新闻动态
先导项目创新成果:面向5G的下一代超高清、低延迟视频处理芯片及相机系统开发
发布时间:2023-06-01        浏览次数:117

        基于机器视觉的超高清视频系统依赖于传统的安防相机,在单点、单目标、近距离等小场景应用中可以呈现二维平面的图像信息,但缺乏对多点、多目标、远距离等大场景的探测感知能力。因此,亟需拓展当前商用相机系统对大场景空间的信息获取能力,研究在高码率(100-200 Mbps)、超高分辨率(4K/8K@30-60 /秒)、超低延迟(<50 ms)下的超高清视频处理芯片与硬件系统架构,突破目前商用相机在分辨率、画质、延迟的重大性能瓶颈。

 本项目来源于《超高清视频产业发展行动计划(2019-2022年)》中面向5G无线网络中超高清视频应用重大需求。在复旦大学工程与应用技术研究院(以下简称“工研院”)先导项目的支持下,复旦大学微电子学院范益波教授、长春光机所王宇庆副研究员、复旦大学信息科学与工程学院万景研究员、李旦副教授等团队合作开发多源信号传感器阵列,并与多目标探测识别算法形成闭环,建立新型的、多源数据融合的视频处理芯片与相机硬件系统,取得了多项成果。

        1. 从像素机理出发,成功设计并实现单晶体管主动像素传感器PISDPISD不但具有单晶体管的高集成密度,其原型器件还实现了国际先进的主动像素性能,包括像素面积<1.5μm2, 像素暗电流<1fA, 像素归一化灵敏度>108V/μJ,满阱容量>60000e-;相关成果发表于IEEE EDL2021IEEE TED 2022上。

1 基于12寸晶圆 22nm 先进工艺实现高密度图像传感器

       2. 基于机器学习的下一代视频、图像编码芯片架构,通过人工智能算法辅助视频图像压缩,实现对于通用神经网络Resnet18、超分网络Super Resolution-v0.2的硬件加速,实现了能够有效加速FSRCNN超分网络的硬件AI-ISP加速器;同时完成了半定制ISP的科学级引导式智能CMOS视觉终端产品,能够对2048×1024以上分辨率图像进行处理,具备基本的图像增强、图像跟踪和目标检测库软件。相关芯片版图和功能框图如图所示,芯片基本电学参数测试指标满足要求,系统迟延小于20 ms,能够对12 bit以上位宽图像数进行直接处理。

2 基于GF22 nm工艺的芯片的版图

       3. 搭建了一套面向5G的超高清、低延迟相机原型系统。包括构建超高清视频处理芯片算法验证平台,构建高层次综合敏捷化芯片设计平台,搭建包括算法验证、芯片验证和相机系统验证的演示系统。包括面向5G应用的超高清视频处理芯片和集成上述视频处理芯片的相机原型系统。


3 专用相机及目标检测跟踪的实际效果

       本项目面向5G网络100-200 Mbps连接带宽环境下4K/8K超高清视频应用,以超高清、低延迟为系统设计目标,深入研究下一代超高清、低功耗、低延迟传感器器件原理,探索视频编码芯片的率失真与复杂度之间的互制机理,解耦众多算法模块之间的数据依赖以突破并发流水性能瓶颈,通过视频图像算法的范式改革创新,结合芯片架构数据吞吐率、数据复用、并行流水与访存带宽等要求,实现编码算法、芯片架构与系统设计的协同优化,突破目前商用视频相机系统在图像画质、分辨率、延迟方面的性能瓶颈,搭建算法、芯片及相机原型系统的测试及验证平台,具有广泛的应用前景。工研院持续服务先导项目,积极协助具有成果转化前景的项目对接政府、企业资源及社会资本,打通科技成果转化的最后一公里。


延伸阅读>>>

     为推进复旦大学“新工科”建设,主动对接经济社会发展和企业技术创新需求,复旦大学自2017年起在工研院设立“先导项目”。项目设立秉承“面向世界科技前沿、面向经济主战场”的原则,支持我校教师与校外优势单位合作,联合进行重点科研攻关、技术开发,在深入探索理论基础的同时,接轨科技发展前沿,促进基础学科与应用学科协同发展,构建从基础研发、成果转化、到产业化的完整产业链。