2019 年5月15 日,复旦大学工程与应用技术研究院邀请了复旦大学微电子学院副教授范益波,为工研院师生带来了一场关于智能十亿像素照相机的精彩报告。
范益波老师报告中
范益波,复旦大学微电子学院副教授。2003年毕业于浙江大学信电系获学士学位,2006年毕业于复旦大学微电子系获得理学硕士学位,2009年毕业于日本早稻田大学获得工学博士学位。2009年至2010年加入上海交通大学信息学院任助理教授,在复旦大学工作期间,创立图像、视频多媒体处理实验室(Video Image Processing Lab, VIP Lab),主要从事图像处理、视频编解码、人工智能、多媒体SoC系统的算法、硬件和芯片设计研究。已创立OpenASIC(www.openasic.org)开源芯片网站,发布全球首个开源H.265视频编码芯片IP核。创立复瞰科技(联合创始人、CTO),研发全球首台5亿像素智能视频相机,超越人眼物理分辨率。作为课题负责人承担了国家自然科学基金、上海市科技创新项目、教育部博士点基金、专用集成电路与系统国家重点实验室面上项目等研究课题,并作为子课题负责人参与了国家863等重大重点项目的研究。以第一作者和通信作者在国内外重要的学术期刊与会议上发表(SCI/EI)论文80余篇,申请相关专利30多项。
众所周知,像素是组成数字图像的最小单元,像素的个数越多,图像信息量往往越大,十亿像素级航空相机是传统成像仪的数十到数百倍。这种相机可以满足航天遥感、航空侦察、边海防预警、城市安防、公园巡检等领域对于大视场、远距离的高像素成像要求。
这种超高分辨率的相机技术,潜藏着千亿,乃至万亿的市场规模。对其进行科研、教育、生产均很有实际的意义和价值。那么,这种十亿像素相机究竟可以拍出什么样的照片,引发了同学们的兴趣。为此,范老师给大家展示了几个例子:偌大的足球场,拍摄一副全景照片即可以获得每张脸的清晰图像;上海外滩,即便在2500米外的目标,也可以被十亿像素相机轻松捕获。
示例:足球场取景
示例:上海外滩取景
在学生们的感叹声中,范老师深入浅出地跟大家分享了智能十亿像素照相机的工作原理。简单来说,十亿像素照相机以超高的分辨率将作品各个部分逐英寸地拍摄下来,接着将这些照片传到服务器中拼凑成一幅完整的照片。其核心内容包括视频压缩和视频拼接等。
范老师指出,各个子相机的拼接工作,在数量不断变多的情况下,整体设计难度会越来越大,工作量也不断上升,为照相机的设计提出了不小的挑战。如使用传统的CPU+GPU+软件的解决方案,体积功耗较大。改用FPGA的硬件解决方案,可以减少体积和功耗,因此采用集成度更高的ASIC芯片,再加上最新的人工智能技术,构建全新的架构体系。其关键技术包括超高清摄像头成像技术,超高分辨率图像合成技术,人工智能核心算法,以及芯片加速。
十亿像素照相机的工作原理示意图
报告最后,范老师还向同学们展示了几个应用实例。如东滩湿地公园大场景观景及鸟类观测;“5G+5亿”无锡樱花节直播等。
在交流环节,范老师就相机的设计原理等问题与同学们展开交流,同学们踊跃提问,老师也热心解答。最后,在大家的意犹未尽之中结束了这场精彩报告。
工研院青年研究员方虹斌主持本场学术系列讲座,青年研究员齐立哲也参与了本次交流。