近日，复旦大学工程与应用技术研究院(简称工研院)智能感知与无人系统实验室（简称IPASS）撰写的题为《How2comm: Communication-Efficient and Collaboration-Pragmatic Multi-Agent Perception》的学术论文被即将在12月12日召开的机器学习领域顶级会议NeurIPS2023录用。张立华教授为第一通讯作者，2020级直博生杨鼎康为第一作者。

论文简介

精确的感知复杂多变的驾驶环境对于确保道路交通的安全性和路上智能体（例如自动车辆）的可靠性至关重要。传统的单智能体感知（例如实例分割和目标检测）由于不可避免的遮挡，受限的检测范围以及稀疏的传感器观测遭受着严重的性能瓶颈。最近，多智能体协同感知通过智能体之间的视野互补和信息共享提供了有潜力的解决方案。作为vehicle-to-vehicle/everything (V2V/X) communication中的新兴技术，先前的研究仍存在着诸多挑战，包括通信冗余、传输延迟以及协作异构性。

为此，我们提出了How2comm，一个统一的协同感知系统以端到端的方式联合的解决上述挑战。How2comm通过三个新颖的组件以实现感知性能和通信开销之间的合理权衡。具体来说，我们首先设计了一种互信息驱动的通信机制以最大化地保存协作智能体共享的原始表征中有益的信息语义。基于此，一种空间-通道消息过滤模式被引入来明确如何利用更少的带宽以实现更高效的通信。其次，我们提出了一种流引导的时延补偿策略，通过挖掘时间序列上的上下文依赖关系以准确地预测协作智能体的未来特征。该策略帮助系统明确了如何动态地补偿传输时延的影响和显式地完成时序特征对齐。此外，一个时空协作Transformer被设计以汇聚来自协作智能体的感知上综合的信息和空间上关键的语义，同时吸纳了异构智能体之间时序上有价值的视觉线索。该结构帮助系统明确了如何实现务实的协作范式，促进了应对不同协作噪声时更鲁邦的协同感知。

图1：How2comm整体框架示意图

How2comm在不同多智能体感知基准的多种真实世界和仿真环境中均取得了最佳的感知性能，并在包括定位误差，偏航误差以及传输时延等协作噪声设置下显著且一致地优于先前的所有框架，为该领域未来的发展和研究提供了新的见解和统一的解决方案。

图2：在不同多智能体感知基准上针对定位误差的鲁棒性分析

图3：在不同多智能体感知基准上针对偏航误差的鲁棒性分析

图4：在不同多智能体感知基准上针对传输时延的鲁棒性分析

依托IPASS实验室丰富的项目资源和高性能工作站，作者致力于研究自动驾驶中的多智能体感知和辅助驾驶感知，并推动相关技术的落地部署和实际应用。

延伸阅读

智能感知与无人系统实验室（简称IPASS）隶属于复旦大学工程与应用技术研究院智能机器人研究院，近年来一直在机器直觉、人机物融合智能等新一代人工智能理论、脑机解码与脑启发人工智能、智能感知与人机交互、计算机视觉与数字孪生、行为识别和情感分析、智能芯片与智能硬件，以及智能机器人、智能网联汽车、智慧医疗等领域开展交叉创新研究，相关学术成果发表于Nature主刊，中国科学，RAL，NeurIPS，CVPR，ICCV，ECCV，AAAI，ACM MM以及IROS等国内外顶级期刊与会议。

NeurIPS（Neural Information Processing Systems）是世界范围内机器学习领域首屈一指的重要盛会。该会议是中国计算机学会推荐的CCF-A类顶级国际学术会议，每一年举办一次。