新闻动态
成果速递:工研院智能机器人研究院在全息感知方面的学术成果被AAAI2024录用
发布时间:2023-12-14        浏览次数:106

  近日,复旦大学工程与应用技术研究院(简称“工研院”)集群机器人系统实验室(Multi-AGent robotIC systems Lab,简称‘MAGIC Lab’)在国际先进人工智能协会(Association for the Advancement of Artificial Intelligence, AAAI)上发表智能机器人领域的最新研究成果。题为《Swift-Mapping: Online Neural Implicit Dense Mapping in Urban Scenes》(工研院2023级直博生吴坷为第一作者,甘中学教授和丁文超青年研究员为通讯作者)、《DeepPointMap: Advancing LiDAR SLAM with Unified Neural Descriptors》(计算机学院2022级直博生张夏泽为第一作者,冯瑞研究员和丁文超青年研究员为通讯作者)的学术论文被人工智能领域顶会AAAI-2024录用。


Swift-Mapping: Online Neural Implicit Dense Mapping in Urban Scenes

论文简介:

室外场景的在线稠密建图对于自主导航的场景理解至关重要。传统的在线稠密建图方法通过明确的几何对应关系在时间和空间上融合传感器测量数据(视觉、激光雷达等)。最近,基于NeRF的方法通过对大规模城市场景进行高保真重建,证明了神经隐式表征的优越性。然而,如何将强大的神经隐式表示集成到在线稠密建图仍然是一个未解决的问题。现有方法仅限于受限的室内环境,并且在计算上消耗过高,无法满足在线需求。为此,我们提出了Swift-Mapping,这是一个针对室外场景的在线神经隐式稠密建图框架。我们引入了一种新颖的神经隐式八叉树(NIO)结构,为大型和动态的城市场景提供高效的神经表示,同时保留在线更新能力。基于此,我们提出了一种在线神经稠密建图框架,有效管理和更新神经八叉树体素特征。我们的方法在重建准确性方面达到了SOTA水平,同时在重建速度上更快了10倍以上,展示了我们方法在准确性和效率方面的卓越性能。

主要工作:

Swift-Mapping输入RGBLiDAR流,以及位姿数据作为输入,并逐步构建神经隐式八叉树(NIO)结构。有效的八叉树体素与隐式特征向量相关联。可以从NIO中查询分层特征向量,这些向量被馈送到MLP解码器并进行体渲染。NIOMLP解码器的特征向量可以通过简单的光度损失进行监督。此外,得益于稀疏分层的场景表正,该框架还能够对移动车辆进行建模,甚至通过操作NIO的特征体素实现场景编辑功能。

我们展示了我们的方案是在快速自车运动时的高鲁棒性,并能够建模动态障碍和提供场景编辑功能。通过大量的实验,我们的方法在效率和精度上都达到了SOTA的性能。


DeepPointMap: Advancing LiDAR SLAM with Unified Neural Descriptors

论文简介

同步定位与建图(SLAM)在智能机器人、自动驾驶等领域发挥着重要作用,该任务旨在通过分析激光雷达运动时采集的数据,定位智能体自身位置并建立环境地图。然而,现有的点云SLAM方法在抽取环境特征时,要么采用密集的特征点以实现高精度定位,要么采用高度抽象的特征点以减小地图大小。遗憾的是,现有模型难以同时兼顾定位精度与地图尺寸。此外,现有方法多将SLAM模型的前后端分割成不同模块来设计,导致环境特征重复提取、信息丢失等问题。为此,我们提出了一种统一、高效的架构:DeepPointMap,解决当前方法的问题。我们利用神经网络从点云中直接抽取具有准确语义信息的少数特征点,同时用于定位与建图任务,在保证定位精度的同时,大大降低了地图尺寸的开销,为大尺度建图、多智能体协同建图提供了可能。通过在大量数据上的实验表明,相较于传统激光SLAM方法,DeepPointMap具有更好的定位精度并显著缩小了地图尺寸。

主要工作

传统的SLAM模型通常分为前端和后端两个部分,前端(里程计)用于实时定位当前位置,而后端(回环检测和全局优化)用于修正过往估计。传统的激光SLAM任务将前后端视为两个模块分别设计——前端关注于细微的局部信息用于高精度定位,通常依赖稠密的特征点用于配对;但后端更加关注宏观的场景信息用于回环检测,则需要高度抽象的场景描述符。前后端的冲突导致传统方法需要抽取并保存两套不同尺度的场景特征,对算法复杂度、效率和存储空间都带来了一定挑战。

为了实现统一的点云架构,进一步提升精度与降低存储开销,我们借助深度神经网络实现特征提取过程,从稠密的激光雷达点云中抽取少量、小巧但包含高度语义信息的特征描述子(descriptor),同时用于前端里程计和后端回环检测。

  在网络设计方面,DeepPointMap采用多头神经网络架构,其借助先进的PointNeXT点云特征提取网络作为Encoder用于初步提取点云初步语义信息形成descriptor,后接多层Descriptor-wise Attention Layer作为Decoder用于交换点云之间的信息,最后使用三个预测头分别完成descriptor配对、残差预测和回环检测任务。

   在SLAM工作时,激光雷达点云数据首先通过backbone进行初步特征提取,并保存于buffer中。随后,当前帧和上一帧的descriptor一并输入Decoder以交换帧间信息,并由后续配对预测头预测descriptor之间的配对关系。为了克服descriptor的稀疏性,残差预测头将预测配对的descriptor之间的相对位置误差,随后使用weighted-SVD解算出准确的位置变化信息。当面临回环检测问题时,当前帧的特征和候选帧(及二者的邻域帧)的特征将一同被输入Decoder中,并由预测头输出回环置信度(概率)。

  实验结果表明,相较于现有方法,DeepPointMap的定位精度在多个数据集的多数序列中都超过了传统方法,额外的实验也说明我们的方法在不同数据集上有着良好的泛化性。

  在存储空间方面,我们挑选了两个具有代表性的序列并进行了对比试验。实验结果表明我们的方法相较于传统方法,节省了50%~70%的空间,大大降低了大尺度地图采集、多智能体信息交互的难度。


延伸阅读

国际先进人工智能协会(Association for the Advancement of Artificial Intelligence, AAAI)是人工智能领域的主要国际学术组织之一。 该协会主办的AAAI年会(AAAI Conference on Artificial Intelligence)是国际顶级人工智能学术会议之一,被中国计算机学会划分为A类国际学术会议。

MAGIC Lab,是复旦大学工研院智能机器人研究院和智能机器人教育部工程研究中心的主要研究团队之一,复旦大学工研院副院长、智能机器人研究院院长甘中学教授为实验室首席PIMAGIC Lab主要依托上海市人工智能市级重大专项,面向国家《新一代人工智能发展规划》中的群体智能理论、自主协同控制与优化决策理论、群体智能关键技术等重要科学方向,融合非线性动力学、模式识别、计算神经科学、强化学习、集群智能等多领域的理论与方法,重点探究人机物协同与智能融合的科学原理,突破异构群体行为协作与动态演变的关键技术,构建智慧交通与智能制造等场景下的异构集群交互系统。