近日，复旦大学工程与应用技术研究院（简称“工研院”）群体机器人系统实验室（Multi-AGent robotIC systems Lab，简称‘MAGIC Lab’）在机器人领域顶级学术会议IEEE International Conference on Robotics and Automation（ICRA）和计算机视觉领域顶级会议IEEE Conference on Computer Vision and Pattern Recognition（CVPR）发表多篇学术论文，复旦大学工研院为第一完成单位。

题为《Mechanical Intelligence for Prehensile In-Hand Manipulation of Spatial Trajectories》和《FlowMap: Path Generation for Automated Vehicles in Open Space Using Traffic Flow》的学术论文被ICRA收录，第一作者分别为卢秋洁博士和丁文超青年研究员。题为《Boost Vision Transformer with GPU-Friendly Sparsity and Quantization》的学术论文被CVPR录用，工研院博士生余翀为第一作者。

《Mechanical Intelligence for Prehensile In-Hand Manipulation of Spatial Trajectories》

论文简介

机器人末端执行器的手内灵巧操作能力一直是机器人领域广泛关注的研究问题。当机械手增加传感器与驱动器数量，自由度增加，手指灵巧性提升，同时控制复杂性也会增加导致对不同物体的操作响应降低。当减少驱动器数量，形成欠驱动状态，结构自适应能力提升，控制简单且响应快，但多用于抓取物体，无法完成手内灵巧操作被抓物体。本文提出了通过优化传统机械手的拓扑结构，使机械手在欠驱动的状态下仍能完成特定的手内操作轨迹。这样通过机械结构增强抓手功能性且不过分增加控制复杂性的优化设计方法我们命名为机械智能（Mechanical Intelligence）。本文通过将机械抓手三根手指的指根关节位置从传统的同一平面创新设计成在三个垂直平面，使手-物系统形成一种新的拓扑结构；仅通过两个电机的匀速控制，可实现多种物体的精细抓取和手内螺旋运动。利用动力学分析了物体运动轨迹，且制备样机Helical Hand完成实验验证此机械结构优化的可行性，为机器人末端执行器设计提供了新的优化方向。

图 1Helical Hand 的设计与应用

图 2Helical Hand 驱动与结构示意图

《FlowMap: Path Generation for Automated Vehicles in Open Space Using Traffic Flow》

论文简介

基于深度学习的多传感器融合道路结构认知在自动驾驶领域十分火热。但是在开放场景，如路口、车道线混乱模糊的场景以及收费站区域等，传感器中并没有明确信息去标识道路，有时候甚至没有明确的“路”的定义。在这些场景如何识别和认知可行驶的道路就变得十分困难。本论文的研究思路来源于“地上本无路，走的人多了便成了路”这一句名言。本文所提出的FlowMap方法基于车流信息来综合出可行驶路径。基于FlowMap方法，在不借助高精度地图的情况下，通过充足的车流观测，即可在车道线模糊甚至完全没有车道线的场景下获得出可行驶的道路。FlowMap可以由多车众包采集，具备轻量且易于维护的特点。

图3: 在超大路口利用FlowMap得到可行驶路径

图4: 无高精度地图场景下道路拓扑恢复

FlowMap在多个真实的交通数据上进行了测试，在超大路口、复杂路口可以还原出类人的行驶路径。FlowMap是对群体车流数据的综合和认知，为自动驾驶算法摆脱对高精度地图的依赖作出了贡献，并且对自动驾驶的“路”提出了新的理解。

《Boost Vision Transformer with GPU-Friendly Sparsity and Quantization》

论文简介

 由于在各种应用中的有效性和泛化性，基于transformer结构的神经网络模型引起了从学术研究到工业应用各方面的极大关注。目前transformer结构已经成功的从自然语言处理领域扩展到了机器视觉领域。Transformer结构的神经网络中堆叠了大量的自注意力和交叉注意力模块，其中涉及许多高维张量乘法操作，因此视觉transformer模型在GPU硬件上的加速部署极具挑战性。

为了最大限度地利用GPU硬件提供的细粒度结构化稀疏和量化加速特性，本文设计了一种名为GPUSQ-ViT的软硬件协同模型压缩方案。首先该方案考虑到GPU对FP16数据类型的结构化稀疏模式所提供的加速效果，通过细粒度结构化剪枝，将权重参数密集的原始大型模型裁剪为稀疏模型。此外我们的方案进一步考虑到GPU可以为INT8整数张量的稀疏计算提供额外加速，通过稀疏-量化感知训练将浮点稀疏模型进一步量化为定点INT8模型。在结构化剪枝和量化感知训练的过程中，本文使用了混合策略的知识蒸馏，来进一步提高压缩模型的精度水平。

图5. GPUSQ-ViT软硬件协同模型压缩方案的工作流程图

实验结果表明，本文提出的GPUSQ-ViT模型压缩方案可以灵活地支持有监督和无监督的学习范式。GPUSQ-ViT方案可以将视觉transformer模型的模型大小压缩约6.4-12.7倍，FLOPs计算量减少约30-62，实现了当前最先进的模型压缩效果。并且GPUSQ-ViT压缩后的模型在ImageNet样本分类、COCO目标检测和ADE20K语意分割基准任务上的精度基本保持不变。此外，不管是在服务器场景中所使用的A100 GPU上，还是在机器人与无人驾驶等边缘计算场景中所使用的AGX Orin平台上，GPUSQ-ViT压缩得到的模型，对实际延迟和吞吐量的提升效果都非常明显。

延伸阅读 

ICRA是电气电子工程师学会机器人和自动控制协会IEEE的旗舰会议，也是世界范围内机器人与自动化研究人员的顶级论坛。在谷歌学术机器人分类下，该会议以H5指数83排名所有会议/期刊中第一名。

CVPR是IEEE一年一度的学术性会议，会议内容主要围绕计算机视觉与模式识别技术。CVPR是世界顶级的计算机视觉会议，近年来每年有约1500名参加者。

MAGIC Lab，是复旦大学工研院智能机器人研究院和智能机器人教育部工程研究中心的主要研究团队之一，复旦大学工研院副院长、智能机器人研究院院长甘中学教授为实验室首席PI。MAGIC Lab主要依托上海市人工智能市级重大专项，面向国家《新一代人工智能发展规划》中的群体智能理论、自主协同控制与优化决策理论、群体智能关键技术等重要科学方向，融合非线性动力学、模式识别、计算神经科学、强化学习、集群智能等多领域的理论与方法，重点探究人机物协同与智能融合的科学原理，突破异构群体行为协作与动态演变的关键技术，构建智慧交通与智能制造等场景下的异构集群交互系统。