近日，复旦大学工程与应用技术研究院（简称工研院）认知与智能技术实验室（简称CITLab）撰写的题为《A Unified Self-Distillation Framework for Multimodal Sentiment Analysis with Uncertain Missing Modalities》的学术论文被CCF-A类学术会议AAAI 2024录用，张立华教授为通讯作者，21级直博生李明程、20级直博生杨鼎康为共同第一作者。

论文简介

作为人机交互的重要组成部分，多模态情感分析（MSA）正在成为一个热门的研究领域，其目的是通过人类的多种表达形式，例如语言内容、语音语调和面部行为等，来理解和解释人类的情感。在此背景下，该研究聚焦于科技创新2030-“新一代人工智能”重大项目-“标准化儿童患者模型关键技术与应用”中真实诊疗场景下规培医生的多模态人文情感理解，致力于解决由于遮挡、环境噪声等原因造成的不确定模态缺失和识别精度低下的问题。为此，该研究提出了一个面向不确定缺失场景下的统一多模态自蒸馏框架，包含了三个核心贡献：（1）设计了一种统一的自蒸馏机制，其通过在单个网络内实施跨样本知识的双向转移，从多模态数据的一致分布中灵活地学习鲁棒的内在表征；（2）提出了一种多粒度的跨模态交互模块，通过对缺失模态执行粗粒度和细粒度跨模态自适应，分层地捕捉跨模态元素相关性和长程的时序依赖关系，以渐进式地捕获互补的有价值语义；（3）引入了一个动态的特征集成模块，通过帧级别的自增强和选择性过滤策略，生成精炼的多模态表征以服务于下游任务。

图1 统一的多模态缺失模态自蒸馏框架

综合的实验结果表明，提出的框架显著地改善了真实诊疗场景下针对规培医生的人文情感理解的性能，缓解了由于数据缺失对多模态情感分析系统的鲁棒性造成的负面影响，为后续项目中高保真模拟诊疗系统的实际部署和落地应用提供了可靠的算法保障。

图2模态内缺失测试条件下的性能对比

延伸阅读

认知与智能技术实验室（原智能感知与无人系统实验室）隶属于复旦大学工程与应用技术研究院智能机器人研究院，近年来一直在机器直觉、人机物融合智能等新一代人工智能理论、脑机解码与脑启发人工智能、智能感知与人机交互、物理仿真与数字孪生、行为识别和情感分析、智能机器人与无人系统以及智慧医疗、智能网联汽车等领域开展交叉创新研究，相关学术成果发表于Nature主刊，中国科学，RAL，NeurIPS，CVPR，ICCV，ECCV，AAAI，ACM MM以及IROS等国内外顶级学术期刊与会议。

AAAI（AAAI Conference on Artificial Intelligence）是世界范围内人工智能领域的重要盛会。该会议是中国计算机学会推荐的CCF-A类顶级国际学术会议，每一年举办一次。