近日，复旦大学工程与应用技术研究院（简称工研院）智能感知与无人系统实验室（简称IPASS）与复旦大学附属中山医院肝脏外科王晓颖主任团队合作撰写的题为《Anatomical-aware Point-Voxel Network for Couinaud Segmentation in Liver CT》的学术论文被医学人工智能领域顶会MICCAI2023提前接受（~14%接受率），2021级博士研究生张绪坤、硕士研究生刘洋为共同第一作者，张立华教授为通讯作者。

论文简介

原发性肝癌是世界上最常见、最致命的癌症疾病之一，肝切除术是当前首选的治疗方案。利用术前CT图像根据血管的走向将肝脏划分为8个功能独立的节段（Couinaud Segmentation），能够直观地显示节段与肝内病变的位置关系，有助于外科医生进行手术计划。然而，这是一项具有挑战性的任务，因为肝脏的不同节段是基于血管走向来定义的，CT图像中相邻节段之间没有强度对比。

图1. 不同肝段和血管之间的关系：如沿着肝中静脉的走向将肝脏分为Ⅳ段和Ⅷ段，肝右静脉的走向划分Ⅷ和Ⅶ段（不同段在图像中无强度对比、无明显边界）

为了准确的分割肝脏不同节段，该论文提出了一个多尺度的点-体素融合框架，将基于图像的分割任务转化为点云的分类任务。具体来说，该框架首先从CT图像中提取肝脏掩膜和血管注意图，基于此可以在肝脏空间中随机抽取嵌入血管结构的点数据，并将其体素化为体素网格。随后，这两种类型的数据将经过一个多尺度的点体素融合网络，由两个分支来提取相应的特征。基于点的分支提取独立点的细粒度特征，并探索空间拓扑关系。基于体素的分支由一系列学习语义特征的卷积组成，然后通过去体素化将体素网格再转换回点数据表示。通过不同分辨率下的体素化和去体素化操作，这两个分支提取的特征可以在基于点的表示上实现多尺度融合，最后由解码器输出连续肝空间中任意点的肝脏节段类别，进而恢复出一个更准确、更平滑的3D节段掩膜。

图2. 该论文提出的肝脏节段分割框架。

该论文提出的方法结合了点云和卷积两种方法的优势，在3Dircadb和LiTS这两个公共的肝脏数据集上进行了广泛实验，结果优于几种当前先进的基于点的方法和基于体素的方法。尤其在只有10例训练样本的3Diradb数据集中，该论文提出的方法仍然表现良好，具有很好的鲁棒性。

图3. 论文中不同方法的定性比较，其中不同的颜色代表不同的肝脏节段。前两行展示了在LiTS数据集中一例样本的比较结果；后两行展示了来自3Diradb数据集的另一个样本；图像第一列展示了2D和3D视图下的血管注意图，作为比较分割结果的额外参照。

从上图实验结果中来看，对比基于卷积的方法（容易大面积分割错误）和基于体素的方法（边界不确定），该论文提出的点-体素融合框架能够有效捕捉肝脏内部的血管结构，从而生成准确、平滑的分割结果。

        依托张立华教授牵头负责的国家自然科学基金重大项目-“肝癌智能化精准外科的共性关键技术体系的建立”，本文作者致力于研究医学图像分析以及医学人工智能应用，尤其聚焦于利用肝脏数字孪生服务于智能、精准的肝脏外科手术应用。

延伸阅读

  智能感知与无人系统实验室（IPASS）隶属于复旦大学工程与应用技术研究院智能机器人研究院，近年来一直在机器直觉、人机物融合智能等新一代人工智能理论、脑机解码与脑启发人工智能、智能感知与人机交互、计算机视觉与数字孪生、行为识别和情感分析、智能芯片与智能硬件，以及智能机器人、智能网联汽车、智慧医疗等领域开展交叉创新研究，相关学术成果发表在Nature主刊和中国科学等国内外顶级期刊与国际会议。

       MICCAI是由国际医学图像计算和计算机辅助干预协会（Medical Image Computing and Computer Assisted Intervention Society）举办，跨医学影像计算（MIC）和计算机辅助介入（CAI）两个领域的综合性学术会议，是该领域的国际顶级会议。该会议每年举办一次，2023年共收到了2200多篇有效稿件，大约top 14 %的投稿会被提前接受。