摘要:继获得MICCAI世界冠军后,推想创新科研成果被中科院JCR1区收录
近日,推想医疗先进研究院、国际医学图像计算和计算机辅助干预协会与上海交通大学医疗机器人研究所合作论文《多中心、多个域的气管树结构建模(ATM’22):肺气管分割的公共基准》,被收录于Medical Image Analysis期刊(IF=13.828),在中科院JCR最新升级版分区表中,该刊分区信息为大类学科医学1区。
国际开放挑战赛正成为评估计算机视觉和图像分析算法的事实标准。近年来,新的方法扩展了肺气管分割的范围,使其更接近图像分辨率的极限。自从肺气管分割数据: Extraction of airways from CT (EXACT'09) 被公开后,新兴算法受惠于深度学习方法的成熟和临床驱动的启发,也在疾病诊疗中发挥了越来越重要的作用。
但到目前为止,公开的注释数据集仍非常有限,这妨碍了深度学习这种以数据为驱动的方法的发展和新算法的性能评估。为了给医学影像提供一个基准,在MICCAI 2022大会期间举行的官方挑战赛上,主办方(上海交大和上海交大附属胸科医院)组织了多中心、多领域的肺气管树建模比赛(ATM’22),并提供了大量具有详细肺气管标注的CT扫描。包括推想在内的总计23支团队参加了整个挑战的各个阶段, 推想凭借强大的技术实力和对临床应用的理解,获得了该项赛事的全球冠军。本文系统回顾了排名前十的团队的算法, 定量和定性结果显示,嵌入拓扑连续性增强的深度学习模型在一般性能上取得了卓越的表现。
01
亟需创新!肺气管分割算法和数据集面临诸多挑战
深度学习方法正重塑医学图像分割。除了新颖的网络设计之外,这些算法的性能很大程度上取决于训练数据集的规模和所用注释的临床准确性。为了公平评估这些算法,相关人士组织了许多重大挑战赛,重点关注多个器官,包括大脑(Mendriketal.,2015)、腹部多器官(Maetal.,2021)、心脏(Zhuangetal.,2019)、皮肤病变(Codella等人,2018)和乳腺癌(Aresta,2019)等。
但对于肺气管的分割,人们的认知仍十分有限。临床上,基于计算机断层扫描(CT)的肺气道精确分割,是小气道疾病的精准诊疗的前提,对微创支气管内介入治疗的术前规划和术中指导发挥着重要作用。随着支气管镜的日益小型化,在机器人协助下,常规治疗已经超越了第5代气道的气管分支结构。但由于细粒度肺气道结构和分叉拓扑结构非常复杂,手动分割耗时、容易出错,并且需要操作者具备较高的临床水平和技能。因此,自动分割气管的深度学习算法必不可少,同时相应的公平评估算法的数据集也不可或缺。
精细的肺气管分割,传统上在气管和支气管水平上工作,如果成像分辨率允许,理想情况下可以一直到达肺泡。然而,要获得细粒度的气道树结构实际上是很困难的。主要挑战涉及以下几个方面。
挑战1:泄漏
泄漏问题通常发生在小气道分支或病变周围区域(例如,肺气肿和支气管扩张)。由于管腔内强度水平高度可变,分割方法可能会泄漏到相邻的模糊的气道壁或软边界肺实质区域。
挑战2:破损
破损现象指的是不连续的分割结果,破损情况虽然仅仅引起极小的体素级误差,然而,在最大连通分量提取之后,拓扑结构完全改变。
挑战3:鲁棒性和泛化性
很多疾病,例如支气管扩张、肺气肿和COVID-19可能影响气道形态或特征CT图像。这种偏差属性,会影响在干净CT中训练的模型推广到噪声CT中的使用效果。
挑战4:超越逐像素提取
目前,气道树建模任务被视为像素或体素分割任务,而气道树建模的关键目的之一是辅助支气管镜手术的导航。然而,这两件事之间暂时存在着差距,CT值是离散信号,CNN获得的气道预测也是密集的离散体积。体绘制算法是必要的获取连续结果(例如网格)。因此,我们对未来气道树建模范例有一个宏伟的愿景:以离散CT扫描作为输入并输出连续气道结果。
02
世界第一!推想为模型标准建设做出重要贡献
本文收集并标注了来自多个国家多个中心的500份胸部CT扫描。CT扫描是收集自公共LIDC-IDRI数据集和上海胸科医院,包括从健康人群到患有严重肺部疾病的患者等各式人群。并且,患者和扫描仪的信息均被手动匿名化。然后,由三位经验丰富的放射科医生对选定的500张CT扫描进行注释。训练集由300个胸部CT扫描组成,同时进行50次和150次CT扫描进行验证和测试。
总计选取了四个值来评价模型的效能。Dice相似系数(DSC,%)、Precision(%),用于测量基于预测重叠和体素的分割精度。同时,拓扑完整性也是气道分割挑战中最关键的属性。因此还定义了树长度检测率(TD,%)和分支检测率(BD,%)测量算法在检测气道方面的性能。最终的评价指标为这四个值的平均值:
本次挑战赛上,参与方包括帝国理工大学,阿里巴巴达摩院,东北大学,圣美生物公司,复旦大学,中国科学技术大学,点内科技等众多国内外知名院校和企业。共计9个国家的23支队伍参加了比赛,共同构建肺气管分割数据集和模型标准。推想医疗团队在严格控制运行时间和显存占用达到应用产品级的前提下,研发出针对CTPA 影像的高效肺气管分割算法,实现了性能-效率-成本三方面的最佳权衡,在最终的挑战赛排行榜中,推想医疗团队综合排名第一。
因此,该论文重点介绍了冠军团队推想医疗的解决方案。推想(T6)团队提出了一个精心设计的三级用于气道分割的深度学习管道 ,WingsNet(Zhengetal.,2021b)被采用为骨干架构。第一阶段,网络仅使用Dice损失和随机扣块采样进行训练策略。推想的贡献集中在第二阶段,损失函数和训练过程都经过仔细考虑设计的。受到基于局部不平衡的权重的启发,推想设计了通用联合损失的一种变体(GUL),调整了权重因子,根据不同的目标大小,重点关注小气道分支机构。从在预定义的邻域空间内得出本地前景率wp。然后同时强调气道的中心线附近的体素需要受到更多关注。同样,定义了从体素的当前位置到最近的距离中心线上的体素的欧式距离的平方反比wd。综上,最终各权重体素可以定义为w=wp+wd,损失函数定义如下:
其中γ、α、β分别设置为0.7、0.2和0.8。
最终,得出了一些有效的方法来解决共性问题,以应对肺气道分割的挑战。
解决方案1:多级解决方案
多阶段训练已经证明了在肺气道分割上的优势。首先,肺部区域提取是一种简单而有效的硬注意力机制,可以关注相关的区域,可以应对泄漏挑战(C1)。其次,初始训练阶段可以获得初步预测,为后续提供有用的信息训练阶段以获得更完整的气道树结构,例如硬样本挖掘(T6)和破损注意力图计算(T14)。
解决方案2:改善类内不平衡
提高类内辨别能力是合理应对C2破损挑战的选择。额外的信息可以从标注中得到,例如中心线点(T4、T6、T14)、半径(T14)和分支的空间位置(T7)。这些额外的知识可以从几个方面来利用改善类内歧视,如过采样。
解决方案3:新颖的目标函数
设计强调拓扑完整性的新颖损失函数拓扑正确性有利于应对挑战泄漏(C1)和破损(C2)、鲁棒性和泛化性(C3)。例如,T4提出了一个JCAM损失函数,重点关注拓扑错误。T6采用了变体GUL损失迫使网络享有连续性的信息。关注的目标函数该拓扑可以利用气道的高级特征树结构,可以提高算法的鲁棒性和泛化能力。
推想在挑战赛中所使用的技术路线,得到了国际上的广泛认可和高度肯定。在气管分割方向,推想已处于国际领先位置,有望引领这一技术的未来发展。
目前,推想医疗团队在胸部解剖结构分割方面的技术积累重点服务于推想医疗胸部三维重建功能的研发。该功能可以实现对肺部CT中的肺动静脉、气管支气管、肺叶肺段、骨骼等解剖结构的快速精准分割,进而辅助医生的分析诊断、治疗方案制定以及手术规划导航。推想医疗近期发布的AI-4D胸部智能可视化解决方案就是基于薄层CT影像序列,将智能化的空间维度三维重建及时间维度融合,针对肺癌早期筛查、精确诊断和治疗的一体化智能辅助系统。目前该系统已在多家医院的“呼吸科”、“影像科”、“体检科”等科室广泛使用,无缝融入医生日常工作流,获得了各科室医生的积极反馈。
