发布时间:2023-10-31 浏览量:1989
近年来,AI智能科技已逐渐渗入到医疗领域中,如通过自动分割工具来分析生物成像,特别是肌肉骨骼系统。
本文系统回顾了肌肉骨骼结构分析的问题(如样本小、数据不均匀),以及不同研究者使用的策略,并通过文献搜索与框架分析,覆盖解剖结构、生物成像技术、前/后处理、训练/验证/测试、网络架构、损失函数、性能指标等。
这些发现将帮助医生更好理解这些AI工具的潜在益处和局限。
1
简介
AI学习工具与图像分割
图像分割是一个重要过程,用于简化图像分析和定位重点区域,以提高医疗干预的准确性。然而,手动分割存在操作员技能水平和时间成本的限制,因此需要寻找一种自动化解决方案。
人工智能,如深度学习方法,通过自动化处理视觉任务,大数据学习分析,可能成为解决这些问题的潜在工具,但由于伪影影响和器官变化,其结果依旧存在误差。
为打破局限,提出了基于神经网络的深度学习范式。它是一种模仿大脑工作原理的算法,通过组合不同节点连接来学习对象的不同特征和解决各类任务。
多层神经网络被称为深度神经网络,每层可以从生物图像中提取特定信息。从检测颜色和边缘到更深层次、更复杂的特征(具有更语义化的含义)。允许网络从数据学习中识别重要特征,并对解剖结构进行分割。
深度学习分割算法的使用需要考虑其开发策略,以确保结果的正确解释。
2
研究设计
文献检索与筛查
按照PRISMA报告标准,我们在PUBMED中检索了深度学习、肌骨系统、图像分割的文章,共140篇。根据纳入/排除标准,其中101篇符合要求,还有14份文档(文章/书籍)用于支持一般讨论。评估采用PICO框架。
3
研究结果
文献分析与结果
文献显示,针对不同的成像模态已经开发了深度学习算法,用于分割各类肌肉骨骼结构:33%与下肢相关(骨骼、肌肉、关节、膝盖软骨/半月板/韧带)、8%与上肢相关(骨骼、肩部肌肉、肌腱)、34%与躯干相关(椎骨、椎间盘、肌肉、肋骨)、3%与骨盆相关(骨骼、肌肉)、14%与头部相关(眼眶骨、下颌骨、上颌骨、颞骨、颅骨),8%与全身相关(骨骼、肌肉)。在医学成像方面,有39%的研究使用核磁共振成像(MRI),9%使用超声波成像(US),41%使用计算机断层扫描(CT),9%使用X射线,2%使用多模态成像(见表1)。
表1 用深度学习方法研究对象分割的肌肉骨骼解剖结构和相关生物成像技术
与成像模态相关的主要困难如:图像对比度可变、图像强度固有的异质性、因运动引起的图像伪影、空间分辨率(例如,低分辨率图像中颈椎成为单一连接的脊柱区域,这对调查具有误导性)等因素。因此,一些作者整合了多模态成像信息,以结合各个模态的优势。
4
发展与挑战
即有潜力,也有瓶颈
小样本量的策略
成功使用深度学习方法需要高质量的带标签图像数据集,用于训练网络。这通常需要耗费大量时间和精力来手动或半自动地对参考数据进行注释。但不同观察者的注释可能存在差异。因此需要足够多的图像来确保可靠性。然而,获取大规模的公开数据集并不容易。
使用小样本来训练网络可能会导致过拟合问题,即网络在训练数据上表现很好,但在新数据上表现不佳,因为它对数据中的细微变化过于敏感。
数据增强,即人为增加训练样本数量,通常用于解决过拟合问题和提高网络效率。
最近的数据增强技术还包括各种生成方法。其中,生成对抗网络(GAN)是一种深度学习方法,它识别了数据集的内在分布,并利用它生成逼真的合成样本。对于分辨率低、图像伪影或由于不同扫描仪采集而引起的变化等样本,数据增强过程还具有增加模型稳健性的优势。
图1 图像变换的示例,翻转(顶部)和旋转(底部)
为了管理小样本数据集,另一种解决方案是迁移学习技术,这在超过10%的分析论文中得以实施。
迁移学习的目标是使现有的算法可重用于新的数据集,因为它包括使用预先训练的网络(在另一个上下文数据集中进行训练)并将其定制为特定的分割任务,以便算法单单学习新数据的特定特征(例如,来自新中心的新数据)。
用于数据均匀分布的图像预处理技术
建立数据库时的一个主要问题是数据通常来自不同医院、使用不同设备采集、具有不同的分辨率、噪声和照明,而且缺乏一致性。
因此,数据在不同受试者之间,甚至在同一受试者不同时间监测时都可能存在巨大差异。为了获得最佳的计算机视觉结果,以改善图像特征并消除不需要的伪影,所以必须对数据进行预处理。
为了确保不改变图像的信息内容,必须了解要分割的解剖结构的特性、潜在的变化、研究人群、研究问题以及后续处理和分析步骤的稳健性。举例来说,在图像强度归一化时,作为一致参考的组织应始终存在于图像中,并且不太可能受到病理过程的影响。
过半的研究者在深度学习训练之前,实施了预处理。最常见的比如归一化;直方图均衡化,用于通过扩展图像的强度值来增加图像的对比度;以及基于强度/尺度的滤波(见图2)。
图2 :图像预处理:应用于原始图像的滤波技术
同时,裁剪和调整图像大小的方法通常用于节省内存空间并确保图像符合网络的输入要求。如果感兴趣区域相对于背景很小,那么一些操作(如重新采样、降低分辨率、裁剪)可能会导致信息的丢失,因此会失去对象细节和周围环境的上下文数据。
相反,可以考虑两次运行的方法,首先在原始图像上进行处理,以便网络可以学习到在经过预处理的图像中无法捕获的重要特征。如果不经过预先处理,会提高计算机处理数据所需的时间。
肌肉骨骼结构分割的神经网络架构
多年来,已经开发了许多不同的网络架构来分割肌肉骨骼结构。其中一种流行的模型是U-Net,它是一种卷积神经网络,用于成像领域的任务。在本次研究中,超过60%的作者选择了基于U-Net的网络,因为它在生物医学图像分割中非常有效,即使数据有限。
如果想要进一步提高网络的分割能力,可以考虑引入注意模块。这种模块可以帮助网络更好地关注图像中重要的结构区域,从而提高性能。
不同的深度学习架构之间进行比较是一项复杂的任务。一个良好的神经网络性能指标,是它能否与人类观察者的表现相媲美。然而,不同的作者可能会选择不同的性能指标来评估结果,具体情况取决于研究的特定方向。
例如,对于一种可以识别患有肌肉萎缩风险较高患者的临床实用算法,关键是尽量减少假阴性。相反,可以稍微接纳多一些的假阳性,因为治疗肌肉萎缩需要更好的营养和更多的功能性活动,这些不太可能对患者造成伤害。
因此,验证神经网络性能的方法之一是将所选技术与手动分割以及其他网络架构进行比较。用于量化网络性能的最常见指标包括DICE指数(DSC),交集联合(IoU或Jaccard指数),豪斯多夫距离(HD)和表面距离(SD)。这些指标通常在从多个切片分割进行3D模型重建的情况下使用。
另一个衡量网络性能的方式是预测的运行时间,因为这对于工具在临床实时应用中的可行性至关重要。然而,分割的时间也可能因不同的硬件而有所不同。
此外,网络超参数的调整也可能影响时间(由用户设置以控制学习过程的参数)。该操作可以通过网格搜索、随机搜索或贝叶斯优化来完成。
需要注意的是,网络的收敛性能也可能受到患者临床因素的影响。例如,当用超重者的图像训练的神经网络,应用于低体重指数(BMI)者时,可能会不准确。
处理后操作
在上述步骤之后,可以实施不同的后处理策略,以确保更准确的结果,提高一致性,优化预测并纠正标签错误。18%研究者选择了不同的后处理技术来进行分割的改进(包括形态学运算或尺寸阈值)。
无论如何,在分割过程之后,都需要恢复原始图像的属性,包括尺寸和分辨率,因为神经网络通常使用方阵。
5
讨 论
创新评估,患者中心
这个综述旨在介绍医学AI图像分割工具,帮助临床专家了解如何自动化这一任务。这些智能工具可以减少人工标注工作,提高效率,降低成本。不过,需要注意适用性、数据多样性和准确性。
瓶颈问题如样本规模小、数据不均匀和分割不准确,可通过数据增强和前后处理来解决,但要考虑这些计算解决方案对结果的影响,避免错误解释。准确性是重要指标,不仅在获得高值时,还要考虑网络学习过程是否充分考虑了真实情况的差异,如日常实践中所见。
深度学习能够以自学的方式从生物图像中学习对象的有效表达,并且无需事先叠加用户设计的特征(从而超越了传统机器学习方法的限制)。深度学习范式允许我们从一个输入中同时研究多条信息,并了解它们相互集成和相互影响的方式。因此,通过生物成像分析(可能克服人类感知的局限性),从海量数据中进行网络学习可能会提出新的生物标志物作为肌肉骨骼疾病的预测指标。
对于工具开发的“深入”了解可以支持评估当前或新的临床应用软件解决方案的能力,其中“以患者为中心”的范式需要定制分析和优化设置。如果分割工具能够根据每个具体情况和肌肉骨骼结构的条件进行实时参数调整,那么它可能会增加物理治疗(如激光径向冲击波等)的效果,从而将干预重点放在被改变的结构自身的精确水平上。帮助指导临床医生定制调查可能与特定病症相关的结构,规划最佳干预方案,重新评估治疗的有效性并监测其后续进展。
6
结 论
新的视角,医护前沿
将深度学习模块集成到医疗设备中,用于肌肉骨骼结构的分割,可以加速和精确治疗的进展,减少人为错误,提高患者生活质量,同时为医学成像领域提供新的解释视角,迈向医疗护理的新前沿。
Bonaldi L, Pretto A, Pirri C, Uccheddu F, Fontanella CG, Stecco C. Deep Learning-Based Medical Images Segmentation of Musculoskeletal Anatomical Structures: A Survey of Bottlenecks and Strategies. Bioengineering (Basel). 2023 Jan 19;10(2):137. doi: 10.3390/bioengineering10020137. PMID: 36829631; PMCID: PMC9952222.
news room
08.26
08.26
07.07
02.28
07.16
02.21
07.26
08.08
08.08
08.23
07.02
08.02
07.12
07.12
07.12
07.05
05.10
04.19
04.19
04.12
04.08
04.02
03.22
03.22
02.22
03.15
02.23
03.22
03.08
02.22
02.04
02.01
01.05
01.12
01.05
01.05
12.29
12.08
12.08
12.08
11.30
11.30
11.17
10.31
10.31
10.19
10.17
10.12
10.08
09.27
09.01
09.01
09.01
08.18
08.18
08.18
08.11
07.21
07.21
07.21
07.13
07.07
06.30
06.20
06.16
06.09
06.09
05.25
05.19
05.26
05.19
05.12
04.26
04.28
04.26
04.14
04.06
03.31
03.31
03.24
03.17
03.10
03.03
02.23
02.16
02.16
02.10
01.29
01.29
01.18
01.12
01.06
01.03
12.30
12.09
12.02
11.22
11.03
07.07