CN106682435A - 一种多模型融合自动检测医学图像中病变的系统及方法 - Google Patents

Abstract

本发明公开了一种多模型融合自动检测医学图像中病变的系统及方法，包括运用包括深度学习技术在内的单个或融合检测模型对医学图像，如乳腺X光图像中的可疑病变进行分析、检测。采用本发明可以实现病变特征的自动提取，可用于检测和标注一种或多种类型的病变。

Description

一种多模型融合自动检测医学图像中病变的系统及方法

技术领域

本发明涉及一种联合深度学习技术对医疗图像进行自动检测的系统和方法，具体涉及运用包括深度学习技术在内的单个或融合检测模型对医学图像(如乳腺X光图像)中的可疑病变进行检测和评估的系统及方法。

背景技术

乳腺癌是威胁妇女健康的最常见的一种癌症。防治乳腺癌的关键是早发现、早诊断、早治疗。乳腺健康检查常见的方式包括X光、超声和核磁共振成像(MRI)。其中，乳腺X光检查被认为是最准确的检测方法，因为它可以发现早期细小的各种可疑病变(如肿块、微钙化、结构紊乱等)。目前乳腺X光图像诊断主要是由医生通过目视完成的，诊断的质量依赖于医生的经验和细致的观察。当医生缺乏经验、受时间限制而没有仔细查看或者疲惫疏忽时，就会影响诊断效果，造成乳腺病变的漏诊和误诊。

采用乳腺计算机辅助检测和诊断系统(CADe/CADx)，在临床实践中可以帮助医生提高检测灵敏度、降低工作强度。传统的乳腺计算机辅助检测和诊断系统通常包括三个主要步骤：特征提取、特征选择和病变分类。这三个步骤需要分开处理，然后再整合在一起实现整体系统的性能调优。上述工作中，针对各个病症实现有效地特征提取是最重要的一个环节，这部分工作的质量决定了后续的特征选择和病变分类的效果。特征选择通常使用一些弱分类器作为标准，从一整套提取的特征中有针对性地选择一些有效特征。然后在病变分类步骤，通过使用一些基于机器学习的分类器如人工神经网络(ANN)、支持向量机(SVM)等，来进一步强化对不同病变与正常组织之间的判别能力。然而，由于在特征选择中使用的分类器与在病变分类中使用的分类器通常是不同的，在特征选择步骤所选的“有效”特征可能不是在病变分类中真正有效的特征；此外，特征提取的质量取决于在图像预处理(包括图像增强、图像分割等)过程中每个中间结果的质量，需要采用人工干预进行参数调整、手工优化、方案选择等，经过仔细设计和反复试验去找到满意的中间结果。所有这些因素都会影响诊断系统最终的性能，使得设计和优化传统的乳腺计算机辅助诊断系统困难重重。

运用深度学习的技术，可以改变传统的乳腺计算机辅助诊断系统的设计范式，并具有以下三个明显的优势：首先，深度学习可以从大量的训练数据中直接发现有效特征，因而显著缓解以往在特征提取过程中需要进行的许多有明确针对性的工作，深度学习可以补充甚至超越传统的特征提取方法的特征识别能力。第二，深度学习提供的深层神经网络的体系结构，可以方便地实现特征交互和继承的层次架构，这样使得特征选择的过程大大简化。第三，以往的特征提取、特征选择和病变分类这三个步骤，现在可以放在同一个深度学习的体系结构来实施，这样的设计使得整体性能的优化可以按照系统化的方式进行，变得更方便了。

但是用深度学习技术完全来替代传统的计算机辅助检测技术也有其不足之处。如果采用单一深度学习策略实现计算机辅助诊断，就缺少能够对传统的各种计算机辅助检测模型以及多种检测模型联合运用的综合考虑，不一定就是最优的检测模型的方案。

发明内容

本发明的目的在于提供一种联合深度学习技术的多模型融合自动检测医学图像中病变的系统及方法。

为达到上述目的，本发明采用了以下技术方案，以乳腺病变检测为例：

实现对乳腺医学图像进行智能病变检测的系统包括以下五个部分：

1)用于获取数字或数字化的乳房影像的图像输入模块，该模块在影像输入时通过识别乳头、皮肤、胸壁肌肉实现对乳腺兴趣区的分割；

2)包含乳腺病变检测处理器和一个或多个配置文件的智能诊断模块，乳腺病变检测处理器对乳腺图像(是指分割乳腺兴趣区并下采样后的乳房影像)进行空间转换、对比度和外观归一化处理，通过调用乳腺检测模型实现特征提取、特征选择和病变分类；

3)包含深度学习模型、传统的CAD模型、专家决策系统和其他各种模式识别和机器学习技术构建的乳腺检测模型；

4)用于存储和查询患者的病历档案库和包含各种病变的病理特征的病理数据库；病历档案库用于了解患者的病史以便对现状和未来发展进行评估，病理数据库有助于根据已有的病理特征信息发现类似的病变并进行预警；

5)用于显示乳腺图像和病变相关特征的图像显示模块。

根据乳腺医学成像数据进行病变检测和诊断的方法，包括以下步骤：

1)分析图像数据，识别乳腺组织、乳头和胸肌；

2)把原始图像数据按照标准空间转换成对齐的图像数据；

3)把对齐的图像数据采用对比度归一化处理；

4)对不同设备或厂商提供的乳腺图像进行外观归一化处理，如胶片、通用电气、西门子、豪洛捷(Hologic)、柯达CR/DR等；

5)在乳腺图像中检测可疑的乳腺病变兴趣区(ROI)；

6)建立和应用集成了卷积层和完全连接层的深度神经网络模型，降低假阳性；

7)建立包含深度学习模型、传统的CAD模型、专家决策系统和其他各种模式识别和机器学习技术构建的乳腺检测模型的模型库，并按需提供智能检测服务：如病变类型选择(肿块检测、微钙化检测、结构紊乱检测)、临床服务选择(快速筛查服务、精准检测服务，快速筛查通过牺牲一定的精准度而达到快速检测目的)；

8)在乳腺图像上注释和显示乳腺病变的位置和轮廓。

上述的系统或方法中，均涉及一种新的用于乳腺健康诊断的系统架构，包括：

1)利用各种模式识别和机器学习技术构建的乳腺检测模型库；

2)从一个独立的算法检测空间获得的检测分值映射到标准检测空间的映射方法；

3)可以选择出一组最优的算法，使得其融合后的检测分值反映出系统具有最优的性能。

本发明的有益效果体现在：

本发明一方面通过引入深度学习技术，克服了传统计算机辅助诊断系统的不足，可以将以前分开的特征提取、特征选择和病变分类联系起来，放在一个一体化的卷积神经网络(CNN)模型里处理，实现整体系统高效和智能地运作，方便了系统调试和优化，另一方面，通过融合传统的CAD模型、专家决策系统和其他各种模式识别和机器学习技术，构成检测模型库，并采用最优的检测模型方案进行检测。据此，本发明可以提高从医学图像中发现和检测病变的准确率，帮助医生提高诊断效果，具有较大的理论价值和经济效益。

附图说明

图1是传统的乳腺计算机辅助诊断系统的工作流程图。

图2是本发明一实施例的显示基于深度学习的乳腺诊断系统的工作流程图。

图2A是本发明一实施例的实现图2中乳腺兴趣区(ROI)空间转换的示意图。

图2B是本发明一实施例的实现图2中乳房组织外观归一化的示意图。

图2C是本发明一实施例的检测和提取可疑病变ROI的示意图。

图3是本发明一实施例的典型的深度学习网络结构图。

图3A是本发明一实施例的用于生成特征向量的卷积层的工作流程图。

图3B是图3A的卷积层使用滤波器组生成多波特征图像的示意图。

图3B1是本发明一实施例的说明从图3A的卷积层提取样本特征的示意图。

图3C是本发明一实施例的说明从图3A的卷积层进行池化操作的示意图。

图3D是本发明一实施例的说明深度学习模型实施各种特征层面融合的方法的示意图。

图3E是本发明一实施例的说明深度学习模型与传统的CAD模型实施特征层面融合的示意图。

图3F是本发明一实施例的说明在深度学习模型、传统的CAD模型以及诸如专家决策系统等其他模型中实施分值层面融合的方法的示意图。

图3G是本发明一实施例的说明在分值层面融合时实现分值归一化的方法的示意图。

图4是本发明一实施例的说明乳腺医学图像诊断系统各个组成部分的示意图。

图5是本发明一实施例的用于输入各种图像处理参数实现人机交互的界面示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明，所述实施例是对本发明的解释，而不是限定。

现有的乳腺CAD诊断系统的工作流程参见图1，图中每个列出的步骤在多数情况下是分别进行了优化，每一步都是把结果作为输入参数传递给后续步骤，几乎没有反馈信息。如果前面的步骤出错了，它仍然会传递给后续的步骤直到得出最终的结果。一般来讲，乳腺X光图像101需要先经过乳腺轮廓分割102、乳腺兴趣区预处理103，并检测出可疑病灶(病变)候选者104，这之后的处理，例如，特征提取和选择105对于整个系统的性能(敏感性和特异性)起着最为重要的作用。它需要进行大量的计算，因此通常需要使用一些优化假设和弱分类器(易于计算)来辅助。在此之后，所选择的最优特征子集将被输入到一些更强大的机器学习模型，如人工神经网络(ANN)，来去除假阳性107，提高其判别不同目标类的能力。然而，由于在特征提取和选择105使用的弱分类器和诸如在ANN模型训练106中使用的强分类器存在差异性，所以很难保证弱分类器得出的最优特征子集在使用强分类器的机器学习中达到效果最好。

本发明一实施例中基于深度学习的乳腺诊断系统的工作流程参见图2。乳腺图像数据可以通过扫描x光胶片、CR系统或DR系统获得。乳腺图像包括头尾位(CC位)、内外斜位(MLO位)视图，均以相同方式处理。图像分割步骤用于确定乳腺轮廓、乳头和胸肌的位置。以乳腺X光图像201为例，分割乳腺组织、乳头及胸壁肌肉202有多种方法。一种实施方法是在CC位视图通过估算皮肤线的位置来确定乳腺的轮廓，在MLO视图则通过胸肌加上乳腺组织来确定。由皮肤线和胸肌围起来的区域就是乳腺兴趣区(ROI)。通过对乳腺兴趣区进行空间转换203的方法可以将不同设备供应商来源的乳腺图像数据对应到标准化的乳腺空间。空间转换有多种方法。一种实施方法是由乳头和胸壁或胸肌组成的内部轴来确定空间的转换位置。举个例子，图2A显示了一个输入的乳房图像(左CC视图)进行空间转换的方法。输入图像21根据相对应的标记位置(乳头和胸壁中点)，与参考图像22比照进行转换，得出对齐后的图像23。值得注意的是，输入图像21和参考图像22展示的乳房大小存在明显的差异，对齐后的图像23比原始输入图像21在结构上可以显示出更多的细节。对对齐后的图像23进行乳腺兴趣区对比度归一化处理204，以归一化的方式提高了输入图像的对比度。对比度归一化有多种方法。一种实施方法是使用色调曲线转换方法，把输入的原始组织衰减线性空间转换成以增强乳腺兴趣区为目的的非线性灰度空间。另一种实施方法是使用基于直方图匹配的全局性密度转换方法，把输入图像的对比度增强，使得所有输入图像中密度相似的乳腺组织具有相似的密度值。然后通过乳腺组织外观归一化处理205进一步纠正由不同供应商提供的乳腺图片存在的差异。外观归一化在图像处理、计算机视觉艺术等领域有很多种方法。一种实施方法是使用基于图像碎片的深度机器学习外观模型，把厂家提供的对比度归一化了的图像非线性转换到一个标准的外观空间37。例如，参见图2B，对于供应商1、供应商2和供应商3提供的对比度归一化图像，分别构建独立的外观转换模型(外观归一化模型1、2、3)。在本发明中，使用外观转换模型作为驱动模块实现了对不同供应商提供的图像的支持，可以方便地不断扩大供应商列表。检测可疑病变候选者206步骤用于发现乳腺兴趣区内潜在的病变。可疑病变检测技术有多种方法。一种实施方法如图2C所示，输入图像分别由4个带通滤波器和1个均值滤波来创建第5个带状图像进行增强。候选者(峰值)通过从这4个带通滤波器的带状图像中选择最大值得出，并搜索不同的角度来估算峰值的大小。然后从第5个带状图像选出一个峰值。上述所有5个带状图像产生的峰值合并后再根据预先定义的候选者数量限制进行缩减。一些峰值的大小和位置需要根据从原始图像中分割出来的兴趣区(ROI)来进行纠正。兴趣区以外的峰值将被删除。峰值的大小和位置将依据第5个带状图像的峰值进行更新。

下面是基于深度学习的机器学习步骤，我们称之为“乳腺神经网络”(MammoNet)。MammoNet主要使用的是卷积神经网络(CNN)技术，其原理部分是受人类视觉处理机制的启发而产生的，即通过多层次的滤波器内核去学习，在每一层创建表达比上一层更抽象的数据。深度一词通常是指非线性函数的多层次嵌套。实践证明，深度卷积神经网络技术在图像分析领域具有出色的表现。它的角色类似于一个虚拟的放射科医师，通过学习乳腺病例大数据积累的知识和经验，即训练CNN模型207，来判别当前图像是否存在乳腺病变，并标识出病变的位置和病变区域的轮廓。

MammoNet的架构大致包括卷积层、池化层(pooling)和全连接层。每一个卷积层的结果会生成一个特征图，然后在池化层进行下采样(down-sample)。池化层一般采用最大池化方法，即在特征图中相邻的区域里选取最大值。池化层的缺点是在数据转换时有可能引入误差，在下采样时随着数据的减少可能导致定位精度降低。全连接层可以增加整个系统架构的性能。

用表示第L层的第k个特征图，是由卷积核根据下式计算出的：

其中*表示卷积算子，f代表非线性激活函数，b是一个偏差项，Y_L-1是第L-1层的特征图。为了克服梯度消失，使用修正线性单元ReLU函数代替传统的sigmoid函数来表示a的激活函数：

f(a)＝max(0,a)

实践表明这个激活函数更易于训练。CNN模型的参数Θ通常使用最大似然法来估算：

其中h(X|Θ)是样本X的后验概率函数，N是总层数。为了便于计算，对它取负对数转为以下求最小值的公式，即熵损失：

这里y代表类标签。这样可以使用梯度下降优化方法。对于大数据集，在内存不足或数据存在许多冗余样本时，通常使用小批量随机梯度下降法(SGD)。这样就不是对整个数据集进行梯度计算，而是分为若干个小批量进行梯度计算。随后使用标准的反向传播法来调整所有层的权重系数。

本发明一实施例的典型的深度学习网络结构(就是所述的“乳腺神经网络”)参见图3，这个基于CNN的网络结构包括五个卷积层(卷积层1～卷积层5)301、303、305、306、307，三个池化层(池化层1、池化层2、池化层5)302、304、308和三个全连接层(全连接层6～全连接层8)309、310、311，包含大约6000万个自由参数。此外，一些重要的训练参数，如：内核数目、步幅大小和间隔大小，也显示在图中。

本发明一实施例的用于生成特征向量的卷积层工作流程参见图3A(图3中的卷积层1、2和卷积层5)。池化层生成的特征向量会传递到后续的全连接层。

图3A的卷积层使用滤波器组生成多波特征图像的过程参见图3B。滤波器组是用来捕获具有不同属性的信号。阈值和激活用来消除嘈音或无用的信号。从图3A的卷积层提取样本的具有不同属性的特征如图3B1所示。

图3A的卷积层进行池化的过程参见图3C。池化和归一化是用来生成低分辨率的有意义的特征图。经过这样的一些卷积层处理后，一组简洁而有效的特征就可以提取出来，在随后的全连接层，通过进一步增强判别能力就可以取得更好的分类效果。

在本发明中，所有卷积过滤器的内核元素都是通过学习标记过的样本，在有指导的方式下完成训练的。这比起传统的计算机辅助检测(CADe)方法具有更大的优势，因为传统的CADe方法需要人为选择特性，依赖于人的设计经验。MammoNet比传统人工训练的系统有更好的机会捕捉到影像的“核心”数据。此外,类似MammoNet的系统无需人工干预，就可以从随机的初始模型或预处理的模型参数中训练，生成的模型可检测各种不同类型的病变或癌症。这样的操作使得MammoNet可以学习在图像中空间位置保持不变的特征。这些特征经过卷积层后输入本地连接层(类似于卷积层但是没有共享权重系数)，然后在全连接的神经网络层进行分类。在MammoNet里卷积层的维度越深，就可以编码越高阶的图像特征。这个神经网络系统会自我学习和处理特征并进行分类，最后为每个输入的图像提供病变分类及概率估算。

上述架构虽然功能强大，对如旋转和放缩等几何变换需要进行数据调整。在深度学习的背景下，数据调整技术通常用于从已经存在的数据产生新的样本，以解决数据匮乏和过度拟合的问题。对于乳腺x光检查，主要的挑战来自于图像旋转、图像放缩、图像转换以及组织重叠的数量。

在本发明中，为了增加训练数据的多样性，避免过度拟合，为每个病变兴趣区引入了多个观测维度是必要的。每个病变兴趣区可以在二维空间沿着一个随机向量转换N_t次。此外，每个病变兴趣区可以围绕中心按一个随机角度α＝[0,...,180]旋转N_r次。这些转换和旋转后的病变兴趣区再按照不同的缩放尺度计算N_s次。这个过程会为每个病变兴趣区生成N＝N_s×N_t×N_r个随机的观测维度。这样训练和测试数据集可以扩展到更大的量级上,这将增强系统的普遍性和可训练性。根据MammoNet模型，可以简单预测对于每个病变兴趣区这些N个随机观测维度{P₁(x),...,P_N(x)}计算出来得到候选者的概率是：

这里，P_i(x)是MammoNet为每个单独的图像碎片计算的分类概率值。在理论上，可以使用更复杂的计算方法，例如，对图像碎片进行平移和镜像等操作，但是在实践中发现简单平均值就很有效了。这个随机采样的方法可以简单而有效地提高训练数据的数量。上述计算方法通过对随机的观测维度进行平均值计算，可以进一步增加MammoNet系统的鲁棒性和稳定性。

在本发明中，检测可疑病变候选者206时，所述的候选者所在的病变兴趣区可以形状大小各异，但是在CNN训练时病变兴趣区的大小是固定的。如果病变兴趣区太小，图像分析就会缺乏足够的信息；如果太大，那么计算成本会增加，定位的精度也可能降低。因此，在深度CNN训练中，采用非均匀采样的效果会优于均匀采样。

假设P_i,j是图像I中在像素(i,j)附近一个n×n大小的非均匀采样的病变兴趣区，则有：

其中，a和b是从病变兴趣区的中心偏移间隔范围内的整数，l和m是图像I中对应像素的偏移量，计算为：

其中α是一个控制量，表示病变兴趣区扩展的程度：α＝0表示均匀采样的病变兴趣区。当远离图像碎片的中心(a和b的绝对值增加)时，需要采样的像素的x轴和y轴偏移量(l和m)呈现指数级增长。这意味着在中心进行密集采样，到外围采样的密度降低。

乳腺模型库优化208主要包括卷积神经网络的融合、深度学习与其他检测模型的融合以及各检测模型打分结果的融合。

本发明一实施例的说明在不同的深度学习模型(即CNN网络)中各种实施特征层面融合的方法，如图3D所示。假设有两个CNN网络，矩阵和是从每个CNN网络最后一个卷积层提取的特征集，M和N是特征图的数量，d是特征图的大小，a_i和b_i是矩阵A和B的第i列元素，分别对应一个特征图。融合C的输出是：

串联(图3D中的基准A)：其中∪是并集(连接)操作符；

组合(图3D中的基准B)：

其中∪是并集(连接)操作符，α和β是每个特征图的权重系数，γ和δ是偏置量。

多维融合(图3D中的基准C)：

其中，⊙代表元素乘积，γ和δ是偏置量，α和β为每个特征图的权重系数，是可学习的参数。上述方法也可以扩展到全连接层的融合。与卷积层不同，对于全连接层d＝1，所以A和B的维度分别是1×M和1×N。

这里α和β在每个网络扮演着重要角色，它们对重要的特征赋予较高的权重，可用于预测。K是唯一的超参数(hyper-parameter)，它的大小代表着融合网络的容量大小。注意，这个方法支持网络数量的扩展，因为融合网络的大小取决于K，而不是网络的数量。

融合层用标准的反向传播和随机梯度下降法进行训练。融合层的结果可以很容易地接入到许多流行的CNN软件平台，如Caffe。

本发明一实施例的说明深度学习与传统的CAD模型实施特征层面融合，可以采用的融合方法包括在模式识别/机器学习中的常见技术，如串联、主成分分析(PCA)、线性判别分析(LDA，linear discriminant analysis)等技术。图3E中显示的是从CNN模型深度学习生成的特征(CNN特征31)与传统的乳腺CAD模型经过人工干预产生的特征(人工选择的特征32)进行融合。特征融合33可以是简单的串联，或按权重系数进行串联，然后进行PCA和LDA，PCA将减少连接特征向量的维数，LDA会增强特征判别能力并进一步降低维度。融合后的特征将被输入到传统的人工神经网络(ANN34)。这样生成的ANN模型将受益于CNN和人工指导的经验，从而取得更优的乳腺检测效果。

本发明一实施例的说明在多种深度学习模型、传统的CAD模型以及诸如专家决策系统等其他模型中实施分值层面融合的方法，参见图3F。从不同的检测算法得出的分值，如：基于若干个CNN(CNN1分值331、CNN2分值332，等等)和若干个ANN(ANN1分值334、ANN2分值335，等等)的分值，首先转换为如图3G所示的标准检测空间(目标曲线323)，然后使用各种融合函数，如线性或非线性的、有或没有权重的、有或没有分值补偿的，进行分值融合337，生成最终检测分值，据此进行分类得到检测结果338(病变或非病变组织)。

本发明一实施例的在检测分值层面融合时实现分值规范化，参见图3G，它提供了从各种不同的检测算法(无论是基于CNN、ANN或其他机器学习的模型)获得的检测分值的融合。它提供了一个高级别的校正每个检测算法检测结果的方法，假设每个算法得出的检测分值是互补的，可以得出最终的最优检测结果。由于从各个算法得出的检测分值有不同的意义，它们需要先转化到一个规范化的空间，以便相互可以比较。通常采用误判率(FAR)曲线321来进行归一化转换，在模式识别领域在-log10空间的FAR曲线322比原始的FAR曲线更有意义。

假设FAR曲线在–log10空间表示为：其中是在-log10空间的FAR曲线322上的分值(score)，而是-log10空间的FAR曲线322上的-log10(FAR)，n是曲线上所有的点的总数。设是的一阶导数，计算为：样条系数和可以从和计算出来。基于样条插值的分值归一化可以用霍纳氏法则(Horner’s rule)得出：

mappedScore_i＝y_i+dx×(y1_i+dx×(y2_i+dx×y₃))

其中x₁≤u≤x_i+1，dx＝rawScore_i-x_i.rawScore_i是初始分值。

图3F中，对角线就是检测算法在-log10空间经过归一化处理转换得到的目标曲线323

使用分值融合的方法有助于构建可伸缩的智能诊断系统。它有助于最大化当前的检测算法库并获得最佳的检测性能。此外，如果未来有新技术出现得到更好的算法，那么也可以无缝集成到本系统中，这将有助于提高乳腺智能诊断系统的性能。本方法使得乳腺智能诊断系统的设计和扩展达到一个更高水平，即重点是建立最优算法库，而不是放在具体改进某个检测算法上面。

本发明一实施例的乳腺医学图像智能诊断系统的结构，参见图4。本发明实现对乳腺医学图像进行智能诊断的系统包括以下五个部分：图像输入模块44、智能诊断模块40、乳腺检测模型库41、病历档案库和病理数据库38以及图像显示模块46。数字图像或数字化图像42经过图像输入模块44传达到智能诊断模块40，该模块包含乳腺病变检测处理器，提供控制逻辑、数据处理、数据存储功能，可对乳腺图像进行空间转换、对比度归一化和外观归一化处理，通过调用乳腺检测模型实现特征提取、选择和分类，并把自动检测的结果输出到图像显示模块46。乳腺检测模型库41包含深度学习模型、传统的CAD模型、专家决策系统和其他各种模式识别和机器学习技术构建的乳腺检测模型，数字图像包括从胶片扫描、CR或DR设备获取的图像。智能诊断模块40包括一个或多个配置文件，用于存储参数值在不同条件下使用，并据此提供进一步的图像处理和分析功能执行图2所示的基于深度学习的乳腺诊断系统的工作流程。病历档案库和病理数据库38可以存储和查询患者的病历档案(如年龄、家族史和病史)以及各种病变的病理特征信息，以便对患者罹患的风险和未来发展进行评估和预警。用户在控制台39通过图像显示模块46的操作界面可输入指令、进行配置和调整参数。

本发明一实施例的用于输入参数实现人机交互的界面，参见图5。常用的图像处理参数包括图像数据的调节，初始数据的定义和特征图的生成参数。选项卡30用来选择一组合适的参数进行输入或显示。图5的例子列出的典型参数包括高通滤波器的初始值，如调整模糊滤波器的σ、宽度和高度值；用于生成定位区域的参数，包括伽柏滤波器(Gaborfilter)的σ、τ、宽度和高度值以及库的大小；以及用于图像平滑处理的参数，如定位区域的平滑处理和特征图的平滑处理。除了控制参数外，用户还可以使用选项卡30查看中间结果(特征图)和最终结果。

至此，本发明的上述实施例实现的乳腺病变检测和诊断209，并通过构造上述系统，完成检测结果的标记/可视化/诊断报告210。诊断结果包括显示识别的一种或多种乳腺病变的相对风险指标。

Claims (10)

1.一种多模型融合自动检测医学图像中病变的方法，其特征在于，包括以下步骤：

对病变兴趣区进行病变种类识别，识别时所利用的病变检测模型选自基于深度学习技术、其他计算机辅助检测技术中的一种或由其中若干种模型进行融合后所形成的检测模型。

2.根据权利要求1所述一种多模型融合自动检测医学图像中病变的方法，其特征在于，对于原始图像数据依次进行兴趣区识别、图像规范化以及可疑病变候选者检测，从而确定病变兴趣区。

3.根据权利要求2所述一种多模型融合自动检测医学图像中病变的方法，其特征在于，所述兴趣区识别包括组织轮廓分割；所述可疑病变候选者检测包括在识别的兴趣区应用至少一个高通滤波操作，得到特征图像。

4.根据权利要求2所述一种多模型融合自动检测医学图像中病变的方法，其特征在于，所述图像规范化包括将原始图像数据按照预定义的标准空间转换成对齐的图像数据，以归一化的方式提高对齐的图像数据的对比度，然后转换到一个标准的图像外观空间。

5.根据权利要求1所述一种多模型融合自动检测医学图像中病变的方法，其特征在于，所述基于深度学习技术的病变检测模型是由机器学习自动生成的一体化的卷积神经网络模型，通过应用自动构建的各种滤波器，自动提取和选择特征，经过至少一个卷积层和一个完全连接层从前向后传递，来确定正常组织和各种病变组织。

6.根据权利要求1所述一种多模型融合自动检测医学图像中病变的方法，其特征在于，通过将独立的算法检测空间获得的检测分值映射到标准检测空间以及对由多个算法检测空间融合得到的检测空间进行分值层面的融合，计算不同检测模型的检测分值，根据分值选择出一组用于病变种类识别的最优算法集；所述最优算法集包括对CNN模型自动学习得到的特征和由其他计算机辅助检测模型得到的特征，在特征层面进行融合后进行特征筛选和病变识别的组合模型；所述独立的算法检测空间选自基于CNN模型、基于最优特征集、专家决策系统和其他的各种模式识别和机器学习技术构建的病变检测模型中的至少一种，通过分值层面的融合实现即插即用功能，使新的检测算法在加入时可以在分值层面上实现融合。

7.一种多模型融合自动检测医学图像中病变的系统，其特征在于，该系统包括智能诊断模块和检测模型库；所述智能诊断模块包括病变检测处理器和一个或多个用于设置病变检测处理器参数的配置文件；病变检测处理器调用检测模型库对兴趣区进行病变种类识别，所述调用是指选择基于深度学习技术、人工指导的模型中的一种或由其中若干种模型进行融合后所形成的病变检测模型。

8.根据权利要求7所述一种多模型融合自动检测医学图像中病变的系统，其特征在于，所述系统还包括图像输入模块，图像输入模块获取数字或数字化的医学影像并对该影像进行兴趣区识别。

9.根据权利要求7所述一种多模型融合自动检测医学图像中病变的系统，其特征在于，所述系统还包括图像显示模块，图像显示模块包括用于进行参数设置以及显示病变识别中间结果和最终结果的人机交互界面。

10.根据权利要求7所述一种多模型融合自动检测医学图像中病变的系统，其特征在于，所述系统还包括用于存储和查询病历档案的病历档案库以及包含各种病变的病理特征信息的病理数据库。