CN111899229A - 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 - Google Patents

Abstract

本发明涉及医疗影像处理技术领域，尤其涉及一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，包括：S1、构建多模型；S2、采集胃镜影像，形成连续的序列化图像帧，利用图像分类模型1识别当前图像帧的光源模式，识别为白光模式时，进入步骤S3目标检测模型2标记病灶的位置，并利用图像分类模型3对高风险病灶进行标记；识别为染色放大模式时，进入步骤S4实例分割模型组实时地提取图像帧中的边界范围、微血管形态、微组织结构特征图，决策模型7输出是否癌变、可信度的大小及分化类型。本发明根据不同的任务构建多个深度学习模型，并采用并级联的模型融合技术，在内镜医师进行胃早癌筛查过程中，提供全流程智能辅助诊断功能。

Description

一种基于深度学习多模型融合技术的胃早癌辅助诊断方法

技术领域

本发明涉及医疗影像处理技术领域，尤其涉及一种基于深度学习多模型融合技术的胃早癌辅助诊断方法。

背景技术

胃癌是常见的恶性肿瘤，2018年全球癌症统计数据显示，胃癌发病率和死亡率分别排名第3，严重威胁着患者的生活质量和生命安全，造成了巨大的卫生负担。早期胃癌的5年生存率达到90％以上，因此胃癌的早发现、早诊断、早治疗意义重大，可有效改善患者预后、挽救患者生命、拯救幸福家庭、节约医疗资源，具有极大的社会价值和经济价值。

电子内窥镜是目前世界上开展最多且最有效的胃早癌筛查手段，内镜医师通过白光和染色放大内镜仔细观察胃粘膜的细微变化，来诊断是否已出现了胃癌的早期特征。但胃早癌的镜下黏膜表现多种多样，加之内镜医师自身的经验和诊断水平参差不齐，普遍存在发现不了病灶、发现病灶但诊断错误等方面的问题。

随着人工智能技术的日渐成熟和广泛应用，目前已被引入到胃早癌的筛查过程中，比如专利1“CN107967946A-基于深度学习的胃镜操作实时辅助系统及方法”中的系统可以辅助内镜医师全面彻底的观察整个胃腔，防止病灶遗漏；专利2“一种基于深度学习和图像增强的NBI图像处理方法及其应用”中的方法利用深度学习算法和图像增强技术提取NBI图片的微血管和微结构等特征，将特征化后的图片呈现给内镜医生，精准有效地辅助医生进行诊断；专利3“CN110974179A-一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统”中的系统在电子染色内镜下利用深度学习算法用矩形框标记疑似胃早癌病灶，提示内镜医师进行仔细观察。

以上列举的专利1中用到了深度学习图像分类技术，仅用于质量控制，未涉及病灶诊断；专利2中利用深度学习风格迁移算法提取了NBI图片的微血管和微结构特征呈现给内镜医师，并未对微血管和微结构的变化进行诊断分析如微血管是否扭曲或变形、微结构是否整齐或消失，更未对病灶的性质提供诊断建议，对医生的辅助作用相对有限；专利3中仅利用深度学习目标检测算法在电子染色内镜下用矩形框标记疑似胃早癌病灶，也仅提取了病灶的粗略边界范围特征呈现给内镜医师，未对病灶的性质提供诊断建议，对医生的辅助作用相对有限。综上所述，现有技术不能准确识别病灶并提供诊断建议，辅助作用有限，导致漏诊和误诊风险大，为此，我们提出一种基于深度学习多模型融合技术的胃早癌辅助诊断方法。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，具有可以快速实时地获取到符合诊断规范、贴合诊断习惯的专家级诊断意见，以便作出更加精准的判断，减少漏诊和误诊风险的特点，解决了现有技术不能准确识别病灶并提供诊断建议，辅助作用有限，导致漏诊和误诊风险大的问题。

本发明提供如下技术方案：一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，包括如下步骤：

S1、构建用于识别白光和电子染色放大光源模式的图像分类模型1、用于白光下标记和追踪可疑病灶的目标检测模型2、用于白光下病灶的高低风险分析的图像分类模型3、用于染色放大下病灶的边界范围、微血管形态、微组织结构的特征提取的实例分割模型组，用于综合多个关键特征的病灶性质分析的决策模型7；

S2、图像采集模块对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧，利用图像分类模型1识别当前图像帧的光源模式，识别为白光模式时，进入步骤S3；识别为染色放大模式时，进入步骤S4；

S3、目标检测模型2实时地检测图像帧中的可疑病灶，并标记病灶的位置，采用常规的图像处理算法将病灶从原图中抠取出来，利用图像分类模型3预测病灶的风险程度，并对高风险病灶进行标记；

S4、实例分割模型组实时地提取图像帧中的边界范围、微血管形态、微组织结构特征图，提取出来的三种特征图并行传入构建好的决策模型7，决策模型7输出是否癌变、可信度的大小及分化类型，如果判断为癌，将在原图中标记癌的范围。

优选的，所述步骤S3中用蓝色矩形框标记病灶的位置，如果判断为高风险病灶，改用红色矩形框重新标记；蓝框或红框标记，均会实时地展示给内镜医师，供诊断参考。

优选的，步骤S3中所述病灶分为低风险病灶和高风险病灶，其中低风险病灶包括胃息肉、浅表性胃炎、出血性胃炎、糜烂性胃炎、萎缩性胃炎、胆汁反流、良性溃疡、肠上皮化生的炎性病变征，而高风险病灶包括低级别上皮内瘤变、高级别上皮内瘤变、进展期癌、粘膜内癌的瘤性的病变征。

优选的，所述实例分割模型组由提取边界的深度学习模型4、提取微血管的深度学习模型5和提取微结构的深度学习模型6构成，且三个深度学习模型的网络结构特性完全一致，采用并联工作方式构建染色放大下胃早癌关键特征的完整提取。

优选的，所述步骤S4中将在原图中用红色多边形勾勒癌的范围，同时综合特征图和诊断信息会实时地展示给内镜医师，供诊断参考，其中综合特征图由三种特征图叠加而成。

本发明提供了一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，采用深度学习多模型融合技术，其创新性和实用性的优势在于：一方面，为了完整的覆盖整个胃早癌诊断流程，本方案依据临床指南和专家共识提供了白光下和电子染色放大下的全流程诊断方法，完全符合内镜医师的诊断习惯和诊断逻辑；另一方面，根据诊断过程各环节的任务特点，本方案构建了白光下深度学习目标检测和图像分类的级联模型结构，用于病灶追踪及病灶高低风险分析，避免漏诊；构建了染色放大下深度学习多个实例分割的并联模型结构，精确地提取边界、微血管、微结构特征，呈现给内镜医师作辅助判断，同时构建了深度学习实例分割与深度决策的级联模型结构，将边界、微血管、微结构特征进行综合分析决策，给出是否癌变、可信度的大小及分化类型的明确诊断意见，供内镜医师作参考。

附图说明

图1为本发明的流程图；

图2为本发明实施例的过程描述图；

图3为本发明目标检测模型的标注示意图；

图4为本发明实例分割模型的标注示意图；

图5为本发明染色放大下胃早癌诊断流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，包括如下步骤：

S1、构建用于识别白光和电子染色放大光源模式的图像分类模型1、用于白光下标记和追踪可疑病灶的目标检测模型2、用于白光下病灶的高低风险分析的图像分类模型3、用于染色放大下病灶的边界范围、微血管形态、微组织结构的特征提取的实例分割模型组，用于综合多个关键特征的病灶性质分析的决策模型7；

S2、图像采集模块对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧，利用图像分类模型1识别当前图像帧的光源模式，识别为白光模式时，进入步骤S3；识别为染色放大模式时，进入步骤S4；

S3、目标检测模型2实时地检测图像帧中的可疑病灶，并标记病灶的位置，采用常规的图像处理算法将病灶从原图中抠取出来，利用图像分类模型3预测病灶的风险程度，并对高风险病灶进行标记；

S4、实例分割模型组实时地提取图像帧中的边界范围、微血管形态、微组织结构特征图，提取出来的三种特征图并行传入构建好的决策模型7，决策模型7输出是否癌变、可信度的大小及分化类型，如果判断为癌，将在原图中标记癌的范围。

实施例：

S1、进行多模型的构建过程如下，包括：

首先，构建深度学习图像分类模型DCNN1，用于识别白光和电子染色放大光源模式；构建深度学习目标检测模型DCNN2，用于白光下标记和追踪可疑病灶；构建深度学习图像分类模型DCNN3，用于白光下病灶的高低风险分析；构建深度学习实例分割模型组(DCNNS，由DCNN4、DCNN5、DCNN6构成)，用于染色放大下病灶的边界范围、微血管形态、微组织结构的特征提取；构建深度学习决策模型DCNN7，用于综合多个关键特征的病灶性质分析。实例分割模型组由提取边界的深度学习模型4、提取微血管的深度学习模型5和提取微结构的深度学习模型6构成，且三个深度学习模型的网络结构特性完全一致，采用并联工作方式构建染色放大下胃早癌关键特征的完整提取。

其中DCNN1-7，分别对应图像分类模型1、目标检测模型2、图像分类模型3、深度学习模型4、度学习模型5、深度学习模型6和决策模型7。DCNNS对应实例分割模型组。DCNN代表深度卷积神经网络。

S2、基于强大的通用图像处理库OpenCv构建的前置图像采集模块对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧。采集时间间隔的长短取决于后续步骤中涉及的深度学习模型完成一次完整诊断流程所消耗的时间，模型的预测速度越快，采集时间间隔就越短，诊断性能的连续性和实时性就越好。

影响模型预测速度的因素主要包括：搭载的硬件平台GPU和CPU的处理性能，模型网络参数的大小。本实施例优选的硬件配置为：CPU处理器：英特尔酷睿处理器I7-9700K；GPU图形处理器：华硕RTX2080Ti。

利用构建好的可识别白光和电子染色放大模式的分类模型DCNN1识别当前图像帧的光源模式。该任务需要训练一个图像分类(image classification)模型，由于白光和电子染色的图片对于内镜医生来说是极其容易分辨的，因此本实施例优选在全球最大的公开数据集ImageNet上预训练过的网络参数较少的分类模型，如MobileNet，Inception等，此类小模型优点是：精度满足要求，且网络参数很小，预测速度快。

图像分类的卷积神经网络一般由以下结构组成：

(1)输入层：通常为彩色图片或灰度图片的像素矩阵，三维矩阵中长宽代表图像大小，深度代表色彩通道；

(2)卷积层：卷积层每一节点输入只是上层网络一小块，常用3x3或5x5，用于获取抽象程度更高的特征；

(3)池化层：不会改变三维矩阵的深度，但会缩小矩阵大小。将分辨率高的图片转化为分辨率较低，可以进一步缩小全连接层中节点个数，达到减小参数的目的；

(4)全连接层：一般由1到2个全连接层得出最后结果。经过几轮卷积和池化后，图像中的信息被抽象成信息含量更高的特征。全连接层完成分类任务；

(5)Softmax层：可得到当前样例属于不同类别的概率分布。

高年资的内镜医生将标注图片分类为白光和电子染色放大两个类别来构建数据集，训练DCNN1模型以保证达到预期的精度指标。对模型性能的要求准确度达到99％以上。

S3、DCNN1识别为白光模式时，利用构建好的深度学习目标检测模型DCNN2实时地检测图像帧中的可疑病灶，用蓝色矩形框标记病灶的位置。

基于深度学习的目标检测(Object Detection)算法经过了很长时间的技术积累和改良，性能趋于稳定，目前主流的算法有SSD、YOLO、Retina-Net。本实施例考虑到很高的实时性要求，本实施例优选YOLO(You Only Look Once)系列最新版本YOLO43，该算法的检测速度非常快达到40fps(大于20fps的视频人眼感觉不到延迟)，精度也很不错。YOLO算法基本原理：首先将图像划分为定义好的边界框，然后并行运行所有这些框的识别算法，以识别它们属于哪个对象类。在识别了这些类之后，它继续聪明地合并这些框，以形成围绕对象的最佳边界框。专家级的内镜医生通过使用标注工具来标注每张图片的病灶位置来构建病灶检测数据集，训练DCNN2模型以保证达到预期的精度指标，标注示意图见附图3。

采用常规的图像处理算法将病灶从原图中抠取出来，利用构建好的深度学习分类模型DCNN3预测病灶的风险程度；如果判断为高风险病灶，改用红色矩形框重新标记；蓝框或红框标记，均会实时地展示给内镜医师，供诊断参考。

该步骤同样需要训练一个分类模型，由于涉及到病种分析，任务难度较大，精度指标要求更高。因此本实施例优选预训练过的网络参数较大的分类模型，如VGG、ResNet、DenseNet等。以病理结果为金标准来构建训练样本集，其中低风险病灶包括胃息肉、浅表性胃炎、出血性胃炎、糜烂性胃炎、萎缩性胃炎、胆汁反流、良性溃疡、肠上皮化生等炎性病变征，而高风险病灶包括低级别上皮内瘤变、高级别上皮内瘤变、进展期癌、粘膜内癌等瘤性的病变征，训练DCNN3模型以保证达到预期的精度指标。

上述步骤中分类模型DCNN3的输入是基于目标检测模型DCNN2预测结果抠取的病灶图；DCNN2实现病灶追踪，DCNN3实现病灶性质分析，两种不同网络结构特性的深度学习模型的级联工作方式构建了白光下胃早癌智能诊断的实现过程，符合白光下胃早癌诊断流程。该过程对病灶检测模型性能的要求为：灵敏度达到99％以上，确保没有病灶遗漏；对病种分类模型性能的要求为：灵敏度达到95％以上，特异度达到80％以上，尽可能地降低瘤性及以上病变漏诊率。

S4，DCNN1识别为染色放大模式时，利用构建好的深度学习实例分割模型组实时地提取图像帧中的边界范围、微血管形态、微组织结构特征图。实例分割(InstanceSegmentation)算法属于数字图像处理的图像分割(image segmentation)范畴，是计算机视觉领域非常重要且基础的研究方向。简单来说，实例分割在图像中将目标轮廓或边界检测出来，然后对每个像素打上标签。

实例分割算法发展历史久远，先后经历了以下阶段：

(1)基于阀值的分割方法。

(2)基于边缘的分割方法。

(3)基于区域的分割方法。

(4)基于聚类分析的图像分割方法。

(5)基于小波变换的分割方法。

(6)基于数学形态学方法。

(7)基于卷积神经网络的方法。

基于深度学习的实例分割算法通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。该类算法在复杂任务下的性能表现显著优于传统算法，已成为主要研究方向，目前主流的算法有SegNet、RefineNet、MaskR-CNN、U-Net。其中U-Net是目前在医学图像处理领域，应用很广泛的网络结构，在大量的AI技术论文和医学AI研究领域中使用最多，因此本发明实施例优选U-Net。该算法是一种全卷积神经网络，酷似U型而得名，输入和输出都是图像，没有全连接层，能够同时结合底层和高层信息，底层信息有助于提高精度，高层信息用来提取复杂特征。其性能特点：具有快速训练收敛的特性、具有很强的网络泛化能力。

类似于目标检测模型的训练集构建，需要专家级的内镜医生通过使用标注工具标注每张图片的特征信息来构建数据集。该步骤需要建立3个不同的数据集，标注任务分别勾勒边界范围、微血管构造、微结构构造，标注示意图见附图4。该步骤中涉及的三个深度学习模型同属于实例分割类别，其网络结构特性完全一致，采用并联工作方式构建了染色放大下胃早癌关键特征的完整提取，符合染色放大下胃早癌的诊断流程。该过程对模型性能的要求为：AI提取的特征区域与人工标记面积重合度(IOU)大于0.7，这样可以保证特征信息完整。

将上述步骤提取出来的三种特征图并行传入构建好的深度学习决策模型DCNN7，决策模型输出是否癌变、可信度的大小及分化类型；如果判断为癌，将在原图中用红色多边形勾勒癌的范围，同时综合特征图(三种特征图叠加)和诊断信息会实时地展示给内镜医师，供诊断参考。

该步骤涉及到人工智能决策算法，决策算法适合求解决策结果与多个相关输入特征之间存在某种复杂的数据规律或逻辑关系的问题。目前应用最广的决策模型有决策树、随机森林、深度森林。随机森林属于传统机器学习，在现实数据分析中被大量使用，它相对于决策树，在准确性上有了很大的提升，同时一定程度上改善了决策树容易被攻击的特点，但仍存在容易过拟合问题。而深度森林算法通过引入细粒度的扫描和级联操作(cascadingoperation)，可以构建多层结构，该结构具备适应性模型复杂度，且能够在多种类型的任务上取得有竞争力的性能。根据图5描述的染色放大下胃早癌诊断流程，本发明实施例中，染色放大下边界范围、微血管构造、微结构构造是诊断胃癌的最主要特征，将这三种特征图的像素矩阵作为深度森林模型的输入，进行多轮的训练样本和验证样本随机抽取的训练，得到满足性能要求的决策模型。

深度决策模型DCNN7的输入是基于实例分割模型组DCNNS提取的边界、微血管、微结构特征图；DCNNS实现关键特征的提取，DCNN7实现综合多个关键特征的病灶性质分析，两种不同网络结构特性的深度学习模型的级联工作方式构建了染色放大下胃早癌智能诊断的实现过程，特征图的提取和展示可帮助内镜医师理解深度学习模型的诊断思路，使其具有很强的可解释性。

胃早癌筛查通常分为初筛和精查两个阶段。初筛指的是患者进行常规的胃镜体检或者有症状的胃镜检查复查。初筛设备采用的是普通白光胃镜，优势在于可全面清晰地观察整个胃粘膜，熟悉早期胃癌的粘膜特征，发现局部粘膜颜色、表面结构改变等可疑病灶。整个检查过程约4-6分钟，内镜医师在白光下全面观察胃腔，当发现有可疑病灶(不能排除早癌的病灶)时，会建议病人尽快安排下一阶段的内镜精查。因为普通白光胃镜仅能从整体去评估病变(病灶位置、范围大小)，无法观察病变局部(精确的边界、微血管和微结构)，它的重要意义在于确保所有可疑病灶都能被发现，无漏检。

而精查则不同，精查设备采用的是染色放大胃镜，它的优势在于通过改变光谱突显了黏膜微结构，放大下可凸显病变微结构及微血管，弥补了普通白光内镜观察局部特征的不足，提高了胃早癌筛查的准确性。相关研究表明，普通白光内镜诊断胃早癌的敏感度仅为40％，如果结合电子染色放大，敏感度可提高至95％。精查过程通常约30分钟，收费较普通白光内镜高出4倍，且需要更有经验更加专业的内镜医师才能完成操作。内镜医师对每一处可疑病灶都需进行染色放大下的细致观察，根据有无明显边界、有无微结构消失、有无微血管异形等特征因素进行综合判断，见附图5；如果诊断为可疑癌变，进一步诊断癌变区域的分化类型，随后对癌变区域内外的多块组织取活检，送病理科作最后的病理诊断(病理是诊断胃癌的金标准)。因此精查的重要意义在于根据染色放大内镜下的表现，对病灶的病变性质进行更加准确的判断，以此来更加精准地指导病理活检，提高活检效率，提高早癌检出率，大大减少漏诊和误诊风险。

胃早癌的诊断过程极其复杂和繁琐，原因在于胃早癌病灶的改变通常较为轻微，在白光下无特异性表现，易容易造成漏诊；而电子染色放大下胃早癌的诊断标准十分复杂，且病灶表现形态各异，需要内镜医师具有强大的知识储备和丰富的经验，才能完成有效诊断。

因此，尽管深度学习算法在消化道影像处理领域具有强大的技术优势和成熟的应用成果，但单类型的深度学习算法并不能解决胃早癌辅助诊断的复杂任务，本发明的核心内容是根据不同的任务构建多个深度学习模型(涉及分类、目标检测、实例分割、深度决策任务)，并采用并级联的模型融合技术，在内镜医师进行胃早癌筛查过程中，提供全流程智能辅助诊断功能。本发明涉及的深度学习模型均在全球应用最广的深度学习开源框架Tensenflow2.0下训练的，相较于其它框架它的优点是：训练效率高、过程可视化、参数调优直观简便。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，其特征在于：包括如下步骤：

S1、构建用于识别白光和电子染色放大光源模式的图像分类模型1、用于白光下标记和追踪可疑病灶的目标检测模型2、用于白光下病灶的高低风险分析的图像分类模型3、用于染色放大下病灶的边界范围、微血管形态、微组织结构的特征提取的实例分割模型组，用于综合多个关键特征的病灶性质分析的决策模型7；

S2、图像采集模块对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧，利用图像分类模型1识别当前图像帧的光源模式，识别为白光模式时，进入步骤S3；识别为染色放大模式时，进入步骤S4；

S3、目标检测模型2实时地检测图像帧中的可疑病灶，并标记病灶的位置，采用常规的图像处理算法将病灶从原图中抠取出来，利用图像分类模型3预测病灶的风险程度，并对高风险病灶进行标记；

S4、实例分割模型组实时地提取图像帧中的边界范围、微血管形态、微组织结构特征图，提取出来的三种特征图并行传入构建好的决策模型7，决策模型7输出是否癌变、可信度的大小及分化类型，如果判断为癌，将在原图中标记癌的范围。

2.根据权利要求1所述的一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，其特征在于：所述步骤S3中用蓝色矩形框标记病灶的位置，如果判断为高风险病灶，改用红色矩形框重新标记；蓝框或红框标记，均会实时地展示给内镜医师，供诊断参考。

3.根据权利要求1所述的一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，其特征在于：步骤S3中所述病灶分为低风险病灶和高风险病灶，其中低风险病灶包括胃息肉、浅表性胃炎、出血性胃炎、糜烂性胃炎、萎缩性胃炎、胆汁反流、良性溃疡、肠上皮化生的炎性病变征，而高风险病灶包括低级别上皮内瘤变、高级别上皮内瘤变、进展期癌、粘膜内癌的瘤性的病变征。

4.根据权利要求1所述的一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，其特征在于：所述实例分割模型组由提取边界的深度学习模型4、提取微血管的深度学习模型5和提取微结构的深度学习模型6构成，且三个深度学习模型的网络结构特性完全一致，采用并联工作方式构建染色放大下胃早癌关键特征的完整提取。

5.根据权利要求1所述的一种基于深度学习多模型融合技术的胃早癌辅助诊断方法，其特征在于：所述步骤S4中将在原图中用红色多边形勾勒癌的范围，同时综合特征图和诊断信息会实时地展示给内镜医师，供诊断参考，其中综合特征图由三种特征图叠加而成。

Images