CN118799319B - 一种智能内窥镜的息肉实时检测方法、系统及相关设备 - Google Patents

Abstract

本申请涉及一种智能内窥镜的息肉实时检测方法、系统及相关设备，包括获取历史的确诊图像，并将所有确诊图像存储起来作为初始数据集；建立息肉检测初始模型，并根据标准数据集对息肉检测初始模型进行训练优化，得到息肉检测模型；依次获取图像采集设备采集的当前待检测肠道的若干待检测图像，并对获取的图像进行统一标准化，得到若干待检测图像；将所有所述待检测图像依次输入所述息肉检测模型，得到实际检测结果；根据实际检测结果以及预设的漏检指标评估息肉检测模型的准确度。本申请有助于医生通过智能内窥镜的实时检测和标识，快速定位肠道中的异常区域，大大提高了息肉检测的效率和准确度。

Description

一种智能内窥镜的息肉实时检测方法、系统及相关设备

技术领域

本申请涉及息肉检测技术领域，尤其是涉及智能内窥镜的息肉实时检测方法、系统及相关设备。

背景技术

在现代医疗领域，消化系统疾病的准确诊断和及时治疗至关重要。息肉作为消化系统中较为常见的病变，其早期发现对于预防癌症等严重疾病的发生发展具有重大意义。

传统的内窥镜检查主要依赖医生的肉眼观察来发现息肉，这种方式存在一定的局限性。一方面，医生在检查过程中需要高度集中注意力，长时间的观察容易导致疲劳，从而增加漏诊和误诊的风险。另一方面，由于人体消化道内部环境复杂，如存在黏液、气泡、食物残渣等干扰因素，以及不同部位的解剖结构差异，使得一些小的息肉或特殊形态的息肉难以被及时发现。

随着科技的不断进步，计算机技术和图像处理技术在医疗领域的应用日益广泛。近年来，虽然出现了一些基于图像处理的息肉检测方法，但大多是在检查后对图像进行分析得到分析结果，而这就导致医生和患者可能需要在检查结束后花费大量时间回顾图像以确定分析结果的准确性，整体的检测效率较低，延长了诊断时间，也可能延误患者的治疗时机。

发明内容

为了改善目前息肉检测的图像分析效率较低的问题，本申请提供一种智能内窥镜的息肉实时检测方法、系统及相关设备。

第一方面，本申请提供一种智能内窥镜的息肉实时检测方法，采用如下的技术方案：

一种智能内窥镜的息肉实时检测方法，基于一种智能内窥镜的息肉实时检测系统，该系统包括图像采集设备，其特征在于，所述息肉实时检测方法包括：

获取历史的确诊图像，并将所有确诊图像存储起来作为初始数据集；

对所述初始数据集进行统一标准化，得到标准数据集；

建立息肉检测初始模型，并根据标准数据集对息肉检测初始模型进行训练优化，得到息肉检测模型；

依次获取图像采集设采集的当前待检测肠道的若干待检测图像，并对获取的图像进行统一标准化，得到若干待检测图像；

将所有所述待检测图像依次输入所述息肉检测模型，得到实际检测结果；

根据所述实际检测结果以及预设的漏检指标评估息肉检测模型的准确度；

所述根据标准数据集对息肉检测初始模型进行训练优化，得到息肉检测模型包括：

按预设比例将所述标准数据集划分为训练集以及测试集，所述训练集和所述测试集均包括经过统一标准化的标准图像以及异常图像；

通过所述训练集对所述息肉检测初始模型进行训练；

通过所述测试集对训练好的所述息肉检测初始模型进行测试优化，得到息肉检测模型；

所述通过所述训练集对所述息肉检测初始模型进行训练包括：

将所述训练集中的所有所述标准图像以及所述异常图像均输入到所述息肉检测初始模型中，并将每一图像均分割为若干检测区域，并提取出每一图像对应的所有所述检测区域的局部特征矩阵；

计算所有所述标准图像对应的局部特征矩阵的平均值，并将该平均值作为标准特征矩阵，所述标准特征矩阵的计算公式如下：

其中，表示训练集中第n张标准图像在检测区域的局部特征矩阵；表示标准特征矩阵；表示第n张标准图像对应的局部特征矩阵中第行第列的元素；N表示标准图像的总张数；表示所有标准图像对应的局部特征矩阵中第行第列的元素的平均值；

基于所述标准特征矩阵以及所述异常图像的局部特征矩阵得到异常特征矩阵，以完成对所述息肉检测初始模型的训练。

在一个具体的可实施方案中，所述息肉检测初始模型包括用于检测不同息肉类型的若干检测子模型；所述基于所述标准特征矩阵以及所述异常图像的局部特征矩阵得到异常特征矩阵，以完成对所述息肉检测初始模型的训练包括：

将每一所述异常图像的每一所述检测区域的局部特征矩阵分别与相应的所述检测区域的所述标准特征矩阵进行相似度对比，得到第一相似度；

根据所述第一相似度得到每一所述异常图像中对应于某些所述检测区域的待合并特征矩阵，并根据所有所述待合并特征矩阵对所述标准特征矩阵进行更新；

根据所述第一相似度得到每一所述异常图像中对应于某个所述检测区域的疑似异常特征矩阵；

对每一所述疑似异常特征矩阵均进行检验，并根据通过检验的所有所述疑似异常特征矩阵得到异常特征矩阵。

在一个具体的可实施方案中，所述根据第一相似度得到每一异常图像中对应于某些检测区域的待合并特征矩阵，并根据所有待合并特征矩阵对标准特征矩阵进行更新包括：

当所述第一相似度小于预设的相似度阈值时，将该所述第一相似度对应的局部特征矩阵作为待合并特征矩阵，并根据所有所述待合并特征矩阵对标准特征矩阵进行更新，所述更新的计算公式如下：

其中，表示待合并特征矩阵；表示更新前的标准特征矩阵；表示更新后的标准特征矩阵；表示特征矩阵中第行第列的元素；表示第个待合并特征矩阵中第行第列的元素；表示待合并特征矩阵的总数量。

在一个具体的可实施方案中，所述对每一所述疑似异常特征矩阵均进行检验，并根据通过检验的所有所述疑似异常特征矩阵得到异常特征矩阵包括：

在得到每一疑似异常特征矩阵后，均将与其对应的检测区域作为检验区域，并对每一检验区域进行二次分割，得到若干检验子区域；

提取每一检验子区域的检验子特征矩阵，并将所有检验子特征矩阵的平均值作为检验特征矩阵；

计算每一检验特征矩阵与相应的检验区域对应的疑似异常特征矩阵的相差参数；

若相差参数小于预设的相差阈值，则根据该相差参数对应的所有检验子特征矩阵得到异常特征矩阵。

在一个具体的可实施方案中，所述相差参数的计算公式如下：

其中，表示与之间的相差参数；，即，表示与检验区域对应的检验特征矩阵；表示与检验区域对应的疑似异常特征矩阵；表示特征矩阵的转置矩阵；表示特征矩阵的转置矩阵；表示特征矩阵的行数；表示检验子区域对应的检验子特征矩阵；U表示检验区域的行上包括的检验子区域的数量；V表示检验区域的列上包括的检验子区域的数量；

所述异常特征矩阵的计算公式如下：

；

其中，表示检验区域对应的异常特征矩阵；表示与疑似异常特征矩阵对应的检验区域中位于第行第列的检验子区域对应的特征矩阵。

在一个具体的可实施方案中，所述根据所述实际检测结果以及预设的漏检指标评估息肉检测模型的准确度包括：

根据所述实际检测结果计算所述息肉检测模型的漏检率；

当所述漏检率大于预设的漏检指标时，视为息肉检测模型的准确度不合格；当所述漏检率小于或等于所述漏检指标时，视为息肉检测模型的准确度合格。

第二方面，本申请提供一种智能终端，采用如下的技术方案：

一种智能终端，包括存储器和处理器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如第一方面所述的一种智能内窥镜的息肉实时检测方法。

第三方面，本申请提供一种智能内窥镜的息肉实时检测系统，采用如下的技术方案：

一种智能内窥镜的息肉实时检测系统，包括图像采集设备、显示设备以及如第二方面所述的智能终端：

所述图像采集设备用于实时采集患者消化道内部的待检测图像，并在每获取到一张所述待检测图像后将该所述待检测图像发送给所述智能终端；

所述智能终端与所述图像采集设备以及所述显示设备均通信连接，用于实时接收图像采集设备发出的所述待检测图像，得到检测结果，之后将所述检测结果发送给显示设备；

所述显示设备用于实时呈现接收到的所述检测结果，以辅助医生检测患者息肉情况。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面所述的一种智能内窥镜的息肉实时检测方法。

综上所述，本申请包括以下至少一种有益技术效果：

1.提高诊断准确性和效率：通过智能内窥镜的实时检测和标识，医生可以快速定位肠道中的异常区域，减少在大量正常组织中寻找潜在息肉的时间和精力。不同颜色的方框清晰地区分不同类型的息肉，使医生能够更直观地了解病变的性质和范围，有助于做出更准确的诊断；

2.增强医生信心和决策能力：智能内窥镜的实时检测结果为医生提供了客观的参考依据，使他们在诊断和治疗决策时更加有信心。医生可以结合自己的专业知识和经验，对智能检测结果进行进一步的确认和分析，从而制定更合理的治疗方案；

3.有助于模型优化和改进：在每一次实时诊断结束或图像测试后，医生可以根据存储器中存储的检测结果进行复盘。根据漏检指标对息肉检测模型的准确性进行校验，分析原因并与技术人员合作对模型进行优化和改进，并通过调整参数、改进算法、增加训练数据或改进模型结构等方式，不断提高息肉检测模型的准确性和可靠性，从而进一步提升实时内窥镜在肠道息肉检测中的性能。

附图说明

图1是本申请一实施例的一种智能内窥镜的息肉实时检测系统的结构示意图。

图2是本申请另一实施例的一种智能内窥镜的息肉实时检测方法的流程示意图。

图3是本申请另一实施例中用于体现标准/异常图像与检测区域关系的结构示意图。

图4是本申请另一实施例的图3中A处用于体现检测区域与检测子区域关系的放大图。

附图标记说明：100、图像采集设备；200、显示设备；300、智能终端；310、处理器；320、存储器。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细说明。

以下结合说明书附图对本申请一种智能内窥镜的息肉实时检测方法、系统及相关设备的实施例作进一步详细描述。本申请一实施例公开一种智能内窥镜的息肉实时检测系统。

参照图1，一种智能内窥镜的息肉实时检测系统包括图像采集设备100、显示设备200以及智能终端300，图像采集设备100以及显示设备200均与智能终端300通信连接；本实施例的智能终端300包括处理器以及存储器320；图像采集设备100用于实时采集患者消化道内部的图像，并在每获取到一张图像后将图像发送给智能终端300；智能终端300用于实时接收图像采集设备100发出的图像以供处理器处理，得到检测结果，之后将检测结果发送给显示设备200；显示设备200用于呈现从智能终端300接收到的检测结果，以辅助医生检测患者息肉情况。存储器320用于存储至少一条指令、至少一段程序、代码集或指令集；处理器310在运行至少一条指令、至少一段程序、代码集或指令集时执行以下一种智能内窥镜的息肉实时检测方法的步骤。

本申请另一实施例公开一种基于上述系统的智能内窥镜的息肉实时检测方法；参照图2，一种智能内窥镜的息肉实时检测方法包括：

S100，获取历史的确诊图像，并将所有确诊图像存储起来作为初始数据集；

其中，确诊图像包括结直肠中正常组织的若干标准图像以及确诊为息肉的若干异常图像，标准图像为结直肠内没有发生病变的任意一个部位的内窥镜图像，异常图像为结直肠内任意一个息肉及该息肉周边组织的内窥镜图像。本实施例的标准图像以及异常图像可以来自医院病历系统、医学研究机构的数据库或者公开的医学图像数据集，且所有异常图像均带有息肉类型的标签，本实施例的息肉类型以腺瘤性息肉/非腺瘤性息肉为例，其中，腺瘤性息肉包括管状腺瘤、绒毛状腺瘤以及管状绒毛状腺瘤等，非腺瘤性息肉包括增生性息肉、炎性息肉以及错构瘤性息肉等。

需要特别说明的是，本实施例的所有标准图像和异常图像均通过图像裁剪至统一尺寸而得，一般以较大尺寸息肉的最小邻接矩形为统一尺寸，即尺寸较大的息肉对应的异常图像中，息肉的面积较大；而尺寸较小的息肉对应的异常图像中，息肉面积较小且处于图像中央，每一异常图像中会或多或少地包含一些结直肠中的正常组织，即与息肉相邻连接的组织；此外，本实施例中标准图像以及异常图像的样本数量会随着不同患者的看诊情况实时更新，一般来说，最初的初始数据集中异常图像的标签由人工检测设定，而新增的异常图像的标签会先由智能终端300自动检测得到，再由人工进行核实确定, 之后才会将携带有息肉类型标签的异常图像补充入初始数据集中。

在S100之后，还包括如下步骤：

S110，对初始数据集进行统一标准化，得到标准数据集；

具体的，S110中的统一标准化包括对初始数据集中的所有图像，即所有标准/异常图像，进行去噪、增强、边缘检测、图像裁剪、细节增强等预处理步骤，以提高图像的清晰度,方便后续的图像检测；在本实施例中，主要采用梯度增强算法对息肉的边缘增强，以突出图像中息肉的边缘轮廓，使息肉与周围正常组织的边界更加清晰；采用滤波器组对图像的纹理特征进行增强，由于不同类型的息肉可能具有不同的纹理特征，通过增强纹理可以使这些特征更加突出，例如，对于腺瘤性息肉，其表面可能具有特定的颗粒状纹理，通过纹理增强算法可以使这种纹理更加清晰，提高检测的准确性；采用如小波变换等的多尺度分析方法进行细节增强，有助于后续更好地捕捉息肉的细微结构和特征，例如，对于小尺寸的息肉，通过细节增强可以使其在图像中更加明显，减少漏检的可能性。本实施例的标准数据集包括格式统一且经过图像增强后的若干标准图像以及若干异常图像。

S200，建立息肉检测初始模型，并根据标准数据集对息肉检测初始模型进行训练优化，得到息肉检测模型；

其中，息肉检测模型包括若干用于检测不同类型息肉的检测子模型，这些检测子模型分别用于检测不同类型的息肉，且不同的检测子模型在息肉检测模型中会根据不同类型息肉在结直肠中的发生率拥有不同的优先级；具体的，息肉检测模型/息肉检测初始模型与检测子模型的关系如下表1所示：

表1

如上表1所示，本实施例假设，管状腺瘤由密集排列的管状腺体组成，一般体积较小，表面光滑，多为良性，是最常见的腺瘤性息肉类型，因此该类型息肉对应的检测子模型在息肉检测模型中的优先级较高；增生性息肉通常较小，直径多在几毫米以内，表面光滑，颜色与周围黏膜相似，是最常见的非肿瘤性息肉，因此相应的检测子模型优先级仅次于上述的管状腺瘤；绒毛状腺瘤呈绒毛状或乳头状突起，结构疏松，含有丰富的黏液，与其相应的检测子模型优先级次于上述的增生性息肉。以上述举例的不同类型的息肉为例，其对应的形态、颜色、与周边组织的连接面均有所不同，因此本实施例主要采用后续的步骤S400来对息肉进行检测。

需要特别说明的是，S200对息肉检测初始模型的训练优化过程主要包括得到标准特征矩阵以及得到与各个息肉类型对应的异常特征矩阵这两个部分；其中，标准特征矩阵是用于判断后续S400中肠道的待检测图像是否存在息肉的检测标准，异常特征矩阵是用于判断待检测图像具体存在的息肉类型的检测标准；智能终端300通过以下S221-S222的步骤得到息肉检测模型对应的标准特征矩阵（标准特征矩阵存储在息肉检测模型中），并通过以下S223的步骤得到每一检测子模型各自对应的异常特征矩阵（每一检测子模型中存储有与各自息肉类型对应的异常特征矩阵）。

具体的，S200包括：

S210，按预设比例将标准数据集划分为训练集以及测试集；

其中，本实施例以初始数据集中标准图像以及异常图像中各自的70%为训练集、30%为测试集为例。

S220，通过训练集中的所有标准图像以及异常图像对息肉检测模型进行训练；

具体的，S220包括：

S221，将训练集中的所有标准图像以及异常图像均输入到息肉检测模型中，并将每一图像均分割为若干检测区域，并提取出每一图像对应的所有检测区域的局部特征矩阵；

其中，参照图3，本实施例采用的网格将训练集中的每一图像进行划分，本实施例的以10为例，以每一图像左上角的第一个检测区域为起始，命名各个划分出来的检测区域为该检测区域的位置，即表示该检测区域位于对应图像的第行第列，从左到右依次递增，从上到下依次递增，且；本实施例的局部特征矩阵以表示，其中为训练集以及测试集中的一个，该特征矩阵表示中第张图像在检测区域的特征矩阵。

需要特别说明的是，本实施例中所有特征矩阵的元素排列对应图像中像素灰度值的排列，每一检测区域的特征矩阵代表了相应检测区域中图像灰度值的分布规律：从中间向四周颜色渐淡、颜色分布均匀等等，以特征矩阵代表数字图像数据为现有技术，本文不再赘述；以此，本实施例的息肉检测模型能够根据不同息肉类型在肠道上的具体表现，即灰度值在某一检测区域的分布特点，来对肠道进行息肉检测，如：结合以下的步骤S200-S400，待检测肠道的某一张待检测图像中，当某一处检测区域的息肉类型为管状腺瘤时，由于该息肉通常因为丰富的血管及较多的血液供应呈现为暗红色，且整个息肉的颜色较为均匀，无明显色差，即较正常组织图像而言，图像颜色更深，黑灰色块更多且更集中，该检测区域对应的待匹配特征矩阵会呈现出元素值较高且每一元素值较为平均的特点。

S222，计算所有标准图像对应的局部特征矩阵的平均值，并将该平均值作为标准特征矩阵；

其中，本实施例的标准特征矩阵以表示，该特征矩阵表示训练集中所有标准图像在检测区域的局部特征矩阵的平均值，用于反映标准图像的灰度值分布特点，计算公式如下：

其中，表示训练集中第n张标准图像在检测区域的局部特征矩阵；表示标准特征矩阵；表示第n张标准图像对应的局部特征矩阵中第行第列的元素；N表示标准图像的总张数；表示所有标准图像对应的局部特征矩阵中第行第列的元素的平均值。

S223，基于标准特征矩阵以及所有异常图像的局部特征矩阵得到与每一息肉类型对应的异常特征矩阵，以完成对相应的检测子模型的训练。

其中，异常特征矩阵用于反映异常图像的灰度值分布特点；不同息肉类型的异常特征矩阵会被存储在相应的检测子模型中；具体的，S223包括：

S2231，将每一异常图像的每一检测区域的局部特征矩阵分别与相应的检测区域的标准特征矩阵进行相似度对比，得到第一相似度；

其中，异常图像对应的局部特征矩阵以表示，该特征矩阵表示训练集中第张异常图像在检测区域的特征矩阵；本实施例的第一相似度主要通过余弦相似度计算公式得出，两个特征矩阵通过余弦相似度公式得到反映二者相似程度的第一相似度为现有技术，在此不再赘述。

S2232，根据第一相似度得到每一异常图像中对应于某些检测区域的待合并特征矩阵，并根据所有待合并特征矩阵对标准特征矩阵进行更新；

具体的，S2232包括：

S22321，当第一相似度小于相似度阈值时，将该第一相似度对应的局部特征矩阵作为待合并特征矩阵，并根据所有待合并特征矩阵对标准特征矩阵进行更新；

其中，待合并特征矩阵指异常图像中不存在息肉的所有检测区域的局部特征矩阵，即与标准特征矩阵相似度较高的局部特征矩阵对应的检测区域可视为不存在息肉的正常组织区域；因此S223中的标准特征矩阵可以根据待合并特征矩阵进行更新，以不断提高代表完好的标准图像的标准特征矩阵的准确性，用于完成更新的计算公式如下：

其中，表示待合并特征矩阵，即训练集中第张异常图像在检测区域的局部特征矩阵；表示更新前的标准特征矩阵；表示更新后的标准特征矩阵；表示特征矩阵中第行第列的元素；表示第n个待合并特征矩阵中第行第列的元素；表示待合并特征矩阵的总数量。

S2233，根据第一相似度得到每一息肉类型的所有异常图像中对应于某个检测区域的疑似异常特征矩阵；

具体的，S2233包括：

S22331，当第一相似度小于或等于预设的相似度阈值时，将该第一相似度对应的局部特征矩阵作为疑似异常特征矩阵；

其中，疑似异常特征矩阵指异常图像中息肉具体所处的某个检测区域的局部特征矩阵，即与标准特征矩阵相似度较低的局部特征矩阵对应的检测区域可视为存在息肉的异常区域；本实施例的相似度阈值以0.6为例。

S2234，对每一疑似异常特征矩阵均进行检验，并根据通过检验的所有疑似异常特征矩阵得到异常特征矩阵；

具体的，S2234包括：

S22341，在得到每一疑似异常特征矩阵后，均将与其对应的检测区域作为检验区域，并对每一检验区域进行二次分割，得到若干检验子区域；

其中，参照图4，本实施例采用的网格将每一检验区域进行二次划分，为方便后续的计算，本实施例的以2为例。

S22342，提取每一检验子区域的检验子特征矩阵，并将所有检验子特征矩阵的平均值作为检验特征矩阵；

其中，检验子特征矩阵在本实施例中以表示，指某一检验区域中位于第行第列的检验子区域对应的特征矩阵；检验特征矩阵的计算方式同S223中标准特征矩阵的计算方式，在此不再赘述。

S22343，计算每一检验特征矩阵与相应的检验区域对应的疑似异常特征矩阵的相差参数；

其中，相差参数用于反映检验特征矩阵与对应的疑似异常特征矩阵之间的差异程度，值越大表示二者差异越大；本实施例相差参数的计算公式如下：

其中，表示与之间的相差参数；，即，表示与检验区域对应的检验特征矩阵；表示与检验区域对应的疑似异常特征矩阵；表示特征矩阵的转置矩阵；表示特征矩阵的转置矩阵；表示特征矩阵的行数，本实施例以2为例，二维矩阵具有2行元素；表示检验子区域对应的检验子特征矩阵；U表示检验区域的行上包括的检验子区域的数量，本实施例以2为例，即S22341中的；V表示检验区域的列上包括的检验子区域的数量，本实施例以2为例，即S22341中的。

S22344，若相差参数小于预设的相差阈值，则根据该相差参数对应的所有检验子特征矩阵得到异常特征矩阵；

其中，本实施例的相差阈值以0.3为例；异常特征矩阵的计算公式如下：

；

其中，表示检验区域对应的异常特征矩阵，在本实施中该特征矩阵由四个检验子区域对应的检验子特征向量（二维）组成，因此异常特征矩阵以四维数组为例，具体的行列数由S22341中二次分割的网格尺寸决定；表示与疑似异常特征矩阵对应的检验区域中位于第行第列的检验子区域对应的特征矩阵。

S22345，若相差参数大于或等于相差阈值，则将该相差参数对应的疑似异常特征矩阵视为检测误差，此时调整S2231中的相似度阈值并重复S2231-S2234的步骤，直至得到异常特征矩阵。

具体的，由于同一张异常图像可以包括若干个不存在息肉的检测子区域，且仅包括息肉所在的一个异常区域，所以S223最后得到的异常特征矩阵只有一个：当息肉位置覆盖多个检测区域时，本实施例能够通过不断调整S22331中的相似度阈值，以使得在S22344中仅息肉最明显的一个检测区域的异常特征矩阵被保留，且每一个异常特征矩阵均被存储在相应息肉类型对应的检测子模型中。

S230，通过测试集中的所有标准图像以及异常图像对训练好的息肉检测模型进行测试优化，得到通过测试的息肉检测模型；

具体的，S230包括：

S231，将测试集中的所有标准图像以及异常图像均输入训练好的息肉检测模型中；

具体的，在S231的步骤过程中，测试集中的每一图像均会被依次输入息肉检测模型中的各个检测子模型进行检测，本实施例以息肉检测模型中一个用于检测管状腺瘤的检测子模型对某一带有管状腺瘤标签的待测试图像，即测试集中的一张异常图像，进行检测验证的步骤为例进行说明，步骤如下：

S232，将待测试图像分割为若干检测区域，并提取出该待测试图像对应的所有检测区域的局部特征矩阵；

其中，S232步骤中的区域分割方式同S221。

S233，将提取出的每一检测区域的局部特征矩阵与相应的检测区域对应的标准特征矩阵进行相似度对比，得到与每一检测区域一一对应的第二相似度；

其中，第二相似度用于反映待测试图像的某一检测区域的特征矩阵与标准图像中相应检测区域的特征矩阵之间的相似程度，当该值较小时，可初步判断待测试图像中与该值对应的检测区域处存在某种病变，有一定的可能出现息肉。

S234，基于第二相似度得到检测结果；

其中，检测结果包括肠道是否存在息肉的第一判断结果以及反映息肉类型的第二判断结果，且每一检测结果对应一张待测试图像；具体的，S234包括：

S2341，当存在第二相似度大于或等于S22331中的相似度阈值时，第一判断结果为肠道存在息肉，此时触发息肉类型判断机制，得到第二判断结果，并将第一判断结果以及第二判断结果作为检测结果；

具体的，息肉类型判断机制，得到第二判断结果包括：

S23411，将与该第二相似度对应的检测区域作为异常区域，并将该异常区域对应的局部特征矩阵依次输入对应的若干检测子模型中，直至得到第二判断结果；

其中，依次输入指按照检测子模型的优先级，即各个息肉类型的发生概率，完成局部特征矩阵的输入；具体的，每一检测子模型根据异常区域对应的局部特征矩阵得到息肉类型的步骤包括：

S234111，将异常区域二次分割为异常子区域，并根据每一个异常子区域的局部特征矩阵得到待匹配特征矩阵；

其中，本实施例对异常区域的二次分割同S22341中对检验区域的二次分割，待匹配特征矩阵的元素与每一个异常子区域的局部特征矩阵对应,即：

其中，表示待匹配特征矩阵，即异常区域对应的局部特征矩阵，在本实施中待匹配特征矩阵以四维数组为例，每一个局部特征矩阵为二维矩阵，具体的行列数由S22341中二次分割的网格尺寸决定；表示异常区域中与第行第列的异常子区域对应的局部特征矩阵。

S234112，将待匹配特征矩阵与当前的检测子模型中的异常特征矩阵进行相似度对比，得到与异常区域对应的第三相似度；

其中，第三相似度用于反映待测试图像与异常图像之间的相似程度，当该值较大时，可进一步判断待测试图像中的异常区域处存在的息肉类型与当前检测子模型对应的息肉类型相同。

S234113，当第三相似度小于S22331中的相似度阈值时，第二判断结果为息肉类型与当前的检测子模型对应的息肉类型一致；

其中，本实施例的第二判断结果以息肉类型为管状腺瘤为例。

S234114，当第三相似度大于或等于相似度阈值时，将异常区域对应的局部特征矩阵输入下一个优先级的检测子模型，并重复SS234112-S234113的步骤，直至得到第二判断结果。

S2342，当所有第二相似度均小于相似度阈值时，第一判断结果为肠道内不存在息肉，此时将第一判断结果直接作为检测结果。

S235，根据第一判断结果与第二判断结果得到与每一待测试图像对应的测试结果；

其中，当满足以下情况中的任意一个时，测试结果为成功：

①第一判断结果为肠道不存在息肉且待测试图像为标准图像；

②第一判断结果为肠道存在息肉且待测试图像为异常图像，同时，第二判断结果与异常图像的息肉类型相符；

S236，若测试集中所有对应测试结果为成功的待测试图像所占比例达到预设准确度阈值，则视为通过测试；否则，调整S22321中的相似度阈值以及S22344中的相差阈值并返回S220，以重新对息肉检测模型进行训练，直至得到通过测试的息肉检测模型；

其中，本实施例的准确度阈值以90%为例；息肉检测模型包括若干通过测试的检测子模型。

需要特别说明的是，当S230中测试集的所有图像均已被用于测试，但依然没有得到通过测试的息肉检测模型时，可以通过数据增广等技术增加测试集的样本数量，为现有技术，在此不再赘述。

S300，依次获取图像采集设备100采集的当前待检测肠道的若干待检测图像，并对获取的图像进行统一标准化，得到若干待检测图像；

其中，本实施例以从当前待检测肠道的一个端部到另一个端部过程中，每隔10厘米获取一张待检测图像为例；S300中的统一标准化同S110中的统一标准化。

S400，将所有待检测图像依次输入息肉检测模型，得到与所有待检测图像对应的一个实际检测结果；

其中，此处的实际检测结果可视为S234中的检测结果之和，包括肠道某一处是否存在息肉的若干第一判断结果以及反映息肉类型的若干第二判断结果，不同之处在于S400中的实际检测结果对应的是该待检测肠道的所有待检测图像，即：仅当所有待检测图像对应的第一判断结果均为不存在息肉时，实际检测结果才为肠道一切正常；当任一待检测图像对应的第一判断结果为肠道存在息肉时，实际检测结果为肠道存在息肉；本实施例的实际检测结果如下所示：肠道一切正常或肠道在第处检测区域处存在个管状腺瘤，在第处检测区域处存在个增生性息肉；其中的第X处可以通过智能终端300根据待检测图像的检测顺序来自动判定，以及均为自然数；具体的，待检测图像在息肉检测模型中的检测过程与上述S231-S234步骤中对待测试图像的检测过程原理一致，区别仅在于：

在S234对待测试图像的检测测试过程中，由于S110的标准数据集中的所有息肉异常图像均带有明确的息肉类型标签，即每张息肉异常图像仅包括一种息肉，因此该过程中，只要一个检测子模型得到S234中的第二判断结果，则停止检测；

而在S400对待检测图像的实际检测过程中，考虑到实际的肠道可能存在一处位置，即同一个检测区域，存在多个息肉，因此该过程中即便已经在某个检测子模型中检测到息肉，检测依旧会继续，直至遍历对应的所有检测子模型，即得出所有的息肉类型。

需要特别说明的是，在S400的实际检测过程中，当待检测图像的第一判断结果为肠道存在息肉，但遍历所有检测子模型都没能得到第二判断结果时，显示设备200会对所有异常区域进行高亮，并直接将第一判断结果作为实际检测结果，以方便检测人员对所有异常区域进行人工检测以判断息肉类型；考虑到以上情况的发生通常源于待检测图像中出现了未知的息肉类型、息肉的特征不够明显或存在不为息肉的病变等情况，因此在由人工确定该异常为息肉且排除其他已知息肉类型的息肉类型后，该待检测图像可在S100中作为初始数据集中对应新息肉类型的异常图像，加入S200中对息肉初始检测模型的训练，以帮助模型在不断的检测中适应更多的息肉类型检测。

需要特别说明的是，在步骤S400之后，显示设备200会以不同的形式将检测结果为不同类型的息肉进行标识，一般以用不同颜色的方框框出对应的检测区域为例，通过智能内窥镜的实时检测和标识，医生可以快速定位异常区域，减少了在大量正常组织中寻找潜在息肉的时间和精力，提高了诊断的准确性和效率；不同颜色的方框清晰地区分了不同类型的息肉，使医生能够更直观地了解病变的性质和范围，有助于做出更准确的诊断。例如，红色方框表示高风险的腺瘤性息肉，黄色方框表示潜在风险较低的增生性息肉等，医生可以根据颜色快速判断息肉的严重程度，优先处理风险较高的病变；其次，内窥镜实时检测的方法增强了医生的信心和决策能力，在实际临床工作中，医生面临着复杂的病例和时间压力，智能内窥镜的实时检测结果为医生提供了客观的参考依据，使他们在诊断和治疗决策时更加有信心，通过这种方式，医生可以结合自己的专业知识和经验，对智能检测结果进行进一步的确认和分析，从而制定更合理的治疗方案。例如，对于检测出的较大或形态不规则的息肉，医生可以考虑进行活检或直接切除，而对于较小的、低风险的息肉，可以选择随访观察。

此外，对于年轻医生和实习医生来说，智能内窥镜的实时检测结果可以作为一种学习工具：他们可以通过观察显示设备200上的标识，学习如何识别不同类型的息肉，了解其特征和风险因素。同时，医生可以与智能系统的检测结果进行对比，反思自己的诊断过程，提高自己的诊断水平。在教学医院中，这种实时检测和标识功能可以用于教学演示，帮助学生更好地理解肠道息肉的诊断和治疗。

最后，通过智能内窥镜的实时检测和标识，医生可以更及时地发现和处理肠道息肉，减少漏诊和误诊的风险。这不仅可以提高患者的治疗效果和生存率，还可以减少患者的痛苦和医疗费用。同时，患者也可以通过显示设备200了解自己的病情，增强对医生的信任和配合度，提高患者的满意度。

另外还需要补充的是，本申请的一种智能内窥镜的息肉实时检测方法还包括如下步骤：

S500，根据实际检测结果以及预设的漏检指标评估息肉检测模型的准确度；

其中，漏检指标是用于衡量息肉检测过程中未被检测出的息肉情况的参数，本实施例的漏检指标以3%为例；具体的，S500包括：

S510，根据实际检测结果计算息肉检测模型的漏检率；

其中，漏检率用于检验经由S200训练得到的息肉检测模型在实际检测息肉数量方面的准确度，表示在所有实际存在的息肉中，被息肉检测模型漏检的息肉数量占总息肉数量的比例；漏检率=漏检的息肉数量/实际存在的息肉数量×100%；具体的，在每一次实时诊断结束后，即S400后，由医生根据存储器320中存储的对于若干待检测图像的实际检测结果进行复盘，从而确定每张待检测图像/待检测肠道中的息肉总数，并根据息肉总数和息肉检测模型得到的实际检测结果得到漏检率。

S520，当漏检率大于预设的漏检指标时，视为息肉检测模型的准确度不合格；当漏检率小于或等于漏检指标时，视为息肉检测模型的准确度合格；

其中，一般来说，漏检率越低，模型的准确度越高；当漏检率接近零时，说明模型能够准确地检测出几乎所有的息肉，此时模型的准确度较高；例如，如果在一个包含100张肠道息肉图像的测试集中，实际共有 200 个息肉，模型检测出了195个息肉，则漏检了5个息肉，那么漏检率为 5/200×100% = 2.5%，若此时漏检指标为3%，则2.5%<3%，此时表明该息肉检测模型在检测肠道息肉方面准确度满足检测要求。

在S520中，若发现漏检率大于漏检指标，则可进一步分析原因，考虑模型参数设置不合理、图像特征提取不全面或者训练数据不够多样化等因素，并通过对这些问题的深入研究，医生可以与技术人员合作对息肉检测模型进行优化和改进，调整S200中的各项参数、改进算法或者在S100中增加更多具有代表性的训练数据，以提高模型的准确性和可靠性。同时，复盘过程也有助于医生总结经验教训，了解不同类型息肉在图像中的表现特点，提升自身的诊断水平和能力。在后续的诊断工作中，医生可以更加敏锐地识别息肉的特征，减少漏检和误判的发生，为患者提供更准确、及时的诊断和治疗建议。

基于上述同一发明构思，本申请实施例还公开一种智能终端，该智能终端包括存储器和处理器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集能够由处理器加载并执行以实现上述方法实施例提供的一种智能内窥镜的息肉实时检测方法。

基于上述同一发明构思，本申请实施例还公开一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集能够由处理器加载并执行以实现上述方法实施例提供的一种智能内窥镜的息肉实时检测方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例的全部或部分可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质例如包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种智能内窥镜的息肉实时检测方法，基于一种智能内窥镜的息肉实时检测系统，该系统包括图像采集设备(100)，其特征在于，所述息肉实时检测方法包括：

获取历史的确诊图像，并将所有确诊图像存储起来作为初始数据集；

对所述初始数据集进行统一标准化，得到标准数据集；

建立息肉检测初始模型，并根据标准数据集对息肉检测初始模型进行训练优化，得到息肉检测模型；

依次获取所述图像采集设备(100)采集的当前待检测肠道的若干待检测图像，并对获取的图像进行统一标准化，得到若干待检测图像；

将所有所述待检测图像依次输入所述息肉检测模型，得到实际检测结果；

根据所述实际检测结果以及预设的漏检指标评估息肉检测模型的准确度；

所述根据标准数据集对息肉检测初始模型进行训练优化，得到息肉检测模型包括：

按预设比例将所述标准数据集划分为训练集以及测试集，所述训练集和所述测试集均包括经过统一标准化的标准图像以及异常图像；

通过所述训练集对所述息肉检测初始模型进行训练；

通过所述测试集对训练好的所述息肉检测初始模型进行测试优化，得到息肉检测模型；

所述通过所述训练集对所述息肉检测初始模型进行训练包括：

将所述训练集中的所有所述标准图像以及所述异常图像均输入到所述息肉检测初始模型中，并将每一图像均分割为若干检测区域，并提取出每一图像对应的所有所述检测区域的局部特征矩阵；

计算所有所述标准图像对应的局部特征矩阵的平均值，并将该平均值作为标准特征矩阵，所述标准特征矩阵的计算公式如下：

其中，表示训练集中第n张标准图像在检测区域的局部特征矩阵；表示标准特征矩阵；表示第n张标准图像对应的局部特征矩阵中第行第列的元素；N表示标准图像的总张数；表示所有标准图像对应的局部特征矩阵中第行第列的元素的平均值；

基于所述标准特征矩阵以及所述异常图像的局部特征矩阵得到异常特征矩阵，以完成对所述息肉检测初始模型的训练。

2.根据权利要求1所述的息肉实时检测方法，其特征在于，所述息肉检测初始模型包括用于检测不同息肉类型的若干检测子模型；所述基于所述标准特征矩阵以及所述异常图像的局部特征矩阵得到异常特征矩阵，以完成对所述息肉检测初始模型的训练包括：

将每一所述异常图像的每一所述检测区域的局部特征矩阵分别与相应的所述检测区域的所述标准特征矩阵进行相似度对比，得到第一相似度；

根据所述第一相似度得到每一所述异常图像中对应于某些所述检测区域的待合并特征矩阵，并根据所有所述待合并特征矩阵对所述标准特征矩阵进行更新；

根据所述第一相似度得到每一所述异常图像中对应于某个所述检测区域的疑似异常特征矩阵；

对每一所述疑似异常特征矩阵均进行检验，并根据通过检验的所有所述疑似异常特征矩阵得到异常特征矩阵。

3.根据权利要求2所述的息肉实时检测方法，其特征在于，所述根据第一相似度得到每一异常图像中对应于某些检测区域的待合并特征矩阵，并根据所有待合并特征矩阵对标准特征矩阵进行更新包括：

当所述第一相似度小于预设的相似度阈值时，将该所述第一相似度对应的局部特征矩阵作为待合并特征矩阵，并根据所有所述待合并特征矩阵对标准特征矩阵进行更新，所述更新的计算公式如下：

其中，表示待合并特征矩阵；表示更新前的标准特征矩阵；表示更新后的标准特征矩阵；表示特征矩阵中第行第列的元素；表示第个待合并特征矩阵中第行第列的元素；表示待合并特征矩阵的总数量。

4.根据权利要求3所述的息肉实时检测方法，其特征在于，所述对每一所述疑似异常特征矩阵均进行检验，并根据通过检验的所有所述疑似异常特征矩阵得到异常特征矩阵包括：

在得到每一所述疑似异常特征矩阵后，将与其对应的所述检测区域均作为检验区域，并对每一所述检验区域进行二次分割，得到若干检验子区域；

提取每一所述检验子区域的检验子特征矩阵，并将所有所述检验子特征矩阵的平均值作为检验特征矩阵；

计算每一所述检验特征矩阵与相应的所述检验区域对应的疑似异常特征矩阵的相差参数；

若所述相差参数小于预设的相差阈值，则根据该所述相差参数对应的所有所述检验子特征矩阵得到异常特征矩阵。

5.根据权利要求4所述的息肉实时检测方法，其特征在于，所述相差参数的计算公式如下：

其中，表示与之间的相差参数；，即，表示与检验区域对应的检验特征矩阵；表示与检验区域对应的疑似异常特征矩阵；表示特征矩阵的转置矩阵；表示特征矩阵的转置矩阵；表示特征矩阵的行数；表示检验子区域对应的检验子特征矩阵；U表示检验区域的行上包括的检验子区域的数量；V表示检验区域的列上包括的检验子区域的数量；

所述异常特征矩阵的计算公式如下：

；

其中，表示检验区域对应的异常特征矩阵；表示与疑似异常特征矩阵对应的检验区域中位于第行第列的检验子区域对应的特征矩阵。

6.根据权利要求1所述的息肉实时检测方法，其特征在于，所述根据所述实际检测结果以及预设的漏检指标评估息肉检测模型的准确度包括：

根据所述实际检测结果计算所述息肉检测模型的漏检率；

当所述漏检率大于预设的漏检指标时，视为息肉检测模型的准确度不合格；当所述漏检率小于或等于所述漏检指标时，视为息肉检测模型的准确度合格。

7.一种智能终端，其特征在于，包括存储器和处理器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一所述的智能内窥镜的息肉实时检测方法。

8.一种智能内窥镜的息肉实时检测系统，其特征在于，包括图像采集设备(100)、显示设备(200)以及如权利要求7所述的智能终端(300)：

所述图像采集设备(100)用于实时采集患者消化道内部的待检测图像，并在每获取到一张所述待检测图像后将该所述待检测图像发送给所述智能终端(300)；

所述智能终端(300)与所述图像采集设备(100)以及所述显示设备(200)均通信连接，用于实时接收图像采集设备(100)发出的所述待检测图像，得到检测结果，之后将所述检测结果发送给显示设备(200)；

所述显示设备(200)用于实时呈现接收到的所述检测结果，以辅助医生检测患者息肉情况。

9.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至6任一所述的智能内窥镜的息肉实时检测方法。