[go: up one dir, main page]

CN118351122B - 上消化道癌筛查内镜图像的质量评估方法 - Google Patents

上消化道癌筛查内镜图像的质量评估方法 Download PDF

Info

Publication number
CN118351122B
CN118351122B CN202410797130.6A CN202410797130A CN118351122B CN 118351122 B CN118351122 B CN 118351122B CN 202410797130 A CN202410797130 A CN 202410797130A CN 118351122 B CN118351122 B CN 118351122B
Authority
CN
China
Prior art keywords
image
cancer screening
gastrointestinal cancer
upper gastrointestinal
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410797130.6A
Other languages
English (en)
Other versions
CN118351122A (zh
Inventor
乔良
邓伏虎
包郁
冯珮瑶
钟志刚
黄司智
赵锐
周凌霄
李丽娜
刘潇霞
马婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cancer Hospital
Original Assignee
Sichuan Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cancer Hospital filed Critical Sichuan Cancer Hospital
Priority to CN202410797130.6A priority Critical patent/CN118351122B/zh
Publication of CN118351122A publication Critical patent/CN118351122A/zh
Application granted granted Critical
Publication of CN118351122B publication Critical patent/CN118351122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种上消化道癌筛查内镜图像的质量评估方法，属于人工智能技术领域，包括如下步骤：获取患者单次内窥镜检查时拍摄的若干上消化道癌筛查内镜图像；得到图像整体评估特征；得到图像时效评估特征；得到图像活检评估特征；构建图像质量评估模型；将获取的上消化道癌筛查内镜图像、图像整体评估特征、图像时效评估特征和图像活检评估特征输入图像质量评估模型，得到上消化道癌筛查内镜图像的质量评估结果。本发明解决了现有上消化道癌筛查内窥镜图像的质量评估方法不够全面和准确度不足的问题。

Description

上消化道癌筛查内镜图像的质量评估方法
技术领域
本发明属于人工智能技术领域，尤其涉及一种上消化道癌筛查内镜图像的质量评估方法。
背景技术
人工智能现已用在了内窥镜图像识别的领域，且有研究表明，通过人工智能评估肠道准备的准确率已优于临床内窥镜医师的平均水平。人工智能在上消化道规范化检查及质控中作用的研究为提高规范化操作、减少盲区、提高病变检出率等提供了可能的解决途径。
现有的关于内窥镜图像质量控制方面的研究依然较少，并且均为基于单个特征判定，即评估重点仅围绕内窥镜采集的图像内容本身，评价指标多不完善。在内窥镜领域，人工智能的相关研究大多集中在基于图像识别技术的单一病变单一指标的质量评估，以及质量评估准确性的判断，此类方法的实现相对容易，且检出率与准确性较高。但人工智能应用于上消化道癌筛查内镜图像的质量评估技术尚处于起步阶段，评估的全面性和精度仍需提升。
发明内容
针对现有技术中的上述不足，本发明提供的一种上消化道癌筛查内窥镜图像的质量评估方法，通过对患者单次内窥镜检查时拍摄的上消化道癌筛查内镜图像从图像整体、检查时效、活检情况、黏膜暴露情况、部位识别程度情况和染色情况，全方面进行了特征提取和质量控制评估，通过质量评估网络对图像质量融合特征的质量评估分类，实现了全面且高准确度的上消化道癌筛查内镜图像质量评估，解决了现有上消化道癌筛查内窥镜图像的质量评估方法不够全面和准确度不足的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提供的一种上消化道癌筛查内窥镜图像的质量评估方法，包括如下步骤：
S1、获取患者单次内窥镜检查时拍摄的若干上消化道癌筛查内镜图像；
S2、对获取的上消化道癌筛查内镜图像进行图像整体评估，得到图像整体评估特征；
S3、对获取的上消化道癌筛查内镜图像进行检查时效评估，得到图像时效评估特征；
S4、对获取的上消化道癌筛查内镜图像进行活检情况评估，得到图像活检评估特征；
S5、构建图像质量评估模型；
S6、将获取的上消化道癌筛查内镜图像、图像整体评估特征、图像时效评估特征和图像活检评估特征输入图像质量评估模型，得到上消化道癌筛查内镜图像的质量评估结果。
本发明的有益效果为：本发明提供的一种上消化道癌筛查内窥镜图像的质量评估方法，通过对患者单次内窥镜检查时拍摄的上消化道癌筛查内镜图像分别依次提取了图像整体评估特征、图像时效评估特征和图像活检评估特征，对于图像的数量、清晰度、重复比例、检查时间和活检情况进行了特征提取，为图像基础性质的质量评估提供了特征基础，本发明还提供了图像质量评估模型，基于本发明提供的图像质量评估模型能够实现对黏膜暴露特征、部位识别程度特征和染色特征的提取，为图像拍摄质量的指令评估提供了特征基础，最终利用图像质量评估模型对由各特征融合得到的图像质量融合特征进行质量评估分量，实现了对上消化道癌筛查内镜图像全面且准确地质量评估。
进一步地，所述S2包括如下步骤：
S21、统计采集的上消化道癌筛查内镜图像的数量，得到图像数量信息；
S22、基于Laplacian梯度方法，通过计算每张上消化道癌筛查内镜图像的Laplacian梯度，得到图像清晰度信息；
S23、基于SSIM相似系数方法，计算任意两张上消化道癌筛查内镜图像间的SSIM相似系数，并基于超过预设的相似系数阈值的图像数量，得到图像重复比例信息；
S24、将图像数量信息、图像清晰度信息和图像充分比例信息作为图像整体评估特征。
采用上述进一步方案的有益效果为：本发明提供图像整体评估特征的获取方法，从图像数量、图像清晰度和图像重复比例，全面地对获取的上消化道癌筛查内镜图像的整体特征进行了考虑。
进一步地，所述S22中Laplacian梯度的计算表达式如下：
，
，
其中，D(f)表示Laplacian梯度函数，| |表示绝对值，G(i,j)表示上消化道癌筛查内镜图像上像素(i,j)处的Laplacian算子的卷积，L表示Laplacian算子。
采用上述进一步方案的有益效果为：本发明提供图像清晰度信息获取的方法，通过Laplacian梯度实现了对上消化道癌筛查内镜图像清晰度的表示。
进一步地，所述S23中SSIM相似系数的计算表达式如下：
，
，
，
，
，
其中，SSIM(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的SSIM相似系数，l(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的亮度比较函数，α表示亮度比较函数的指数系数，c(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的对比度比较函数，β表示对比度比较函数的指数系数，s(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的结构比较函数，γ表示结构比较函数的指数系数，μp表示第一上消化道癌筛查内镜图像p特征的均值，μq表示第二上消化道癌筛查内镜图像q特征的均值，c1表示第一非零系数，表示第一上消化道癌筛查内镜图像p特征的标准差，表示第二上消化道癌筛查内镜图像q特征的标准差，c2表示第二非零系数，表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q特征的协方差，c3表示第三非零系数，H表示上消化道癌筛查内镜图像的高度，W表示上消化道癌筛查内镜图像的宽度，p(i,j)表示第一上消化道癌筛查内镜图像上像素(i,j)处的特征，q(i,j)表示第二上消化道癌筛查内镜图像上像素(i,j)处的特征，表示像素值的范围，k1，k2均为常数。
采用上述进一步方案的有益效果为：本发明提供了图像重复比率的获取方法，通过SSIM相似系数的方法，对获取的上消化道癌筛查内镜图像进行了任意两张图像间的相似性比对，以实现了重复比率的获取，为上消化道癌筛查内镜图像的质量评估提供了基础。
进一步地，所述S3包括如下步骤：
S31、基于图像文字提取算法，分别从各上消化道癌筛查内镜图像提取得到对应的拍摄时的时间信息；
S32、将拍摄的第一张上消化道癌筛查内镜图像的时间信息与拍摄的最后一张上消化道癌筛查内镜图像的时间信息作差，得到总体检查时间信息；
S33、将各上消化道癌筛查内镜图像的时间信息和总体检查时间信息作为图像时效评估特征。
采用上述进一步方案的有益效果为：本发明提供了图像时效的获取方法，通过图像文字提取算法获取每张图像上的时间信息，将上消化道癌筛查内镜检查的拍摄全程所耗时长作为了图像时效评估特征，为上消化道癌筛查内镜图像的质量评估提供了基础。
进一步地，所述S4包括如下步骤：
S41、获取患者的活检需求信息；
S42、判断患者的活检需求信息是否有活检需求，若有则进入S43，否则进入S45；
S43、判断获取的上消化道癌筛查内镜图像中是否含有活检图像，若是则进入S45，否则进入S44；
S44、将图像活检合格作为图像活检评估特征；
S45、将图像活检不合格作为图像活检评估特征。
采用上述进一步方案的有益效果为：本发明提供活检评估特征的获取方法，通过对患者的活检需求与活检图像间的对应关系，以作为活检合格与否的判断标准，并将活检合格情况作为活检评估特征。
进一步地，所述图像质量评估模型包括依次连接的第一主干网络、第二主干网络、第三主干网络和质量评估网络；
所述第一主干网络用于通过第一ResNet提取上消化道癌筛查内镜图像的黏膜暴露特征；所述黏膜暴露特征包括粘液或泡沫的位置，以及充气程度；
所述第二主干网络用于通过第二ResNet提取上消化道癌筛查内镜图像的部位识别程度特征；所述部位识别程度特征包括图像部位和拍摄方向；所述图像部位包括咽部、食管、贲门、胃底、胃体、胃窦、幽门、十二指肠球部，以及部分降部；
所述第三主干网络用于通过第三ResNet网络提取染色特征；所述染色特征包括染色区域和染色程度；
所述质量评估网络用于通过AlexNet网络对图像整体评估特征、图像时效评估特征、图像活检评估特征、黏膜暴露特征、部位识别程度特征和染色特征构成的图像质量融合特征进行质量评估分类训练，得到上消化道癌筛查内镜图像的质量评估结果。
采用上述进一步方案的有益效果为：本发明提供图像质量评估模型基于三个ResNet网络分别对采集的上消化道癌筛查内镜图像对应提取了黏膜暴露特征、部位识别程度特征和染色特征，结合在前获取的图像整体评估特征、图像时效评估特征和图像活检评估特征，融合得到了图像质量融合特征，基于基于AlexNet网络实现了全面且准确地对上消化道癌筛查内镜图像质量评估。
进一步地，所述第一主干网络、第二主干网络和第三主干网络间采用复合连接；所述复合连接的计算表达式如下：
其中，表示第k个主干网络的第l个阶段的输出，表示第k个主干网络的第l个阶段的复合连接输出函数，表示第k个主干网络的第l-1个阶段的输出，表示第k-1个主干网络的第l个阶段的复合连接，其中，复合连接为1*1的卷积。
采用上述进一步方案的有益效果为：本发明提供第一主干网络、第二主干网络和第三主干网络间依次通过复合连接进行连接输出的计算方法，实现了对上消化道癌筛查内镜图像特征的深层提取，保障了对上消化道癌筛查内镜图像质量评估的准确性。
进一步地，所述S6包括如下步骤：
S61、将获取的上消化道癌筛查内镜图像分别输入第一主干网络、第二主干网络和第三主干网络，并将第一主干网络每个阶段的特征输出分别同步输出到第二主干网络对应阶段的输入，将第二主干网络每个阶段的特征输出分别同步输出到第三主干网络对应阶段的输入，得到黏膜暴露特征、部位识别程度特征和染色特征；
S62、将图像整体评估特征、图像时效评估特征、图像活检评估特征、黏膜暴露特征、部位识别程度特征和染色特征融合，得到图像质量融合特征；
S63、将图像质量融合特征输入至质量评估网络进行质量评估分类，得到上消化道癌筛查内镜图像的质量评估结果。
采用上述进一步方案的有益效果为：本发明提供获取图像质量融合特征，并对上消化道癌筛查内镜图像进行质量评估分类的方法，通过多特征全方面的考虑，保障了上消化道癌筛查内镜图像质量评估的高准确度。
针对于本发明还具有的其他优势将在后续的实施例中进行更细致的分析。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中一种上消化道癌筛查内窥镜图像的质量评估方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的一个实施例中，本发明提供一种上消化道癌筛查内窥镜图像的质量评估方法，包括如下步骤：
S1、获取患者单次内窥镜检查时拍摄的若干上消化道癌筛查内镜图像；
S2、对获取的上消化道癌筛查内镜图像进行图像整体评估，得到图像整体评估特征；
所述S2包括如下步骤：
S21、统计采集的上消化道癌筛查内镜图像的数量，得到图像数量信息；足够的图像采集数量是保证完全观察整个上消化道的基础。
S22、基于Laplacian梯度方法，通过计算每张上消化道癌筛查内镜图像的Laplacian梯度，得到图像清晰度信息；
所述S22中Laplacian梯度的计算表达式如下：
，
，
其中，D(f)表示Laplacian梯度函数，| |表示绝对值，G(i,j)表示上消化道癌筛查内镜图像上像素(i,j)处的Laplacian算子的卷积，L表示Laplacian算子。本实施例中对上消化道癌筛查内镜图像的清晰度特征进行了提取，图像本身的清晰度是确保内镜下相关部位及病变被识别的基础，也可侧面反映持镜稳定性。图像模糊、有重影、画面花等情况，均不符合图像有效性的基本要求。
S23、基于SSIM相似系数方法，计算任意两张上消化道癌筛查内镜图像间的SSIM相似系数，并基于超过预设的相似系数阈值的图像数量，得到图像重复比例信息；
所述S23中SSIM相似系数的计算表达式如下：
，
，
，
，
，
其中，SSIM(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的SSIM相似系数，l(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的亮度比较函数，α表示亮度比较函数的指数系数，c(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的对比度比较函数，β表示对比度比较函数的指数系数，s(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的结构比较函数，γ表示结构比较函数的指数系数，μp表示第一上消化道癌筛查内镜图像p特征的均值，μq表示第二上消化道癌筛查内镜图像q特征的均值，c1表示第一非零系数，表示第一上消化道癌筛查内镜图像p特征的标准差，表示第二上消化道癌筛查内镜图像q特征的标准差，c2表示第二非零系数，表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q特征的协方差，c3表示第三非零系数，H表示上消化道癌筛查内镜图像的高度，W表示上消化道癌筛查内镜图像的宽度，p(i,j)表示第一上消化道癌筛查内镜图像上像素(i,j)处的特征，q(i,j)表示第二上消化道癌筛查内镜图像上像素(i,j)处的特征，表示像素值的范围，k1，k2均为常数。
本实施例中，第一上消化道癌筛查内镜图像p和第二上消化道癌筛查内镜图像q均为获取的上消化道癌筛查内镜图像，且第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q间进行相似度比较，以得到重复图像所占的比例，即图像重复比例信息；本实施例中，k1和k2均远小于1，优选情况下，k1的取值为0.01，k2的取值为0.03。因拍摄效果或拍摄角度的原因，同一部位可以拍摄1张以上的图像，但不能以“凑数”为目的，因此，图像重复比率的评估是重要的。
S24、将图像数量信息、图像清晰度信息和图像充分比例信息作为图像整体评估特征。
S3、对获取的上消化道癌筛查内镜图像进行检查时效评估，得到图像时效评估特征；
所述S3包括如下步骤：
S31、基于图像文字提取算法，分别从各上消化道癌筛查内镜图像提取得到对应的拍摄时的时间信息；
S32、将拍摄的第一张上消化道癌筛查内镜图像的时间信息与拍摄的最后一张上消化道癌筛查内镜图像的时间信息作差，得到总体检查时间信息；
S33、将各上消化道癌筛查内镜图像的时间信息和总体检查时间信息作为图像时效评估特征。
充分的内镜检查时间是筛查质量的重要保障，但也要兼顾时效性。根据患者的高危风险水平，可以对应设定具体检查时间，如有高危因素不低于5分钟，无高危因素不低于10分钟，因此，图像时效的评估也是重要的。
S4、对获取的上消化道癌筛查内镜图像进行活检情况评估，得到图像活检评估特征；
所述S4包括如下步骤：
S41、获取患者的活检需求信息；
S42、判断患者的活检需求信息是否有活检需求，若有则进入S43，否则进入S45；
S43、判断获取的上消化道癌筛查内镜图像中是否含有活检图像，若是则进入S45，否则进入S44；
S44、将图像活检合格作为图像活检评估特征；
S45、将图像活检不合格作为图像活检评估特征。结合患者高危风险水平、可疑病变区域和活检禁忌症进行内镜指示下活检，能够提高病变检出率；活检位置，如病变中央或病变边缘，若设置得不恰当，可能导致取材阴性，使得病理结果为阴性或病变低判；活检便于病例回顾分析，为后续治疗提供依据，因此活检评估特征的质量评估也十分重要。
S5、构建图像质量评估模型；
所述图像质量评估模型包括依次连接的第一主干网络、第二主干网络、第三主干网络和质量评估网络；
所述第一主干网络用于通过第一ResNet提取上消化道癌筛查内镜图像的黏膜暴露特征；所述黏膜暴露特征包括粘液或泡沫的位置，以及充气程度；
本实施例中，通过标记粘液或泡沫位置，以及充气程度的上消化道癌筛查内镜图像训练集对第一ResNet网络进行了定位分类训练；所述充气程度包括过度充气、适宜充气和充气不足三类情况；经训练后的第一ResNet网络能够识别粘液和或泡沫的位置，并就充气程度进行分类；当定位和分类精度达到预设定位和分类精度阈值时，则将第一ResNet网络结构及对应权值作为本实施例中的第一主干网络。附着在黏膜表面的泡沫和黏液会干扰内镜下的观察，尤其会令内镜医师忽视黏膜的微小病变。在空气量较少的情况下，食管管腔未充分打开，胃体部的皱襞呈现重合状态，容易漏诊病变。但充气过度容易造成胃底粘膜损伤出血，甚至贲门撕裂，亦可造成病变出血，同时易引起受检者不适。因此，黏膜暴露特征的评估是重要的。
所述第二主干网络用于通过第二ResNet提取上消化道癌筛查内镜图像的部位识别程度特征；所述部位识别程度特征包括图像部位和拍摄方向；所述图像部位包括咽部、食管、贲门、胃底、胃体、胃窦、幽门、十二指肠球部，以及部分降部；
本实施例中，通过标记图像部位、拍摄方向和检查顺序的上消化道癌筛查内镜图像训练集对第二ResNet网络进行了图像部位和拍摄方向的分类训练；经训练后的第二ResNet网络能够分类识别图像中拍摄的部位，即图像部位，以及拍摄方向；当分类识别的精度达到预设识别分类精度阈值时，则将第二ResNet网络结构及对应权值作为本实施例中的第二主干网络。部位识别程度特征的考虑主要包括拍摄图像方向是否正确，拍摄时是否做到了近远景结合，通过图像判断上消化道检查是否按照一定顺序，相关部位是否全部覆盖，关键部位是否进行了不同角度拍摄等。对于图像方向是否正确，在于相对固定视野内相关部位所在象限位置，例如在观察食管时，视野内保持前壁在10-11点方向，后壁在4-5点方向；进入胃内后，保持大弯在6点方向；对于近远景结合，局部与整体结合，在于远景和整体观察有助于了解整体情况，了解病变及与周围组织的相对位置和对比度，近景和局部观察有助于深入了解病变性质；对于检查是否按照一定顺序，在于按照一定的检查顺序，确保各部位能被观察到，尽可能降低内镜摩擦对黏膜原始状态的影响程度，减少病人的不适感；对于拍摄部位是否完整，在于观察下咽、食管、贲门、胃底、胃体、胃窦、幽门、十二指肠球部及部分降部，不漏掉一个部位；关于关键部位不同角度是否拍摄，在于针对上消化道内镜检查的盲点，为减少漏诊，需要从不同角度对不同部位进行全面拍摄，防止癌的视而不见，见而不觉。例如：胃窦部位需从前壁、大弯、后壁、小弯各个角度拍摄；贲门部位需将内镜反转，从胃内逆向观察。因此，部位识别程度特征的质量评估十分重要。
所述第三主干网络用于通过第三ResNet网络提取染色特征；所述染色特征包括染色区域和染色程度；
本实施例中，通过标记染色区域和染色程度的上消化道癌筛查内镜图像训练集对第三ResNet网络进行了染色区域定位和染色程度分类的训练；所述染色区域多为于预测病变区域，所述染色程度包括I级浓染、II级正常染色、III级淡染以及IV级失染；经训练后的第三ResNet网络能够准确识别出图像中是否存在染色区域，并对染色区域准确定位和染色程度分类；当染色区域定位和染色程度分类的精度达到预设的定位和分类精度阈值时，则将第三ResNet网络结构及对应权值作为本实施例中的第三主干网络。对于食管筛查可常规使用白光结合电子染色，操作简便高效。必要时结合镜子质量、筛查经验、高危人群、可疑病变等等情况，则需辅以碘染色，以发现早期病变。对于胃、十二指肠筛查，不建议常规使用染色，会增加筛查时间，降低时效性，当白光发现可疑病变时可进一步使用染色法。因此，染色特征的质量评估也十分重要的。
所述第一主干网络、第二主干网络和第三主干网络间采用复合连接；所述复合连接的计算表达式如下：
其中，表示第k个主干网络的第l个阶段的输出，表示第k个主干网络的第l个阶段的复合连接输出函数，表示第k个主干网络的第l-1个阶段的输出，表示第k-1个主干网络的第l个阶段的复合连接，其中，复合连接为1*1的卷积。
所述质量评估网络用于通过AlexNet网络对图像整体评估特征、图像时效评估特征、图像活检评估特征、黏膜暴露特征、部位识别程度特征和染色特征构成的图像质量融合特征进行质量评估分类训练，得到上消化道癌筛查内镜图像的质量评估结果。
S6、将获取的上消化道癌筛查内镜图像、图像整体评估特征、图像时效评估特征和图像活检评估特征输入图像质量评估模型，得到上消化道癌筛查内镜图像的质量评估结果。
所述S6包括如下步骤：
S61、将获取的上消化道癌筛查内镜图像分别输入第一主干网络、第二主干网络和第三主干网络，并将第一主干网络每个阶段的特征输出分别同步输出到第二主干网络对应阶段的输入，将第二主干网络每个阶段的特征输出分别同步输出到第三主干网络对应阶段的输入，得到黏膜暴露特征、部位识别程度特征和染色特征；
S62、将图像整体评估特征、图像时效评估特征、图像活检评估特征、黏膜暴露特征、部位识别程度特征和染色特征融合，得到图像质量融合特征；
S63、将图像质量融合特征输入至质量评估网络进行质量评估分类，得到上消化道癌筛查内镜图像的质量评估结果。
本发明对于上消化道癌筛查内镜图像的质量评估结果分为合格与不合格两类，基于对图像质量融合特征的全面考虑，有效保障了上消化道癌筛查内镜图像质量评估的准确性；此外，也可以对图像质量融合特征可进行评估预测打分，通过评估分数区分不同质量等级。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种上消化道癌筛查内镜图像的质量评估方法，其特征在于，包括如下步骤：
S1、获取患者单次内窥镜检查时拍摄的若干上消化道癌筛查内镜图像；
S2、对获取的上消化道癌筛查内镜图像进行图像整体评估，得到图像整体评估特征；
所述S2包括如下步骤：
S21、统计采集的上消化道癌筛查内镜图像的数量，得到图像数量信息；
S22、基于Laplacian梯度方法，通过计算每张上消化道癌筛查内镜图像的Laplacian梯度，得到图像清晰度信息；
所述S22中Laplacian梯度的计算表达式如下：
，
，
其中，D(f)表示Laplacian梯度函数，| |表示绝对值，G(i,j)表示上消化道癌筛查内镜图像上像素(i,j)处的Laplacian算子的卷积，L表示Laplacian算子；
S23、基于SSIM相似系数方法，计算任意两张上消化道癌筛查内镜图像间的SSIM相似系数，并基于超过预设的相似系数阈值的图像数量，得到图像重复比例信息；
所述S23中SSIM相似系数的计算表达式如下：
，
，
，
，
，
其中，SSIM(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的SSIM相似系数，l(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的亮度比较函数，α表示亮度比较函数的指数系数，c(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的对比度比较函数，β表示对比度比较函数的指数系数，s(p,q)表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q的结构比较函数，γ表示结构比较函数的指数系数，μ p 表示第一上消化道癌筛查内镜图像p特征的均值，μ q 表示第二上消化道癌筛查内镜图像q特征的均值，c 1表示第一非零系数，表示第一上消化道癌筛查内镜图像p特征的标准差，表示第二上消化道癌筛查内镜图像q特征的标准差，c 2表示第二非零系数，表示第一上消化道癌筛查内镜图像p与第二上消化道癌筛查内镜图像q特征的协方差，c 3表示第三非零系数，H表示上消化道癌筛查内镜图像的高度，W表示上消化道癌筛查内镜图像的宽度，p(i,j)表示第一上消化道癌筛查内镜图像上像素(i,j)处的特征，q(i,j)表示第二上消化道癌筛查内镜图像上像素(i,j)处的特征，表示像素值的范围，k 1，k 2均为常数；
S24、将图像数量信息、图像清晰度信息和图像充分比例信息作为图像整体评估特征；
S3、对获取的上消化道癌筛查内镜图像进行检查时效评估，得到图像时效评估特征；
所述S3包括如下步骤：
S31、基于图像文字提取算法，分别从各上消化道癌筛查内镜图像提取得到对应的拍摄时的时间信息；
S32、将拍摄的第一张上消化道癌筛查内镜图像的时间信息与拍摄的最后一张上消化道癌筛查内镜图像的时间信息作差，得到总体检查时间信息；
S33、将各上消化道癌筛查内镜图像的时间信息和总体检查时间信息作为图像时效评估特征；
S4、对获取的上消化道癌筛查内镜图像进行活检情况评估，得到图像活检评估特征；
所述S4包括如下步骤：
S41、获取患者的活检需求信息；
S42、判断患者的活检需求信息是否有活检需求，若有则进入S43，否则进入S45；
S43、判断获取的上消化道癌筛查内镜图像中是否含有活检图像，若是则进入S45，否则进入S44；
S44、将图像活检合格作为图像活检评估特征；
S45、将图像活检不合格作为图像活检评估特征；
S5、构建图像质量评估模型；
所述图像质量评估模型包括依次连接的第一主干网络、第二主干网络、第三主干网络和质量评估网络；
所述第一主干网络用于通过第一ResNet提取上消化道癌筛查内镜图像的黏膜暴露特征；所述黏膜暴露特征包括粘液或泡沫的位置，以及充气程度；
所述第二主干网络用于通过第二ResNet提取上消化道癌筛查内镜图像的部位识别程度特征；所述部位识别程度特征包括图像部位和拍摄方向；所述图像部位包括咽部、食管、贲门、胃底、胃体、胃窦、幽门、十二指肠球部，以及部分降部；
所述第三主干网络用于通过第三ResNet网络提取染色特征；所述染色特征包括染色区域和染色程度；
所述质量评估网络用于通过AlexNet网络对图像整体评估特征、图像时效评估特征、图像活检评估特征、黏膜暴露特征、部位识别程度特征和染色特征构成的图像质量融合特征进行质量评估分类训练，得到上消化道癌筛查内镜图像的质量评估结果；
S6、将获取的上消化道癌筛查内镜图像、图像整体评估特征、图像时效评估特征和图像活检评估特征输入图像质量评估模型，得到上消化道癌筛查内镜图像的质量评估结果。
2.根据权利要求1所述的上消化道癌筛查内镜图像的质量评估方法，其特征在于，所述第一主干网络、第二主干网络和第三主干网络间采用复合连接；所述复合连接的计算表达式如下：
其中，表示第k个主干网络的第l个阶段的输出，表示第k个主干网络的第l个阶段的复合连接输出函数，表示第k个主干网络的第l-1个阶段的输出，表示第k-1个主干网络的第l个阶段的复合连接，其中，复合连接为1*1的卷积。
3.根据权利要求2所述的上消化道癌筛查内镜图像的质量评估方法，其特征在于，所述S6包括如下步骤：
S61、将获取的上消化道癌筛查内镜图像分别输入第一主干网络、第二主干网络和第三主干网络，并将第一主干网络每个阶段的特征输出分别同步输出到第二主干网络对应阶段的输入，将第二主干网络每个阶段的特征输出分别同步输出到第三主干网络对应阶段的输入，得到黏膜暴露特征、部位识别程度特征和染色特征；
S62、将图像整体评估特征、图像时效评估特征、图像活检评估特征、黏膜暴露特征、部位识别程度特征和染色特征融合，得到图像质量融合特征；
S63、将图像质量融合特征输入至质量评估网络进行质量评估分类，得到上消化道癌筛查内镜图像的质量评估结果。
CN202410797130.6A 2024-06-20 2024-06-20 上消化道癌筛查内镜图像的质量评估方法 Active CN118351122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410797130.6A CN118351122B (zh) 2024-06-20 2024-06-20 上消化道癌筛查内镜图像的质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410797130.6A CN118351122B (zh) 2024-06-20 2024-06-20 上消化道癌筛查内镜图像的质量评估方法

Publications (2)

Publication Number Publication Date
CN118351122A CN118351122A (zh) 2024-07-16
CN118351122B true CN118351122B (zh) 2024-08-13

Family

ID=91814175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410797130.6A Active CN118351122B (zh) 2024-06-20 2024-06-20 上消化道癌筛查内镜图像的质量评估方法

Country Status (1)

Country Link
CN (1) CN118351122B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118351123A (zh) * 2024-06-20 2024-07-16 四川省肿瘤医院 多特征融合的内窥镜图像质量评估方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006138504A2 (en) * 2005-06-17 2006-12-28 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
CN110020610B (zh) * 2019-03-16 2023-02-10 复旦大学 基于深度学习的肠镜质量检查控制系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118351123A (zh) * 2024-06-20 2024-07-16 四川省肿瘤医院 多特征融合的内窥镜图像质量评估方法

Also Published As

Publication number Publication date
CN118351122A (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
JP7404509B2 (ja) 深層学習に基づく消化管早期癌診断補助システム及び検査装置
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2020105699A1 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102255311B1 (ko) 인공지능 기반의 위내시경 영상 분석 방법
BR112020008774A2 (pt) Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
CN109146884A (zh) 内窥镜检查监控方法及装置
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
CN110367913B (zh) 无线胶囊内窥镜图像幽门和回盲瓣定位方法
TW202006742A (zh) 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
CN114569043B (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
WO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
CN107292347A (zh) 一种胶囊内窥镜图像识别方法
CN118351123B (zh) 多特征融合的内窥镜图像质量评估方法
CN113610847B (zh) 一种白光模式下胃部标志物评估方法及系统
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
CN109635871A (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN107658028A (zh) 一种获取病变数据的方法、识别病变方法及计算机设备
CN118351122B (zh) 上消化道癌筛查内镜图像的质量评估方法
JP4749732B2 (ja) 医用画像処理装置
CN116228739A (zh) 图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型
CN114391792A (zh) 基于窄带成像的肿瘤预测方法、装置及成像内镜
Karnes et al. Sa1925 REAL-TIME IDENTIFICATION OF ANATOMIC LANDMARKS DURING COLONOSCOPY USING DEEP LEARNING
Testoni et al. Sa1926 COMPARISON BETWEEN ESOPHYX AND MUSE SYSTEMS FOR TRANSORAL INCISIONLESS FUNDOPLICATION (TIF) FOR THE TREATMENT OF GASTROESOPHAGEAL REFLUX DISEASE (GERD): 6 AND 12-MONTH RESULTS FROM A SINGLE-CENTER RETROSPECTIVE STUDY
CN104665756B (zh) 一种体内微型传感器图像采集处理装置及其处理方法
JP5315376B2 (ja) 柵状血管検出装置および柵状血管検出装置の作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant