CN111784631A - 一种图像处理装置、方法及存储介质 - Google Patents
一种图像处理装置、方法及存储介质 Download PDFInfo
- Publication number
- CN111784631A CN111784631A CN202010429164.1A CN202010429164A CN111784631A CN 111784631 A CN111784631 A CN 111784631A CN 202010429164 A CN202010429164 A CN 202010429164A CN 111784631 A CN111784631 A CN 111784631A
- Authority
- CN
- China
- Prior art keywords
- bronchiectasis
- image
- chest
- detected
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Library & Information Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像处理装置、方法及存储介质,该图像处理装置包括:第一获取模块,用于获取待检测胸部图像;第一分割模块,用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;第一检测模块,用于对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果;第一确定模块,用于基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。本申请能够实现对支扩的自动化检测和分级评估。
Description
技术领域
本申请属于计算机技术领域,具体涉及一种图像处理装置、方法及存储介质。
背景技术
支气管扩张症(以下简称支扩)是由于支气管及其周围肺组织慢性化脓性炎症和纤维化,使支气管壁的肌肉和弹性组织破坏,导致支气管变形及持久扩张。典型的症状有慢性咳嗽、咳大量脓痰和反复咯血。支扩在早期可无明显的体征,可在患处听到大小不等的湿罗音,在支扩逐渐加重后出现低氧症状,可见杵状指、趾及全身营养较差的状况。
支扩的影像学检查方法包括X射线(X-ray)和电子计算机断层扫描(ComputedTomography,CT)检查,支扩的诊断金标准是胸部高分辨率电子计算机断层扫描(HighResolution CT,HRCT),其敏感性和特异性均达到了90%,特征性表现包括:支气管扩张,支气管管壁增厚,支气管由中心向外周逐渐变细的特点消失以及扩张气管内气液平面的存在。当支气管内径大于相伴行走的支气管动脉时,可以考虑支气管扩张的诊断。
现有技术中的CT支扩影像学评估多采用Bhalla评分、Reiff评分与BRICS评分等评分系统进行严重程度评估,其中,Bhalla评分的最大值为25,是根据9种形态特征的严重程度和/或程度计算得出的。较低的分数表示更严重的放射性支气管扩张;Reiff评分主要评估支气管扩张的严重程度(柱状型:1分;静脉曲张型:2分;囊状型:3分)及范围(舌叶作为单独一个肺叶,共6个肺叶),最高分为18分,最低分为0分,分值越高表示严重程度越高;BRICS评分为Bronchiectasis Radiologically Indexed CT Score的缩写,中文名称为支气管扩张放射学索引CT评分,该评分基于对Bhalla评分的多变量分析而设计,用于预测临床参数的严重程度。但现有技术中的上述评分系统均无法实现支扩的自动化检测和分级评估。
发明内容
为了实现对支扩的自动化检测和分级评估,本申请提出一种图像处理装置、方法及存储介质。
一方面,本申请提出了一种图像处理装置,所述装置包括:
第一获取模块,用于获取待检测胸部图像;
第一分割模块,用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
第一检测模块,用于对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果;
第一确定模块,用于基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
进一步地,所述第一分割模块包括:
第一分割单元,用于基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
进一步地,所述待检测胸部图像为二维图像,则所述第一分割模块包括:
第二分割单元,用于基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则所述第一分割模块包括:
第三分割单元,用于基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
进一步地,所述第一检测模块包括:
第一模型检测单元,用于基于支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到;
第一结果确定单元,用于将每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
进一步地,所述第一检测模块包括:
第一特征获取单元,用于获取每个肺部分割区域的图像索引特征;
第一索引单元,用于将每个肺部分割区域的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到每个肺部分割区域各自对应的目标胸部索引图像;每个肺部分割区域的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值;
第二结果确定单元,用于将每个肺部分割区域各自对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
进一步地,所述装置还包括第一构建模块,所述第一构建模块包括:
第一图像集获取单元,用于获取胸部索引图像集;
第二特征获取单元,用于获取每个胸部索引图像的图像索引特征;
第一标注单元,用于对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级;
第一存储单元,用于对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
进一步地,所述第一确定模块包括:
第一排序单元,用于对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
第一等级确定单元,用于将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级;
第一目标结果确定单元,用于基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
另一方面,本申请提出了一种图像处理装置,所述图像处理装置包括:
第二获取模块,用于获取待检测胸部图像;
第二分割模块,用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
第二检测模块,用于对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果;
第二确定模块,用于基于所述待检测胸部图像对应的支气管扩张检测结果和所述多个肺部分割区域,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
进一步地,所述第二分割模块包括:
第四分割单元,用于基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
进一步地,所述待检测胸部图像为二维图像,则所述第二分割模块包括:
第五分割单元,用于基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则所述第二分割模块包括:
第六分割单元,用于基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
进一步地,所述第二检测模块包括:
第二模型检测单元,用于基于支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到;
第三结果确定单元,用于将所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
进一步地,所述第二检测模块包括:
第三特征获取单元,用于获取所述待检测胸部图像的图像索引特征;
第二索引单元,用于将所述待检测胸部图像的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到所述待检测胸部图像对应的目标胸部索引图像;所述待检测胸部图像的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值;
第四结果确定单元,用于将所述待检测胸部图像对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
进一步地,所述装置还包括第二构建模块,所构第二构建模块包括:
第二图像集获取单元,用于获取胸部索引图像集;
第四特征获取单元,用于获取每个胸部索引图像的图像索引特征;
第二标注单元,用于对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级;
第二存储单元,用于对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
进一步地,所述第二确定模块包括:
位置模块,用于基于所述待检测胸部图像对应的支气管扩张征象的位置信息和每个肺部分割区域的位置信息,确定每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;
第二排序单元,用于对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
第二等级确定单元,用于将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级;
第二目标结果确定单元,用于基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
另一方面,本申请提出了一种图像处理方法,所述方法包括:
获取待检测胸部图像;
对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果;
基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
进一步地,所述对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,包括:
基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
进一步地,所述待检测胸部图像为二维图像,则所述对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,包括:
基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则所述对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,包括:
基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
进一步地,所述对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果,包括:
基于支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到;
将每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
进一步地,所述对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果,包括:
获取每个肺部分割区域的图像索引特征;
将每个肺部分割区域的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到每个肺部分割区域各自对应的目标胸部索引图像;每个肺部分割区域的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值;
将每个肺部分割区域各自对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
进一步地,所述方法还包括构建所述预设图像索引库的步骤,所述构建所述预设图像索引库包括:
获取胸部索引图像集;
获取每个胸部索引图像的图像索引特征;
对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级;
对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
进一步地,所述基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果,包括:
对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级;
基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
另一方面,本申请提出了一种图像处理方法,所述方法包括:
获取待检测胸部图像;
对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果;
基于所述待检测胸部图像对应的支气管扩张检测结果和所述多个肺部分割区域,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
进一步地,所述对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,包括:
基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
进一步地,所述待检测胸部图像为二维图像,则所述对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,包括:
基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则所述对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,包括:
基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
进一步地,所述对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果,包括:
基于支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到;
将所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
进一步地,所述对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果,包括:
获取所述待检测胸部图像的图像索引特征;
将所述待检测胸部图像的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到所述待检测胸部图像对应的目标胸部索引图像;所述待检测胸部图像的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值;
将所述待检测胸部图像对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
进一步地,所述方法还包括构建所述预设图像索引库的步骤,所述构建所述预设图像索引库包括:
获取胸部索引图像集;
获取每个胸部索引图像的图像索引特征;
对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级;
对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
进一步地,所述基于所述待检测胸部图像对应的支气管扩张检测结果和所述多个肺部分割区域,确定所述待检测胸部图像对应的目标支气管扩张检测结果,包括:
基于所述待检测胸部图像对应的支气管扩张征象的位置信息和每个肺部分割区域的位置信息,确定每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;
对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级;
基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
另一方面,本申请提出了一种图像处理设备,所述设备包括处理器和存储器,所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器,所述处理器用于上述所述的图像处理装置或加载并执行所述程序代码以实现如上述所述的图像处理方法。
另一方面,本申请提出了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于上述所述的图像处理装置或所述程序代码由处理器加载并执行以实现如上述所述的图像处理方法。
本申请实施例提出一种图像处理装置、方法及存储介质,通过第一分割模块对待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,接着通过第一检测模块对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果,最后通过第一确定模块基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。此外,本申请实施例还提供了另一种图像处理装置,该图像处理装置可以对待检测胸部图像同时进行分割处理和支扩检测处理,将检测的病灶和分割结果相结合进行区域统计分析,得到待检测胸部图像对应的目标支气管扩张检测结果。本申请实施例通过上述方案实现了对待检测胸部图像的自动检测和分级评估,辅助医生进行影像诊断与鉴别,支持后续的治疗和康复,提升对支气管扩张的精准诊疗能力,实现支气管扩张检测和分级评估智能辅助阅片系统。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像处理装置的结构示意图。
图2是图1的工作原理示意图。
图3是本申请实施例提供的另一种图像处理装置的结构示意图。
图4是本申请实施例提供的另一种图像处理装置的结构示意图。
图5是本申请实施例提供的另一种图像处理装置的结构示意图。
图6是本申请实施例提供的另一种图像处理装置的结构示意图。
图7是本申请实施例提供的另一种图像处理装置的结构示意图。
图8是图7的工作原理示意图。
图9是本申请实施例提供的一种图像处理方法的流程示意图。
图10是本申请实施例提供的另一种图像处理方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种图像处理装置的结构示意图,图2所示为本申请实施例提供的一种图像处理装置的工作原理图,如图2所示,本申请实施例可以先对待检测胸部图像进行分割,然后再对每个肺部分割区域进行支扩检测,最后根据每个肺部分割区域的支扩检测结果确定所述待检测胸部图像对应的目标支气管扩张检测结果,具体的如图1和图2所示,所述装置可以包括:
第一获取模块101,可以用于获取待检测胸部图像。
本申请实施例中,可以通过胸部摄影仪器设备对患者的胸部进行扫描,从而得到患者的待检测胸部图像,该待检测胸部图像可以为胸部CT影像。
在一个可行的实施例中,为了保证成像质量,提高后续图像处理和检测结果的精度,所述装置还可以包括图像预处理模块,所述图像预处理模块可以用于对所述待检测胸部图像进行降噪处理、归一化处理等。
在一个可行的实施例中,为了提高待检测胸部图像的读取和检测速率,所述装置还可以包括图像调整模块,所述图像调整模块可以用于将待检测胸部图像的尺寸调整到预设尺寸,还可以用于将待检测胸部图像的格式调整为高位保存的DICOM数据,还可以用于将待检测胸部图像转为Numpy矩阵数据,以便于快速读入后续的神经网络模型中。其中,DICOM是医学数字成像和通信,是医学图像和相关信息的国际标准,Numpy是python语言的扩展程序库,python是一种跨平台的计算机程序设计语言,是一种面向对象的动态类型语言。
第一分割模块103,可以用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
在一个可行的实施例中,所述第一分割模块103可以包括:
第一分割单元,可以用于基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
所述肺部分割模型可以为基于深度学习的神经网络模型。在通过第一分割模块103对待检测胸部图像进行肺部分割处理之前,需要预先训练所述肺部分割模型,即所述装置还可以包括肺部分割模型训练模块,所述肺部分割模型训练模块可以用于:
获取标注有肺部分割结果的胸部样本图像。
基于所述胸部样本图像对神经网络模型进行肺部分割的训练学习,在所述训练学习的过程中调整所述神经网络模型的模型参数至所述神经网络模型输出的肺部分割结果与所述待胸部样本图像中标注的肺部分割结果相匹配;将当前的神经网络模型作为所述肺部分割模型。
在肺部分割模型训练好之后,第一分割单元可以基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,比如,得到所述待检测胸部图像对应的全肺、左右肺、5个肺叶和10个肺段。
由于神经网络模型具有处理速度快,处理精度较高的优点,因此,通过肺部分割模型对待检测胸部图像进行肺部分割,能够有效提高肺部分割的速率和准确率,从而提高后续目标支气管扩张检测结果确定的速率和准确率,鲁棒性较高。
在另一个可行的实施例中,所述待检测胸部图像为二维图像,则所述第一分割模块103还可以包括:第二分割单元,可以用于基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
所述待检测胸部图像为三维图像,则所述第一分割模块103可以包括:
第三分割单元,可以用于基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
在实际应用中,如果没有肺部分割模型可供使用,则在待检测胸部图像为二维图像时,第三分割单元可以用于使用若干条分割线,去切割该待检测胸部图像,以将左右肺部平分为若干个部分。优选地,可以使用2条分割线,将左右肺平分为6个分割部分。
若待检测胸部图像为三维图像时,第三分割单元还可以用于使用若干个与气管垂直的分割平面,去切割该待检测胸部图像,以将左右肺部平分为若干个部分。优选地,可以使用2个分割平面,将左右肺平分为6个分割部分。
由于使用分割线或分割平面,成本较低,可以适用于各种胸部图像的分割,因此,通过分割线或分割平面对待检测胸部图像进行肺部分割处理,分割成本较低,适应性较广,可以弥补当前没有神经网络模型的缺陷,提高本申请实施例中的图像处理装置的适应性。
第一检测模块105,可以用于对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果。
本申请实施例中,如图3所示,所述第一检测模块105可以包括:
第一模型检测单元105011,可以用于基于支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到。
第一结果确定单元105013,可以用于将每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
该实施例中的支气管扩张检测模型可以为基于深度学习的神经网络模型。在通过第一检测模块105对每个肺部分割区域进行支气管扩张检测处理之前,需要预先训练所述支气管扩张检测模型,即所述装置还可以包括支气管扩张检测模型训练模块,所述支气管扩张检测模型训练模块可以用于:
获取标注有支气管扩张检测结果的胸部样本图像。
基于所述胸部样本图像对神经网络模型进行支气管扩张检测的训练学习,在所述训练学习的过程中调整所述神经网络模型的模型参数至所述神经网络模型输出的支气管扩张检测结果与所述胸部样本图像中标注的支气管扩张检测结果相匹配,其中,所述支气管扩张检测结果包括支气管扩张征象和支气管扩张等级;将当前的神经网络模型作为所述支气管扩张检测模型。
实际应用中,数据库中包括胸部样本图像及其标注数据,由医生对CT影像进行人工阅片后标出轻度等级、中度等级和重度等级支扩。不同等级支扩对应的征象可以为:
轻度等级:印戒征(垂直方向支气管);轨道征(水平方向支气管);
中度等级:曲张型(水平方向支气管不规则的支气管增粗);
重度等级:囊状(异常支气管内可见气液平面,葡萄串横切面样)。
在支气管扩张检测模型训练好后,第一模型检测单元105011可以使用该训练好的支气管扩张检测模型对每个肺部分割区域(比如前述的5个肺叶或6个分割部分)进行支气管检测处理,得到每个肺部分割区域(比如前述的5个肺叶或6个分割部分)各自对应的支气管扩张征象和支气管扩张等级,比如,得到5个肺叶各自对应的支气管扩张征象和支气管扩张等级,或6个分割部分各自对应的支气管扩张征象和支气管扩张等级。
在一些实施例中,使用该训练好的支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级的具体过程可以如下:通过支气管扩张检测模型将每个肺部分割区域(比如前述的5个肺叶或6个分割部分)切分成若干个矩形检测框(比如,尺寸为100×100的矩形检测框),对这若干个矩形检测框按切分顺序依次进行支扩检测,得到每个肺部区域中各个检测框对应的支气管扩张征象和支气管扩张等级,最后将每个肺部区域中各个检测框的对应的支气管扩张征象和支气管扩张等级进行汇总,得到各个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级。
在一些实施例中,由于后续的目标支气管扩张检测结果可以根据最高等级(即重度等级高)的支气管扩张征象来衡量,因此可以不对每个肺部分割区域(比如前述的5个肺叶或6个分割部分)的每一个部分均进行检测,而是在通过矩形检测框检测到每个肺部分割区域(比如前述的5个肺叶或6个分割部分)中存在最高等级的支气管扩张征象时,就可以停止对该肺叶或分割部分的检测,从而降低检测任务量和成本,提高支扩检测的效率。
由于神经网络模型具有处理速度快,处理精度较高的优点,因此,通过支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,不仅可以实现对支扩病灶的轻、中和重度的自动分级,且能够有效提高支扩检测的速率和准确率,从而提高支气管扩张检测结果确定的速度和准确率,鲁棒性较高。
在一个可行的实施例中,如图4所示,所述第一检测模块105还可以包括:
第一特征获取单元105031,可以用于获取每个肺部分割区域的图像索引特征。
第一索引单元105033,可以用于将每个肺部分割区域的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到每个肺部分割区域各自对应的目标胸部索引图像;每个肺部分割区域的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值。
第二结果确定单元105035,可以用于将每个肺部分割区域各自对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
在实际应用中,为了提高该图像处理装置的可拓展性和实用性,除了可以通过支气管扩张检测模型对每个肺部分割区域进行支气管检测处理外,还可以通过图像索引技术对每个肺部分割区域(比如前述的5个肺叶或6个分割部分)进行支扩检测处理,以得到每个肺部分割区域(比如前述的5个肺叶或6个分割部分)各自对应的支气管扩张检测结果。
在对肺部分割区域(比如前述的5个肺叶或6个分割部分)进行支扩检测处理之前,需要预先建立预设图像索引库,即在一个可行的实施例中,如图5所示,所述装置还可以包括第一构建模块100,所述第一构建模块100可以包括:
第一图像集获取单元1001,可以用于获取胸部索引图像集。
第二特征获取单元1003,可以用于获取每个胸部索引图像的图像索引特征。
第一标注单元1005,可以用于对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级。
第一存储单元1007,可以用于对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
在该实施例中,首先通过第二特征获取单元1003获取胸部索引图像集中每个胸部索引图像的图像索引特征,该图像索引特征可以为胸部索引图像本身的属性特征,其可以作为图像索引信息,其包括但不限于均值、标准差等。其中,均值反映了图像的亮度,均值越大说明图像亮度越大,标准差反映了图像像素与均值的离散程度,标准差越大说明图像质量越好。然后通过该第一标注单元1005对各个胸部索引图像标注各自对应的支气管扩张征象和支气管扩张等级(胸部索引图像的标注与胸部样本图像的标注过程相同,具体请参见胸部样本图像的标注过程,在此不再赘述)。最后建立每个胸部索引图像及其对应的图像索引特征、支气管扩张征象、支气管扩张等级之间的映射关系,并对每个胸部索引图像及其对应的图像索引特征、支气管扩张征象、支气管扩张等级以及相应的映射关系进行存储,得到预设图像索引库。
在肺部分割区域(比如前述的5个肺叶或6个分割部分)确定好之后,就可以通过第一特征获取单元105031获取每个肺部分割区域的图像索引特征(比如,均值或标准差等),并通过第一索引单元105033将该图像索引特征作为索引信息在预设图像索引库进行检索,得到图像索引特征与每个肺部分割区域(比如前述的5个肺叶或6个分割部分)的图像索引特征比较接近(相似度大于预设阈值)的目标胸部索引图像,最后通过第二结果确定单元105035将每个肺部分割区域各自对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
在实际应用中,为了提高检测精度,可以通过将每个肺部分割区域(比如前述的5个肺叶或6个分割部分)切分成若干个矩形检测框(比如,尺寸为100×100的矩形检测框),再通过第一特征获取单元105031获取每个肺部分割区域的各个矩形检测框的图像索引特征,接着通过第一索引单元105033将该图像索引特征作为索引信息在预设图像索引库进行检索,得到图像索引特征与每个肺部分割区域(比如前述的5个肺叶或6个分割部分)的各个矩形检测框的图像索引特征比较接近(相似度大于预设阈值)的目标胸部索引图像,最后将每个肺部区域中各个检测框对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级进行汇总,得到个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级。
在一些实施例中,由于后续的目标支气管扩张检测结果可以根据最高等级的支气管扩张征象来衡量,因此可以不对每个肺部分割区域(比如前述的5个肺叶或6个分割部分)的每一个部分均进检索,而是在预设图像索引库中检索到每个肺部分割区域(比如前述的5个肺叶或6个分割部分)中存在最高等级的支气管扩张征象时,就可以停止对该肺叶或分割部分的检索,从而降低检索任务量和检索成本,提高支扩的检索效率。
在实际应用中,由于预设图像索引库中包含大量的图像,如果直接将每个肺部分割区域与预设图像索引库中的图像一一进行比对,检索效率较低,成本较高,而通过索引信息在预设图像索引库中检索每个肺部分割区域各自对应的支气管扩张检测结果,可以避免与预设图像索引库中的大量图像进行一一比对造成的检索效率低,成本高的缺陷,有效提高图像索引效率和后续支扩检测结果确定的准确率,降低支扩检测成本,且实现了对支扩病灶的轻、中和重度的自动分级。
需要说明的是,该胸部索引图像、胸部样本图像和待检测胸部图像均属于胸部图像,并存储在数据库中,胸部索引图像和胸部样本图像本质上无实质性区别,只是为了区分模型训练过程以及图像索引过程所定义的名称。
第一确定模块107,可以用于基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
本申请实施例中,如图6所示,所述第一确定模块107可以包括:
第一排序单元10701,可以用于对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
第一等级确定单元10703,可以用于将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级。
第一目标结果确定单元10705,可以用于基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
在实际应用中,可以将支气管等级进行数值化,比如轻度等级设置为1、中度等级设置为2、重度等级设置为3,由于每个肺部分割区域(比如前述的5个肺叶或6个分割部分)各自对应的支气管扩张征象可以为至少一个,相应的支气管扩张等级也可以为至少一个,因此,第一排序单元10701可以对每个肺部分割区域(比如前述的5个肺叶或6个分割部分)各自对应的支气管等级进行逆序排序,第一等级确定单元10703可以将排序最前的支气管扩张等级(即等级最高的支气管扩张等级,若某个肺部区域中病灶等级包括轻度等级和重度等级,则等级最高的为重度等级,若某个肺部区域中病灶等级包括轻度等级和中度等级,则等级最高的为中度等级),作为每个肺部分割区域各自对应的目标支气管扩张等级,第一目标结果确定单元10705可以将每个肺部分割区域各自对应的目标支气管扩张等级对应的数值进行相加,得到待检测胸部图像对应的目标支气管扩张检测结果。
以分割结果为肺部分割模型得到的5个肺叶为例,若每个肺叶均能检测出病灶(即存在支气管扩张征象),则待检测胸部图像对应的目标支气管扩张检测结果最高得分为15(5个肺叶均为重度级别,每个肺叶得分均为3),若每个肺叶均未检测出病灶(即不存在支气管扩张征象),则待检测胸部图像对应的目标支气管扩张检测结果最低得分为0(5个肺叶均未检测到支气管扩张征象,每个肺叶得分均为0)。
以分割结果为分割线或分割平面分割出的6个分割区域为例,若每个分割区域均能检测出病灶(即存在支气管扩张征象),则待检测胸部图像对应的目标支气管扩张检测结果最高得分为18(6个分割区域均为重度级别,每个分割区域得分均为3),若每个肺叶均未检测出病灶(即不存在支气管扩张征象),则待检测胸部图像对应的目标支气管扩张检测结果最低得分为0(6个分割区域均未检测到支气管扩张征象,每个分割区域得分均为0)。
继续以分割结果为肺部分割模型得到的5个肺叶为例,记为肺叶1、肺叶2、肺叶3、肺叶4和肺叶5,肺叶1中检测出3处病灶,等级分别为轻度等级、中度等级和重度等级,肺叶2中检测出2处病灶,等级分别为轻度等级和中度等级,肺叶3中检测出一处病灶,等级为中度等级,肺叶4中没有检测病灶,肺叶5中检测出3处病灶,等级分别为轻度等级、中度等级和中度等级。由于肺叶1的病灶最高等级为重度等级,则肺叶1的目标支气管扩张等级为重度等级,对应数值为3;由于肺叶2的病灶最高等级为中度等级,则肺叶2的目标支气管扩张等级为中度等级,对应数值为2;由于肺叶3中病灶最高等级为轻度等级,则肺叶3的目标支气管扩张等级为轻度等级,对应数值为1;由于肺叶4中没有检测病灶,则对应数值为0;由于肺叶5病灶最高等级为中度等级,则肺叶5的目标支气管扩张等级为中度等级,对应数值为2。则最终的目标支气管扩张检测结果为:3+2+1+0+2=8。
通过为每个可以支气管等级进行数值化,并将最终的目标支气管扩张检测结果数值化,以该数值化结果作为患者的支扩严重程度的主要评估指标,直观性较强,使医生和患者很容易地通过该数值了解支扩情况。且将每个肺部分割区域中的等级最高的病灶作为该肺部分割区域的目标支气管扩张等级,避免对个肺部分割区域中的所有等级病灶进行统计,导致的检测结果确定的准确率较低的缺陷(比如,肺叶A检测出三处病灶,等级为2个轻度等级和1个中度等级,肺叶B仅检测出一处病灶,等级为重度等级,如果将每个病灶均进行统计,则肺叶A的得分为4,肺叶B的得分为3,那肺叶A的病灶严重程度高于肺叶B的严重程度,但很明显,肺叶B的严重程度要高于A的,可见,以每个肺部分割区域中的所有等级病灶为依据进行支扩评估存在一定的误判率),从而提到目标支气管扩张检测结果的准确率和可信度。此外,将每个肺部分割区域各自对应的目标支气管扩张等级对应的数值进行相加,得到待检测胸部图像对应的目标支气管扩张检测结果,实现了支扩检测的区域定量化统计和分级评估,以图文加量化评分的方式辅助医生进行影像诊断与鉴别,支持后续的治疗和康复,提升对支扩的精准诊疗能力,实现支气管扩张检测和分级评估智能辅助阅片系统。
在实际应用中,本申请实施例提供的图像处理装置可以应用在医院的信息化系统中,比如影像设备后处理工作站中或影像归档和通信系统(Picture Archiving andCommunication Systems,PACS)的阅片工作站中,该图像处理装置还可以嵌入医院的云平台,用户可以通过终端设备,使用账号和密码登录该云平台,并在该云平台中获取支扩检测结果。
本申请实施例提供的图像处理装置,具有如下益效果:
1)本申请实施例通过肺部分割模型对待检测胸部图像进行肺部分割,能够有效提高肺部分割的速率和准确率,从而提高支气管扩张检测结果确定的速度和准确率,鲁棒性较高。
2)本申请实施例通过分割线或分割平面对待检测胸部图像进行肺部分割处理,分割成本较低,适应性较广,可以弥补目前没有神经网络模型的缺陷。
3)本申请实施例通过支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,不仅可以实现对支扩病灶的轻、中和重度的自动分级,且能够有效提高支扩检测的速率和准确率,从而提高支气管扩张检测结果确定的速度和准确率,鲁棒性较高。
4)本申请实施例通过索引信息,在预设图像索引库中检索每个肺部分割区域各自对应的支气管扩张检测结果,可以避免与预设图像索引库中的大量图像进行一一比对造成的检索效率低,成本高的缺陷,有效提高图像索引效率和后续支扩检测结果确定的准确率,降低支扩检测成本,且能够实现对支扩病灶的轻、中和重度的自动分级。
5)本申请实施例中先对待检测胸部图像进行分割,再对每个肺部分割区域进行支扩检测,如果在一个肺部分割区域中检测到最高级病灶,即可停止对该肺部分割区域的检测,由于不需要对每个肺部分割区域的各个部分进行检测,提高了目标支气管扩张检测结果确定的效率,降低目标支气管扩张检测结果确定的成本。
6)本申请实施例将每个肺部分割区域各自对应的目标支气管扩张等级对应的数值进行相加,得到待检测胸部图像对应的目标支气管扩张检测结果,实现了支扩检测的区域定量化统计和分级评估,以图文加量化评分的方式辅助医生进行影像诊断与鉴别,支持后续的治疗和康复,提升对支扩的精准诊疗能力,实现支气管扩张检测和分级评估智能辅助阅片系统。
图7是本申请实施例提供的另一种图像处理装置的结构示意图,图8所示为相应的工作原理图,如图8所示,本申请实施例可以对待检测胸部图像同时进行分割处理和支扩检测处理,最后将检测的病灶和分割结果相结合进行区域统计分析,得到待检测胸部图像对应的目标支气管扩张检测结果。具体地,如图7和图8所示,所述装置可以包括:
第二获取模块201,可以用于获取待检测胸部图像。
本实施例中,第二获取模块201可以通过胸部摄影仪器设备对患者的胸部进行扫描,从而得到患者的待检测胸部图像,该待检测胸部图像可以为胸部CT影像。
在一个可行的实施例中,为了保证成像质量,提高后续图像处理和检测结果的精度,所述装置还可以包括图像预处理模块,所述图像预处理模块可以用于对所述待检测胸部图像进行降噪处理、归一化处理等。
在一个可行的实施例中,为了提高待检测胸部图像的读取和检测速率,所述装置还可以包括图像调整模块,所述图像调整模块可以用于将待检测胸部图像的尺寸调整到预设尺寸,还可以用于将待检测胸部图像的格式调整为高位保存的DICOM数据,还可以用于将待检测胸部图像转为Numpy矩阵数据,以便于快速读入后续的神经网络模型中。其中,DICOM是医学数字成像和通信,是医学图像和相关信息的国际标准,Numpy是python语言的扩展程序库,python是一种跨平台的计算机程序设计语言,是一种面向对象的动态类型语言。
第二分割模块203,可以用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
在一个可行的实施例中,所述第二分割模块203可以包括:
第四分割单元,可以用于基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
其中,第四分割单元中的肺部分割模型可以为基于深度学习的神经网络模型。在通过第二分割模块203对待检测胸部图像进行肺部分割处理之前,需要预先训练该肺部分割模型,即所述装置还可以包括肺部分割模型训练模块,该肺部分割模型训练模块可以用于:
获取标注有肺部分割结果的胸部样本图像。
基于所述胸部样本图像对神经网络模型进行肺部分割的训练学习,在所述训练学习的过程中调整所述神经网络模型的模型参数至所述神经网络模型输出的肺部分割结果与所述待胸部样本图像中标注的肺部分割结果相匹配;将当前的神经网络模型作为所述肺部分割模型。
在肺部分割模型训练好之后,第四分割单元可以基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域,比如,得到所述待检测胸部图像对应的全肺、左右肺、5个肺叶和10个肺段。
由于神经网络模型具有处理速度快,处理精度较高的优点,因此,通过肺部分割模型对待检测胸部图像进行肺部分割,能够有效提高肺部分割的速率和准确率,从而提高后续目标支气管扩张检测结果确定的速率和准确率,鲁棒性较高。
在另一个可行的实施例中,所述待检测胸部图像为二维图像,则所述第二分割模块包括:
第五分割单元,可以用于基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则所述第二分割模块包括:
第六分割单元,可以用于基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
在实际应用中,如果没有肺部分割模型可供使用,则在待检测胸部图像为二维图像时,第五分割单元可以用于使用若干条分割线,去切割该待检测胸部图像,以将左右肺部平分为若干个部分。优选地,可以使用2条分割线,将左右肺平分为6个分割部分。
若待检测胸部图像为三维图像时,第六分割单元还可以用于使用若干个与气管垂直的分割平面,去切割该待检测胸部图像,以将左右肺部平分为若干个部分。优选地,可以使用2个分割平面,将左右肺平分为6个分割部分。
由于使用分割线或分割平面,成本较低,可以适用于各种胸部图像的分割,因此,通过分割线或分割平面对待检测胸部图像进行肺部分割处理,分割成本较低,适应性较广,可以弥补当前没有神经网络模型的缺陷,提高本申请实施例中的图像处理装置的适应性。
第二检测模块205,可以用于对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果。
在一个可行的实施例中,所述第二检测模块205可以包括:
第二模型检测单元,可以用于基于支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到。
第三结果确定单元,可以用于将所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
本实施例中的支气管扩张检测模型可以为基于深度学习的神经网络模型。在通过第二检测模块205对所述待检测胸部图像进行支气管扩张检测处理之前,需要预先训练所述支气管扩张检测模型,即所述装置还可以包括支气管扩张检测模型训练模块,所述支气管扩张检测模型训练模块可以用于:
获取标注有支气管扩张检测结果的胸部样本图像。
基于所述胸部样本图像对神经网络模型进行支气管扩张检测的训练学习,在所述训练学习的过程中调整所述神经网络模型的模型参数至所述神经网络模型输出的支气管扩张检测结果与所述胸部样本图像中标注的支气管扩张检测结果相匹配,其中,所述支气管扩张检测结果包括支气管扩张征象和支气管扩张等级;将当前的神经网络模型作为所述支气管扩张检测模型。
实际应用中,数据库中包括胸部样本图像及其标注数据,由医生对CT影像进行人工阅片后标出轻度等级、中度等级和重度等级支扩。不同等级支扩对应的征象可以为:
轻度等级:印戒征(垂直方向支气管);轨道征(水平方向支气管);
中度等级:曲张型(水平方向支气管不规则的支气管增粗);
重度等级:囊状(异常支气管内可见气液平面,葡萄串横切面样)。
在支气管扩张检测模型训练好后,第二模型检测单元可以使用该训练好的支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级。
在一些实施例中,使用该训练好的支气管扩张检测模型对述待检测胸部图像进行支气管检测处理,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级的具体过程可以如下:通过支气管扩张检测模型将所述待检测胸部图像切分成若干个矩形检测框(比如,尺寸为100×100的矩形检测框),对这若干个矩形检测框按切分顺序依次进行支扩检测,得到各个检测框对应的支气管扩张征象和支气管扩张等级,最后将各个检测框的对应的支气管扩张征象和支气管扩张等级进行汇总,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级。
在一些实施例中,由于后续的目标支气管扩张检测结果可以根据最高等级(即重度等级高)的支气管扩张征象来衡量,因此可以不对所述待检测胸部图像中的每一个部分均进行检测,而是在通过矩形检测框检测到所述待检测胸部图像中存在最高等级的支气管扩张征象时,就可以停止对该待检测胸部图像的检测,从而降低检测任务量和成本,提高支扩检测的效率。
由于神经网络模型具有处理速度快,处理精度较高的优点,因此,通过支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理,不仅可以实现对支扩病灶的轻、中和重度的自动分级,且能够有效提高支扩检测的速率和准确率,从而提高支气管扩张检测结果确定的速度和准确率,鲁棒性较高。
在另一个可行的实施例中,所述第二检测模块205还包括:
第三特征获取单元,可以用于获取所述待检测胸部图像的图像索引特征。
第二索引单元,可以用于将所述待检测胸部图像的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到所述待检测胸部图像对应的目标胸部索引图像;所述待检测胸部图像的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值。
第四结果确定单元,可以用于将所述待检测胸部图像对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
在实际应用中,为了提高该图像处理装置的可拓展性和实用性,除了可以通过支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理外,还可以通过图像索引技术对所述待检测胸部图像进行支扩检测处理,以得到所述待检测胸部图像对应的支气管扩张检测结果。
在对所述待检测胸部图像进行支扩检测处理之前,需要预先建立预设图像索引库,即在一个可行的实施例中,所述装置还可以包括第二构建模块200,所述第二构建模块200可以包括:
第二图像集获取单元,可以用于获取胸部索引图像集。
第四特征获取单元,可以用于获取每个胸部索引图像的图像索引特征。
第二标注单元,可以用于对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级。
第二存储单元,可以用于对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
在该实施例中,首先通过第四特征获取单元获取胸部索引图像集中每个胸部索引图像的图像索引特征,该图像索引特征可以为胸部索引图像本身的属性特征,其可以作为图像索引信息,其包括但不限于均值、标准差等。其中,均值反映了图像的亮度,均值越大说明图像亮度越大,标准差反映了图像像素与均值的离散程度,标准差越大说明图像质量越好。然后通过该第二标注单元对各个胸部索引图像标注各自对应的支气管扩张征象和支气管扩张等级(胸部索引图像的标注与胸部样本图像的标准过程相同,具体请参见胸部样本图像的标注过程,在此不再赘述)。最后建立每个胸部索引图像及其对应的图像索引特征、支气管扩张征象、支气管扩张等级之间的映射关系,并对每个胸部索引图像及其对应的图像索引特征、支气管扩张征象、支气管扩张等级以及相应的映射关系进行存储,得到预设图像索引库。
在所述待检测胸部图像确定好之后,就可以通过第三特征获取单元获取该待检测胸部图像的图像索引特征(比如,均值或标准差等),并通过第二索引单元将该图像索引特征作为索引信息在预设图像索引库进行检索,得到图像索引特征与该待检测胸部图像的图像索引特征比较接近(相似度大于预设阈值)的目标胸部索引图像,最后通过第四结果确定单元将所述待检测胸部图像对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
在实际应用中,为了提高检测精度,可以将所述待检测胸部图像切分成若干个矩形检测框(比如,尺寸为100×100的矩形检测框),再通过第三特征获取单元获取各个矩形检测框的图像索引特征,接着通过第二索引单元将该图像索引特征作为索引信息在预设图像索引库进行检索,得到图像索引特征与各个矩形检测框的图像索引特征比较接近(相似度大于预设阈值)的目标胸部索引图像,最后将各个检测框对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级进行汇总,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级。
在一些实施例中,由于后续的目标支气管扩张检测结果可以根据最高等级的支气管扩张征象来衡量,因此可以不对所述待检测胸部图像的每一个部分均进检索,而是在预设图像索引库中检索到所述待检测胸部图像中存在最高等级的支气管扩张征象时,就可以停止对该待检测胸部图像的检索,从而降低检索任务量和检索成本,提高支扩的检索效率。
在实际应用中,由于预设图像索引库中包含大量的图像,如果直接将所述待检测胸部图像与预设图像索引库中的图像一一进行比对,检索效率较低,成本较高,而通过索引信息在预设图像索引库中检索所述待检测胸部图像对应的支气管扩张检测结果,可以避免与预设图像索引库中的大量图像进行一一比对造成的检索效率低,成本高的缺陷,有效提高图像索引效率和后续支扩检测结果确定的准确率,降低支扩检测成本,且实现了对支扩病灶的轻、中和重度的自动分级。
需要说明的是,该胸部索引图像、胸部样本图像和待检测胸部图像均属于胸部图像,并存储在数据库中,胸部索引图像和胸部样本图像本质上无实质性区别,只是为了区分模型训练过程以及图像索引过程所定义的名称。
第二确定模块207,可以用于基于所述待检测胸部图像对应的支气管扩张检测结果和所述多个肺部分割区域,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
本申请实施例中,所述第二确定模块207包括:
位置模块,用于基于所述待检测胸部图像对应的支气管扩张征象的位置信息和每个肺部分割区域的位置信息,确定与每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级。
第二排序单元,用于对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
第二等级确定单元,用于将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级。
第二目标结果确定单元,用于基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
由于本申请实施例是对待检测胸部图像进行支扩检测,同时对待检测胸部图像进行分割,则第二确定模块207需要对检测到的病灶和分割结果相结合进行区域统计分析,从而得到目标支气管扩张检测结果,具体可以为:通过位置模块,根据检测到的支气管扩张征象的位置信息和每个肺部分割区域的位置信息,查找每个肺部分割区域中是否存在检测到的支气管扩张征象,若某个支气管扩张征象所在的位置位于该肺部分割区域内,则将该支气管扩张征象对应的等级作为该肺部分割区域对应的等级,这样就可以得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级。
在实际应用中,可以将支气管等级进行数值化,比如轻度等级设置为1、中度等级设置为2、重度等级设置为3,由于每个肺部分割区域(比如前述的5个肺叶或6个分割部分)各自对应的支气管扩张征象可以为至少一个,相应的支气管扩张等级也可以为至少一个,因此,第二排序单元可以对每个肺部分割区域(比如前述的5个肺叶或6个分割部分)各自对应的支气管等级进行逆序排序,第二等级确定单元可以将排序最前的支气管扩张等级(即等级最高的支气管扩张等级,若某个肺部区域中病灶等级包括轻度等级和重度等级,则等级最高的为重度等级,若某个肺部区域中病灶等级包括轻度等级和中度等级,则等级最高的为中度等级),作为每个肺部分割区域各自对应的目标支气管扩张等级,第二目标结果确定单元可以将每个肺部分割区域各自对应的目标支气管扩张等级对应的数值进行相加,得到待检测胸部图像对应的目标支气管扩张检测结果。
以分割结果为肺部分割模型得到的5个肺叶为例,若每个肺叶均存在检测到的支气管扩张征象,则待检测胸部图像对应的目标支气管扩张检测结果最高得分为15(5个肺叶均为重度级别,每个肺叶得分均为3),若每个肺叶均不存在检测到的支气管扩张征象,则待检测胸部图像对应的目标支气管扩张检测结果最低得分为0(5个肺叶均未检测到支气管扩张征象,每个肺叶得分均为0)。
以分割结果为分割线或分割平面分割出的6个分割区域为例,若每个分割区域均存在支气管扩张征象,则待检测胸部图像对应的目标支气管扩张检测结果最高得分为18(6个分割区域均为重度级别,每个分割区域得分均为3),若每个肺叶均不存在支气管扩张征象,则待检测胸部图像对应的目标支气管扩张检测结果最低得分为0(6个分割区域均未检测到支气管扩张征象,每个分割区域得分均为0)。
继续以分割结果为肺部分割模型得到的5个肺叶为例,记为肺叶1、肺叶2、肺叶3、肺叶4和肺叶5,根据位置模块确定肺叶1中存在3处病灶,等级分别为轻度等级、中度等级和重度等级,肺叶2中存在2处病灶,等级分别为轻度等级和中度等级,肺叶3中存在一处病灶,等级为中度等级,肺叶4中不存在病灶,肺叶5中存在3出病灶,等级分别为轻度等级、中度等级和中度等级。由于肺叶1的病灶最高等级为重度等级,则肺叶1的目标支气管扩张等级为重度等级,对应数值为3;由于肺叶2的病灶最高等级为中度等级,则肺叶2的目标支气管扩张等级为中度等级,对应数值为2;由于肺叶3中病灶最高等级为轻度等级,则肺叶3的目标支气管扩张等级为轻度等级,对应数值为1;由于肺叶4中没有检测病灶,则对应数值为0;由于肺叶5病灶最高等级为中度等级,则肺叶5的目标支气管扩张等级为中度等级,对应数值为2。则最终的目标支气管扩张检测结果为:3+2+1+0+2=8。
通过为每个可以支气管等级进行数值化,并将最终的目标支气管扩张检测结果数值化,以该数值化结果作为患者的支扩严重程度的主要评估指标,直观性较强,使医生和患者很容易地通过该数值了解支扩情况。且将每个肺部分割区域中的等级最高的病灶作为该肺部分割区域的目标支气管扩张等级,避免对个肺部分割区域中的所有等级病灶进行统计,导致的检测结果确定的准确率较低的缺陷(比如,肺叶A检测出三处病灶,等级为2个轻度等级和1个中度等级,肺叶B仅检测出一处病灶,等级为重度等级,如果将每个病灶均进行统计,则肺叶A的得分为4,肺叶B的得分为3,那肺叶A的病灶严重程度高于肺叶B的严重程度,但很明显,肺叶B的严重程度要高于A的,可见,以每个肺部分割区域中的所有等级病灶为依据进行支扩评估存在一定的误判率),从而提到目标支气管扩张检测结果的准确率和可信度。此外,将每个肺部分割区域各自对应的目标支气管扩张等级对应的数值进行相加,得到待检测胸部图像对应的目标支气管扩张检测结果,实现了支扩检测的区域定量化统计和分级评估,以图文加量化评分的方式辅助医生进行影像诊断与鉴别,支持后续的治疗和康复,提升对支扩的精准诊疗能力,实现支气管扩张检测和分级评估智能辅助阅片系统。
在实际应用中,本申请实施例提供的图像处理装置可以应用在医院的信息化系统中,比如影像设备后处理工作站中或影像归档和通信系统(Picture Archiving andCommunication Systems,PACS)的阅片工作站中,该图像处理装置还可以嵌入医院的云平台,用户可以通过终端设备,使用账号和密码登录该云平台,并在该云平台中获取支扩检测结果。
本申请实施例提供的图像处理装置,具有如下益效果:
1)本申请实施例通过肺部分割模型对待检测胸部图像进行肺部分割,能够有效提高肺部分割的速率和准确率,从而提高支气管扩张检测结果确定的速度和准确率,鲁棒性较高。
2)本申请实施例通过分割线或分割平面对待检测胸部图像进行肺部分割处理,分割成本较低,适应性较广,可以弥补目前没有神经网络模型的缺陷。
3)本申请实施例通过支气管扩张检测模型对待检测胸部图像进行支气管检测处理,不仅可以实现对支扩病灶的轻、中和重度的自动分级,且能够有效提高支扩检测的速率和准确率,从而提高支气管扩张检测结果确定的速度和准确率,鲁棒性较高。
4)本申请实施例通过索引信息,在预设图像索引库中检索待检测胸部图像对应的支气管扩张检测结果,可以避免与预设图像索引库中的大量图像进行一一比对造成的检索效率低,成本高的缺陷,有效提高图像索引效率和后续支扩检测结果确定的准确率,降低支扩检测成本,且能够实现对支扩病灶的轻、中和重度的自动分级。
5)本申请实施例同时进行待检测胸部图像的分割和支扩检测,将检测到的病灶和分割结果相结合进行区域统计分析,从而得到目标支气管扩张检测结果,从而提供了另一种支扩检测装置,且实现了支扩的自动检测和分级评估,确保了目标支气管扩张检测结果确定的准确率。
6)本申请实施例将每个肺部分割区域各自对应的目标支气管扩张等级对应的数值进行相加,得到待检测胸部图像对应的目标支气管扩张检测结果,实现了支扩检测的区域定量化统计和分级评估,以图文加量化评分的方式辅助医生进行影像诊断与鉴别,支持后续的治疗和康复,提升对支扩的精准诊疗能力,实现支气管扩张检测和分级评估智能辅助阅片系统。
如图9所示,本申请实施例还提供了一种图像处理方法,所述方法可以包括:
S301.获取待检测胸部图像。
S303.对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
在一个可行的实施例中,S303可以包括:
基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
在另一个可行的实施例中,所述待检测胸部图像为二维图像,则S303可以包括:
基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则S303可以包括:
基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
S305.对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果。
在一个可行的实施例中,S305可以包括:
基于支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到。
将每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
在另一个可行的实施例中,S305可以包括:
获取每个肺部分割区域的图像索引特征。
将每个肺部分割区域的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到每个肺部分割区域各自对应的目标胸部索引图像;每个肺部分割区域的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值。
将每个肺部分割区域各自对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
进一步地,所述方法还可以包括构建所述预设图像索引库的步骤,所述构建所述预设图像索引库可以包括:
获取胸部索引图像集。
获取每个胸部索引图像的图像索引特征。
对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级。
对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
S307.基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
本申请实施例中,S307可以包括:
对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列。
将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级。
基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
需要说明的是,本实施了中的图像处理方法与上述第一个装置实施例基于相同的发明构思。
如图10所示,本申请实施例还提供了另一种图像处理方法,所述方法可以包括:
S401.获取待检测胸部图像。
S403.对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
在一个可行的实施例中,S403可以包括:
基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
在另一个可行的实施例中,所述待检测胸部图像为二维图像,则S403还可以包括:
基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
所述待检测胸部图像为三维图像,则S403还可以包括:
基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
S405.对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果。
在一个可行的实施例中,S405可以包括:
基于支气管扩张检测模型对所述待检测胸部图像进行支气管检测处理,得到所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到。
将所述待检测胸部图像对应的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
在另一个可行的实施例中,S405可以包括:
获取所述待检测胸部图像的图像索引特征。
将所述待检测胸部图像的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到所述待检测胸部图像对应的目标胸部索引图像;所述待检测胸部图像的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值。
将所述待检测胸部图像对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为所述待检测胸部图像对应的支气管扩张检测结果。
进一步地,所述方法还包括构建所述预设图像索引库的步骤,所述构建所述预设图像索引库可以包括:
获取胸部索引图像集。
获取每个胸部索引图像的图像索引特征。
对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级。
对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
S407.基于所述待检测胸部图像对应的支气管扩张检测结果和所述多个肺部分割区域,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
本申请实施例中,S407可以包括:
基于所述待检测胸部图像对应的支气管扩张征象的位置信息和每个肺部分割区域的位置信息,确定与每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级。
对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列。
将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级。
基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
需要说明的是,本申请实施例提供的方法实施例与上述第二个装置实施例基于相同的发明构思。
本申请实施例还提供了一种图像处理设备,所述设备包括处理器和存储器,所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器,所述处理器用于上述所述的图像处理装置或加载并执行所述程序代码以实现如上述所述的图像处理方法。
本申请的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于上述所述的图像处理装置或所述程序代码由处理器加载并执行以实现如上述所述的图像处理方法。
可选地,在本申请实施例中,存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例所述存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取待检测胸部图像;
第一分割模块,用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
第一检测模块,用于对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果;
第一确定模块,用于基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
2.根据权利要求1所述的装置,其特征在于,所述第一分割模块包括:
第一分割单元,用于基于肺部分割模型对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
其中,所述肺部分割模型基于胸部样本图像及其对应的肺部分割标签训练得到。
3.根据权利要求1所述的装置,其特征在于,
所述待检测胸部图像为二维图像,则所述第一分割模块包括:
第二分割单元,用于基于预设分割线对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
所述待检测胸部图像为三维图像,则所述第一分割模块包括:
第三分割单元,用于基于预设分割平面对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域。
4.根据权利要求1所述的装置,其特征在于,所述第一检测模块包括:
第一模型检测单元,用于基于支气管扩张检测模型对每个肺部分割区域进行支气管检测处理,得到每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级;所述支气管扩张检测模型基于胸部样本图像及其对应的支气管扩张标签训练得到;
第一结果确定单元,用于将每个肺部分割区域各自对应的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
5.根据权利要求1所述的装置,其特征在于,所述第一检测模块包括:
第一特征获取单元,用于获取每个肺部分割区域的图像索引特征;
第一索引单元,用于将每个肺部分割区域的图像索引特征作为索引信息,在预设图像索引库中进行检索,得到每个肺部分割区域各自对应的目标胸部索引图像;每个肺部分割区域的图像索引特征与相应的目标胸部索引图像的图像索引特征之间的相似度大于预设阈值;
第二结果确定单元,用于将每个肺部分割区域各自对应的目标胸部索引图像的支气管扩张征象和支气管扩张等级,作为每个肺部分割区域各自对应的支气管扩张检测结果。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括第一构建模块,所述第一构建模块包括:
第一图像集获取单元,用于获取胸部索引图像集;
第二特征获取单元,用于获取每个胸部索引图像的图像索引特征;
第一标注单元,用于对每个胸部索引图像进行支气管扩张标注,得到每个胸部索引图像各自对应的支气管扩张征象和支气管扩张等级;
第一存储单元,用于对标注后的每个胸部索引图像及其对应的图像索引特征、支气管扩张征象和支气管扩张等级进行存储,得到所述预设图像索引库。
7.根据权利要求4所述的装置,其特征在于,所述第一确定模块包括:
第一排序单元,用于对每个肺部分割区域各自对应支气管扩张等级进行逆序排序,得到每个肺部分割区域各自对应的支气管扩张等级序列;
第一等级确定单元,用于将每个肺部分割区域各自对应的支气管扩张等级序列中排序最前的支气管扩张等级,作为每个肺部分割区域各自对应的目标支气管扩张等级;
第一目标结果确定单元,用于基于每个肺部分割区域各自对应的目标支气管扩张等级,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
8.一种图像处理装置,其特征在于,所述装置包括:
第二获取模块,用于获取待检测胸部图像;
第二分割模块,用于对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
第二检测模块,用于对所述待检测胸部图像进行支气管扩张检测处理,得到所述待检测胸部图像对应的支气管扩张检测结果;
第二确定模块,用于基于所述待检测胸部图像对应的支气管扩张检测结果和所述多个肺部分割区域,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
9.一种图像处理方法,其特征在于,所述方法包括:
获取待检测胸部图像;
对所述待检测胸部图像进行肺部分割处理,得到所述待检测胸部图像对应的多个肺部分割区域;
对每个肺部分割区域进行支气管扩张检测处理,得到每个肺部分割区域各自对应的支气管扩张检测结果;
基于每个肺部分割区域各自对应的支气管扩张检测结果,确定所述待检测胸部图像对应的目标支气管扩张检测结果。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于权利要求1-8任一所述的图像处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429164.1A CN111784631A (zh) | 2020-05-20 | 2020-05-20 | 一种图像处理装置、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429164.1A CN111784631A (zh) | 2020-05-20 | 2020-05-20 | 一种图像处理装置、方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784631A true CN111784631A (zh) | 2020-10-16 |
Family
ID=72754260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010429164.1A Pending CN111784631A (zh) | 2020-05-20 | 2020-05-20 | 一种图像处理装置、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784631A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011510A (zh) * | 2021-03-25 | 2021-06-22 | 推想医疗科技股份有限公司 | 一种支气管分级及模型训练方法、装置及电子设备 |
| CN114549425A (zh) * | 2022-01-27 | 2022-05-27 | 沈阳先进医疗设备技术孵化中心有限公司 | 医学影像的检测方法、装置、存储介质和计算机设备 |
| CN116128819A (zh) * | 2022-12-22 | 2023-05-16 | 推想医疗科技股份有限公司 | 图像处理方法、模型训练方法和装置及电子设备 |
| CN118427033A (zh) * | 2024-07-04 | 2024-08-02 | 荣耀终端有限公司 | 测试方法、测试设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070049839A1 (en) * | 2005-08-31 | 2007-03-01 | Siemens Corporate Research Inc. | System and method for automated airway evaluation for multi-slice computed tomography (msct) image data using airway lumen diameter, airway wall thickness and broncho-arterial ratio |
| CN102426652A (zh) * | 2011-10-10 | 2012-04-25 | 北京工业大学 | 基于图像分析的中医面色识别和检索方法 |
| CN103745227A (zh) * | 2013-12-31 | 2014-04-23 | 沈阳航空航天大学 | 一种基于多维信息的肺结节良恶性鉴别方法 |
| WO2017197360A1 (en) * | 2016-05-13 | 2017-11-16 | The Regents Of The University Of California | Airway mucus impaction |
| CN109117871A (zh) * | 2018-07-20 | 2019-01-01 | 上海市肺科医院 | 一种通过深度学习获取肺部病灶恶性概率的系统和方法 |
| CN109461495A (zh) * | 2018-11-01 | 2019-03-12 | 腾讯科技(深圳)有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| CN109636808A (zh) * | 2018-11-27 | 2019-04-16 | 杭州健培科技有限公司 | 一种基于全卷积神经网络的肺叶分割方法 |
| CN110956635A (zh) * | 2019-11-15 | 2020-04-03 | 上海联影智能医疗科技有限公司 | 一种肺段分割方法、装置、设备及存储介质 |
| CN111127467A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 图像量化方法、计算机设备和存储介质 |
-
2020
- 2020-05-20 CN CN202010429164.1A patent/CN111784631A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070049839A1 (en) * | 2005-08-31 | 2007-03-01 | Siemens Corporate Research Inc. | System and method for automated airway evaluation for multi-slice computed tomography (msct) image data using airway lumen diameter, airway wall thickness and broncho-arterial ratio |
| CN102426652A (zh) * | 2011-10-10 | 2012-04-25 | 北京工业大学 | 基于图像分析的中医面色识别和检索方法 |
| CN103745227A (zh) * | 2013-12-31 | 2014-04-23 | 沈阳航空航天大学 | 一种基于多维信息的肺结节良恶性鉴别方法 |
| WO2017197360A1 (en) * | 2016-05-13 | 2017-11-16 | The Regents Of The University Of California | Airway mucus impaction |
| CN109117871A (zh) * | 2018-07-20 | 2019-01-01 | 上海市肺科医院 | 一种通过深度学习获取肺部病灶恶性概率的系统和方法 |
| CN109461495A (zh) * | 2018-11-01 | 2019-03-12 | 腾讯科技(深圳)有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| CN109636808A (zh) * | 2018-11-27 | 2019-04-16 | 杭州健培科技有限公司 | 一种基于全卷积神经网络的肺叶分割方法 |
| CN110956635A (zh) * | 2019-11-15 | 2020-04-03 | 上海联影智能医疗科技有限公司 | 一种肺段分割方法、装置、设备及存储介质 |
| CN111127467A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 图像量化方法、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王明明,邓毅书: "Reiff 评分对慢性阻塞性肺疾病合并支气管扩张症的临床评估价值", 中外医疗, 21 January 2017 (2017-01-21), pages 2 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011510A (zh) * | 2021-03-25 | 2021-06-22 | 推想医疗科技股份有限公司 | 一种支气管分级及模型训练方法、装置及电子设备 |
| CN113011510B (zh) * | 2021-03-25 | 2021-12-24 | 推想医疗科技股份有限公司 | 一种支气管分级及模型训练方法、装置及电子设备 |
| CN114549425A (zh) * | 2022-01-27 | 2022-05-27 | 沈阳先进医疗设备技术孵化中心有限公司 | 医学影像的检测方法、装置、存储介质和计算机设备 |
| CN114549425B (zh) * | 2022-01-27 | 2025-05-09 | 东软医疗系统股份有限公司 | 医学影像的检测方法、装置、存储介质和计算机设备 |
| CN116128819A (zh) * | 2022-12-22 | 2023-05-16 | 推想医疗科技股份有限公司 | 图像处理方法、模型训练方法和装置及电子设备 |
| CN118427033A (zh) * | 2024-07-04 | 2024-08-02 | 荣耀终端有限公司 | 测试方法、测试设备及存储介质 |
| CN118427033B (zh) * | 2024-07-04 | 2024-10-29 | 荣耀终端有限公司 | 测试方法、测试设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hasan et al. | Deep learning based detection and segmentation of COVID-19 & pneumonia on chest X-ray image | |
| CN111784631A (zh) | 一种图像处理装置、方法及存储介质 | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| EP2948062B1 (en) | Method for identifying a specific part of a spine in an image | |
| CN108133476B (zh) | 一种肺结节自动检测方法及系统 | |
| US20090310836A1 (en) | Automatic Learning of Image Features to Predict Disease | |
| CN111862044A (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN114092450B (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| CN109363697B (zh) | 一种乳腺影像病灶识别的方法及装置 | |
| CN112365973A (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN101551854B (zh) | 不平衡医学影像处理系统及其处理方法 | |
| US12374443B2 (en) | Document creation support apparatus, document creation support method, and program | |
| Arsomngern et al. | Computer-aided diagnosis for lung lesion in companion animals from x-ray images using deep learning techniques | |
| JP2021536330A (ja) | 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定 | |
| CN118212411A (zh) | 一种基于深度学习的肺栓塞分割方法 | |
| Zhang et al. | An Algorithm for Automatic Rib Fracture Recognition Combined with nnU‐Net and DenseNet | |
| Phan et al. | A Hounsfield value-based approach for automatic recognition of brain haemorrhage | |
| EP4147197B1 (en) | Method and system for identifying abnormal images in a set of medical images | |
| CN114757873A (zh) | 肋骨骨折检测方法、装置、终端设备及可读存储介质 | |
| CN109800820B (zh) | 一种基于超声造影图像均匀程度的分类方法 | |
| CN115359060B (zh) | 一种肺炎ct影像的病灶实例分割方法及装置 | |
| Morani | Covid-19 detection using segmentation, region extraction and classification pipeline | |
| Xu et al. | Texture classification of normal tissues in computed tomography | |
| You et al. | Figure content analysis for improved biomedical article retrieval | |
| Oyelade et al. | Deep Learning Model for Improving the Characterization of Coronavirus on Chest X-ray Images Using CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 200030No. 701 Yuncheng Road, Xuhui District, Shanghai20th, 21st and 22nd floors (nominal floors are 23rd, 25th and 26th) Applicant after: Shanghai United Imaging Intelligent Technology Co., Ltd. Address before: Room 3674, 3rd floor, 2879 Longteng Avenue, Xuhui District, Shanghai, 2002 Applicant before: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd. Country or region before: China |