[go: up one dir, main page]

CN111815599A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111815599A
CN111815599A CN202010625051.9A CN202010625051A CN111815599A CN 111815599 A CN111815599 A CN 111815599A CN 202010625051 A CN202010625051 A CN 202010625051A CN 111815599 A CN111815599 A CN 111815599A
Authority
CN
China
Prior art keywords
central point
blood vessel
network
stenosis
central
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010625051.9A
Other languages
English (en)
Other versions
CN111815599B (zh
Inventor
李蕊
雷丙震
吴迪嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianying Intelligent Medical Technology Beijing Co ltd
Shanghai United Imaging Intelligent Technology Co., Ltd.
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202010625051.9A priority Critical patent/CN111815599B/zh
Publication of CN111815599A publication Critical patent/CN111815599A/zh
Application granted granted Critical
Publication of CN111815599B publication Critical patent/CN111815599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种图像处理方法、装置、设备及存储介质，该方法包括：从待检测图像中提取血管的血管中心线和血管属性信息，血管中心线上包括多个中心点；基于血管属性信息和血管在每个中心点的血管方向，确定每个中心点的检测区域；基于第一网络对每个中心点的检测区域进行特征提取，得到特征提取结果；基于第二网络对每个中心点的特征提取结果和相应的邻域点对应的特征提取结果进行融合处理，得到特征融合结果；基于第三网络对每个中心点的特征融合结果进行狭窄分析，得到狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到相应的斑块分类结果。本申请能够提高血管的斑块分类和/或狭窄分级的准确率。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本申请属于计算机技术领域，具体涉及一种图像处理方法、装置、设备及存储介质。
背景技术
血管(比如，冠状动脉血管、颈动脉血管、下肢血管等)时常会出现不同类型的斑块和不同程度的狭窄情况，而不同类型的斑块和不同程度的狭窄与血管的异常情况密切相关，因此，检测和表征血管的斑块和狭窄至关重要。
现有技术中血管的斑块和狭窄任务通常通过视觉评估进行，或半自动化地利用管腔和动脉壁分割，然后确定斑块或狭窄的存在。然而，前者存在很大的观察者间差异和较大的主观性；而后者基于血管的分割结果，分析血管的几何结构，通过对血管的狭窄与周边正常血管直径对比，进行狭窄检测和量化，然后结合中心线和特征提取方法对该狭窄处的斑块类型进行自动分类，但该方法不仅耗时，而且其准确性严重依赖于血管分割的结果。
现有技术中还存在通过深度学习技术进行血管斑块和狭窄分析，从而实现了对4种斑块类型(无斑块、非钙化斑块、钙化斑块、混合斑块)和3种狭窄类型(无狭窄0％，无显著狭窄<50％，显著狭窄>＝50％)的分类任务。然而临床上血管的狭窄程度是一个可量化的数值(0-100％)，国际心血管CT协会(SCCT)将其分为6个等级：无狭窄(0％)、轻微狭窄(1-24％)、轻度狭窄(25-49％)、中度狭窄(50-69％)、重度狭窄(70-99％)和闭塞(100％)，现有技术对狭窄程度的分级不够精细，且准确率不高，无法完全满足临床需求。此外，现有技术中深度学习网络的输入是固定图像尺寸，该固定图像尺寸在处理小血管时容易引入大量不必要的复杂周围背景的问题。
发明内容
为了提高血管的斑块分类和/或狭窄分级的准确率，本申请提出一种图像处理方法、装置、设备及存储介质。
一方面，本申请提出了一种图像处理方法，该方法包括：
从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；
基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；
基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；
基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；
基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
进一步地，所述基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域，包括：
基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向；
将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向；
基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。
进一步地，所述基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果，包括：
基于所述第一网络，获取每个中心点各自对应的检测区域，沿所述血管在每个中心点的垂直方向的截面，得到每个中心点各自对应的目标检测区域；
基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征；
将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。
进一步地，所述基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果，包括：
基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征；
将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。
进一步地，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果时，所述第三网络包括回归网络，则所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果包括：
基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果；
将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。
进一步地，在所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果之后，所述方法还包括：
基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
进一步地，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果和所述基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果时，所述方法还包括：
将所述血管中心线上，斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，得到多个异常血管段，每个异常血管段上包括多个中心点；
计算每个异常血管段中相邻两个中心点之间的距离的和，得到每个异常血管段对应的狭窄长度。
另一方面，本申请提出了一种图像处理装置，所述装置包括：
血管提取模块，用于从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；
确定模块，用于基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；
特征提取模块，用于基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；
融合模块，用于基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；
分析模块，用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
进一步地，所述确定模块包括：
血管方向确定单元，用于基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向。
垂直方向确定单元，用于将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向。
检测区域确定单元，用于基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。
进一步地，所述特征提取模块包括：
目标检测区域确定单元，用于基于所述第一网络，获取每个中心点各自对应的检测区域，沿所述血管在每个中心点的垂直方向的截面，得到每个中心点各自对应的目标检测区域。
局部位置特征获取单元，用于基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征。
特征提取结果确定单元，用于将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。
进一步地，所述融合模块包括：
关联特征获取单元，用于基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征。
特征融合结果确定单元，用于将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。
进一步地，在所述分析模块用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果时，所述第三网络包括回归网络，则所述分析模块包括：
狭窄回归单元，用于基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果。
狭窄分析结果确定单元，用于将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。
进一步地，所述装置还可以包括：
转换模块，用于基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
进一步地，在所述分析模块用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果时，所述装置还包括：
合并单元，用于将所述血管中心线上，斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，得到多个异常血管段，每个异常血管段上包括多个中心点。
狭窄长度获取单元，用于计算每个异常血管段中相邻两个中心点之间的距离的和，得到每个异常血管段对应的狭窄长度。
另一方面，本申请提出了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的图像处理方法。
另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的图像处理方法。
本申请实施例提出的图像处理方法、装置、设备及存储介质，首先从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，接着根据血管属性信息和所述血管在每个中心点的血管方向，从所述待检测图像中确定每个中心点各自对应的检测区域，然后通过特征提取网络(第一网络和第二网络)进行特征提取，最后通过第三网络和/或第四网络进行狭窄分析和/或斑块分类。一方面，由于每个中心点各自对应的检测区域是根据血管属性信息和血管在每个中心点的血管方向确定的，每个中心点输入到第一网络中的检测区域并不是固定的，自适应地选择所截取的图像尺寸，能够在一定程度上减少固定图像尺寸在处理小血管时引入大量不必要的复杂周围背景的问题，从而提高斑块分类和/或狭窄检测的准确率；另一方面，首先通过第一网络对每个中心点各自对应的检测区域进行局部位置特征提取，接着再通过第二网络，在局部位置特征的基础上，增加了沿血管方向前后双向远距离的特征信息，使得每个中心点沿中心线前后可变范围内的图像特征均被考虑在内，从而进一步提高了斑块分类和/或狭窄检测的准确率。另一方面，本申请实施例不仅可以适用于同时进行斑块分类和狭窄分析的多任务应用场景中，还可以适用于狭窄分级或斑块分类等单一任务应用场景中，适用范围更广。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像处理方法的流程示意图。
图2是申请实施例提供的对CTA图像进行冠脉狭窄和/或斑块检测的流程示意图。
图3是本申请实施例提供的基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域的一种流程示意图。
图4是本申请实施例提供的血管方向与垂直方向的一种示意图。
图5是本申请实施例提供的循环卷积神经网络结构(RCNN)的一种结构示意图。
图6是本申请实施例提供的循环卷积神经网络结构(RCNN)的另一种结构示意图。
图7是本申请实施例提供的循环卷积神经网络结构(RCNN)的另一种结构示意图。
图8是本申请实施例提供的基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果的一种流程示意图。
图9是本申请实施例提供的基于第二网络对每个中心点各自对应的特征提取结果和相应的邻域点对应的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果的一种流程示意图。
图10是本申请实施例提供的另一种图像处理方法的流程示意图。
图11是本申请实施例提供的另一种图像处理方法的流程示意图。
图12是本申请实施例提供的另一种图像处理方法的流程示意图。
图13是本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述方法可以包括：
S101.从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点。
本申请实施例中的待检测图像包括但不限于：电子计算机断层扫描(ComputedTomography，CT)图像、CT血管造影(CT Angiography，CTA)图像、磁共振成像(MagneticResonance Imaging，MRI)图像、正电子发射计算机断层显像-核磁共振成像(PET-MRI)图像等。
本申请实施例中的血管为具有狭窄分析和斑块分类需求的血管，其包括但不限于：冠状动脉血管、颈动脉血管、下肢血管等。
本申请实施例中的血管中心线是位于血管中心的中心线，由于所述待检测图像中可以包括至少一个血管，则对于每一血管，均会提取出相应的中心线，即S101中可以提取待检测图像中每一血管的血管中心线和每一血管的血管属性信息，每一血管的血管中心线上均会包括多个中心点。
在一个可行的实施例中，血管中心线可以是人工标注的，也可以是由相应的算法自动或半自动提取得到的，本申请并不限定血管中心线的提取方式。
本申请实施例中的血管的属性信息可以为血管自身本质特性或特征，其包括但不限于：血管直径信息、血管长度信息、血管结构信息(比如，血管分叉信息等)。
以下，以血管为冠状动脉血管、待检测图像为CTA图像为例，对S101进行说明：
图2所示为采用本申请实施例中的方法对CTA图像进行冠脉狭窄和/或斑块检测的流程示意图。
在血管为冠状动脉血管时，待检测图像为冠状动脉CT造影图像(简称CCTA)。
获取原始的CCTA图像(如图2a所示)，首先提取各冠脉动脉分支的中心线(如图2b所示)，中心线是由一系列三维空间点构成的有序序列，序列的第一个点和最后一个点分别表示该段血管中心线的起点和终点(在医学和解剖学里，定义了冠状动脉从哪个地方出来以及终止于哪个地方，因此，通过医学和解剖学，可以找到每个血管中心线的起点和终点)。其中，冠脉分支指的是根据冠状动脉分段标准(SCCT标准)对冠状动脉进行分段得到的18段分支(如左主干(LM)、前降支(LAD)、回旋支(LCX)、右冠(RCA)、对角支(D1)、钝缘支(OM1)等)。
S103.基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域。
本申请实施例中，如图3所示，S103可以包括：
S1031.基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向。
S1033.将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向。
S1035.基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。
本申请实施例中，如S1031所述，在提取出每一血管的血管中心线之后，对于每一血管的血管中心线上的每个中心点，可以将该中心点的前后预设数量个中心点作为该中心点对应的邻域点，并计算该中心点与每个邻域点之间的斜率，最后将该中心点与每个邻域点之间的斜率的平均值，作为血管在该中心点的血管方向。假设某一血管的中心线上的某个中心点为A，在中心点A之前的邻域点为B、C、D，在中心点A之后的邻域点为E、F、G，则可以分别计算A B、A C、A D、A E、A F、A G之间的斜率，并将A B、A C、A D、A E、A F、A G之间的斜率的平均值作为该血管在中心点A的血管方向。
需要说明的是，上述邻域点的确定方式适用于中心线上非端点的中心点(即除了端点的中心点)，而对于中心线上的端点，由于其不存在前预设数量个中心点或后预设数量个中心点，其邻域点的确定方式可以如下：如果中心点A为该中心线上的起点，则中心点A的邻域点为中心点A之后的预设数量个中心点，如果中心点A为该中心线上的终点，则中心点A的邻域点为点A之前的预设数量个中心点。
需要说明的是，S103中的“每个中心点”可以是S101中每一血管的每个中心线上的所有中心点。而为了避免对每个中心点均进行处理，进而提高处理速率，在S101之后，还可以根据实际需求进行适当采样，得到预设数量个采样点，则S103中的“每个中心点”可以为采样后的预设数量个采样点。
需要说明的是，本申请实施例中的前后预设数量个中心点可以包括：
前预设数量个中心点和后预设数量个中心点的个数可以相等，比如，预设数量为n，n＝3、5、7、……，具体取值并不限于此，可根据实验性能进行调整。
或者，前预设数量个点和后预设数量个点的个数不相等。
或者，也可以进行适当的采样，比如在中心线上隔2mm选择一个点，前后各选择预设数量个点。前预设数量个点和后预设数量个点的个数可以相等，也可以不相等。
在实际应用中，血管是一个三维的数据，如S1033所述，在得到血管在每个中心点的血管方向之后，可以将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向。由于血管是三维图像，则所述血管在每个中心点的垂直方向应该有两个，且这两个垂直方向相互垂直并位于一个二维平面内。血管方向以及垂直方向的一种示意图可以如图4所示。需要说明的是图4仅仅是一种示例。
如S1035所示，可以基于所述血管在每个中心点的血管方向、相应的垂直方向、血管直径信息和/或血管结构信息，从所述待检测图像中确定每个中心点各自对应的检测区域。
本申请实施例中，每个中心点各自对应的检测区域将会作为后续第一网络的输入，每个中心点各自对应的检测区域及相应的邻域点对应的检测区域将作为后续第二网络的处理对象。具体地，相应的邻域点对应的检测区域的获取可以如下：沿每一血管的血管中心线，以每个中心点为中心，前后预设数量个点对应的体素块构成一个序列，该序列即为相应的邻域点对应的检测区域。其中，前预设数量个点和后预设数量个点的个数可以相等，比如，预设数量为n，n＝3、5、7，具体取值并不限于此，可根据实验性能进行调整。或者，前预设数量个点和后预设数量个点的个数可以不相等。或者，也可以进行适当的采样，比如在中心线上隔2mm选择一个点，前后各选择预设数量个点。前预设数量个点和后预设数量个点的个数可以相等，也可以不相等。
本申请实施例中的检测区域可以为一个大小为w×h×d(其中，w表示宽度、h表示高度、d表示深度)为长方体素块，每个中心点对应的检测区域可以为一些有序体素块序列。其中，w的方向与血管方向相对应，h和d的方向与两个垂直方向相对应。
本申请实施例中，沿着血管在每个中心点的方向，确定每个中心点各自对应的检测区域，以作为后续网络的输入，从而做到了方向的自适应，简化网络学习任务的复杂性。
以下，以血管为冠状动脉血管、待检测图像为CCTA图像、检测区域为长方体体素块为例，对S103进行说明：
对每一冠脉血管中心线上的每个中心点，计算血管在每个中心点处的走向，并沿血管方向，以及与血管方向垂直的两个垂直方向，从原始CCTA图像截取一个大小w×h×d(为长方体素块，得到一些有序体素块序列，该体素块的结构示意图可以如图2c中的矩形所示。即每个中心点均会对应一个体素块。
本申请实施例中提取的检测区域(即体素块)的时候，并没有对中心线进行拉直处理，如果对中心线进行拉直，则每个体素块的长度方向均应该与中心线平行，但图2c中的体素块的长度方向并非均与中心线平行，即本申请中的体素块并不是以中心线对齐的，而是以中心点对齐的。相应地，本申请实施例并没有对中心线进行拉直处理的原因在于：对中心线进行拉直，需要对中心线上的每个中心点进行处理，若每个中心线上有200个中心点，则需要对这200个中心线均进行处理，处理速率较低，而如果不拉直的话，则本申请可以适用于仅处理采样点的场景中，可以有效提高体素块提取的速率，进而提高后续特征提取、狭窄分析、斑块分类等的速率。
需要说明的是，本发明实施例同样适用于对中心线进行拉直的场景。
在一个可行的实施例中，截取的长方体素块的大小w、h、d可根据不同血管直径大小进行自适应调整(假定d表示沿血管方向的长度，取值不小于w和h)，一般情况下，血管直径在3-7mm，不同的分支，直径不完全相同。假设CCTA图像分辨率(相邻体素之间的物理距离)为0.3×0.3×0.3mm，当血管直径为6mm左右时(如RCA、LAD近段)，可设置w＝h＝24体素(voxel)，当血管直径为3mm左右时(如D1、OM1中远段)，可设置w＝h＝16voxel。此外，在体素块截取过程中，考虑到中心线提取方法的准确性，可以将体素块的中心点沿垂直血管的两个垂直方向随机平移0.3-0.8mm，以增加模型对中心线的鲁棒性。
需要说明的是，长方体体素块中的“体素”是体积元素的简称，是数学数字于三维空间分割上的最小单位。其在概念上类似于二维空间的最小单位-像素。
在另一个可行的实施例中，截取的长方体素块还可以与冠状动脉结构信息(比如分叉信息)相关。如图2b所示，如果此时需要确定中心线1上的中心点对应的体素块，中心线1与中心线2之间存在分叉现象，如果在血管分叉的地方，中心点1的w、h过大的话，就会导致中心线1上的中心点对应的体素块的识别不准确，因为分叉处中心线2的存在会引起误差。基于此，可以将中心线1的w、h在分叉处取值小一点(即垂直于该中心线1的方向取值小一点)，使沿着中心线1的方向取值大一点，这样可以保证选取的体素块能够紧紧包住中心线1对应的血管。
可见，本申请实施例可以针对血管的不同直径和/或结构(比如分叉结构)，自适应地选择每个中心点各自对应的检测区域的尺寸，从而使得后续神经网络接收到的是不同尺寸的输入，进而在一定程度上减少了固定图像尺寸在处理小血管时引入大量不必要的复杂周围背景的问题。
在一个可行的实施例中，如果需要对血管同时进行狭窄分级和斑块分类，则所述方法还可以包括训练第一网络、第二网络、第三网络和第四网络的步骤。
本申请实施例中的第一网络包括但不限于卷积神经网络(Convolutional NeuralNetworks，CNN)，比如，常用CNN特征提取网络VGG-16、VGG-19、Resnet等。第二网络包括但不限于循环神经网络(Recurrent Neural Network，RNN)网络，比如采用了BiLSTM结构的RNN。其中，BiLSTM是由前向的长短期记忆网络(Long Short-Term Memory，LSTM)与后向的LSTM结合形成的。第三网络包括但不限于回归网络、分类网络。第四网络可以为分类网络。即在对血管同时进行狭窄分级和斑块分类时，本申请实施例基于CNN和LSTM设计了一种新的多任务循环卷积神经网络结构(RCNN)，如图5所示，该RCNN包括特征提取网络(即第一网络(CNN)和第二网络(RNN))、狭窄分析网络(即第三网络)和斑块分类网络(即第四网络)。
在一个可行的实施例中，可以在一个网络中同时进行狭窄分析和斑块分类任务，即可以将CNN+采用了BiLSTM结构的RNN+第三网络+第四网络作为一个整体进行模型训练，具体地，训练第一网络、第二网络、第三网络和第四网络的步骤可以包括：
获取样本图像。
从所述样本图像中提取每一样本血管的样本血管中心线和该样本血管的样本血管属性信息，每一样本血管中心线上均包括多个样本中心点。
对每一样本血管的样本血管中心线上的每个样本中心点均标注狭窄标签和斑块标签，该狭窄标签可以为狭窄系数，该斑块标签可以为斑块类型。
基于每一样本血管的样本血管属性信息和该样本血管在相应的每个样本中心点的血管方向，从所述样本图像中确定每一样本血管上的每个样本中心点各自对应的样本检测区域。
基于每一样本血管上的每个样本中心点各自对应的样本检测区域，对预设神经网络模型进行狭窄分析和斑块分类的训练学习，在训练学习的过程中调整所述预设神经网络模型的模型参数至所述预设神经网络模型输出的狭窄分析结果和斑块分类结果，与每一样本血管上每个样本中心点标注的狭窄标签和斑块标签相匹配；将当前模型参数所对应的预设神经网络模型作为RCNN。
需要说明的是，从样本图像中提取每一样本血管的样本血管中心线和该样本血管的样本血管属性信息的过程可以参考S101，在此不再赘述。确定每一血管上的每个样本中心点各自对应的样本检测区域的过程可以参考S103，在此不再赘述。
可见，在对血管同时进行狭窄分析和斑块分类，可以采用联合多任务学习，即可以在同一网络中同时进行狭窄分析训练和斑块分类训练。可以同时进行狭窄分析任务和斑块分类任务的原因在于：这两个任务之间具有高相关性，即斑块是造成血管狭窄的主要原因。通过联合多任务学习，实现了在有限的训练数据下，使网络尽可能地提取有效的图像特征信息。
在联合训练过程中，所使用的损失函数由分类和回归任务两部分的损失函数组成：
Figure BDA0002565870960000141
其中，
Figure BDA0002565870960000142
和
Figure BDA0002565870960000143
分别表示斑块类别的独热编码(one-hot编码)和相应的概率，ys和
Figure BDA0002565870960000144
分别表示狭窄系数的真实值和预测值，||.||2表示2范数，α∈(0,1)为两任务损失函数的权值系数，一般设为0.5，也可通过实验选择最佳值。
在S103中，由于血管不同引起的w，h在绝大部分场景中是不同的，则每个中心点各自对应的检测区域的尺寸在绝大部分场景中也是不同的，则训练好的RCNN中的CNN和RNN之间设置有全局平均池化层(GlobalAveragePool)，该GlobalAveragePool使得CNN能够接收不同尺寸的输入，从而在一定程度上减少了固定图像尺寸在处理小血管时引入大量不必要的复杂周围背景的问题。
需要说明的是，除了将上述的四个网络作为一个整体进行训练之外，在实际应用中，还可以对第一网络、第二网络、第三网络、第四网络分别进行训练。
在另一个可行的实施例中，如果仅需要对血管进行狭窄分析，则所述方法还可以包括：训练第一网络、第二网络和第三网络的步骤，具体地，训练第一网络、第二网络和第三网络可以包括：
获取样本图像。
从所述样本图像中提取每一样本血管的样本血管中心线和该样本血管的样本血管属性信息，每一样本血管中心线上均包括多个样本中心点。
对每一样本血管的样本血管中心线上的每个样本中心点均标注狭窄标签。
基于每一样本血管的样本血管属性信息和该样本血管在相应的每个样本中心点的血管方向，从所述样本图像中确定每一样本血管上的每个样本中心点各自对应的样本检测区域。
基于每一样本血管上的每个样本中心点各自对应的样本检测区域，对预设神经网络模型进行狭窄分析的训练学习，在训练学习的过程中调整所述预设神经网络模型的模型参数至所述神经网络模型输出的狭窄分析结果，与每一样本血管上每个样本中心点标注的狭窄标签相匹配；将当前模型参数所对应的预设神经网络模型作为RCNN。
该训练过程与上述狭窄任务和斑块任务联合训练过程的不同之处在于，该训练过程中仅对狭窄进行标注，且训练过程中的损失函数使用单一的回归损失函数(当第三网络为回归网络时)。其他过程均与上述狭窄任务和斑块任务联合训练的过程相似，具体请参见任务联合训练过程的描述，在此不再赘述，该实施例中训练出的RCNN模型的结构可以如图6所示。
在另一个可行的实施例中，如果仅需要对血管进行斑块分类，则所述方法还可以包括：训练第一网络、第二网络和第四网络的步骤。具体地，训练第一网络、第二网络和第四网络可以包括：
获取样本图像。
从所述样本图像中提取每一样本血管的样本血管中心线和该样本血管的样本血管属性信息，每一样本血管中心线上均包括多个样本中心点。
对每一样本血管的样本血管中心线上的每个样本中心点均标注斑块标签。
基于每一样本血管的样本血管属性信息和该样本血管在相应的每个样本中心点的血管方向，从所述样本图像中确定每一样本血管上的每个样本中心点各自对应的样本检测区域。
基于每一样本血管上的每个样本中心点各自对应的样本检测区域，对预设神经网络模型进行斑块分类的训练学习，在训练学习的过程中调整所述预设神经网络模型的模型参数至所述神经网络模型输出的斑块分类结果，与每一样本血管上每个样本中心点标注的斑块标签相匹配；将当前模型参数所对应的预设神经网络模型作为RCNN。
该训练过程与上述狭窄任务和斑块任务联合训练过程的不同之处在于，该训练过程中仅对斑块进行标注，且训练过程中的损失函数使用单一的分类损失函数。其他过程均与上述狭窄任务和斑块任务联合训练的过程相似，具体请参见任务联合训练过程的描述，在此不再赘述，该实施例中训练出的RCNN模型的结构可以如图7所示。
S105.基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果。
本申请实施例中，如图8所示，S105可以包括：
S1051.基于所述第一网络确定每个中心点各自对应的检测区域沿所述血管的截面，得到每个中心点各自对应的目标检测区域。
S1053.基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征。
S1055.将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。
本申请实施例中，在同时进行狭窄分析和斑块处理时，可以将每个中心点各自对应的检测区域输入到图5中。在仅进行狭窄分析时，可以将每个中心点各自对应的检测区域输入到图6中。在仅进行斑块分类时，可以将每个中心点各自对应的检测区域输入到图7中。
以下，以血管为冠状动脉血管、待检测图像为CCTA图像，且同时进行狭窄分析和斑块分类为例，对S105进行说明：
继续如图2和图5所示，将每个中心点各自对应的检测区域输入到RCNN中。如S1051所述，图5中的第一网络首先获取每个中心点各自对应的检测区域沿着所述血管的截面，将该截面作为每个区域各自对应的目标检测区域，接着如S1053所述，第一网络在每个中心点各自对应的目标检测区域内进行局部位置特征提取，得到每个中心点各自对应的局部位置特征。每个中心点各自对应的局部位置特征可以理解为，每个中心点各自对应的目标检测区域的轮廓信息(即每个中心点各自对应的检测区域沿着所述血管的截面的轮廓信息)，更进一步地，进行局部位置特征提取的过程可以如下：第一网络通过一个个滑动框在该目标检测区域内进行滑动，获取该目标检测区域对应的轮廓信息中每个像素点与其相邻的像素点之间的差异和共性，将该目标检测区域对应的轮廓信息中每个像素点与其前后左右邻域的像素点之间的差异和共性，作为每个中心点各自对应的局部位置特征。最后如S1055所述，将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。
通过第一网络提取的局部位置特征，能够作为后续确定每个中心点与相应的邻域点之间的关联特征的基础，从而作为后续准确识别出狭窄等级和/或斑块类型的参考依据。
S107.基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点。
本申请实施例中，如图9所示，S107可以包括：
S1071.基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征。
S1073.将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。
本申请实施例中，在同时进行狭窄分析和斑块处理时，通过图5中的RNN(即第二网络)对每个中心点各自对应的特征提取结果进行处理。在仅进行狭窄分析时，通过图6中的RNN对每个中心点各自对应的特征提取结果进行处理。在仅进行斑块分类时，通过图7中的RNN对每个中心点各自对应的特征提取结果进行处理。该RNN可采用BiLSTM结构，以增加沿血管方向上前后位置的较长距离特征。
由于S103中已经获取到了每个中心点各自对应的检测区域及相应的邻域点对应的检测区域(邻域点也是某个中心点，因此，邻域点对应的局部位置特征在S105也已经被获取到)，则如S1071所述，第二网络会对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，即提取每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征之间的共性和差异，得到每个中心点与相应的邻域点之间的关联特征。最后如S1073所述，将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。
本申请实施例中，通过CNN提取局部位置特征，便于准确识别出狭窄等级和/或斑块类型，而基于BiLSTM的RNN网络结构，在局部特征的基础上，增加了沿血管方向前后双向远距离的特征信息，由于该网络结果不仅可以提取每个中心点各自对应的目标检测区域的轮廓信息中，每个像素点与其前后左右邻域的像素点之间的差异和共性，还可以提取每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征之间的共性和差异，特征提取更为细致和全面，有助于提高狭窄系数量化的准确性。
S109.基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
在一个可行的实施例中，如图10所示，S109可以包括：
S1091.基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果和基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
在需要同时进行狭窄分析和斑块分类的多任务时，可以使用图5所述的第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果(比如狭窄系数)。并同时使用图5所述的第四网络，对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果(比如，无斑块、非钙化斑块、钙化斑块、混合斑块等斑块类型)。
在一个可行的实施例中，所述第三网络可以为回归网络，则所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果，可以包括：
基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果。
将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。
由于利用分类任务实现狭窄程度检测，容易引起较大的跨级别的狭窄类别误差，如假设中心线上某点处的实际狭窄程度为重度狭窄(70-99％)，分类模型将其分为闭塞(100％)、中度(50-69％)、轻度(25-49％)、轻微(1-24％)、无狭窄(0％)的可能性相差不大，而本申请直接利用回归任务估计狭窄系数，在模型得到充分训练并收敛的情况下，回归模型得到的狭窄系数位于50-100％的可能性相对较大，经回归模型得到的狭窄程度很有可能为重度、中度或闭塞，而出现轻度、轻微、无狭窄等的可能性相对较小。因此，与分类任务相比，通过回归网络进行狭窄分级，在一定程度上减小了对狭窄分级的跨级误差，从而提高了狭窄分析的准确率，满足了不同地区、不同医院及不同用户的狭窄分级精细性需求。
当然，在一些对狭窄分级要求不高的场景中，业务可以使用分类网络进行狭窄分析。
在该实施例中，继续如图10所示，在所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果之后，所述方法还可以包括：
S1011.基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
在该实施例中，在得到每个中心点各自对应的狭窄分析结果之后，按照SCCT狭窄等级划分标准，将狭窄分析结果(比如狭窄系数)转换为狭窄等级。可选地，也可根据其他的狭窄分级标准，对狭窄系数进行等级划分，得到每个中心点各自对应的狭窄等级，该狭窄等级可以包括：分为闭塞(100％)、重度狭窄(70-99％)、中度狭窄(50-69％)、轻度狭窄(25-49％)、轻微狭窄(1-24％)和无狭窄(0％)。
由于得到的狭窄系数，可以很容易地按照不同的分级标准，对狭窄系数进行分级，更能满足不同地区、医院和医生用户地需求。
在该实施例中，继续如图10所示，所述方法还可以包括：
S1013.将所述血管中心线上，斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，得到多个异常血管段，每个异常血管段上包括多个中心点。
S1015.计算每个异常血管段中相邻两个中心点之间的距离的和，得到每个异常血管段对应的狭窄长度。
在该实施例中，对于每一血管的血管中心线上，会存在斑块分类结果和狭窄等级均相等的相邻预设数量个中心点，为了提高斑块分类结果和狭窄等级均相等的地方的血管狭窄长度确定的速率和准确率，如S1013所述，可以将斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，被合并的预设数量个中心点可以看作为一处异常血管段，这样就会得到多个异常血管段，每个异常血管段中包括多个中心点。需要说明的是，在进行合并的时候，如果某个中心点的斑块分类结果和狭窄等级，与前后中心点的斑块分类结果和狭窄等级均不相等，或某个中心点的斑块分类结果和狭窄等级的其中一个，与前后中心点的斑块分类结果和狭窄等级中的其中一个相等，则该中心点为假阳点，为了提高后续狭窄长度确定的准确率，可以将这些假阳点过滤掉。在得到多个异常血管段之后，可以按照S1015计算每个异常血管段的狭窄长度，具体为：对于每一个异常血管段，由于异常血管段是由一系列连续的中心线上的中心点组成，考虑到中心线在空间是不规则的曲线，因此，可以将每个异常血管段内相邻两个目标中心点之间的物理距离(比如欧氏距离)之和，作为每个异常血管段对应的狭窄长度。
该实施例中，为了进一步提高血管的狭窄分析和斑块分类的准确率，在得到每个异常血管对应的狭窄长度之后，还可以进行进一步的合并，具体为：
1)预先设置预设参数，过滤狭窄长度小于该预设参数的异常血管段，从而从多个异常血管段中获取到多个候选异常血管段(该候选异常血管段的狭窄长度均大于或等于该预设参数)。
2)如果相邻两个候选异常血管段的距离小于预设阈值，则可以将该相邻两个候选异常血管段进行进一步合并，得到合并后的候选异常血管段，当要合并的斑块类型不同时，则合并后的斑块类型为混合类型，当要合并的斑块类型相同时，则合并后的斑块类型与合并前的相同，当要合并的狭窄等级不同时，则合并后的狭窄等级为严重程度最重的那个等级，当要合并的狭窄等级相同时，则合并后的狭窄等级与合并前的相同。假设该相邻两个候选异常血管段分别为候选异常血管段1和候选异常血管段2，候选异常血管段1的斑块类型为钙化斑块，狭窄等级为轻度狭窄，候选异常血管段2的斑块类型为非钙化斑块，狭窄等级为中度狭窄，则合并后的候选异常血管段的斑块类型为混合类型，合并后的狭窄等级为中度狭窄。
在一个可行的实施例中，如图11所示，S109可以包括：
S1093.基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果。
在仅需要进行狭窄分析时，可以使用图6所述的第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果(比如狭窄系数)。
具体的狭窄分析过程请参见S1091的描述，在此不再赘述。
在该实施例中，在S1093之后，所述方法还可以包括：
基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
该实施例中，狭窄等级确定的过程请参见S1011的描述，在此不再赘述。
在一个可行的实施例中，如图12所示，S109可以包括：
S1095.基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
在仅需要进行斑块分类时，可以使用图7所述的第四网络对每个中心点各自对应的特征融合结果进行斑块分析，得到每个中心点各自对应的斑块分类结果(比如，无斑块、非钙化斑块、钙化斑块、混合斑块等斑块类型)。
具体的狭窄分析过程请参见S1091的描述，在此不再赘述。
综上所述，本申请实施例的上述过程并不涉及对血管进行分割的过程，即本申请实施例在不依赖对血管进行分割的情况下，利用血管本身的形状特性，沿血管中心线，对血管的每个位置都能自动评估狭窄等级和斑块类型，减少人工交互以及由于血管分割不准而引起的狭窄量化误差。同时采用循环卷积神经网络，实现了端到端的冠脉狭窄分级和斑块类型识别的联合多任务学习或单一任务学习。
如图13所示，本申请实施例还提供了一种图像处理装置，所述装置可以包括：
血管提取模块201，可以用于从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点。
确定模块203，可以用于基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域。
具体地，所述确定模块203可以包括：
血管方向确定单元，可以用于基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向。
垂直方向确定单元，可以用于基于所述血管在每个中心点的截面，确定与相应的血管方向相互垂直的垂直方向。
检测区域确定单元，可以用于基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。
特征提取模块205，可以用于基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果。
具体地，所述特征提取模块205可以包括：
目标检测区域确定单元，可以用于基于所述第一网络，获取每个中心点各自对应的检测区域，沿所述血管在每个中心点的垂直方向的截面，得到每个中心点各自对应的目标检测区域。
局部位置特征获取单元，可以用于基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征。
特征提取结果确定单元，可以用于将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。
融合模块207，可以用于基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点。
具体地，所述融合模块207可以包括：
关联特征获取单元，可以用于基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征。
特征融合结果确定单元，可以用于将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。
分析模块209，可以用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
在一个可行的实施例中，分析模块，可以用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果和基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
在该实施例中，分析模块可以包括：
狭窄回归单元，可以用于基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果。
狭窄分析结果确定单元，可以用于将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。
在该实施例中，所述装置还可以包括：
转换模块，可以用于基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
在该实施例中，所述装置还可以包括：
合并单元，可以将所述血管中心线上，斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，得到多个异常血管段，每个异常血管段上包括多个中心点。
狭窄长度获取单元，可以用于计算每个异常血管段中相邻两个中心点之间的距离的和，得到每个异常血管段对应的狭窄长度。
在另一个可行的实施例中，分析模块，可以用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果。
在该实施例中，所述第三网络包括回归网络，分析模块可以包括：
狭窄回归单元，可以用于基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果。
狭窄分析结果确定单元，可以用于将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。
在该实施例中，所述装置还可以包括：
转换模块，可以用于基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
在另一个可行的实施例中，分析模块，可以用于基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
需要说明的是，本申请实施例中的装置实施例与上述方法实施例基于相同的发明构思。
本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的图像处理方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可设置于终端之中以保存用于实现方法实施例中一种图像处理方法相关的至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的图像处理方法。
可选地，在本申请实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例提供的图像处理方法、装置、设备及存储介质，具有如下有益效果：
1)申请实施例并不涉及对血管进行分割的过程，即本申请实施例可以在不依赖对血管进行分割的情况下，利用血管本身的形状特性，沿血管中心线，对血管的每个位置都能自动评估狭窄等级和斑块类型，减少人工交互以及由于血管分割不准而引起的狭窄量化误差。同时采用循环卷积神经网络，实现了端到端的冠脉狭窄分级和斑块类型识别的联合多任务学习或单一任务学习。
2)本申请实施例沿着血管在每个中心点的方向，确定每个中心点各自对应的检测区域，以作为后续网络的输入，从而做到了方向的自适应，简化网络学习任务的复杂性。
3)本申请实施例针对不同直径的血管和/或结构，自适应地选择每个中心点各自对应的检测区域的尺寸，并在RCNN中的CNN和RNN之间设置GlobalAveragePool使得CNN能够接收不同尺寸的输入，从而在一定程度上减少了固定图像尺寸在处理小血管时引入大量不必要的复杂周围背景的问题。
4)本申请实施例采用CNN和RNN结合的深度学习网络模型，CNN主要提取局部位置特征，能准确识别出斑块的类型；而基于BiLSTM的RNN网络结构，在局部特征的基础上，增加了沿血管方向前后双向远距离的特征信息，有助于提高狭窄系数量化的准确性。
5)由于利用分类任务实现狭窄程度检测的，容易引起较大的跨级别的狭窄类别误差，如假设中心线上某点处的实际狭窄程度为重度狭窄(70-99％)，分类模型将其分为闭塞(100％)、中度(50-69％)、轻度(25-49％)、轻微(1-24％)、无狭窄(0％)的可能性相差不大。而本申请实施例可以直接利用回归任务估计狭窄系数，在模型得到充分训练并收敛的情况下，回归模型得到的狭窄系数位于50-100％的可能性相对较大，经回归模型得到的狭窄程度很有可能为重度、中度或闭塞，而出现轻度、轻微、无狭窄等的可能性相对较小。因此，与分类任务相比，通过回归网络进行狭窄分级，在一定程度上减小了对狭窄分级的跨级误差，从而提高了狭窄分析的准确率，满足了不同地区、不同医院及不同用户的狭窄分级精细性需求。
6)本申请实施例可以采用联合多任务学习，即在一个网络结构中同时进行斑块类型的分类任务以及狭窄程度的回归任务，这是基于两个任务的高相关性，即斑块是造成血管瞎狭窄的主要原因，实现了在有限的训练数据下，使网络尽可能地提取到有效地图像特征信息。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；
基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；
基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；
基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；
基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域，包括：
基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向；
将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向；
基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。
3.根据权利要求1所述的方法，其特征在于，所述基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果，包括：
基于所述第一网络，获取每个中心点各自对应的检测区域，沿所述血管在每个中心点的垂直方向的截面，得到每个中心点各自对应的目标检测区域；
基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征；
将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。
4.根据权利要求3所述的方法，其特征在于，所述基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果，包括：
基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征；
将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。
5.根据权利要求1所述的方法，其特征在于，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果时，所述第三网络包括回归网络，则所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果包括：
基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果；
将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。
6.根据权利要求5所述的方法，其特征在于，在所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果之后，所述方法还包括：
基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。
7.根据权利要求6所述的方法，其特征在于，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果和所述基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果时，所述方法还包括：
将所述血管中心线上，斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，得到多个异常血管段，每个异常血管段上包括多个中心点；
计算每个异常血管段中相邻两个中心点之间的距离的和，得到每个异常血管段对应的狭窄长度。
8.一种图像处理装置，其特征在于，所述装置包括：
血管提取模块，用于从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；
确定模块，用于基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；
特征提取模块，用于基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；
融合模块，用于基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；
分析模块，用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-7任一所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的图像处理方法。
CN202010625051.9A 2020-07-01 2020-07-01 一种图像处理方法、装置、设备及存储介质 Active CN111815599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625051.9A CN111815599B (zh) 2020-07-01 2020-07-01 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625051.9A CN111815599B (zh) 2020-07-01 2020-07-01 一种图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111815599A true CN111815599A (zh) 2020-10-23
CN111815599B CN111815599B (zh) 2023-12-15

Family

ID=72855816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625051.9A Active CN111815599B (zh) 2020-07-01 2020-07-01 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111815599B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418299A (zh) * 2020-11-19 2021-02-26 推想医疗科技股份有限公司 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN113177928A (zh) * 2021-05-18 2021-07-27 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN113239992A (zh) * 2021-04-28 2021-08-10 深圳睿心智能医疗科技有限公司 血管分类方法及装置
CN113393427A (zh) * 2021-05-28 2021-09-14 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN114549532A (zh) * 2022-04-27 2022-05-27 珠海市人民医院 一种基于医学图像处理的脑缺血辅助分析方法及系统
CN114757944A (zh) * 2022-06-13 2022-07-15 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质
JP7112140B1 (ja) 2021-12-21 2022-08-03 株式会社 マイネ 撮像支援方法、撮像支援プログラム、撮像支援システム
CN114972221A (zh) * 2022-05-13 2022-08-30 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN114972220A (zh) * 2022-05-13 2022-08-30 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN115049590A (zh) * 2022-05-17 2022-09-13 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115147360A (zh) * 2022-06-13 2022-10-04 北京医准智能科技有限公司 一种斑块分割方法、装置、电子设备及可读存储介质
CN115222665A (zh) * 2022-06-13 2022-10-21 北京医准智能科技有限公司 一种斑块检测方法、装置、电子设备及可读存储介质
CN115272159A (zh) * 2021-04-30 2022-11-01 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备和可读存储介质
CN115831329A (zh) * 2022-12-21 2023-03-21 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质
CN116548930A (zh) * 2022-01-27 2023-08-08 西门子医疗有限公司 用于冠状动脉疾病的自动评估的冠状动脉管腔和参考壁分割
US12499551B1 (en) 2020-11-19 2025-12-16 Infervision Medical Technology Co., Ltd. Coronary artery segmentation method, electronic device, and computer-readable storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110224542A1 (en) * 2010-03-12 2011-09-15 Sushil Mittal Method and System for Automatic Detection and Classification of Coronary Stenoses in Cardiac CT Volumes
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
CN108171698A (zh) * 2018-02-12 2018-06-15 数坤（北京）网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
US20190318476A1 (en) * 2018-04-11 2019-10-17 Pie Medical Imaging B.V. Method and System for Assessing Vessel Obstruction Based on Machine Learning
CN111080593A (zh) * 2019-12-07 2020-04-28 上海联影智能医疗科技有限公司 一种图像处理装置、方法及存储介质
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110224542A1 (en) * 2010-03-12 2011-09-15 Sushil Mittal Method and System for Automatic Detection and Classification of Coronary Stenoses in Cardiac CT Volumes
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
CN108171698A (zh) * 2018-02-12 2018-06-15 数坤（北京）网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
US20190318476A1 (en) * 2018-04-11 2019-10-17 Pie Medical Imaging B.V. Method and System for Assessing Vessel Obstruction Based on Machine Learning
CN111080593A (zh) * 2019-12-07 2020-04-28 上海联影智能医疗科技有限公司 一种图像处理装置、方法及存储介质
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙巧榆;杨冠羽;舒华忠;: "基于模糊C均值法的CTA图像冠状动脉狭窄量化", 东南大学学报(自然科学版), no. 01 *
黄志杰;王伊侬;王青;: "基于血管内超声图像的心血管动脉粥样硬化斑块组织自动定征的研究", 计算机科学, no. 05 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418299A (zh) * 2020-11-19 2021-02-26 推想医疗科技股份有限公司 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN112418299B (zh) * 2020-11-19 2021-10-26 推想医疗科技股份有限公司 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
US12499551B1 (en) 2020-11-19 2025-12-16 Infervision Medical Technology Co., Ltd. Coronary artery segmentation method, electronic device, and computer-readable storage medium
CN113239992A (zh) * 2021-04-28 2021-08-10 深圳睿心智能医疗科技有限公司 血管分类方法及装置
CN113239992B (zh) * 2021-04-28 2024-05-07 深圳睿心智能医疗科技有限公司 血管分类方法及装置
CN115272159A (zh) * 2021-04-30 2022-11-01 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备和可读存储介质
CN113177928A (zh) * 2021-05-18 2021-07-27 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN113393427B (zh) * 2021-05-28 2023-04-25 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN113393427A (zh) * 2021-05-28 2021-09-14 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
JP7112140B1 (ja) 2021-12-21 2022-08-03 株式会社 マイネ 撮像支援方法、撮像支援プログラム、撮像支援システム
JP2023092334A (ja) * 2021-12-21 2023-07-03 株式会社 マイネ 撮像支援方法、撮像支援プログラム、撮像支援システム
CN116548930A (zh) * 2022-01-27 2023-08-08 西门子医疗有限公司 用于冠状动脉疾病的自动评估的冠状动脉管腔和参考壁分割
CN114549532A (zh) * 2022-04-27 2022-05-27 珠海市人民医院 一种基于医学图像处理的脑缺血辅助分析方法及系统
CN114549532B (zh) * 2022-04-27 2022-07-08 珠海市人民医院 一种基于医学图像处理的脑缺血辅助分析方法及系统
CN114972220A (zh) * 2022-05-13 2022-08-30 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN114972221A (zh) * 2022-05-13 2022-08-30 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN114972221B (zh) * 2022-05-13 2022-12-23 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN114972220B (zh) * 2022-05-13 2023-02-21 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN115049590A (zh) * 2022-05-17 2022-09-13 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115049590B (zh) * 2022-05-17 2023-03-10 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115222665A (zh) * 2022-06-13 2022-10-21 北京医准智能科技有限公司 一种斑块检测方法、装置、电子设备及可读存储介质
CN115147360A (zh) * 2022-06-13 2022-10-04 北京医准智能科技有限公司 一种斑块分割方法、装置、电子设备及可读存储介质
CN114757944B (zh) * 2022-06-13 2022-08-16 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质
CN114757944A (zh) * 2022-06-13 2022-07-15 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质
CN115831329A (zh) * 2022-12-21 2023-03-21 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质
CN115831329B (zh) * 2022-12-21 2023-08-18 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质

Also Published As

Publication number Publication date
CN111815599B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN111815599B (zh) 一种图像处理方法、装置、设备及存储介质
CN109685060B (zh) 图像处理方法和装置
US11593943B2 (en) RECIST assessment of tumour progression
JP4999163B2 (ja) 画像処理方法および装置ならびにプログラム
US9881372B2 (en) Method and system for vascular disease detection using recurrent neural networks
US10115039B2 (en) Method and system for machine learning based classification of vascular branches
Sert et al. Ensemble of convolutional neural networks for classification of breast microcalcification from mammograms
US8913817B2 (en) Rib suppression in radiographic images
EP1883047A2 (en) Nodule boundary detection
US9269139B2 (en) Rib suppression in radiographic images
US9691174B2 (en) Automated aorta detection in a CTA volume
WO2008097520A2 (en) System and method for computer aided detection of pulmonary embolism in tobogganing in ct angiography
CN112529918B (zh) 一种脑部ct图像中脑室区域分割的方法、装置及设备
EP2580737B1 (en) Tissue classification
GB2457022A (en) Creating a fuzzy inference model for medical image analysis
CN112651960A (zh) 一种图像处理方法、装置、设备及存储介质
Liu et al. Two new stenosis detection methods of coronary angiograms
Enquobahrie et al. Automated detection of pulmonary nodules from whole lung helical CT scans: performance comparison for isolated and attached nodules
CN111292298A (zh) 乳腺癌病理分型确定方法、装置和存储介质
Zuluaga et al. Feature selection for SVM-based vascular anomaly detection
CN101410870A (zh) 乳腺mri上的自动心脏带探测
KR102893701B1 (ko) 의료영상 분할 결과에 대한 예외처리방법 및 예외처리장치
Bacchuwar et al. Scale-space for empty catheter Segmentation in PCI Fluoroscopic images
He et al. A new interactive segmentation scheme based on fuzzy affinity and live-wire
Wang et al. Automatic and exam-type independent algorithm for the segmentation and extraction of foreground, background, and anatomy regions in digital radiographic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211101

Address after: Room 3674, 3 / F, 2879 Longteng Avenue, Xuhui District, Shanghai, 200232

Applicant after: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.

Applicant after: Lianying intelligent medical technology (Beijing) Co.,Ltd.

Address before: Room 3674, 3 / F, 2879 Longteng Avenue, Xuhui District, Shanghai, 200232

Applicant before: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 200030No. 701 Yuncheng Road, Xuhui District, Shanghai20th, 21st and 22nd floors (nominal floors are 23rd, 25th and 26th)

Patentee after: Shanghai United Imaging Intelligent Technology Co., Ltd.

Country or region after: China

Patentee after: Lianying intelligent medical technology (Beijing) Co.,Ltd.

Address before: Room 3674, 3rd floor, 2879 Longteng Avenue, Xuhui District, Shanghai, 2002

Patentee before: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.

Country or region before: China

Patentee before: Lianying intelligent medical technology (Beijing) Co.,Ltd.