[go: up one dir, main page]

CN107977666B - 目标轮廓提取方法、装置、设备及存储介质 - Google Patents

目标轮廓提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN107977666B
CN107977666B CN201711294918.1A CN201711294918A CN107977666B CN 107977666 B CN107977666 B CN 107977666B CN 201711294918 A CN201711294918 A CN 201711294918A CN 107977666 B CN107977666 B CN 107977666B
Authority
CN
China
Prior art keywords
ridge
edge
ridges
block
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711294918.1A
Other languages
English (en)
Other versions
CN107977666A (zh
Inventor
李宝林
周寿军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen China Europe Innovative Medicine And Health Research Center Co ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711294918.1A priority Critical patent/CN107977666B/zh
Publication of CN107977666A publication Critical patent/CN107977666A/zh
Application granted granted Critical
Publication of CN107977666B publication Critical patent/CN107977666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用图像处理技术领域,提供了一种目标轮廓提取方法、装置、设备及存储介质,该方法包括:将待处理图像中分离的块状区域和管状结构分别组合得到块状空间和管状空间,提取块状空间中块状区域的边缘脊线和管状空间中管状结构的中心脊线,将标记了脊线类型的边缘脊线、中心脊线分别组合为边缘脊线集合、中心脊线集合,通过曲线形变模型分别对边缘脊线集合、中心脊线集合中的脊线进行形变,直至边缘脊线集合、中心脊线集合中的脊线都满足形变结束条件,分别将边缘脊线集合、中心脊线集合中形变后的脊线叠加在待处理图像的对应位置处,从而绘制出待处理图像中块状区域、管状结构的轮廓,有效地提高了目标轮廓提取的效果和效率。

Description

目标轮廓提取方法、装置、设备及存储介质
技术领域
本发明属于图像处理技术领域,尤其涉及一种目标轮廓提取方法、装置、设备及存储介质。
背景技术
在图像的研究和分析中,人们往往对图像中一些特定的、具有特殊意义的区域感兴趣,为了识别和分析目标,通常需要曲线将这些区域分离提取出来,该分离提取的技术可应用于工业、医学等领域的图像处理。
主动轮廓模型(ACM,Active Contour Model)的研究由来已久,尤其在ACM中的蛇模型(snake)提出后,ACM被广泛应用于目标曲线的提取。ACM通过最小化能量函数使得初始轮廓在内力和外力的共同作用下逼近目标轮廓,大部分关于ACM的研究涉及ACM外力条件的构造和优化,也有一部分研究涉及ACM的初始化,例如改进外力动态范围的GVF场(梯度矢量流场)、构造基于图像区域内容的外力条件、Snake初始化问题及其改进等等,研究人员还提出了open snake模型和close snake模型。
然而,ACM模型仍然存在初始化敏感(即初始化优劣对模型的计算时间、逼近效果影响较大)的问题,而传统的手动初始化十分麻烦、耗时。close snake模型的自动初始化相对简单,有通过定义CVF的发散中心点来初始化的方式,该方式提供的初始轮廓较多需要进一步处理和删除伪轮廓,有初始轮廓往往原理目标的方式,需要多次迭代才能接近目标。Open snake的初始化也存在初始化效率不高的问题。此外,目前的ACM模型仅能实现单类目标曲线(闭合曲线或开口曲线)的提取,无法同时进行闭合曲线和开口曲线的提取。
发明内容
本发明的目的在于提供一种目标轮廓提取方法、装置、设备及存储介质,旨在解决由于现有技术中目标轮廓提取方法受初始化优劣限制、且只适用于单类目标轮廓提取,导致目标轮廓提取效果不佳、效率不高的问题。
一方面,本发明提供了一种目标轮廓提取方法,所述方法包括下述步骤:
接收待处理图像,将所述待处理图像的块状区域和管状结构分离,分别对分离后的所有块状区域和所有管状结构进行组合,以得到对应的块状空间和管状空间;
提取所述块状空间中所述块状区域的边缘脊线和所述管状空间中所述管状结构的中心脊线,标记所述边缘脊线的脊线类型和所述中心脊线的脊线类型,将标记了所述脊线类型的所状边缘脊线组合为边缘脊线集合,将标记了所述脊线类型的所述中心脊线组合为中心脊线集合;
根据不同的所述脊线类型构建曲线形变模型,通过所述曲线形变模型对所述边缘脊线集合中的脊线进行形变,直至所述边缘脊线集合中的脊线满足预设的形变结束条件,通过所述曲线形变模型对所述中心脊线集合中的脊线进行形变,直至所述中心脊线集合中的脊线满足所述形变结束条件;
分别将所述边缘脊线集合中、所述中心脊线集合中形变后的脊线叠加在所述待处理图像的对应位置处,以绘制出所述待处理图像中所述块状区域的轮廓和所述管状结构的轮廓。
另一方面,本发明提供了一种目标轮廓提取装置,所述装置包括:
图像分离单元,用于接收待处理图像,将所述待处理图像的块状区域和管状结构分离,分别对分离后的所有块状区域和所有管状结构进行组合,以得到对应的块状空间和管状空间;
脊线集合生成单元,用于提取所述块状空间中所述块状区域的边缘脊线和所述管状空间中所述管状结构的中心脊线,标记所述边缘脊线的脊线类型和所述中心脊线的脊线类型,将标记了所述脊线类型的所状边缘脊线组合为边缘脊线集合,将标记了所述脊线类型的所述中心脊线组合为中心脊线集合;
脊线形变单元,用于根据不同的所述脊线类型构建曲线形变模型,通过所述曲线形变模型对所述边缘脊线集合中的脊线进行形变,直至所述边缘脊线集合中的脊线满足预设的形变结束条件,通过所述曲线形变模型对所述中心脊线集合中的脊线进行形变,直至所述中心脊线集合中的脊线满足所述形变结束条件;以及
轮廓绘制单元,用于分别将所述边缘脊线集合中、所述中心脊线集合中形变后的脊线叠加在所述待处理图像的对应位置处,以绘制出所述待处理图像中所述块状区域的轮廓和所述管状结构的轮廓。
另一方面,本发明还提供了一种图像处理设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述目标轮廓提取方法所述的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述目标轮廓提取方法所述的步骤。
本发明将待处理图像中分离的块状区域和管状结构分别组合得到块状空间和管状空间,提取块状空间中块状区域的边缘脊线、管状空间中管状结构的中心脊线,由标记了脊线类型的边沿脊线、中心脊线分别组合为边缘脊线集合、中心脊线集合,通过曲线形变模型分别对边缘脊线集合、中心脊线集合中的脊线进行形变,直至这些脊线满足形变结束条件,将这些形变后的脊线叠加在待处理图像的对应位置,从而绘制出待处理图像中块状区域、管状结构的轮廓,实现多类目标轮廓(包括闭合曲线和开口曲线)的提取,有效地提高了目标轮廓提取效果和效率。
附图说明
图1是本发明实施例一提供的目标轮廓提取方法的实现流程图;
图2是本发明实施例一提供的目标轮廓提取方法中文字图片上目标轮廓提取过程的实验示例图;
图3是本发明实施例一提供的目标轮廓提取方法中叶子图片上目标轮廓提取过程的实验示例图;
图4是本发明实施例一提供的目标轮廓提取方法中在医学图片上目标轮廓提取过程的实验示例图;
图5是本发明实施例一提供的目标轮廓提取方法中对边缘脊线集合中脊线进行形变的实现流程图;
图6是本发明实施例二提供的目标轮廓提取装置的结构示意图;
图7是本发明实施例二提供的目标轮廓提取装置的优选结构示意图;以及
图8是本发明实施例三提供的设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的目标轮廓提取方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,接收待处理图像,将待处理图像的块状区域和管状结构分离,分别对分离后的所有块状区域和所有管状结构进行组合,以得到对应的块状空间和管状空间。
本发明实施例适用于工业、医学等领域的图像处理。在接收到用户或图像采集设备输入的待处理图像时,待处理图像上可能同时存在多个块状图形和管状图形(例如,在医学图像上的器官组织形状和血管形状),为了更好地提取待处理图像上这两类形状的轮廓,可将待处理图像上的块状区域和管状结构分离,将所有块状区域组合为块状空间,将所有管状结构组合为管状空间。
优选地,通过K-means分类算法和形态学算子对待处理图像的块状区域和管状结构进行分离,从而提高待处理图像上块状区域、管状结构的分离效果。
在步骤S102中,提取块状空间中块状区域的边缘脊线和管状空间中管状结构的中心脊线,标记边缘脊线的脊线类型和中心脊线的脊线类型,将标记了脊线类型的边缘脊线组合为边缘脊线集合,将标记了脊线类型的中心脊线组合为中心脊线集合。
在本发明实施例中,提取块状空间中每个块状区域的边缘脊线,即块状区域的边缘曲线,提取管状空间中每个管状结构的中心脊线,即管状结构的中心曲线,这些边缘脊线、中心脊线为用于目标轮廓提取的初始轮廓。确定每条边缘脊线、每条中心脊线的脊线类型,为每条边缘脊线、每条中心脊线标记上相应的脊线类型,由标记了脊线类型的边缘脊线、中心脊线分别组合得到边缘脊线集合和中心脊线集合。其中,脊线类型分为闭合曲线和开口曲线。
优选地,在提取块状空间中块状区域的边缘脊线和管状空间中管状结构的中心脊线时,对块状空间中块状区域的边缘、管状空间中管状结构的中心进行增强,计算增强后的块状空间的梯度矢量流场(GVF场)、增强后的管状空间的GVF场,根据块状空间的GVF场提取块状空间中块状区域的边缘脊线,根据管状空间的GVF场提取管状空间中管状结构的中心脊线,从而使得提取到的边缘脊线、中心脊线尽量靠近相应的目标轮廓,有效地提高了目标轮廓提取的初始化效果。作为示例地,可通过Canny算子和高斯平滑滤波对块状区域的边缘进行增强,可通过Frangi多尺度滤波对管状结构的中心进行增强。
优选地,预先设置距离阈值,计算每条边缘脊线两端点之间的距离,当边缘脊线两端点之间的距离不超过距离阈值(例如3个像素)时,确定该边缘脊线的脊线类型为闭合曲线,否则为开口曲线,同样地确定每条中心脊线的脊线类型,从而为每条边缘脊线、中心脊线标记上较为准确的脊线类型。
在步骤S103中,根据不同的脊线类型构建曲线形变模型,通过曲线形变模型对边缘脊线集合中的脊线进行形变,直至边缘脊线集合中的脊线满足预设的形变结束条件,通过曲线形变模型对中心脊线集合中的脊线进行形变,直至中心脊线集合中的脊线满足形变结束条件。
在本发明实施例中,根据不同的脊线类型构建曲线形变模型,使得曲线形变模型可以提取到不同种类的目标轮廓(或目标曲线,包括开口曲线和闭合曲线)。曲线形变模型通过最小化能量函数分别使得边缘脊线集合、中心脊线集合中的脊线在内力和外力的共同作用下向对应的目标轮廓靠近,构建曲线形变模型,即构建由内力对应的内部能量项和外力对应的外部能量项构成总能量函数。
优选地,曲线形变模型的构建可通过下述步骤实现:
(1)计算不同的脊线类型分别对应的弹性系数和刚度系数,根据弹性系数和刚度系数,构建曲线形变模型中的内部能量项。
在本发明实施例中,内部能量项Eint(或称为内力项)表示为:
Figure GDA0002382283670000061
其中,rs(s)、rss(s)分别为点r(s)的一阶导数和二阶导数,r(s)=(x(s),y(s))为当前进行形变的脊线上的点,s∈[0,1]为预设积分变量,α(s)、β(s)分别为r(s)的弹性系数和刚度系数。对于特殊点来说α(s)和β(s)可以取不同的值,通常地,当r(s)位于闭合曲线上时,α(s)和β(s)取[0,1]的常数,当r(s)为开口曲线上的端点时,α(s)和β(s)取值为0。
进一步优选地,引入长度为N(N为脊线上点的数量)的窗函数w(n)对脊线端点的弹性系数和刚度系数进行调制,得到脊线上第n(n=1,2,...,N)个点处的弹性系数α和刚度系数β分别为:
α(n)=α0·ω(n)·ζ+α0·(1-ζ),β(n)=β0·ω(n)·ζ+β0·(1-ζ),其中,n为1、2、N、N-1时,w(n)=0,否则,w(n)=1,α0和β0为预设参数,ζ为脊线类型的值,当前进行形变的脊线的脊线类型为闭合曲线时,ζ=0,当前进行形变的脊线的脊线类型为开口曲线时,ζ=1,从而为不同脊线类型的脊线设置合适的内部能量项。
(2)构建不同的脊线类型分别对应的扯力项,构建图像项,将扯力项和图像项组合为曲线形变模型中的外部能量项。
在本发明实施例中,扯力在开口曲线形变时沿着开口曲线端点的切点方向施加于开口曲线的两端,扯力项Estr(r(s))通过下列公式计算得到:
Figure GDA0002382283670000071
其中,
Figure GDA0002382283670000073
表示扯力项的梯度,Fstr(r(s))表示扯力,扯力的计算公式可为Fstr(r(s))=(I(r(s)-Imean)/(If-Ib)),I(r(s))、If、Ib和Imean分别为灰度值、前景灰度值、背景灰度值、前景灰度和背景灰度的均值。
在本发明实施例中,扯力项只作用与开口曲线,因此由扯力项和图像项组合得到的外部能量项可表示为:
Figure GDA0002382283670000072
其中,Eimg(r(s))为图像项,可采用梯度矢量流场进行构造,kimg、kstr分别为控制图像项、扯力项大小的权重参数。由于边缘脊线集合、中心脊线集合中的脊线是通过离散点表示的,因此采用离散方式表达外部能量项:
Eext(X)=kimg·Eimg(X)+ζ·(kstr·Estr(X)),其中,X表示当前进行形变的脊线Ri上的N个点构成的点序列,Ri={X,ζ}i也为脊线集合R={R1,R2,...,RL}中第i条脊线,在对边缘脊线集合中的脊线进行形变时,脊线集合R为边缘脊线集合,在对中心脊线集合进行形变时,脊线集合R为中心脊线集合。
(3)将内部能量项和外部能量项构成曲线形变模型的总能量函数,曲线形变模型为总能量最小化模型。
在本发明实施例中,曲线形变模型的总能量函数表示为Etotal=Eint+Eext,曲线形变模型通过最小化总能量函数的值使得当前进行形变的脊线在内力、外力共同作用下不断靠近相应的目标轮廓,进而提取到目标轮廓。
优选地,将当前形变脊线上的点序列X在坐标轴的x、y方向表示为Xk=(xo,k,...,x1,k,...,xN,k)T,k取值0、1时Xk分别表示x、y方向上的坐标序列,可通过欧拉-拉格朗日方程对曲线形变模型进行,得到在当前形变脊线的每个形变时刻t,
Figure GDA0002382283670000081
更新为
Figure GDA0002382283670000082
其中,A由弹性系数α和刚度系数β组成,γ为控制步长的参数,I为单位矩阵,从而得到能够提取闭合曲线、开口曲线的曲线形变模型。
在本发明实施例中,构建好曲线形变模型后,通过曲线形变模型对边缘脊线集合、中心脊线集合中的脊线进行形变,直至边缘脊线集合、中心脊线集合中形变后的脊线满足预设的形变结束条件。
在步骤S104中,分别将边缘脊线集合中、中心脊线集合中形变后的脊线叠加在待处理图像的对应位置处,以绘制出待处理图像中块状区域的轮廓和管状结构的轮廓。
在本发明实施例中,在边缘脊线集合中、中心脊线集合中的脊线都形变结束后,将边缘脊线集合中、中心脊线集合中形变后的脊线叠加在待处理图像的对应位置,这些位置处的脊线即待处理图像中块状区域的轮廓和管状结构的轮廓。作为示例地,图2、图3、图4分别示出了本发明实施例在实验中提取文字轮廓、叶子轮廓、以及组织轮廓和血管轮廓的提取过程,其中最左侧图像为实验过程中输入的初始图像,最右侧图像为提取到目标轮廓的最终图像,这些轮廓中有闭合曲线也有开口曲线。
优选地,由于通过曲线形变模型对边缘脊线集合中的脊线进行形变与对中心脊线集合中的脊线进行形变的过程相同,仅对边缘脊线集合中脊线的形变过程进行描述,如图5所示,边缘脊线集合中脊线的形变过程的具体步骤为:
在步骤S501中,从边缘脊线集合中未形变的脊线中依次获取当前脊线,初始化当前脊线的当前形变次数。
在步骤S502中,通过曲线形变模型对当前脊线进行形变,并对形变后的当前脊线进行等间距插值处理。
在本发明实施例中,对形变后的当前脊线进行等间距插值处理,以提高目标轮廓提取的准确度。
在步骤S503中,根据当前脊线的脊线类型,判断当前脊线的形变是否满足形变结束条件。
在本发明实施例中,若当前脊线的脊线类型为闭合曲线,可判断当前脊线的当前形变次数是否超过预设次数阈值,是则确定当前脊线的形变满足形变结束条件,否则不满足。若当前脊线的脊线类型为开口曲线,可判断在当前形变过程中当前脊线两端在扯力作用下的位移是否超过预设位移阈值,是则确定当前脊线的形变不满足形变结束条件,否则满足。当当前脊线的形变满足形变结束条件时执行步骤S504,否则执行步骤S507。
在步骤S504中,更新边缘脊线集合。
在本发明实施例中,当当前脊线的形变满足形变结束条件时,从边缘脊线集合中删除形变前的当前脊线,将形变后的当前脊线存储在边缘脊线集合中。
在步骤S505中,判断边缘脊线集合中是否存在未形变的脊线。
在本发明实施例中,当边缘脊线集合中不存在未形变的脊线,执行步骤S506,否则跳转至步骤S501对下一条未形变的脊线进行形变。
在步骤S506中,获得形变完成的边缘脊线集合。
在步骤S507中,将当前形变次数加一。
在本发明实施例中,当当前脊线的形变不满足形变结束条件时,跳转至通过曲线形变模型对当前脊线进行形变的步骤。
在本发明实施例中,将待处理图像中分离的块状区域和管状结构分别构成块状空间和管状空间,提取块状空间中块状区域的边缘脊线、管状空间中管状结构的中心脊线,由标记了脊线类型的边沿脊线、中心脊线分别组合为边缘脊线集合、中心脊线集合,通过曲线形变模型分别对边缘脊线集合、中心脊线集合中的脊线进行形变,直至这些脊线满足形变结束条件,将这些形变后的脊线叠加在待处理图像的对应位置,从而绘制出待处理图像中块状区域、管状结构的轮廓,实现多类目标轮廓(包括闭合曲线和开口曲线)的提取,有效地提高了目标轮廓提取效果和效率。
实施例二:
图6示出了本发明实施例二提供的目标轮廓提取装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
图像分离单元61,用于接收待处理图像,将待处理图像的块状区域和管状结构分离,分别对分离后的所有块状区域和所有管状结构进行组合,以得到对应的块状空间和管状空间。
在本发明实施例中,在接收到用户或图像采集设备输入的待处理图像时,待处理图像上可能同时存在多个块状图形和管状图形(例如在医学图像上的器官组织形状和血管形状),为了更好地提取待处理图像上这两类形状的轮廓,可将待处理图像上的块状区域和管状结构分离,将所有块状区域组合为块状空间,将所有管状结构组合为管状空间。
脊线集合生成单元62,用于提取块状空间中块状区域的边缘脊线和管状空间中管状结构的中心脊线,标记边缘脊线的脊线类型和中心脊线的脊线类型,将标记了脊线类型的边缘脊线组合为边缘脊线集合,将标记了脊线类型的中心脊线组合为中心脊线集合。
在本发明实施例中,提取块状空间中每个块状区域的边缘脊线,提取管状空间中每个管状结构的中心脊线,这些边缘脊线、中心脊线为用于目标轮廓提取的初始轮廓。确定每条边缘脊线、每条中心脊线的脊线类型,为每条边缘脊线、每条中心脊线标记上相应的脊线类型,由标记了脊线类型的边缘脊线、中心脊线分别组合得到边缘脊线集合和中心脊线集合。其中,脊线类型分为闭合曲线和开口曲线。
优选地,预先设置距离阈值,计算每条边缘脊线两端点之间的距离,当边缘脊线两端点之间的距离不超过距离阈值(例如3个像素)时,确定该边缘脊线的脊线类型为闭合曲线,否则为开口曲线,同样地确定每条中心脊线的脊线类型,从而为每条边缘脊线、中心脊线标记上较为准确的脊线类型。
脊线形变单元63,用于根据不同的脊线类型构建曲线形变模型,通过曲线形变模型对边缘脊线集合中的脊线进行形变,直至边缘脊线集合中的脊线满足预设的形变结束条件,通过曲线形变模型对中心脊线集合中的脊线进行形变,直至中心脊线集合中的脊线满足形变结束条件。
在本发明实施例中,根据不同的脊线类型构建曲线形变模型,使得曲线形变模型可以提取到不同种类的目标轮廓(或目标曲线,包括开口曲线和闭合曲线)。曲线形变模型通过最小化能量函数分别使得边缘脊线集合、中心脊线集合中的脊线在内力和外力的共同作用下向对应的目标轮廓靠近,构建曲线形变模型,即构建由内力对应的内部能量项和外力对应的外部能量项构成总能量函数。
优选地,在对边缘脊线集合中的脊线进行形变时,先从边缘脊线集合中未形变的脊线中获得当前脊线,并初始化当前脊线的当前形变次数,再通过曲线形变模型对当前脊线进行形变,对形变后的当前脊线进行等间距插值处理,以提高目标轮廓提取的准确度,接着根据当前脊线的脊线类型判断当前脊线的形变是否满足形变结束条件,若满足对边缘脊线集合进行更新,并从边缘脊线集合中获取未形变的脊线进行形变,直至边缘脊线集合所有脊线完成形变,若不满足,则将当前形变次数加一,继续对当前脊线进行形变,从而提高目标轮廓提取的效果和效率。
进一步优选地,若当前脊线的脊线类型为闭合曲线,判断当前脊线的当前形变次数是否超过预设次数阈值,是则确定当前脊线的形变满足形变结束条件,否则不满足。若当前脊线的脊线类型为开口曲线,判断在当前形变过程中当前脊线两端在扯力作用下的位移是否超过预设位移阈值,是则确定当前脊线的形变不满足形变结束条件,否则满足,从而为不同类型的目标轮廓提供有针对性的形变结束条件,有效地提高了目标轮廓的提取效果。
在本发明实施例中,由于通过曲线形变模型对边缘脊线集合中的脊线进行形变与对中心脊线集合中的脊线进行形变的过程相同,在此仅对边缘脊线集合中脊线的形变过程进行描述。
轮廓绘制单元64,用于分别将边缘脊线集合中、中心脊线集合中形变后的脊线叠加在待处理图像的对应位置处,以绘制出待处理图像中块状区域的轮廓和管状结构的轮廓。
在本发明实施例中,在边缘脊线集合中、中心脊线集合中的脊线都形变结束后,将边缘脊线集合中、中心脊线集合中形变后的脊线叠加在待处理图像的对应位置,这些位置处的脊线即待处理图像中块状区域的轮廓和管状结构的轮廓。
优选地,如图7所示,脊线集合生成单元62包括:
脊线增强单元721,用于对块状空间中块状区域的边缘进行增强,对管状空间中管状结构的中心进行增强;
脊点提取单元722,用于计算增强后的块状空间、管状空间的梯度矢量流场,根据块状空间、管状空间的梯度矢量流场,分别提取块状空间的边缘脊点、管状空间中的中心脊点;以及
脊线生成单元723,用于对块状空间的边缘脊点进行跟踪,获得块状空间的边缘脊线,对管状空间的中心脊点进行跟踪,获得管状空间的中心脊线。
在本发明实施例中,对块状空间中块状区域的边缘、管状空间中管状结构的中心进行增强,计算增强后的块状空间的梯度矢量流场(GVF场)、增强后的管状空间的GVF场,根据块状空间的GVF场提取块状空间中块状区域的边缘脊线,根据管状空间的GVF场提取管状空间中管状结构的中心脊线,从而使得提取到的边缘脊线、中心脊线尽量靠近相应的目标轮廓,有效地提高了目标轮廓提取的初始化效果。
优选地,如图7所示,脊线形变单元63包括内部能量构建单元731、外部能量构建单元732和模型构建单元733,其中:
内部能量构建单元731,用于计算不同的脊线类型分别对应的弹性系数和刚度系数,根据弹性系数和刚度系数,构建曲线形变模型中的内部能量项。
在本发明实施例中,内部能量项Eint(或称为内力项)表示为:
Figure GDA0002382283670000131
其中,rs(s)、rss(s)分别为点r(s)的一阶导数和二阶导数,r(s)=(x(s),y(s))为当前进行形变的脊线上的点,s∈[0,1]为预设积分变量,α(s)、β(s)分别为r(s)的弹性系数和刚度系数。对于特殊点来说α(s)和β(s)可以取不同的值,通常地,当r(s)位于闭合曲线上时,α(s)和β(s)取[0,1]的常数,当r(s)为开口曲线上的端点时,α(s)和β(s)取值为0。
进一步优选地,引入长度为N(N为脊线上点的数量)的窗函数w(n)对脊线端点的弹性系数和刚度系数进行调制,得到脊线上第n(n=1,2,...,N)个点处的弹性系数α和刚度系数β分别为:
α(n)=α0·ω(n)·ζ+α0·(1-ζ),β(n)=β0·ω(n)·ζ+β0·(1-ζ),其中,n为1、2、N、N-1时,w(n)=0,否则,w(n)=1,α0和β0为预设参数,ζ为脊线类型的值,当前进行形变的脊线的脊线类型为闭合曲线时,ζ=0,当前进行形变的脊线的脊线类型为开口曲线时,ζ=1,从而为不同脊线类型的脊线设置合适的内部能量项。
外部能量构建单元732,用于构建不同的脊线类型分别对应的扯力项,构建图像项,将扯力项和图像项组合为曲线形变模型中的外部能量项。
在本发明实施例中,扯力在开口曲线形变时沿着开口曲线端点的切点方向施加于开口曲线的两端,扯力项Estr(r(s))通过下列公式计算得到:
Figure GDA0002382283670000141
其中,
Figure GDA0002382283670000142
表示扯力项的梯度,Fstr(r(s))表示扯力,扯力的计算公式可为Fstr(r(s))=(I(r(s)-Imean)/(If-Ib)),I(r(s))、If、Ib和Imean分别为灰度值、前景灰度值、背景灰度值、前景灰度和背景灰度的均值。
在本发明实施例中,扯力项只作用与开口曲线,因此由扯力项和图像项组合得到的外部能量项可表示为:
Figure GDA0002382283670000143
其中,Eimg(r(s))为图像项,可采用梯度矢量流场进行构造,kimg、kstr分别为控制图像项、扯力项大小的权重参数。由于边缘脊线集合、中心脊线集合中的脊线是通过离散点表示的,因此采用离散方式表达外部能量项:
Eext(X)=kimg·Eimg(X)+ζ·(kstr·Estr(X)),其中,X表示当前进行形变的脊线Ri上的N个点构成的点序列,Ri={X,ζ}i也为脊线集合R={R1,R2,…,RL}中第i条脊线,在对边缘脊线集合中的脊线进行形变时,脊线集合R为边缘脊线集合,在对中心脊线集合进行形变时,脊线集合R为中心脊线集合。
模型构建单元733,用于将内部能量项和外部能量项构成曲线形变模型的总能量函数,曲线形变模型为总能量最小化模型。
在本发明实施例中,曲线形变模型的总能量函数表示为Etotal=Eint+Eext,曲线形变模型通过最小化总能量函数的值使得当前进行形变的脊线在内力、外力共同作用下不断靠近相应的目标轮廓,进而提取到目标轮廓。
优选地,将当前形变脊线上的点序列X在坐标轴的x、y方向表示为Xk=(xo,k,…,x1,k,…,xN,k)T,k取值0、1时Xk分别表示x、y方向上的坐标序列,可通过欧拉-拉格朗日方程对曲线形变模型进行,得到在当前形变脊线的每个形变时刻t,
Figure GDA0002382283670000151
更新为
Figure GDA0002382283670000152
其中,A由弹性系数α和刚度系数β组成,γ为控制步长的参数,I为单位矩阵,从而得到能够提取闭合曲线、开口曲线的曲线形变模型。
在本发明实施例中,将待处理图像中分离的块状区域和管状结构分别构成块状空间和管状空间,提取块状空间中块状区域的边缘脊线、管状空间中管状结构的中心脊线,由标记了脊线类型的边沿脊线、中心脊线分别组合为边缘脊线集合、中心脊线集合,通过曲线形变模型分别对边缘脊线集合、中心脊线集合中的脊线进行形变,直至这些脊线满足形变结束条件,将这些形变后的脊线叠加在待处理图像的对应位置,从而绘制出待处理图像中块状区域、管状结构的轮廓,实现多类目标轮廓的提取,有效地提高了目标轮廓提取效果和效率。
在本发明实施例中,目标轮廓提取装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。
实施例三:
图8示出了本发明实施例三提供的图像处理设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的图像处理设备8包括处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82。该处理器80执行计算机程序82时实现上述方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,处理器80执行计算机程序82时实现上述装置实施例中各单元的功能,例如图6所示单元61至64的功能。
在本发明实施例中,将待处理图像中分离的块状区域和管状结构分别构成块状空间和管状空间,提取块状空间中块状区域的边缘脊线、管状空间中管状结构的中心脊线,由标记了脊线类型的边沿脊线、中心脊线分别组合为边缘脊线集合、中心脊线集合,通过曲线形变模型分别对边缘脊线集合、中心脊线集合中的脊线进行形变,直至这些脊线满足形变结束条件,将这些形变后的脊线叠加在待处理图像的对应位置,从而绘制出待处理图像中块状区域、管状结构的轮廓,实现多类目标轮廓的提取,有效地提高了目标轮廓提取效果和效率。。
实施例四:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例中的步骤,例如,图1所示的步骤S101至S104。或者,该计算机程序被处理器执行时实现上述装置实施例中各单元的功能,例如图6所示单元61至64的功能。
在本发明实施例中,将待处理图像中分离的块状区域和管状结构分别构成块状空间和管状空间,提取块状空间中块状区域的边缘脊线、管状空间中管状结构的中心脊线,由标记了脊线类型的边沿脊线、中心脊线分别组合为边缘脊线集合、中心脊线集合,通过曲线形变模型分别对边缘脊线集合、中心脊线集合中的脊线进行形变,直至这些脊线满足形变结束条件,将这些形变后的脊线叠加在待处理图像的对应位置,从而绘制出待处理图像中块状区域、管状结构的轮廓,实现多类目标轮廓的提取,有效地提高了目标轮廓提取效果和效率。。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标轮廓提取方法,其特征在于,所述方法包括下述步骤:
接收待处理图像,将所述待处理图像的块状区域和管状结构分离,分别对分离后的所有块状区域和所有管状结构进行组合,以得到对应的块状空间和管状空间;
提取所述块状空间中所述块状区域的边缘脊线和所述管状空间中所述管状结构的中心脊线,标记所述边缘脊线的脊线类型和所述中心脊线的脊线类型,将标记了所述脊线类型的所状边缘脊线组合为边缘脊线集合,将标记了所述脊线类型的所述中心脊线组合为中心脊线集合;
根据不同的所述脊线类型构建曲线形变模型,通过所述曲线形变模型对所述边缘脊线集合中的脊线进行形变,直至所述边缘脊线集合中的脊线满足预设的形变结束条件,通过所述曲线形变模型对所述中心脊线集合中的脊线进行形变,直至所述中心脊线集合中的脊线满足所述形变结束条件;
分别将所述边缘脊线集合中、所述中心脊线集合中形变后的脊线叠加在所述待处理图像的对应位置处,以绘制出所述待处理图像中所述块状区域的轮廓和所述管状结构的轮廓。
2.如权利要求1所述的方法,其特征在于,提取所述块状空间中所述块状区域的边缘脊线和所述管状空间中所述管状结构的中心脊线的步骤,包括
对所述块状空间中所述块状区域的边缘进行增强,对所述管状空间中所述管状结构的中心进行增强;
分别计算增强后的所述块状空间、所述管状空间的梯度矢量流场,根据所述块状空间、所述管状空间的梯度矢量流场,分别提取所述块状空间的边缘脊点、所述管状空间中的中心脊点;
对所述块状空间的边缘脊点进行跟踪,获得所述块状空间的所述边缘脊线,对所述管状空间的中心脊点进行跟踪,获得所述管状空间的所述中心脊线。
3.如权利要求1所述的方法,其特征在于,标记所述边缘脊线的脊线类型和所述中心脊线的脊线类型的步骤,包括:
根据所述边缘脊线两端的距离和预设的距离阈值,确定所述边缘脊线的脊线类型,根据所述中心脊线两端的距离和所述距离阈值,确定所述中心脊线的脊线类型,所述脊线类型包括开口曲线和闭合曲线。
4.如权利要求1所述的方法,其特征在于,根据不同的所述脊线类型构建曲线形变模型的步骤,包括:
计算不同的所述脊线类型分别对应的弹性系数和刚度系数,根据所述弹性系数和所述刚度系数,构建所述曲线形变模型中的内部能量项;
构建不同的所述脊线类型分别对应的扯力项,构建图像项,将所述扯力项和所述图像项组合为所述曲线形变模型中的外部能量项;
将所述内部能量项和所述外部能量项构成所述曲线形变模型的总能量函数,所述曲线形变模型为总能量最小化模型。
5.如权利要求1所述的方法,其特征在于,通过所述曲线形变模型对所述边缘脊线集合中的脊线进行形变,直至所述边缘脊线集合中的脊线满足预设的形变结束条件的步骤,包括:
当所述边缘脊线集合中存在未形变的脊线时,从所述未形变的脊线中依次获取当前脊线,初始化所述当前脊线的当前形变次数;
通过所述曲线形变模型对所述当前脊线进行形变,并对形变后的所述当前脊线进行等间距插值处理;
根据所述当前脊线的所述脊线类型,判断所述当前脊线的形变是否满足所述形变结束条件;
当所述当前脊线的形变满足所述形变结束条件时,更新所述边缘脊线集合,并跳转至从所述未形变的脊线中依次获取当前脊线的步骤,否则,将所述当前形变次数加一,跳转至通过所述曲线形变模型对所述当前脊线进行形变的步骤。
6.一种目标轮廓提取装置,其特征在于,所述装置包括:
图像分离单元,用于接收待处理图像,将所述待处理图像的块状区域和管状结构分离,分别对分离后的所有块状区域和所有管状结构进行组合,以得到对应的块状空间和管状空间;
脊线集合生成单元,用于提取所述块状空间中所述块状区域的边缘脊线和所述管状空间中所述管状结构的中心脊线,标记所述边缘脊线的脊线类型和所述中心脊线的脊线类型,将标记了所述脊线类型的所状边缘脊线组合为边缘脊线集合,将标记了所述脊线类型的所述中心脊线组合为中心脊线集合;
脊线形变单元,用于根据不同的所述脊线类型构建曲线形变模型,通过所述曲线形变模型对所述边缘脊线集合中的脊线进行形变,直至所述边缘脊线集合中的脊线满足预设的形变结束条件,通过所述曲线形变模型对所述中心脊线集合中的脊线进行形变,直至所述中心脊线集合中的脊线满足所述形变结束条件;以及
轮廓绘制单元,用于分别将所述边缘脊线集合中、所述中心脊线集合中形变后的脊线叠加在所述待处理图像的对应位置处,以绘制出所述待处理图像中所述块状区域的轮廓和所述管状结构的轮廓。
7.如权利要求6所述的装置,其特征在于,所述脊线集合生成单元包括脊线增强单元,用于对所述块状空间中所述块状区域的边缘进行增强,对所述管状空间中所述管状结构的中心进行增强;
脊点提取单元,用于分别计算增强后的所述块状空间、所述管状空间的梯度矢量流场,根据所述块状空间、所述管状空间的梯度矢量流场,分别提取所述块状空间的边缘脊点、所述管状空间中的中心脊点;以及
脊线生成单元,用于对所述块状空间的边缘脊点进行跟踪,获得所述块状空间的所述边缘脊线,对所述管状空间的中心脊点进行跟踪,获得所述管状空间的所述中心脊线。
8.如权利要求6所述的装置,其特征在于,所述脊线形变单元包括:
内部能量构建单元,用于计算不同的所述脊线类型分别对应的弹性系数和刚度系数,根据所述弹性系数和所述刚度系数,构建所述曲线形变模型中的内部能量项;
外部能量构建单元,用于构建不同的所述脊线类型分别对应的扯力项,构建图像项,将所述扯力项和所述图像项组合为所述曲线形变模型中的外部能量项;以及
模型构建单元,用于将所述内部能量项和所述外部能量项构成所述曲线形变模型的总能量函数,所述曲线形变模型为总能量最小化模型。
9.一种图像处理设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201711294918.1A 2017-12-08 2017-12-08 目标轮廓提取方法、装置、设备及存储介质 Active CN107977666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711294918.1A CN107977666B (zh) 2017-12-08 2017-12-08 目标轮廓提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711294918.1A CN107977666B (zh) 2017-12-08 2017-12-08 目标轮廓提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN107977666A CN107977666A (zh) 2018-05-01
CN107977666B true CN107977666B (zh) 2020-04-21

Family

ID=62009464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711294918.1A Active CN107977666B (zh) 2017-12-08 2017-12-08 目标轮廓提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN107977666B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109343A1 (zh) * 2017-12-08 2019-06-13 深圳先进技术研究院 目标轮廓提取方法、装置、设备及存储介质
CN110827967A (zh) * 2019-11-14 2020-02-21 邓莉 药房空间占用比例鉴定平台、方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800088A (zh) * 2012-06-28 2012-11-28 华中科技大学 超声颈动脉斑块自动分割方法
CN102982547A (zh) * 2012-11-29 2013-03-20 北京师范大学 自动初始化的局域活动轮廓模型心脑血管分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009088963A2 (en) * 2008-01-02 2009-07-16 Bio-Tree Systems, Inc. Methods of obtaining geometry from images
WO2012061669A2 (en) * 2010-11-05 2012-05-10 Cytognomix,Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
US9943277B2 (en) * 2014-04-02 2018-04-17 International Business Machines Corporation Detecting coronary stenosis through spatio-temporal tracking
CN105976384A (zh) * 2016-05-16 2016-09-28 天津工业大学 基于GVF Snake模型的人体胸腹腔CT图像主动脉分割方法
CN106796725B (zh) * 2016-10-11 2020-06-05 中国科学院深圳先进技术研究院 一种血管脊线追踪方法及装置
CN107330935B (zh) * 2017-05-24 2021-02-26 中国科学院深圳先进技术研究院 一种管状目标中心线的提取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800088A (zh) * 2012-06-28 2012-11-28 华中科技大学 超声颈动脉斑块自动分割方法
CN102982547A (zh) * 2012-11-29 2013-03-20 北京师范大学 自动初始化的局域活动轮廓模型心脑血管分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Segmentation and 3D Visualization of TntraVascular Ultra-sound Image》;Shivakumar s.;《ResearchGate》;20111231;全文 *
《复杂背景下的中心线提取算法》;卢琪;《知网》;20150715(第07期);全文 *

Also Published As

Publication number Publication date
CN107977666A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
US7680312B2 (en) Method for knowledge based image segmentation using shape models
Petit et al. Tracking elastic deformable objects with an RGB-D sensor for a pizza chef robot
JP2021530061A (ja) 画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体
Shi et al. Direct mapping of hippocampal surfaces with intrinsic shape context
Tran et al. Image segmentation using fuzzy energy-based active contour with shape prior
Wang et al. Enhanced distance regularization for re-initialization free level set evolution with application to image segmentation
CN107563323A (zh) 一种视频人脸特征点定位方法
CN105184766A (zh) 一种频域边界能量模型的水平集图像分割方法
Chen et al. Vessel attachment nodule segmentation using integrated active contour model based on fuzzy speed function and shape–intensity joint Bhattacharya distance
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
Yan et al. Medical image segmentation using minimal path deformable models with implicit shape priors
CN107507189A (zh) 基于随机森林与统计模型的小鼠ct图像肾脏分割方法
CN107977666B (zh) 目标轮廓提取方法、装置、设备及存储介质
Abd El Munim et al. A shape-based segmentation approach: An improved technique using level sets
US7773806B2 (en) Efficient kernel density estimation of shape and intensity priors for level set segmentation
WO2019109343A1 (zh) 目标轮廓提取方法、装置、设备及存储介质
Li et al. A SVM-based framework for autonomous volumetric medical image segmentation using hierarchical and coupled level sets
Tian et al. A flexible 3D cerebrovascular extraction from TOF-MRA images
CN108665470B (zh) 一种交互式轮廓提取方法
Zhang et al. Unsupervised Deformable Image Registration with Structural Nonparametric Smoothing
Arrate et al. Diffeomorphic active contours
Rahman et al. Tensor-enhanced shock energy-driven active contours: A novel approach for knowledge-based image segmentation
Lan et al. Improved snake model algorithm with application in liver image segmentation
Taron et al. Uncertainty-driven non-parametric knowledge-based segmentation: The corpus callosum case
Paragios et al. On the representation of shapes using implicit functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250827

Address after: Room office building No. 1068 Shenzhen Institute of advanced technology A-301 518000 in Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue

Patentee after: Shenzhen shen-tech advanced Cci Capital Ltd.

Country or region after: China

Address before: 1068 No. 518055 Guangdong city in Shenzhen Province, Nanshan District City Xili University School Avenue

Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20251028

Address after: 518000Guangdong ProvinceShenzhen CityLuohan DistrictQingshuihe StreetQingshuihe CommunityNo.7 Qingshuihe Third RoadZhonghai Huizhi BuildingBuilding 11A2601

Patentee after: Shenzhen China Europe Innovative Medicine and Health Research Center Co.,Ltd.

Country or region after: China

Address before: Room office building No. 1068 Shenzhen Institute of advanced technology A-301 518000 in Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue

Patentee before: Shenzhen shen-tech advanced Cci Capital Ltd.

Country or region before: China