CN101836236B - 多模态软组织成像的闭环配准控制 - Google Patents

Abstract

由定位器和配准单元(30)将来自存储器(20)的3D超声图像与来自存储器(12)的3D诊断图像进行比较，所述定位器和配准单元确定将所述3D诊断图像和超声体积图像进行配准的基线变换(T_基线)。由超声传感器(22)对靶区域进行持续检查，所述超声传感器生成一系列实时2D或3D超声图像或其他较低分辨率的图像。定位器和配准单元(30)将一个或一组2D超声图像与3D超声图像进行比较以确定运动校正变换(T运动)。图像调节处理器或程序(32)用基线变换(T_基线)和运动校正变换(T_运动)对3D诊断体积图像进行操作以生成在适当的显示器(74)上显示的经运动校正的图像。

Description

多模态软组织成像的闭环配准控制

本申请涉及诊断成像技术。其在与靶前列腺活组织检查和治疗的结合使用中具有特别的应用，其中，用超声实时监测活检针的前进，并且将实时超声图像与之前生成的诸如MR或CT图像的诊断图像进行配准，并且将特别参考其进行描述。然而，应该理解，本技术也可以被应用于肾脏、其他器官、其他类型的软组织以及其他成像模态。

前列腺癌是最常见的非皮肤癌症，并且为美国人中癌症死亡的第二主要原因。由于直肠超声(TRUS)引导的针活检的实时特性、低花费以及简易性，其是用于诊断前列腺癌的最经常使用的方法。然而，使用超声检测前列腺癌受到其相对差的图像质量以及其对前列腺癌及其他癌症的低灵敏度的限制。即：超声图像提供了癌症组织和相邻组织之间的很小(如果存在的话)的区别。缺乏前列腺癌和其他癌症的超声可见度导致了有关潜在的癌症组织实际上是否被活检的不确定性。据估计，TRUS引导的活检在近似20％的案例中不能正确地检测前列腺癌的存在。

诸如磁共振成像的其他成像模态提供了前列腺组织和癌组织的优越的区别。然而，磁共振成像花费大，通常是非实时的，并且笨拙或难于使用，使得其不能被用于日常的活检引导。

磁共振图像和超声图像被融合或配准。然而，由于分辨率、清晰性以及解剖标记的特性不同、对比度的不同、图像性质的不同以及磁共振图像和超声图像之间的其他不同，实时超声图像和体积MR图像的可靠自动配准被证明是难于使用的。没有结合、并行或融合显示的简单视觉比较是今天用于在实时超声引导过程中使用预采集磁共振图像的黄金标准。

本申请描述了克服了这些问题和其他问题的新的以及改进的装置和方法。

根据一个方面，提供了图像配准装置。诊断体积图像存储器接收由扫描器生成的靶区域的3D诊断体积图像。超声体积图像存储器存储靶区域的3D超声体积图像。定位器和配准单元确定将靶区域的3D诊断体积图像与3D超声图像配准的基线变换。图像调节处理器根据基线变换调节诊断体积图像的至少所选部分。

根据另一方面，提供了将靶区域的3D诊断体积图像与靶区域的3D超声体积图像进行半自动配准的方法。将沿第一维度或维度的子集进行的配准自动最优化。提供了描述在第一维度配准的3D诊断图像和3D超声体积图像的显示。接收到对配准的手动调节或者操作者对配准的批准中的至少一个。针对多个附加维度的每个重复这些步骤。确定将3D诊断体积图像与3D超声体积图像进行配准的基线变换。

根据另一方面，提供了一种图像配准方法。对靶区域的3D诊断体积图像和靶区域的3D超声体积图像进行配准以生成将3D诊断图像和超声体积图像变换为配准的基线变换。生成一系列实时超声图像。将实时超声图像与3D诊断图像进行配准以生成运动校正变换，所述运动校正变换将3D超声体积图像的至少一部分与实时超声图像进行配准。用基线变换和运动校正变换对3D诊断体积图像的至少对应部分进行操作以将3D诊断体积图像的所述至少对应部分与实时超声图像进行配准。

一个优势在于其便于磁共振和超声图像的精确或半自动基线配准。

本申请的另一个优势在于超声图像和例如磁共振或CT图像的三维体积图像的实时外科手术中的配准。

另一优势在于软组织活检的改进的引导精度。

另一优势在于图像融合的精度仅由图像配准确定，其不依赖于跟踪系统。

另一优势在于融合精度不受跟踪系统的电磁场的金属失真影响。

另一优势在于系统不需要用于配准的任何基准。

本领域的技术人员在阅读并理解下述说明书之后其他的优势和优点将变得明显。

本发明以各种组件及组件的布置、各种步骤及步骤的安排的形式实现。附图仅用于示出优选实施例，而不应该被认为是限制本发明。

图1为闭环配准控制的示意图；

图2为半自动图像配准处理的示意图；以及

图3描述了实时图像配准的方法。

参照图1，诸如磁共振(MR)图像或CT图像的靶区域的3D诊断体积图像由扫描器10生成并被存储在诊断体积图像存储器12中。在活检过程之前生成靶区域的3D诊断体积图像。尽管按照3D图像进行描述，但也可以考虑4D或者更高维度的图像。例如，周期性运动的器官的图像可以以四维的形式生成，第四维为时间或周期中的位置。3D诊断体积图像可以例如在磁共振成像系统中在活检过程刚刚之前，在活检过程几小时、几天或几周之前，或者甚至几个月或更长时间之前被生成。最优地，3D诊断体积图像在与患者在活检过程中所在的物理位置相同的位置中生成。相同区域的3D超声体积图像，优选地患者在相同位置，在过程的准备中生成并被存储在超声体积图像存储器20中。在一个实施例中，使用二维超声扫描器22生成多个二维超声图像，并编制成3D超声体积图像。使用相同的扫描器生成3D超声体积图像以及二维实时图像有利的，这是因为其提供了来自超声传感器的共同位置的固有对准特征。

定位器和配准单元30与诊断体积图像存储器12以及超声体积图像存储器20相连接以从其中接收对应的3D体积图像。定位器和配准单元以及配准确定将3D诊断体积图像与3D超声体积图像进行配准的基线变换T_基线。基线变换描述了可以在3D诊断体积图像上操作以将其变换为与3D超声体积图像完全对准。为图像调节处理器或程序32提供基线变换，所述基线变换将3D诊断体积图像或其一部分变换为与3D超声体积图像配准。该配准可以被迭代地执行，直到生成最优的基线变换。

定位器和配准单元30包括一个或多个处理器34，对所述处理器进行编程以执行自动或半自动配准方法。定位器和配准单元与用于显示叠加图像的显示器36以及诸如鼠标或键盘的操作输入设备38相连接，以接收来自临床医生的、用于在手动或半自动配准过程中改进叠加图像的配准的指令。

可以使用各种定位技术确定基线变换。这可以为手动技术、自动技术或半自动技术。图2描述了有利的半自动技术。图2的技术沿着每个维度或者维度的小的子集独立地执行对准，而非试图在所有维度将3D诊断体积图像与3D超声体积图像同时对准，这趋向于落入局部最小值。

当配准处理开始40时，自动配准处理42沿例如，x维度的一个维度优化配准。该优化可以基于各种相似性测量的任意一个，诸如：基于表面的配准、基于图像的配准、基于相互信息的配准、基于相关比率的配准或其他相似性测量。一旦自动配准处理器确定所提出的优化配准，处理器回顾配准、如果必要的话执行手动调节44，并批准第一维配准。以下一维度的自动优化重复这一处理，例如y维度48，如果必要的话，手动调节，并批准50。类似地，执行沿着第三平移优化维度(例如z维度)的自动优化52，执行任何适当的手动调节44，并批准平移52。在下一维度配准中，关于一个维度例如，关于x轴执行自动旋转优化54。如果必要的话，执行手动调节44并批准配准。针对旋转优化56、58关于其他维度，例如，y和z维度重复这一相同的处理，如果需要的话进行手动调节44，并批准配准60、62。任选地，可以执行附加维度中的附加配准，诸如放大/缩小、非刚性配准等。如果必要的话，再次手动调节每个这样的附加维度配准，并且由临床医生批准。如果临床医生满意所配准的图像，配准完成64。如果临床医生认为配准可以被改进，临床医生将配准发送66回开始40并重复该处理。该处理可以被迭代直到临床医生对所述对准满意。应该注意，在每个迭代或者在相同迭代的不同维度中，可以使用不同的相似性测量。在沿着任一维度的自动对准之后，临床医生可以确定由自动配准处理使用的相似性测量不是最优化地起作用，选择不同的相似性测量，并沿着该维度再次重新运行自动配准处理。作为另一替代，可以每次关于多于一个维度或参数，例如，要被配准的维度的子集执行配准优化。作为另一替代，在最初或者在迭代过程中可以跳过一些配准维度。要跳过的决定可以被手动输入或者基于所限定的或用户优先的设定。

再次参照图1，在超声引导活检过程中，实时超声扫描器22在活检过程中生成一系列实时二维超声图像。这些2D实时超声图像任选地被存储在缓存器70中。实际上为厚片的每个单独切片或切片组被传送到定位器和配准单元30。定位器和配准单元30将来自二维实时超声扫描器22的切片或厚片超声图像与来自超声体积图像存储器20的3D超声体积图像的对应部分进行配准，并确定将这两个超声图像进行配准的对应的运动校正变换T_{运 动}。这样，随着例如，由于活检针的前进而导致的靶区域中的组织的运动或变形，定位器和配准单元30确定运动校正变换T_运动，所述运动校正变换将3D超声体积图像的对应部分变换为与(一个或多个)实时超声图像配准。

由于定位器和配准单元30将超声图像与超声图像进行对比，因此具有可以在自动配准处理中成功使用的各种相似性测量，诸如上面列出的相似性测量。

随着每个实时超声图像的生成，将其实时传送到图像融合器72。根据实时超声扫描器22的几何形状，实时超声扫描器确定相对于每个实时2D或切片超声图像的靶区域的几何形状和定位。这一切片信息被发送到图像调节处理器32，所述图像调节处理器引起图像变换处理器利用基线变换T_基线和刚刚确定的运动校正变换T_运动对3D诊断体积图像的对应切片或其他部分进行检索和变换。3D诊断体积图像的经变换的切片或其他部分被传送到融合器72。这样，将3D诊断体积图像的对应部分变换为与每个实时超声切片或2D图像实时对准。该融合图像被传送到显示器74用于示出。

在每个实时超声图像之后、在预先选定数量的实时超声图像之后、或者在操作者需要更新运动校正变换时，可以生成运动校正变换T_运动。

由于定位器和配准单元30确定运动校正变换，其也确定3D超声体积图像和实时超声图像之间的相似性的测量。该相似性测量由视频显示处理器76转换为适当的形式用于在显示器74上显示。该相似性测量可以在图形显示器80上显示，所述图形显示器80从低到高移动以指示当前相似度。可替代地，可以将相似性测量显示为数字或百分数。作为另一选择，相似性测量与阈值84进行比较82。如果相似性测量变得不相似并且超出预先选择的阈值，将警告传送给执行该活检的技师。任意地，显示可以为出现在显示器74上的闪烁或有颜色的警示光86的形式。

参照图3，生成90诸如MR或CT图像的3D诊断体积图像。生成92多个2D超声图像并将所述2D超声图像合并入3D超声体积图像94。将3D诊断体积图像和3D超声体积图像进行配准96以生成基线变换T_基线。在一个实施例中，根据上述图2的方法执行配准处理。生成98一系列实时超声图像。每个实时超声图像或实时超声图像组与3D超声体积图像或其对应部分进行配准100以形成运动校正变换T_运动。根据基线和运动校正变换对3D诊断体积图像或对应于实时超声图像的部分进行变换102。每个实时超声图像与经变换的3D诊断体积图像104的对应部分进行融合。应该理解，来自3D诊断体积图像的切片不被限定于正交切片，而是包括斜切片等。可考虑非平面切片或厚片。每个实时超声图像被显示106为与3D诊断图像的对应部分进行融合。

任选地，实时的且3D的超声体积图像的配准100也生成同样被显示的指示相似性测量的信号。作为另一选择，相似性测量与阈值108进行比较，并且，如果相似性测量是不相似的并且超出所述阈值，在显示步骤106向临床医生显示警告。

本发明还参照优选实施例进行描述。其他人在阅读并理解上述说明书的时候可以想到修改和改变。旨在将本发明解释为包括这些修改和改变，只要所述修改和改变包括在权利要求及其等价物的范围内。

Claims (15)

1.一种图像配准装置，包括：

诊断体积图像存储器（12），其接收由扫描器（10）生成的靶区域的3维或更高维度的诊断体积图像；

超声体积图像存储器（20），其存储所述靶区域的3维或更高维度的超声体积图像；

定位器和配准单元（30），其确定将所述靶区域的所述诊断体积图像与所述超声体积图像进行配准的基线变换（T_基线），其中，所述定位器和配准单元（30）包括处理器（34）和用户界面（36、38），所述处理器关于多个维度的每个迭代地施加自动配准，并且，通过所述用户界面对所述自动配准进行回顾、必要时进行调节、以及批准；

图像调节处理器（32），其根据所述基线变换（T_基线）至少调节所述诊断体积图像的选定部分；

实时超声扫描器（22），其生成2维或更高维度的实时图像；

所述定位器和配准单元（30）还确定运动校正变换（T_运动），所述运动校正变换将来自所述实时超声扫描器的实时超声图像与来自所述超声体积图像存储器（20）的所述超声体积图像进行配准；

所述图像调节处理器（32）接收所述运动校正变换（T_运动），并利用所述基线变换（T_基线）和所述运动校正变换（T_运动）至少调节所述诊断体积图像的一部分，以至少将所述诊断体积图像的对应部分与所述实时超声图像进行配准。

2.根据权利要求1所述的装置，其中，所述定位器和配准单元（30）包括：

空间跟踪系统，其确定在过程中的采集所述超声体积图像期间以及采集所述2D或更高维度的实时图像期间的所述实时超声扫描器（22）的2D或3D探头的空间位置和取向，其中，所述空间跟踪系统包括电磁、光学或超声跟踪系统，并且所述实时超声扫描器包括具有2D或3D超声探头的超声扫描器。

3.根据权利要求1所述的装置，其中，所述实时超声扫描器（22）生成一系列所述实时2D超声图像，2D图像定位信号被传送到所述图像调节处理器（32）用于识别所述诊断体积图像中要根据所述基线变换和所述运动校正变换（T_基线、T_运动）而被调节的所述部分。

4.根据权利要求3所述的装置，其中，将所述实时超声扫描器（22）和所述定位器和配准单元（30）连接到所述超声体积图像存储器（20）以将多个2D超声图像传送到所述超声体积图像存储器用于编制成所述超声体积图像。

5.根据权利要求1所述的装置，还包括：

图像融合器（72），其将每个实时2D超声图像与所述诊断体积图像的所述对应的经变换的部分融合为融合图像；

显示器（74），其显示所述融合图像；以及

缓冲存储器（70），其对多个所述实时2D超声图像进行缓冲，所述定位器和配准单元（30）将所存储的多个实时2D超声图像与所述超声体积图像进行配准以生成所述运动校正变换（T_运动），从而使得在多个实时2D超声图像生成之后所述运动校正变换进行更新。

6.根据权利要求1所述的装置，其中，所述定位器和配准单元（30）还生成指示经配准的实时超声图像和所述超声体积图像之间的相似性程度的相似性测量信号。

7.根据权利要求2所述的装置，其中，所述定位器和配准单元（30）包括被编程为执行下述方法的一个或多个计算机处理器（34）：

（a）优化沿着第一维度或维度子集的配准；

（b）呈现描述在所述第一维度配准的所述诊断体积图像和所述超声体积图像的显示器（36）；

（c）从操作者输入设备（38）接收对所述配准的手动调节和操作者对所述配准的批准中的至少一个；

（d）针对多个附加维度的每个重复步骤（a）-（c）；以及

（e）迭代地执行步骤（a）-（d）。

8.一种将靶区域的3维或更高维度的诊断体积图像与所述靶区域的3维或更高维度的超声体积图像进行半自动配准的方法，所述方法包括：

（a）自动优化沿着第一维度或维度子集的配准；

（b）呈现描述在所述第一维度配准的所述诊断体积图像和所述超声体积图像的显示器；

（c）接收对所述配准的手动调节和操作者对所述配准的批准中的至少一个；

（d）针对多个附加维度的每个重复步骤（a）-（c）；以及

（e）确定将所述诊断体积图像与所述超声体积图像进行配准的基线变换（T_基线）。

9.根据权利要求8所述的方法，还包括：

生成所述靶区域的一系列实时超声图像；

将所述实时超声图像与所述超声体积图像进行配准以确定其间的运动校正变换（T_运动）；

利用所述基线变换（T_基线）和所述运动校正变换（T_运动）至少对所述诊断体积图像的一部分进行操作以将所述诊断体积图像的对应部分变换为与所述实时超声图像配准。

10.根据权利要求9所述的方法，还包括：

将每个实时超声图像与所述诊断体积图像的所述对应的经变换部分进行融合以形成融合图像；以及

显示所述融合图像。

11.根据权利要求9所述的方法，其中，将所述实时超声图像与所述超声体积图像进行配准的所述步骤还生成相似性测量，并且所述方法还包括：

生成所述相似性测量的显示（80、82）。

12.一种用于图像配准的方法，包括：

将靶区域的3维或更高维度的诊断体积图像与所述靶区域的3维或更高维度的超声体积图像进行配准，以生成基线变换（T_基线），所述基线变换将所述诊断体积图像和所述超声体积图像变换为配准；

生成一系列实时超声图像；

将所述实时超声图像与所述超声体积图像进行配准以生成运动校正变换（T_运动），所述运动校正变换至少将所述超声体积图像的一部分与所述实时超声图像变换为配准；

利用所述基线变换（T_基线）和所述运动校正变换（T_运动）至少对所述诊断体积图像的对应部分进行操作以至少将所述诊断体积图像的所述对应部分与所述实时超声图像进行配准。

13.根据权利要12所述的方法，还包括：

将每个实时超声图像与所述诊断体积图像的对应部分进行融合以生成融合图像，其中已经由所述基线变换（T_基线）和所述运动校正变换（T_运动）对所述对应部分进行了操作；以及

显示所述融合图像。

14.根据权利要求12所述的方法，还包括：

对多个所述实时超声图像进行缓冲；

将经缓冲的多个实时超声图像作为组与所述超声体积图像进行配准以生成所述运动校正变换（T_运动）。

15.一种用于图像配准的装置，包括：

用于将靶区域的3维或更高维度的诊断体积图像与所述靶区域的3维或更高维度的超声体积图像进行配准，以生成基线变换（T_基线）的模块，所述基线变换将所述诊断体积图像和所述超声体积图像变换为配准；

用于生成一系列实时超声图像的模块；

用于将所述实时超声图像与所述超声体积图像进行配准以生成运动校正变换（T_运动）的模块，所述运动校正变换至少将所述超声体积图像的一部分与所述实时超声图像变换为配准；

用于利用所述基线变换（T_基线）和所述运动校正变换（T_运动）至少对所述诊断体积图像的对应部分进行操作以至少将所述诊断体积图像的所述对应部分与所述实时超声图像进行配准的模块。

Images