CN116917942A - 使用所分割的输入进行计算机断层扫描到透视的配准 - Google Patents

Abstract

根据本公开的实施方案的一种方法包括：接收患者的计算机断层扫描(CT)图像；从该CT图像分割第一组解剖元素；接收该患者的多个透视图像；从该多个透视图像分割第二组解剖元素；以及基于所分割的第一组解剖元素和所分割的第二组解剖元素创建该CT图像与该多个透视图像之间的配准。

Description

使用所分割的输入进行计算机断层扫描到透视的配准

技术领域

本技术整体涉及医学成像，并且更具体地涉及医学图像的配准。

背景技术

图像引导可用于人工、机器人辅助和/或全自动手术。至少一些图像引导技术需要对术前图像(可用于规划手术)与一个或多个术中图像(可例如用于确定患者在导航坐标空间或其他相关参考系内的地点)进行配准。通过配准将术前图像与一个或多个术中图像相关联使得在一个图像(例如，术前图像)中指定的精确解剖位置能够在另一个图像(例如，一个或多个术中图像中的一个术中图像)进行标识。

发明内容

本公开的示例性方面包括：

根据本公开的至少一个实施方案的方法包括：接收患者的计算机断层扫描(CT)图像；从该CT图像分割第一组解剖元素；接收该患者的多个透视图像；从该多个透视图像分割第二组解剖元素；以及基于所分割的第一组解剖元素和所分割的第二组解剖元素创建该CT图像与该多个透视图像之间的配准。

根据本文中的各方面中的任一方面，其中该分割该第二组解剖元素还包括确定第一解剖元素与第二解剖元素重叠。

根据本文中的各方面中的任一方面，其中该第一解剖元素是椎骨，并且该第二解剖元素是肋骨。

根据本文中的各方面中的任一方面，其中该确定包括在该多个透视图像中的至少一个透视图像中检测该第二解剖元素的边界内的梯度线。

根据本文中的各方面中的任一方面，该方法还包括从该多个透视图像中的至少一个透视图像中减去与该第一解剖元素相对应的像素。

根据本文中的各方面中的任一方面，其中该减去基于关于该第一解剖元素或该第二解剖元素中的至少一者的预期形状的信息。

根据本文中的各方面中的任一方面，其中创建该配准包括将与该第一组解剖元素中的至少一个解剖元素相对应的至少一个第一梯度和与该第二组解剖元素中的至少一个解剖元素相对应的至少一个第二梯度进行匹配。

根据本文中的各方面中的任一方面，该方法还包括从该多个透视图像中的至少一个透视图像去除一条或多条梯度线。

根据本文中的各方面中的任一方面，其中该第一组解剖元素包括髌骨或软组织解剖元素中的至少一者。

一种根据本公开的至少一个实施方案的系统包括：处理器；和存储器，该存储器存储指令，该指令在由该处理器执行时使该处理器：接收患者解剖结构的三维(3D)图像；从该3D图像分割第一组解剖元素；使成像装置捕获该患者解剖结构的一个或多个二维(2D)图像；从该一个或多个2D图像分割第二组解剖元素；通过从该一个或多个2D图像中的每个2D图像去除至少一条梯度线来清理该一个或多个2D图像；以及基于所分割的第一组解剖元素和所分割的第二组解剖元素将该一个或多个经清理的2D图像配准到该3D图像。

根据本文中的各方面中的任一方面，其中该分割包括确定第一解剖元素与第二解剖元素重叠。

根据本文中的各方面中的任一方面，其中该分割基于关于该第一解剖元素或该第二解剖元素中的至少一者的预期形状的信息。

根据本文中的各方面中的任一方面，其中该至少一条梯度线位于该第二组解剖元素中的解剖元素中。

根据本文中的各方面中的任一方面，其中对所分割的第二组解剖元素的分割还包括限定围绕至少一个解剖组织的边界。

根据本文中的各方面中的任一方面，该系统还包括从所分割的第二组解剖特征中减去与该至少一个解剖组织相对应的像素。

根据本文中的各方面中的任一方面，其中该边界限定指示该至少一个解剖组织与所分割的第二组解剖元素的解剖对象之间的重叠的区域。

根据本文中的各方面中的任一方面，其中该分割还包括识别与该第一组解剖元素中的每个解剖元素相关联的一条或多条梯度线。

根据本文中的各方面中的任一方面，其中该3D图像和该一个或多个2D图像省略了基准的使用。

一种根据本公开的至少一个实施方案的系统包括：处理器；成像装置；和存储器，该存储器在其上存储指令，该指令在由该处理器执行时使该处理器：接收三维(3D)图像；使该成像装置捕获一个或多个二维(2D)图像；从该3D图像分割第一组解剖元素；从该一个或多个2D图像中的每个2D图像分割第二组解剖元素，该分割包括限定第一解剖对象的边界；从该一个或多个2D图像中的至少一个2D图像去除该第一解剖对象，以产生一个或多个经清理的2D图像；基于所分割的第一组解剖元素和所分割的第二组解剖元素将该一个或多个经清理的2D图像配准到该3D图像。

根据本文中的各方面中的任一方面，其中该去除该第一解剖对象还包括从该一个或多个2D图像中的该至少一个2D图像减去与该第一解剖对象相对应的像素。

根据本文中的各方面中的任一方面，其中该3D图像是CT扫描、MRI扫描或超声波。

根据本文中的各方面中的任一方面，其中该一个或多个2D图像是透视图像、MRI图像或超声图像。

任何方面与任一个或多个其他方面组合。

本文所公开特征中的任一个或多个。

本文大体上公开特征中的任一个或多个。

本文大体上公开的特征中的任一个或多个与本文大体上公开的任一个或多个其他特征组合。

方面/特征/实施方案中的任一个与任一个或多个其他方面/特征/实施方案组合。

使用本文所公开的方面或特征中的任一个或多个。

应当了解，本文所述的任何特征可与如本文所述的任何其他特征组合来要求保护，而不管特征是否来自同一描述的实施方案。

本公开的一个或多个方面的细节在以下附图和说明书中示出。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目的和优点将显而易见。

短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中一者意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，或A、B和C一起。当上述表述中的A、B和C中的每一者都指诸如X、Y和Z的一个元素或诸如X₁-X_n、Y₁-Y_m和Z₁-Z_o的一类元素时，短语意图指选自X、Y和Z的单个元素、选自同一类的元素(例如，X₁和X₂)的组合以及选自两类或更多类的元素(例如，Y₁和Z_o)的组合。

术语“一”实体是指一个或多个该实体。因此，术语“一”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意，术语“包括”和“具有”可以可互换地使用。

前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开及其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不意图确定本公开的关键或重要元素，也不意图划定本公开的范围，而是以简化形式呈现本公开的选定概念，作为对下文呈现的更详细描述的介绍。如应当了解的，本公开的其他方面、实施方案和配置可能单独或组合地利用上文所阐述或下文所详细描述的特征中的一个或多个。

在考虑下文提供的实施方案描述之后，本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。

附图说明

附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何实施和使用本公开的优选和替代示例，并且这些示例不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细的描述变得显而易见，如通过以下参考的附图所示出。

图1是根据本公开的至少一个实施方案的系统的框图；

图2是根据本公开的至少一个实施方案的流程图；

图3是根据本公开的至少一个实施方案的流程图；

图4是根据本公开的至少一个实施方案的2D透视图像的第一图像；并且

图5是根据本公开的至少一个实施方案的2D透视图像的第二图像。

具体实施方式

应当理解，本文所公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解，取决于示例或实施方案，本文所述的任何过程或方法的某些动作或事件可以不同的顺序执行，和/或可添加、合并或完全省略(例如，根据本公开的不同实施方案，实施所公开技术可能不需要所有描述的动作或事件)。此外，虽然为了清楚起见，本公开的某些方面被描述为由单个模块或单元执行，但应当理解，本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。

在一个或多个示例中，所描述的方法、过程和技术可在硬件、软件、固件或它们的任何组合中实施。如果在软件中实施，则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。计算机可读介质可包括非暂时性计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，RAM、ROM、EEPROM、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。

指令可由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如，Intel Core i3、i5、i7或i9处理器；Intel Celeron处理器；Intel Xeon处理器；Intel Pentium处理器；AMD Ryzen处理器；AMD Athlon处理器；AMD Phenom处理器；Apple A10或10X Fusion处理器；Apple A11、A12、A12X、A12Z或A13 Bionic处理器；或任何其他通用微处理器)、图形处理单元(例如，Nvidia GeForce RTX 2000系列处理器、NvidiaGeForce RTX 3000系列处理器、AMD Radeon RX 5000系列处理器、AMD Radeon RX 6000系列处理器或任何其他图形处理单元)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，如本文所用的术语“处理器”可指前述结构或适合于实施所描述的技术的任何其他物理结构中的任一种。另外，本技术可在一个或多个电路或逻辑元件中完全实施。

在详细地解释本公开的任何实施方案之前，应当理解，本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或实施。另外，应当理解，本文所用的措词和术语是出于描述的目的，而不应被视为是限制性的。本文中使用“包括”、“包含”或“具有”及其变化形式意在涵盖其后列出的项目及其等效物，以及额外项目。此外，本公开可使用示例来示出其一个或多个方面。除非另有明确说明，否则使用或列出一个或多个示例(其可由“例如”、“借助于示例”、“诸如”或类似语言指示)不意图且并不限制本公开的范围。

对于配准，诸如计算机断层扫描(CT)和术中透视图像的图像可能是嘈杂的并且可能会描绘或反映沿X射线源与用于捕获图像的探测器之间的线的多个叠加的解剖元素。换句话说，当需要患者脊柱的图像时，脊柱的透视图像也可能会描绘患者的胸腔和/或沿X射线源与探测器之间的线定位的任何其他解剖元素中的部分或全部解剖元素，使得患者脊柱的一个或多个方面在图像中可能会模糊或不太清晰。对于在拍摄身体质量指数(BMI)较高的个体的图像或在拍摄复杂解剖结构的图像时，情况尤其如此。图像中的噪声和叠加视图可能会增加图像配准的难度(因为可能难以跨多个图像精确标识匹配梯度或其他特征)，并且可能造成附加的时间成本，使用户感到沮丧和/或导致外科手术推迟或取消。

图4至图5描绘了诸如可能在术中获得的描绘患者的重叠解剖结构的用于配准过程的示例2D透视图像。在图4中，肋骨408与骨骼404重叠，导致骨骼404的边界内出现与骨骼404不对应的梯度412。类似地，图像中的每个肋骨408都与图像中的椎骨416重叠，从而产生定位在对应椎骨416的外部边界内的梯度420。在例如使用梯度匹配技术将透视图像400中的椎骨与术前CT扫描或其他图像中的椎骨进行配准时，梯度412和/或梯度420可能会增加完成配准所需的时间(通过增加图像中必须分析和考虑可能匹配的梯度的数量)，同时降低配准准确度(例如，如果梯度412和/或梯度420被错误地标识为与椎骨416的边缘相对应)。为解决这些问题并改进配准过程和结果，可使用本文所述的方法中的一种或多种方法(和/或它们的一个或多个方面)(例如，方法200和/或方法300)去除梯度412和/或梯度420。

图5描绘根据本公开的至少一个实施方案的示出肋骨504与椎骨508之间的重叠的另一个2D透视图像500。图像500中肋骨504与椎骨508之间的重叠产生落入椎骨508的外部边界内的梯度512。如上所述，梯度512的出现可能会对配准过程产生负面影响，特别是在配准过程使用梯度匹配技术将2D透视图像和术前CT扫描或其他图像中的对应椎骨对准的情况下。本文公开的一种或多种方法(和/或它们的一个或多个方面)可用于去除或减少图像500中梯度512的出现，从而改进配准。

本公开的实施方案允许外科医生更好地确认配准、改进配准的初始猜测、减少足以完成外科手术或手术任务的配准迭代的次数，以及减少配准过程所需的时间量以及造成的挫折感。

根据本公开的至少一些实施方案，在CT扫描图像和一个或多个透视图像中的每一者中分割一个或多个椎骨。也可分割患者解剖结构中与图像中的椎骨(例如，肋骨)重叠的部分。然后可从图像中去除该部分(例如，产生清理的图像)，并且可(使用清理的图像)在CT图像中的椎骨与透视图像中的椎骨之间进行配准。然后外科医生可批准或拒绝所分割的配准版本。

本公开的实施方案提供了针对以下问题中的一个或多个问题的技术解决方案：清理嘈杂的术中外科手术图像；提高自主、半自主和/或其他图像引导的外科手术或外科规程的配准准确度；减少在手术室中完成配准所需的时间(从而节约手术室资源)；降低配准失败率；以及/或者提高外科医生对配准过程的可见性。

转到图1，示出了根据本公开的至少一个实施方案的系统100的框图。系统100可用于促进外科手术或外科规程的配准；清理一个或多个图像(例如，去除一个或多个图像中的噪声或图像伪影)；和/或执行本文中所公开的方法中的一种或多种的一个或多个其它方面。系统100包括计算装置102、一个或多个成像装置112、机器人114、导航系统118、数据库130和/或云或其它网络134。根据本公开的其他实施方案的系统可包括比系统100更多或更少的部件。例如，系统100可以不包含成像装置112、机器人114、导航系统118、计算装置102中的一个或多个组件、数据库130和/或云134。

计算装置102包括处理器104、存储器106、通信接口108和用户界面110。根据本公开的其他实施方案的计算装置可包括比计算装置102更多或更少的部件。

计算装置102的处理器104可为本文所述的任何处理器或任何类似的处理器。处理器104可以被配置为执行存储在存储器106中的指令，这些指令可以使处理器104利用或基于从成像装置112、机器人114、导航系统118、数据库130和/或云134接收的数据来执行一个或多个计算步骤。

存储器106可为或包括RAM、DRAM、SDRAM、其他固态存储器、本文所述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形的非暂时性存储器。存储器106可存储可用于完成例如本文所述的方法200和/或300或任何其他方法的任何步骤的信息或数据。存储器106可存储例如一个或多个图像处理算法120、一个或多个分割算法122、一个或多个检测算法124和/或一个或多个配准算法128。在一些实施方案中，此类指令或算法可被组织成一个或多个应用、模块、包、层或引擎。算法和/或指令可以使处理器104操纵存储在存储器106中的和/或从或经由成像装置112、机器人114、数据库130和/或云134接收的数据。

计算装置102也可包括通信接口108。通信接口108可用于从外部源(如成像装置112、机器人114、导航系统118、数据库130、云134和/或不是系统100的部分的任何其它系统或组件)接收图像数据或其它信息，和/或用于将指令、图像或其它信息传输到外部系统或装置(例如，另一计算装置102、成像装置112、机器人114、导航系统118、数据库130、云134和/或不是系统100的部分的任何其它系统或组件)。通信接口108可以包括一个或多个有线接口(例如，USB端口、以太网端口、火线端口)和/或一个或多个无线收发器或接口(被配置成例如经由例如802.11a/b/g/n、蓝牙、NFC、紫峰等一个或多个无线通信协议传输和/或接收信息)。在一些实施方案中，通信接口108可用于使得装置102能够与一个或多个其他处理器104或计算装置102通信，无论是减少完成计算密集型任务所需的时间还是出于任何其他原因。

计算装置102也可包括一个或多个用户界面110。用户界面110可以是或包括键盘、鼠标、轨迹球、监测器、电视、屏幕、触摸屏和/或用于从用户接收信息和/或用于向用户提供信息的任何其它装置。用户界面110可用于例如接收关于本文所描述的任何方法的任何步骤的用户选择或其它用户输入。尽管如此，本文所描述的任何方法的任何步骤的任何所需输入可由系统100(例如，由处理器104或系统100的另一组件)自动生成或由系统100从系统100外部的源接收。在一些实施方案中，用户界面110可用于允许外科医生或其它用户根据本公开的一个或多个实施方案修改待由处理器104执行的指令，和/或修改或调整显示在用户界面110上或与其相对应的其它信息的设置。

尽管用户界面110被示出为计算装置102的一部分，但在一些实施方案中，计算装置102可利用与计算装置102的一个或多个其余部件分开容纳的用户界面110。在一些实施方案中，用户界面110可以接近计算装置102的一个或多个其他部件定位，而在其他实施方案中，用户界面110可以远离计算机装置102的一个或多个其他部件定位。

成像装置112可用于对解剖特征(例如，骨骼、静脉、组织等)和/或患者解剖结构的其它方面进行成像以产生图像数据(例如，描绘或对应于骨骼、静脉、组织等的图像数据)。本文所使用的“图像数据”指代由成像装置112生成或捕获的数据，包含呈机器可读形式、图形/视觉形式和呈任何其它形式的数据。在不同示例中，图像数据可包括与患者的解剖特征或其一部分相对应的数据。图像数据可以是或包括手术前图像、手术期间图像、手术后图像、或独立于任何手术过程拍摄的图像。在一些实施方案中，第一成像装置112可用于在第一时间获得第一图像数据(例如，第一图像)，并且第二成像装置112可用于在第一时间之后的第二时间获得第二图像数据(例如，第二图像)。成像装置112可能够拍摄2D图像或3D图像以产生图像数据。成像装置112可以是或包括例如超声扫描仪(可包括例如物理上分开的传感器和接收器，或单个超声波收发器)；O形臂、C形臂、G形臂或利用基于X射线成像的任何其他装置(例如，透视仪、CT扫描仪或其他X射线机)，这些装置中的任何装置还可包括物理上分开的发射器和探测器；磁共振成像(MRI)扫描仪；光学相干断层扫描(OCT)扫描仪；内窥镜；显微镜；光学相机；热成像相机(例如，红外相机)；雷达系统(可包括例如发射器、接收器、处理器和一个或多个天线)；或适用于获得患者的解剖特征图像的任何其他成像装置112。成像装置112可以完全包含在单个外壳内，或可以包括在单独外壳中或以其它方式物理分离的传输器/发射器和接收器/检测器。

在一些实施方案中，成像装置112可包括多于一个的成像装置112。例如，第一成像装置可以提供第一图像数据和/或第一图像，并且第二成像装置可以提供第二图像数据和/或第二图像。在又其它实施方案中，同一成像装置可用于提供第一图像数据和第二图像数据两者和/或本文所描述的任何其它图像数据。成像装置112可用于生成图像数据流。例如，成像装置112可以被配置成使用打开的快门操作，或者使用在打开与关闭之间连续交替的快门操作，以便捕获连续的图像。出于本公开的目的，除非另外规定，否则如果图像数据表示每秒两个或更多个帧，则可以将图像数据视为连续的和/或提供为图像数据流。

机器人114可以是任何手术机器人或手术机器人系统。机器人114可以是或包括例如Mazor X^TM隐形版机器人引导系统。机器人114可以被配置成将成像装置112定位在一个或多个精确位置和定向，和/或将成像装置112返回到稍后时间点的同一位置和定向。机器人114可以另外地或可替代地被配置为操纵手术工具(无论是否基于来自导航系统118的引导)以完成或辅助手术任务。在一些实施方案中，机器人114可以被配置成在手术过程期间或结合手术过程而保持和/或操控解剖元素。机器人114可包括一个或多个机械臂116。在一些实施方案中，机械臂116可以包括第一机械臂和第二机械臂，但机器人114可以包括多于两个机械臂。在一些实施方案中，机器人臂116中的一个或多个机器人臂可以用于保持和/或操纵成像装置112。在成像装置112包括两个或更多个物理上分离的部件(例如，传输器和接收器)的实施方案中，一个机器人臂116可以保持一个此类部件，并且另一机器人臂116可以保持另一此类部件。每个机器人臂116可以独立于其他机器人臂定位。可以在单个共享坐标空间中或在单独坐标空间中控制机械臂。

机器人114连同机械臂116可以具有例如一个、两个、三个、四个、五个、六个、七个或更多个自由度。进一步地，机器人臂116可以以任何姿态、平面和/或焦点定位或可定位。姿态包含位置和定向。结果，由机器人114保持的(或更具体地说，由机械臂116保持的)成像装置112、手术工具或其它对象可被精确定位在一个或多个所需且特定的位置和定向。

机械臂116可以包括一个或多个传感器，其使得处理器104(或机器人114的处理器)能够确定机械臂(以及由机械臂保持或固定到机械臂的任何对象或元件)在空间中的精确姿态。

在一些实施方案中，参考标记(即，导航标记)可以放置在机器人114(包括例如在机器人臂116上)、成像装置112或手术空间中的任何其他对象上。参考标记可由导航系统118跟踪，并且跟踪的结果可由机器人114和/或由系统100或其任何部件的操作者使用。在一些实施方案中，导航系统118可以用于跟踪系统的其他部件(例如，成像装置112)，并且系统可以在不使用机器人114的情况下操作(例如，外科医生例如基于由导航系统118生成的信息和/或指令手动操控成像装置112和/或一个或多个手术工具)。

在操作期间，导航系统118可以为外科医生和/或手术机器人提供导航。导航系统118可以是任何已知的或未来开发的导航系统，包括例如美敦力公司(Medtronic)StealthStation^TMS8手术导航系统或其任何后续产品。导航系统118可以包含一个或多个相机或其它传感器，用于跟踪操作室或系统100的部分或全部所在的其它房间内的一个或多个参考标记、导航跟踪器或其它对象。一个或多个相机可以是光学相机、红外相机或其它相机。在一些实施方案中，导航系统可以包括一个或多个电磁传感器。在各种实施方案中，导航系统118可以用于跟踪成像装置112、机器人114和/或机器人臂116和/或一个或多个手术工具的位置和定向(即，姿态)(或更具体地说，用于跟踪直接或间接以固定关系附接到前述中的一个或多个的导航跟踪器的姿态)。导航系统118可以包括用于显示来自外部源(例如，计算装置102、成像装置112或其他源)的一个或多个图像或用于显示来自导航系统118的一个或多个相机或其他传感器的图像和/或视频流的显示器。在一些实施方案中，系统100可以在不使用导航系统118的情况下操作。导航系统118可被配置成向外科医生或系统100的其它用户或其组件、向机器人114或系统100的任何其它元件提供关于例如一个或多个解剖元素的姿态、工具是否处于恰当轨迹中和/或如何根据手术前或其它手术规划执行手术任务将工具移动到恰当轨迹中的引导。

系统100或类似系统可用于例如执行本文所描述的方法200和300中的任一种的一个或多个方面。系统100或类似系统还可用于其它目的。

图2描绘方法200，该方法可例如用于将三维图像(例如，CT扫描、MRI扫描或任何其他3D图像)与多个二维图像(例如，多个透视扫描或其他基于X射线的图像、多个超声图像或使用另一个成像模式生成的多个2D图像)进行配准，在配准前已经通过去除在多个二维图像中每个图像中显示的多余伪影或非基本解剖元素对二维图像进行清理。对二维图像进行清理可例如通过减少在配准期间与错配的解剖元素相关联的错误并且减小向例如配准算法提供的或以其他方式在配准算法中使用的可能不正确的初始猜测的数量有利地实现更快和/或更准确的配准。如下文更详细描述的，方法200用于使用例如梯度匹配、像素减法、重叠测量、它们的组合等从多个二维图像中去除噪声和附带的解剖元素。尽管如此，可结合方法200(或本文讨论的任何其他方法)实施附加或替代的图像过滤或处理技术，以促进对多个二维图像的清理。

方法200(和/或其一个或多个步骤)可例如由至少一个处理器实施或以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可以为机器人(诸如机器人114)的一部分或导航系统(诸如导航系统118)的一部分。除本文所描述的任何处理器之外的处理器也可用于执行方法200。至少一个处理器可通过执行存储在诸如存储器106的存储器中的指令来执行方法200。这些指令可对应于下文所描述的方法200的一个或多个步骤。这些指令可使处理器执行一种或多种算法，诸如图像处理算法120、分割算法122、检测算法124和/或配准算法128。

方法200包括接收患者的三维(3D)图像(步骤204)。3D图像可经由用户界面(诸如用户界面110)和/或通信接口(诸如计算装置102之类的计算装置的通信接口108)来接收，并且可存储在存储器(诸如计算装置的存储器106)中。3D图像还可从外部数据库或图像存储库(例如，医院图像存储系统，诸如医学影像存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输电子病历的另一系统)接收，以及/或者经由互联网或其他网络接收。在其他实施方案中，可从成像装置(诸如成像装置112)接收或获得3D图像，该成像装置可以是任何成像装置，诸如MRI扫描仪、CT扫描仪、任何其它基于X射线的成像装置或超声成像装置。3D图像还可由诸如系统100的系统的任何其他组件生成和/或上传到系统的任何其他组件。在一些实施方案中，3D图像可通过系统的任何其他部件或该系统所连接网络的节点间接接收。

3D图像可描绘患者解剖结构或其一部分的3D姿态(例如，位置和定向)。在一些实施方案中，3D图像可在术前(例如，在外科手术之前)捕获并且可存储在系统(例如，系统100)和/或其一个或多个部件(例如，数据库130)中。然后所存储的3D图像可如上所述(例如，由处理器104)在术前(例如，在外科手术之前)和/或术中(例如，在外科手术期间)接收。在一些实施方案中，3D图像还可描绘与患者解剖结构相关联的多个解剖元素，除了目标解剖元素(例如，要进行外科手术或外科规程的肋骨或其他解剖对象)外还包括附带解剖元素(例如，不进行外科手术或外科规程的椎骨或其他解剖对象)。3D图像可包括与患者的解剖结构和/或解剖元素(和/或其部分)相对应的各种特征，包括与所描绘的各种解剖元素的边界和/或轮廓相对应的梯度、与所描绘的各种解剖元素的不同表面纹理相对应的不同强度水平、它们的组合等。3D图像可描绘患者解剖结构的任何部分或部位并且可包括但决不限于一个或多个椎骨、肋骨、肺、软组织(例如，皮肤、肌腱、肌肉纤维等)、髌骨、锁骨、肩胛骨、它们的组合等。

在至少一个实施方案中，3D图像可描绘至少一个椎骨(例如，腰椎骨)的一个或多个视图。在本实施方案中，可规划由系统(例如，系统100)、外科医生、和/或它们的组合对至少一个椎骨进行外科手术或外科规程，例如，利用自主或半自主操作的手术工具对至少一个椎骨进行钻孔、切割、敲击、铰接、锯切、或其他操作。3D图像可以是术前对患者进行的CT扫描(例如，外科手术前一天、外科手术前两天、外科手术前一周等)，并且可包括对至少一个椎骨和至少一个肋骨(和/或至少一个椎骨附近的任何其他解剖元素)的描绘。一旦被接收，CT扫描可如下文所述由系统和/或其部件(例如，计算装置102)用于执行CT扫描与术中捕获的扫描(例如，在诸如透视扫描等外科手术期间捕获的扫描)之间的配准以实现基于图像的引导(例如，使用导航系统118)，从而引导手术工具(可附接到诸如机器人114和/或机械臂116的机器人)执行或辅助外科医生执行外科规程(例如，钻孔到椎骨中)。

在一些实施方案中，方法200可替代地可在步骤204中接收多个2D图像，并且可使用这些2D图像生成患者解剖结构的3D模型(例如，描绘位于患者解剖结构的所描绘区域内的一个或多个解剖元素)。在这些实施方案中，2D图像可在术前或术中(例如，使用诸如成像装置112的成像装置)捕获。2D图像可各种格式(例如，透视、超声波等)捕获，并且例如并且如稍后描述地可用于配准。

方法200还包括从3D图像分割第一组解剖元素(步骤208)。对第一组解剖元素的分割可在术前和/或术中进行，并且分割的结果是标识一个或多个离散的解剖元素。换句话说，分割产生一组在3D图像内具有已知边界的一个或多个解剖元素。因此，例如，相邻的两个椎骨可作为分开的椎骨进行区分，而不是被视为单个解剖元素。另外或可替代地，3D图像的与肋骨相对应的部分也可这样进行标识，并且图像的与椎骨相对应的部分也可这样进行标识。第一组解剖元素是3D图像中描绘的可例如通过本文所述的一个或多个算法进行分组或以其他方式标记为一组的解剖元素(例如，肋骨、椎骨、软组织、器官等)的集合。第一组解剖元素可只包括单一类型的解剖元素(例如，椎骨)，或单一类别的解剖元素(例如，骨解剖结构)或各种解剖元素。在一些实施方案中，第一组解剖元素可同时包括目标解剖元素(对于脊柱外科手术，例如，椎骨)和附带的解剖元素(对于脊柱外科手术，例如，肋骨)。分割可包括利用不同和/或唯一标识符(例如，标记、标签、突出显示等)标识目标解剖元素和附带解剖元素两者。例如，目标解剖元素可用第一颜色突出显示(例如，当在用户界面上显示时)，而附带或无关的解剖元素可用不同于第一颜色的第二颜色突出显示。

在一些实施方案中，步骤208可包括使用处理器(例如，处理器104)和分割算法(例如，分割算法122)来分割3D图像以获得第一组解剖元素。在一些实施方案中，分割算法可选择、裁剪、标识或以其他方式标记第一组解剖元素，使得第一组解剖元素在视觉上和/或图形上可与3D图像的其余部分(例如，不包括在第一组解剖元素中的3D图像部分)区分开来。在一些实施方案中，分割算法可在例如模拟和/或历史数据(例如，来自先前外科手术或外科规程的数据、基于患者先前成像的数据)上进行训练，以接收3D图像并分割3D图像，从而获得或输出第一组解剖元素。

方法200还包括接收患者的多个二维(2D)图像(步骤212)。多个2D图像可从系统(例如，系统100)和/或其部件(例如，数据库130)接收。在一些实施方案中，多个2D图像可在术中捕获(例如，由成像装置112捕获，该成像装置可连接到也可不连接到机械臂116)。多个2D图像可描绘患者解剖结构的一个或多个部分的各种视图(例如，当患者处于俯卧位时患者各种角度的多个2D图像)。与接收到的3D图像类似，多个2D图像中的每个2D图像都可描绘患者解剖结构的多个解剖特征，包括附带解剖特征(例如，与外科手术或手术任务无关的肋骨或其他解剖元素)以及目标解剖特征(例如，要执行外科手术或手术任务的椎骨或其他解剖元素)。然而，与3D图像不同的是，多个2D图像中的每个2D图像都可包括一个或多个“叠加视图”或重叠解剖元素的视图，其中，在任何给定的叠加视图中表示的解剖元素取决于哪些解剖元素位于成像装置的视线内(或者换句话说，对于X射线成像装置，哪些元素沿发射器与探测器之间的线定位)。

在至少一个实施方案中，多个2D图像可描绘至少一个椎骨(例如，腰椎骨)或其他目标解剖元素的一个或多个视图。在本实施方案中，规划要由系统(例如，系统100)、外科医生、和/或它们的组合执行的外科手术或外科规程可重点关注至少一个椎骨。该规划可能需要连接到自主或半自主操作的机械臂的手术工具，以将手术工具定位成对至少一个椎骨进行钻孔、切割、敲击、铰接、锯切、或其他操作。多个2D图像可以是或包括术中(例如，当患者位于手术台上时)拍摄的透视图像，并且可描绘至少一个椎骨的各种视图或角度(例如，在不同角度下，通过使成像装置移动并且以相对于至少一个椎骨的姿态捕获透视图像。

在一些实施方案中，步骤212包括仅接收单个2D图像。在这样的实施方案中，步骤212和方法200的一个或多个方面可(例如，由处理器104)利用单个2D图像而不是多个2D图像来执行。例如，方法200的步骤(诸如下文讨论的分割和配准)可对单个2D图像而不是多个2D图像进行或利用该单个2D图像进行。

方法200还包括从多个2D图像分割第二组解剖元素(步骤216)。从多个2D图像中的每个2D图像分割第二组解剖元素的步骤216可与步骤208类似或相同(例如，使用处理器104和分割算法122)。例如，第二组解剖元素可包括目标解剖元素(对于脊柱外科手术，例如，椎骨)和附带的解剖元素(对于脊柱外科手术，例如，肋骨)。

在一些实施方案中，第二组解剖元素可包括可在多个2D图像中的所有2D图像中看到、定位或以其他方式标识的解剖元素。例如，可在多个2D图像中的部分但不是全部2D图像中标识的任何解剖特征或一组解剖特征(例如，在当成像装置与患者的背部正交时捕获的2D图像中可标识但在当成像装置与患者的背部平行时捕获的2D图像中不可标识的软组织)可从第二组解剖元素中排除。在这些实施方案中，比较算法可通过以下方式确定解剖特征位于多个2D图像的所有2D图像中：使用有关解剖特征在用于捕获多个2D图像的各种角度和姿态中的每一者处的实际或预期出现的模拟和/或历史数据(例如，关于基于先前外科手术的患者解剖结构的数据、解剖特征的模拟数据等)并且使实际或预期出现与解剖特征在多个2D图像中的每个2D图像中出现进行匹配。

在一些实施方案中，分割可至少基于解剖元素的预期形状。预期形状可以是与解剖元素唯一相关联或者能够将解剖元素与其他解剖元素区分开来的预定曲线、结构、轮廓、曲率(和/或它们的组合)。例如，肋骨的预期形状可能不同于椎骨的预期形状。分割算法可(使用真实图像数据和/或人工/模拟图像数据)对2D图像中描绘的一个或多个解剖元素的预期形状进行训练并且可基于这种训练分割2D图像。在至少一个实施方案中，分割算法可基于至少一个肋骨和至少一个椎骨的预期形状分割该至少一个肋骨和该至少一个椎骨。

而且，在一些实施方案中，在步骤216中从多个2D图像分割第二组解剖元素是基于在步骤204中接收的3D图像和/或基于在步骤208中对第一组解剖元素的分割。例如，分割可包括将3D图像定向成反映用于捕获多个2D图像中的一个2D图像的成像装置的姿态，然后确定在该姿态下3D图像下的哪些解剖元素是可见的。还可通过从不同角度分析3D图像(例如，在2D图像中未示出的维度上获取关于解剖元素位置、定向和/或间距的信息)获得对从多个2D图像分割第二组解剖元素有用的附加信息。与3D图像中的每个这种解剖元素相对应的边界信息同样可用于确定如何正确地分割在2D图像中可见的解剖元素。

方法200还包括清理多个2D图像(步骤220)。清理(例如，去除多个2D图像中无关或嘈杂的部分)可发生在对多个2D图像中的每个2D图像进行分割后。在这种情况下，清理可仅发生在多个2D图像中每个2D图像的包含目标解剖特征的部分(例如，包含至少一个椎骨的片段)。清理可包括一个或多个步骤，诸如梯度匹配、标识图像重叠、像素减法、它们的组合等，如下文结合方法300所述。

在至少一个实施方案中，图像处理算法(例如，图像处理算法120)可(基于对3D图像和多个2D图像的分割)标识诸如椎骨的目标解剖元素以及诸如肋骨的无关或附带的解剖元素。另外，图像处理算法可标识图像中椎骨与肋骨重叠(反之亦然)的一个或多个部分。然后图像处理算法可从图像中去除与肋骨相关联的图像数据中的部分或全部图像数据。在一些实施方案中，图像处理算法可在所分割2D图像中检测或接收与一个或多个梯度相对应的信息(例如，可指示解剖元素与背景和/或另一个解剖元素之间的边界的像素值的变化)，以标识重叠。例如，椎骨可能与肋骨重叠(反之亦然)，这可能导致在2D图像中椎骨的表面区域中出现一个或多个梯度，这进而表明椎骨与另一个解剖元素(在这种情况下为肋骨)重叠。图像处理算法可标识2D图像中的所分割椎骨的包含与肋骨相关联的像素的一部分(例如，包括该图像的包含仅与肋骨相关联的像素的区域中的一个或多个区域以及该图像的由于肋骨与椎骨之间的重叠而包含与这两者均相关联的像素的一个或多个区域)并且可去除与此相关联的像素和/或图像数据(例如，使用像素减法)，使图像中不含表示肋骨或与肋骨相对应的像素。在一些实施方案中，另外或可替代地，清理可包括基于一个或多个梯度在目标解剖元素的表面区域中的出现而减去与任何和/或所有附带解剖元素相关联的像素。

在一些实施方案中，另外或可替代地，图像处理算法可使用3D图像来验证重叠。例如，图像处理算法可从与捕获2D图像相同的角度分析与3D图像相关联的像素值，并且可使用与第二不同角度相关联的提供关于2D图像的缺失深度信息(例如，2D图像中描绘的解剖元素在第三维度中的相对距离)的数据以确定2D图像中应当出现的实际边界和/或梯度。

方法200还包括基于第一组所分割的解剖元素与所分割的第二组解剖元素在3D图像与多个2D图像之间进行配准(步骤224)。步骤224可使用利用例如诸如配准算法128的配准算法的处理器(例如，处理器104)。配准算法可在3D图像和/或其分量与多个2D图像中的每个2D图像之间转换、映射或创建其间的相关性，然后该相关性可被系统(例如，系统100)和/或其一个或多个部件(例如，导航系统118)用于将患者坐标空间中的一个或多个坐标转换为机器人(例如，机器人114)坐标空间中的一个或多个坐标和/或反之亦然。如先前所述，配准可包括3D图像(例如，CT扫描)与一个或多个2D图像(例如，透视图像)之间的配准和/或反之亦然，和/或2D图像与另一个2D图像之间的配准和/或反之亦然。

配准利用所分割的第一组解剖元素中的至少一个解剖元素以及所分割的第二组解剖元素中的至少一个解剖元素。例如，在分割会造成对第一组解剖元素和第二组解剖元素进行标识，使得已知第一组和第二组中的每个解剖元素都是特定唯一的解剖元素的情况下，这种标识可用于将3D图像中描绘的给定解剖元素与多个2D图像中的一个或多个2D图像中描绘的相同解剖元素对准。作为更具体的示例，在分割会造成对3D图像以及多个2D图像中的一个或多个2D图像中的L3椎骨(包括其边界)进行标识的情况下，配准可包括将3D图像中描绘的L3椎骨与多个2D图像中的一个或多个2D图像中描绘的L3椎骨对准。这种对准可能足以允许将多个2D图像中的一个或多个2D图像配准到3D图像，或者可使用一个或多个所分割的附加解剖元素进行一个或多个附加对准，直到多个2D图像中的一个或多个2D图像与3D图像正确对准并且可确定、进行或以其他方式完成图像之间的配准(例如，图像彼此之间的映射，使得给定一个图像中的特定点，可很容易地标识另一个图像中的对应点)。

在一些实施方案中，可结合步骤224利用高级配准技术。例如，在3D图像描绘处于第一姿态的患者并且多个2D图像描绘处于第二姿态的患者的情况下，配准可包括通过调整其中的一个或多个所分割的解剖元素的位置来修改3D图像，使得所分割的解剖元素(例如，第一组解剖元素)在3D图像中的姿态与所分割的解剖元素(例如，第二组解剖元素)在2d图像中的姿态相对应。以这种方式，3D图像不仅可配准到多个2D图像中的一个或多个2D图像，而且还可更新以反映患者当前(例如，术中)姿态。

在一些实施方案中，配准可基于一个或多个梯度。例如，配准算法可将来自3D图像中的一个或多个梯度对准、匹配和/或映射到2D图像中的每个2D图像中对应的一个或多个梯度。在一些实施方案中，配准算法可确定与3D图像中描绘的一个或多个梯度相关联的第一组标识符或特性(例如，像素值、一个或多个像素值在不同方向上的变化、图像中一个或多个方向上的平均像素值变化等)，并将这些标识符或特性与基于2D图像中的每个2D图像计算的第二组标识符或特性进行比较。基于两组标识符或特性之间的相似性或模式(例如，相同的像素值变化)，配准算法可确定3D图像中存在的梯度与2D图像中的一个或多个2D图像中存在的梯度相对应。确定两个图像中都存在对应梯度可使系统(例如，系统100)和/或其一个或多个部件(例如，导航系统118)将3D图像中的一个或多个解剖特征的位置转换或映射到2D图像中的一个或多个2D图像中相应的一个或多个解剖特征，反之亦然。一旦完成，配准例如可用于促进外科手术或手术任务(例如，利用患者解剖结构控制机器人和/或机械臂和/或为外科医生提供基于图像的引导)。

在一些实施方案中，3D图像不包括其中描绘的任何基准、跟踪标记或其他非解剖学配准辅助工具。在这些实施方案中，多个2D图像也不包括其中描绘的任何基准、跟踪标记或其他非解剖学配准辅助工具。相反，所分割的第一组解剖元素中的一个或多个解剖元素和所分割的第二组解剖元素中的一个或多个解剖元素用于对准图像以用于配准。

在仍另外的实施方案中，可在术中(例如，在外科手术期间)执行配准一次或多次以更新、调整和/或刷新当前配准。例如，可在术中捕获新的3D图像和/或新的多个2D图像，并且可由此完成新的配准(例如，使用术前3D图像和新的多个术中2D图像、新的术中3D图像、以及新的多个2D图像或其他)。例如，如果患者的姿态在外科规程过程中改变或被改变，则可能需要更新的配准。

本公开涵盖方法200的实施方案，这些实施方案包括比上文所描述的步骤更多或更少的步骤和/或与上文所描述的步骤不同的一个或多个步骤。

图3描绘了方法300，该方法的一个或多个方面可用于例如清理、过滤或以其他方式改善与多个2D图像中的一个或多个2D图像相关联的图像质量。一般来说，方法300描述了可被包括或与上文讨论的方法200的步骤220结合利用的各方面。尽管如此，另外或可替代地，下文讨论的方法300中的步骤还可应用于3D图像。在一些实施方案中，作为步骤220的补充或替代方案，还可使用方法300的步骤中的一个或多个步骤。

方法300(和/或其一个或多个步骤)可例如由至少一个处理器实施或以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可以为机器人(诸如机器人114)的一部分或导航系统(诸如导航系统118)的一部分。除本文所描述的任何处理器之外的处理器也可用于执行方法300。至少一个处理器可通过执行存储在诸如存储器106的存储器中的指令来执行方法300。这些指令可对应于下文所描述的方法300的一个或多个步骤。这些指令可使处理器执行一种或多种算法，诸如图像处理算法120、分割算法122、检测算法124和/或配准算法128。

方法300包括确定，如图像(例如，上文结合方法200描述的多个2D图像中的一个2D图像)所描绘的，第一解剖元素与第二解剖元素重叠(步骤304)。在一些实施方案中，第一解剖元素和第二解剖元素可以是一组解剖元素(例如，在诸如多个透视图像的多个2D图像中的至少一个2D图像中描绘的一组元素)中的元素。可分割第一解剖元素和第二解剖元素以及第一解剖元素和第二解剖元素所属的整组元素(例如，如上文结合步骤216描述的)。步骤304可使用诸如图像处理算法120的图像处理算法标识第一解剖元素与第二解剖元素之间的重叠。例如，图像处理算法可接收将第一解剖元素和第二解剖元素两者描绘为图像的单一、基本上连续(例如，具有基本上类似的像素值)的部分的2D图像(例如，单个透视图像)，并且确定(例如，基于像素值、历史数据、模拟解剖结构、所讨论的解剖结构的可用3D图像等)所讨论的部分包括第一解剖元素与第二解剖元素之间的重叠。在一些实施方案中，图像处理算法可接收所分割的2D图像(例如，使用例如步骤216分割的透视图像)，并且可检测或以其他方式定位所分割的2D图像中的重叠。在这样的实施方案中，分割可以是确定图像的一部分对应于与第二解剖元素重叠的第一解剖元素或反之亦然的基础，或以其他方式促进该确定。

在一些实施方案中，图像处理算法可以是或包括用于基于训练数据标识重叠的一个或多个机器学习算法。例如，训练数据可基于诸如肋骨和椎骨的重叠图像的重叠解剖特征的图像(无论是实际的还是人工和/或模拟的)。在至少一个实施方案中，图像处理算法可被配置为接收描绘肋骨和至少一个椎骨的图像并且检测肋骨与至少一个椎骨之间的重叠。可使用解剖图集、关于椎骨和/或肋骨形状的信息和/或其他信息来促进这种检测。在图像处理算法接收的所分割的2D图像包含诸如目标解剖元素(例如，规划对其进行或正在进行外科手术或外科规程的椎骨或其他解剖结构)以及附带的解剖元素(例如，不规划对其进行或没有正在进行外科手术或外科规程的肋骨或其他解剖结构)的多个解剖元素的实施方案中，图像处理算法可基于解剖元素中的每个解剖元素的相对像素值和/或坐标标识重叠。例如，如果所分割的2D图像显示肋骨与椎骨重叠(或反之亦然)，则图像处理算法可标识肋骨未与椎骨隔离(例如，基于肋骨和/或椎骨的平均像素值)和/或反之亦然。图像处理算法可例如以沿解剖元素的边界的像素值和/或其变化为基础进行该标识(例如，典型的椎骨在椎骨边界与周围软组织图像之间可具有第一像素值变化，这可能不同于椎骨边界与肋骨重叠时的情况)；像素值或区域内像素值的平均值(例如，两个解剖元素的重叠可能会增加包含重叠区域中的像素值平均值)；训练数据(例如，与重叠相关联的像素值的历史和/或人工/模拟数据)；上述方式的组合；等。在一些实施方案中，图像处理算法可接收所分割的2D图像，在该图像中，第二组解剖元素已被标注、突出显示、勾勒或以其他方式标记，以表示每个唯一的解剖元素和/或其一个或多个特性。例如，所分割的2D图像可具有围绕第二组解剖元素和/或其单独的解剖元素的唯一轮廓(当例如在用户界面上查看时)，并且图像处理算法可被配置为使用解剖特征的这些确定的轮廓并且在轮廓相交或交叉时验证解剖特征是否重叠。

方法300还包括限定围绕第一解剖元素和第二解剖元素重叠区域的边界(步骤308)。重叠区域可以是或包括图像(例如，所分割透视图像)的一个或多个部分，其中图像中描绘的解剖元素(例如，椎骨)与一个或多个其他解剖元素(例如，一个或多个肋骨)重叠。在一些实施方案中，步骤308可利用诸如分割算法122的分割算法来分割重叠区域。例如，分割算法可接收已被标记(例如，使用元数据)为具有现有重叠(例如，从诸如上文在步骤304中讨论的一个图像处理算法的图像处理算法中接收)的所分割的透视图像，并且可标识重叠部分并估计其周围的一个或多个边界。

在至少一个实施方案中，接收到的图像可以是所分割的透视图像，其中重叠区域包括第一解剖元素或组织(例如，椎骨)与第二解剖元素或组织(例如，肋骨)的一个或多个部分重叠。在本实施方案中，分割算法可标识第一解剖元素与第二解剖元素重叠和/或反之亦然的区域，并且在其周围创建边界(例如，突出显示、像素值变化、梯度等，使得当在用户界面上显示图像时边界可见)。在一些实施方案中，该边界相对于在图像上渲染的其他边界(诸如用于分割各组解剖元素的边界)可以是唯一的。例如，系统(例如，系统100)和/或其一个或多个部件(例如，导航系统118、配准算法128等)在配准期间可使用该唯一边界。在该示例中，唯一边界可向系统指示边界内的任何特征构成解剖元素的重叠(例如，肋骨与椎骨重叠)，并在配准期间省略使用边界内包含的任何特征(例如，配准算法在配准到图像和/或从图像配准时可省略使用边界内的诸如梯度值的特征)，以降低与重叠特征的不正确的坐标映射相关联的配准错误概率。可替代地，唯一边界可用于标识包括重叠的解剖元素的图像区域，使得可根据方法300的一个或多个步骤来清理所讨论的区域，以便清晰地显示目标解剖元素在其中的正确边界(无论是实际边界还是估计的)。

方法300还包括检测位于第一图像所描绘的第一解剖元素的边界内的梯度线(步骤312)。第一解剖元素可以是来自一组解剖元素(例如，从诸如多个透视图像的多个2D图像中标识的一组解剖元素)的解剖元素(例如，椎骨)，并且可另外包括周围的边缘(例如，突出显示、轮廓等)。在一些实施方案中，第一解剖元素可与一个或多个其他解剖元素重叠，这可在图像中标记或以其他方式标记(例如，当将图像渲染到用户界面时，利用重叠周围的边界、突出显示重叠区域等)。步骤312可使用诸如检测算法124的检测算法，该检测算法可检测位于第一解剖元素的边界内的一条或多条梯度线。在一些实施方案中，一条或多条梯度线可表现出或可以是视觉对比度、像素值、它们的组合等的变化并且可被检测算法用于标识与一条或多条梯度线相关联的解剖元素类型。检测算法可使用与一条或多条梯度线相关联的特性来标识一条或多条梯度线所属的解剖元素(例如，每个解剖元素都可具有唯一或有特性的梯度线，这些梯度线进而可对应于解剖元素的边界)。在一些实施方案中，检测算法可检测位于边界内的所有梯度线并对其进行分类(例如，使用分类器，诸如支持向量机(SVM)、K最近邻算法(KNN)等)。在这些实施方案中，检测算法可标记与外科手术或外科规程无关或附带的解剖元素(例如，椎骨外科手术期间的肋骨)相关联的任何梯度线。另外或可替代地，步骤316可标识与第一解剖元素与任何其他解剖元素之间的任何重叠区域相关联的梯度线。

方法300还包括从第一图像中减去与第二解剖元素相对应的像素(步骤316)。第一图像是描绘上文结合步骤304描述的第一解剖元素和第二解剖元素的图像。在一些实施方案中，第一图像可以是来自多个2D图像(例如，透视图像)的2D图像，第一解剖元素可以是目标解剖元素(例如，规划对其进行或正在执行外科手术或手术任务的椎骨或其他解剖材料)，并且第二解剖元素可以是不规划对其进行或没有正在执行外科手术或外科规程的附带或无关的解剖对象或组织(例如，肋骨)。步骤300可使用诸如图像处理算法120的图像处理算法来减去表示第二解剖元素的像素或去除与第二解剖元素相关联的图像数据。在一些实施方案中，图像处理算法可接收先前处理的图像(例如，已确定解剖元素重叠的图像、各种解剖元素的梯度值与预期值不匹配或具有多个梯度值的图像等)。

在一个实施方案中，图像处理算法可从第一图像中减去与第二解剖元素相关联的像素值。例如，如果第一解剖元素是与肋骨重叠的椎骨(或反之亦然)，则图像处理算法可隔离与肋骨相关联的像素(例如，基于分割和/或上述方法300的任何方面的结果)，并可将像素从图像和/或图像数据中减去或以其他方式去除。在一些实施方案中，可只减去或去除第一解剖元素的某些部分。例如，图像处理算法可去除第二解剖元素的非重叠部分(例如，第二解剖元素的与图像中任何其他解剖元素不重叠的部分)，同时保留第二解剖元素的与其他解剖元素重叠的部分。在这样的实施方案中，与第二解剖元素的非重叠部分相关联的像素可被减去或清零，这可消除第二解剖元素的非重叠部分的可见性(当在用户界面上查看时)。

在一些实施方案中，图像处理算法可使用或计算与第二解剖元素相关联的像素(例如包括来自第二解剖元素的非重叠部分的像素、来自第二解剖元素与第一解剖元素的重叠部分的像素、和/或它们的组合)的平均像素值，并从与第二解剖元素相关联的像素中减去平均像素值。在仍其他实施方案中，与第二解剖元素的非重叠部分相关联的像素值可清零或设置为背景像素值(例如，基于图像的如通过分割和/或图像处理算法确定的排除与所分割的解剖元素相关联的值的平均像素值的平均像素值)，而与第二解剖元素的重叠部分相关联的像素可具有从中减去的第二解剖元素的非重叠部分的平均像素值(例如，使得重叠部分的像素值近似于与第一解剖元素相关联的像素值)。

在一些实施方案中，像素减法可基于一条或多条梯度线。如先前所述，一条或多条梯度线可被标识并且与解剖元素或一组解剖元素相关(如步骤220中讨论的)。图像处理算法可接收包括基于一条或多条梯度线标识或标记的解剖元素的图像，并且可基于梯度线去除附带或无关的解剖元素的像素。例如，图像处理算法可接收可存在连接到肋骨(可能与对椎骨执行的外科手术无关)的梯度线的图像。然后图像处理算法可基于肋骨的轮廓或边界去除与肋骨(例如，肋骨的部分或整体)相关联的一个或多个像素。

在一些实施方案中，像素减法可基于图像中存在的一个或多个解剖元素的预期形状。如先前所讨论的，预期形状可以是与可区分或唯一标识解剖元素的解剖元素相关联的预定曲线、结构、轮廓、曲率等。预期形状可基于所讨论的解剖元素的3D图像、所讨论的解剖元素的一个或多个其他2D图像中可用的数据、解剖图集、所讨论的解剖元素的3D模型、或关于所讨论的解剖元素的任何其他信息。在一些实施方案中，图像处理算法可接收图像，包括与图像中存在的解剖元素中的每个解剖元素的预期形状相关的信息。然后图像处理算法可基于解剖元素的预期形状去除与无关或附带的解剖元素相关联的像素。例如，第一解剖元素可被标识为肋骨，而第二解剖元素可被标识为椎骨。然后图像处理算法可去除、修改或减去与无关解剖元素(在这种情况下为肋骨)相关联的像素值的部分或全部像素值。

本公开涵盖方法300的实施方案，这些实施方案包括比上文所描述的步骤更多或更少的步骤和/或与上文所描述的步骤不同的一个或多个步骤。

如上所述，本公开涵盖具有比图2和图3中标识的所有步骤更少的步骤的方法(和方法200和300的对应描述)，以及包括超出图2和图3中标识的那些步骤的附加步骤的方法(和方法200和300的对应描述)。本公开还涵盖包括来自本文所描述的一种方法的一个或多个步骤和来自本文所描述的另一种方法的一个或多个步骤的方法。本文所描述的任何相关性可以是或包括配准或任何其它相关性。

前述内容并不意图将本公开限于本文所公开的一种或多种形式。在前述的具体实施方式中，例如，出于简化本公开的目的，将本公开的各种特征一起分组在一个或多个方面、实施方案和/或配置中。本公开的方面、实施方案和/或配置的特征可组合在除了上文所论述的那些之外的替代方面、实施方案和/或配置中。本公开的方法不应被解释为反映以下意图：权利要求需要比每项权利要求中明确叙述的特征更多的特征。相反，如以下权利要求书所反映，本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此，以下权利要求特此并入这个具体实施方式中，其中每项权利要求作为本公开的单独的优选实施方案而独立存在。

此外，尽管前述已经包含对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述，但在理解了本公开之后，其它变化、组合和修改在本公开的范围内，例如，可在本领域技术人员的技能和知识范围内。意图在准许的范围内获得包括替代方面、实施方案和/或配置的权利，包括所要求保护的那些的替代、可互换和/或等效的结构、功能、范围或步骤，而不管这些替代、可互换和/或等效的结构、功能、范围或步骤是否在本文中公开，而且不意图公开用于任何可获专利的主题。

Claims (22)

1.一种方法，所述方法包括：

接收患者的计算机断层扫描(CT)图像；

从所述CT图像分割第一组解剖元素；

接收所述患者的多个透视图像；

从所述多个透视图像分割第二组解剖元素；以及

基于所分割的第一组解剖元素和所分割的第二组解剖元素创建所述CT图像与所述多个透视图像之间的配准。

2.根据权利要求1所述的方法，其中所述分割所述第二组解剖元素还包括确定第一解剖元素与第二解剖元素重叠。

3.根据权利要求2所述的方法，其中所述第一解剖元素是椎骨，并且所述第二解剖元素是肋骨。

4.根据权利要求2所述的方法，其中所述确定包括在所述多个透视图像中的至少一个透视图像中检测所述第二解剖元素的边界内的梯度线。

5.根据权利要求2所述的方法，所述方法还包括从所述多个透视图像中的至少一个透视图像中减去与所述第一解剖元素相对应的像素。

6.根据权利要求5所述的方法，其中所述减去是基于关于所述第一解剖元素或所述第二解剖元素中的至少一者的预期形状的信息。

7.根据权利要求1所述的方法，其中创建所述配准包括将与所述第一组解剖元素中的至少一个解剖元素的相对应的至少一个第一梯度和与所述第二组解剖元素中的至少一个解剖元素相对应的至少一个第二梯度进行匹配。

8.根据权利要求1所述的方法，所述方法还包括从所述多个透视图像中的至少一个透视图像去除一条或多条梯度线。

9.根据权利要求1所述的方法，其中所述第一组解剖元素包括髌骨或软组织解剖元素中的至少一者。

10.一种系统，所述系统包括：

处理器；和

存储器，所述存储器存储指令，所述指令在由所述处理器执行时使所述处理器：

接收患者解剖结构的三维(3D)图像；

从所述3D图像分割第一组解剖元素；

使成像装置捕获所述患者解剖结构的一个或多个二维(2D)图像；

从所述一个或多个2D图像分割第二组解剖元素；

通过从所述一个或多个2D图像中的每个2D图像去除至少一条梯度线来清理所述一个或多个2D图像；以及

基于所分割的第一组解剖元素和所分割的第二组解剖元素将所述一个或多个经清理的2D图像配准到所述3D图像。

11.根据权利要求10所述的系统，其中所述分割包括确定第一解剖元素与第二解剖元素重叠。

12.根据权利要求11所述的系统，其中所述分割是基于关于所述第一解剖元素或所述第二解剖元素中的至少一者的预期形状的信息。

13.根据权利要求10所述的系统，其中所述至少一条梯度线位于所述第二组解剖元素中的解剖元素中。

14.根据权利要求10所述的系统，其中对所分割的第二组解剖元素的所述分割还包括限定围绕至少一个解剖组织的边界。

15.根据权利要求14所述的系统，所述系统还包括从所分割的第二组解剖特征中减去与所述至少一个解剖组织相对应的像素。

16.根据权利要求14所述的系统，其中所述边界限定指示所述至少一个解剖组织与所分割的第二组解剖元素的解剖对象之间的重叠的区域。

17.根据权利要求10所述的系统，其中所述分割还包括识别与所述第一组解剖元素中的每个解剖元素相关联的一条或多条梯度线。

18.根据权利要求10所述的系统，其中所述3D图像和所述一个或多个2D图像省略了基准的使用。

19.一种系统，所述系统包括：

处理器；

成像装置；和

存储器，所述存储器上存储有指令，所述指令在由所述处理器执行时使所述处理器：

生成三维(3D)模型；

使所述成像装置捕获一个或多个二维(2D)图像；

从所述3D图像分割第一组解剖元素；

从所述一个或多个2D图像中的每个2D图像分割第二组解剖元素，所述分割包括限定第一解剖对象的边界；

从所述一个或多个2D图像中的至少一个2D图像去除所述第一解剖对象，以产生一个或多个经清理的2D图像；

基于所分割的第一组解剖元素和所分割的第二组解剖元素将所述一个或多个经清理的2D图像配准到所述3D图像。

20.根据权利要求19所述的系统，其中所述去除所述第一解剖对象还包括从所述一个或多个2D图像中的所述至少一个2D图像减去与所述第一解剖对象相对应的像素。

21.根据权利要求19所述的系统，其中所述3D图像是CT扫描、MRI扫描或超声波。

22.根据权利要求19所述的系统，其中所述一个或多个2D图像是透视图像、MRI图像或超声图像。