CN119343699A - 基于姿势的三维结构重建系统和方法 - Google Patents

Abstract

本申请公开了三维结构重建系统和相关方法。在一些示例中，一种三维结构重建系统可以包括至少一个处理器，所述处理器被配置为：接收对象的按时间排序的多个X射线图像，其中多个X射线图像是以相对于对象的多个姿势拍摄的，其中多个X射线图像中的至少一个描绘具有已知形状和/或位置的至少一个对象；确定多个X射线图像中的至少一个的至少一个姿势的初始估计；以及基于与多个X射线图像的至少一个比较来细化至少一个姿势。在一些示例中，一种方法可以包括：接收以一些姿势拍摄的按时间排序的图像；确定至少一个姿势的初始估计；以及基于与多个X射线图像的至少一个比较来细化姿势。

Description

基于姿势的三维结构重建系统和方法

交叉引用的申请

本申请要求于2022年4月4日提交的标题为“Pose-Based Three-DimensionalStructure Reconstruction Systems and Methods”的美国临时申请第63/327,119号的优先权和权益，该美国临时申请通过引用以其整体并入本文。

技术领域

公开的示例涉及三维结构重建系统和方法。

背景技术

C形臂机器通常被用于拍摄平台上的患者的X射线。手动C形臂机器允许操作者围绕患者手动旋转C形臂，以相对于受试者在各种方位和取向获取图像。

发明内容

在一个示例中，一种三维结构重建系统可以包括至少一个处理器，所述处理器被配置为：接收对象的按时间排序的多个X射线图像，其中多个X射线图像是以相对于对象的多个姿势拍摄的，其中多个X射线图像中的至少一个描绘具有已知形状和/或位置的至少一个对象；确定多个X射线图像中的至少一个的至少一个姿势的初始估计；以及基于与多个X射线图像的至少一个比较来细化至少一个姿势。

在另一个示例中，至少一个非暂时性计算机可读介质可以具有在其上的指令，所述指令在由至少一个处理器执行时施行用于三维结构重建的方法，该方法包括：接收对象的按时间排序的多个X射线图像，其中多个X射线图像是以相对于对象的多个姿势拍摄的，其中多个X射线图像中的至少一个描绘具有已知形状和/或位置的至少一个对象；确定多个X射线图像中的至少一个的至少一个姿势的初始估计；以及基于与多个X射线图像的至少一个比较来细化至少一个姿势。

在又一个示例中，一种用于三维结构重建的方法可以包括：接收对象的按时间排序的多个X射线图像，其中多个X射线图像是以相对于对象的多个姿势拍摄的，其中多个X射线图像中的至少一个描绘具有已知形状和/或位置的至少一个对象；确定多个X射线图像中的至少一个的至少一个姿势的初始估计；以及基于与多个X射线图像的至少一个比较来细化至少一个姿势。

应当理解，上述概念和下面讨论的附加概念可以以任何合适的组合排列，因为本公开在这方面不受限制。此外，当结合附图考虑时，根据以下对各种非限制性示例的详细描述，本公开的其他优点和新颖特征将变得明显。

附图说明

附图并非旨在按比例绘制。在附图中，在各个图片中示出的每个相同或几乎相同的部件可以由相似的数字表示。为清楚起见，可能并非每个部件都在每个附图中被标记。在附图中：

图1A描绘根据本公开的实施例的说明性C形臂成像系统。

图1B描绘根据本公开的实施例在受试者就位的情况下进行操作的说明性成像系统。

图2是示出根据本公开的实施例的具有柔性医疗系统的成像系统的示意表示的框图，该柔性医疗系统包括设置在成像系统的视场内的形状传感器。

图3描绘根据本公开的实施例的在某些背景下可视化的说明性柔性细长设备。

图4A是示出根据本公开的实施例的用于重建三维结构的方法的流程图的第一部分。

图4B是图4A所示的流程图的第二部分。

图5是示出根据本公开的实施例的用于重建三维结构的方法的流程图。

图6描绘根据本公开的实施例的说明性捆绑调整。

图7描绘根据本公开的实施例的包括用于校准失真参数的对象的说明性C形臂成像系统。

图8是根据本公开的用于校准失真参数的对象的图示。

具体实施方式

在某些应用中，用户(诸如医疗从业者)查看从C形臂系统输出的二维视图，并对不同视图中的对象和解剖结构的形状和方位进行有根据的猜测。然而，由于图像内的三维结构的不同部分的重叠，二维荧光透视图像(其通常由这些系统产生)没有深度信息。因此，很难或不可能辨别医疗工具相对于受试者体内的目标组织(诸如病变)的三维相对姿势，因此采用手动C形臂成像系统的用户通常需要猜测。这是由于与CT扫描仪和自动化C形臂机器不同，传统的手动二维C形臂系统不测量或跟踪图像相对于彼此的参考系和姿势。因此，典型的图像重建和分割方法无法用于使用传统手动C形臂对受试者拍摄的图像流。

因此，可能期望改进定位(特别是在操作期间医疗工具(例如导管、活检针或其他期望的工具)的末端部分与目标组织(例如受试者的器官上的病变)的相对方位)。此外，即使不同图像相对于彼此的姿势最初未知，也可能期望允许对位于成像系统的视场中的对象进行三维重建和/或分割。

在一些实施例中，系统可以接收一系列顺序的二维图像(诸如X射线荧光透视图像)的图像流，这些图像是从图像捕获期间沿着成像设备相对于受试者的运动路径拍摄的成像设备(例如C形臂系统或其他类型的成像系统中的检测器)的不同顺序布置的姿势捕获的。如本文所用，图像的姿势是指捕获图像的成像设备的方位和取向。每个图像都是从由捕获时的成像设备的姿势定义的视角捕获的。这些图像可以用于重建被成像的受试者体内的三维结构，包括例如受试者的身体的一部分和与受试者的身体相互作用的相关联的器械。然而，为了使用图像流，期望获知与由成像设备捕获的每个图像相关联的成像设备的姿势。鉴于与典型成像设备相关联的这种限制，使具有已知形状和/或位置的对象位于成像设备的视场中可用于确定与图像流的不同图像相关联的姿势。具体而言，可以使用与图像流的多个图像的至少一个比较来细化图像流的一个或多个估计姿势。在一些实施例中，该比较可以包括生成使用初始姿势估计来投影的对象的至少一部分的一个或多个二维投影图像。可以将得到的投影图像与图像流的相应图像进行比较，以提供至少一个姿势的细化的姿势估计，如下面进一步详细描述的。所得到的姿势可以可选地与捕获的图像结合使用，用于任何期望的应用(包括与任何合适的重建算法一起使用)。

能够感测设置在成像系统的视场内的器械的至少一部分的形状的任何合适类型的形状传感器都可以与本文公开的各种实施例一起使用。合适类型的形状传感器可以包括但不限于光纤形状传感器、可铰接器械的编码器/位移传感器、沿器械定位在已知位置处的电磁传感器、方位传感器、上述传感器的组合和/或被配置为感测器械的一个或多个部分的形状、取向和/或位置的任何其他合适传感器。

本文描述的各种实施例中使用的所接收的图像可以具有任何合适的分辨率。例如，接收的图像可以具有至少256像素乘256像素的分辨率。在一些实施例中，接收的图像可以具有至少512像素乘512像素的分辨率。在一些实施例中，接收的图像可以具有最多976像素乘976像素或1200像素乘1200像素的分辨率。例如，接收的图像可以具有介于或等于256像素乘256像素和976像素乘976像素的分辨率。虽然上面提到了特定分辨率，但任何合适的分辨率都可以用于本文描述的图像。

重建的结构可以具有任何合适的分辨率。例如，重建的结构可以具有至少256体素乘256体素乘256体素的体素分辨率。在一些实施例中，重建的结构可以具有至少512体素乘512体素乘512体素的体素分辨率。在一些实施例中，重建的结构可以具有最多976体素乘976体素乘976体素的分辨率。例如，重建的结构可以具有介于或等于256体素乘256体素乘56体素和976体素乘976体素乘976体素的分辨率。虽然上面提到了用于重建的结构的特定分辨率，但可以使用任何合适的分辨率。

在本文公开的各种实施例中，C形臂110可以被配置为旋转通过任何合适的角度范围。例如，典型的C形臂可以被配置为围绕对象(例如成像台上的受试者)旋转高达介于或等于140度和270度的角度。如下面进一步阐述的，在一些实施例中，可以在C形臂的整个这样的旋转范围内进行扫描。可替代地，可以在小于系统的总旋转范围的系统的旋转范围的子集内进行扫描。例如，对于能够在大于0度至90度的旋转范围内操作的系统，可以在0度和90度之间进行扫描。虽然上面提到了特定的旋转范围，但本文公开的系统和方法可以与任何合适的旋转范围一起使用。随着旋转范围增大，重建的质量可以提高，并且本文描述的技术允许根据操作者的期望进行尽可能多的旋转。

一些实施例可以被广泛使用，并适用于来自手动操作的C形臂机器的简单和常用的输入。一些实施例可以甚至在没有附加硬件的情况下操作。例如，一些实施例可以被安装作为扫描仪的固件或软件的一部分，或者通过将图像传输到托管算法的任何设备来独立使用。因此，所公开的实施例可以提供自动化三维C形臂的一种廉价替代方案，该自动化三维C形臂比手动二维C形臂机器更不常见并且明显更昂贵。在一些实施例中，这些过程中的任何一个都不需要附加的传感器或基准标记。

此外，手动旋转的C形臂在运行之间具有变化的轨迹，因此仅使用旋转传感器来确定C形臂在轨迹上的位置的技术可能不足以提供可接受的重建。本文的一些实施例可以校正这些变化的轨迹，并且可以检测手动运动中引起的更大量的抖动(例如通过在每个图像的基础上准确地检测C形臂的源和检测器的姿势)。

可能期望提高所公开的方法和系统中使用的图像流的姿势的初始估计的准确度。在这种实施例中，可以使用被配置为在成像期间感测与系统的估计姿势相关的参数的姿势传感器。在一些情况下，这可能对应于添加到现有成像系统的一个或多个附加姿势传感器。例如，合适的姿势传感器可以包括但不限于惯性测量单元(IMU)、加速度计、陀螺仪、磁力计、编码器、重力仪、指向周围环境的相机(SLAM)、光学跟踪器(例如，指向C形臂的相机)、上述各项的组合和/或能够在成像期间感测与系统相对于对象的姿势相关的参数的任何其他合适类型的姿势传感器。此类传感器可以使用与图像的姿势相关的数据来改进估计，并且使用这种附加的硬件(特别是廉价的附加传感器)相对于传统的自动化三维C形臂仍然可以大大地限制成本。

虽然本文公开的系统和方法的各种部件和方面的具体维度和范围在上文和本公开的其他地方进行了描述，但可以使用大于和小于本文所提到的那些维度的维度。

本文的实施例可以与任何医疗设备(包括医疗程序中使用的机器人辅助内窥镜、导管和刚性臂系统)的成像和定位一起使用。例如，所公开的方法和系统可用于提供更新的姿势信息，该姿势信息可以使用具有或不具有附加传感器的廉价医疗成像设备(例如，2D荧光透视C形臂)来实现对象(例如，医疗程序期间的肺和医疗设备)的3D重建和/或分割。所公开的技术不限于仅与这些特定应用一起使用。例如，虽然所公开的方法主要被描述为与C形臂系统一起使用，该C形臂系统用于以相对于受试者的不同姿势拍摄X射线图像，但所公开的方法可以与任何X射线成像系统一起使用，该X射线成像系统以相对于由该系统成像的对象的不同姿势拍摄X射线图像。

所公开的方法和系统相对于能够进行3D重建的自动化C形臂和通常不能够进行3D重建的手动C形臂可以提供许多好处。例如，所公开的方法和系统可用于根据相对廉价和常用的医疗成像设备(例如，传统的手动二维C形臂系统)的标准输出来实现目标组织(例如，具有受试者的肺部或身体的其他部分的目标)的3D重建和/或分割。在一些实施例中，所公开的成像系统和方法还可以在相对于当前系统不影响医疗程序的工作流程的情况下使用。因此，在一些实施例中，所公开的方法和系统可以用作当前2D C形臂的工作流程中的更昂贵的3D C形臂成像系统的替代方案。此外，所公开的方法和系统考虑用户在手动成像期间施加的旋转量差异的能力还可以提供柔性成像系统，尽管更大的旋转范围可能与提高的重建质量相关联。使用基准(例如，已知形状的对象)来改进图像流的姿势估计还可以提供一种稳健且准确的方法，用于在单独的手动扫描期间考虑系统的手动旋转轨迹的差异。虽然上面描述了若干潜在的好处，但系统中还可能存在与上述好处不同的其他好处。

所接收的图像和/或所公开过程的输出可以对应于任何期望的格式。然而，在一些实施例中，所接收和/或输出的图像可以是医学数字成像和通信(DICOM)格式。这种格式可以被浏览(例如，像CT扫描一样)，可以与其他系统和软件广泛兼容，并且可以很容易地被保存到存储装置中并在以后查看。

如本文所用，术语“方位”是指元件或元件的一部分在三维空间中的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指元件或元件的一部分的旋转布置(三个旋转自由度(例如，滚转、俯仰和偏航)、轴线-角度、旋转矩阵、四元数表示等)。如本文所用，术语“姿势”是指感兴趣的坐标系(例如，附接到刚体)的多自由度(DOF)空间方位和取向。一般来说，姿势包括姿势中的每个DOF的姿势变量。例如，一个完整的6-DOF姿势将包括6个姿势变量，其对应于3个方位DOF(例如x、y和z)和3个取向DOF(例如滚转、俯仰和偏航)。

转向附图，更详细地描述了具体的非限制性示例。应当理解，相对于这些示例描述的各种系统、部件、特征和方法可以被单独使用和/或以任何期望的组合形式使用，因为本公开不是仅限于本文所述的具体示例。

图1A描绘根据本公开的实施例的说明性二维C形臂成像系统100。成像系统100可以被配置为对任何期望的对象进行成像。在成像系统是医疗成像系统的示例中，待成像的对象可以对应于受试者的组织，并且在一些情况下，可以对应于与目标组织相互作用的医疗系统。该组织可以对应于受试者的自然腔体(natural cavity)内的部位和/或介入部位。成像系统100包括可操作地耦合到源114、检测器116和控制器120的手动C形臂110。在一些实施例中，源114可以被配置为朝向检测器116发射X射线，检测器116可以被配置为检测设置在源114和检测器116之间的对象的X射线图像。在一些实施例中，控制器120可以与检测器116可操作地耦合，使得其从检测器116接收图像流。C形臂110还可以可旋转地耦合到基座118，该基座118被配置为支撑整个C形臂成像系统。在一些实施例中，成像系统100包括附接到C形臂110的手动手柄112，操作者可以在C形臂110以及源114和检测器116相对于基座118和设置在源114和检测器116之间的对象旋转时使用该手动手柄112来控制C形臂110以及源114和检测器116的姿势。虽然本文公开的实施例主要针对手动控制的C形臂，但在一些实施例中，C形臂110的姿势可以通过编程方式或通过用户经由用户输入设备进行控制。

在一些实施例中，成像系统100可以包括姿势传感器160。在一些情况下，姿势传感器160可以是附接到手动C形臂110或其他成像系统的合适部分的附加姿势传感器，使得姿势传感器160可以感测与源114和检测器116相对于在系统的视场内进行成像的对象的姿势相关的一个或多个参数。姿势传感器160可以附接到成像系统100的C形臂110。在其他示例中，姿势传感器160可以附接到检测器116和/或源114。在一些实施例中，附接可以使用粘合剂、钩与环、螺钉、螺栓或任何其他合适的附接机构。在一些实施例中，姿势传感器160的旋转轴线的取向可以与C形臂旋转轴线对准，这可以提高传感器的测量结果的准确度。在一些实施例中，姿势传感器160和控制器120或其他计算机之间的通信可以经由Wi-Fi、蓝牙、有线、近场通信或任何其他合适的通信方法来进行。

图1B描绘根据本公开的实施例的在受试者150就位的情况下进行操作的说明性成像系统100。图1B示出具有与上述类似的C形臂110、源114、检测器116和手动手柄112的手动C形臂成像系统100。在一些实施例中，成像系统100包括显示器130。图1B还示出操作手动手柄112的说明性操作者140和由成像系统100进行扫描的说明性受试者150。源114和检测器116可以成对地围绕受试者150旋转。如上所述，C形臂以及相关联的检测器116和源114是可旋转的，使得它们可以相对于受试者150或设置在源114和检测器116之间的其他对象旋转通过多个不同的姿势。因此，当操作者140在初始姿势和最终姿势之间手动旋转C形臂110时，源114和检测器116可以用于以相对于受试者的多个姿势获得受试者150或其他对象的顺序X射线图像流。如上所述，这可以对应于在任何期望的姿势之间的旋转(包括在C形臂110的整个旋转范围或C形臂110的旋转范围的一部分上的旋转)。在一些实施例中，成像系统100可以包括如上所述的姿势传感器160。

在一些实施例中，如本文描述的姿势估计和/或三维结构重建系统可以是成像系统的控制器120的一部分。可替代地或附加地，姿势估计和/或三维结构重建系统可以是独立的计算机(例如，台式计算机、便携式计算机和/或远程或本地服务器)的一部分。在一些实施例中，姿势估计和/或三维结构重建系统可以包括至少一个处理器(例如，控制器120)。

图2是示出与上述类似的成像系统的一个实施例的关系的框图。在所描绘的实施例中，成像系统包括源114和检测器116。在一些实施例中，形状传感器190可以被配置为检测设置在成像系统的视场中的对象1010的形状或至少一个或多个部分的位置。在一些实施例中，对象是医疗系统或设备，例如导管、内窥镜、腹腔镜或形状传感器能够表征的任何其他对象。该系统还可以包括如上所述连接到成像系统的合适移动部分的姿势传感器160。在所描绘的实施例中，诸如形状传感器190、姿势传感器160和检测器116的各种部件可以与控制系统120可操作地耦合，使得来自这些不同部件的信号可以被输出到控制系统120，以用于本文公开的各种实施例。在一些实施例中，控制系统120可以包括至少一个处理器122和至少一个存储器124。在一些实施例中，该存储器可以是非暂时性计算机可读存储器124，包括在其上的计算机可执行指令，当由至少一个处理器执行时，这些指令可以施行本文公开的任何方法。

图3示出可以如何使用形状传感器来确定设置在成像系统的视场内的器械的一个或多个部分的位置或姿势。在所描绘的实施例中，在人类解剖体的捕获图像1000中可视化了包括形状传感器(未描绘)的说明性的柔性细长设备1010(例如导管)。柔性细长设备相对于成像系统的参考系的相应形状在相应的三维图表1100中被示出，其中柔性细长设备的各个中间部分的位置和姿势可以对应于柔性细长设备的中间部分的集成姿势。如下面进一步阐述的，所测量的三维形状的二维投影，或所成像的三维对象的一部分的位置可以与所捕获的二维图像中的这些特征的相应位置相关联。例如，柔性细长设备的远端部分在成像系统的参考系中的已知位置可以与所捕获的图像中的柔性细长设备的远端部分的位置相关联，以确定该图像的姿势，如下面进一步阐述的那样。虽然相对于附图描述了柔性细长设备，但可以使用任何合适类型的对象和能够测量对象在成像系统的参考系内的位置或姿势的相应传感器。

图4A-图4B描绘示出用于估计与来自成像系统的捕获的图像流相关联的姿势并基于估计的姿势和图像流重建三维结构的方法2000的流程图。图4A是该流程图的第一部分，并且图4B是从图4A所示的指示符A继续的该流程图的第二部分。在一些实施例中，可以使用上述过程、系统和控制系统来实施所描绘的方法。方法2000被示出为一组阶段、块、步骤、操作或过程。并非所有示出的枚举的操作都可以在方法2000的所有实施例中执行。附加地，图4A-图4B中未明确示出的一些附加操作可能被包括在所枚举的阶段之前、之后、之间或作为所枚举的阶段的一部分。方法2000的一些实施例包括存储在存储器中的与方法2000的过程相对应的指令。这些指令可以由处理器(如控制器或控制系统的处理器)来执行。

在一些实施例中，可以可选地使用如上所述的姿势传感器来确定C形臂的源114和检测器116的姿势的初始估计。在一些实施例中，其他类型的设备可以代替传感器来提供这种信息，所述设备包括光学跟踪传感器、相机、编码器、霍尔传感器、距离传感器或任何其他合适的设备或系统。

方法2000的一些实施例可以从捕获数据的阶段开始，这些阶段可以包括如下文所阐述的阶段2010、2110、2210和2310。在一些实施例中，可能期望知道何时开始阶段2010、2110、2210和2310的数据捕获。在一个实施例中，可以由操作者按下物理按钮，以指示将使用C形臂成像系统来执行扫描。可替代地，设备和/或软件应用程序可以从视频捕获中或基于来自姿势传感器的数据(例如，超过姿势的阈值变化)来检测扫描的开始。在一些实施例中，数据可以通过平滑滤波器以进行这种检测，这可以减少误报(false positive)。在一些实施例中，可以使用其他传感器和/或算法来检测运动的开始。可替代地或附加地，可以通过检测来自C形臂成像系统100的X射线波束开启信号(beam-on signal)来执行检测，该信号可以包含辐射信号。在一些实施例中，当扫描开始时，信号可以触发传感器和视频记录的开始。无论如何启动该过程，在触发数据捕获的开始后，操作者都可以手动旋转C形臂以完成扫描。

除了开始数据捕获外，还可能期望确定扫描在何时完成以及数据捕获应在何时终止。例如，在一个实施例中，可以继续记录各种传感器数据，直到接收到指示结束旋转C形臂和/或用C形臂成像的合适输入为止。例如，用户输入、图像捕获的终止、关闭X射线源和/或成像系统的姿势变化低于阈值达预定的时间段和/或任何其他合适的输入都可以用于确定何时终止数据捕获。

在扫描期间可以向用户提供各种类型的反馈。例如，在一些实施例中，系统可以监视流式传输的视频图像，以查看是否有任何图像被过度曝光，并且可以调整显示设置以尽可能多地包括所有结构。在其他实施例中，系统可以检查用户错误。例如，如果用户正在旋转C形臂但没有踩上成像或荧光透视踏板，则没有图像是实时的，或者如果用户正在踩上踏板但没有旋转C型臂，则图像不会改变。系统可以向用户提供指示此类事件的输出。在又一个实施例中，如果传感器检测到任何不规则图案(例如，太快、太慢、没有足够角度等)，则该信息可能潜在地从系统输出给操作者，以通知操作者他们应该调整其速度或增加更多旋转，或进行任何其他合适的调整。当然，可以向操作者提供其他合适类型的反馈，因为本公开不限于这种方式。

在阶段2010中，可以执行姿势传感器的校准，这可以一次性完成。在一些实施例中，这种一次性校准可以用于提高重建质量。在一些实施例中，该校准可以包括将具有已知形状的易于识别的标记的体模(phantom)放置在成像系统的视场内。在一些实施例中，然后可以执行扫描，记录来自可选姿势传感器的数据和来自成像系统的视频数据。在一些实施例中，校准被用于确定扫描期间的成像系统的源和检测器的近似轨迹。

在阶段2110中，可以捕获对象的图像。例如，图像可以是如上所述由C形臂成像系统捕获的X射线荧光透视图像。此外，对象可以是人类受试者或受试者的一部分(例如，受试者的器官)。如上所述，在一些实施例中，所接收的图像是以相对于对象的不同姿势拍摄的(例如从操作者移动手动C形臂通过的不同方位和取向来拍摄)。在一些实施例中，不同的姿势可以对应于系统的不同取向(例如，角度)。然而，也可以考虑将不同姿势表征为取向和方位的变化的实施例。在任一情况下，所捕获的顺序图像流都可以被输出到相应的控制系统或其他计算系统(包括被配置为执行本文公开的方法的处理器)。

在阶段2210中，可以可选地捕获来自姿势传感器的数据。如前所述，该感测的姿势数据可以用于确定所捕获的图像流中的独立图像的姿势的初始估计。例如，与不同的感测姿势和捕获图像相关联的时间数据可以用于将估计的姿势与相应的捕获的图像相关联，以提供初始估计的姿势。

在阶段2310中，可以捕获来自形状传感器的数据。例如，可以捕获来自具有形状感测的柔性细长设备或其他医疗器械的数据。如前所述，形状传感器数据可以提供与成像系统的参考系内的医疗器械的一个或多个部分的形状相关的信息。在一个这样的实施例中，导管或其他医疗器械的远端部分的姿势可以在成像系统的参考系内是已知的。

在捕获初始数据后，方法2000然后可以继续进行到用于预处理所捕获的数据的阶段，这可以包括图4A中的阶段2020、2120、2220和2320。在阶段2020中，来自阶段2010的校准数据可以由处理器来加载。

在阶段2120中，在阶段2110中所捕获的图像(例如，X射线荧光透视图像)可以经受任何合适的预处理，该预处理包括但不限于对比度调整、图像校正、滤波、裁剪和/或任何其他合适类型的图像预处理。

在阶段2220中，可以预处理在阶段2210中捕获的可选的姿势传感器数据。姿势传感器数据可以对应于与图像捕获期间的成像系统的姿势相关的传感器输入。用于姿势传感器数据的合适类型的预处理可以包括但不限于信号平均化、滤波、平滑和/或所感测的姿势数据可能期望的任何其他合适类型的预处理。

在阶段2320中，可以预处理在阶段2310中捕获的形状传感器数据。用于姿势传感器数据的合适类型的预处理可以包括但不限于传感器数据的集成，以确定对象的一个或多个部分在成像系统的参考系内的一个或多个位置。也可以使用形状传感器数据的其他合适类型的预处理。

方法2000然后可以继续进行到阶段2040，用于预处理数据的数据对准。在阶段2040中，所接收的图像数据可以与来自姿势传感器的传感器数据对准。例如，在阶段2120中被预处理的图像数据可以与在阶段2220中被预处理的传感器数据对准。

然后，方法2000可以继续进行到姿势估计的阶段，其可以包括阶段2050，参见图4A和图4B中的连接符A。在阶段2050中，对准的传感器数据可以被映射到校准的姿势。例如，如果执行了校准，则可以将在阶段2040中对准的传感器数据映射到在阶段2020中加载的校准数据，以便为图像流的不同图像确定更准确的姿势估计。

在一些实施例中，由可选的姿势传感器给出的感测姿势可以用于确定2050中与不同图像相关联的初始姿势估计。例如，如果C形臂的旋转仅围绕一个轴线，则来自姿势传感器的旋转信息可以被映射到单个角度。例如，旋转可以被映射到轴线-角度(axis-angle)表示，并且轴线可以被约束。在这样的实施例中，该角度然后可以表示C形臂已经围绕该轴线旋转了多少。

作为另一个示例，原点处的帧可以通过三维旋转来旋转，然后通过C形臂半径平移出去。在这样的实施例中，这些帧位置的点然后可以被约束到三维球体，并且由每对相邻点形成的角度可以表示C形臂已经旋转了多少。

在阶段2050的又一个实施例中，图像流的相应图像的初始估计姿势可以对应于在成像系统的旋转范围内沿预期轨迹均匀分布的角方位。例如，具有180度旋转范围的系统可以被估计为具有图像流，该图像流包括在从0度延伸到180度的系统的该旋转范围内均匀分布的图像(例如，对于在180度内拍摄的100个帧，每个帧可以被估计为与其相邻帧成1.8度)。在一些实施例中，根据所使用的系统，可以使用更大或更小的旋转范围。此外，还可以使用初始估计为随机数、全零或任何其他合适的初始估计的实例。

由于C形臂的手动旋转的可变性、传感器误差和/或其他误差源，使用姿势传感器或根据任何其他初始估计技术对姿势进行的初始估计可能不准确。因此，在估计图像流的图像的姿势之后，该方法可以继续进行到阶段2060，在此可以进一步细化图像的姿势以提高其准确度。如前所述，使用与被成像的对象的一部分的形状、位置和/或姿势相关的信息可以用于使用能够考虑手动旋转轨迹的差异的每帧的单独姿势校正来改进估计姿势。例如，姿势的细化可以使用成像设备的参考系中以及图像流的图像的视场内的具有已知形状和/或位置的对象的至少一部分。因此，图像流的各个图像的细化姿势可能更稳健和准确。

在阶段2060的一个可能示例中，具有已知形状和/或位置的对象的一部分可以对应于成像系统的视场内存在的医疗器械(例如，导管或本文公开的其他器械的远端部分)。使用与医疗器械相关联的合适的形状传感器，可以确定医疗器械的一个或多个部分相对于成像系统的参考系的形状。初始姿势估计以及医疗器械的至少一部分的已知形状和/或位置可以用于确定估计姿势中的误差。具体而言，可以使用与图像流的每个图像相关联的估计姿势将对象的一个或多个部分的测量形状和/或位置投影到二维图像中。可以将对象的一个或多个部分在投影图像中的位置与对象的一个或多个部分在原始图像中的位置进行比较以确定误差。然后，这些确定的误差可以用于确定图像流的每个图像的姿势的更新估计。例如，在一些实施例中，通过最小化医疗器械的一个或多个部分的估计位置与在各种姿势下在接收的图像中实际看到它的位置之间的误差，可以找到细化的和更准确的姿势。用于确定姿势的合适方法可以包括但不限于：在图像中识别的特征与具有已知形状和/或位置的对象的投影图像之间的对准；捆绑调整；经训练的统计模型，其被配置为至少部分地基于对象的至少一部分的位置和/或形状来识别合适的姿势；和/或用于基于重新投影的图像和图像流的原始对应图像来确定合适姿势的任何其他合适类型的方法。

在本文公开的各种实施例中，估计和细化的姿势信息可以包括外部姿势参数，例如拍摄图像的方位和/或取向。在一些实施例中，诸如与用于成像的源和检测器相关联的维度的固有参数可以是已知的，并且被输入到合适的算法中。然而，也可以设想这样的实施例，即在其中这些固有参数中的一个或多个被包括在由本文公开的过程和系统所确定的估计姿势和细化姿态中，因为本公开不限于这种方式。

在确定姿势之后，方法2000可以存储姿势和图像流以供后续使用，或者可以继续进行到在阶段2070中重建。在阶段2070中，可以使用来自阶段2060的细化的姿势估计和图像流来重建三维结构。由于姿势现在是已知的，因此可以使用本领域中使用的任何合适的重建方法，其包括但不限于：滤波反投影(FBP)、同步迭代重建技术(SIRT)、同步代数重建技术(SART)、迭代重建技术(ART)、共轭梯度最小二乘法(CGLS)、FDK、ADMM总变差、ADMM小波、有序子集期望最大化(OSEM)、统计图像重建(SIR)、坐标上升算法、期望最大化算法(EM)和/或任何其他重建技术。

在重建三维对象之后，方法2000可以可选地继续进行到在阶段2080中显示信息。在阶段2080中，可以向系统的操作者显示与重建的三维对象相关的信息。这可以包括显示三维渲染、分割和/或与重建的三维对象相关的任何其他合适类型的信息。

在一些实施例中，如本文所述，可以根据需要重复阶段2060和2070的至少一些部分。尽管在方法2000中未示出，但可以检查重建是否已经完成(例如，已经达到收敛，在该收敛处所接收的图像和投影图像之间的差异在阈值内)。如果重建尚未完成，则方法2000可以返回到阶段2060的至少某个部分。可替代地，如果重建已经完成，则方法2000可以根据需要结束或重复。

在上述实施例中，已经从所接收的图像的姿势的初始估计对姿势进行了细化。然而，在一些实施例中，可能期望直接从阶段2050进行下去，在阶段2050中，基于来自附加姿势传感器的一个或多个感测姿势参数和在阶段2070处对重建的可选校准来确定估计姿势。在这种实施例中，可以认为来自姿势传感器数据的初始估计姿势足够准确，以允许基于时间协调的图像和姿势信息进行重建。因此，应当理解，本公开可以在具有或不具有与捕获的图像流相关的姿势信息的进一步细化的情况下实施。

图5是示出根据本公开的实施例的用于重建三维结构的方法200的流程图。在一些实施例中，可以使用上述过程、系统和控制器来实施所描绘的方法。方法200在图5中被示出为一组阶段、块、步骤、操作或过程。并非所有示出的枚举的操作都可以在方法200的所有实施例中执行。附加地，图5中未明确示出的一些附加操作可能被包括在所枚举的阶段之前、之后、之间或作为所枚举的阶段的一部分。操作还可以按照与所示顺序不同的顺序执行。方法200的一些实施例包括存储在存储器中的与方法200的过程相对应的指令。这些指令可以由处理器(如控制器或控制系统的处理器)来执行。

方法200的一些实施例可以从阶段210开始，其中可以接收由成像设备以不同姿势拍摄的对象的按时间排序的图像。在一些实施例中，对象可以是人类患者或受试者和/或患者或受试者的器官。在一些实施例中，对象的图像可以是X射线图像。在一些实施例中，可以从不同的视角拍摄对象的图像，每个视角对应于成像设备相对于对象的姿势。在一些实施例中，多个图像可以是以多个顺序姿势拍摄的一系列顺序图像，这些姿势沿着成像系统的检测器相对于位于检测器的视场内的对象的运动路径来定位。在一些实施例中，相对于成像系统的参考系具有已知形状和/或位置的至少一个对象可以存在于图像的视场中。例如，包括形状传感器的医疗器械在对受试者进行成像期间可以存在于成像系统的视场内。

方法200然后可以可选地继续进行到阶段220，在该阶段中可以确定对象的至少一部分的形状和/或位置。例如，处理器可以接收对象的至少一部分相对于成像系统的参考系的所感测的或以其他方式确定的位置。在其他实施例中，处理器可以接收至少一个对象相对于成像系统的参考系的所感测的形状。

方法200然后可以继续进行到阶段230，在该阶段中可以确定图像流的各个图像的姿势的初始估计。例如，处理器可以确定至少一个所接收的图像的至少一个姿势的初始估计。

在一些实施例中，阶段230可以可选地包括阶段232，其中可以使用如上所述的传感器数据来确定姿势的初始估计。例如，处理器可以至少部分地基于来自姿势传感器的数据来确定初始姿势估计，所述姿势传感器例如是惯性测量单元、加速度计、陀螺仪、磁力计或者在捕获所接收的图像期间附接到成像系统的任何其他合适的姿势传感器。

方法200然后可以可选地继续进行到阶段240，在该阶段中可以基于初始估计的姿势以及如上所述与对象相关的形状和/或位置信息来投影二维图像。例如，在一些实施例中，可以使用姿势估计将相对于对象(例如，医疗器械)的一个或多个部分确定的位置和/或形状信息投影到二维图像中。上文相对于图4A和图4B进一步描述了该过程的示例。

方法200然后可以继续进行到阶段250，在该阶段中可以基于投影图像和图像流的相应图像之间的至少一个比较来细化姿势。在一些实施例中，阶段250可以包括阶段252，其中比较包括将对象的一个或多个部分的形状和/或位置的至少一个投影二维图像与至少一个所接收的图像进行比较。例如，比较可以包括来自至少一个投影二维图像的数据与所接收的图像的对准。作为阶段252的替代或补充，阶段250可以包括阶段254，其中处理器可以使用捆绑调整来基于具有已知形状和/或位置的至少一个对象来细化至少一个姿势。在一些实施例中，阶段254可以包括阶段256，其中处理器可以在利用捆绑调整来细化至少一个姿势时使用对象的一个或多个部分的位置。

图6示出捆绑调整的示例。在图6中，P是现实世界中的一个估计点，p’是在相机相对于用于创建相机检测到的信号的O处的源的方位处于特定位置的情况下将看到该点的地方，并且p是实际观察到该点的地方。在一些实施例中，捆绑调整包括非线性优化，该非线性优化试图通过最小化可用于细化姿势估计的重新投影误差来校正点和相机(例如，X射线成像方位)。然而，如前所述，也可以使用其他优化技术。

在阶段260中，在一些实施例中，如上所述，可以根据需要重复阶段250的至少一些部分。例如，如果姿势已经收敛到期望的阈值准确度内，则方法200可以继续进行到阶段270，使用细化的姿势进行重建。可替代地，如果细化的姿势仍然需要进一步的细化，则方法200可以返回到阶段250的至少某个部分，直到姿势表现出期望的准确度为止。

在阶段270中，可以重建图像以提供包括对象的图像流的三维重建。可以使用如上所述的图像流的细化姿势和图像进行这种重建。例如，处理器可以使用图像流的细化姿势和所接收的图像来重建三维结构。姿势、重建的三维结构(包括重建的对象)、图像流和/或任何其他合适的信息可以被存储在存储器中以供将来调用和使用，如上所述显示给操作者，或者用于任何其他合适的应用。

C形臂系统(特别是包括图像增强器检测器的那些系统)可能经历空间失真。在一些示例中，球面失真(例如径向、枕形和/或桶形失真)可能是由光学透镜引起的，并且可能与C形臂姿势的变化相对一致。在一些示例中，S形失真(例如S-失真)可能是由外部磁场引起的，并且失真场可能随着C形臂姿势而变化。在没有补偿的情况下，这些形式的失真可能会导致不准确的姿势确定，并扭曲由C形臂生成的三维重建。为C形臂系统或C形臂系统的特定配置确定一组失真参数可以允许补偿失真。在一些示例中，在C形臂检测器的视场中的具有已知形状的对象(例如，对象1010)可以用于优化姿势和失真参数两者，但使用共同的对象来优化这两个参数可能是困难的。使用具有已知形状和/或配置的不同对象可以允许将优化分开，并且可以导致姿势和失真参数的更准确的确定。图7示出C形臂成像系统300，其包括可用于校准失真参数的对象302。系统300可以类似于系统100，但存在如所描述的差异。在该示例中，对象302可以被附接到C形臂110。对象302可以具有已知特征，例如已知形状和/或位置，例如已知基准图案，并且可以用于校准C形臂的失真参数。对象302可以被固定或耦合到C形臂110，使得对象与C形臂一起旋转并且针对所有生成的图像保持在C形臂视场中的相同方位。在一些示例中，对象302可以被附接到检测器116并与检测器116一起旋转。

图8是对象302的俯视图。对象302可以包括平台352和一组基准354。一个或多个附接设备356(例如夹具、夹子、螺纹连接器或其他机械固定装置)可以被配置为可移除地或永久地将对象302耦合到检测器116。基准354相对于检测器116具有固定的方位和取向。随着检测器116的旋转，生成的图像中的基准354的方位保持不变，而对象1010在检测器116的视场中的方位和取向发生变化。基准354可以用于确定失真参数，并且对象1010可以被独立地用于确定姿势参数。失真参数可以用于校正失真并生成未扭曲的图像或三维重建。在一些示例中，平台352可以由金属材料形成，并且基准354可以是穿过平台352的一组孔。该金属材料可能会使视场变暗(基准的位置除外)。在一些示例中，平台352可以由诸如塑料的射线可透过的材料形成，并且基准354可以由诸如金属球体的不透射线的材料形成。这些金属球体在所生成的图像中可以具有不变的方位和取向。在一些示例中，基准354可以具有与对象1010不同的形状，因此可以基于所生成的图像中的形状来区分。在其他示例中，基准354可以具有与对象1010相同的形状，但可以在连续图像中与对象1010区分开，因为基准354在所生成的图像中是方位不变的。

本公开的实施例中的一个或多个元件可以在软件中实施，以在包括本文公开的控制系统的计算机系统的处理器上执行。当在软件中实施时，本公开的实施例的元件基本上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，其可能已经通过传输介质或通信链路上的载波中体现的计算机数据信号来下载。处理器可读存储设备可以包括可存储信息的任何介质，其包括光学介质、半导体介质和磁性介质。处理器可读存储设备示例包括电子电路、半导体设备、半导体存储器设备、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、软盘、CD-ROM、光盘、硬盘或其他存储设备。可以经由计算机网络(诸如互联网、内联网等)下载代码段。

请注意，所呈现的过程和显示可能与任何特定的计算机或其他装置不是固有地相关。这些不同系统的结构作为权利要求中的元素出现。此外，本公开的实施例没有参考任何特定的编程语言进行描述。应当理解，可以使用各种编程语言来实施如本文描述的本公开的教导。

虽然已经结合各种示例描述了本教导，但并不旨在将本教导局限于这些示例。相反，如本领域技术人员将理解的，本教导包括各种替代方案、修改和等同物。因此，上述描述和附图仅作为示例。

Claims (25)

1.一种三维结构重建系统，其包括：

至少一个处理器，其被配置为：

接收对象的按时间排序的多个X射线图像，其中所述多个X射线图像是以相对于所述对象的多个姿势拍摄的，其中所述多个X射线图像中的至少一个描绘具有已知形状和/或位置的至少一个对象；

确定所述多个X射线图像中的至少一个的至少一个姿势的初始估计；以及

基于与所述多个X射线图像的至少一个比较来细化所述至少一个姿势。

2.根据前述权利要求中任一项所述的系统，其中所述至少一个处理器还被配置为使用经细化的所述至少一个姿势和所述多个X射线图像来重建三维结构。

3.根据前述权利要求中任一项所述的系统，其中所述至少一个处理器还被配置为至少部分基于在捕获所述多个X射线图像期间来自附接到成像系统的惯性测量单元、加速度计、陀螺仪或磁力计中的至少一个的数据来确定所述至少一个姿势的所述初始估计。

4.根据权利要求1-2中任一项所述的系统，其中所述至少一个处理器还被配置为使用所述多个姿势在用于拍摄所述多个X射线图像的成像系统的运动范围内的均匀分布来确定所述至少一个姿势的所述初始估计。

5.根据前述权利要求中任一项所述的系统，其中所述至少一个比较包括将所述至少一个对象的至少一部分的所述形状和/或位置的至少一个投影二维图像与所述多个X射线图像中的至少一个进行比较。

6.根据权利要求5所述的系统，其中所述至少一个比较包括来自所述至少一个投影二维图像的数据与所述多个X射线图像的对准。

7.根据权利要求1-4中任一项所述的系统，其中所述至少一个处理器还被配置为使用捆绑调整来至少部分基于具有已知形状和/或位置的所述对象来细化所述至少一个姿势。

8.根据权利要求7所述的系统，其中所述至少一个处理器还被配置为接收所述至少一个对象的至少一个特征的位置，并且所述至少一个处理器还被配置为在利用捆绑调整来细化所述至少一个姿势时使用所述位置。

9.根据前述权利要求中任一项所述的系统，其中所述至少一个对象包括医疗器械。

10.根据前述权利要求中任一项所述的系统，其中所述至少一个处理器还被配置为接收所述至少一个对象的感测形状。

11.根据前述权利要求中任一项所述的系统，其中具有已知形状和/或位置的所述至少一个对象包括具有已知形状和/或位置的第一对象以及具有已知形状和/或位置的第二对象，并且其中所述处理器还被配置为根据具有已知形状和/或位置的所述第二对象来确定失真参数。

12.根据权利要求11所述的系统，其中所述第二对象是相对于所述第一对象可移动的。

13.一种用于三维结构重建的方法，所述方法包括：

接收对象的按时间排序的多个X射线图像，其中所述多个X射线图像是以相对于所述对象的多个姿势拍摄的，其中所述多个X射线图像中的至少一个描绘具有已知形状和/或位置的至少一个对象；

确定所述多个X射线图像中的至少一个的至少一个姿势的初始估计；以及

基于与所述多个X射线图像的至少一个比较来细化所述至少一个姿势。

14.根据权利要求13所述的方法，还包括使用经细化的所述至少一个姿势和所述多个X射线图像来重建三维结构。

15.根据权利要求13-14中任一项所述的方法，还包括至少部分地基于在捕获所述多个X射线图像期间来自附接到成像系统的惯性测量单元、加速度计、陀螺仪或磁力计中的至少一个的数据来确定所述至少一个姿势的所述初始估计。

16.根据权利要求13-14中任一项所述的方法，其中所述至少一个处理器还被配置为使用所述多个姿势在用于拍摄所述多个X射线图像的成像系统的运动范围内的均匀分布来确定所述至少一个姿势的所述初始估计。

17.根据权利要求13-16中任一项所述的方法，其中所述至少一个比较包括将所述对象的形状和/或位置的至少一个投影二维图像与所述多个X射线图像中的至少一个进行比较。

18.根据权利要求17所述的方法，其中所述至少一个比较包括来自所述至少一个投影二维图像的数据与所述多个X射线图像的对准。

19.根据权利要求13-16中任一项所述的方法，其中所述方法还包括使用捆绑调整来基于具有已知形状的所述至少一个对象来细化所述至少一个姿势。

20.根据权利要求19所述的方法，还包括接收所述至少一个对象的至少一个特征的位置，并在利用捆绑调整来细化所述至少一个姿势时使用所述位置。

21.根据权利要求13-20中任一项所述的方法，其中所述至少一个对象包括医疗器械。

22.根据权利要求13-21中任一项所述的方法，还包括接收所述至少一个对象的感测形状。

23.至少一个非暂时性计算机可读介质，其上具有指令，当由至少一个处理器执行时，所述指令施行根据权利要求13-22所述的方法中的任何一种。

24.根据权利要求13所述的方法，其中具有已知形状和/或位置的所述至少一个对象包括具有已知形状和/或位置的第一对象和具有已知形状和/或位置的第二对象，并且所述方法还包括根据具有已知形状和/或位置的所述第二对象来确定失真参数。

25.根据权利要求24所述的方法，其中所述第二对象是相对于所述第一对象可移动的。