CN114846517A - 确定2d医学图像中的对象之间的相对3d位置和取向 - Google Patents

Abstract

提供用于处理X射线图像的系统和方法，其中，将该方法实施为可在系统的处理单元上执行的软件程序产品。通常，由系统接收X射线图像，X射线图像是第一对象和第二对象的投影图像。对第一对象和第二对象进行分类，并且接收对象的相应3D模型。在第一对象处，确定如轴线或线的几何特征，并且在第二对象处，确定例如点的另一几何特征。最后，基于第一对象的3D模型、第二对象的3D模型，以及第二对象的点位于第一对象的几何特征上的信息，确定第一对象与第二对象之间的空间关系。

Description

确定2D医学图像中的对象之间的相对3D位置和取向

技术领域

本发明涉及人工智能和计算机辅助手术的领域。特别地，本发明涉及一种用于基于X射线投影图像，确定3D表示和对象之间的相对3D位置和相对3D取向的设备和方法。可将该方法实施为可在所述设备的处理单元上执行的计算机程序。

背景技术

在骨科或骨科创伤手术或脊柱手术中，用相对细的器械瞄准目标对象或目标结构(作为目标对象的一部分)是常见的任务。目标结构可以是解剖结构上的(例如椎弓根)或其它器械或植入物的一部分(例如长顺行髓内钉的远端锁定孔)。一般来说，目的可在于确定器械与目标对象之间的3D相对位置和3D相对取向。基于可用的术中2D成像技术，这可能会是有挑战性的。如果目标对象的精确几何形状是未知的，和/或如果器械是已知的，但不能仅基于2D的X射线图像在3D空间中定位，这是特别困难的。

对于外科手术过程，可执行术前CT扫描，其允许更精确地规划手术过程。例如，当在复杂3D结构内操作时，或当在狭窄的解剖学结构内或在关键结构(例如脊髓、神经、主动脉)附近钻孔或布置螺钉时，是这样的情况。这样的手术过程的典型示例是放置骶髂螺钉或椎弓根螺钉。当目标结构是工具或植入物时，其3D几何形状通常是已知的。一个示例是远端锁定手术过程，其中，目标对象(钉子)的3D模型或关于其的3D信息、特别是目标结构“远端锁定孔”(柱体)是可用的。

然而，对于外科医生，利用该3D信息并将其应用到术中2D的X射线图像，就要求高水平的空间感知和想象。

在一些情况中，并对于一些手术过程，可能可行的是例如通过将钻孔的方向与成像设备的具体观察方向(例如对于远端锁定过程，标准内侧-外侧视图)对准，确定钻孔的方向。然而，一般不能够确保钻孔实际上精确地沿着该方向进行。这现在将对于长顺行髓内钉的远端锁定的示例示出。

在顺行钉的常规远端锁定过程中，外科医生将C形臂移动到标准侧位，这意味着待锁定的孔在X射线图像中看起来是完美地圆形的。该定位是乏味且耗时的，可能会花费数分钟，这是因为它是重复进行的：它通常要求获取5至20幅X射线图像，其中对应地重新调节C形臂。实现该定位的一种更快的方式在于使用C形臂的透视模式(产生连续X射线视频流)，但这导致更高的X射线剂量。

此外，为了确保对于远端锁定的高精度，孔不仅必须看起来是圆的，而且它还必须靠近X射线图像的中心。然而，在实践中，一旦孔在X射线图像中看起来足够圆，该C形臂位置就通常用于远端锁定，即使孔不靠近X射线图像的中心。由于X射线束扇的锥形，射线束越远离X射线图像的中心，X射线束的方向就越倾斜。由此，钻孔应在X射线源的焦点方向上，而不是平行于X射线源与检测器之间的中心线。

在接下来的步骤中，可将钻头的尖端放置在意图的钻孔位置上，并获取X射线图像。在此，可有意地以倾斜的角度握持钻头，即不在锁定轨迹的方向上，以使得电钻头和外科医生的手不阻挡视线。目的在于这样地放置钻头以使得在X射线图像中，钻头尖端出现于(圆的)锁定孔的中心处。这也是重复实施的，通常要求5至10次重复和X射线图像。

一旦这以足够的精度实现了，钻头与目标轨迹对准，将钻头尖端留在原位。通常不用X射线检查该对准，这是因为在该角度上，电钻和外科医生的手会阻挡视线。因此，外科医生使用C形臂的位置作为引导，尝试平行于“C”对准钻头。在钻孔期间实现、然后维持这样的对准要求非常高水平的手工灵巧度。而且，外科医生通常没有观察到，他/她应当瞄准X射线源的焦点。锁定孔看起来离X射线图像的中心越远，由于忽略瞄准焦点引入的误差就变得越大。目标点(锁定孔)处的典型误差在1至2mm的范围内。这接近3mm的极限，超过该极限，对于大多数打钉系统的远端锁定就会失败。所有这些意味着，尤其对于经验不足或技术不熟练的外科医生，发生失败的钻孔尝试。

由于一般需要锁定多于一个的孔，必须对于每个孔重复该整个过程。由此，完成钉子的整个锁定过程通常非常耗时，需要多幅X射线图像，并经常涉及失败的钻孔尝试。这意味着在骨接合领域，远端锁定是最令人沮丧的过程之一。这有时候导致利用短而不是长的钉子的捷径，这又会导致更糟糕的患者后果和显著数量的翻修手术。

出于该原因，一些制造商提供了一种灵活的机械解决方案(下文称作“长瞄准设备”)，以适应髓管内钉的弯曲。尽管长瞄准设备简化了过程，但是其应用仍不简单，这是因为必须正确地解读显示长瞄准设备的X射线图像,并相应地调整C形臂位置。只有在正确地调整C形臂之后才可合适地调整长瞄准设备。

EP 2801320 A1提出一个概念，其中，检测在相对于长瞄准设备的固定且已知的位置处具有金属标记的参照体，并确定参照体上的成像方向。基于此，系统可给出关于如何调整C形臂成像设备的指令。这样的系统的缺点在于，X射线图像必须包含参照体。在具有侧向的锁定孔的顺行股骨钉的情况中，为了调整长瞄准设备，US 2013/0211386 A1使用参照体，以确定钉子分别在ML方向和AP方向上的弯曲。

除远端锁定以外，为了整体地提高微创手术的安全性和准确性，外科医生必须获得必要的术中3D信息，即器械与目标对象/结构之间或多个解剖结构之间的相对3D位置和3D取向。该信息可由基于跟踪的导航系统显示，这要求术前3D成像和然后在术中用术前3D数据记录术中2D成像数据。另一替代方案在于使用包含关于目标对象和额外工具(其形式通常是额外硬件(例如，长瞄准设备))的3D信息的数据库(例如，植入物数据库)。这些系统通常在设置和术中使用上是笨重、耗时，且繁琐的，并通常成本高昂。因此，由于所有这些缺点，对于在骨科和创伤中的使用，基于导航的系统不总是可用的，或甚至可行的。相同的评论适用于用于术中3D成像的系统(例如O形臂、3D C形臂)，它们还添加高的X射线剂量。

这突显了对于无创且易于使用的系统的需求，该系统能够提供术中3D信息，而不需要跟踪系统且无需任何额外的硬件构件。本发明提出系统和方法，其仅需要计算机和显示器和/或扬声器来处理术中2D图像。提出了利用目标对象的确定性3D数据(例如，以植入物的3D术前成像数据或3D模型数据的形式)和不需要这样的数据的的两种技术。

发明内容

优选的是，没有任何参照体或其它额外硬件(例如瞄准设备)的情况下工作，因为这简化了产品开发(例如，如果利用新的植入物)，更具成本效益，允许更接近于典型工作流程的手术室工作流程，并消除了参照体的机械接口会引入的增加的不确定性。

如在此所述的，本发明提出将关于X射线图像生成过程的知识与人工智能组合(以所谓的深度变形，和/或使用神经网络的形式)，而不是任何参照体，以提供当实施对例如骨折的治疗时所需的信息。由此，可以认为本发明的目的在于提供一种设备和/或一种方法，其允许3D表示和确定在X射线投影图像中至少部分地可见的多个对象之间的相对3D位置和相对3D取向。在此，对象可以是X射线图像中可见的任何对象，例如解剖学结构、植入物、手术工具，和/或植入物系统的一部分。

术语“3D表示”可指3D体积或3D表面的完整或部分描述，并且它还可以指所选择的几何特征(aspect)，例如半径、轴线、平面或类似的。有可能确定关于对象的3D表面或体积的完整3D信息，但在许多应用中，仅确定所选择的几何特征可能就足够了。

在整个申请中，术语“将……定位”和“定位”指确定对象的3D取向和确定该对象在图像平面上的投影的2D空间位置。另一方面，基于关于对象在手术室中的典型集群的先验信息，例如植入物、患者和成像设备的相对位置，估计(具有一定不确定性)成像深度(这是对象与图像平面的距离)。对于本发明的大多数目的，这样的估计的成像深度是足够的。一些应用可能会要求更精确地确定成像深度，如下所述，这在某些情况中是可行的。

根据一个实施例，提供了对象的3D重构(即确定3D表示)和定位，该对象的形状和外观具有一定的可变性。这能够基于单幅X射线图像完成，或为了更高的准确性，基于多幅X射线图像完成。还可以提供例如解剖学结构、植入物、手术工具和/或植入物系统的部分的相关对象的3D表示和定位，即使在X射线图像中不可见或仅部分可见。

根据一个实施例，提供多个对象之间的相对3D位置和3D取向的确定，即使不可能以足够的精度单独地定位对象中的至少一个。这可以通过使用关于至少两个对象的特征之间的相对位置和/或取向的先验几何信息来实现，并且还可能限制所允许的X射线成像方向的范围。可行的临床应用可以包括徒手远端锁定、放置骶髂(SI)或椎弓根螺钉，以及骨折解剖复位的评估。

要指出的是，被处理的X射线图像的图像数据可以直接从成像设备，例如从基于2D的X射线设备的C形臂，或替代地从数据库接收。本发明的方面还可以用于处理使用其它成像模式，例如超声波或核磁共振成像获取的医学图像。

根据一个实施例提出的系统包括至少一个处理单元，其通常被配置为执行包括指令集的计算机程序产品，该指令集使得设备(i)接收其特征取决于成像参数的X射线投影图像，(ii)对X射线投影图像中的至少一个对象分类，(iii)接收所分类的对象的模型，和(iv)通过将模型的虚拟投影与所分类的对象的实际投影图像相匹配，确定所分类的对象的3D表示，并且相对于坐标系定位所分类的对象。该过程可以考虑X射线成像方法的特征。特别地，如在以下的示例中所讨论的，可以考虑适用截距定理。

X射线投影图像可以表示所关注的解剖学结构，特别是骨骼。骨骼可以例如是手或脚的骨骼，下肢的长骨骼(例如股骨和胫骨)和上肢的长骨骼(例如肱骨)，或椎骨或骨盆。图像还可以包括人造对象，例如手术工具(例如钻头)或已经插入或固定到被成像的所关注的解剖学结构的骨骼植入物。

在本发明的上下文中，会区分“对象”和“模型”。术语“对象”会用于实际对象，例如用于骨骼或骨骼的一部分，或其它解剖学结构，或用于植入物，例如髓内钉、接骨板或接骨螺钉，或用于手术工具，例如套管、克氏针、手术刀、钻头或瞄准设备，该手术工具可以连接到植入物。“对象”还可以描述实际对象的仅一部分(例如骨骼的一部分)，或可以是实际对象的组合并由此由子对象构成。为了强调一个对象是另一对象的子对象，它可以被称作“结构”。例如，钉子的“锁定孔”可以被视为对象“钉子”的结构(或子对象)。作为另一示例，椎骨的“椎弓根”可以被视为对象“椎骨”的结构。然而，结构本身(例如椎弓根)也可以被简单地称作“对象”。

术语“模型”会用于对象(或子对象或结构)的虚拟表示。例如，限定植入物的形状和尺寸的数据集可构成植入物的模型。作为另一示例，例如在诊断手术期间生成的解剖结构的3D表示可用作实际解剖对象的模型。应当注意的是，“模型”可以描述特定的对象，例如特定的钉子或特定患者的左股骨，或者，它可以描述可具有一定可变性的一类对象，例如一般来说的股骨。在后一情况中，这样的对象可以例如用统计学形状或外观模型来描述。本发明的目的则可以在于从所获取的X射线图像中描绘的对象类中找到特定实例的3D表示。例如，目的可在于基于椎骨的一般统计学形状模型，找到所获取的X射线图像中描绘的椎骨的3D表示。还可行的是使用包含离散集的确定性概率的模型，系统则会选择这些中的哪一个最好地描述图像中的对象。例如，在数据库中可存在多个钉子，算法则会识别在图像中描绘了哪个钉子(如果该信息没有事先由用户提供)。

由于模型实际上是计算机数据集，能够容易地从该数据提取特定信息，例如虚拟表示的对象的几何特征和/或尺寸。

模型可包括被成像的对象的多于一个的部分，可能有一个或更多个部分在X射线投影图像中不可见。例如，植入物的模型可以包括旨在与植入物一起使用的螺钉，但仅植入物已经引入到解剖学结构中，由此仅植入物在X射线投影图像中可见。

还要注意的是，模型可以不是实际对象的完整3D模型，这是因为它仅描述了对象的某些几何特征，例如股骨头能够由3D中的球体和2D投影图像中的圆圈来近似，或椎骨的椎弓根具有类似柱形的形状。

根据一个实施例，用于处理X射线图像的系统通常包括处理单元和软件程序产品，其中，当软件程序产品被处理单元执行时，使得系统执行以下步骤。首先，接收X射线图像，其中，X射线图像是至少第一对象和第二对象的投影图像。至少第一对象和第二对象然后被分类，并例如从数据库接收对象的相应3D模型。直接基于X射线图像和/或基于相应的3D模型，结合第一对象的3D模型，确定和识别第一对象的第一几何特征，并根据第二对象的3D模型，确定和识别第二对象的第二几何特征。第二几何特征可以是点。

另外，基于第一对象的3D模型、第二对象的3D模型，和第二几何特征(例如第二对象的点)位于第一对象的几何特征上的信息，确定第一对象与第二对象之间的空间关系。第一对象的几何特征可以是平面、线，或点。可理解的是，几何特征还可包括多个提到的特征，以及其组合。由此，在此所使用的几何特征可能导致更加复杂的形状，例如在骨折的情况下碎片的边缘。

根据一个实施例，第一对象的几何特征是平面或线，并且以相对于该几何特征倾斜10度至65度的角度的成像方向来生成X射线图像。实际上，与第一对象相关联的平面或线可以相当于成像方向倾斜。以这样的倾斜的成像方向生成的X射线图像可以包括足够的关于第一对象的信息，以允许确定几何特征。换句话说，如在X射线图像中可见的第一对象的外观为系统的处理单元提供足够的信息，以自动地分类对象和识别几何特征。角度的范围也可以是15度至45度。可替代地，角度的范围可以是20度至30度。假设系统为用户提供用于调整C形臂的指示，系统可以指示用户相对于第一对象的几何特征对成像方向取向，或者它可以指示用户以例如25度的角度对第一对象的几何特征取向。

根据另外的实施例，还使得系统确定第二对象的3D位置和3D取向与第二对象相对于第一对象的所预期的空间关系的偏差。

例如，第一对象可以是解剖结构的特征或第一植入物，第二对象可以是工具或第二植入物。如在下文中更详细地描述的，第一对象可以是椎骨，第二对象可以是椎弓根钉。可替代地，第一对象可以是髓内钉，第二对象可以是用于远端锁定该钉的锁定螺钉。可替代地，第二对象可以是用于为螺钉进入和穿过骨骼准备路径的钻头或克氏针。可替代地，第一对象和第二对象可以分别都是必须在解剖学上复位的骨骼碎片。

根据一个实施例，第二对象的所选择的点可以是对象的尖端，例如钻头的尖端，关于所述尖端的3D位置的信息是尖端与第一对象的表面、例如椎骨或长骨骼(例如股骨)的外表面的接触点。

根据一个实施例，系统可包括用于给用户提供信息的设备，其中，信息包括由X射线图像和关于过程步骤的指令构成的组中的至少一项信息。可理解的是，这样的设备可以是用于可视化信息的监视器，也可以是用于声学地提供信息的扬声器。

根据又一实施例，X射线成像设备的特征可以是已知的，其旨在与在系统的处理单元上执行的所述软件程序产品一起使用。另一方面，成像特征可以是已知的并可在处理X射线图像数据时被考虑，并且另一方面，可以基于成像设备的已知几何形状和改变C形臂的位置和取向的可行性，便于指示用户调整用于成像的C形臂。基于C形臂的X射线成像设备可以是系统的一部分。

对象在投影图像中的外观可能会受到X射线成像过程的影响。例如，像相对于重力的成像方向(其描述X射线束穿过对象的方向，也称作“观察方向”)、缩放、辐射强度，和/或磁场的存在的成像参数，可能会影响对象在投影图像中的外观。这些或另外的成像参数可能会导致投影图像中的特征改变，例如，由于枕头效应造成的所投影的对象的变形、取决于成像方向的C形臂成像设备的机械弯曲、曲率、噪音和/或失真。在此，将这些改变记为图像特征。

可理解的是，可以在投影图像中以足够的精确度确定这些图像特征。例如，在图像的边缘区域示出的结构的位置可能会比图像中心的结构更受枕头效应影响。由此，基于从边缘区域跨越到中央区域的已知形状的结构，可以以足够的精度确定枕头效应的特征。对于2D的X射线中的区域确定的图像特征可以外推到整幅图像。

对象在X射线图像中的外观还取决于(除其它外)X射线辐射的衰减、吸收和偏转，这取决于对象的材料。X射线束必须穿过的材料越多，X射线检测器接收到的X射线辐射就越少。这不仅影响对象在其轮廓内的外观，而且还改变轮廓本身在X射线投影图像中的形状，特别是在对象细的区域。该效应的强度还取决于X射线强度和X射线束必须穿过的围绕对象的组织的量。后者取决于患者的体重指数和成像方向。围绕对象的软组织的量可由数据库导出，该数据库考虑到例如种族、性别、体重指数、年龄等。

考虑到图像和对象特征，以及X射线衰减、吸收和偏转的影响，模型的虚拟投影可能会是变形的和/或失真的，例如对象在X射线投影图像中是变形的和/或失真的。可理解的是，X射线投影图像中的对象与模型的匹配可包括使得X射线投影图像的图像特征适配模型的虚拟投影的图像特征，和/或使得模型的虚拟投影的图像特征适配X射线投影图像的图像特征。还可理解的是，通过最小化3D中的距离，在3D投影体积中匹配也是可行的。

由于X射线束源自X射线源(焦点)并被图像平面中的X射线检测器检测，通过截距定理，对象的物理尺寸(也称作基本比例定理)与其在X射线图像中的投影的尺寸相关。在本发明的范围中，一般不要求精确的成像深度(这是对象与图像平面的距离)。然而，如果对象足够大，成像深度可通过截距定理确定，并且对象越大，该确定就会越精确。然而，即使对于小的对象，对成像深度的近似估计也是可行的。可替代地，如果X射线检测器的尺寸和图像平面与焦点之间的距离是已知的，也可确定成像深度。

根据一个实施例，可使用深度神经网络(DNN)来分类X射线投影图像中的对象(例如，股骨的近端部分、股骨的远端部分、钉子的近端部分，或钉子的远端部分等)。要注意的是，DNN可以在不确定对象位置的情况下对其进行分类(参见，例如Krizhevsky,A.,Sutskever,I.和Hinton,G.E.ImageNet classification with deep convolutionalneural networks.In NIPS,pp.1106–1114,2012)。还要注意的是，即使已知应在X射线图像中识别哪个对象，也可对对象进行分类。神经网络还可用于粗略分类成像方向(例如，APvs.ML，参见文献：Aaron Pries,Peter J.Schreier,Artur Lamm,Stefan Pede,JürgenSchmidt:Deep morphing:Detecting bone structures in fluoroscopic X-ray imageswith prior knowledge,2018，可在以下网址在线获取https://arxiv.org/abs/1808.04441https://arxiv.org/abs/1808.04441)。这样的对象和成像方向的分类可用于为之后的处理步骤选择合适的模型。要指出的是，分类可通过其它方式，或通过关于在图像中可见哪个或哪些对象的先验信息来实施。

根据一个实施例，可在X射线图像中检测被分类的对象的轮廓。对于具有可变形状的对象，例如解剖学结构，这可通过使用“深度变形”方法来进行，如以上引用的Pries等人(2018)的论文中所述。该论文提出基于深度神经网络的用于检测透视X射线图像中的骨骼结构的方法。该技术具体地解决透视X射线的自动处理中的挑战，即它们的低质量和通常只有小数据集可用于训练神经网络的事实。该技术以统计学形状模型的形式结合了关于对象的高级别信息。该技术由两级方法(称作深度变形)构成，其中，在第一级中，神经分割网络检测骨骼或其它对象的轮廓(轮廓线)，然后在第二级中，使用主动形状模型算法的变型(但对于第二级，也可使用其它算法)，将统计学形状模型拟合到该轮廓。该组合允许该技术标记对象轮廓上的点。例如，在骨骼的分割中，该技术将能够确定2D的X射线投影图像中的轮廓上的哪些点对应于小转子区，和哪些点对应于股骨颈区等。由确定性模型描述的对象(例如，钉子)也可通过深度变形来检测，或简单地如在深度变形的第一级中那样，通过神经分割网络检测。

在另外的步骤中，考虑到图像和/或对象特征，以及X射线衰减、吸收和偏转的影响，则可调节模型的虚拟投影，以匹配X射线投影图像中的对象的外观。根据一个实施例，对于由确定性模型描述的对象，该匹配可例如根据以下文献所述地实施：Lavallée S.,Szeliski R.,Brunie L.(1993)Matching 3-D smooth surfaces with their 2-Dprojections using 3-D distance maps.In:Laugier C.(eds)Geometric Reasoning forPerception and Action.GRPA 1991.Lecture Notes in Computer Science,vol.708.Springer,Berlin,Heidelberg。在该方法中，可通过在参数矢量中引入额外的自由度，或通过使用合适地调节的模型，考虑到图像特征和对象特征，以及X射线衰减、吸收和偏转的影响。

可以基于多种数据来训练神经网络，多种数据与神经网络将被应用的数据相当。在评估图像中的骨骼结构的情况中，应基于关注的骨骼的多幅X射线图像，训练神经网络。可理解的是，还可基于模拟X射线图像训练神经网络。如在以下文献的附录中所述的，模拟X射线图像可例如由3D的CT数据生成：Aaron Pries,Peter J.Schreier,Artur Lamm,StefanPede,Jürgen Schmidt:Deep morphing:Detecting bone structures in fluoroscopicX-ray images with prior knowledge，可在以下地址在线获得https://arxiv.org/abs/1808.04441。

根据一个实施例，可使用多于一个的神经网络，其中，神经网络每个可专门对于实现所期望的解决方案所需的子步骤训练。例如，第一神经网络可被训练为评估X射线图像数据，以分类2D投影图像中的解剖学结构，而第二神经网络可被训练为检测该结构在2D投影图像中的位置。第三网络可被训练为确定该结构相对于坐标系的3D位置。还可行的是将神经网络与其它算法组合，包括但不限于主动形状模型。要指出的是，神经网络还可学习定位对象，或确定成像方向，无需首先检测对象在2D的X射线图像中的轮廓。还要指出的是，神经网络还可用于其它任务，例如确定一个或更多个图像特征，例如枕头效应。

根据一个实施例，在X射线投影图像中，还可手动分类和/或识别对象。这样的分类或识别可以通过自动地参照设备之前识别的结构，由设备来支持。

根据一个实施例，系统可计算对象的几何特征(例如，轴线、平面、轨迹、轮廓、曲率、中心点或一维或二维流形)和对象的尺寸(例如，长度、半径或直径、距离)。这可由于模型与虚拟投影之间的对应来实现，该虚拟投影已经匹配到在X射线图像中看见的投影。

当显示X射线投影图像时，可将几何特征和/或尺寸显示为投影图像中的覆盖。可替代地和/或附加地，模型的至少一部分可以在X射线图像中显示，例如作为透明可视化或3D渲染，这可以便于用户来识别模型和由此的被成像的对象的结构特征。

本发明提供了形状和外观具有一定可变形的对象的3D重构和定位。这样的对象可以例如由3D统计学形状或外观模型来描述。这可基于单幅X射线图像或多幅X射线图像来实现。基于解剖对象的图像，模型可以变形以使得其虚拟投影与对象在X射线图像中的实际投影相匹配。如果获取多幅X射线图像，可融合(配准)来自它们的信息，以提高3D重构和/或空间位置或取向确定的精度。如果成像方向已知或可被确定，或在配准多幅X射线图像的情况中，成像方向之间的3D角度(这可例如由欧拉角度表示)是已知或可被确定的，可以以高的精度，执行将虚拟投影匹配到X射线图像中的实际投影(例如，使用深度变形)。

根据一个实施例，提供对多个对象之间的相对3D位置和3D取向的确定，即使会不能够以足够的精度，单独地定位对象中的至少一个。这可通过使用关于X射线图像中的至少两个对象/结构之间的相对3D位置和/或3D取向的几何形状先验信息来解决。这可以例如是一个对象的点位于一条线上的信息，该线相对于另一对象的相对3D位置和取向是已知的。另一示例是，一个解剖对象的几何特征与另一解剖对象的几何特征之间的相对3D位置和3D取向是已知的。由于仍可能会存在剩余的模糊性，所以也有必要将X射线成像方向限制为(i)特定的解剖学相关的视图(例如，真ML)或(ii)允许从特定方向观察对象中的一个的角度范围。

要指出的是，处理单元可由执行该过程的所有步骤的仅一个处理器来实现，或由不需要位于相同位置的多个处理器或处理器组来实现。例如，云计算允许将处理器布置在任何位置。例如，处理单元可分成：(i)第一子处理器，其上实施第一神经网络来评估包括像骨骼表面的解剖学结构的分类的图像数据，(ii)第二子处理器，其上实施专用于确定被分类的解剖学结构的成像方向的第二神经网络，和(iii)另外的处理器，用于控制监控器可视化结果，或用于声学地将指令提供给用户的扬声器。这些中的一个或另外的处理器还可控制例如X射线成像设备的C形臂的移动。

根据一个实施例，设备可以还包括存储装置，其提供用于存储例如X射线图像的数据库。可理解的是，这样的存储装置还可设置在网络中，系统可连接到该网络，并且关于神经网络的数据可以通过该网络接收。

而且，设备可包括用于生成至少一幅2D的X射线图像的成像单元，其中，成像单元可以能够由不同方向生成图像。

设备可以还包括用于手动确定或选择对象在X射线图像中的位置或部分(例如，骨骼轮廓)的输入装置，以例如测量图像中的距离。这样的输入装置可以是例如用于控制如监视器屏幕上的光标的指点设备的计算机键盘、计算机鼠标或触摸屏，监视器平面也可包括在设备中。

要指出的是，在本专利应用中，所有对C形臂移动或转动的提及，总是指C形臂与患者之间的相对重新定位。因此，任何C形臂移动或转动通常可以由患者/手术台的对应移动或转动，或C形臂移动/转动和患者/台移动/转动的组合来代替。当处理四肢时，这可以是特别相关的，这是因为在实践中，移动患者的四肢可能会比移动C形臂更容易。要指出的是，所要求的患者移动/转动一般不同于C形臂移动/转动，特别地，如果目标结构已经处于X射线图像中的期望位置，一般无需平移患者。系统可计算C形臂调整和/或患者调整。

在本申请中公开的方法和技术可用于支持人类用户或外科医生的系统中，它们也可用于其中的步骤的一些或全部由机器人实施的系统中。因此，在本专利申请中，所有对“用户”或“外科医生”的提及可指人类用户，以及机器人外科医生，机械支持设备，或类似设备。类似地，每当提及提供如何调整C形臂的指令时，可理解的是，这样的调整也可没有人工干预，即自动地由机械C形臂实施，或可由手术室人员用自动支持来实施。要指出的是，由于机械外科医生和/或机械C形臂可以以比人更高的精度来操作，迭代的过程可能会要求更少的迭代，并且可执行更复杂的指令(例如组合多个迭代步骤)。

计算机程序产品可优选地被加载到数据处理器的随机存取存储器中。根据一个实施例的系统的数据处理器或系统的处理单元可由此配置为执行所述过程的至少一部分。而且，本发明涉及其上可存储所公开的计算机程序的计算机可读介质，例如CD-ROM。然而，计算机程序也可通过例如万维网的网络来提供，并可从这样的网络被下载到数据处理器的随机存取存储器中。而且，计算机程序也可在基于云的处理器上执行，通过网络提供结果。

要指出的是，可通过在外科手术之前或期间，简单地扫描植入物包装(例如，条形码)或植入物本身上的任何文字，获得关于植入物的先验信息(例如，钉子的尺寸和类型)。

为了进一步理解本发明，描述了一种将骨骼螺钉插入长骨骼中并穿过骨骼钉子中的孔以将骨骼钉子远端锁定在长骨骼中的示例性方法。孔具有孔轴线，该孔轴线可以被认为是钉子的几何特征。该方法可包括设置钻头的步骤，其尖端与长骨骼的外表面接触，使得钻头的尖端定位在骨骼钉子中的孔的孔轴线上，其中，钻头的钻头轴线相对于孔轴线成10至70度的角度取向。在此，孔轴线是作为第一对象、即骨骼钉子的几何特征的线，而钻头的尖端是作为第二对象、即钻头的几何特征的点。

通过长骨骼的外表面上的钻头的尖端，生成骨骼钻头和长骨骼中的骨骼钉子的第一X射线图像，成像方向在骨骼钉子中的孔轴线的方向上。本领域技术人员会理解，在远端锁定股骨钉的情况中，成像方向可以是真正的中间方向，孔由此必须可见是圆圈。

然后，系统可基于接触点的知识、基于钻头的3D模型并且基于骨骼钉子的3D模型，来确定钻头轴线与孔轴线之间的实际角度。基于所确定的角度，系统可给出指令，以改变骨骼钻头的取向，使得尖端仍处于孔轴线上，并且钻头轴线接近孔轴线。在此，“接近”指与孔轴线的偏差不超过15度。使得钻孔轨迹与成像方向近似地对齐也可以是足够的。

在维持钻头尖端的位置的同时，可生成钻头和长骨骼中的骨骼钉子的第二X射线图像，第二成像方向相对于第一成像方向以10至65度的角度取向。改变取向的一种容易的方式可以是，当从中外侧成像方向开始，仅在前后方向上移动C-弧。而且，在此，具有决定性的是，钻头，即第二对象，在接下来的X射线图像中足够可见，以允许自动确定例如钻头轴线的位置和取向。角度可由此为10至65度，优选地为15至45度，最优选地为20至30度。

基于第二X射线图像，可以确定钻头轴线与骨骼钉子中的孔的孔轴线的3D位置和3D取向的偏差。在有偏差的情况下，可调整骨骼钻头的位置和取向，并可在长骨骼中钻孔并穿过骨骼钉子中的孔。在成像方向相对于钻头轴线的角度相同的情况下，可通过一幅或更多幅X射线图像检查沿着目标轨迹的钻孔。

本发明的原理还可应用于将骨骼螺钉插入椎骨的椎弓根的方法。该方法可包括布置钻头的步骤，其尖端与椎骨的外表面接触，使得钻头的尖端定位在延伸穿过椎骨的椎弓根延伸的轴线上，其中，钻头的钻头轴线相对于穿过椎弓根的目标轴线成10至65度的角度取向。

像在上述方法中那样，从例如真AP的成像方向，生成第一X射线图像，该图像包括钻头和椎骨，使得椎弓根的开口清楚可见。可见两种方法之间的区别在于，第一X射线图像的成像方向可视为前后方法，患者以他/她的胸部向上平躺，并且成像方向无需与椎弓根轴线(目标轨迹)在一条线上，这是因为两个对象彼此接触。通过这样的倾斜视图，并基于关于接触点的知识，可确定钻头与椎弓根之间的相对3D位置和3D取向。

作为接下来的步骤，可基于钻头的3D模型和基于椎骨的3D模型，来确定钻头轴线与穿过椎弓根的轴线之间的实际角度。遵循可由系统提供的指令，可改变钻头的取向，以使得钻头的尖端仍处于穿过椎弓根的轴线上，并且钻头轴线接近穿过椎弓根的目标轴线。在椎弓根轴线相对于观察方向的倾斜足够大，使得电动工具和手都不阻挡视线的情况下，可从可能相同的方向，生成第二X射线图像。通常，椎弓根轴线与在对应的椎骨上的真AP观察方向之间的倾斜角为10至45度。如有必要，可调整钻头的位置和取向，接着在椎骨上穿过椎弓根钻孔。

本发明的原理还可应用于将骨骼螺钉插入到骶髂(SI)关节的方法。该方法可包括设置钻头的步骤，其远端尖端与椎骨的外表面接触，使得钻头的尖端被定位在延伸穿过期望的穿过SI关节的钻孔通道的轴线上，其中，钻头的钻头轴线相对于穿过椎弓根的目标轴线成10至65度的角度取向。

像在上述方法中那样，生成第一X射线图像，该图像包括钻头的相关部分、髂骨和骶骨，成像方向与钻孔通道的方向一致。作为接下来的步骤，可基于关于接触点的知识、基于钻头的3D模型，和基于椎骨的3D模型，确定钻头轴线与穿过钻孔通道的轴线之间的实际角度。遵循可由系统提供的指令，可改变钻头的取向，使得钻头的尖端仍处于钻孔通道的轴线上，并且钻头轴线接近钻孔通道的目标轴线。

然后生成钻头、髂骨的相关部分和骶骨的相关部分的第二X射线图像，其中钻头和成像方向的取向互换。钻头现在可大致位于穿过钻孔通道的目标轨迹上，第二成像方向可以相对于第一成像方向成10至65度的角度取向。X射线成像设备的C-弧可以转动到倾斜观察方向。两个成像方向之间的角度的范围也可为15至40度。可替代地，该范围可以是20至30度。通过这样的倾斜视图，可确定钻头轴线与目标轴线的3D位置和3D取向的偏差。如有必要，可调整钻头的位置和取向，然后在髂骨和SI关节中钻孔。

如从以上说明应该清楚的，本发明的主要方面是处理X射线图像数据，其允许自动解读可见对象。在此所述的方法应理解为辅助外科治疗患者的方法。由此，根据一个实施例，方法可以不包括通过外科手术治疗动物或人体的任何步骤。

要指出的是，实施例是参照不同主题说明的。特别地，一些实施例是参照方法类型的权利要求(计算机程序)说明的，而其它实施例是参照装置类型的权利要求(系统/设备)说明的。然而，本领域技术人员将从以上和以下的说明中认识到，除非另有说明，否则属于一种类型主题的特征的任何组合以及与不同主题相关的特征之间的任何组合都被视为通过本申请公开。

还可从以下要说明的实施例得出本发明的上述方面和其它方面、特征和优点，其参照也在附图中示出的实施例解释，但本发明不限于这些实施例。

附图说明

图1示出了AP和ML图像的3D配准的示例。

图2示出了AP和ML图像的3D配准的示例，并示出了不正确估计的C形臂宽度的效果。

图3比较了图1和图2的情况。

图4示出了AP和ML图像的3D配准的示例，并示出了缩放的效果。

图5比较了图1和4的情况。

图6示出了AP和ML图像的3D配准的示例，并示出了X射线接收器尺寸的效果。

图7示出了髓内钉的图像失真的示例。

图8示出了钻头的倾斜的定义。

图9示出了具有两个不同钻头位置的3D集群。

图10示出了对应于图9中的3D集群的X射线投影图像中的钻头的轮廓。

图11示出了X射线图像的缩放，其描绘了对应于不同倾斜(43度和45度)的两个钻头的轮廓。

图12示出了X射线图像的缩放，其描绘了对应于不同倾斜(23度和25度)的两个钻头的轮廓。

图13示出了近端股骨的正确和不正确确定的轮廓，后者对应于2.5度的角度误差。

图14示出了近端股骨的正确和不正确确定的轮廓，后者对应于6度的角度误差。

图15了示出腰椎的AP X射线。

图16定义了C形臂的转动轴线。

图17示出了钉子的圆形孔和长形的孔，其包括倒角。

图18是示出钛钉围绕远离锁定平面25度的其轴线转动的X射线。

图19是示出钛钉围绕远离锁定平面45度的其轴线转动的X射线。

图20是从不正确的成像方向示出钉子的远端部分的X射线。

图21是从正确的成像方向示出钉子的远端部分的X射线。

图22是示出钉子和钻头尖端放置不正确的钻头的X射线。

图23是示出钉子和钻头尖端放置正确的钻头的X射线。

图24示出了对于所提出的过程的整体工作流程。

图25示出了图24中的整体工作流程的快速实施的细节。

图26示出了图24中的整体工作流程的增强精度实施的细节。

图27示出了胫骨的近端端部的轴向视图。

在所有附图中，除非另有说明，否则相同的附图标记和字符用于表示所示实施例的相似特征、元件、部件或部分。而且，虽然现在将参照附图详细说明本公开，但这是结合示意性实施例进行的，并且不受附图中所示的特定实施例限制。

具体实施方式

基于一幅X射线图像的解剖对象的3D重构和定位

上述引用的Pries等人(2018)关于深度变形的论文提出了一种方法，该方法允许系统(在2D投影图像中)检测骨骼的轮廓/剪影，并且标记剪影上的点。例如，在股骨的分割中，该技术能够确定2D X射线投影图像中的剪影上的哪些点对应于小转子，以及哪些点对应于股骨颈等。给定同一解剖学结构的3D统计学形状或外观模型，然后能够以使得其虚拟投影与X射线图像中的实际投影相匹配的方式对该模型进行变形，由此导致解剖学结构的3D重构，并允许对象的定位和成像方向的确定。另一方面，如果成像方向是已知的，可以以更高的精度执行解剖对象的3D重构。成像方向可以是已知的，例如因为外科医生被指示在特定方向上(例如真AP或真ML)获取X射线，或因为特定成像方向由算法检测，例如由Blau于2018年8月23日提交的作为专利申请的发明。

可通过使用先验信息，改善解剖对象的3D重构的精度。该先验信息可以是患者的尺寸或性别，但也可以是更多的特定于解剖学的信息，例如关于待重构的解剖对象的几何形状信息。对于基于ML图像的近端股骨的3D重构的示例，该信息可包括股骨颈的长度或CCD角度。然而，由于在典型的ML图像中可能不能够以足够的精确度确定这样的信息，它可以从在对近端股骨进行的手术过程中早期常规获取的AP图像中提取。使用来自早期图像的信息越多，3D重构就可能会越准确。描述该过程的另一方式是说，基于AP图像，可以利用典型的剩余不确定性(例如股骨颈在AP方向上的宽度)来执行近端股骨的3D重构，并且该3D重构用作先验信息，或作为用于基于稍后的ML图像的3D重构的起始点。

几何形状先验信息还可以包括2D投影图像中的点与解剖对象的3D模型中的点之间的已知对应关系。不太具体的几何形状信息仍可以是有用的，例如，如果已知：

-2D投影图像中的点对应于线上的点，该线相对于解剖对象的3D模型的位置和取向是已知的；或

-2D投影图像中的点对应于平面上的点，该平面相对于解剖对象的3D模型的位置和取向是已知的。

这样的几何形状先验信息可由用户输入提供，例如在用户界面上，或由将对象(例如工具，例如钻头或克氏针)放置在2D投影图像中可见的特定解剖点上的外科医生提供。这可针对显著的解剖特征实现，可能地在特定成像方向上(例如真AP或真MP)，或通过对实际对象进行触诊或视觉识别来实现。所有这些先验信息显著地减少3D重构中的模糊性。

通过减少或解决模糊性来确定对象之间的相对3D位置和3D取向

在由Blau于2018年11月26日提交的作为专利申请的发明中，讨论了如果两个对象都能够基于2D X射线图像定位，并且已知两个对象在物理3D空间中相互接触，则如何可以确定两个对象之间的相对3D位置和3D取向。

在本发明中提出，如果至少一个对象可能没有以足够的精度定位，如何基于2D的X射线图像来确定两个(或更多个)对象(或结构)之间的相对3D位置和3D取向。基于关于对象中的一个的特定点相对于另一对象的3D位置的先验信息，这种相对3D位置和3D取向的确定是可能的，该先验信息可以例如从允许定位另一对象的至少一个结构的特定成像方向的之前获取的X射线获得。为了实现这一点，还可能需要限制当前图像中的成像方向的可允许的范围。

为了说明，现在将假设这些对象中的一个是钻头，另一对象是钉子或某个解剖对象(例如椎骨)来解释。可以使用确定性3D模型(对于特定患者，例如使用3D成像方法生成)或者使用描述一般骨骼可变性的统计学3D模型来描述解剖对象。前一情况可导致更高的精度。即使钻头的完整和准确的3D模型是可用的，以足够的精度定位钻头可能不总是可行的。如上所述，当定位对象时，在成像深度(对象与图像平面的距离)中存在剩余不确定性。在确定钻头尖端的3D位置时成像深度的这种不确定性还导致关于成像深度方向上的钻头倾斜的模糊性。如图8所示，钻头倾斜度定义为钻头尖端上的观察角度，由8.DT表示。由于钻头是非常细且直的结构，具有清楚地限定的轴线，钻头倾斜度可以定义为连接钻头尖端8.DT和X射线焦点8.FP的表示为8.L1的虚线与为钻头轴线的表示为8.L2的实线之间的角度。

考虑例如图9所示的具有两个不同3D钻头位置(表示为9.D1和9.D2)的3D集群。两个钻头位置在成像深度和钻头倾斜度(差别为6.5度)方面有所不同。然后在X射线投影图像中，两个钻头位置可能不能够区分，这是因为它们大致导致相同的X射线投影，如图10中的大致相同的钻头轮廓10.O所示。

这有两个主要原因：

1.钻头是具有大致恒定的直径的相对细的器械，其在典型的X射线图像中仅有数像素宽。在X射线投影中，在成像方向上倾斜的对象描绘为在一端较宽，在另一端较小。然而，这可能仅在该宽度的变化足够强(例如至少一个像素宽)才能被检测到。对于用例如直径小于4mm的细钻头进行例如小于3度的角度检测所需的精度，一般可能不是这样的情况。

从接近90度的观察角度(这是钻头倾斜度)定位例如钻头(其直径为数mm)的器械(仅前部在X射线中可见)通常不可能具有足够的精度，这是因为小角度的正弦函数具有接近零的斜率。例如，在70度的角度下，钻头的投影仅缩短6％，这导致钻头尖端的投影形状不显著的改变。这样的小改变可能不足以以大约3度的精度确定钻头倾斜度。可检测性极限是大约65度的倾斜，其中，钻头的投影缩短9.4％。根据工具的不同，这对于所需精度可能是足够的或是不足的。

观察角度(倾斜度)越小，变得越容易区分例如2度的倾斜差异。这在图11中的X射线图像中示出，其描绘两个钻头的投影和轮廓。标记为11.D1的白色实线对应于倾斜45度的钻头，标记为11.D2的白色虚线对应于倾斜43度的钻头。由于这些轮廓在某些位置处不同，系统可区分他们。更小的观察角度导致更清楚地可区分的轮廓。这可在图12中的X射线图像中观察到，其示出两个钻头的投影和轮廓。标记为12.D1的白色实线对应于倾斜25度的钻头，标记为12.D2的白色虚线对应于倾斜23度的钻头。这些轮廓现在在某些位置处清楚地不同，由此可容易地被系统区分。

2.在典型的X射线图像中，仅钻头的尖端和上部可见，而钻头的另一端不可见。如果两个端部可见，可基于钻头在投影图像中缩短的长度，以高的精度确定钻头的倾斜度。如果钻头在X射线中具有清楚可见的标记，例如沿着轴中间，这也是可行的。尽管制造这样的钻头会是容易的，但这还意味着现有工具的改变。另一种选择是使用钻头的螺纹的起始部作为标记。然而，对于常用的钻头，螺纹的起始部可能在X射线投影图像中不足够清楚可见，因此一般可能不能够将其用于该目的。

可以通过对钻头尖端的成像深度的更精确的确定来解决该问题，这充分地减少甚至解决了模糊性。当确定X射线图像中的两个对象之间的相对3D位置和3D取向时，这可以是可行的。另一对象将称作目标对象，并可例如是钉子。钻头尖端相对于目标对象的位置的模糊性可以被减少，例如通过限定其相对于目标对象的3D位置和3D取向已知的轨迹，前提是钻头尖端的位置处于该轨迹上，并且在钻头尖端的位置处的轨迹上的成像方向足够大(换句话说，该轨迹必须与连接钻头尖端和X射线焦点的线的平行线充分地不同)。

如果钻头尖端相对于目标对象上的点的3D位置是已知的，可能会更加有用。例如，如果钻头尖端接触目标对象，例如在骶髂螺钉固定中，其中钻头尖端接触髂骨，例如是这样的情况。然而，如果已知钻头尖端位于已知其相对于目标对象的3D位置和3D取向的平面上，仍可以是足够的。例如，在完成锁定第一孔之后远端锁定另外的孔中，是这样的情况。在此，没有确定2个自由度(DoF)。对于对钉子的远端锁定过程的更详细的说明，参见以下对应部分。

此外，还可能存在关于目标对象的模糊性，尤其是如果目标对象是解剖对象。然而，如果器械接触目标对象，存在成像方向，其中定位每个对象的模糊性涉及不同的方向。因此，即使在这样的情况中，足够准确地确定相对3D位置和3D取向可以是可行的。

在下文中，现在针对接触近端股骨的转子的钻头来说明这些想法。在该成像方向上，可清楚地限定钻头尖端在哪个点接触股骨，例如通过触诊。由于模糊性，如上所述，钻头相对于股骨的3D位置和3D取向存在几种可能性，这都会导致钻头在X射线图像中的相同投影，但每种可能性对应于所描绘的解剖对象的不同相对3D位置和3D取向。通过共同考虑所描绘的解剖结构和使用关于接触点的先验信息，选择这些可行性中的哪个是正确的可以是可能的。

图13示出这样的场景的X射线图像。白色实线(表示为13.CO)是对应于股骨的正确3D位置和3D取向的股骨轮廓，白色虚线(表示为13.IO)是对应于股骨的3D位置和3D取向的不正确可能性中的一个的股骨轮廓。通过将这些可能的轮廓与在X射线图像中被分割和标记的股骨比较(这可例如通过深度变形实现)，将选择与被分割的股骨最匹配的轮廓。在所描绘的场景中，不正确的轮廓13.IO明显不同于正确的轮廓13.CO，并可由此被丢弃，即使不正确的轮廓仅对应于2.5度的角度误差(对于钻头的倾斜)。如图14中所描绘的，更大的角度误差可能导致更明显的不正确的轮廓，其中不正确的轮廓14.IO对应于6度的角度误差(对于钻头的倾斜)，并与正确的轮廓14.CO明显不同。

另外的示例可以是确定工具相对于椎骨的椎弓根的相对3D位置和3D取向。图15示出腰椎的AP的X射线，其中，外科医生已经将Jamshidi针(标记为15.JN)放置在腰椎的右椎弓根中。椎弓根(标记为15.OP)的开口在该特定成像方向上作为更明亮的区域清楚地可见。椎弓根的中心因此可以清楚地识别，并且对于开口，工具可以布置在该中心(椎弓根轴线)。基于工具已经布置在椎弓根轴线上、接触股骨表面的先验信息，并遵循上述方法，可以在合适角度范围内针对许多其它成像方向，确定工具与椎弓根之间的相对3D位置和3D取向。

从不同方向的两幅或更多幅X射线图像的配准过程

取决于骨骼形状，在仅基于一幅图像的3D重构中可能仍存在剩余的模糊性或匹配误差。这可以通过在图像之间转动和/或平移C形臂，潜在地从不同观察方向获取多幅图像来缓解。通常，来自不同成像方向的额外图像更加有用，成像方向越不同(例如AP和ML图像)，额外图像在确定3D信息方面可能越有用。然而，即使添加仅来自略微不同的观察角度的图像也可能是有益的，这可能更容易地在外科手术期间获取，而不是改变到完全不同的视图(AP至ML或反过来)。

本发明还允许配准从不同方向获取的至少一个共同对象的多幅X射线图像。这是重要的，因为3D配准允许确定多个对象之间的相对3D位置，而无需明确确定成像深度地。

对于基于两幅或更多幅X射线图像，3D重构可变形状的对象(通常为例如通过统计学形状或外观模型描述的解剖学结构，其在本部分中称作“对象F”)，以上对于一幅图像所述的过程可以扩展到两幅或更多幅图像。即，可使用深度变形检测对象F的轮廓，并在每幅2D的X射线图像中标记其轮廓线上的点。当给定对象F的3D统计学形状模型时，则能够使得该模型如此地变形，以使得其虚拟投影同时尽可能接近地匹配对象F在两幅或更多幅X射线图像中的实际投影。该过程不需要关于成像方向的先验信息，这是因为它隐式地确定每幅X射线图像的成像方向。

作为对从两个不同成像方向获取的X射线图像对进行配准的替代方案，可通过考虑成像方向之间的3D角度来提高配准过程的精度，这可以使用两种不同的过程来确定。该角度能够越精确地确定，3D配准可以越精确。

确定该角度的一种方式是，例如使用由Blau于2018年8月23日提交的作为专利申请的发明，对于每个X射线图像，确定成像方向并计算它们的差异。另一种方式可以是使用X射线图像中的另一对象(称作“对象G”)，其模型是确定性的(例如可能地连接到瞄准设备的钉子，或器械)。通过将对象G的虚拟投影与其在每幅X射线图像中的实际投影相匹配，可定位对象G。要注意的是，当没有额外的条件或先验信息时，一些对象，特别是例如钻头或克氏针的工具，通常可能不具有足够的几何结构或尺寸来定位。然而，即使在这样的情况下，仍可能以足够的精度定位对象G，前提是(i)在待配准的所有图像中以特定角度范围观察对象G，并且(ii)关于对象F和G之间的相对3D位置的一些先验信息是可用的。(ii)中的先验信息特别可以是：

(a)对象G的点与对象F的点的相对3D位置是已知的；或

(b)对象G的点位于物理3D空间中的线上，该线相对于对象F的相对3D位置和3D取向是已知的；或

(c)对象G的点位于物理3D空间中的平面上，该平面相对于对象F的相对3D位置和3D取向是已知的。

然而，在两幅X射线图像中，对象F和G之间的相对3D位置和3D取向应该是相同的，即对象之间的移动尽可能小。

通常，如果两幅(或更多幅)的图像包含能够以足够的精度定位的对象，则可以配准它们。如果图像包含在获取图像之间没有相对彼此移动的两个(或更多个)对象，则可以以更高的精度执行图像配准。可以采用该过程的一个示例是已经将植入物(例如钉子)插入到骨骼中并且骨骼的3D模型(例如统计学形状模型)可用的情况。在这样的场景中，如果钻头在所有图像中是可见的，但具有不同取向，并且其尖端(也在所有图像中是可见的)保持在同一点(例如骨骼表面上的点)，则钻头尖端的3D位置可以相对于两个对象中的任一个来确定。这意味着，在第一图像中，器械可以被布置在任意点，并且在(从不同观察方向获取的)第二图像中，器械的取向可能已经改变(例如通过近似地瞄准目标轨迹)，但器械的尖端保持在相同位置上。基于目标对象/结构(例如钉子/钉子孔)的定位，两幅图像可以被配准，这可允许确定点(器械的尖端)相对于目标对象的3D位置。然后，该点可以用于以足够的精度确定工具与目标对象/结构之间的相对3D位置和3D取向。

换句话说，可以通过在系统的处理单元上执行的软件程序产品使得系统接收第一X射线图像，其中，第一X射线图像是至少一个对象的投影图像，分类该至少一个对象，并确定第一X射线图像中的至少一个点。然后，可以使得系统接收第二X射线图像，其中第二X射线图像是以不同于用于生成第一X射线图像的成像方向的成像方向生成的投影图像。在第二图像中，再次分类该至少一个对象，并确定至少一个点。基于对第一和第二X射线图像中的至少一个对象的分类，以及基于对两幅X射线图像中的至少一个点的确定，能够配准这两幅图像，并能够确定点相对于该至少一个对象的3D位置。

在至少一个对象包括两个对象并且至少一个点是两个对象中的一个的点的情况下，系统可以基于所配准的图像来确定两个对象之间的空间关系，即3D取向和3D位置。

另外，系统可以确定对象中的一个的3D位置和3D取向与所述对象相对于另一对象的预期的空间关系的偏差。例如，该一个对象可以是钻头，其中，旨在将该钻头设置为平行于穿过另一对象的轨迹并位于该轨迹上，该另一对象可以是骨骼或植入物。

所提到的配准两幅X射线图像的方式例如也可以有助于解剖对象的3D重构和/或定位，其中已经插入了已知的植入物。定位植入物能够实现配准图像，这又允许确定处于骨骼表面上的钻头尖端的3D位置(相对于植入物)。由此确定的点可以用作3D重构和/或定位解剖对象的锚点。遵循该方法，可以确定多个表面点，这意味着在相对于植入物的离散点处对3D骨骼表面采样，从而导致点云。添加到该点云的每个采样点可以减小3D重构和确定解剖结构相对于植入物的3D位置和3D取向的模糊性。如果钻头的倾斜在10至55度的范围内，这可以还允许确定解剖结构(或植入物)相对于钻头的3D位置和3D取向。因此，即使解剖结构的确定性3D模型(例如CT扫描)可用，该过程可以用于确定3D位置和3D取向。即使没有处于骨骼固定位置的已知植入物，也可以利用采样点的方法。在这样的情况下，重构和/或定位和/或配准将直接基于解剖结构进行。

在下文中，将用示例示出C形臂宽度、图像检测器的尺寸、缩放等对3D配准的影响。示出在所有这些示例中，无需确定成像深度。

C形臂宽度的影响：图1描绘了左股骨(表示为LF)和具有附接的瞄准设备的钉子植入物(表示为NAD)。此外，它示出了AP的X射线图像(表示为1.AP)和ML的X射线图像(表示为1.ML)，和它们的对应焦点(表示为1.FP.AP和1.FP.ML)。3D球体近似股骨头(表示为FH)，并且白色虚线圆圈是其在图像中的2D近似投影(记为1.FH.AP和1.FH.ML)。C形臂具有1000mm的宽度(在此定义为焦点与图像平面之间的距离)。锥形体指示X射线束穿过股骨头的部分。要注意的是，在整个申请中，我们遵循这样的常规：将在后-前方向上获取的图像称作“AP”图像，并将在前-后方向上获取的图像称作“PA”图像。类似地，我们将在外侧-内侧方向上获取的图像称作“ML”图像，并将在内侧-外侧方向上获取的图像称作“LM”图像。

在图2中，C形臂宽度被错误地估计为900mm，而不是真实的1000mm。因此，图像中的所有对象，包括股骨头(FH)，在X射线图像中都看起来比它们本应的要小。因此，看起来好像对象向AP图像平面(记为2.AP)以及ML图像平面(记为2.ML)偏移。对应的焦点记为2.FP.AP和2.FP.ML。基于近似的股骨头的2D投影(白色圆圈2.FH.AP和2.FH.ML)对股骨头(FH)3D重构与图1相比保持不变。唯一改变的参数是表观成像深度。然而，在该场景中，成像深度是不相关的，这是因为股骨头与钉子的相对3D位置没有改变。

为了说明图1与图2之间的唯一差别是表观成像深度，图3同时示出了两个场景。

缩放的影响：如果图像中的一幅以缩放因子捕获，对象看起来比没有缩放时要大。对于图4，AP图像(表示为4.AP)以1.5的缩放因子捕获。因此，图像中的所有对象，包括股骨头(FH)，看起来好像它们向AP中的焦点(记为4.FP.AP)移动了一样。像上文所述的，基于近似股骨头的2D投影(白色虚线圆圈4.FH.AP和4.FH.ML)对股骨头(FH)3D重构与图1相比保持不变。唯一改变的参数是表观成像深度。在该场景中，成像深度是不相关的，这是因为股骨头与钉子的相对3D位置没有改变。相似的评论在两幅图像都具有缩放的时候适用。图5比较了具有缩放(如图4中)和没有缩放(如图1中)的情况。

X射线检测器的尺寸的影响：如果X射线检测器的假设尺寸是12”，而不是真实的9”，则对象在图像中看起来更大，并且看起来好像对象在两幅图像中已经向焦点移动了。这在图6中示出，其中：

6.AP.9”是指利用9”X射线检测器的AP图像，焦点表示为6.FP.AP.9”；

6.AP.12”是指利用12”X射线检测器的AP图像，焦点表示为6.FP.AP.12”；

6.ML.9”是指利用9”X射线检测器的ML图像，焦点表示为6.FP.ML.9”；

6.ML.12”是指利用12”X射线检测器的ML图像，焦点表示为6.FP.ML.12”；

该效果等同于应用于两幅图像的缩放因子。因此，可以得出与在缩放的情况下相同的结论。

测量被分类的对象的特征

本发明不需要先验校准。如果在图像中存在位于待测量的结构附近(处于与待测量的结构相似的深度)的已知对象，可以以mm为单位执行测量。由于已知对象具有已知尺寸，它能够用于校准测量。这与由Baumgaertner等人提出的用于确定TAD数值的过程类似(参见Baumgaertner MR,Curtin SL,Lindskog DM,Keggi JM:The value of the tip-apexdistance in predicting failure of fixation of peritrochanteric fractures ofthe hip.J Bone Joint Surg Am.1995,77:1058-1064.)。

示例1：已经插入钉子，并且AP图像可用。钉子已经被识别和定位。由于钉子位于轴的中部，并由此处于与所描绘的轴的外侧皮层相似的成像深度，能够将已知的钉子几何形状用于校准。这允许提供用于确定钉子轴线与轴的外侧皮层之间的距离的缩放比例。

示例2：如果已知对象A的成像深度(例如，因为对象A足够大或因为已知X射线检测器的尺寸和图像平面与焦点之间的距离)，并且如果有关于对象A和B之间的成像深度差异的信息(例如基于解剖学知识)，则甚至可基于截距定理，计算处于不同成像深度的不同对象(称作“对象B”)的尺寸。

以髓内钉的示例处理图像失真

一般地，有两种处理图像失真的方式，它们也可以结合使用：

1.淡化X射线图像中的已知失真很强的区域(例如图像的边缘)，更多地强调受失真影响较小的区域；

2.确定失真并考虑到失真；

现在将以具有插入的钉子的股骨的AP图像的示例，说明这两种方式。

Re 1.在图7的标记中使用了以下字母。实线是如在失真的X射线图像中所见的钉子和瞄准设备的轮廓。白色虚线示出了如在没有失真的图像中所示的钉子和瞄准设备的假设轮廓。

7.D：髓内钉的远端部分；

7.C：钉子的中央部分，包括用于颈螺钉的孔；

7.P：髓内钉的近端部分；

7.A：瞄准设备。

通常，7.D位于X射线图像的更失真的区域。而且，当预测通过7.C处的孔插入的螺钉的轨迹时，7.D的精确位置没有这么重要。由此，在预测螺钉轨迹中，7.C和7.P的位置可以接收比7.D更高的权重，其中，准确的权重可以基于它们的可见度和检测可靠度来确定。7.C和7.P的更高的权重还可以由于这些区域更接近关注的区域(螺钉孔和股骨头)而是合理的。而且，7.C的外观携带关于钉子围绕其轴线转动的信息。

Re 2.可以通过以下确定图像中的失真：

a)早些时候进行的外科手术(可以针对特定C形臂学习)；

b)外科手术之前的校准：可以将已知对象(例如钉子、克氏针等)直接布置在图像增强器/X射线检测器上与图像平面相距已知距离处。这也可以用于确定X射线检测器的尺寸和焦点与图像平面之间的距离。

c)早些时候获取的图像(可以通过算法在外科手术期间学习)；

d)具有典型失真效果(例如，典型枕头效应、地球的磁场、典型C形臂位置)的数据库。设备可以使用数字X射线机器不会失真的知识。

如果这种信息可用，当将模型的虚拟投影与X射线图像中的投影匹配时，可使用这种信息。可将失真应用于整个图像，或具体地应用于正在匹配的形状。

可替代地和/或附加地，在将具有已知且确定的3D模型的对象(例如，钉子)的虚拟投影与对象在X射线投影图像中的外观进行匹配的过程期间，可以显式或隐式地确定失真。根据一个实施例，该匹配可以根据以下论文中描述的路线进行：Lavallée S.,SzeliskiR.,Brunie L.(1993)Matching 3-D smooth surfaces with their 2-D projectionsusing 3-D distance maps.In:Laugier C.(eds)Geometric Reasoning for Perceptionand Action.GRPA 1991.Lecture Notes in Computer Science,vol.708.Springer,Berlin,Heidelberg。根据一个实施例，失真可以通过合适的数学模型来描述(例如径向函数和/或S形函数，如Gronenschild E.所描述的,Correction for geometric imagedistortion in the X-ray imaging chain:local technique versus globaltechnique,Med Phys.,1999Dec；26(12):2602-16)。然后，当将虚拟投影匹配到X射线图像中的投影时，可以通过将额外的自由度引入上述Lavallée等人的论文(1993)的参数矢量中，来解决如此建模的失真。

处理X射线源和接收器的位置的交换

由于X射线成像设备允许图像镜像，并且本发明在整个外科手术期间，不使用附接到图像检测器的校准参照体，可能没有检测到X射线源和接收器的位置的交换，即使治疗侧(左或右骨骼)是已知的。可以要求用户提供关于是否激活镜像功能的信息。

然而，即使没有这样的信息，也可以检测到X射线源与接收器的位置的交换。这是因为从远小于90度的成像方向观察的X射线图像中的工具或器械在成像深度上覆盖了大的范围。因此，可以检测到X射线源与接收器之间的交换，这是因为工具或器械的更接近成像平面(接收器)的部分会被描绘为比更远的部分小。

用于确定X射线图像转动/镜像/反转的方法

提供了用于使系统能够确定X射线转动、镜像和反转的方法。这可以用于例如显示X射线图像，使得钉子看起来正好像它实际上布置在外科医生前方。

基于待执行的外科手术，以下对于系统是已知的：

·患者的定位(例如仰面躺着)；

·C形臂的位置(例如，图像增强器在内侧，X射线源在外侧)；

·正在对患者身体的哪个部位进行手术(例如左/右腿：这可以是已知的，例如基于之前的近端手术、用户输入，或扫描钉子包装)。

镜像检测(即确定哪一侧是前面的，哪一侧是后面的)可以基于确定植入物的方向，其可能地通过确定解剖结构上的成像方向(例如如果患者仰面躺着，髁突在图像中向下指)来支持。可替代地，可以给用户提供指令，以使得工具(例如，钻头)指向特定方向，这然后可以用于识别该方向是前面的或者后面的。

用于从期望观察方向在C形臂的视野中定位目标对象/结构的方法

对于C形臂的转动轴的定义，参见图16。在该图中，X射线源表示为XR，由字母B表示的转动轴线将称作竖直轴线，由字母D表示的转动轴线将称作推进器轴线，由字母E表示的转动轴线将称作C轴线。需要注意的是，对于一些C形臂模型，轴线E可以更接近轴线B。轴线D与中心X射线束(标记为XB)之间的交点称作C形臂的中心“C”。C形臂可以沿着由字母A指示的方向上下移动。C形臂还可沿着由字母C指示的方向移动。该术语将在整个本申请中使用。竖直轴线与C形臂的中心“C”的距离可在C形臂之间不同。

在下文中，提出了向用户提供如何调整C形臂以使得目标结构出现在X射线投影图像中的期望位置处的指令的方法，并且从期望成像方向观察该结构(例如，锁定孔应看起来是圆的，并且钉子轴线投射应穿过X射线图像的中心)。即使例如基于定位对象，正确地确定了必要的转动和平移，为C形臂的重新布定位确定合适的用户指令可能并非易事。如图16所示，C形臂具有多条转动和平移轴线。而且，还可以在手术室中将带轮子的C形臂移动到不同的位置。这还也允许与地板平行的平移和围绕平行于竖直轴线的轴线的转动，然而这通常离竖直轴线有大的距离(大于1m)。

移动C形臂的许多可用选项使得用户难以决定哪个选项是最快速地或最省力地到达期望位置(对于期望成像方向)的最佳选项。而且，还存在由于OR设置导致的阻止用户将C形臂移动到某些位置的限制。因此，在某些情况中，用户可能选择移动患者(或台)而不是C形臂，尤其是在涉及上肢的手术中。

可以提出一种方法，以(i)确定关于如何重新定位C形臂和/或患者的必要信息，(ii)将该信息转化成对用户的引导，从移动C形臂(通过沿着C形臂的轴线的平移，或通过围绕C形臂的轴线的转动，或通过在其轮子上移动C形臂)或移动患者的可用方式中进行选择，和(iii)在每个情况中，确定所需的移动量。

换句话说，基于成像设备，辅助调整基于C形臂的成像设备的成像方向的方法可以包括以下步骤：接收当前成像方向的信息，接收目标成像方向的信息，确定用于X射线源和检测器的转动和平移的多个方式中的第一个以及对于该第一方式的移动量，实现最接近目标成像方向的成像方向。将理解的是，这样的方法可以实施为使得系统执行该方法的软件程序产品。

这些方法可以考虑由C形臂的构造和由OR设置所强加的可能的约束，并且它们可以选择最易于用户执行并要求最少移动次数的那些移动。

这些方法可基于X射线图像来确定当前成像方向。例如，观察或成像方向可以基于解剖结构确定(例如，使用由Blau于2018年8月23日提交的专利申请)和/或定位目标结构(或对象)，可能地考虑到关于植入物、器械，或解剖结构的先验几何形状信息，并且还可能地考虑到目标结构在图像平面所跨越的坐标系中的3D位置和3D取向，还可能地考虑到对于当前外科手术的典型OR设置(患者在OR台上的位置，C形臂相对于台的位置，可防止C形臂被移动到相对于台/患者的某个位置的任何对象的位置)，以及还可能地考虑到C形臂的典型转动轴线。

可以假设患者相对于C形臂的典型位置是已知的，例如对于股骨钉手术：仰面躺着的患者，已知的治疗侧，患者腿部之间的图像接收器。附加地或可替代地，用户可从所提供的选项集中选择OR设置。这些可基于系统从例如扫描植入物的包装、外科手术过程的先前执行的部分收集的信息，其中，系统学习例如患者在OR台上的定位，使用哪个植入物，和/或C形臂机器相对于台定位在何处(例如在患者的腿部之间)。

将所计算的与期望位置/取向的偏差转化成用于调整C形臂的指令可能并不简单，因为这些指令应当是执行起来尽可能容易的。不要求C形臂在其轮子上移动的指令可以是优选的，这是因为使得C形臂在其轮子上移动可能不太准确，并更难以在OR设置中执行。一般，保持指令数量少可能是优选的。神经网络可以在该整个过程中辅助。

例如，在要求围绕竖直轴线的大的转动的情况下，这应通过整个C形臂在其轮子上移动来执行，这是因为这可以允许围绕目标结构的等心转动(保持目标结构接近重要C形臂束)。如果所要求的转动是相对于与C形臂的竖直轴线平行的轴线的，并且转动是相对小的，则应使用C形臂的竖直轴线。必须记得，如果期望的转动轴线远离C形臂的竖直转动轴线，这样的转动包括相对大的平移分量，但在确定任何潜在地所需的平移时，可考虑到任何这样的平移。如上所述，可粗略地确定成像深度(直至数厘米)。这对于计算例如由围绕C轴线的转动导致的AP方向上的平移，可能是足够的，这是因为C轴线与目标结构的距离是粗略已知的。另外，可由围绕C轴线的转动，计算C轴线与中心X射线束之间的偏移。而且，由于应用透视投影，C形臂的任何平移自动地包括转动分量。

对于定位过程的第一迭代步骤，对C形臂的轴线相对于目标对象/结构的3D位置和3D取向做出粗略假设可以是足够的，这有时候可能会导致足够接近期望位置的位置。为了更高的精度或以最小数量的步骤达到足够准确的位置，系统可在后续的步骤中使用从先前迭代步骤收集的信息，这可允许更加准确地确定轴线相对于目标对象/结构的3D位置和3D取向。作为一个示例，如果需要沿着多于一条的C形臂轴线平移或围绕多于一条的C形臂轴线转动以达到C形臂的期望位置，则系统可以指示用户围绕一条轴线移动或转动C形臂，例如围绕C轴线转动。这可以允许更接近期望位置并同时确定C轴线相对于目标对象的3D位置和3D取向，并确定C轴线与C形臂的中心“C”之间的偏移。

可替代地，根据可用的先验信息，C形臂的轴线相对于目标对象/结构的3D位置和3D取向可以通过以下项来确定：(i)沿着彼此垂直的两条轴线移动C形臂(在轴线不相交的情况下，轴线中的一条的平行线必须与另一条轴线成直角)，或者(ii)沿着彼此垂直的两条轴线转动C形臂(在轴线不相交的情况下，轴线中的一条的平行线必须与另一条轴线成直角)，或者(iii)沿着一条轴线移动C形臂，然后围绕与移动轴线平行的另一轴线转动C形臂，例如：向前方向的平移运动与围绕竖直轴线的转动相组合，或围绕C轴线的转动与围绕推进器轴线的转动相组合，或在近端方向上的平移与向后方向的平移相组合。

作为一个示例，对于顺行股骨钉的侧向远端锁定过程(C形臂位于患者的腿部之间，患者仰面躺着)，另一方面，“C”的向前平移运动会导致观察方向围绕钉子轴线的转动，这可以使得更精确地计算目标对象相对于C轴线的3D位置，以更精确地确定成像深度。另一方面，系统可以确定钉子围绕其轴线的相对于OR地板的转动。当在之后的时间点，计算关于前/后平移运动的引导指令时，系统可通过使用简单的三角关系计算所需平移，同时考虑到以上确定的钉子围绕其轴线的相对于OR地板的转动对沿着竖直轴线的所需平移的影响。当计算由系统提供的其它运动指令时，也可以利用该信息：例如当计算围绕竖直轴线的所需转动时，可以更精确地确定对象与竖直轴线之间的距离(这是因为可以更精确地确定竖直轴线到C轴线的距离)。因此，由于已经确定了中心X射线束与C轴线之间的距离，可以更精确地考虑到由围绕竖直轴线的转动导致的在近端远端方向上的平移的效果。

在实践中，在第一迭代步骤中，确定一个或两个移动或转动方式以近似最终期望位置可能就足够了。通过观察所述一个或两个移动/转动，系统可获得关于轴线相对于目标对象/结构的3D位置和3D取向的足够信息，从而在第二迭代步骤中，可以以足够的精度确定用于到达最终期望位置的所有剩余的必要步骤，并将其提供给用户。如下面在“用于远端锁定过程的潜在的处理工作流程的示例”一节中所述，系统不需要非常精确地定位C形臂，例如可能不需要圆孔的完美圆形的投影。

在用户响应于系统指令移动患者而不是C形臂的情况下，检查图像背景可帮助检测这样的移动并防止不正确地确定移动/转动轴线。前句中的“图像背景”可以是不与患者一起移动的每个不完全X射线半透明的对象(例如OR台的部分)。采用简单的图像差异分析可揭示C形臂是否被移动。在该情况中，可能需要在C形臂移动与图像获取之间，在C形臂处没有数字图像转动。

基于目标结构在图像内的初始定位和对目标结构的观察方向，系统可以决定开始和/或进行哪个移动。

可提供如何围绕C轴线转动C形臂和如何上下移动C形臂的指令。如果目标结构没有定位在C形臂的中心“C”处，可提供如何恢复X射线图像中的先前位置或如何到达期望位置的平移指令。可提供如何使C形臂围绕其竖直轴线转动的指令。这可考虑到典型C形臂几何形状(竖直轴线与C形臂的中心“C”之间的距离)，并可由系统从先前的转动学习特定C形臂几何形状。如果目标结构在转动之后，不会出现在X射线图像中的期望位置，或不再出现在期望位置，可提供如何平移C形臂的指令。如果目标结构在X射线图像中的位置已经是正确的，并在转动之后仍是正确的(例如，如果C形臂在其轮子上移动，以使得目标结构保持在C形臂的中心“C”处)，不提供平移指令。

该过程也可以类似地应用于C形臂的其它轴线，例如推进器轴线。

关于C形臂的优化调整，可提及以下一般方面作为概要。

首先，旨在仅使用用于平移或转动C形臂设备的一种方式，以便将成像方向的位置和取向调整为尽可能接近或至少以足够的精度地接近目标成像方向，即优化方向。

如有必要，可建议使用第二方式，以进一步调整成像方向。可以利用另外的方式以进一步改善精度。

可以基于以当前成像方向生成的X射线图像中的对象或结构的定位，来确定当前成像方向，即用于调整的起始点。将理解的是，对象或结构也可以是子结构，并可以是解剖结构、植入物或器械/工具，也可以是这样的物对象的组合。

可以基于已知其3D位置和3D取向的几何特征，识别目标成像方向。要注意的是，几何特征也可由术前规划已知，几何特征可以从数据库中获得

另外，相对于基于C形臂的成像设备的C形弧，对象的位置和取向可能一般是已知的。在典型手术室设置中，可以以已知方式相对于C形臂设备布置解剖结构，以允许预测成像方向。在一些情况中，系统可给用户提供用于验证的信息。

可替代地或附加地，系统可以学习用户倾向于如何使用C形弧的平移和转动，并可考虑到该使用方式。例如，系统可根据两幅图像计算C形臂设备相对于对象的转动轴线或平移，其中，成像方向围绕该转动轴线转动或在生成图像之间平移。特别地，系统可学习用户是否倾向于以比所指示的更大或更小的量移动C形设备，并可在提供用于移动C形臂设备的进一步指令时将其考虑在内。

用于远端锁定过程的潜在的处理工作流程的示例

以下远端锁定过程是对于长顺行钉描述的。然而，它也可应用于将近端地锁定的逆行钉。以下锁定过程对于其轴线近似地位于ML方向上的孔提出的，但它也可应用于其轴线位于不同方向、例如AP上的孔。

对于这样的过程，可假设对于目标对象(即，钉子)的完整3D模型是可用的。然而，即使仅不完整或部分3D模型可用，例如，仅已知关于钉子形状的近似信息(例如，具有圆柱形锁定孔的其直径向着尖端略微减小的圆柱形对象)，仍可进行该过程。

在下文中，将称锁定孔为“目标结构”。在原则上，知悉工具(例如，钻头、锥子、套管，或甚至例如螺钉的植入物)与目标结构之间的相对3D位置和3D取向是足够的。因此，在下文中，将讨论目标对象(钉子)和目标结构(锁定孔)两者。在本说明中，假设会首先锁定圆孔。

1.用户在近似ML方向上获取钉子的X射线图像。

2.系统可确定目标结构上的成像方向(例如，通过检测(2D地)或定位目标对象)。系统可检索或确定相对于目标对象或结构的目标轨迹(或可能地，目标平面)。然后，系统可确定并通知用户如何调整C形臂以达到目标轨迹上的期望成像方向。通常，期望成像方向与目标轨迹对齐，在该情况中，远端锁定孔将被描绘为圆圈。图20是X射线图像，其中标记为20.N的钉子是可见的，其具有标记为20.H的非圆形锁定孔。由此，成像方向不是预期的ML成像方向。图21是X射线图像，其中，标记为21.N的钉子从真ML成像方向观察，如标记为21.H的圆形锁定孔所示。

可能期望的是，钉子轴线穿过图像中心，并且锁定孔接近图像中心。如果还有另外的孔需要锁定而不需要重新调整C形臂，这可能是期望的。因此，理想地，孔应位于中心X射线束上。C形臂调整迭代地执行，并可以用满足所述要求的新的X射线图像来完成。

3.系统现在可在X射线图像中突显工具应瞄准的锁定孔。该突显的(目标)点处于目标轨迹上，并在所描述场景中，是圆圈的中心。然后，系统可以在2D中检测工具的尖端并且计算尖端到达目标点所需的移动。系统可以在迭代过程中支持用户(每次迭代包括获取新的X射线图像和重新定位工具)，以到达目标点。图22示出钉子(22.N)和钻头尖端放置不正确的钻头(22.D)的X射线图像。图23示出钉子(23.N)和钻头尖端放置正确的钻头(23.D)的X射线图像。

4.一旦工具的尖端(这里是解剖刀)位于X射线图像中的突显的点，外科医生可实施切口，插入钻头(可能地具有软组织保护套)，并且重复步骤3。然后，用户可以决定(如在常规过程中)在不移动钻头尖端的情况下将钻头与目标轨迹对准。

5.C形臂例如围绕C轴线转动例如25度，并获取新的X射线图像。系统可再次定位目标对象(或可能地仅定位目标结构)。基于工具的尖端位于目标轨迹(相对于目标对象/结构保持在已知3D位置和3D取向)上的先验信息，可确定钻头与目标对象/结构之间的相对3D位置和3D取向。即使在远端-近端方向上，钻头的尖端不再精确地位于目标轨迹上，系统可计算对应偏差。这是因为，在C形臂围绕C轴线转动的情况下，具有钻头的尖端位于由目标轨迹和钉子轴线所跨越的平面中的先验信息可以是足够的。

现在，系统可计算与目标轨迹的偏差，并因此可以通知用户，例如通过显示近端-远端和前-后方向上的所需角度修正。如有必要，系统还可指示外科医生如何在近端-远端方向上调整工具尖端的位置。此外，在该情况中，系统还可计算穿入深度，例如钻头尖端与钉子之间的距离，并由此通知用户。可通过在获取新的X射线图像、给用户提供信息/指令，和重新调整工具之间进行迭代，来迭代地执行该步骤5。

可在显示上和/或声学地实现通知用户。声学信息的优点可在于，外科医生无需将视线从钻头移走，并可由此以更少的迭代实现用于钻孔的正确方向。

6.步骤5也可以在钻孔期间执行，以便调整钻孔方向和/或获得关于要再钻孔多深的信息(这与以下事实无关，即在典型远端锁定情况中，钻孔在击中钉子孔后继续进行，直至接下来的皮质)。

锁定另外的孔(例如，长形孔)：

为了节省时间和X射线曝光，以下给出了用于在如上所述锁定第一孔之后锁定另外的孔(在此假设为长形孔)的过程。

假设对于长形孔的目标轨迹位于与第一孔相同的平面中，转动C形臂回到其初始位置(执行步骤5之前所处的位置)，显示第一孔(具有或不具有螺钉)为圆圈。因此，钉子轴线再次穿过X射线图像的中心，并且长形孔处于图像中心附近。无需重新调整C形臂，除非因为先前没有足够精确地达到初始角度而需要修正围绕C轴线的转动。长形孔由此在AP方向上以最大直径出现，但在垂直方向上被压缩。另一方面，如果对于长形孔的目标轨迹不位于与第一孔相同的平面中，如上所述，对于C形臂所需的重新调整可由系统支持。

由于系统通过锁定第一孔知悉骨骼表面与内侧-外侧位置中的钉子之间的近似距离，它可使用该数值(和可能地，骨骼的统计学模型)来修正钻头尖端的目标位置(参见上述步骤3)。因此，为了在中心(相对于AP方向和远端-近端方向两者)击中长形孔，2D X射线图像中的目标不会出现在中心，但在远端-近端方向上偏移。

在图17中，表示为17.RH的圆形钉子孔在2D中，即在X射线中是完美地圆形的。由于开口工具尖端(表示为17.OT)因为其处于骨骼表面上的位置而与长形钉子孔的中心有一定距离，它不处于长形钉子孔的2D中心，尽管尖端在3D中完美地放置在长形钉子孔中心轨迹上。表示为17.C1和17.C2的两个黑色箭头示出倒角，其由于透视视图，在长形钉子孔的两侧上显示出不同尺寸。

远端-近端方向上的任何潜在的不准确性可能不重要，因为在将工具与目标轨迹(近似)对准、围绕C轴线转动C形臂并获取另一X射线图像之后，可以检测和计算工具尖端在远端-近端方向上的不正确定位。如有必要，可以给出用于修正工具尖端在远端-近端方向上的位置的指令。如在上文中在步骤5中所讨论的，工具尖端位于由目标轨迹和钉子轴线所跨越的平面中可能是足够的。该过程的剩余部分遵循用于第一孔的步骤。

如果长形孔相对于钉子轴线倾斜，则在转动C轴线时可以考虑到该倾斜，系统支持的潜在的微调。

整个讨论还适用于圆形孔。而且，还可遵循相同方法锁定另外的孔。

如上所述，为了将钻头尖端定位在目标轨迹上，对孔的观察方向不需要是完美的(即具有最大投影孔宽度和高度，例如对于圆形孔来说是完美地圆形)。根据可用的先验信息和对于角度确定的要求有多严格(骨骼表面与钉子之间的待钻孔的距离越小，这些要求就越不严格)，对孔的观察方向可以或多或少与目标轨迹偏离。例如，如果获取了AP图像，可近似地确定沿着目标轨迹侧骨骼表面与钉子之间的距离(可替代地，简单地估计距离)。基于该信息和侧X射线图像，类似于上述讨论，还可基于倾斜观察角度来计算(然后显示)钻头尖端应在2D X射线图像中定位以处于目标轨迹上的点。该点无需完美地位于钻头的轨迹上。相反地，基于沿着锁定轨迹骨骼表面与钉子之间的估计或先前确定的距离，在2DX射线图像中确定的与该点的偏差可用于计算新的目标轨迹。然后，可以在接下来的图像中使用新的目标轨迹，以定向钻头。这可让外科医生更容易地将钻头尖端定位在正确的点上，这是因为无需完美地击中。而且，这还可允许在定向钻头以击中目标孔时具有更高的精度。

假设已知第二对象的点相对于第一对象的几何特征的足够精确的位置，可能可行的是通过图像配准来执行3D重构和/或确定相对3D位置和3D取向。

与原始目标轨迹的偏差也可以通过以下方法解决。在第一图像中，器械可以放置在任意点(该点可能位于或者可能不位于目标对象上)，并在第二图像(由不同观察方向获得)中，器械的倾斜可能已经改变(例如，通过近似地瞄准目标轨迹)，但器械的尖端保持在相同位置。基于对目标对象/结构的定位，可配准两幅图像，这可允许确定点相对于目标对象的3D位置。然后，该点可以用于以足够的精度确定工具与目标对象/结构之间的相对3D位置和3D取向。

在上述图5或6中，在工具的尖端被目标对象(例如，钢制钉子)遮挡，并且因此定位不够精确，系统可提供如何使工具的尖端对于系统可见的指令。这可通过系统计算并给出C形臂需要如何重新定位的指令(例如，围绕C轴线的转动，而不是围绕垂直于钉子轴线的轴线的转动)来进行。在工具的材料比目标对象(例如，钢制工具、钛制钉子)吸收足够更多的X射线的情况中，这也可例如通过增大电压和/或电流，或选择不同的C形臂程序设置来实现。

附加地或可替代地，系统可匹配骨骼的统计学3D模型，并因此确定钉子相对于股骨的3D位置的3D位置，从而能够确定3D中所需的锁定螺钉长度。

应该注意的是，对于所有锁定孔都指向相同方向的典型钢制钉子，对于超过30至35度的转动(如在步骤5中)，其锁定孔在X射线中可能不可见，这意味着对于大于30至35度的转动，可能不能够定位钢钉。另一方面，由例如钛制成的工具或植入物比由例如钢制成的工具或植入物吸收更少的辐射。因此，对于钛钉子，倾斜的孔会在孔边缘处导致灰度梯度。这在图18中示出对于远离锁定平面转动25度，并在图19中示出对于远离锁定平面转动45度。这种效果意味着，与钢钉相比，可能能够针对更大得多的角度范围来定位倾斜的钛钉子。钛钉子的另一有益效果在于，通常由钢制成的钻头相对于钉子可以是可见的。这可提高当钻头尖端接近钉子时，例如在钻孔期间，钻头定位的精度。这还可允许围绕不同的轴线，例如推进器轴线，转动C形臂，其中，X射线通常示出重叠于钉子上的尖端。

如果在步骤5中，C形臂围绕竖直轴线而不是C轴线转动，系统要求钻头尖端位于平面中，该平面的正交线是钉子轴线并且其包含目标轨迹。在该情况中，可计算钻头尖端在AP方向上与目标轨迹的偏差。

因此，上述工作流程的一个替代方案可以是从通过围绕C轴线转动获得的观察方向和通过围绕竖直轴线转动获得的观察方向两者获取X射线图像，每个方向都远离锁定平面。在该情况中，不需要关于钻头尖端相对于目标轨迹的位置的先验信息。因此，不需要将C形臂定位在真ML方向上。

用于放置骶髂(SI)或椎弓根螺钉的潜在的处理工作流程的示例

目标对象和目标结构还可是解剖的。解剖目标结构的一个示例是椎弓根。对于3D重构和相对于工具的相对3D位置和3D取向，对于目标结构和因此的目标轨迹来说达到必要的精度可能就足够了。

除了定位解剖目标结构之外，该过程类似于远端锁定过程，这可以在有或没有确定性3D模型的情况下进行。确定性3D模型可以在手术前(例如，术前CT扫描)或者在手术中(例如，术中CT扫描或O形臂)获得。如果确定性3D模型不可用，则可将统计学3D模型(例如，统计学形状或外观模型)用于3D重构，如先前在“基于一幅X射线图像的解剖对象的3D重构和定位”一节所讨论的。

在该过程中，工具可以不固定，手动保持在解剖结构的目标点上，然后与目标轨迹近似对齐。在不获取新的X射线图像的情况下，C形臂可围绕C轴线转动例如25度。遵循如上所述的迭代过程，获取新的X射线，并且考虑到工具尖端位于目标轨迹上，系统可计算工具与目标结构/对象之间的相对3D位置和3D取向。这假设对工具的观察角度位于允许足够精确地确定两个对象之间的3D位置和3D取向的范围内。如果仅解剖结构的统计学模型可用，该步骤包括目标结构/对象的3D重构。

在接下来的步骤中，系统可计算工具轴线与目标轨迹之间的偏差，该偏差涉及角度偏差，并且可能涉及尖端位置在与用于两幅图像之间的转动的C形臂的转动轴线平行的方向上的偏差。系统还可计算钻头穿入深度。系统可将该数据提供给用户(例如，以两个角度数值、工具尖端位置的所需平移和剩余插入深度的形式)。然后，用户可相应地重新调整工具，获取新的X射线，和/或钻孔/插入工具。如果已经开始钻孔并且工具已经穿入解剖结构，该过程仍是有效的，这是因为先验信息和侧约束保持不变。

用于基于增强精度的图像配准来确定器械与解剖结构之间的3D位置和3D取向的潜在的处理工作流程的示例

通过调整C形臂的方位(平移和转动)以与解剖结构的具体部分(例如，诸如椎弓根狭窄的通道)，可将工具(例如，钻头、克氏针或Jamshidi针，或者甚至例如螺钉的植入物)的尖端放置在具体解剖结构参照点上。该步骤可由系统通过在获取的2D的X射线图像中显示参照点来支持，或可替代地，系统可以使用外科医生对参照点的识别来提高其精度。然后，C形臂围绕C轴线转动例如20至30度(或围绕推进器轴线的相似的转动)，同时让工具留在原位，然后获取另一X射线。工具在参照点处接触解剖对象的表面的事实可用于减小或甚至解决由工具的模糊定位引入的模糊性。然后可确定C形臂相对于先前的图像的移动，可由此以更高的精度确定对解剖对象的观察方向。因为这要求工具不在X射线图像之间移动，可更容易地将工具固定到解剖结构，这可用钻头实现，也可用Jamshidi针或克氏针实现。

过程：

1.基于术前CT扫描，可在外科手术之前规划参照点和参照轨迹(即，预期的钻孔或插入轨迹)以及目标终点。这可包括为C型臂规划预期的成像方向，例如真侧向或真AP，或沿着椎弓根或其它可容易识别的标志。该步骤1也可由系统自动地和/或与用户交互地在术中(使用术中3D成像设备)执行。

2.在外科手术期间，通过使用预先定义或在线计算的C形臂成像方向，可实现提高的定位精度。系统可将指令提供给用户，以帮助实现所需的C形臂方位，例如通过检测如边缘或点的某些解剖学特征的相对位置(例如，参见由Blau于2018年8月23日提交的专利申请)。系统可基于将来自CT扫描的结构或整个对象与X射线图像进行匹配，来显示X射线图像中的参照点。然后，外科医生将工具(例如，钻头、Jamshidi针或克氏针，或者甚至例如螺钉的植入物)的尖端定位在该参照点上，该可由系统通过在2D的X射线图像中检测工具的尖端来支持。如有必要，故意将工具保持在一个角度，使得工具(或电动工具)和外科医生的手不阻挡视线。

3.然后，工具近似地与期望方向对准。

4.将工具固定到解剖结构，如果可行的话，在工具上有明确的标记，使得可确定精确的穿入深度。

5.获取来自相同成像方向的另一X射线。现在，工具的尖端的位置受限，这是因为它近似地处于钻孔或插入轨迹上。如果工具的穿入深度是精确已知的，那么与工具的穿入深度是未知的相比，模糊性较小。系统可检查(例如，通过图像差异分析)X射线图像中示出的解剖结构是否保持不变。可替代地，在该步骤中，用户指示工具的尖端位于哪个平面(相对于解剖对象)中也可以是足够的。如果因为工具或外科医生的手会阻挡视线，不能够执行步骤5，则在步骤3中不对准工具的情况下执行步骤4和5。

6.将C形臂移动或转动到不同位置。基于所定位和固定的工具，可确定C形臂相对于先前图像的移动。与所定位的解剖结构一起，这允许确定工具与解剖结构之间的相对3D位置和3D取向。可联合优化待确定的量。

7.如果工具具有如此小的直径以至于它只能针对某些角度以足够的精确度来定位，则在待配准的所有的所获取的X射线图像中，必须以合适的角度(例如，在10至55度的范围内)观察工具。而且，对于特定成像方向，也可以更精确地定位解剖结构。因此，可通过选择在解剖结构上的特定成像方向，来提高步骤7中的确定相对3D位置和3D取向的精度。然而，由于这样的特定成像方向通常是真AP和真ML，这意味着两幅X射线图像之间的角度接近90度。而且，当在步骤4中固定工具时，必须已经观察到在待获取和配准的所有X射线图像中，将以合适的角度(例如，在10至55度的范围内)观察工具的尖端。因此，在这样的情况中，用于固定工具的适当角度会在观察方向真AP和真ML之间的中间，即大约45度。

8.一旦已经获取了X射线并且满足以上条件，系统则可计算工具的轴线与参照轨迹之间的偏差，它可将该偏差提供给用户(例如，通过显示两个角度数值)。用户则可撤回工具至原始参照点，并重新使其与参照轨迹对准。系统可帮助用户找到原始参照点。

到达正确的参照轨迹可能会要求获取另外的X射线的迭代过程。在获取新的X射线之后，系统则可检查(例如，通过图像差异分析)解剖结构是否仍然以相同取向和位置显示在X射线中。如果是这种情况，由于工具的尖端位于参照轨迹上的先验信息，可再次计算工具与解剖结构之间的相对3D位置和3D取向。而且，系统还可计算穿入深度，在该情况中，例如工具的尖端与目标终点之间的距离，并由此通知用户。在工具插入期间，可获取另外的X射线，并且可重复上述步骤。

如果确保在每幅所获取的X射线中，在合适角度范围(例如，10至55度)内观察工具是不可行或不期望的，也可移除保持工具的电动工具(例如，保持钻头的电钻)(这在使用克氏针或Jamshidi针的情况下是明显的)。如果在X射线图像中整个工具(尖端和底端)是可见的，工具在X射线图像中的投影的长度可被确定并由此允许以足够的精度定位工具。在这样的情况中，可甚至以接近90度的角度观察工具。这将允许最初以近似正确的角度固定工具(消除了首先故意以不正确的角度固定工具的需要，参见步骤7)，由此减少步骤8中所需迭代的次数。

对于椎弓根螺钉的插入，可以在AP视图中识别椎弓根的进入点，其中，椎弓根轴线相对于观察方向倾斜例如10至45度。在这样的成像方向中，钻孔机器不阻挡视图，并且在将器械的尖端定位在解剖结构的进入点上并使得工具轴线的角度与目标轨迹对准之后，无需从另一方向获取第二图像。由于该过程经常涉及克氏针或Jamshidi针，可在其轴线已经与期望目标轨迹对准的情况下，将工具固定到骨骼。

如有必要，用户则可从其它观察角度获取一幅或更多幅X射线图像，系统可用它们来执行上述图像配准以增强精度。如果仍有需要，可基于额外的信息(可能不撤回钻头)，进一步优化钻孔角度，并且可以继续钻孔。

由于该第一AP视图中的另一椎弓根具有与第一椎弓根镜像的清晰度(参见图15，示出了两个Jamshidi针15.JN和15.JN2)，可以对同一椎骨的另一椎弓根重复上述过程，并利用第一椎弓根的已经插入的Jamshidi针(通过使用其在X射线图像中的投影)，以允许更稳健的图像配准。

图24至26的流程图

图24示出了整体流程图，其覆盖了上文的以下节中呈现的所有过程：“用于远端锁定过程的潜在的处理工作流程的示例”、“用于放置骶髂(SI)或椎弓根螺钉的潜在的处理工作流程的示例”，以及“用于基于增强精度的图像配准来确定器械与解剖结构之间的3D位置和3D取向的潜在的处理工作流程的示例”。有两种可行的实施方式：图25所示的快速实施方式，其适用于上文的以下节中呈现的过程：“用于远端锁定过程的潜在的处理工作流程的示例”和“用于放置骶髂(SI)或椎弓根螺钉的潜在的处理工作流程的示例”；以及图26所示的增强精度的实施方式，其适用于上文的以下节中呈现的过程：“用于基于增强精度的图像配准来确定器械与解剖结构之间的3D位置和3D取向的潜在的处理工作流程的示例”。

本领域技术人员将会理解的是，取决于在此提供的教导的具体应用的情况，不是所有的步骤都必须执行，并且在实践中可执行没有提及的另外的子步骤。

图24、25和26中的步骤是：

S10：生成和加载3D模型。

S11：术前规划(可选的)。

S12：加载整个3D模型。

S13：术中自动确定目标轨迹(或多个轨迹)/平面(或多个平面)，以及如果适用的话，自动确定目标点(例如在解剖结构的情况中)。

S20：用于C形臂调整的支持。

S21：获取X射线图像。

S22：用于到达对目标对象的特定观察方向的支持，例如圆形孔(潜在地由定位钉子来支持)，或对解剖结构的真AP/ML视图(潜在地由DNN来支持)，其通过例如提供围绕C轴线的转动角度(包括方向)、围绕推进器轴线的转动等。

S23：如果出现模糊性，系统仅提供转动角度的数值，而不提供方向。

S24：如果观察方向没有足够地接近期望观察方向，用户遵循系统指令，继续进行S21。如果解剖结构的对应3D模型(例如，CT扫描，即确定性的)可用，期望观察方向可不同于目标轨迹，这是因为在该情况中，已知开口工具的尖端会被放置在解剖结构上，可从当前观察方向和3D模型获得目标轨迹。示例：远端锁定，其中，开口工具被放置在股骨上，并且股骨的3D模型可用。在定位目标对象(S33)之后，系统计算钉子模型的目标轨迹与股骨模型的表面的交点。使用解剖结构的3D模型，系统为开口工具尖端提供调整指令(S37)。

S30：用于开口工具定位的支持。

S31：定位开口工具。

S32：获取X射线图像。

S33：定位目标对象/结构。

S34：如果目标轨迹与观察方向充分对准，则目标点在2D的X射线中直接可见(对于工具尖端位置的1个DoF未限定)。转到S36。

S35：系统显示解剖对象(还具有远端锁定)的3D表面与目标轨迹的交点，其重叠在2D的X射线上(限定了对于工具尖端位置的所有DoF)。

S36：2D匹配开口工具。

S37：系统提供用户指令，以支持开口工具尖端调整。

S38：如果没有以足够的精度到达位置，用户遵循系统指令，并继续S32。

S40：确定开口工具与目标对象之间的3D位置和取向，以使得开口工具与目标轨迹对准。

S41e：需要开口工具固定。

S411e：开口工具固定。在旨在应用S44的情况下，系统提供支持以一角度将开口工具固定到目标对象，该角度确保开口工具与所有特定观察方向之间的角度小于65度。提供两个角度数值。如果用户从相同观察方向获取另一图像，由系统验证开口工具的固定角度。

S412e：获取X射线图像，而不改变C形臂与解剖结构之间的相对位置。

S413e：图像差异分析，以确定开口工具的穿入深度。

S414e：确定开口工具相对于解剖结构的3D位置和3D取向。

S41q：没有开口工具固定。用户不支持轨迹瞄准。

S42：系统计算并显示用于C形臂转动的调整数值，以便在观察方向与目标轨迹之间达到25度的角度。如果出现模糊性，系统仅提供转动角度数值而不提供方向。

S43：用户根据所显示的调整数值定位C形臂，并获取X射线图像。如果观察方向没有足够接近来自S42的期望观察方向，则转到S42。

S44：计算目标对象与开口工具之间的3D位置和3D取向，用于最终开口工具调整指令。

S441e：在迭代优化的情况中，3D定位开口工具，并计算当前图像与先前特定观察方向之间的开口工具的3D位置和3D取向之间的转换矩阵。

S442e：基于以下项潜在地改善解剖结构的3D取向和3D位置：(i)上述转换矩阵(S441e)，(ii)具有当前开口工具位置的解剖结构的所有先前3D取向和3D位置，和(iii)解剖结构的当前3D取向和3D位置(迭代或联合优化)。

S441q：在迭代优化的情况中，定位目标对象。基于目标对象的定位和开口工具的尖端定位在目标轨迹/平面上的先验信息，确定开口工具与目标对象之间的3D位置和3D取向。转到443。

S442q：联合优化目标对象相对于开口工具的3D取向和3D位置。

S443：验证和修正先验信息(开口工具的尖端相对于目标对象的位置)，例如在钉子的远端-近端偏差能够被验证和修正的情况下。

S444e：如果需要进一步改善解剖结构与开口工具之间的3D位置和3D取向的精度，系统计算并显示用于C形臂转动的调整数值，以便达到另外的特定观察方向。

S445e：用户根据所显示的调整数值定位C形臂，并获取X射线图像。如果观察方向没有足够接近期望观察方向，则转到S44。

S45：用户通过所提供的调整数值来移动开口工具，以便将开口工具与目标轨迹对准。

S451：由于目标对象的3D模型提供目标轨迹，系统提供角度来调整开口工具的方向(包括方向的两个角度)，以使得工具与目标轨迹对准，该角度是由以上确定的工具相对于目标对象的3D位置和3D取向获得的。

S452e：如果开口工具仍固定在第一位置上(S41e)，用户撤回开口工具，直至其尖端处于目标轨迹上，然后基于系统输出对准开口工具，获取X射线图像。(可替代地，使用第二开口工具来瞄准目标轨迹。在该情况下，转到S44)。

S453e：系统比较图像(例如，通过图像差异分析)。如果图像局部地(对于目标对象)足够接近，则转到S44。

S454：在开口工具与目标轨迹的对准不够接近的情况下，用户基于系统输出对准开口工具，获取X射线图像，并继续S44。

S455：在剩余对准指令提供足够小的数值的情况下，系统显示要钻孔多远的信息。用户可基于对准指令，对准开口工具，并决定他/她是否获取另一X射线图像。

S46：钻孔。

S461：用户钻孔。

S462：每当用户想要验证钻孔方向或钻孔深度时，他/她获取新的X射线并继续S44。

要注意的是，在系统能够给出关于如何调整已经在第一X射线图像中的工具的取向(和可能地位置)的指令的情况中，这些指令可用于达到工具与目标轨迹的临时对准。如果在该对准之后，工具的倾斜已经在所需角度范围内，电动工具和外科医生的手都不阻挡视线，则可能不需要来着不同成像方向的另一图像，如有必要，可以使用来自相同成像方向的X射线，实现所应用的指令(关于工具的取向和可能地位置)的验证。如果(i)无需修正或仅需要非常小的修正，或(ii)使用确保足够精确地应用所提供的指令的装置，则可能无需另一X射线图像。这样的装置可以是手动装置或机器人。

如在“用于从期望观察方向在C形臂的视野中定位目标对象/结构的方法”一节中所述的，可能不需要C形臂在目标轨迹的方向上完美地对准，尤其是如果工具放置在目标对象上并且目标点在当前X射线中是可识别的。用于计算相对3D位置和3D取向的所有必要信息可能已经在最先的X射线图像中可用。因此，取决于设置，第一X射线图像可能足以执行整个远端锁定过程。这样的设置的一个示例是使用机器人，该机器人在已经考虑到所需倾斜的情况下将工具保持在给定点。如果可以在第一次采集的X射线图像中已识别目标轨迹和必要的起始点这两者，并确定工具与目标对象之间的3D位置和3D取向，机器人可以根据需要平移和旋转工具，并钻孔。在一般的情况下，在目标轨迹和用于钻孔的最终起始点不能基于第一X射线识别的情况下，可从不同的合适观察方向获取另一X射线。可基于定位目标对象来配准两幅X射线图像，这可允许计算工具相对于目标对象和由此相对于目标轨迹的3D位置和3D取向。因此，包括钻孔的整个重新定位(平移和转动)可由机器人执行。该过程不限于钻头。

复位支持

当解剖学地复位近端股骨的骨折时，可能会发生这样的情况，尽管复位在AP的X射线图像(例如Adam的腰看起来是完好的)和侧向图像两者中看起来是正确的，但仍存在剩余的背隙。出于该原因，可能建议获取真ML的X射线图像，这是因为真ML图像最有可能显示这样的间隙。然而，即使真ML图像也可能不揭示这样的不正确复位。

然而，在X射线中不可见的剩余的背隙具有有限的自由度，这意味着不正确的复位必须通过围绕由主骨折线限定的轴线转动中间碎片来修正。

这样的修正可通过以下过程实现，在此对于两个碎片的情况来说明。

1.系统加载显示分割的3D骨骼碎片的3D模型(通常使用术前CT扫描获得)。

2.外科医生获取AP的X射线图像。

3.系统可以可选地检测作为参照的骨折线。

4.系统可以可选地确定近似主骨折线的线。

5.外科医生复位骨折，直至认为在AP的X射线图像中是正确的。

6.外科医生将C形臂转动到ML位置并获取X射线图像。

7.系统可确定两个骨骼碎片之间的相对3D位置和3D取向，并可由此支持外科医生评估复位和潜在地确定正确复位。

对于步骤7，系统可使用骨骼碎片沿着前骨折线彼此接触的先验信息。该线实际上在3D中限定，因此上述步骤3中的检测仅是可选的。

在该场景中，两个对象(碎片)不仅在单个点处接触，而且沿着近似3D空间中的线的一维结构接触。因此，仅存在一个未限定的自由度(即，围绕前骨折线的转动)。因此，使用在上述节中提出的思想，可以确定对象之间的相对3D位置和3D转动。

该方法与其它先前描述的技术(即，在X射线中具有或不具有额外的器械/植入物(例如钉子)的情况下，多幅X射线图像的配准)的组合可导致更高的精度。如果在可用于帮助配准两幅图像的钉子插入之后实施，这甚至可能无需任何额外的努力。

要注意的是，在骨科创伤中的几种复位场景中，存在该类型的先验信息，例如，在确定碎片的内翻/外翻位置中。其它示例可涉及已知以下的场景(例如，基于X射线)：

·碎片彼此接触(先验信息的最少限制类型)；

·碎片彼此接触的地方；已知该位置是多个可能性中的一个可能就足够了：例如，如果在AP的X射线图像中复位看起来是正确的，则可以假设碎片在背侧或腹侧方向上沿着骨折线接触；在更加极端的场景中，一个碎片的背侧骨折线可接触另一碎片的腹侧骨折线；然后，算法可以评估所有这些可能性，并选择提供最佳3D匹配的那个；

·碎片是如何彼此接触发(在点、例如线的一维结构，或例如平面的2D结构处等等)。

要注意的是，上述过程还可应用于多于两个碎片。如果在骨骼碎片A与B之间存在已知关系，并且在骨骼碎片B与C之间存在已知关系，这可用于关联骨骼碎片A和C。

系统还可自动地确定骨骼碎片之间的任何检测到的解剖间隙是否在标准内，并且确定任何凸出的骨骼碎片是否具有统计显著性，因为它们显着偏离了拟合的统计学形状模型。

外科医生可能会基于在X射线图像中所见的错误地认为复位是正确的另外示例是近端胫骨的多碎片场景。图27示出对具有碎片A至E的胫骨的近端端部的轴向视图。在此，标记为A至D的碎片已经在解剖学上复位，但碎片E已经沉降，即与正确解剖学复位相比，在远端方向上移动。这种情况对于外科医生可能会难以确定，这是因为X射线(在AP或ML方向上)会显示许多其它骨折线，以及对应于正常解剖结构(例如，腓骨)的线。本发明能够通过正确地确定所有碎片之间的相对3D位置和3D取向，检测到这样的场景。这是可能的，因为系统可以使用先验信息，即除了可能已经在远端方向上移动的内侧碎片(例如，图27中的碎片E)之外，所有碎片都可能在解剖学上复位。在此，系统的自由参数将是位于骨骼内部的碎片的近端/远端位置。

Claims (18)

1.一种用于处理X射线图像的系统，所述系统包括处理单元和软件程序产品，其中，当所述软件程序产品由所述处理单元执行时，使得所述系统：

接收X射线图像，所述X射线图像是第一对象和第二对象的投影图像，

对所述第一对象进行分类并接收所述第一对象的3D模型，相对于所述第一对象的3D模型确定所述第一对象的几何特征并识别所述几何特征，

对所述第二对象进行分类并接收所述第二对象的3D模型，在所述第二对象的3D模型选择所述第二对象的点并识别所述点，

基于所述第一对象的3D模型、所述第二对象的3D模型以及关于所述第二对象的点与所述第一对象的几何特征之间的空间关系的知识，确定所述第一对象与所述第二对象之间的相对3D位置和3D取向。

2.根据权利要求1所述的系统，其中，所述第一对象的几何特征是由平面、线和点构成的组中的特征。

3.根据权利要求1或2所述的系统，其中，选择所述第二对象的点包括选择所述第二对象的多个点。

4.根据前述权利要求中任一项所述的系统，其中，所述第一对象是插入到骨骼中的骨骼植入物，其中，关于所述第二对象的点与所述第一对象的几何特征之间的空间关系的知识通过以下获得：(i)将所述X射线图像与另外的X射线图像配准，其中，两幅X射线图像都显示有所述第一对象和所述第二对象二者，和(ii)所述第二对象的点在两幅X射线图像中相对于所述第一对象处于相同的3D位置的知识。

5.根据权利要求4所述的系统，其中，基于(i)所述另外的X射线图像与所述X射线图像的配准，(ii)在所述两幅X射线图像中对骨骼边缘的检测，以及(iii)所述第二对象的点定位在骨骼表面处的知识，来确定骨骼表面的至少部分3D重构以及骨骼表面相对于所述第一对象的位置。

6.根据权利要求1至4中任一项所述的系统，其中，所述第一对象是插入到骨骼中的骨骼植入物，其中，关于所述第二对象的点与所述第一对象的几何特征之间的空间关系的知识通过以下获得：(i)对骨骼的骨骼表面进行至少部分3D重构，所述骨骼表面与所述第一对象的几何特征具有已知空间关系，和(ii)所述第二对象的点定位在所述骨骼表面处的知识。

7.根据权利要求1所述的系统，其中，所述第一对象的几何特征是平面或线，并且其中，生成所述X射线图像，其中成像方向相对于所述几何特征倾斜一角度，所述角度为10度至65度、优选地为20度至30度。

8.根据前述权利要求中任一项所述的系统，其中，还使得所述系统确定所述第二对象的3D位置和3D取向与所述第二对象相对于所述第一对象的预期空间关系的偏差。

9.根据前述权利要求中任一项所述的系统，其中，所述第一对象是解剖结构的特征或第一植入物，并且其中，所述第二对象是解剖结构的特征、工具或第二植入物。

10.根据前述权利要求中任一项所述的系统，其中，所述第二对象的点是所述对象的远端尖端，并且其中，所述远端尖端的3D位置信息是所述远端尖端与所述第一对象的表面的接触点。

11.根据前述权利要求中任一项所述的系统，其中，所述系统还包括用于给用户提供信息的设备，其中，所述信息包括由X射线图像和关于过程步骤的指令构成的组中的至少一项信息。

12.根据前述权利要求中任一项所述的系统，所述系统还包括用于生成所述X射线图像的基于C形臂的X射线成像设备。

13.一种辅助将骨骼螺钉插入长骨骼中并穿过骨骼钉子中的孔以将所述骨骼钉子远端锁定在所述长骨骼中的方法，所述孔具有孔轴线，其中，所述方法包括以下步骤：

以在所述骨骼钉子中的孔的孔轴线的方向上的成像方向，生成钻头和骨骼钉子的第一X射线图像，其中，所述钻头布置成其远端尖端与所述长骨骼的外表面接触，使得所述钻头的尖端定位在所述骨骼钉子中的孔的孔轴线上，其中，所述钻头的钻头轴线相对于所述孔轴线成10至70度的角度取向，

基于接触点的知识、基于所述钻头的3D模型并且基于所述骨骼钉子的3D模型，来确定所述钻头轴线与所述孔轴线之间的实际角度，

以第二成像方向生成所述钻头和所述长骨骼内的骨骼钉子的第二X射线图像，所述第二成像方向相对于所述第一成像方向以10至65度的角度取向，其中，改变所述钻头的取向，使得所述尖端仍处于所述孔轴线上，并且所述钻头轴线接近所述孔轴线，

确定所述钻头的3D位置和3D取向与所述骨骼钉子中的孔的孔轴线的偏差。

14.一种辅助将骨骼螺钉插入椎骨的椎弓根中的方法，其中，所述方法包括以下步骤：

生成钻头和所述椎骨的第一X射线图像，其中，所述钻头布置成其远端尖端与所述椎骨的外表面接触，使得所述钻头的尖端定位在延伸穿过所述椎骨的椎弓根的轴线上，其中，所述钻头的钻头轴线相对于穿过所述椎弓根的所述轴线成10至65度的角度取向，

基于接触点的知识、基于所述钻头的3D模型，和基于所述椎骨的3D模型，确定所述钻头轴线与穿过所述椎弓根的所述轴线之间的实际角度，

确定所述钻头轴线的3D位置和3D取向与穿过所述椎弓根的所述轴线的偏差。

15.根据权利要求14所述的方法，所述方法还包括生成所述钻头和所述椎骨的第二X射线图像的步骤，其中，改变所述钻头的取向，使得所述钻头的尖端仍处于穿过所述椎弓根的所述轴线上，并且所述钻头的钻头轴线接近穿过所述椎弓根的所述轴线。

16.根据权利要求13和15中任一项所述的方法，其中，C形弧围绕C轴线转动，以将成像方向从所述第一成像方向改变为所述第二成像方向。

17.根据权利要求13和15中任一项所述的方法，其中，所述方法还包括配准所述第一X射线图像和所述第二X射线图像的步骤。

18.根据权利要求13至17中任一项所述的方法，其中，所述方法还包括提供骨骼的3D重构的步骤。

Images