CN117653335A - 机械臂末端动力工具的反馈控制方法、装置、设备及介质 - Google Patents

Abstract

本申请提供了一种机械臂末端动力工具的反馈控制方法、装置、设备及介质。该方法包括：获取预先确定的规划影像，并在术中将影像设备移动到观测位置；在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别；将动力工具的实时位置从术区影像映射到规划影像中，并在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断；基于实时位置的差异判断结果，控制动力工具继续移动或者利用预设的修正方法进行修正，直至动力工具的实时位置与规划位置重合。本申请提升手术效率，降低手术操作中的安全性风险，避免对患者造成伤害。

Description

机械臂末端动力工具的反馈控制方法、装置、设备及介质

技术领域

本申请涉及手术导航系统技术领域，尤其涉及一种机械臂末端动力工具的反馈控制方法、装置、设备及介质。

背景技术

随着计算机技术和计算机视觉的发展，手术导航系统越来越多地应用在骨科手术中，其可以将患者的影像数据与患者生理解剖结构准确关联，辅助术者执行手术规划，并引导术者操作手术器械。手术导航系统使得骨科手术更加精准、迅速和安全。

在基于手术导航系统的手术过程中，通过机械臂上安装的用于骨科磨削或螺钉植入的动力工具，术者通过手术导航系统控制动力工具移动到磨削或植入的位置，从而控制动力工具完成手术操作。但是，在上述动力工具的控制过程中，由于术者需要实时观测动力工具当前的磨削或植入位置，因此需要利用影像设备拍摄术区影像，根据术区影像判断动力工具当前所处的位置，并且在判断位置之后，再控制动力工具继续进行磨削或植入。

由于影像设备与动力工具之间具有较低的耦合度，为了避免对患者造成伤害，需要术者在使用动力工具进行手术操作的过程中需要不断地交替使用影像设备和动力工具，严重降低了手术效率，并且现有的手术导航系统无法实现对动力工具位置的实时监控，因此在手术的磨削或植入过程中，需要术者依靠手术导航系统提供的位置信息反推磨削、植入的情况，然而无法囊括椎体间位移、工具打滑等问题，导致术者的手术操作存在一定的安全性风险，容易对患者造成伤害。

发明内容

有鉴于此，本申请实施例提供了一种机械臂末端动力工具的反馈控制方法、装置、设备及介质，以解决现有技术存在的手术效率降低，手术操作存在安全性风险，容易对患者造成伤害的问题。

本申请实施例的第一方面，提供了一种机械臂末端动力工具的反馈控制方法，包括：获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中规划影像中包含规划位置；在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别；将动力工具的实时位置从术区影像映射到规划影像中，并在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断；基于实时位置的差异判断结果，控制动力工具继续移动或者利用预设的修正方法进行修正，直至动力工具的实时位置与规划位置重合。

本申请实施例的第二方面，提供了一种机械臂末端动力工具的反馈控制装置，包括：获取模块，被配置为获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中规划影像中包含规划位置；识别模块，被配置为在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别；判断模块，被配置为将动力工具的实时位置从术区影像映射到规划影像中，并在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断；修正模块，被配置为基于实时位置的差异判断结果，控制动力工具继续移动或者利用预设的修正方法进行修正，直至动力工具的实时位置与规划位置重合。

本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。

本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本申请实施例的第五方面，提供了一种骨科手术机器人系统，包括机械臂、导航相机、主控设备、影像设备和患者示踪器，还包括如第二方面实施例所述的机械臂末端动力工具的反馈控制装置；其中，机械臂的末端安装动力工具，机械臂上还安装机械臂示踪器，影像设备安装有影像设备示踪器，患者示踪器安装在患者患处。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中规划影像中包含规划位置；在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别；将动力工具的实时位置从术区影像映射到规划影像中，并在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断；基于实时位置的差异判断结果，控制动力工具继续移动或者利用预设的修正方法进行修正，直至动力工具的实时位置与规划位置重合。本申请通过对手术操作过程中的动力工具的位置进行实时监控，实现动力工具的实时位置与规划位置的自动差异判断以及位置的自动修正，保证动力工具始终沿着规划位置的路径移动，从而提升手术效率，降低手术操作中的安全性风险，避免对患者造成伤害。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的实际应用场景中涉及的骨科手术机器人系统的组成结构示意图；

图2是本申请实施例提供的机械臂末端动力工具的反馈控制方法的流程示意图；

图3是本申请实施例为影像设备增加导航功能的原理示意图；

图4是本申请实施例提供的螺钉植入时目标入口位置和规划位置的示意图；

图5是本申请实施例提供的关节切削时目标入口位置和规划位置的示意图；

图6是本申请实施例提供的螺钉植入时的实时位置与规划位置的差异判断的示意图；

图7是本申请实施例提供的机械臂末端动力工具的反馈控制装置的结构示意图；

图8是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

在当前的手术机器人中，影像设备的耦合度较差，成像设备和机器人导航系统(也称手术导航系统)的信息只局限于影像信息的传输。术中磨削、植入的时候术者往往需要不断地交替使用成像设备和机械臂这两种设备，而低的耦合度会导致两者之间会产生物理上的干涉，需要术者推开机械臂再将影像设备推进到术区拍摄确定，再继续磨削、植入，因此严重影响了手术效率。

另外，在基于手术导航系统的磨削或植入过程中，术者依靠手术导航系统提供的位置信息反推磨削、植入的情况，但是却无法囊括椎体间位移、工具打滑等问题引起的位置变化，导致手术存在一定的安全性风险。不仅如此，影像设备(即成像设备)由术者操作，为保障手术效率，术者往往在手术室进行X射线曝光成像，这会对术者产生辐射。基于术者进行手术的数量和一次手术曝光的次数，该辐射会对术者的健康造成伤害。

最后，影像设备通常作为独立的医疗设备，机器人导航系统无法直接识别其位置，从而导致影像设备产生的影像需要通过中间媒介(如标尺板)才能被机器人导航系统识别。

鉴于以上现有技术中存在的问题，需要将手术导航系统和影像设备作为一个整体进行设计，将影像设备在手术场景中建模，实现影像的拍摄控制、配准以及实时监控；再配合机械臂的自动磨削、假体植入，实现无术者参与手术或者远程手术。本申请实施例还提供一种手术机器人系统配合影像设备联合使用的骨科手术机器人系统，使得影像设备产生的影像可以直接被导航系统定位，并且影像设备也可以被导航系统定位；增加主控设备对影像设备的控制，使得手术机器人系统控制影像设备、机械臂完成实时的基于影像监控的操作(比如磨削或植入)。

下面结合附图以及具体实施例对本申请实施例在实际场景中涉及的骨科手术机器人系统的组成结构进行详细说明。如图1所示，图1是本申请实施例提供的实际应用场景中涉及的骨科手术机器人系统的组成结构示意图，该骨科手术机器人系统具体可以包括：

本申请实施例提供的骨科手术机器人系统包括但不限于以下组成部分：机械臂101、导航相机102、主控设备103、影像设备104和患者示踪器105；其中，机械臂101的末端安装动力工具，通过机械臂101的位姿移动改变动力工具的位置，机械臂101前端还安装有机械臂示踪器；导航相机102用于在手术过程中采集各示踪器的相对位置信息，并将相对位置信息传递给主控设备103；影像设备104用于在术中采集患者的术区影像，并将术区影像传递给主控设备103，影像设备104上安装有影像设备示踪器，以C型臂作为影像设备为例，影像设备主要由球管和C型臂探测器组成，影像设备示踪器安装在C型臂探测器上；患者示踪器105安装在患者的患处，用于对术区进行定位；导航相机102在手术过程中采集患者示踪器105、机械臂示踪器和影像设备示踪器的相对位置信息，并将相对位置信息传递给主控设备103，由主控设备103根据坐标系之间的变换矩阵来进行影像配准。

进一步地，导航相机102能够通过目标物体上的跟踪器(也称示踪器)识别目标物体的位置，比如机械臂示踪器、患者示踪器、手术器械示踪器和影像设备示踪器等；主控设备103连接导航系统、机械臂和影像设备，可用于获取导航系统的数据、控制机械臂的运动、获取影像设备的数据，同时实现和人的交互；影像设备104用于拍摄患者影像，包括三维影像和二维影像。

在实际应用中，影像设备既可以是导航系统的一部分，与机械臂之间刚性连接，影像设备还可以采用单独的设备，此时通过接口与手术导航系统连接。当影像设备和手术导航系统是两套独立的产品时，手术导航系统通过接口控制影像设备，当手术导航系统中包含影像设备时，机械臂刚性地和影像设备固定在一起。本申请实施例所说的手术导航系统中至少包含导航相机、机械臂和主控设备。

需要说明的是，本申请实施例的动力工具包括但不限于用于脊柱、创伤、关节等手术的骨科磨削或假体植入(包括螺钉植入)的工具，其中，磨削是指对骨组织进行塑形切割，包括但不限于膝关节置换手术中利用摆锯的平面切割、髋关节置换手术中利用髋臼锉的髋臼成型等；植入是指在骨组织中植入暂时的器械(如脊柱手术中的导丝、丝攻等)或者永久的植入物(如脊柱螺钉、膝关节假体等)。

另外，本申请实施例的影像设备包括但不限于C型臂，常规CT设备、CBCT设备、超声设备等。本申请实施例图1中的影像设备为C型臂，C型臂是用于介入放射科及骨科手术中的X线影像设备，可实现手术中的实时动态成像，C型臂可以认为是一个相机模型。

下面基于以上实际应用场景中涉及的骨科手术机器人系统的结构，对本申请实施例的技术方案进行详细说明。

图2是本申请实施例提供的机械臂末端动力工具的反馈控制方法的流程示意图。如图2所示，该机械臂末端动力工具的反馈控制方法具体可以包括：

S201，获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中规划影像中包含规划位置；

S202，在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别；

S203，将动力工具的实时位置从术区影像映射到规划影像中，并在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断；

S204，基于实时位置的差异判断结果，控制动力工具继续移动或者利用预设的修正方法进行修正，直至动力工具的实时位置与规划位置重合。

具体地，本申请实施例的规划影像是指用于医生对实际磨削或者植入的位置进行规划的影像，因此在规划影像中预先标记出螺钉植入的位置，将螺钉植入的实际效果在规划影像上体现出来。观测位置是指根据术式和截骨方式确定的最方便医生观察植入或者截骨效果的一个位置，该观测位置是指可以使影像设备有效检测机械臂磨削、植入效果的位置。规划位置是指植入物所要达到的位置、截骨的区域或者实际磨削的位置等，即规划位置是医生想要工具到达的位置。

进一步地，本申请实施例的配准是指建立影像坐标系和患者示踪器坐标系之间的变换关系，配准的目的在于将术中对影像的规划定位到患者示踪器坐标系中，实现利用配准的方式将规划手术方案带到术中的患者患处。在影像配准中，由于术区与患者示踪器之间刚性连接，因此可以使用患者示踪器来指代患者的术区，所以建立配准关系也就是将影像与患者术区的生理解剖结构进行关联。配准既可以是二维影像与患者示踪器之间的配准，也可以是三维影像与患者示踪器之间的配准。

在一些实施例中，获取预先确定的规划影像，包括：当在术前影像上进行规划时，获取术前拍摄到的患者患处对应的术前影像，并在术前影像中进行规划，得到术前规划影像；或者，当在术中影像上进行规划时，在术前利用手术导航系统、影像设备以及标定桶，确定影像坐标系与影像设备示踪器坐标系之间的变换关系；获取术中拍摄到的患者患处对应的术中影像，利用影像坐标系与影像设备示踪器坐标系之间的变换关系以及导航相机采集到的影像设备示踪器和患者示踪器之间的相对位置，建立术中影像坐标系与患者示踪器坐标系之间的变换关系；基于术中影像坐标系与患者示踪器坐标系之间的变换关系，将术中影像映射到患者示踪器坐标系下，并在患者示踪器坐标系下的术中影像中进行规划，得到术中规划影像。

具体地，本申请实施例中术者的手术规划包括两种实现方式，第一种是基于术前影像的规划，第二种是基于术中影像的规划；当采用术前影像的规划方式时，无需获取影像坐标系与影像设备示踪器坐标系之间的变换关系，也无需对影像进行配准，医生可直接在术前影像中实现手术规划，并且在术前影像中实现手术规划完成之后，再利用术前规划影像实现配准；而术中影像的规划方式，其实现过程则更为复杂一些，与术前影像的规划方式相比，在术中基于术中影像进行手术规划时，首先需要确定影像坐标系与影像设备示踪器坐标系之间的变换关系，再通过导航相机获取影像设备示踪器和患者示踪器之间的相对位置，将上述变换关系以及相对位置信息传递给主控设备，由主控设备根据变换关系以及相对位置信息实现术中影像的配准(即建立术中影像坐标系与患者示踪器坐标系之间的变换关系)，最后，在配准后的术中影像的基础上进行规划，得到术中规划影像。

进一步地，下面结合具体实施例对基于术中影像的规划方式的实现过程进行详细说明，具体可以包括以下内容：

首先，需要为影像设备增加导航功能，即建立影像坐标系与影像设备示踪器坐标系之间的变换关系，在常规的手术导航系统中，手术导航系统可以获取机器人的位置，但是无法直接获取术中影像设备的位置，因此一般需要通过标尺板的方式来确定影像和患者术区的变换关系。本申请实施例通过在影像设备上安装跟踪器(即影像设备示踪器)，使影像设备示踪器刚性固定在影像设备的探测器端，并以此来确定影像设备、影像设备所拍摄的影像和所安装跟踪器之间的位置关系。

如图3所示，图3是本申请实施例为影像设备增加导航功能的原理示意图，为影像设备增加导航功能的具体实现过程包括：

基于手术导航系统确定以下坐标系：O_Equip、O_img、O_track、O_cali，其中O_Equip用于表示影像设备坐标系位置，O_img用于表示影像设备所拍摄影像的坐标系位置，O_track用于表示影像设备示踪器的坐标系位置，O_cali用于表示标定桶上所安装跟踪器的位置(即标定桶示踪器的坐标系位置)，标定桶示踪器坐标系和标定桶钢球所在坐标系一致；那么，影像坐标系与影像设备示踪器坐标系之间的变换关系M_A就可以认为是O_img相对于O_track的变换矩阵；标定桶示踪器坐标系与影像设备示踪器坐标系之间的变换矩阵M_p就可以认为是O_cali相对于O_track的变换矩阵；影像设备坐标系与影像设备示踪器坐标系之间的变换矩阵M_Equip就可以认为是O_Equip相对于O_track的变换矩阵。

进一步地，为了计算影像坐标系与影像设备示踪器坐标系之间的变换关系M_A，本申请实施例采用标定的方式来确定M_A，下面结合具体实施例对M_A的标定方法进行详细说明，具体可以包括以下内容：

a.采用一个标定桶，该标定桶上安装跟踪器和多个标记点，标记点相对跟踪器的位置P_j，i＝1...n已知；

b.利用影像设备对标定桶成像(即扫描标定桶)，获取标记点在影像坐标系下的位置为Q_j，j＝1...n；

c.获取标定桶示踪器和影像设备跟踪器之间的位置关系M_p；

d.计算M_A，M_A满足M_AQ_j＝M_pP_j，j＝1...n。

另外，对于M_Equip可以直接基于设计或者术前尺寸测量来确定。在实际应用中，M_Equip主要用于场景建模和运动控制，因此对精度要求较低，所以采用基于设计的M_Equip粗略值，或者也可以采取采用几何测量的方式来确定更高精度的M_Equip。以C臂作为影像设备为例，通过M_Equip可以确定C臂示踪器与C臂基座之间的物理位置关系。

根据本申请实施例提供的技术方案，通过为影像设备增加导航功能，即通过术前建立影像坐标系与影像设备示踪器坐标系之间的变换关系M_A，可以直接在术中使用M_A进行影像配准，从而提升术中影像配准的效率，另外，通过M_A可实现场景建模，从而为后续的影像设备控制奠定基础。需要说明的是，本申请实施例的变换关系也可以称为变换参数、变换矩阵或者相对位置，变换关系用于表示坐标系之间在空间位置的相互转换时的矩阵。

其次，在为影像设备增加导航功能之后，在术中利用影像设备对患者术区进行成像，并基于术前确定的M_A将术中影像映射到患者示踪器坐标系下，从而实现在术中影像中进行规划的目的。在实际应用中，利用影像设备在术中获取患者术区的影像I_opt时，影像I_opt可以是三维图像，比如CBCT图像等，影像I_opt也可以是不少于两张的二维影像，比如X-ray图像等。

进一步地，在术中利用影像设备获取患者术区影像时，既可以是手动方式获取，也可以是自动方式获取，例如：按照传统的影像获取方式，术者移动影像设备到达术区位置并在影像设备端操作，手动完成图像采集；或者，手术导航系统的主控设备控制影像设备，使影像设备运动到观测位置，并在观测位置对患者术区的成像区域进行影像采集。

进一步地，在利用影像设备获取术中的患者术区影像(即术中影像)后，根据术前确定的影像坐标系与影像设备示踪器坐标系之间的变换关系M_A以及在术中利用导航相机获取到的影像设备示踪器和患者示踪器的相对位置，即可实现将术中影像映射到患者示踪器下，从而完成术区的真实影像(即术中影像)与患者示踪器之间的配准，得到患者示踪器坐标系下的术中影像。

进一步地，在得到患者示踪器坐标系下的术中影像之后，医生可直接基于患者示踪器坐标系下的术中影像进行手术位置的规划，从而得到规划后的术中影像(即术中规划影像)。

在本申请的一些实施例中，在术中影像中进行手术位置的规划时，影像设备在术中完成术区影像采集之后，将术区影像自动传输到手术导航系统的主控设备中，在主控设备中自动完成术区影像的配准。

在一种实施例中，当术区影像(这里表示术中影像)是三维影像时，影像设备传递的数据中除了包含变换矩阵M_A之外，同时还包含利用导航相机采集到的影像设备示踪器和患者示踪器的相对位置(该相对位置由导航相机自动发送给主控设备)，主控设备根据变换矩阵M_A以及影像设备示踪器和患者示踪器的相对位置，自动计算出三维影像到患者跟踪器的相对位置，实现三维影像的配准。

在另一种实施例中，当术区影像是至少两张的二维影像(比如二维X-ray影像)时，影像设备传递的数据中除了包含每张二维影像对应的变换矩阵M_A之外，同时还包含基于每张二维影像采集时，手术导航系统测量到的影像设备示踪器和患者示踪器的相对位置，主控设备根据每张二维影像对应的变换矩阵M_A以及影像设备示踪器和患者示踪器的相对位置，自动计算出每张二维影像到患者跟踪器的相对位置，实现二维影像的配准。

进一步地，在基于两张二维影像进行配准时，获取每张二维影像单独和患者示踪器之间的坐标转换关系，即每张二维影像分别单独与患者示踪器坐标系实现配准，之后在基于两张二维影像的配准关系确定三维空间中的一个点时，通过在两张二维图像中各自确定一个点，即在二维影像中单独选取目标点，然后将其转换到患者示踪器坐标系下，从而确定该点在患者示踪器坐标系下的空间位置。

更进一步地，主控设备中还存储术前图像I_pre，比如三维CT、三维MR、二维X-ray全长片图像等。在对术中影像进行配准时，通过术中影像设备产生的术中影像(三维影像或者二维影像)与术前影像的融合的方式，也可实现术前三维影像到患者跟踪器的相对位置的计算。

在本申请的一些实施例中，当医生在进行手术规划时，只有术前影像I_pre而没有术中影像I_opt时，可直接通过其他的配准方式，比如表面点云配准的方式(包括但不限于三维结构光测量仪、导航取点位置等)，实现术前影像的配准。

在一些实施例中，在术中将影像设备移动到观测位置之前，该方法还包括：利用手术导航系统的主控设备控制机械臂引导动力工具移动到目标入口位置，其中，目标入口位置是基于规划位置确定的前置区域；当进行螺钉植入时，目标入口位置为沿规划螺钉的轴线向上，且与规划位置之间保持预设距离的位置；当进行关节切削时，目标入口位置为沿切削平面向外，且与规划位置之间保持预设距离的位置。

具体地，在利用手术导航系统进行手术过程中，手术导航系统的主控设备控制机械臂引导动力工具移动到目标入口位置，以目标入口位置作为动力工具的起始位置，使动力工具沿着规划位置的路径进行移动，最终到达规划位置。在实际应用中，目标入口位置可以认为是规划位置的前置区域，即磨削或者假体植入位置的前置区域，也可以认为是还没有截骨的安全区域，从目标入口位置处沿磨削或植入的方向控制机械臂上的工具到达规划位置。

进一步地，机械臂末端上安装磨削或者植入的工具。基于机械臂上的示踪器，导航系统可以定位磨削或者假体植入工具的目标入口位置。基于反馈控制的原理，主控设备控制机械臂引导磨削或者假体植入工具到达目标区域(即目标入口位置)。下面结合附图以及具体实施例，对目标入口位置和规划位置进行详细说明，如图4至图5所示，图4是本申请实施例提供的螺钉植入时目标入口位置和规划位置的示意图，图5是本申请实施例提供的关节切削时目标入口位置和规划位置的示意图。

在图4中可以看出，在螺钉植入时，目标入口位置是沿规划螺钉轴线往上的位置，从该目标入口位置沿约束方向植入螺钉，可以到达规划的螺钉位置；在图5中可以看出，在关节切削时，目标入口位置是沿切削平面往外的位置，从该目标入口位置沿约束方向(即入刀方向)进行切削，可以实现规划的截骨面成型。

在实际应用中，对于截骨手术而言，希望目标入口位置与最终达到的规划位置是趋于重合的，对于螺钉植入，通过沿规划位置的螺钉轴线向外移动一段距离即可确定目标入口位置，目标入口位置是由主控设备来确定的。与目标入口位置相比，规划位置则是医生真实想要达到的具体手术位置，例如规划位置可以是截骨的区域以及植入物所要达到的位置等。例如以脊柱L3上植入一个螺钉的手术为例，如果采用引导方式的话，机械臂末端引导器的位置与螺钉的位置在同一个轴线上，将该轴线上且距离规划位置上方一定距离的点视为目标入口位置。目标入口位置并非一个点，而是工具在物理空间中的一个三维姿态。

在一些实施例中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别，包括：利用手术导航系统的主控设备控制影像设备在观测位置连续拍摄术区影像，影像设备每拍摄一张术区影像，将拍摄到的术区影像发送给主控设备，以使主控设备根据影像坐标系与影像设备示踪器坐标系之间的变换关系以及影像设备示踪器和患者示踪器之间的相对位置，建立术区影像坐标系与患者示踪器坐标系之间的变换关系；基于术区影像坐标系与患者示踪器坐标系之间的变换关系，将术区影像映射到患者示踪器坐标系下，并在患者示踪器坐标系下的术区影像中对动力工具的实时位置进行识别。

具体地，在进行手术操作过程中，即通过机械臂末端引导动力工具从目标入口位置移动至规划位置的过程中，控制影像设备不间断的连续拍摄多张术区影像，影像设备每拍摄一张术区影像，便将术区影像传递给主控设备，由于主控设备已经存储了影像坐标系与影像设备示踪器坐标系之间的变换关系M_A，以及通过导航相机采集到的影像设备示踪器和患者示踪器之间的相对位置信息，因此，主控设备可以将术区影像映射到患者示踪器坐标系下，实现术区影像的配准，并且基于配准后的术区影像利用主控设备对术区影像中对动力工具的实时位置进行识别。

进一步地，当机械臂执行到目标入口位置后，主控设备系统基于影像设备的位置建模，即主控设备根据影像设备跟影像示踪器之间的位置关系来建模，并控制影像设备运动到观测位置，该观测位置是指影像设备可以有效检测机械臂磨削、植入效果的位置，观测位置是由术式和截骨方式来确定的方便医生观察植入或者截骨效果的一个位置。

进一步地，当影像设备移动到观测位置就位后，还可以先拍摄一张影像，验证影像设备是否满足观测位置的要求，即通过拍摄一张影像，看一下观测位置是否合适，如果合适的话就继续在这个位置进行术区影像的拍摄。在实际应用中，当主控设备无法控制影像设备运动时，比如影像设备缺失相应的控制接口或者法规暂时不允许这种控制模式，可以通过人工移动影像设备到观测位置。

在实际应用中，影像设备可以采用X-ray设备，拍摄实时的X-ray图像，此时该观测位置是指拍摄的X-ray图像中可以包含患者术区以及磨削植入器械，进一步基于X-ray图像中植入器械的位置，来判断磨削植入器械和规划位置的差异。另外，影像设备还可以采用超声设备，拍摄实时三维、二维超声图像，此时该观测位置是指拍摄的超声图像中可以包含患者术区以及磨削植入器械，进一步基于超声图像中植入器械的位置，来判断磨削植入器械和规划位置的差异。

在一些实施例中，将动力工具的实时位置从术区影像映射到规划影像中，包括：基于规划影像坐标系与患者示踪器坐标系之间的变换关系，以及术中确定的术区影像坐标系与患者示踪器坐标系之间的变换关系，将术区影像中的动力工具的实时位置映射到规划影像中。

具体地，在主控设备识别动力工具的实时位置之后，主控设备根据已经获得的规划影像坐标系与患者示踪器坐标系之间的变换关系，以及术区影像坐标系与患者示踪器坐标系之间的变换关系，可以直接将动力工具的实时位置从术区影像映射到规划影像中去，从而基于规划影像来判断动力工具的实时位置与规划位置之间的差异。

在一些实施例中，在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断，包括：当动力工具的实时位置与规划位置不重合，且实时位置的轴线与规划位置的轴线重合时，动力工具未超出规划区域，此时动力工具的实时位置在安全位置的范围内；当动力工具的实时位置与规划位置不重合，且实时位置的轴线与规划位置的轴线不重合时，动力工具超出规划区域，此时动力工具的实时位置在安全位置的范围外；当动力工具的实时位置与规划位置完全重合时，动力工具完全移动至规划位置，此时完成手术操作。

具体地，本申请实施例的实时位置与规划位置之间的差异判断是基于规划影像坐标系中的位置来实现的，因此在进行差异判断之前，需要将术区影像中所拍摄到的动力工具的实时位置映射到规划影像中，从而在规划影像中对实时位置和规划位置进行位置上的差异判断。下面以螺钉植入为例，结合附图以及具体实施例对差异判断的几种情况进行详细说明，如图6所示，图6是本申请实施例提供的螺钉植入时的实时位置与规划位置的差异判断的示意图，该实时位置与规划位置的差异判断过程具体可以包括以下内容：

图6中的虚线框表示从实时影像中识别到的植入器械(即动力工具)的位置，图6中的(a)图表示植入工具的位置和规划位置完全重合，即动力工具的实时位置与规划位置完全重合，此时动力工具已完全移动至规划位置，则判断手术操作完成，手术机器人退出并停止；图6中的(b)图表示植入工具的实时位置和规划位置不重合且不会产生伤害，此时实时位置的轴线与规划位置的轴线重合，动力工具未超出规划区域，也就是说，在图6(b)所示的情况下，动力工具沿规划位置的路径移动，此时动力工具所处的位置也可以称为中间位置或者中间区域，动力工具的姿态属于中间姿态，机械臂可引导动力工具继续进行植入；图6中的(c)图表示植入工具的实时位置和规划位置不重合但可能会产生伤害(即实时位置的轴线与规划位置的轴线不重合，动力工具超出规划区域)，此时需要通过预设的修正方式对动力工具的位置进行修正。

在一些实施例中，当动力工具的实时位置在安全位置的范围内，且动力工具的实时位置与规划位置未完全重合时，控制动力工具继续移动；当动力工具的实时位置在安全位置的范围外时，验证规划影像坐标系与患者示踪器坐标系之间的变换关系是否正确，若否，则进行二次配准，得到新的变换关系，若是，则利用预设的修正方法对动力工具相对患者术区的位置进行修正，以使动力工具回到安全位置的范围内。

具体地，在图6(b)所示的情况下，可通过主控设备继续控制机械臂引导动力工具向规划位置的方向移动，而在图6(c)所示的情况下，动力工具已脱离安全位置的范围，此时需要通过对规划影像坐标系与患者示踪器坐标系之间的变换关系进行重新配准，或者对动力工具相对患者术区的位置进行修正的方式，重新调整动力工具的位置，使其回到安全位置对应的范围内。下面结合具体实施例对本申请提供的二次配准以及位置修正的方式进行具体说明。

在一些实施例中，当动力工具的实时位置在安全位置的范围外时，具体包括：将动力工具的实时位置在安全位置的范围外时对应的术区影像作为修正影像，基于影像坐标系与影像设备示踪器坐标系之间的变换关系，确定修正影像与患者示踪器坐标系之间的变换关系；在修正影像和规划影像中分别选取同一位置处的骨性标记点，利用修正影像与患者示踪器坐标系之间的变换关系，将修正影像中的骨性标记点映射到患者示踪器坐标系下，以及利用规划影像坐标系与患者示踪器坐标系之间的变换关系，将规划影像中的骨性标记点映射到患者示踪器坐标系下；判断骨性标记点在患者示踪器坐标系下是否重合，当骨性标记点不重合时，进行二次配准，并更新规划影像坐标系与患者示踪器坐标系之间的变换关系为二次配准得到的新的变换关系，之后动力工具继续移动；当骨性标记点重合时，对动力工具相对患者术区的位置进行调整，以便对动力工具的位置进行修正，之后动力工具继续移动。

具体地，本申请可以通过两种不同的方式进行修正，这两种修正方式针对的修正对象(即目标对象)不同，因此在进行修正之前，需要先判断使用哪种方式进行修正，即判断引起实时位置与规划位置产生偏差的原因。具体采用的方法是，首先将判断动力工具超出规划区域时所拍摄的实时影像作为用于修正的影像，(即修正影像，也可以称为新的影像)，基于术前确定的影像坐标系与影像设备示踪器坐标系之间的变换关系M_A，将修正影像和规划影像中同一位置处的骨性标记点分别映射到患者示踪器坐标系下，如果规划影像的配准信息是准确的，那么规划影像和修正影像的骨性标记点在患者示踪器坐标系下就应该是重合的关系；如果规划影像的配准信息不准确(比如患者示踪器相对于患者术区发生移动)，那么规划影像和修正影像的骨性标记点是不重合的。

进一步地，当骨性标记点重合时，说明规划影像的配准信息是准确的，因此使实时位置和规划位置产生偏差的原因在于动力工具相对患者术区的位置发生了偏移，此时需要对动力工具相对患者术区的位置进行修正；当骨性标记点不重合时，说明规划影像的配准信息发生了变化，需要对规划影像坐标系与患者示踪器坐标系之间的变换关系进行二次配准，得到新的变换关系。下面结合具体实施例对这两种修正方法的实现过程进行详细说明。

在一些实施例中，所述二次配准，得到规划影像坐标系与患者示踪器坐标系之间的新的变换关系，包括：根据骨性标记点在患者示踪器坐标系下的坐标，计算使骨性标记点重合时的偏移量，利用偏移量进行二次配准，得到规划影像坐标系与患者示踪器坐标系之间的新的变换关系。

具体地，基于术中影像对规划影像坐标系与患者示踪器坐标系之间的变换关系进行重新配准(即二次配准)，主要是由于在磨削、植入的过程中，术区相对于患者示踪器的位置可能会发生变换，从而造成动力工具的位置超出规划区域；此时，根据前述实施例中分别映射到患者示踪器坐标系下的两个图像(修正影像和规划影像)中的同一位置的骨性标记点的坐标，计算使骨性标记点重合时的偏移量，将该偏移量作为规划影像坐标系与患者示踪器坐标系之间的变换关系的修正量，利用偏移量重新确定规划影像坐标系与患者示踪器坐标系之间的变换关系规划影像坐标系与患者示踪器坐标系之间的变换关系，并且在修正之后，继续控制机械臂引导动力工具进行磨削或植入。

在一些实施例中，对动力工具相对患者术区的位置进行调整，包括：根据实时位置的轴线与规划位置的轴线之间的偏差，计算使动力工具回到安全位置的范围内时的位移控制量，基于位移控制量对动力工具相对患者术区的位置进行调整。

具体地，通过调整动力工具相对患者术区的位置进行修正时，主要是由于磨削或植入过程中器械可能会产生打滑等原因导致磨削、植入工具没法按照规划的路径执行；因此在对动力工具相对患者术区的位置进行修正时，首先根据规划影像中动力工具的实时位置的轴线与规划位置的轴线之间的偏差，计算使动力工具回到安全位置的范围内时的位移控制量，将该位移控制量作为修正量传递给主控设备，主控设备根据修正量自动调整机械臂的位姿，从而对动力工具相对患者术区的位置进行调整。

需要说明的是，本申请实施例基于实时位置与规划位置的差异判断结果进行修正既可以是在主控设备控制下自动执行的操作，也可以是由术者参与和判断，比如以主从式的方式实现，即术者操作机械臂进行磨削/植入、基于实时影像的实时位置与规划位置的差异判断、以及确定完成/继续/修正等操作。

在一些实施例中，该方法还包括：预先建立影像设备与手术导航系统的主控设备之间的关联关系，以便基于关联关系，利用主控设备控制影像设备进行移动；在手术过程中，利用主控设备控制影像设备拍摄术区影像，影像设备自动将拍摄到的术区影像传送给主控设备，主控设备使用术区影像进行术区影像与患者患处的自动配准。

具体地，本申请通过将影像设备与手术导航系统关联，实现主控设备对影像设备的控制，主控设备对影像设备的控制包括影像设备的移动和术区拍摄，以C臂为例，将主控设备与C臂关联，C臂会自动将术区影像传给主控设备，主控设备实现术区影像与患者患处的自动配准。

在一些实施例中，该方法还包括：在手术过程中，利用主控设备控制机械臂进行位姿调整，并控制动力工具进行自动磨削和假体植入，以使整个手术过程的操作由机器人完成，实现无术者参与手术；或者，通过网络远程连接主控设备，将设备操作信号发送给主控设备，以使主控设备控制影像设备的移动和拍摄，以及控制机械臂进行位姿调整，并控制动力工具进行自动磨削和假体植入，实现术者参与的远程手术。

具体地，在将影像设备与手术导航系统关联之后，主控设备除了可以控制影像设备的移动和术区拍摄之外，还可以控制机械臂进行位移(即位姿调整)，以及控制动力工具的自动磨削和假体植入，实现无术者参与手术，降低术者的辐射风险。

在另一实施例中，通过网络远程将设备操作信号发送给主控设备，主控设备在接收设备操作信号后，依据设备操作信号控制影像设备的移动和拍摄，以及机械臂的位移和动力工具的自动磨削和假体植入，从而实现远程手术操作，降低术者的辐射风险。

根据本申请实施例提供的技术方案，本申请通过在手术操作过程中实时拍摄术区影像，并将实时拍摄到的术区影像中的动力工具的位置映射到规划影像中，基于规划影像中动力工具的实时位置和规划位置的差异判断，实现对术区磨削和植入的实时监控，即实现了实时监控下的磨削、植入的控制流程，基于实时监控的磨削、植入等手术操作，可以提高手术导航系统的安全有效性，保护患者安全，并且实现影像的拍摄控制、配准，不仅可以简化操作流程，还提高了易用性，同时降低无效影像的拍摄，节约手术时间；另外，本申请实施例通过在影像设备上安装示踪器，并为影像设备增加导航功能，将手术导航系统和影像设备作为一个整体进行设计，从而实现影像以及影像设备在手术导航系统中的定位和建模。本申请实施例的手术导航系统控制机械臂实现自动磨削和假体植入，实现无术者参与手术或远程手术操作，降低术者的辐射风险，最后通过配合机械臂的主从式磨削、假体植入，实现安全有效的主从式操作。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图7是本申请实施例提供的机械臂末端动力工具的反馈控制装置的结构示意图。如图7所示，该机械臂末端动力工具的反馈控制装置包括：

获取模块701，被配置为获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中规划影像中包含规划位置；

识别模块702，被配置为在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在观测位置连续拍摄术区影像，并对术区影像中的动力工具的实时位置进行识别；

判断模块703，被配置为将动力工具的实时位置从术区影像映射到规划影像中，并在规划影像中对动力工具的实时位置与动力工具的规划位置进行差异判断；

修正模块704，被配置为基于实时位置的差异判断结果，控制动力工具继续移动或者利用预设的修正方法进行修正，直至动力工具的实时位置与规划位置重合。

在一些实施例中，图7的获取模块701当在术前影像上进行规划时，获取术前拍摄到的患者患处对应的术前影像，并在术前影像中进行规划，得到术前规划影像；或者，当在术中影像上进行规划时，依据建立的术中影像坐标系与患者示踪器坐标系之间的变换关系，将术中影像映射到患者示踪器坐标系下，并在患者示踪器坐标系下的术中影像中进行规划，得到术中规划影像。

在一些实施例中，图7的获取模块701在术中将影像设备移动到观测位置之前，利用手术导航系统的主控设备控制机械臂引导动力工具移动到目标入口位置，其中，目标入口位置是基于规划位置确定的前置区域；当进行螺钉植入时，目标入口位置为沿规划螺钉的轴线向上，且与规划位置之间保持预设距离的位置；当进行关节切削时，目标入口位置为沿切削平面向外，且与规划位置之间保持预设距离的位置。

在一些实施例中，图7的识别模块702利用手术导航系统的主控设备控制影像设备在观测位置连续拍摄术区影像，影像设备每拍摄一张术区影像，将拍摄到的术区影像发送给主控设备，以使主控设备根据影像坐标系与影像设备示踪器坐标系之间的变换关系以及影像设备示踪器和患者示踪器之间的相对位置，建立术区影像坐标系与患者示踪器坐标系之间的变换关系；基于术区影像坐标系与患者示踪器坐标系之间的变换关系，将术区影像映射到患者示踪器坐标系下，并在患者示踪器坐标系下的术区影像中对动力工具的实时位置进行识别。

在一些实施例中，图7的判断模块703基于规划影像坐标系与患者示踪器坐标系之间的变换关系，以及术中确定的术区影像坐标系与患者示踪器坐标系之间的变换关系，将术区影像中的动力工具的实时位置映射到规划影像中。

在一些实施例中，图7的判断模块703当动力工具的实时位置与规划位置不重合，且实时位置的轴线与规划位置的轴线重合时，动力工具未超出规划区域，此时动力工具的实时位置在安全位置的范围内；当动力工具的实时位置与规划位置不重合，且实时位置的轴线与规划位置的轴线不重合时，动力工具超出规划区域，此时动力工具的实时位置在安全位置的范围外；当动力工具的实时位置与规划位置完全重合时，动力工具完全移动至规划位置，此时完成手术操作。

在一些实施例中，图7的判断模块703当动力工具的实时位置在安全位置的范围内，且动力工具的实时位置与规划位置未完全重合时，控制动力工具继续移动；当动力工具的实时位置在安全位置的范围外时，验证规划影像坐标系与患者示踪器坐标系之间的变换关系是否正确，若否，则进行二次配准，得到新的变换关系，若是，则利用预设的修正方法对动力工具相对患者术区的位置进行修正，以使动力工具回到安全位置的范围内。

在一些实施例中，图7的修正模块704将动力工具的实时位置在安全位置的范围外时对应的术区影像作为修正影像，基于影像坐标系与影像设备示踪器坐标系之间的变换关系，确定修正影像与患者示踪器坐标系之间的变换关系；在修正影像和规划影像中分别选取同一位置处的骨性标记点，利用修正影像与患者示踪器坐标系之间的变换关系，将修正影像中的骨性标记点映射到患者示踪器坐标系下，以及利用规划影像坐标系与患者示踪器坐标系之间的变换关系，将规划影像中的骨性标记点映射到患者示踪器坐标系下；判断骨性标记点在患者示踪器坐标系下是否重合，当骨性标记点不重合时，进行二次配准，并更新规划影像坐标系与患者示踪器坐标系之间的变换关系为二次配准得到的新的变换关系，之后动力工具继续移动；当骨性标记点重合时，对动力工具相对患者术区的位置进行调整，以便对动力工具的位置进行修正，之后动力工具继续移动。

在一些实施例中，图7的修正模块704根据骨性标记点在患者示踪器坐标系下的坐标，计算使骨性标记点重合时的偏移量，利用偏移量进行二次配准，得到规划影像坐标系与患者示踪器坐标系之间的新的变换关系。

在一些实施例中，图7的修正模块704根据实时位置的轴线与规划位置的轴线之间的偏差，计算使动力工具回到安全位置的范围内时的位移控制量，基于位移控制量对动力工具相对患者术区的位置进行调整。

在一些实施例中，图7的控制模块705用于预先建立影像设备与手术导航系统的主控设备之间的关联关系，以便基于关联关系，利用主控设备控制影像设备进行移动；在手术过程中，利用主控设备控制影像设备拍摄术区影像，影像设备自动将拍摄到的术区影像传送给主控设备，主控设备使用术区影像进行术区影像与患者患处的自动配准。

在一些实施例中，图7的控制模块705用于在手术过程中，利用主控设备控制机械臂进行位姿调整，并控制动力工具进行自动磨削和假体植入，以使整个手术过程的操作由机器人完成，实现无术者参与手术；或者，通过网络远程连接主控设备，将设备操作信号发送给主控设备，以使主控设备控制影像设备的移动和拍摄，以及控制机械臂进行位姿调整，并控制动力工具进行自动磨削和假体植入，实现术者参与的远程手术。

本申请实施例还提供了一种骨科手术机器人系统，包括机械臂、导航相机、主控设备、影像设备和患者示踪器，还包括上述任一实施例的机械臂末端动力工具的反馈控制装置；其中，机械臂的末端安装动力工具，机械臂上还安装机械臂示踪器，影像设备安装有影像设备示踪器，患者示踪器安装在患者患处。

在一些实施例中，当影像设备独立于手术导航系统之外时，手术导航系统包含导航相机、机械臂和主控设备，手术导航系统通过接口控制影像设备；当影像设备属于手术导航系统时，手术导航系统包含导航相机、机械臂、主控设备和影像设备，影像设备与机械臂之间刚性连接。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图7是本申请实施例提供的电子设备7的结构示意图。如图7所示，该实施例的电子设备7包括：处理器701、存储器702以及存储在该存储器702中并且可以在处理器701上运行的计算机程序703。处理器701执行计算机程序703时实现上述各个方法实施例中的步骤。或者，处理器701执行计算机程序703时实现上述各装置实施例中各模块/单元的功能。

示例性地，计算机程序703可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序703在电子设备7中的执行过程。

电子设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备7可以包括但不仅限于处理器701和存储器702。本领域技术人员可以理解，图7仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

处理器701可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器702可以是电子设备7的内部存储单元，例如，电子设备7的硬盘或内存。存储器702也可以是电子设备7的外部存储设备，例如，电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器702还可以既包括电子设备7的内部存储单元也包括外部存储设备。存储器702用于存储计算机程序以及电子设备所需的其它程序和数据。存储器702还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所申请的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (17)

1.一种机械臂末端动力工具的反馈控制方法，其特征在于，包括：

获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中所述规划影像中包含规划位置；

在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在所述观测位置连续拍摄术区影像，并对所述术区影像中的所述动力工具的实时位置进行识别；

将所述动力工具的实时位置从所述术区影像映射到所述规划影像中，并在所述规划影像中对所述动力工具的实时位置与所述动力工具的规划位置进行差异判断；

基于所述实时位置的差异判断结果，控制所述动力工具继续移动或者利用预设的修正方法进行修正，直至所述动力工具的实时位置与规划位置重合。

2.根据权利要求1所述的方法，其特征在于，所述获取预先确定的规划影像，包括：

当在术前影像上进行规划时，获取术前拍摄到的患者患处对应的术前影像，并在所述术前影像中进行规划，得到术前规划影像；或者，

当在术中影像上进行规划时，依据建立的术中影像坐标系与患者示踪器坐标系之间的变换关系，将术中影像映射到患者示踪器坐标系下，并在所述患者示踪器坐标系下的术中影像中进行规划，得到术中规划影像。

3.根据权利要求1所述的方法，其特征在于，在术中将影像设备移动到观测位置之前，所述方法还包括：

利用手术导航系统的主控设备控制机械臂引导所述动力工具移动到目标入口位置，其中，所述目标入口位置是基于所述规划位置确定的前置区域；当进行螺钉植入时，所述目标入口位置为沿规划螺钉的轴线向上，且与规划位置之间保持预设距离的位置；当进行关节切削时，所述目标入口位置为沿切削平面向外，且与规划位置之间保持预设距离的位置。

4.根据权利要求2所述的方法，其特征在于，所述控制影像设备在所述观测位置连续拍摄术区影像，并对所述术区影像中的所述动力工具的实时位置进行识别，包括：

利用手术导航系统的主控设备控制所述影像设备在所述观测位置连续拍摄术区影像，所述影像设备每拍摄一张术区影像，将拍摄到的术区影像发送给主控设备，以使所述主控设备根据所述影像坐标系与影像设备示踪器坐标系之间的变换关系以及所述影像设备示踪器和患者示踪器之间的相对位置，建立术区影像坐标系与患者示踪器坐标系之间的变换关系；

基于所述术区影像坐标系与患者示踪器坐标系之间的变换关系，将所述术区影像映射到患者示踪器坐标系下，并在所述患者示踪器坐标系下的术区影像中对所述动力工具的实时位置进行识别。

5.根据权利要求4所述的方法，其特征在于，所述将所述动力工具的实时位置从所述术区影像映射到所述规划影像中，包括：

基于规划影像坐标系与患者示踪器坐标系之间的变换关系，以及术中确定的所述术区影像坐标系与患者示踪器坐标系之间的变换关系，将术区影像中的所述动力工具的实时位置映射到所述规划影像中。

6.根据权利要求1所述的方法，其特征在于，所述在所述规划影像中对所述动力工具的实时位置与所述动力工具的规划位置进行差异判断，包括：

当所述动力工具的实时位置与规划位置不重合，且所述实时位置的轴线与规划位置的轴线重合时，所述动力工具未超出规划区域，此时所述动力工具的实时位置在安全位置的范围内；

当所述动力工具的实时位置与规划位置不重合，且所述实时位置的轴线与规划位置的轴线不重合时，所述动力工具超出规划区域，此时所述动力工具的实时位置在安全位置的范围外；

当所述动力工具的实时位置与规划位置完全重合时，所述动力工具完全移动至所述规划位置，此时完成手术操作。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述动力工具的实时位置在安全位置的范围内，且所述动力工具的实时位置与规划位置未完全重合时，控制所述动力工具继续移动；

当所述动力工具的实时位置在安全位置的范围外时，验证规划影像坐标系与患者示踪器坐标系之间的变换关系是否正确，若否，则进行二次配准，得到新的变换关系，若是，则利用预设的修正方法对动力工具相对患者术区的位置进行修正，以使所述动力工具回到所述安全位置的范围内。

8.根据权利要求7所述的方法，其特征在于，当所述动力工具的实时位置在安全位置的范围外时，具体包括：

将所述动力工具的实时位置在安全位置的范围外时对应的术区影像作为修正影像，基于影像坐标系与影像设备示踪器坐标系之间的变换关系，确定所述修正影像与患者示踪器坐标系之间的变换关系；

在所述修正影像和规划影像中分别选取同一位置处的骨性标记点，利用所述修正影像与患者示踪器坐标系之间的变换关系，将所述修正影像中的骨性标记点映射到患者示踪器坐标系下，以及利用所述规划影像坐标系与患者示踪器坐标系之间的变换关系，将所述规划影像中的骨性标记点映射到患者示踪器坐标系下；

判断所述骨性标记点在患者示踪器坐标系下是否重合，当所述骨性标记点不重合时，进行二次配准，并更新所述规划影像坐标系与患者示踪器坐标系之间的变换关系为二次配准得到的新的变换关系，之后所述动力工具继续移动；当所述骨性标记点重合时，对所述动力工具相对患者术区的位置进行调整，以便对所述动力工具的位置进行修正，之后所述动力工具继续移动。

9.根据权利要求8所述的方法，其特征在于，所述进行二次配准，得到所述规划影像坐标系与患者示踪器坐标系之间的新的变换关系，包括：

根据所述骨性标记点在患者示踪器坐标系下的坐标，计算使所述骨性标记点重合时的偏移量，利用所述偏移量进行二次配准，得到所述规划影像坐标系与患者示踪器坐标系之间的新的变换关系。

10.根据权利要求8所述的方法，其特征在于，所述对所述动力工具相对患者术区的位置进行调整，包括：

根据实时位置的轴线与规划位置的轴线之间的偏差，计算使所述动力工具回到所述安全位置的范围内时的位移控制量，基于所述位移控制量对所述动力工具相对患者术区的位置进行调整。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先建立所述影像设备与手术导航系统的主控设备之间的关联关系，以便基于所述关联关系，利用所述主控设备控制所述影像设备进行移动；

在手术过程中，利用所述主控设备控制所述影像设备拍摄术区影像，所述影像设备自动将拍摄到的术区影像传送给所述主控设备，所述主控设备使用所述术区影像进行术区影像与患者患处的自动配准。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

在手术过程中，利用所述主控设备控制机械臂进行位姿调整，并控制所述动力工具进行自动磨削和假体植入，以使整个手术过程的操作由机器人完成，实现无术者参与手术；或者，

通过网络远程连接所述主控设备，将设备操作信号发送给所述主控设备，以使所述主控设备控制所述影像设备的移动和拍摄，以及控制机械臂进行位姿调整，并控制动力工具进行自动磨削和假体植入，实现术者参与的远程手术。

13.一种机械臂末端动力工具的反馈控制装置，其特征在于，包括：

获取模块，被配置为获取预先确定的规划影像，并在术中将影像设备移动到观测位置，其中所述规划影像中包含规划位置；

识别模块，被配置为在将机械臂末端的动力工具从目标入口位置移动至规划位置的过程中，控制影像设备在所述观测位置连续拍摄术区影像，并对所述术区影像中的所述动力工具的实时位置进行识别；

判断模块，被配置为将所述动力工具的实时位置从所述术区影像映射到所述规划影像中，并在所述规划影像中对所述动力工具的实时位置与所述动力工具的规划位置进行差异判断；

修正模块，被配置为基于所述实时位置的差异判断结果，控制所述动力工具继续移动或者利用预设的修正方法进行修正，直至所述动力工具的实时位置与规划位置重合。

14.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法。

16.一种骨科手术机器人系统，其特征在于，包括机械臂、导航相机、主控设备、影像设备和患者示踪器，还包括如权利要求13所述的机械臂末端动力工具的反馈控制装置；其中，所述机械臂的末端安装动力工具，所述机械臂上还安装机械臂示踪器，所述影像设备安装有影像设备示踪器，所述患者示踪器安装在患者患处。

17.根据权利要求16所述的系统，其特征在于，当所述影像设备独立于手术导航系统之外时，所述手术导航系统包含导航相机、机械臂和主控设备，所述手术导航系统通过接口控制所述影像设备；当所述影像设备属于手术导航系统时，所述手术导航系统包含导航相机、机械臂、主控设备和影像设备，所述影像设备与所述机械臂之间刚性连接。