CN120835775A - 用于跟踪手术器械的传感器贴片 - Google Patents

Abstract

一种传感器贴片包括：柔性印刷电路板衬底；以及天线阵列，该天线阵列设置在该衬底上并且被配置为接收电磁能量传输。该传感器贴片还包括：整流器，该整流器设置在该衬底上并且被配置为将该接收到的电磁能量传输转换为直流电；以及惯性测量单元，该惯性测量单元设置在该衬底上并且由该直流电供电。该惯性测量单元被配置为测量手持式手术器械的一个或多个移动参数。

Description

用于跟踪手术器械的传感器贴片

相关申请的交叉引用

本申请要求2023年3月9日提交的美国临时专利申请序列号63/451,051的权益，其全部内容通过援引并入本文。

背景技术

手术机器人系统目前正应用于包括微创手术在内的各种外科手术。一些手术机器人系统包括控制手术机械臂的外科医生控制台和具有联接至机械臂并由机械臂致动的末端执行器(例如，夹钳或抓握器械)的手术器械。在操作中，机械臂移动到患者上方的位置，然后经由患者的手术端口或自然孔口将手术器械引导到小切口中，以将末端执行器定位在患者体内的工作部位处。

机器人手术提供的优于传统腹腔镜手术的优点之一是在手术机器人手术期间收集的数据量。数据可以用于数字化和分析，比如记录机器人控制器械在整个手术过程中的运动以及使用统计分析来对外科医生的表现进行评级。数据还可以用于估计内窥镜相机和手术器械的姿态，以辅助软组织导航。然而，对于与机器人控制的器械一起使用的手持式装置，这种跟踪是不可能的。这种所谓的“混合”方法(即，其中手持式器械与机器人器械一起使用)在手持式器械更适合于具体任务的机器人手术中是常见的。

跟踪手持式装置的位置在技术上是困难的，特别是在机器人手术中。光学跟踪和电磁(EM)跟踪都不能可靠地工作。这是因为大型机械臂经常阻挡视线，并且多个金属和铁磁部件显著扭曲磁场。由于手术器械之间的无线通信缺乏标准化，手持式装置与机器人系统之间也没有直接通信。因此，需要用于定位与手术机器人系统一起使用的手持式器械的系统和方法。

发明内容

根据本披露内容的一个实施例，披露了一种用于跟踪手术器械的传感器贴片。该传感器贴片包括：柔性印刷电路板衬底；以及天线阵列，该天线阵列设置在该衬底上并且被配置为接收电磁能量传输。该传感器贴片还包括：整流器，该整流器设置在该衬底上并且被配置为将接收到的电磁能量传输转换为直流电；以及惯性测量单元，该惯性测量单元设置在该衬底上并且由该直流电供电。该惯性测量单元被配置为测量该手术器械的至少一个移动参数。

以上实施例的实现方式可以包括以下特征中的一个或多个。根据上述实施例的一个方面，该传感器贴片还可以包括粘合剂层，该粘合剂层设置在该衬底的附接表面上。该电磁能量传输可以具有约60GHz的频率。该惯性测量单元可以包括加速度计、陀螺仪或磁力计中的至少一个。该手术器械的至少一个移动参数可以是加速度、角速率和/或磁场性质。

根据本披露内容的另一个实施例，披露了一种手术机器人系统。该系统包括手持式手术器械，该手持式手术器械具有轴和设置在该轴上的可拆卸传感器贴片，其中，该传感器贴片被配置为测量该手持式手术器械的至少一个移动参数。该系统还包括：第一机械臂，该第一机械臂具有被配置为捕获该手持式手术器械的参考点的视频的相机；以及第二机械臂，该第二机械臂包括机器人器械。该系统还包括控制器，该控制器被配置为从该传感器贴片接收该至少一个移动参数，从该手持式手术器械的相机接收该视频，并且基于该至少一个移动参数和该手持式手术器械的参考点的视频而相对于该机器人器械定位该手持式手术器械。

以上实施例的实现方式可以包括以下特征中的一个或多个。根据上述实施例的一个方面，该手术机器人系统可以包括：多个接入端口，其中，这些接入端口中的一个或多个包括发射器天线；以及能量源，该能量源联接至该发射器天线并且被配置为激励该发射器天线以发射电磁能量传输。该传感器贴片可以进一步包括：柔性印刷电路板衬底；以及粘合剂层，该粘合剂层设置在该衬底的附接表面上。该传感器贴片还可以包括：天线阵列，该天线阵列设置在该衬底上并且被配置为接收该电磁能量传输；以及整流器，该整流器设置在该衬底上并且被配置为将接收到的电磁能量传输转换为直流电。该传感器贴片可以另外包括惯性测量单元，该惯性测量单元设置在该衬底上并且由该直流电供电。该惯性测量单元可以被配置为测量该手持式手术器械的至少一个移动参数。该惯性测量单元可以包括加速度计、陀螺仪或磁力计中的一个。该电磁能量传输可以具有约60GHz的频率。该移动参数可以是加速度、角速率或磁场性质中的一个。

该控制器可以被进一步配置为基于该至少一个移动参数而计算该手持式手术器械的参考点的一个或多个估计像素。该控制器可以被进一步配置为基于该视频而计算该手持式手术器械的参考点的一个或多个实际像素。该控制器可以被进一步配置为基于该第一机械臂的运动学数据而定位该手持式手术器械。

根据本披露内容的另一实施例，披露了一种用于用手术机器人系统定位手持式器械的方法。该方法包括通过安装在接入端口上的天线无线地激励设置在手持式腹腔镜器械的轴上的传感器贴片。该方法还包括在该传感器贴片处测量该手持式器械的移动参数。该方法进一步包括通过由机械臂固持的相机捕获该手持式腹腔镜器械的参考点的视频、以及基于该至少一个移动参数和该手持式器械的参考点的视频相对于由第二机械臂固持的机器人器械定位该手持式器械。

以上实施例的实现方式可以包括以下特征中的一个或多个。基于上述实施例的一个方面，该方法可以进一步包括基于该至少一个移动参数而计算该手持式器械的参考点的一个或多个估计像素。该方法还可以包括基于该视频而计算该手持式器械的参考点的至少一个实际像素。该方法可以另外包括基于该机械臂的运动学数据而定位该手持式器械。

附图说明

本文中参考附图对本披露内容的不同实施例进行描述，在附图中：

图1是根据本披露内容的实施例的手术机器人系统的立体图，该手术机器人系统包括控制塔、控制台以及一个或多个手术机械臂，该一个或多个手术机械臂各自设置在移动推车上；

图2是根据本披露内容的实施例的图1的手术机器人系统的手术机械臂的立体图；

图3是根据本披露内容的实施例的具有安设臂的移动推车的立体图，该移动推车带有图1的手术机器人系统的手术机械臂；

图4是根据本披露内容的实施例的图1的手术机器人系统的计算机体系结构的示意图；

图5是根据本披露内容的实施例的图1的手术机器人系统的平面示意图，该手术机器人系统围绕手术台定位；

图6是根据本披露内容的实施例的无线功率传输系统的示意图；以及

图7是根据本披露内容的实施例的示例性手持式手术器械的立体图；

图8是根据本披露内容的实施例的可拆卸传感器贴片的示意图；

图9是根据本披露内容的实施例的可拆卸传感器贴片的立体图；

图10是根据本披露内容的实施例的优化过程的流程图；以及

图11是根据本披露内容的实施例的定位手持式器械的方法的流程图。

具体实施方式

参考附图详细描述了本文披露的手术机器人系统的实施例，在附图中，相同的附图标记表示若干个视图中的每个视图中的相同或对应的要素。术语“远侧”是指离用户(即，外科医生)更远的位置，并且“近侧”是指离用户更近的位置。

参考图1，手术机器人系统10包括控制塔20，该控制塔连接至手术机器人系统10的所有部件(包括外科医生控制台30和一个或多个移动推车60)。每个移动推车60都包括机械臂40，该机械臂可移除地联接有手术器械50。机械臂40还联接至移动推车60。机器人系统10可以包括任意数量的移动推车60和/或任意数量的机械臂40。

手术器械50被配置用于在微创外科手术期间使用。在实施例中，手术器械50可以被配置用于开放式外科手术。在另外的实施例中，手术器械50可以是电外科夹钳，该电外科夹钳被配置为通过将组织压紧在夹爪构件之间并对其施加电外科电流来闭合组织。在又另外的实施例中，手术器械50可以是手术钉合器，该手术钉合器包括一对夹爪，这对夹爪被配置为抓握并夹紧组织、同时部署多个组织紧固件(例如，缝合钉)并切割被钉合的组织。在又另外的实施例中，手术器械50可以是手术夹施加器，该手术夹施加器包括被配置为将手术夹施加到组织上的一对夹爪。

机械臂40之一可以包括腹腔镜相机51，该腹腔镜相机被配置为捕获手术部位的视频。腹腔镜相机51可以是立体内窥镜，该立体内窥镜被配置为捕获手术部位的两个并排(即，左侧和右侧)图像以产生手术场景的视频流。腹腔镜相机51联接至图像处理装置56，该图像处理装置可以设置在控制塔20内。图像处理装置56可以是被配置为从腹腔镜相机51接收视频馈送并输出经处理的视频流的任何计算装置。

外科医生控制台30包括第一屏幕32和第二屏幕34，该第一屏幕显示由设置在机械臂40上的手术器械50的相机51提供的手术部位的视频馈送，该第二屏幕显示用于控制手术机器人系统10的用户界面。第一屏幕32和第二屏幕34可以是允许显示各种图形用户输入的触摸屏。

外科医生控制台30还包括多个用户接口装置，比如脚踏板36和一对手部控制器38a和38b，脚踏板和手部控制器被用户使用以远程控制机械臂40。外科医生控制台进一步包括扶手33，该扶手用于在操作手部控制器38a和38b时支撑临床医师的手臂。

控制塔20包括屏幕23，该屏幕可以是触摸屏并且在图形用户界面(GUI)上输出。控制塔20还用作外科医生控制台30与一个或多个机械臂40之间的接口。特别地，控制塔20被配置为控制机械臂40，比如基于一组可编程指令和/或来自外科医生控制台30的输入命令来使机械臂40和对应的手术器械50移动，其方式为使得机械臂40和手术器械50响应于来自脚踏板36和手部控制器38a和38b的输入而执行期望的移动序列。脚踏板36可以用于启用和锁定手部控制器38a和38b、重新定位相机移动和电外科激活/去激活。特别地，脚踏板36可以用于对手部控制器38a和38b执行离合动作。通过踩下脚踏板36中的一个来启动离合，这将手部控制器38a和/或38b与机械臂40和与其附接的对应器械50或相机51断开连接(即，防止移动输入)。这使得用户能够重新定位手部控制器38a和38b，而不会移动(多个)机械臂40和器械50和/或相机51。这在到达手术空间的控制边界时是有用的。

控制塔20、外科医生控制台30和机械臂40中的每一者均包括相应的计算机21、31、41。计算机21、31、41通过使用基于有线或无线通信协议的任何合适的通信网络而彼此互连。如本文所使用的，术语“网络”，无论是复数还是单数，都表示数据网络，包括但不限于互联网、内联网、广域网、或局域网，并且不限于本披露内容所涵盖的通信网络的定义的全部范围。适合的协议包括但不限于传输控制协议/互联网协议(TCP/IP)、数据报协议/互联网协议(UDP/IP)、和/或数据报拥塞控制协议(DC)。无线通信可以经由一种或多种无线配置来实现，该一种或多种无线配置例如为射频、光、Wi-Fi、蓝牙(一种开放的无线协议，其用于使用短波长无线电波在短距离内在固定装置与移动装置之间交换数据，以创建个人局域网(PAN))、(一套基于IEEE 122.15.4--1203无线个人局域网(WPAN)标准的使用小型低功率数字无线电的高级通信协议的规范)。

计算机21、31、41可以包括任何适合的处理器(未示出)，该处理器可操作地连接至存储器(未示出)，该存储器可以包括易失性的、非易失性的、磁的、光的、或电的介质中的一种或多种，比如只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程ROM(EEPROM)、非易失性RAM(NVRAM)、或闪存。处理器可以是适于执行本披露内容中所描述的操作、计算、和/或指令集的任何适合的处理器(例如，控制电路)，包括但不限于硬件处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、中央处理单元(CPU)、微处理器及其组合。本领域技术人员应理解，可以通过使用适于执行本文中描述的算法、计算和/或指令集的任何逻辑处理器(例如，控制电路)来代替处理器。

参考图2，每个机械臂40可以包括多个连杆42a、42b、42c，这些连杆分别在关节44a、44b、44c处互连。如本领域技术人员已知的，可以使用其他构型的连杆和关节。关节44a被配置为将机械臂40固定至移动推车60，并且限定第一纵向轴线。参考图3，移动推车60包括升降机67和安设臂61，该安设臂提供用于安装机械臂40的基部。升降机67允许安设臂61竖直移动。移动推车60还包括屏幕69，该屏幕用于显示关于机械臂40的信息。在实施例中，机械臂40可以包括任何类型和/或任何数量的关节。

安设臂61包括第一连杆62a、第二连杆62b和第三连杆62c，这些连杆提供机械臂40的侧向可操纵性。连杆62a、62b、62c在关节63a和63b处互连，每个关节可以包括致动器(未示出)，该致动器用于使连杆62b和62b相对于彼此以及相对于连杆62c旋转。特别地，连杆62a、62b、62c能在其对应的彼此平行的侧向平面中移动，由此允许机械臂40相对于患者(例如，手术台)延伸。在实施例中，机械臂40可以联接至手术台(未示出)。安设臂61包括控制装置65，该控制装置用于调节连杆62a、62b、62c以及升降机67的移动。在实施例中，安设臂61可以包括任何类型和/或任何数量的关节。

第三连杆62c可以包括可旋转基部64，该可旋转基部具有两个自由度。特别地，可旋转基部64包括第一致动器64a和第二致动器64b。第一致动器64a能绕与第三连杆62c限定的平面垂直的第一固定臂轴线旋转，并且第二致动器64b能绕横向于第一固定臂轴线的第二固定臂轴线旋转。第一致动器64a和第二致动器64b允许对机械臂40进行全三维定向。

关节44b的致动器48b经由带45a联接至关节44c，并且关节44c进而经由带45b联接至关节46b。关节44c可以包括将带45a和45b联接的分动箱，使得致动器48b被配置为使连杆42b、42c中的每一个和固持器46相对于彼此旋转。更具体地，连杆42b、42c和固持器46被动地联接至致动器48b，该致动器强制绕枢转点“P”旋转，该枢转点位于由连杆42a限定的第一轴线与由固持器46限定的第二轴线的交点处。换言之，枢转点“P”是机械臂40的远程运动中心(RCM)。因此，致动器48b控制第一轴线与第二轴线之间的角度θ，从而允许对手术器械50进行定向。由于连杆42a、42b、42c和固持器46经由带45a和45b的互连，连杆42a、42b、42c与固持器46之间的角度也被调节，以实现期望的角度θ。在实施例中，关节44a、44b、44c中的一些或所有关节可以包括致动器，以消除对机械联动装置的需要。

关节44a和44b包括致动器48a和48b，该致动器被配置为通过一系列带45a和45b或其他机械联动装置(比如驱动杆、缆线、或杠杆等)将关节44a、44b、44c相对于彼此驱动。特别地，致动器48a被配置为使机械臂40绕由连杆42a限定的纵向轴线旋转。

参考图2，固持器46限定第二纵向轴线，并且被配置为接纳器械驱动单元(IDU)52(图1)。IDU 52被配置为联接至手术器械50和相机51的致动机构并且被配置为使器械50和/或相机51移动(例如，旋转)并对其进行致动。IDU 52将致动力从其致动器传递到手术器械50，以致动手术器械50的末端执行器49的部件。固持器46包括滑动机构46a，该滑动机构被配置为使IDU 52沿着由固持器46限定的第二纵向轴线移动。固持器46还包括关节46b，该关节使固持器46相对于连杆42c旋转。在内窥镜程序期间，器械50可以穿过由固持器46固持的内窥镜接入端口55(图3)插入。固持器46还包括用于将接入端口55固定至固持器46的端口锁扣46c(图2)。机械臂40还包括安设臂61和设置在IDU 52上的多个手动超控按钮53(图1)，该安设臂可以在手动模式下使用。用户可以按压这些按钮53中的一个或多个以使与按钮53相关联的部件移动。

参考图4，手术机器人系统10的计算机21、31、41中的每一个可以包括多个控制器，该多个控制器可以实施在硬件和/或软件中。控制塔20的计算机21包括控制器21a和安全观察器21b。控制器21a接收来自外科医生控制台30的计算机31的关于手部控制器38a和38b的当前位置和/或取向以及脚踏板36和其他按钮的状态的数据。控制器21a处理这些输入位置以确定机械臂40的每个关节和/或IDU 52的期望驱动命令，并将这些期望驱动命令传送给机械臂40的计算机41。控制器21a还接收由致动器48a和48b的编码器测量的实际关节角度，并使用该信息来确定力反馈命令，该力反馈命令被传输回到外科医生控制台30的计算机31以通过手部控制器38a和38b提供触觉反馈。安全观察器21b对进入控制器21a中以及从该控制器出来的数据执行有效性检查，并且如果检测到数据传输中的错误，则通知系统故障处理程序以将计算机21和/或手术机器人系统10置于安全状态。

控制器21a联接至存储装置22a，该存储装置可以是非暂态计算机可读介质，其被配置为存储任何合适的计算机数据，比如可由控制器21a执行的软件指令。控制器21a还包括暂态存储器22b，用于在执行指令期间加载指令和其他计算机可读数据。在实施例中，系统10的其他控制器包括类似的配置。

计算机41包括多个控制器，即，推车主控制器41a、安设臂控制器41b、机械臂控制器41c、以及器械驱动单元(IDU)控制器41d。推车主控制器41a接收并处理来自计算机21的控制器21a的关节命令，并将其传送给安设臂控制器41b、机械臂控制器41c、以及IDU控制器41d。推车主控制器41a还管理器械更换以及移动推车60、机械臂40和IDU 52的整体状态。推车主控制器41a还将实际关节角度传送回控制器21a。

关节63a和63b中的每一个以及安设臂61的可旋转基部64是允许用户手动调节的被动关节(即，其中不存在致动器)。关节63a和63b以及可旋转基部64包括制动器，这些制动器由用户脱离接合以配置安设臂61。当制动器接合时，安设臂控制器41b监测关节63a和63b中的每一个以及安设臂61的可旋转基部64的滑动，或者当制动器脱离接合时，该安设臂控制器可以由操作者自由移动，但不会影响其他关节的控制。机械臂控制器41c控制机械臂40的每个关节44a和44b，并计算机械臂40的重力补偿、摩擦补偿、以及闭环位置控制所需的期望马达扭矩。机械臂控制器41c基于计算出的扭矩来计算移动命令。计算出的马达命令然后被传送给机械臂40中的致动器48a和48b中的一个或多个。实际关节位置然后由致动器48a和48b传输回机械臂控制器41c。

IDU控制器41d接收手术器械50的期望关节角度(比如腕部角度和夹爪角度)，并计算IDU 52中的马达的期望电流。IDU控制器41d基于马达位置来计算实际角度，并将这些实际角度传输回推车主控制器41a。

响应于控制机械臂40的手部控制器(例如，手部控制器38a)的姿态来控制机械臂40，该姿态通过由控制器21a执行的手眼变换功能被变换为机械臂40的期望姿态。手眼功能以及本文中描述的其他功能被实施在控制器21a或本文中描述的任何其他适合的控制器能执行的软件中。手部控制器38a中的一个的姿态可以被实施为相对于固定至外科医生控制台30的坐标参考系的坐标位置和滚转-俯仰-横摆(RPY)取向。器械50的期望姿态是相对于机械臂40上的固定系而言的。然后通过由控制器21a执行的缩放功能来缩放手部控制器38a的姿态。在实施例中，通过缩放功能，可以缩小坐标位置，并且可以放大取向。另外，控制器21a还可以执行离合功能，用于将手部控制器38a与机械臂40脱离接合。特别地，如果超过某些移动限制或其他阈值，则控制器21a停止将来自手部控制器38a的移动命令传输给机械臂40，并且实质上起到类似虚拟离合器机构的作用，例如，限制机械输入影响机械输出。

机械臂40的期望姿态是基于手部控制器38a的姿态，然后通过由控制器21a执行的逆向运动学函数传递。逆向运动学函数计算出机械臂40的关节44a、44b、44c的实现由手部控制器38a输入的经缩放和调节的姿态的角度。计算出的角度然后被传递给机械臂控制器41c，该机械臂控制器包括具有比例微分(PD)控制器的关节轴线控制器、摩擦估计器模块、重力补偿器模块、以及双侧饱和块，该双侧饱和块被配置为限制关节44a、44b、44c的马达的命令扭矩。

参考图5，手术机器人系统10安设在手术台90周围。系统10包括移动推车60a-d，这些移动推车可以编号为“1”到“4”。在安设期间，推车60a-d中的每一个定位在手术台90周围。推车60a-d的位置和取向取决于多个因素，比如多个接入端口55a-d的放置，这些因素进而取决于正在执行的手术。一旦确定了端口放置，就将接入端口55a-d插入到患者体内，并且定位推车60a-d，以将器械50和腹腔镜相机51插入到对应的端口55a-d中。

在使用期间，机械臂40a-d中的每一个通过将锁扣46c(图2)附接至接入端口55(图3)而附接至插入患者体内的接入端口55a-d中的一个。IDU 52附接至固持器46，随后SIM 43附接至IDU 52的远侧部分。此后，将器械50附接至SIM 43。然后通过沿着固持器46移动IDU52来将器械50穿过接入端口55插入。SIM 43包括多个驱动轴，该多个驱动轴被配置为将IDU52的各个马达的旋转传递到器械50，从而致动器械50。此外，SIM 43在器械50与机械臂40的其他部件(包括IDU 52)之间提供无菌屏障。SIM 43还被配置为将无菌盖布(未示出)固定到IDU 52。

参考图6，系统10还包括电源110，该电源被配置为以毫米(毫米波)波谱发射约30GHz至约300GHz的超宽带功率谱中的RF功率，并且在实施例中可以为约60GHz。电源110经由馈电线120联接至一个或多个天线130。天线130设置在接入端口55a-d中的一个或多个上，并且被配置为向患者体腔内发射毫米波能量。能量由设置在图7的手持式手术器械150上的可拆卸传感器贴片140接收。

手持式手术器械150可以是任何手持式、腹腔镜、手动致动式或动力式的手术器械，比如电手术器械(例如，血管闭合器、解剖器等)、手术钉合器、抓握器、剪刀等。手持式手术器械150包括手柄152、从手柄向远侧延伸的纵向轴154以及设置在轴154的远端部分处的末端执行器156。轴154的大小被确定成可穿过接入端口55a-d中的一个插入，并且传感器贴片140沿着轴154的在手术器械150的使用期间设置在患者体腔内的任何部分设置。这允许传感器贴片140接收由设置在接入端口55a-d中的一个上的天线130发射的能量。

参考图8和图9，传感器贴片140包括柔性印刷电路板(PCB)衬底142，该柔性印刷电路板衬底具有附接表面144，该附接表面上设置有粘合剂层146，该粘合剂层可以包括任何合适的非永久性粘合剂组合物以允许将传感器贴片140从轴154移除。传感器贴片140可以具有任何合适的形状，比如多边形(例如，矩形)、弯曲的(例如，圆形)或其任何组合。传感器贴片140在轴154穿过接入端口55a-d插入之前附接至轴154，并且在器械50不再使用之后被移除。

传感器贴片140可以具有约10mm的宽度、约30mm的长度和约1mm的厚度。这些值是说明性的，并且尺寸可以被修改以适合于轴154的直径。传感器贴片140的厚度可以取决于设置在PCB衬底142的传感器(即，上)表面145上的集成电路(IC)部件的厚度而变化。

传感器贴片140包括多个IC部件，比如微控制器(MCU)160、惯性测量单元(IMU)162、存储器164、电压调节器166、整流器168和毫米波天线阵列170，该毫米波天线阵列被配置为接收由天线130发射的能量，由此引起来自天线130的无线功率传输(WPT)。因此，传感器贴片140在天线阵列170暴露于由天线130发射的电磁(EM)波时被自动激活。

EM波由天线阵列170接收，然后向下传递到整流器168以从AC转换为DC。电压调节器166稳定供电以确保IMU 162、MCU 160和存储器164正常工作。MCU 160可以是适于执行本披露内容中所描述的操作、计算和/或指令集的任何适合的处理器(例如，控制电路)，包括但不限于硬件处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、中央处理单元(CPU)、微处理器及其组合。存储器164可以是电可擦除可编程ROM(EEPROM)、非易失性RAM(NVRAM)或闪速存储器。IMU 162可以包括集成在单个系统级封装IC部件中的以下类型的传感器中的一种或多种，比如陀螺仪、加速度计、磁力计等。取决于传感器封装，IMU 162测量并报告原始的或经滤波的角速率和传感器贴片140所经历的比力/加速度以及其他参数。由MCU 160协调，此数据然后可以写入机载存储器164中以供稍后检索。

除了上述IC部件之外，传感器贴片140还可以包括附加部件，比如机载无线通信模块165(例如，蓝牙低功耗)，这些附加部件可以实时传输IMU测量值，从而避免对术后检索的需要。环境(例如，压力、温度、光、水分等)传感器也可以集成到传感器贴片140中。另外，为了补偿或替换WPT，传感器贴片140还可以包括一个或多个电触点(未示出)，该一个或多个电触点被配置为联接至设置在器械150的轴154上的配对触点(未示出)，从而允许传感器贴片140连接至外部电源(例如，设置在器械150的手柄152中的电池)。

天线阵列170可以包括多个天线171。天线阵列170的配置和尺寸取决于由天线130发射的EM波的频率。特别地，57GHz至64GHz V波段是FCC的无需许可的频谱。由于自由空间中60GHz的波长为约5mm，因此天线阵列170的每个天线171的大小可以为约2mm至约3mm，以达到足够的辐射功率效率。然而，由于每个天线171的波束宽度窄，多个元件(例如，2×2)可以同时操作并被电子地操纵以在实践中实现足够宽的空间覆盖，因为在此频率下(尤其是在患者体内)没有干扰源。

为了使WPT效率最大化，传感器贴片140可以粘合到轴154上的具体位置。传感器贴片140可以放置在轴154上，使得传感器贴片140的几何中心是约10cm至约20cm，即，距末端执行器156的远端的距离d(图7)。传感器贴片140可以被放置成使得它不太靠近末端执行器156，在该末端执行器处其他机器人控制器械50可能散射或阻挡EM波。传感器贴片140还可以被放置成使得它不太靠近轴154的近端部分，因为腹壁吸收穿过该腹壁行进的波。另外，传感器贴片140还可以放置在使得传感器贴片在内窥镜视野中对相机51可见的距离处。

IMU 162基于嵌入在其封装中的传感器的类型输出传感器数据，并且可以包括本体坐标系加速度、角速率、磁场测量值等。在没有配准过程的情况下，此数据不能直接与机械臂40的运动学数据结合使用，以推断手持式器械150相对于机器人控制器械50的位置。这可以通过以下方式来实现：使用计算机视觉算法通过处理相机51的视频馈送来确定IMU162在激活时在全局坐标系中的初始姿态，该全局坐标系包括机器人系统10的器械50。IMU162的位置的计算和确定可以由机器人系统10的控制器21a执行。

IMU 162本体坐标系(即，局部)姿态可以由6维向量P_IMU(x_IMU,y_IMU,z_IMU,α_IMU,β_IMU,γ_IMU)表示。由于在整个手术过程中的任何时间点，轴154的远侧点(即，参考点)151与IMU162之间没有相对运动，因此参考点151在IMU 162激活之后在全局坐标系中的位置P_D(x_D,y_D,z_D)可以基于其初始位置P_D0(x _D0,y _D0,z _D0)来独特地确定。P_IMU是根据来自IMU 162的测量值计算的。P_D0可以使用图10的优化过程来确定。

在图10中，3-D世界坐标系中的点的确定性表示被示出为像素坐标系，即由相机51捕获的视频坐标系。外部参数表示相机51在3-D场景中的位置。内部参数表示相机51的光学中心和焦距。使用外部参数将世界点变换为相机坐标。然后使用内部参数将相机坐标映射到图像平面中。相机51的内部参数是已知的，或者可以使用固持相机51的机械臂40的运动学数据(例如，关节角度)从相机51在世界坐标系中的位置计算(即，凭经验得出)。然后使用运动学数据来确定用于定位传感器贴片140的刚性3D到3D变换，并且该变换取决于轴154的参考点151的位置。P_D0可以在世界坐标中被指派初始值，然后用于使用图10的过程来计算对应的像素坐标[x'_D0,y'_D0]。该过程可以重复预定时间段，即，在时间t＝0至t＝T的情况下，结合由无线模块165提供给机器人系统10的IMU测量值更新，然后获得像素坐标系中的估计位置的列表，即，估计的像素坐标值{[x'_Dt,y'_Dt]|t＝0,1,2,…T}。相机51的视频馈送提供地面真值图像，这些地面真值图像提供实际像素坐标值{[x_Dt,y_Dt]|t＝0,1,2,…T}。然后将估计的像素坐标值与实际像素坐标值进行比较，并且基于差而构建成本函数。然后可以使用各种优化方法来迭代地更新初始姿态估计以降低成本，直到估计的像素坐标值与实际像素坐标值之间的差在期望的容差内。随后，迭代过程确定参考点151在3D世界坐标系中的实际位置。

参考图11，披露了一种用于在与机器人系统10一起使用时定位手持式器械150的方法。该方法的部分可以被实施为可由处理器(例如，控制器21a)执行的软件指令。在步骤200中，将器械150连同传感器贴片140穿过接入端口55a-d中的一个插入患者体内。如上所述，在步骤202中，激励天线130并且激活传感器贴片140。在步骤204中，相机51捕获器械150(即，参考点151)的视频，并将视频提供给控制器21a以进行图像处理。在步骤206中，控制器21a还从传感器贴片140接收IMU数据。

然后，控制器21a执行图11的优化过程，直到估计的像素坐标值与实际像素坐标值充分对准。在步骤208中，控制器21a计算参考点151的估计的像素坐标值和参考点151的实际像素坐标值。估计的像素坐标值是基于IMU数据而计算的，并且实际像素坐标值可以使用任何合适的计算机视觉算法(比如被配置为检测与参考点151相对应的像素的深度学习算法)来计算。在步骤210中，将估计的像素坐标值与实际像素坐标值进行比较以计算其间的差。在步骤212中，将差与指示用于将IMU数据与相机51的视频馈送进行匹配的期望容差的阈值进行比较。如果差高于阈值，则在步骤206至210中获得更新的IMU数据并计算像素坐标值。如果差低于阈值，则该方法前进到步骤214，并且控制器21a输出指示手持式器械150已经相对于(多个)机器人控制器械50定位的消息。

应当理解，可以对本文中所披露的实施例进行各种修改。因此，以上描述不应被解释为是限制性的，而是仅作为各个实施例的例证。本领域技术人员将设想在所附权利要求的范围和精神内的其他修改。

Claims (20)

1.一种用于跟踪手术器械的传感器贴片，所述传感器贴片包括：

柔性印刷电路板衬底；

天线阵列，所述天线阵列设置在所述衬底上并且被配置为接收电磁能量传输；

整流器，所述整流器设置在所述衬底上并且被配置为将所述接收到的电磁能量传输转换为直流电；以及

惯性测量单元，所述惯性测量单元设置在所述衬底上并且由所述直流电供电，所述惯性测量单元被配置为测量所述手术器械的至少一个移动参数。

2.根据权利要求1所述的传感器贴片，进一步包括：

粘合剂层，所述粘合剂层设置在所述衬底的附接表面上。

3.根据权利要求1所述的传感器贴片，其中，所述电磁能量传输具有约60GHz的频率。

4.根据权利要求1所述的传感器贴片，其中，所述惯性测量单元包括加速度计、陀螺仪或磁力计中的至少一个。

5.根据权利要求1所述的传感器贴片，其中，所述至少一个移动参数选自由加速度、角速率和磁场性质组成的组。

6.一种手术机器人系统，包括：

手持式手术器械，所述手持式手术器械具有轴和设置在所述轴上的可拆卸传感器贴片，所述传感器贴片被配置为测量所述手持式手术器械的至少一个移动参数；

第一机械臂，所述第一机械臂包括相机，所述相机被配置为捕获所述手持式手术器械的参考点的视频；

第二机械臂，所述第二机械臂包括机器人器械；以及

控制器，所述控制器被配置为：

从所述传感器贴片接收所述至少一个移动参数；

从所述手持式手术器械的相机接收所述视频；并且

基于所述至少一个移动参数和所述手持式手术器械的参考点的视频而相对于所述机器人器械定位所述手持式手术器械。

7.根据权利要求6所述的手术机器人系统，进一步包括：

多个接入端口，其中，所述多个接入端口中的至少一个接入端口包括发射器天线；以及

能量源，所述能量源联接至所述发射器天线并且被配置为激励所述发射器天线以发射电磁能量传输。

8.根据权利要求7所述的手术机器人系统，其中，所述传感器贴片进一步包括：

柔性印刷电路板衬底；以及

粘合剂层，所述粘合剂层设置在所述衬底的附接表面上。

9.根据权利要求8所述的手术机器人系统，其中，所述传感器贴片包括：

天线阵列，所述天线阵列设置在所述衬底上并且被配置为接收所述电磁能量传输；以及

整流器，所述整流器设置在所述衬底上并且被配置为将所述接收到的电磁能量传输转换为直流电。

10.根据权利要求9所述的手术机器人系统，其中，所述传感器贴片进一步包括：

惯性测量单元，所述惯性测量单元设置在所述衬底上并且由所述直流电供电，所述惯性测量单元被配置为测量所述至少一个移动参数。

11.根据权利要求10所述的手术机器人系统，其中，所述惯性测量单元包括加速度计、陀螺仪或磁力计中的至少一个。

12.根据权利要求7所述的手术机器人系统，其中，该电磁能量传输具有约60GHz的频率。

13.根据权利要求6所述的手术机器人系统，其中，所述至少一个移动参数是加速度、角速率或磁场性质中的至少一个。

14.根据权利要求6所述的手术机器人系统，其中，所述控制器被进一步配置为基于所述至少一个移动参数而计算所述手持式手术器械的参考点的至少一个估计像素。

15.根据权利要求14所述的手术机器人系统，其中，所述控制器被进一步配置为根据所述视频而计算所述手持式手术器械的参考点的至少一个实际像素。

16.根据权利要求15所述的手术机器人系统，其中，所述控制器被进一步配置为基于所述第一机械臂的运动学数据而定位所述手持式手术器械。

17.一种用于用手术机器人系统定位手持式器械的方法，所述方法包括：

通过安装在接入端口上的天线无线地激励设置在所述手持式器械的轴上的传感器贴片；

在所述传感器贴片处测量所述手持式器械的至少一个移动参数；

通过由第一机械臂固持的相机捕获所述手持式器械的参考点的视频；以及

基于所述至少一个移动参数和所述手持式器械的参考点的视频而相对于由第二机械臂固持的机器人器械定位所述手持式器械。

18.根据权利要求17所述的方法，进一步包括：

基于所述至少一个移动参数而计算所述手持式器械的参考点的至少一个估计像素。

19.根据权利要求18所述的方法，进一步包括：

基于所述视频而计算所述手持式器械的参考点的至少一个实际像素。

20.根据权利要求19所述的方法，其中，定位所述手持式器械进一步基于所述机械臂的运动学数据。