[go: up one dir, main page]

CN108601626A - 基于图像的机器人引导 - Google Patents

基于图像的机器人引导 Download PDF

Info

Publication number
CN108601626A
CN108601626A CN201680080556.3A CN201680080556A CN108601626A CN 108601626 A CN108601626 A CN 108601626A CN 201680080556 A CN201680080556 A CN 201680080556A CN 108601626 A CN108601626 A CN 108601626A
Authority
CN
China
Prior art keywords
robot
image
end effector
capture
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680080556.3A
Other languages
English (en)
Inventor
A·波波维奇
D·P·努南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108601626A publication Critical patent/CN108601626A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

一种方法和系统：提供至少两条光束，所述光束在机器人的远程运动中心(RCM)处相交，所述机器人在其远端具有末端执行器；捕获规划的入口点和通过RCM的规划的路径的图像；将捕获的图像配准到三维术前图像；使用光束来限定针对所述捕获的图像中的所述RCM的入口点和路径；在所述捕获的图像中检测和跟踪具有已知形状的参考对象；响应于关于所述入口点、所述路径和所述参考对象的信息，计算机器人关节运动参数，以将所述末端执行器与所述规划的入口点和所述规划的路径对齐；并且将计算出的机器人关节运动参数传送给所述机器人，以将所述末端执行器对齐到所述规划的入口点和所述规划的路径。

Description

基于图像的机器人引导
技术领域
本发明涉及机器人、机器人控制器以及使用捕获的机器人的图像的机器人引导方法。
背景技术
手术和介入中的传统任务，例如腹腔镜手术或用于活组织活检或治疗的针放置，包括将刚性设备(例如，腹腔镜或针或其他“工具”)定位穿过身体中的入口点，沿着路径通向目标位置。为了改善工作流程和准确性并允许一致的工具放置，这些任务可以由机器人执行。这些机器人通常实现五个或六个自由度(例如，三个自由度用于移动到入口点，并且两个或三个用于沿着路径对工具进行取向)。通常使用术前采集的3D图像来完成入口点和工具的路径的规划，例如使用计算机断层摄影(CT)、磁共振成像(MRI)等。
在外科手术室中，2D成像模态通常是可用的。它们包括术中相机，例如内窥镜相机或导航相机，术中2D X射线，超声等。这些2D图像可以使用本领域已知的多种方法而被配准到术前3D图像，例如美国专利申请公开2012/0294498A1或美国专利申请公开2013/0165948A1中公开的那些，其公开内容通过引用并入本文。这样的配准允许将术前计划(包括若干切口点和工具路径)从术前图像变换到术中图像。
在现有的系统和方法中，必须建立图像坐标和机器人关节空间之间的数学变换，以闭合机器人的控制与保存关于手术计划的信息的术中图像之间的控制回路。
整个过程称为“系统校准”并且需要各种步骤，如相机和机器人校准。此外，为了提供完全校准，需要根据图像或使用特殊传感器来测量相机和所考虑的器官/对象之间的深度。相机校准是建立固有相机参数(图像的光学中心、两个方向的焦距和像素大小)的过程。这通常在术前完成，并且涉及采集校准对象(通常是棋盘状对象)的若干图像以及根据这些图像来计算参数。机器人校准是建立机器人的关节空间与末端执行器(在该场景中是内窥镜)之间的数学关系的过程。
然而，获得系统校准的过程涉及几个复杂性。例如，如果在手术期间改变一些成像参数(例如，改变相机焦点)，则需要重复相机校准。此外，机器人校准通常需要技术专家来执行校准。并且如果用户/外科医师相对于机器人移动内窥镜，则需要重复校准。这些复杂性与许多工作流隐式困难有关，包括需要对手术室工作人员进行技术培训，延长手术室时间等。
因此，期望提供一种用于使用术中2D图像(例如，通过内窥镜检查、X射线、超声等获得)而不需要术中校准或者将机器人配准到成像系统的，多轴机器人的基于图像的引导的系统和方法。
发明内容
在本发明的一个方面，一种系统包括：机器人，其具有远程运动中心(RCM)机构和在所述机器人的远端处的末端执行器，所述远程运动中心机构具有两个电动机轴；光投射装置，其被配置为投射在所述RCM处相交的光束；成像系统，其被配置为捕获在操作区域中的所述RCM机构的图像，所述操作区域包括规划的入口点和通过所述RCM的规划的路径；机器人控制器，其被配置为控制所述机器人和定位所述RCM机构，所述机器人控制器包括图像处理器，所述图像处理器被配置为：从所述成像系统接收捕获的图像，将所述捕获的图像配准到三维(3D)术前图像，使用投射的光束来在所述捕获的图像中限定针对所述RCM的入口点和路径，并且在所述捕获的图像中检测和跟踪具有已知形状的参考对象，其中，所述机器人控制器被配置为：响应于所限定的入口点、所限定的路径和检测到的参考对象来计算机器人关节运动参数，所述机器人关节运动参数将所述末端执行器对齐到所述规划的入口点和所述规划的路径；基于计算出的机器人关节运动参数来产生机器人控制命令，所述生机器人控制命令将所述末端执行器对齐到所述规划的入口点和所述规划的路径；并且将所述机器人控制命令传送给所述机器人。
在一些实施例中，所述图像处理器被配置为检测投射的光束的交叉点作为入口点，并且所述机器人控制器被配置为控制所述机器人以将投射的光束的交叉点与规划的入口点对齐。
在一些实施例中，所述图像处理器被配置为：将所述规划的入口点处的所述参考对象的已知形状投影到所述捕获的图像上，在所述捕获的图像中分割检测到的参考对象，并将所述捕获的图像中的所述分割的参考对象的几何参数与所述规划的入口点处的所述参考对象投影的已知形状的几何参数对齐，并且所述机器人控制器被配置为控制所述机器人以用所投影的已知形状来覆盖所述捕获的图像中的检测到的参考对象。
在一些实施例中，所述成像系统被配置为从以已知配置间隔开的多个相机捕获操作区域中的RCM机构的二维(2D)图像，并且所述图像处理器被配置为在来自多个相机中的每个的捕获的2D图像中检测和跟踪具有已知形状的参考对象，并且从捕获的2D图像重建针对所述参考对象的3D形状。
在一些实施例中，所述RCM机构被配置为使所述末端执行器关于穿过所述规划的入口点的插入轴旋转，并且所述末端执行器具有在垂直于所述插入轴的平面中限定其取向的特征，其中，所述图像处理器被配置为检测捕获的图像中的特征并将所述特征的规划的位置投影到所述捕获的图像上，并且其中，所述机器人控制器被配置为控制所述机器人以对齐检测到的特征和规划的位置。
在一些实施例中，所述参考对象是末端执行器。
在这些实施例的一些版本中，所述成像系统包括相机和用于移动所述相机的致动器，所述相机由所述致动器沿着所述规划的路径定位，并且所述机器人控制器被配置为控制所述末端执行器的位置，使得所述图像处理器检测到所述末端执行器的平行投影。
在一些实施例中，所述成像系统包括X射线系统，所述X射线系统被配置为生成所述规划的路径的旋转三维(3D)扫描。
在本发明的另一方面中，一种方法包括：提供至少两条光束，所述光束在由机器人的RCM机构限定的远程运动中心(RCM)处相交，所述机器人在其远端具有末端执行器；捕获在操作区域中的RCM机构的图像，所述操作区域包括规划的入口点和通过RCM的规划的路径；将捕获的图像配准到三维(3D)术前图像；使用投射的光束来限定所述捕获的图像中RCM的入口点和路径；在所述捕获的图像中检测和跟踪具有已知形状的参考对象；响应于关于所述入口点、所述路径和所述参考对象的信息，计算机器人关节运动参数，所述机器人关节运动参数将所述末端执行器对齐到所述规划的入口点和所述规划的路径；并且基于计算出的机器人关节运动参数来将机器人控制命令传送给所述机器人，所述机器人控制命令将所述末端执行器对齐到所述规划的入口点和所述规划的路径；
在一些实施例中，所述方法包括将入口点检测为投射的光束的交叉点，并控制所述机器人来将投射的光束的交叉点与所述规划的入口点对齐。
在一些实施例中，所述方法包括：将规划的入口点处的参考对象的已知形状投影到捕获的图像上；在所述捕获的图像中分割检测到的参考对象；将所述捕获的图像中的分割的参考对象的几何参数与所述规划的入口点处的所述参考对象的投影的已知形状的几何参数对齐；并控制所述机器人来将所述捕获的图像中的检测到的参考对象与投影的已知形状进行叠加。
在一些实施例中，所述方法包括：从以已知配置间隔开的多个相机捕获操作区域中的RCM机构的二维(2D)图像；并且检测并跟踪来自多个相机中的每个的捕获的2D图像中具有已知形状的参考对象；根据捕获的2D图像来重建所述参考对象的3D形状。
在一些实施例中，所述方法包括：使所述末端执行器关于穿过所述规划的入口点的插入轴旋转，其中，所述末端执行器具有在垂直于所述插入轴的平面中限定其方向的特征；检测所述捕获的图像中的所述特征；将所述特征的规划的位置投影到所述捕获的图像上；并且控制所述机器人来将检测到的特征与所述规划的位置对齐。
在一些实施例中，所述方法包括：使用沿规划的路径定位的相机来捕获所述RCM机构的图像，其中，所述参考对象是所述末端执行器；并且控制所述末端执行器的位置，使得所述末端执行器的平行位置在所述捕获的图像中被检测。
在本发明的再另一个方面中，提供了一种机器人控制器，所述机器人控制器用于控制具有远程运动中心(RCM)机构和在所述机器人的远端处的末端执行器的机器人，所述远程运动中心机构具有两个电动机轴。所述机器人控制器包括：图像处理器，其被配置为：接收在操作区域中的所述RCM机构的捕获的图像，所述操作区域包括规划的入口点和通过所述RCM的规划的路径；将所述捕获的图像配准到三维(3D)术前图像，以限定针对所述捕获的图像中的所述RCM的入口点和路径；并且在捕获的图像中检测和跟踪具有已知形状的参考对象；以及机器人控制命令接口，其被配置为将机器人控制命令传送给所述机器人，其中，所述机器人控制器被配置为响应于所限定的入口点、所限定的路径和检测到的参考对象来计算机器人关节运动参数，所述机器人关节运动参数将所述末端执行器对齐到所述规划的入口点和所述规划的路径，并且所述机器人控制器还被配置基于计算出的机器人关节运动参数来产生机器人控制命令，所述机器人控制命令将所述末端执行器对齐到所述规划的入口点和所述规划的路径。
在一些实施例中，所述图像处理器被配置为检测投射的光束的交叉点作为入口点，并且所述机器人控制器被配置为控制所述机器人以将投射的光束的交叉点与所述规划的入口点对齐。
在一些实施例中，所述图像处理器被配置为：将所述规划的入口点处的所述参考对象的已知形状投影到所述捕获的图像上，在所述捕获的图像中分割检测到的参考对象，并将所述捕获的图像中的所述分割的参考对象的几何参数与所述规划的入口点处的所述参考对象投影的已知形状的几何参数对齐，并且所述机器人控制器被配置为控制所述机器人以用所投影的已知形状来覆盖所述捕获的图像中的检测到的参考对象。
在一些实施例中，所述图像处理器被配置为从以已知配置间隔开的多个相机接收操作区域中的RCM机构的二维(2D)图像，并且在来自多个相机中的每个的捕获的2D图像中检测和跟踪具有已知形状的参考对象，并且根据捕获的2D图像重建针对所述参考对象的3D形状。
在一些实施例中，所述RCM机构被配置为使末端执行器关于穿过所述规划的入口点的插入轴旋转，所述末端执行器具有在垂直于所述插入轴的平面中限定其取向的特征，所述图像处理器被配置为检测捕获的图像中的特征并将特征的规划的位置投影到捕获的图像上，并且所述机器人控制器被配置为控制所述机器人以将检测到的特征与所述规划的位置对齐。
在一些实施例中，所述机器人控制器被配置为从由致动器沿着规划的路径定位的相机接收捕获的图像，并且所述机器人控制器被配置为控制所述末端执行器的位置，使得所述图像处理器检测到所述末端执行器的平行投影。
附图说明
图1是机器人系统的一个示例实施例的框图。
图2图示了机器人控制回路的示例性实施例。
图3图示了图1的机器人系统的实施例的一个版本。
图4是图示基于机器人的引导的方法的一个实施例的主要操作的流程图。
图5是图示执行图4的方法的操作中的一个的方法的示例实施例的详细步骤的流程图。
图6是图示执行图4的方法的操作中的另一个的方法的示例实施例的详细步骤的流程图。
图7图示了捕获的视频帧的示例以及捕获的视频帧中的工具架的示例叠加。
图8图示了可以在操作或方法或基于机器人的引导中采用的反馈回路的一个示例实施例。
图9图示了图1的机器人系统的实施例的第二版本。
图10图示了图1的机器人系统的实施例的第三版本。
图11图示了使用一系列捕获的视频帧来将圆形机器人工具架对齐和取向到机器人工具架的规划的位置的过程。
图12图示了可以在操作或方法或基于机器人的引导中采用的另一反馈回路的一个示例实施例。
图13图示了图1的机器人系统的实施例的第四版本。
具体实施方式
现在将在下文中参考附图更加全面地描述本发明，附图中示出了本发明的优选实施例。然而，本发明可以以不同的形式来实施，并且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例作为本发明的教导示例。
图1是机器人系统20的一个示例实施例的框图。
如图1中所示，机器人系统20采用成像系统30、机器人40和机器人控制器50。通常，机器人系统20被配置用于包括机器人40的自动运动能力的任何机器人流程。这样的机器人流程的示例包括但不限于医学流程，装配线流程和包括移动机器人的流程。特别地，机器人系统20可以用于医学流程，包括但不限于微创心脏手术(例如，冠状动脉旁路移植术或二尖瓣置换术)，微创腹部手术(腹腔镜检查)(例如，前列腺切除术或胆囊切除术)和自然孔口经腔内窥镜手术。
机器人40在本文中广义地定义为在结构被上配置有对一个或多个关节41的机动控制以根据特定机器人流程的需要来操纵机器人40的末端执行器42的任何机器人设备。末端执行器42可包括夹具或工具架。末端执行器42可包括工具，例如腹腔镜仪器、腹腔镜、用于脊柱融合手术中的螺钉放置的工具、用于活组织检查或治疗的针，或任何其他外科手术或介入工具。
在实践中，机器人40可以具有最少三(3)个自由度，并且有利地具有五(5)个或六(6)个自由度。机器人40具有远程运动中心(RCM)机构，其具有与末端执行器轴线相交的两个电动机轴。有利地，机器人40可以具有与其相关联的光投射装置(例如，一对激光器)，其被配置为沿着RCM机构的任何轴投射光束(例如，激光束)。
末端执行器42的姿态是末端执行器42在机器人40的坐标系内的位置和取向。
成像系统30可以包括一个或多个相机。在一些实施例中，成像系统300可以包括术中X射线系统，其被配置为生成旋转3D扫描。成像系统被配置为捕获在操作区域中的机器人40的RCM机构的图像，包括针对末端执行器42的规划的入口点或由末端执行器42保持的工具(例如，用于外科手术或介入流程)，以及末端执行器42的规划的路径或通过RCM的由末端执行器42保持的工具。
成像系统30还可以包括帧抓取器31或与帧抓取器31相关联。机器人40包括关节41(例如，五个或六个关节41)和末端执行器42。如下面将更详细描述的，在一些实施例中，末端执行器42被配置为要由机器人40操纵的工具架。机器人控制器50包括视觉伺服51，下面将更加详细地对其进行描述。
成像系统30可以是具有前向光学视角或倾斜光学视角的任何类型的相机，并且可以采用能够以预定义的帧速率(例如，每秒30帧)采集一系列二维数字视频帧32并且能够将每个数字视频帧32提供给机器人控制器50的任何类型的帧抓取器31。一些实施例可以省略帧抓取器31，在这种情况下，成像系统30可以仅将其图像发送到机器人控制器50。特别地，成像系统30被定位和取向为使得其在其视野内可以捕获机器人40的末端执行器42和远程运动中心(RCM)342以及RCM 342定位在其中并且被操纵的的操作空间的图像。有利地，成像系统30还被定位为捕获具有已知形状的参考对象的图像，该参考对象可用于识别末端执行器42的姿态。在一些实施例中，成像系统30包括由电动机致动的相机，并且其可以一旦成像系统30被配准到术前图像，就沿着针对机器人40的侧规划仪器路径定位，如下面将更详细描述的。
机器人控制器50在本文中被广义地定义为任何控制器，其在结构上被配置为向机器人40提供一个或多个机器人控制命令(“RCC”)52，用于通过根据需要来命令的(一个或多个)机器人关节41的明确的运动以实现末端执行器42的期望姿态来控制针对特定机器人流程所需的末端执行器42的姿态。
例如，(一个或多个)机器人控制命令52可以根据需要移动(一个或多个)机器人关节41，以便于通过成像系统30跟踪参考对象(例如，末端执行器42)来控制一个或多个机器人关节的集合以将机器人40的RCM对齐到针对手术的规划的入口点，并用于控制另外的机器人关节的对以使末端执行器42与针对手术的规划的路径对齐。
针对数字视频帧32内的图像的特征的机器人跟踪，以及针对将机器人40与规划的入口点和针对末端执行器42或由末端执行器42保持的工具的规划的路径的对齐和取向，机器人控制器50包括视觉伺服51，用于控制末端执行器42相对于在每个数字视频帧32中识别的参考对象的图像的姿态，以及参考对象基于其已知的形状和其在RCM与规划的入口点和路径为对齐和取向时的位置在图像上的投影。
为此，如图2中所示，视觉伺服51在闭合机器人控制回路21中实现参考对象识别过程53，取向设定过程55和反向运动学过程57，其中图像采集33通过帧抓取器31和(一个或多个)机器人关节41的(一个或多个)受控的运动43来实现。在实践中，过程53、55和57可以由视觉伺服51的模块实现，其由安装在任何平台(例如，通用计算机，专用集成电路(ASIC)等)上的硬件、软件和/或固件的任意组合实现。此外，过程53和55可以由机器人控制器50的图像处理器执行。
参考图2，参考对象识别过程53涉及每个数字视频帧32的单独处理，以使用本领域已知的特征识别算法来识别数字视频帧32内的特定参考对象。
再次参考图2，参考对象识别过程53生成指示每个数字视频帧32内的参考对象的二维图像数据(“2DID”)54，并且取向设置过程55继而处理2D数据54以识别参考对象的方向或形状。对于识别参考对象的每个数字视频帧32，取向设置过程55生成三维机器人数据(“3DRD”)56，其指示机器人40的末端执行器42相对于数字视频帧32内的参考对象的期望姿态。反向运动学过程57如本领域中已知地处理3D数据56，以生成针对(一个或多个)机器人关节41的(一个或多个)适当关节运动43所需的一个或多个机器人控制命令52，从而实现末端执行器42相对于数字视频帧32内的参考对象的期望的姿态。
在操作中，机器人控制器50的图像处理器可以：从成像系统30接收捕获的图像，将所述捕获的图像配准到三维(3D)术前图像，使用投射的光束(例如，激光束)在捕获的图像中限定RCM的入口点和路径，并且在捕获的图像中检测并跟踪的参考对象。此外，机器人控制器50可以：响应于所限定的入口点、所限定的路径和检测到的参考对象，来计算机器人关节运动参数，所述机器人关节运动参数将末端执行器42与规划的入口点与规划的路径对齐；响应于计算的机器人关节运动参数来产生机器人控制命令52，所述机器人控制命令52将末端执行器42对齐到所述规划的入口点和所述规划的路径；并且将所述机器人控制命令传送给机器人40。
现在将更详细地描述机器人系统20的各个版本的其他方面。
图3图示了图1的机器人系统20的第一版本的一部分。图3示出了成像设备(特别是相机330)以及机器人340。这里，相机330可以是成像系统30的一个版本，并且机器人340可以是机器人40的一个版本。相机330被定位和取向为使得在其视野内其可以捕获机器人340的至少一部分的图像，包括末端执行器42和远程运动中心(RCM)342以及操作空间，在所述操作空间中，RCM 342被定位和操纵。尽管未在图3中图示，但是应该理解，图3中所示的机器人系统包括机器人控制器，例如上面参考图1和2描述的机器人控制器50。
机器人340有五个关节：j1、j2、j3、j4和j5，以及末端执行器360。关节j1、j2、j3、j4和j5中的每个可以具有相关联的电动机，所述相关联的电动机可以响应于机器人340从机器人控制器(例如，机器人控制器50)接收的一个或多个机器人控制命令52来操纵关节。关节j4和j5限定RCM342。第一和第二激光器512和514以使得它们在RCM 342处相交的方式投射相应的RCM激光束513和515。在一些实施例中，第一和第二激光器512和514沿关节j4和j5的电动机轴投射RCM激光束513和515。在具有如图3中所示的同心弧系统的实施例中，第一和第二激光器512和514可以被定位于沿着弧的任何位置。还示出了：针对对象10的沿着规划的路径115的规划的入口点15，以及沿着检测到的路径117检测到的入口点17。
图4是示出可以由机器人系统执行的基于机器人的引导的方法400的一个实施例的主要操作的流程图。在下面的描述中，为了提供具体的示例，将假设方法400由图1中所示的机器人系统20的版本执行。
操作410包括针对机器人340和相机30的计划(例如，手术计划)的配准。这里，关于一个或多个术前3D图像来针对描述机器人340的计划。因此，在操作410中，可以使用本领域已知的多种方法将由相机300产生的图像(例如，2D图像)配准到术前3D图像，包括例如飞利浦专利申请中描述的方法(例如，US 2012/0294498A1或EP 2615993B1)。
操作420包括将机器人340的RCM 342对齐到规划的入口点15。将参考图5描述操作420的示例实施例的进一步细节。
操作430包括将机器人340的RCM机构(例如，关节j4和j5)对齐到规划的路径117。将关于图6来描述操作430的示例实施例的进一步细节。
图5是图示用于执行方法400的操作420的方法500的示例实施例的详细步骤的流程图。这里，假设已经建立了用于在术前3D图像与相机300之间配准的操作410。
在步骤520中，图像处理器或机器人控制器50将表示3D规划的入口点15的2D点投射到相机330的捕获的图像(例如，数字视频帧32)上。由于相机330相对于对象10不移动，因此投射的规划的入口点15是静态的。
在步骤530中，可以在相机330的捕获的图像中检测RCM激光束513和515的交叉点，以限定检测到的入口点17。有利地，机器人系统和方法500利用这样的事实：进入对象10的规划的入口点15通常在对象10的表面上，并且因此可以通过相机330的视图可视化并投影到捕获的图像上，同时可以从激光器512和514投射的激光点在捕获的图像中的对象10上也是可见的，以限定针对机器人340的RCM 342的当前位置和取向的检测到的入口点17。
在步骤540中，机器人控制器50将机器人控制命令52发送到机器人340以移动RCM342，以便将由RCM激光束513和515的交叉点限定的入口点17驱动到规划的入口点15。在一些实施例中，步骤540可以由美国专利8934003B2中描述的算法执行。有利地，步骤540可以利用指示关节j1、j2和j3的运动的机器人控制命令52来执行。有利地，在限定的入口点17与规划的入口点15对齐之后，可以锁定关节j1、j2和j3以用于后续操作，包括操作430。
图6是图示用于执行方法400的操作430的方法600的示例实施例的详细步骤的流程图。这里，假设已经建立了术前3D图像与相机300之间的配准操作，如上面关于方法400和500所述。
在步骤610中，机器人控制器50的图像处理子系统将相机33的捕获的图像(例如，数字视频帧32)叠加或投影到参考对象的已知形状上，因为其应当在末端执行器42被对齐到规划的仪器路径115和规划的入口点15时由相机察看。在下面的讨论中，为了提供具体示例，假设参考对象是末端执行器42。然而，通常，参考对象可以是具有已知尺寸和形状的相机330的视场中的任何对象或特征。这里，假设图像处理系统具有末端执行器42的形状和大小的先验知识。例如，如果末端执行器42具有圆形形状，那么取决于相机330、末端执行器42与规划的入口点15之间的位置/角度关系，其形状可以由相机330作为椭圆在二维中观察。在该情况下，图像处理器可以将来自相机330的捕获的图像投射或覆盖到目标椭圆图像上，所述目标椭圆图像表示当末端执行器42沿着规划的路径115对齐并取向到规划的入口点15时末端执行器42的目标位置和方向。此外，图像处理器330可以限定末端执行器42的目标椭圆图像的其他参数，其可以取决于末端执行器42的形状，例如在圆形末端执行器42的示例情况下，为投影的椭圆的中心和角度。
在步骤620中，图像处理器检测并分割捕获的图像中的末端执行器42的图像。
在步骤630中，图像处理器检测捕获的图像中的末端执行器42的图像的形状。有利地，图像处理器在捕获的图像中检测检测到的图像末端执行器42的其他参数，其可以取决于末端执行器42的形状。例如，假设末端执行器42具有圆形形状，在相机330的捕获的图像中产生椭圆图像，则在步骤630中，图像处理器可以检测末端执行器42的捕获的图像32中所检测到的图像的中心和角度。
图7图示了捕获的图像732的示例和末端执行器42到捕获的图像732上的示例性投射的叠加760。这里，假设当末端执行器42沿着规划的路径115对齐并取向到规划的入口点15时，投影的叠加760表示末端执行器42在相机330的捕获的图像中应具有的尺寸和形状。在图7中所示的示例中，末端执行器42的投影的叠加760的中心7612与末端执行器42的检测图像的中心对齐，但在末端执行器42的投影的叠加760与检测到的图像之间存在旋转角度7614。
在该情况下，在步骤640中，机器人控制器50可以执行优化算法以移动机器人40，并且特别是包括关节j4和j5的RCM机构，以便将由相机捕获的末端执行器42的图像与投射的叠加260对齐。当捕获的末端执行器42的图像与投影的叠加260对齐时，则末端执行器42沿着规划的路径115对齐并取向到规划的入口点15。
图8图示了反馈回路800的一个示例实施例，其可以在可以例如由机器人系统20执行的基于机器人的引导的操作或方法中采用。反馈回路800的各种操作器被图示为图8中的功能块。反馈回路800包括控制器840、机器人850、工具分割操作8510、中心检测操作8512、角度检测操作8514和处理操作8516。这里，反馈回路800被配置为与具有椭圆形投影(例如，圆形形状)的参考对象(例如，末端执行器42)一起操作。在一些情况下，工具分割操作8510，中心检测操作8512，角度检测操作8514和处理操作8516可以由诸如机器人控制器50的机器人控制器以硬件、软件、固件或其任何组合来执行。
现在将描述反馈回路800的示例操作。
处理操作8516从目标角度和末端执行器42的目标中心中减去检测到的末端执行器42的捕获的图像的中心和角度，产生两个误差信号：中心误差和角度误差。处理操作8516组合这两个误差(例如，以相应的权重将它们相加)并将加权组合作为反馈信号提供给控制器850，控制器850可以作为上述机器人控制器50的部件而被包括。这里控制器850可以是比例–积分–微分(PID)控制器或本领域已知的任何其他合适的控制器，包括非线性控制器，例如模型预测控制器。控制器850的输出是一组RCM机构关节速度。可以通过将机器人840的末端执行器42的偏航和俯仰映射到捕获的图像中的x和y坐标来完成到关节速度的映射。可以使用在捕获的图像中检测到的末端执行器42的形状与形状在捕获的图像上的平行投影之间的单应性变换来映射末端执行器42的取向。
图9图示了图1的机器人系统20的第二版本的一部分。如图9中所示的机器人系统20的第二版本在结构和操作上与图3中所示并且在上面详细描述的第一版本类似，因此为了简洁起见，现在仅描述它们之间的差异。
在机器人系统20的第二版本中，图像捕获系统包括以已知或限定的配置间隔开的至少两个相机330和332。相机330和332中的每一个被定位和取向为使得在其视野内，其可以捕获机器人340的至少一部分的图像，包括末端执行器42和RCM 342以及操作空间，在所述操作空间中，RCM 342被定位和操纵。因此，在该版本的机器人系统20中，图像处理器可以被配置为检测并跟踪来自每个相机330和332的捕获的2D图像中的参考对象(例如，末端执行器42)，并且重建3D形状以用于来自捕获的2D图像的末端执行器42。
这里，可以使用已知尺寸的末端执行器42和相机330和332的焦距来重建捕获的图像的比例。重建的位置和比例将给出相机330和332的坐标系中机器人340的3D位置。可以使用在捕获的图像中检测到的末端执行器42的形状与形状在捕获的图像上的平行投影之间的单应性变换来检测末端执行器42的取向。该版本可以在3D空间中重建机器人340的位置并将机器人配置空间配准到相机坐标系。机器人控制器可以基于以下来定位：机器人电动机在机器人关节空间中移动，以使末端执行器42从初始位置和方向移动到规划的位置和方向。
在机器人系统20的另一个版本中，RCM机构配备有额外的自由度，使得能够使末端执行器42围绕穿过计划的入口点15的工具插入轴线旋转。这里，末端执行器42还被提供有在垂直于插入轴的平面中限定其方向的特征，并且图像处理器被配置为检测捕获的图像中的特征并将特征的规划的位置投影到捕获的图像上。例如，该特征可以是圆形或带有引脚的矩形。机器人控制器50被配置为控制机器人350以对齐检测到的特征和特征的规划的位置。
当末端执行器42不是旋转对称的时，该版本可能是有用的，例如末端执行器42是抓取器或斜面针。在设定了规划的入口点15和沿着路径115的末端执行器42的取向之后，使用额外的自由度来旋转末端执行器42，直到特征的规划和检测的位置被对齐。
图10图示了图1的机器人系统20的第三版本的一部分。如图10中所示的机器人系统20的第三版本在结构和操作上与图3中所示并且在上面详细描述的第一版本类似，因此为了简洁起见，现在仅描述它们之间的差异。
在机器人系统20的第三版本中，相机330由电动机1000致动，使得其可以沿着规划的路径115被操纵和定位。这里再次假设相机330被配准到术前图像。在图10中图示的第三版本的情况下，末端执行器42被投影到捕获的图像上，反映当末端执行器42沿规划的路径115对齐并取向到规划的入口点15时的情况，是平行投影。例如，如果末端执行器42的形状是圆形的，则投影也是圆形的。在该情况下，控制器50可以被配置为控制末端执行器42的位置，使得在捕获的图像中检测到平行投影，这是唯一的解决方案。这可以在RCM 342被对齐到入口点15之前或之后完成。如果在之前完成，则可以通过将末端执行器42的投射的中心在平面覆盖中与检测到的捕获的图像中的末端执行器42的位置对齐来定位RCM 342。
图11图示了使用由图12中所示的第三版本的机器人系统由相机330捕获的一系列视频帧将圆形机器人末端执行器42对齐和取向到机器人末端执行器42的规划的位置的过程。
这里，在由相机330捕获的第一捕获视频帧1132-1中示出了末端执行器42的投影1171，如果末端执行器42沿着规划的路径115被对齐和取向到规划的入口点15，则它应该出现在视频帧1132-1中。然而，相反，末端执行器42的检测图像1161是具有长轴11613和短轴11615椭圆形状，并且从投射1171的位置横向偏移。
在由相机330捕获的第二帧1132-2中示出了末端执行器42的检测图像1161现在具有圆形形状，作为由机器人控制器50执行的控制算法的结果，以控制机器人40的RCM机构以使得检测到末端执行器的图像1161具有圆形形状。然而，在第二帧1132-2中可以看出，检测图像1161仍然从投影1171的位置横向偏移并且尺寸大于投影1171。
在到达视频帧1132-2中描绘的情况之后，可以锁定机器人340的RCM机构(例如，关节j4和j5)并且移动定位机构以使RCM与计划的入口对齐。
由于两个形状现在都是平行投影，因此在该步骤中，仅需要对齐几何中心，例如使用美国专利8934003B2中描述的方法。一旦几何中心被对齐，就必须将尺寸对齐(根据计划将检测到的末端执行器42的圆的大小调整为预计的末端执行器42的尺寸)。尺寸由机器人40沿着工具路径115的运动限定，该运动可以在定位机构坐标系中计算。
在由相机330捕获的第三帧1132-3中，示出了末端执行器42的检测图像1161现在与投影1171对齐。
图12图示了可以在操作或方法或基于机器人的引导中采用的另一反馈回路1200的一个示例实施例。图12图示了反馈回路1200的一个示例实施例，其可以在可以例如由机器人系统20执行的基于机器人的引导的操作或方法中采用。反馈回路1200的各种操作器被图示为图812中的功能块。反馈回路1200包括控制器1240、机器人1250、工具分割操作12510、长轴检测操作12513、短轴检测操作12515和处理操作12516。这里，反馈回路1200被配置为与具有椭圆形投影(例如，圆形形状)的参考对象(例如，末端执行器42)一起操作。在一些情况下，工具分割操作12510，长轴检测操作12512，短角检测操作12515和处理操作12516可以由诸如机器人控制器50的机器人控制器以硬件、软件、固件或其任何组合来执行。
现在将描述反馈回路1200的示例操作。
处理操作8516从目标角度和末端执行器42的目标中心中减去检测到的末端执行器42的捕获的图像的中心和角度，产生两个误差信号：中心误差和角度误差。处理操作8516组合这两个误差(例如，以相应的权重将它们相加)并将加权组合作为反馈信号提供给控制器1250，控制器850可以作为上述机器人控制器50的部件而被包括。这里控制器1250可以是比例积分微分(PID)控制器或本领域已知的任何其他合适的控制器，包括非线性控制器，例如模型预测控制器。控制器1250的输出是一组RCM机构关节速度。可以通过将机器人1240的末端执行器42的偏航和俯仰映射到捕获的图像中的x和y坐标来完成到关节速度的映射。可以使用在捕获的图像中检测到的末端执行器42的形状与形状在捕获的图像上的平行投影之间的单应性变换来映射末端执行器42的取向。
图13示出了图1的机器人系统20的第四版本的一部分。如图13中所示的机器人系统20的第三版本在结构和操作上与图3中所示并且在上面详细描述的第一版本类似，因此为了简洁起见，现在仅描述它们之间的差异。
在机器人系统20的第三版本中，相机330被安装在术中X射线系统1300上，该X射线系统1300被配置为生成规划的路径115所在的旋转3D扫描。
其他版本的机器人系统20也是可能的。特别地，以上关于图3、9、10等描述的任何版本可以被修改以包括术中X射线系统1300。
虽然本文详细公开了优选实施例，但是许多变化是可能的，这些变化仍然在本发明的概念和范围内。对于本领域普通技术人员，在检查本说明书、附图和权利要求之后，这些变化将变得清楚。因此，本发明除了在所附权利要求的范围内之外不受限制。

Claims (20)

1.一种系统，包括：
机器人，其具有远程运动中心(RCM)机构和在所述机器人的远端处的末端执行器，所述远程运动中心机构具有两个电动机轴；
光投射装置，其被配置为投射在RCM处相交的两条或更多条光束；
成像系统，其被配置为捕获在操作区域中的所述RCM机构的图像，所述操作区域包括规划的入口点和通过所述RCM的规划的路径；以及
机器人控制器，其被配置为控制所述机器人和定位所述RCM机构，所述机器人控制器包括图像处理器，所述图像处理器被配置为：从所述成像系统接收捕获的图像，将所述捕获的图像配准到三维(3D)术前图像，使用投射的光束来在所述捕获的图像中限定针对所述RCM的入口点和路径，并且在所述捕获的图像中检测和跟踪具有已知形状的参考对象，
其中，所述机器人控制器被配置为：响应于所限定的入口点、所限定的路径和检测到的参考对象而计算机器人关节运动参数，所述机器人关节运动参数将所述末端执行器对齐到所述规划的入口点和所述规划的路径；基于计算出的机器人关节运动参数来产生机器人控制命令，所述机器人控制命令将所述末端执行器对齐到所述规划的入口点和所述规划的路径；并且将所述机器人控制命令传送给所述机器人。
2.根据权利要求1所述的系统，其中，所述图像处理器被配置为将所述入口点检测为所述投射的光束的交叉点，并且其中，所述机器人控制器被配置为控制所述机器人以将所述投射的光束的所述交叉点与所述规划的入口点对齐。
3.根据权利要求1所述的系统，其中，所述图像处理器被配置为：将在所述规划的入口点处的所述参考对象的所述已知形状投影到所述捕获的图像上，在所述捕获的图像中分割检测到的参考对象，并且将所述捕获的图像中的经分割的参考对象的几何参数与所述规划的入口点的所述参考对象的所述投影的已知形状的几何参数对齐，并且其中，所述机器人控制器被配置为控制所述机器人以将所述捕获的图像中的检测到的参考对象与所述投影的已知形状叠加。
4.根据权利要求1所述的系统，其中，所述成像系统被配置为从以已知配置间隔开的多个相机捕获在所述操作区域中的所述RCM机构的二维(2D)图像，并且其中，所述图像处理器被配置在来自所述多个相机中的每个相机的捕获的2D图像中为检测并跟踪具有所述已知形状的所述参考对象，并且根据所述捕获的2D图像来重建针对所述参考对象的3D形状。
5.根据权利要求1所述的系统，其中，所述RCM机构被配置为使所述末端执行器关于穿过所述规划的入口点的插入轴旋转，并且其中，所述末端执行器具有在垂直于所述插入轴的平面中限定所述末端执行器的取向的特征，其中，所述图像处理器被配置为在捕获的图像中的检测所述特征并将所述特征的规划的位置投影到所述捕获的图像上，并且其中，所述机器人控制器被配置为控制所述机器人以将检测到的特征与所述规划的位置对齐。
6.根据权利要求1所述的系统，其中，所述参考对象是所述末端执行器。
7.根据权利要求4所述的系统，其中，所述成像系统包括相机和用于移动所述相机的致动器，其中，所述相机由所述致动器沿着所述规划的路径定位，并且其中，所述机器人控制器被配置为控制所述末端执行器的位置，使得所述图像处理器检测到所述末端执行器的平行投影。
8.根据权利要求1所述的系统，其中，所述成像系统包括X射线系统，所述X射线系统被配置为生成所述规划的路径的旋转三维(3D)扫描。
9.一种方法，包括：
提供至少两条光束，所述至少两条光束在由机器人的远程运动中心(RCM)机构限定的RCM处相交，所述机器人在其远端具有末端执行器；
捕获在操作区域中的所述RCM机构的图像，所述操作区域包括规划的入口点和通过所述RCM的规划的路径；
将捕获的图像配准到三维(3D)术前图像；
使用投射的光束来限定针对所述捕获的图像中的所述RCM的入口点和路径；
在所述捕获的图像中检测和跟踪具有已知形状的参考对象；
响应于关于所述入口点、所述路径和所述参考对象的信息而计算机器人关节运动参数，所述机器人关节运动参数将所述末端执行器对齐到所述规划的入口点和所述规划的路径；并且
基于计算出的机器人关节运动参数来将机器人控制命令传送给所述机器人，所述机器人控制命令将所述末端执行器对齐到所述规划的入口点和所述规划的路径。
10.根据权利要求9所述的方法，包括将所述入口点检测为所述投射的光束的交叉点，并且控制所述机器人来将所述投射的光束的所述交叉点与所述规划的入口点对齐。
11.根据权利要求9所述的方法，包括：
将规划的入口点处的所述参考对象的所述已知形状投影到所述捕获的图像上；
在所述捕获的图像中分割检测到的参考对象；
将所述捕获的图像中的分割的参考对象的几何参数与所述规划的入口点处的所述参考对象的投影的已知形状的几何参数对齐；并且
控制所述机器人来将所述捕获的图像中的检测到的参考对象与所述投影的已知形状进行叠加。
12.根据权利要求9所述的方法，包括：
从以已知配置间隔开的多个相机捕获所述操作区域中的所述RCM机构的二维(2D)图像；并且
在来自所述多个相机中的每个相机的捕获的2D图像中检测并跟踪具有所述已知形状的所述参考对象；并且
根据捕获的2D图像来重建针对所述参考对象的3D形状。
13.根据权利要求9所述的方法，包括：
使所述末端执行器关于穿过所述规划的入口点的插入轴旋转，其中，所述末端执行器具有在垂直于所述插入轴的平面中限定所述末端执行器的取向的特征；
在所述捕获的图像中检测所述特征；
将所述特征的规划的位置投影到所述捕获的图像上；并且
控制所述机器人来将检测到的特征与所述规划的位置对齐。
14.根据权利要求9所述的方法，包括：
使用沿着所述规划的路径定位的相机来捕获所述RCM机构的所述图像，其中，所述参考对象是所述末端执行器；并且
控制所述末端执行器的位置，使得在所述末端执行器的平行位置在所述捕获的图像中被检测到。
15.一种用于控制机器人的机器人控制器，所述机器人具有远程运动中心(RCM)机构和在所述机器人远端处的末端执行器，所述远程运动中心机构具有两个电动机轴，所述机器人控制器包括：
图像处理器，其被配置为：接收在操作区域中的所述RCM机构的捕获的图像，所述操作区域包括规划的入口点和通过所述RCM的规划的路径；将所述捕获的图像配准到三维(3D)术前图像，以限定针对所述捕获的图像中的所述RCM的入口点和路径；并且在捕获的图像中检测和跟踪具有已知形状的参考对象；以及
机器人控制命令接口，其被配置为将机器人控制命令传送给所述机器人，
其中，所述机器人控制器被配置为响应于所限定的入口点、所限定的路径和检测到的参考对象来计算机器人关节运动参数，所述机器人关节运动参数将所述末端执行器对齐到所述规划的入口点和所述规划的路径，并且所述机器人控制器还被配置为基于计算出的机器人关节运动参数来产生机器人控制命令，所述机器人控制命令将所述末端执行器对齐到所述规划的入口点和所述规划的路径。
16.根据权利要求15所述的机器人控制器，其中，所述图像处理器被配置为将所述入口点检测为所述投射的光束的交叉点，并且其中，所述机器人控制器被配置为控制所述机器人以将所述投射的光束的所述交叉点与所述规划的入口点对齐。
17.根据权利要求15所述的机器人控制器，其中，所述图像处理器被配置为：将所述规划的入口点处的所述参考对象的所述已知形状投影到所述捕获的图像上，在所述捕获的图像中分割检测到的参考对象，并且将所述捕获的图像中的经分割的参考对象的几何参数与所述规划的入口点的所述参考对象的所述投影的已知形状的几何参数对齐，并且其中，所述机器人控制器被配置为控制所述机器人以将所述捕获的图像中的检测到的参考对象与所述投影的已知形状叠加。
18.根据权利要求15所述的机器人控制器，其中，所述成像系统被配置为从以已知配置间隔开的多个相机接收在所述操作区域中的RCM机构的二维(2D)图像，并且在来自多个相机中的每个相机的捕获的2D图像中检测和跟踪具有所述已知形状的所述参考对象，并且根据所述捕获的2D图像来重建针对所述参考对象的3D形状。
19.根据权利要求15所述的机器人控制器，其中，所述RCM机构被配置为使所述末端执行器关于穿过所述规划的入口点的插入轴旋转，并且其中，所述末端执行器具有在垂直于所述插入轴的平面中限定所述末端执行器的取向的特征，其中，所述图像处理器被配置为在捕获的图像中检测所述特征并将所述特征的规划的位置投影到所述捕获的图像上，并且其中，所述机器人控制器被配置为控制所述机器人以将检测到的特征与所述规划的位置对齐。
20.根据权利要求15所述的机器人控制器，其中，所述机器人控制器被配置为从由致动器沿着规划的路径的定位的相机接收所述捕获的图像，并且其中，所述机器人控制器被配置为控制所述末端执行器的位置，使得所述图像处理器检测到所述末端执行器的平行投影。
CN201680080556.3A 2015-12-30 2016-12-21 基于图像的机器人引导 Pending CN108601626A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562272737P 2015-12-30 2015-12-30
US62/272,737 2015-12-30
PCT/IB2016/057863 WO2017115227A1 (en) 2015-12-30 2016-12-21 Image based robot guidance

Publications (1)

Publication Number Publication Date
CN108601626A true CN108601626A (zh) 2018-09-28

Family

ID=57838433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080556.3A Pending CN108601626A (zh) 2015-12-30 2016-12-21 基于图像的机器人引导

Country Status (5)

Country Link
US (1) US20200261155A1 (zh)
EP (1) EP3397187A1 (zh)
JP (1) JP6912481B2 (zh)
CN (1) CN108601626A (zh)
WO (1) WO2017115227A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109223176A (zh) * 2018-10-26 2019-01-18 中南大学湘雅三医院 一种手术规划系统
CN112932669A (zh) * 2021-01-18 2021-06-11 中山大学 一种执行视网膜层防渗漏隧道的机械臂控制方法
CN113687627A (zh) * 2021-08-18 2021-11-23 太仓中科信息技术研究院 一种基于摄像机器人的目标跟踪方法
CN113766083A (zh) * 2021-09-09 2021-12-07 杭州思看科技有限公司 跟踪式扫描系统的参数配置方法、电子装置和存储介质
CN115192092A (zh) * 2022-07-04 2022-10-18 合肥工业大学 面向体内柔性动态环境的机器人自主活检取样方法
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质
CN118766505A (zh) * 2024-08-23 2024-10-15 合肥工业大学 用于腹部超声检测的rcm装置及机器人

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12444141B2 (en) 2016-09-16 2025-10-14 Zimmer, Inc. Augmented reality surgical technique guidance
EP3621545B1 (en) 2017-05-10 2024-02-21 MAKO Surgical Corp. Robotic spine surgery system
US11033341B2 (en) 2017-05-10 2021-06-15 Mako Surgical Corp. Robotic spine surgery system and methods
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3746270A4 (en) * 2018-02-01 2021-10-13 ABB Schweiz AG VISION-BASED OPERATION FOR ROBOT
EP3930617A1 (en) * 2019-02-28 2022-01-05 Koninklijke Philips N.V. Training data collection for machine learning models
EP3824839A1 (en) 2019-11-19 2021-05-26 Koninklijke Philips N.V. Robotic positioning of a device
KR102278149B1 (ko) * 2020-01-08 2021-07-16 최홍희 의료용 다목적 레이저 포인팅장치
RU2753118C2 (ru) * 2020-01-09 2021-08-11 Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет" Роботизированная система для удержания и перемещения хирургического инструмента при проведении лапароскопических операций
WO2021173541A1 (en) * 2020-02-24 2021-09-02 Intuitive Surgical Operations, Inc. Systems and methods for registration feature integrity checking
US20230200921A1 (en) * 2020-04-10 2023-06-29 Kawasaki Jukogyo Kabushiki Kaisha Medical movable body system and method of operating same
US12121229B2 (en) * 2021-02-05 2024-10-22 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Soft-bodied apparatus and method for opening eyelid
CN115194760B (zh) * 2022-06-07 2025-02-07 西安电子科技大学 一种多自由度嫁接机器人的时序运动控制方法与系统
CN119344872B (zh) * 2024-12-03 2025-11-14 北京瞳沐医疗科技有限公司 眼底手术机器人远心不动点标定方法、系统、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120283A1 (en) * 2001-11-08 2003-06-26 Dan Stoianovici System and method for robot targeting under fluoroscopy based on image servoing
CN101687103A (zh) * 2007-06-12 2010-03-31 皇家飞利浦电子股份有限公司 图像引导的治疗
US20130066335A1 (en) * 2010-05-25 2013-03-14 Ronny Bärwinkel Method for moving an instrument arm of a laparoscopy robot into a predeterminable relative position with respect to a trocar
WO2015118422A1 (en) * 2014-02-04 2015-08-13 Koninklijke Philips N.V. Remote center of motion definition using light sources for robot systems
CN105025787A (zh) * 2013-03-05 2015-11-04 伊卓诺股份有限公司 用于图像引导过程的系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6187018B1 (en) * 1999-10-27 2001-02-13 Z-Kat, Inc. Auto positioner
US20110071541A1 (en) * 2009-09-23 2011-03-24 Intuitive Surgical, Inc. Curved cannula
US8934003B2 (en) 2010-01-08 2015-01-13 Koninklijkle Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
JP5795599B2 (ja) 2010-01-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
CN103108602B (zh) 2010-09-15 2015-09-30 皇家飞利浦电子股份有限公司 从血管树图像对内窥镜的机器人控制
KR20140090374A (ko) * 2013-01-08 2014-07-17 삼성전자주식회사 싱글 포트 수술 로봇 및 그 제어 방법
KR102237597B1 (ko) * 2014-02-18 2021-04-07 삼성전자주식회사 수술 로봇용 마스터 장치 및 그 제어 방법
DE102014209368A1 (de) * 2014-05-16 2015-11-19 Siemens Aktiengesellschaft Magnetresonanztomographie-System und Verfahren zur Unterstützung einer Person bei der Positionierung eines medizinischen Instruments für eine perkutane Intervention

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120283A1 (en) * 2001-11-08 2003-06-26 Dan Stoianovici System and method for robot targeting under fluoroscopy based on image servoing
CN101687103A (zh) * 2007-06-12 2010-03-31 皇家飞利浦电子股份有限公司 图像引导的治疗
US20130066335A1 (en) * 2010-05-25 2013-03-14 Ronny Bärwinkel Method for moving an instrument arm of a laparoscopy robot into a predeterminable relative position with respect to a trocar
CN105025787A (zh) * 2013-03-05 2015-11-04 伊卓诺股份有限公司 用于图像引导过程的系统
WO2015118422A1 (en) * 2014-02-04 2015-08-13 Koninklijke Philips N.V. Remote center of motion definition using light sources for robot systems

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109223176A (zh) * 2018-10-26 2019-01-18 中南大学湘雅三医院 一种手术规划系统
CN109223176B (zh) * 2018-10-26 2021-06-25 中南大学湘雅三医院 一种手术规划系统
CN112932669A (zh) * 2021-01-18 2021-06-11 中山大学 一种执行视网膜层防渗漏隧道的机械臂控制方法
CN112932669B (zh) * 2021-01-18 2024-03-15 广州市微眸医疗器械有限公司 一种执行视网膜层防渗漏隧道的机械臂控制方法
CN113687627A (zh) * 2021-08-18 2021-11-23 太仓中科信息技术研究院 一种基于摄像机器人的目标跟踪方法
CN113687627B (zh) * 2021-08-18 2022-08-19 太仓中科信息技术研究院 一种基于摄像机器人的目标跟踪方法
CN113766083A (zh) * 2021-09-09 2021-12-07 杭州思看科技有限公司 跟踪式扫描系统的参数配置方法、电子装置和存储介质
CN113766083B (zh) * 2021-09-09 2024-05-14 思看科技(杭州)股份有限公司 跟踪式扫描系统的参数配置方法、电子装置和存储介质
CN115192092A (zh) * 2022-07-04 2022-10-18 合肥工业大学 面向体内柔性动态环境的机器人自主活检取样方法
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质
CN117103286B (zh) * 2023-10-25 2024-03-19 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质
CN118766505A (zh) * 2024-08-23 2024-10-15 合肥工业大学 用于腹部超声检测的rcm装置及机器人

Also Published As

Publication number Publication date
EP3397187A1 (en) 2018-11-07
JP2019502462A (ja) 2019-01-31
WO2017115227A1 (en) 2017-07-06
US20200261155A1 (en) 2020-08-20
JP6912481B2 (ja) 2021-08-04

Similar Documents

Publication Publication Date Title
JP6912481B2 (ja) 画像ベースのロボット誘導
JP6997238B2 (ja) ニューロナビゲーションを登録し、ロボットの軌道をガイダンスするためのシステム
US5572999A (en) Robotic system for positioning a surgical instrument relative to a patient's body
US8971597B2 (en) Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
Azizian et al. Visual servoing in medical robotics: a survey. Part I: endoscopic and direct vision imaging–techniques and applications
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
EP4090254A1 (en) Systems and methods for autonomous suturing
Zhang et al. Autonomous scanning for endomicroscopic mosaicing and 3D fusion
US12465441B2 (en) Multi-arm robotic systems and methods for identifying a target
CN114652441A (zh) 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法
JP2013516264A (ja) リアルタイム速度最適化を使用した校正不要のビジュアルサーボ
Zhan et al. Autonomous tissue scanning under free-form motion for intraoperative tissue characterisation
Heunis et al. Collaborative surgical robots: Optical tracking during endovascular operations
Molnár et al. Visual servoing-based camera control for the da vinci surgical system
Wang et al. Robot-assisted occlusion avoidance for surgical instrument optical tracking system
Marmol et al. ArthroSLAM: Multi-sensor robust visual localization for minimally invasive orthopedic surgery
Nageotte et al. Visual servoing-based endoscopic path following for robot-assisted laparoscopic surgery
Piccinelli et al. Rigid 3D registration of pre-operative information for semi-autonomous surgery
US11992273B2 (en) System and method of displaying images from imaging devices
Vitrani et al. Robust ultrasound-based visual servoing for beating heart intracardiac surgery
Doignon et al. The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks
Moustris et al. Shared control for motion compensation in robotic beating heart surgery
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220517

AD01 Patent right deemed abandoned