[go: up one dir, main page]

CN115484858A - 用于在外科手术过程期间的图像映射和融合的系统和方法 - Google Patents

用于在外科手术过程期间的图像映射和融合的系统和方法 Download PDF

Info

Publication number
CN115484858A
CN115484858A CN202180033320.5A CN202180033320A CN115484858A CN 115484858 A CN115484858 A CN 115484858A CN 202180033320 A CN202180033320 A CN 202180033320A CN 115484858 A CN115484858 A CN 115484858A
Authority
CN
China
Prior art keywords
image
imaging device
reference point
surgical site
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180033320.5A
Other languages
English (en)
Inventor
德怀特·梅格兰
迈尔·罗森贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN115484858A publication Critical patent/CN115484858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种用于映射和融合内窥镜图像的方法，该方法包括：由第一成像设备捕获在外科手术部位内的对象的第一图像；以及由第二成像设备捕获该对象的第二图像。该第一图像包括从该对象辐射的第一光，以及第一参考点。该第二图像包括从该对象辐射的第二光，以及第二参考点。该方法还包括：将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在显示器上显示该增强图像。

Description

用于在外科手术过程期间的图像映射和融合的系统和方法
技术领域
本公开涉及用于映射和融合来自多个源的图像的设备、系统和方法，并且更具体地涉及在外科手术过程期间的来自多个源的图像的融合。
背景技术
机器人外科手术系统诸如远程手术系统用于执行微创外科手术过程，其与传统的开放外科手术技术相比提供许多益处，包括减轻疼痛、缩短住院时间、能更快地恢复正常活动、最小化疤痕、减少恢复时间以及减少对组织的损伤。
机器人外科手术系统可具有多个机械臂，该多个机械臂响应于查看由外科手术部位的图像捕获设备捕获的图像的外科医生对输入设备的移动而移动所附接的器械或工具，诸如图像捕获设备、缝合器、电外科器械等。在机器人外科手术过程期间，工具中的每个工具通过开口(自然开口或切口)插入患者体内并被定位成在外科手术部位处操纵组织。开口围绕患者的身体安排，使得外科手术器械可用于协作地执行机器人外科手术过程，并且图像捕获设备可观察外科手术部位。
在机器人外科手术过程期间，准确地了解和控制工具在外科手术部位内的位置是重要的。因此，持续需要用于在机器人外科手术过程期间映射和融合来自多个图像源的外科手术部位的图像的系统和方法。
发明内容
本公开涉及用于在外科手术过程期间融合来自多个源的图像的设备、系统和方法。根据本公开的各方面，提出了一种用于内窥镜图像中的对象识别的系统。该系统包括光源、第一成像设备、第二成像设备和成像设备控制单元。该光源被配置为在外科手术部位内提供光。
在本公开的一方面，一种用于映射和融合内窥镜图像的系统包括：光源，该光源被配置为在外科手术部位内提供光；第一成像设备，该第一成像设备被配置为从该外科手术部位获取图像；第二成像设备，该第二成像设备被配置为从该外科手术部位获取图像；显示器；和成像设备控制单元，该成像设备控制单元被配置为控制该第一成像设备和该第二成像设备。该光源被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光。该控制单元包括处理器和存储器，该存储器上存储有指令。该指令在由该处理器执行时使该系统：由该第一成像设备捕获在外科手术部位内的对象的第一图像，该图像包括从该对象辐射的该第一光，以及第一参考点；由该第二成像设备捕获该对象的第二图像，该图像包括从该对象辐射的该第二光，以及第二参考点；将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在该显示器上显示该增强图像。
在本公开的一方面，该光源可被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光。
在本公开的另一方面，该第一参考点可包括结构光，并且其中该第二参考点包括结构光。
在本公开的又一方面，生成该增强图像还可包括确定虚拟成像设备视角。生成该增强图像还可基于该虚拟成像设备视角。
在本公开的另一方面，生成该增强视图还可包括：确定该第一成像设备的第一光路畸变和该第二成像设备的第二光路畸变；以及基于该第一光路畸变来处理该第一图像以匹配该第二光路畸变。
在本公开的另一方面，该指令在被执行时还可使该系统基于该第一参考点和该第二参考点执行对该对象的跟踪。
在本公开的另一方面，该第一参考点和该第二参考点可包括标识、纹理、点图案和/或唯一标识符。
在本公开的又一方面，该第一图像可包括该第一图像的每个像素的第一距离信息。该第二图像可包括该第二图像的每个像素的第二距离信息。该第一成像设备的该相对姿态还可基于该第一距离信息和该第二距离信息。
在本公开的另一方面，该生成该增强图像还包括该第一图像的包括该对象的部分，以表示在该增强图像中的该对象，并且该增强图像的剩余部分包括该第一图像和该第二图像的融合。
根据本公开的各方面，提出了一种用于映射和融合内窥镜图像的方法。该方法包括由第一成像设备捕获在外科手术部位内的对象的第一图像；以及由第二成像设备捕获该对象的第二图像。该第一图像包括从该对象辐射的第一光，以及第一参考点。该第二图像包括从该对象辐射的第二光，以及第二参考点。该方法还包括：将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在显示器上显示该增强图像。
在本公开的又一方面，该第一光可包括红外(IR)带，并且该第二光包括可见带。
在本公开的又一方面，该第一参考点可包括结构光，并且该第二参考点可包括结构光。
在本公开的另一方面，生成该增强图像还可包括确定虚拟成像设备视角。生成该增强图像还可基于该虚拟成像设备视角。
在本公开的又一方面，生成该增强视图还可包括：确定该第一成像设备的第一光路畸变和该第二成像设备的第二光路畸变；以及基于该第一光路畸变来处理该第一图像以匹配该第二光路畸变。
在本公开的另一方面，该方法还可包括基于该第一参考点和该第二参考点执行对该对象的跟踪。
在本公开的一方面，该第一参考点和该第二参考点可包括标识、纹理、点图案和/或唯一标识符。
根据本公开的各方面，该第一图像可包括该第一图像的每个像素的第一距离信息。
该第二图像可包括该第二图像的每个像素的第二距离信息。该第一成像设备的该相对姿态还可基于该第一距离信息和该第二距离信息。
在本公开的另一方面，该生成该增强图像还可包括仅使用该第一图像的包括该对象的部分，以表示该对象，并且该增强图像的剩余部分包括该第一图像和该第二图像的融合。
在本公开的又一方面，该第一成像设备和该第二成像设备可包括立体图成像设备。
根据本公开的各方面，提出了一种非暂时性存储介质，该非暂时性存储介质存储程序，该程序使计算机执行用于映射和融合内窥镜图像的计算机实施的方法。该方法包括由第一成像设备捕获在外科手术部位内的对象的第一图像；以及由第二成像设备捕获该对象的第二图像。该第一图像包括从该对象辐射的第一光，以及第一参考点。该第二图像包括从该对象辐射的第二光，以及第二参考点。该方法还包括：将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在显示器上显示该增强图像。
根据本公开的各方面，一种用于映射和构建3D模型的系统包括：显示器；光源，该光源被配置为在外科手术部位内提供光；第一成像设备，该第一成像设备被配置为从该外科手术部位获取图像；第二成像设备，该第二成像设备被配置为从该外科手术部位获取图像；和成像设备控制单元，该成像设备控制单元被配置为控制该第一成像设备和该第二成像设备。该控制单元包括处理器和存储器，该存储器上存储有指令，该指令在由该处理器执行时使该系统：由该第一成像设备捕获在外科手术部位内的对象的图像；以及由该第二成像设备捕获该对象的第二图像；分割该第一图像以提取已知参考对象；基于所提取的已知参考对象来确定该第一成像设备的第一相对位置；分割该第二图像以提取该已知参考对象；基于所提取的已知参考对象来确定该第二成像设备的第二相对位置；以及基于所确定的第一相对位置和所确定的第二相对位置来构建该外科手术部位的3D模型。
在本公开的一方面，该光源可被配置为产生红外(IR)带和/或可见带。
在本公开的另一方面，该第一成像设备可包括该外科手术部位的第一视角，并且该第二成像设备可包括该外科手术部位的第二视角，该第二视角与该第一视角不同。
在本公开的又一方面，该系统还可包括第二光源，该第二光源将结构光发射到在该外科手术部位内的该对象。
在本公开的另一方面，该指令在被执行时还可使该处理器在构建该3D模型时：确定虚拟成像设备位置；基于该虚拟成像设备位置来生成该3D模型的虚拟视角；以及在显示器上显示该3D模型的该虚拟视角。
在本公开的又一方面，该虚拟视角可包括立体图像。
在本公开的又一方面，该第一成像设备可包括2D成像设备，并且该第二成像设备可包括立体图成像设备。
根据本公开的各方面，一种用于映射和构建3D模型的方法包括：由第一成像设备捕获在外科手术部位内的对象的图像；以及由第二成像设备捕获该对象的第二图像；分割该第一图像以提取已知参考对象；基于所提取的已知参考对象来确定该第一成像设备的第一相对位置；分割该第二图像以提取该已知参考对象；基于所提取的已知参考对象来确定该第二成像设备的第二相对位置；以及基于所确定的第一相对位置和所确定的第二相对位置来构建该外科手术部位的3D模型。
在本公开的一方面，该方法还可包括由第一光源产生红外(IR)带或可见带中的至少一者。
在本公开的另一方面，该第一成像设备可包括该外科手术部位的第一视角，并且该第二成像设备可包括该外科手术部位的第二视角，该第二视角与该第一视角不同。
在本公开的又一方面，该方法还可包括将结构光发射到在该外科手术部位内的该对象。
在本公开的另一方面，构造该3D模型还可包括：确定虚拟成像设备位置；基于该虚拟成像设备位置来生成该3D模型的虚拟视角；以及在显示器上显示该3D模型的该虚拟视角。
在本公开的又一方面，该第一成像设备可包括2D成像设备，并且该第二成像设备可包括立体图成像设备。
在本公开的又一方面，该虚拟视角可包括立体图像。
下文参考附图更详细地描述了本公开的各种实施方案的另外的细节和方面。
附图说明
本文结合附图描述了本公开的实施方案，其中：
图1是根据本公开的用户界面和机器人系统的示意性图示；
图2是图1的机器人系统的连杆的透视图；
图3是外科手术部位的示意性图示，图1的机器人系统的工具插入其中；
图4是根据本公开的实施方案的可视化或成像系统的示意性配置；并且
图5是根据本公开的示例性实施方案的用于对内窥镜图像映射和融合的方法的流程图；
下文将参照附图更详细地描述本公开的示例性实施方案的更多细节和方面。在不脱离本公开的范围的情况下，可组合本公开的以上方面和实施方案中的任一者。
具体实施方式
参考附图详细地描述了当前所公开的设备、系统和治疗方法的实施方案，其中在若干视图中的每一个中，相同附图标记指代相同或对应的元素。如本文所用，术语“远侧”是指结构的距使用者较远的那部分，而术语“近侧”是指结构的距使用者较近的那部分。术语“临床医生”是指医生、护士或其他护理提供者并可包括支持人员。
本公开可适用于捕获外科手术部位的图像的情况。提供内窥镜系统作为示例，但将理解，这样的描述是示例性的，并且不限制本公开的范围和对其它系统和程序的适用性。
微创外科手术部位可视化的直接方法是使用白光内窥镜，其中在机器人外科手术中特别地期望立体成像。近红外荧光可用于查看面向功能的图像，诸如示出血液灌注的吲哚菁绿色染料。不幸地，这两个成像方法通常存在于两个单独内窥镜中，使得图像被单独地显示，从而有损其手术中实用性。期望允许这两个不同的成像方法在单个融合显示中一起显示，该融合显示提供外科手术部位信息的一致表示。
时间顺序或几何独特的同时结构光投影允许在两个或更多个内窥镜视图中同时地看到共同点。跨单独的窥镜视图的这些共同空间点允许由每个内窥镜看到的3D维度表面渲染在共同坐标系中。在多个窥镜已知这些3D表面的情况下，可从最临床上适当的视图创建和显示融合数据集。
通过使用一种或多种用于以允许共同点是跨多个相机已知的方式得到图像中的每个观察到的像素与相机的图像传感器的距离的技术，可创建共同3D数据环境。需要一种用于使RGBD图像(在每个像素处的颜色(例如红色、绿色、蓝色)的RGB和像素距相机的距离D)之间相关的装置以得到共同点。这可用可由多个相机同时地观察到的结构光投影完成。该光投影可例如在具有各自唯一地显示的点的序列中执行，或者其可在点大小和/或形状用于区分彼此时对许多点执行。
可预期由多个相机观察到的表面通过自然过程以及作为部位的外科手术操纵的结果而变形。因此，多相机共同点应当以及时方式持续地进行更新，因为表面有可能在观察到一系列点的时间期间变形。因此，要么定序投影需要比一些所预期的变形速度阈值快，要么可使用多重同时投影点方法。
由于可在所有相机中测量跨越可观察到的外科手术部位的足够数量的共同3D点，因此可计算相机相对于彼此的相对姿态并将其用于允许图像数据投影到通常观察的3D表面上。可能需要校准单独的相机以考虑光路畸变，以及相对于该路径的成像仪姿态。
在所有这些测量和校准存在的情况下，生成外科手术部位的共同数据融合表示。由此，可生成来自所期望的虚拟内窥镜位置的投影视图以向外科医生提供她期望的视角。该查看位置可相对于时变数据融合表示动态地更新，或者数据融合表示可在时间上固定或甚至被记录和回放，而相机视角被操纵以提供附加外科手术部位洞察。还需注意，准许多个观察者同时从他们自己选择的视角查看外科手术部位。
参考图1，根据本公开的机器人外科手术系统1一般被示出为机器人系统10、处理单元30和用户界面40。机器人系统10通常包含连杆或臂12和机器人基座18。臂12可移动地支撑具有末端执行器22的工具20，该末端执行器被配置为作用于组织。臂12各自具有支撑工具20的末端14。另外，臂12的末端14可包括成像设备16、16B，该成像设备用于对外科手术部位“S”进行成像。用户界面40通过处理单元30与机器人基座18通信。
用户界面40包括被配置为显示三维图像的显示设备44。显示设备44显示外科手术部位“S”的三维图像，该三维图像可包括由定位在臂12的末端14上的成像设备16、16B捕获的数据和/或包括由定位在外科手术室周围的成像设备(例如，定位在外科手术部位“S”内的成像设备、定位成邻近于患者的成像设备、定位在成像连杆或臂52的远侧末端的成像设备56)捕获的数据。成像设备(例如，成像设备16、16B、56)可捕获外科手术部位“S”的可视图像、红外图像、超声图像、X射线图像、热图像和/或任何其他已知的实时图像。成像设备将所捕获的成像数据传输到处理单元30，该处理单元根据成像数据实时地创建外科手术部位“S”的三维图像并将该三维图像传输到显示设备44进行显示。设想的是，成像设备56可以是能够在光的可见光谱中、在红外光谱中或在任何其他光谱中捕获2D/3D图像以及能够对其应用滤波和处理以增强所捕获的图像/视频的光学套管针等。
用户界面40还包括被支撑在控制臂43上的输入手柄42，该输入手柄允许临床医生操纵机器人系统10(例如，移动臂12、臂12的末端14和/或工具20)。输入手柄42中的每个输入手柄与处理单元30通信以向其传输控制信号并从其接收反馈信号。另外地或替代地，输入手柄42中的每一个输入手柄可包含输入设备(未示出)，其允许外科医生操纵(例如，夹持、抓握、启动、打开、关闭、旋转、推进、切片等)支撑在臂12的末端14处的工具20的末端执行器22。
输入手柄42中的每个输入手柄能够移动通过预定义工作空间以将臂12的末端14移动到外科手术部位“S”内。在显示设备44上的三维图像被取向成使得输入手柄42的移动移动臂12的末端14，如在显示设备44上所查看的那样。应当理解，在显示设备上的三维图像的取向可相对于从患者上方来看的视图而成镜像或进行旋转。另外，应当理解，在显示设备44上的三维图像的大小可缩放成比外科手术部位“S”的实际结构更大或更小，从而准许临床医生更好地查看在外科手术部位“S”内的结构。随着输入手柄42移动，工具20以及因此末端执行器22在外科手术部位“S”内移动，如下文所详述。如本文所详述，工具20的移动还可包括支撑工具20的臂12的末端14的移动。
关于机器人外科手术系统1的构造和操作的详细论述，可参考美国专利号8,828,023，该专利的全部内容以引用方式并入本文。
参考图2，机器人系统10被配置成支撑其上的工具20(图1)并且选择性地在相对于患者“P”(图1)中的小切口的多个定向上移动工具20，同时将工具20维持在小切口内。臂12包含可枢转地彼此连接的多个细长构件或杆110、120、130、140，以向臂12提供不同的自由度。具体地，臂12包含第一杆110、第二杆120、第三杆130和第四杆140。
第一杆110具有第一末端110a和第二末端110b。第一末端110a可旋转地联接到固定结构。固定结构可以是锁定在适当位置的可移动推车102、外科手术台、支柱、手术室壁或存在于手术室中的其它结构。第一马达“M1”可操作地联接到第一末端110a以使第一杆110围绕第一旋转轴线A1旋转，该第一旋转轴线穿过横向于第一杆110的纵向轴线的第一末端110a。第一杆110的第二末端110b具有第二马达“M2”，该第二马达可操作地联接到第二杆120的第一末端120a，因此马达“M2”的致动影响第二杆120相对于第一杆110围绕第二旋转轴线A2的旋转，该第二旋转轴线被限定为穿过第一杆110的第二末端110b以及第二杆120的第一末端120a。可以预见，第二旋转轴线A2可以横向于第一杆110的纵向轴线以及第二杆120的纵向轴线。
第二杆120的第二末端120b可操作地联接到第三杆130的第一末端130a以使第三杆130相对于第二杆120围绕第三旋转轴线A3旋转，该第三旋转轴线穿过第二杆的第二末端120b以及第三杆130的第一末端130a。第三旋转轴线A3平行于第二旋转轴线A2。第二杆120围绕第二旋转轴线A2的旋转影响第三杆130围绕第三旋转轴线A3的旋转，使得第一杆110和第三杆130维持基本上彼此平行的关系。
第三杆130的第二末端130b可操作地联接到第四杆140的第一末端140a。第四杆140相对于第三杆130围绕第四旋转轴线A4旋转，该第四旋转轴线穿过第三杆130的第二末端130b以及第四杆140的第一末端140a。
另外参考图3，第四杆140可呈轨道的形式，该轨道支撑滑件142。滑件142可沿着平行于第四杆140的纵向轴线的轴线滑动且支撑工具20。
在外科手术过程中，机器人系统10接收来自用户界面40的输入命令以移动工具20，从而移动末端执行器22以操纵和/或作用于外科手术部位“S”内的组织。具体地，机械臂12的杆110、120、130、140相对于彼此旋转，并且滑件142响应于输入命令而平移以在外科手术部位“S”内定位和定向工具20。为了控制机械臂12，机器人系统10根据输入命令计算工具20的所需工具姿态、捕获工具20的工具姿态，并且操纵机械臂12以将工具20移动到所需工具姿态。根据所需工具姿态，机器人系统10计算机械臂12的所需臂姿态以实现所需工具姿态。然后，机械臂12响应于用户界面40(图1)捕获的输入而确定要操纵杆110、120、130、140中的哪些以达成所需臂姿态，并且因此达成外科手术部位“S”内的工具20的所需工具姿态。
为了确定机械臂12的臂姿态，机器人系统10用定位在外科手术部位“S”内的成像设备或内窥镜200来捕获外科手术部位“S”内的工具20的位置和定向或工具姿态。如下文所详述，内窥镜200被描述为捕获在外科手术部位内的工具姿态；然而，设想的是，可使用成像设备，并且成像设备中的每个成像设备可包括单个或多个透镜以捕获二维或三维图像。
内窥镜200可以固定在外科手术部位“S”内，可以由外科手术室内的临床医生操纵，或者可以附接到另一机械臂12，使得可以在外科手术过程中操纵内窥镜200的位置和定向。机器人系统10使用已知技术使用内窥镜200在视觉上捕获外科手术部位“S”内的工具20的工具姿态。工具20可包含标志以辅助捕获工具姿态，其可包含(但不限于)使用不同的颜色、不同的标记、不同的形状或其组合。相对于内窥镜200在相机框架中捕获工具20的工具姿态，并且可以将该工具姿态转换到外科手术部位“S”的框架、工具20的框架、机械臂12的框架、或任何其它所需参考框架。可以预见，将工具20的工具姿态转换到固定框架可能是有益的。
根据工具20的工具姿态，机器人系统10可以用机械臂12的已知运动学特性来计算机械臂12的臂姿态，从工具20的工具姿态开始计算并朝着第一杆110进行。通过根据工具20的工具姿态计算机械臂12的臂姿态，将工具20移动到外科手术部位“S”内的所需工具姿态的解决方案考虑了机械臂12或工具20在承受负载时的任何变形。另外，通过根据工具姿态计算臂姿态，无需知道固定结构(例如，可移动推车102)的位置、无需知道臂12的第一杆110(图2)联接至哪里，也无需确定将工具20移动到所需工具姿态的解决方案。在计算解决方案时，机器人系统10考虑了臂12与其它臂12、外科手术室内的临床医生、患者或外科手术室内的其它结构的任何可能的碰撞。此外，通过在共同框架(例如，单个内窥镜的相机框架)中计算工具姿态和/或臂姿态，可以通过用每个臂(例如，臂12)的运动学特性同时计算工具和/或臂的姿态以计算杆(例如，杆110)的位置，从而估计臂12的可能碰撞。
可以设想，机器人系统10可以用于通过内窥镜200同时捕获多个工具20的工具姿态。通过捕获多个工具20的工具姿态，可以高精度地控制工具20与工具20的末端执行器22的交互作用。这种高精度的控制可用于完成自动化任务；例如，缝接组织。可以预见，通过使用单个内窥镜200捕获多个工具20的工具姿态，可以通过在自动化任务的持续期间减少将高精度的工具姿态从相机框架转换到另一框架的需要而提高自动化任务的速度和准确性。
设想的是，多于一个相机和/或内窥镜200可用于同时地捕获在外科手术部位“S”内的工具20的工具姿态。应当理解，当使用多个相机时，将工具20的位置和取向转换到除由相机中的一个相机限定的帧之外的帧可能是有益的。
可以设想，根据所捕获的工具姿态确定臂姿态允许根据所捕获的工具姿态和臂12的运动学特性确定支撑每个臂12的可移动推车102的位置。在外科手术过程完成之后，可确定外科手术过程的效率，并且记录可移动推车102的位置。通过将外科手术过程中的可移动推车102的位置与高效率等级进行比较，可以提供用于给定过程的可移动推车102的导向或推荐位置以提高未来外科手术过程的效率。提高外科手术过程的效率可以减少成本、减少外科手术时间和恢复时间，同时改善外科手术效果。
参考图4，示出了内窥镜系统的示意性配置，该系统可以是图1的成像设备16、16B，或者可以是不同类型的系统(例如，可视化系统等)。根据本公开，该系统包含成像设备410、光源420、视频系统430和显示设备440。光源420被配置为经由光纤引导件422通过成像设备410向外科手术部位提供光。成像设备410的远侧端部414包括用于接收或捕获在外科手术部位处的图像的物镜436。物镜436将图像转递或传输到图像传感器432。然后将图像传送给视频系统430进行处理。视频系统430包含用于控制内窥镜和处理图像的成像设备控制器450。成像设备控制器450包括连接到计算机可读存储介质或存储器454的处理器452，该存储介质或存储器可以是易失性类型存储器诸如RAM，或者非易失性类型存储器诸如闪存介质、磁盘介质或其他类型的存储器。在各种实施方案中，处理器452可以是另一种类型的处理器，诸如但不限于数字信号处理器、微处理器、ASIC、图形处理单元(GPU)、现场可编程门阵列(FPGA)或中央处理单元(CPU)。
在各种实施方案中，存储器454可以是随机存取存储器、只读存储器、磁盘存储器、固态存储器、光盘存储器和/或另一种类型的存储器。在各种实施方案中，存储器454可与成像设备控制器450分离，并且可通过电路板的通信总线和/或通过通信电缆诸如串行ATA电缆或其他类型的电缆与处理器452通信。存储器454包含可由处理器452执行以操作成像设备控制器450的计算机可读指令。在各种实施方案中，成像设备控制器450可包括网络接口540以与其它计算机或服务器通信。
参考图5，流程图包括按有序顺序描述的各种框。然而，本领域技术人员将理解，可在不脱离本公开的范围的情况下以不同的次序执行、重复和/或省略流程图的一个或多个框。以下对流程图的描述涉及由一个或多个视频系统430执行的各种动作或任务，但是本领域技术人员将理解，该视频系统430是示例性的。在各种实施方案中，所公开的操作可以由另一部件、设备或系统来执行。在各种实施方案中，视频系统430或其他部件/设备经由在处理器上执行的一个或多个软件应用来执行动作或任务。在各种实施方案中，至少一些操作可以由固件、可编程逻辑设备和/或硬件电路系统来实施。本公开的范围内还预期其它实现方式。
现在参考图5，示出了用于映射和融合内窥镜图像的操作。在各种实施方案中，可由本文以上描述的机器人系统10执行图5的操作。在各种实施方案中，可以由另一类型的系统和/或在另一类型的程序期间执行图5的操作。以下描述将参考机器人系统，但是应当理解，这种描述是示例性的，并且不限制本公开的范围和对其他系统和程序的适用性。
最初，在步骤502，经由物镜436捕获外科手术部位的第一图像并将其转递到机器人系统10的第一成像设备16的图像传感器432。在步骤504，经由物镜436捕获外科手术部位的第二图像并将其转递到机器人系统10的第二成像设备16B的图像传感器432。
图像可包括第一光(例如，红外)和第二光(例如，可见光)。例如，可存在两个光源以为机器人系统10照射外科手术部位。一个光源可以是广谱白光，其波长将被阻挡，使得该波长不会高于约740nm的可见范围。另一个光源可以是纯近红外，通常在约780nm与850nm之间的任何位置。设想的是，第一光和第二光可同时地或以任何次序使用。
如本文所使用的术语“图像”可包括静态图像或动态图像(例如，视频)。第一图像包括第一光(例如，红外)。第二图像包括第二光(例如，可见光)。例如，可存在两个光源以为机器人系统10照射外科手术部位。一个光源可以是广谱白光，其波长将被阻挡，使得该波长不会高于约740nm的可见范围。另一个光源可以是纯近红外，通常在约780nm与850nm之间的任何位置。设想的是，第一光和第二光可同时地或以任何次序使用。在系统中，成像设备116、16B的图像传感器432可包括CMOS传感器。
在系统中，当需要基于吲哚菁绿色(ICG)的基于荧光的成像时，系统可包括将允许可见光和红外光(IR)光照同时地打开而可见光分量的照明强度大幅地降低的模式。基于ICG的成像使用近红外光来为在外科手术过程期间的组织成像添加对比度。
在系统中，所捕获的图像被传送到视频系统430进行处理。例如，在内窥镜手术过程期间，外科医生可用电外科手术器械切割组织。当捕获第一图像和第二图像时，该第一图像和第二图像可包括对象诸如组织和/或器械。
该对象还可包括参考点，该参考点被配置为辅助多个内窥镜图像的对齐。可使用结构光来将参考点投影到对象上。结构光是将已知图案(通常是网格或水平条)投影到场景上的过程。这些在撞击表面时变形的方式允许视觉系统诸如机器人系统10计算在场景中的对象的深度和表面信息。不可见(或不可察觉)结构光使用结构光，而不干扰投影图案将混淆的其他计算机视觉任务。示例性方法包括使用IR光或极高帧率在两个完全相反的图案之间交替。在各种实施方案中，结构光可包括时间定序和/或几何独特的结构光投影。
在对象上的IR结构光参考点在该模式下可以是可见的，并且优先考虑的是在组织显示出其被灌注时。在各种实施方案中，IR结构光参考点可相对于灌注更暗。该系统可重新调谐IR结构光参考点的IR波长。例如，ICG IR光可处于785nm，而IR结构光可高于850nm。以此方式，结构光IR光将不会刺激ICG，反之亦然。在各种实施方案中，成像设备16、16B和/或机器人系统10可包括多个IR源。
例如，参考点可位于器械的轴上或器官上。参考点可包括几何形状，或例如标识、QR码、纹理、点图案和/或唯一标识符。
可在内窥镜中使用的CMOS成像器对IR敏感并通常具有阻挡接收该IR的滤波器以防止图像因人眼不可见的光而偏斜。由于人体内通常没有光存在，因此所有照明需要由内窥镜系统添加，例如，这些照明都不是自然光，其含有IR。如果结构光所需的IR波长被调谐到与用于激活可用于观察在外科手术期间的灌注的吲哚菁绿色染料(ICG)的IR波长相同，则可利用可内置到内窥镜中的相同的ICG能力。例如，该波长可在约785nm的范围内。视频系统430访问第一图像和第二图像以进行进一步处理。
在步骤506，视频系统430将在第一图像中的第一参考点的第一位置与在第二图像中的第二参考点的第二位置进行比较。例如，由于在第一成像设备与第二成像设备之间的不同的相对姿态，在第一图像中的对象可处于与在第二图像中的相同对象略有不同的位置。
在步骤508，视频系统430基于比较来确定第一成像设备与第二成像设备的相对姿态。例如，视频系统430可基于比较来确定第一成像设备相对于第二成像设备在左边几厘米。第一图像可包括第一图像和第二图像的每个像素的距离信息。第一成像设备的相对姿态可基于在第一图像中的距离信息。第二成像设备的相对姿态可基于在第二图像中的距离信息。
在步骤510，视频系统430基于所确定的相对姿态来生成融合第一图像和第二图像的增强图像。可见光图像可包括颜色信息，并且IR图像可包括灰度图像。当融合两个图像时，可执行某种混合。数据融合表示的一些区域可仅包括单个成像设备的信息。例如，在增强图像中，器官可仅包括颜色信息而不包括灰度信息，但是图像的剩余部分将是颜色信息和灰度信息的混合。
例如，如果深度启用的图像将融合到外科手术部位表示中的多个相机具有广泛变化的成像模态，即可见光在一个成像模态中产生全色彩而NIR在另一个成像模态中产生灰度图像，则应当进行调适以将这些混合。与在可见光之上的NIR信息的基于透明度的渲染的常见变化非常相似，必须进行某种适当混合。可能存在其中数据融合表示的一些区域将仅具有投影在其上的单个相机的信息以使得其将不会具有混合信息的方面。仍然，当查看相机点在那些区域处时，可以适当方式渲染从混合到单个源的转变以减轻认知失调。
当生成增强图像时，视频系统430可确定第一成像设备的第一光路畸变和第二成像设备的第二光路畸变。然后，视频系统430可基于第一光路畸变来处理第一图像以匹配第二光路畸变。
视频系统430可生成虚拟图像视角。视频系统430可基于临床医生的输入来确定虚拟成像设备视角，并且所生成的增强图像可基于虚拟成像设备视角。例如，可生成来自所期望的虚拟内窥镜位置的投影视图以向临床医生提供他期望的视角。
在步骤512，视频系统430在显示器上显示增强图像以供操作员查看。在各种实施方案中，视频系统430可基于第一参考点和第二参考点基于检测到的对象来执行对该对象的跟踪。例如，还可通过创建两个合成相机而不是由所期望的立体基距分离的两个合成相机来提供立体查看。所得的两个图像可使用标准技术来显示在典型的立体监视器上。
参考图6，流程图包括按有序顺序描述的各种框。然而，本领域技术人员将理解，可在不脱离本公开的范围的情况下以不同的次序执行、重复和/或省略流程图的一个或多个框。以下对流程图的描述涉及由一个或多个视频系统430执行的各种动作或任务，但是本领域技术人员将理解，该视频系统430是示例性的。在各种实施方案中，所公开的操作可以由另一部件、设备或系统来执行。在各种实施方案中，视频系统430或其他部件/设备经由在处理器上执行的一个或多个软件应用程序来执行动作或任务。在各种实施方案中，至少一些操作可以由固件、可编程逻辑设备和/或硬件电路系统来实施。本公开的范围内还预期其它实现方式。
继续参考图6，示出了用于映射和构建3D模型的操作。在各种实施方案中，可由本文以上描述的机器人系统10执行图5的操作。在各种实施方案中，可由另一种类型的系统和/或在另一种类型的过程期间执行图6的操作。以下描述将参考机器人系统，但是应当理解，这种描述是示例性的，并且不限制本公开的范围和对其他系统和程序的适用性。
最初，在步骤602，经由物镜436捕获外科手术部位的第一图像并将其转递到机器人系统10的第一成像设备16的图像传感器432。在步骤604，经由物镜436捕获外科手术部位的第二图像并将其转递到机器人系统10的第二成像设备16B的图像传感器432。例如，第一成像设备可以是位于套管针上/中的宽视场2D成像设备。第二成像设备可以是例如立体成像设备，诸如内窥镜。第一成像设备和第二成像设备可具有彼此不同的视角。设想的是，第一成像设备和第二成像设备可以是成像设备(例如，两个2D设备、2D设备和立体设备、两个立体设备等)的任何组合。还设想了多于两个成像设备可用于图像捕获。
接下来，在步骤606处，该方法分割第一图像和第二图像以提取已知参考(例如，外科手术工具或成像设备)。图像分割是将图像划分为多个段(例如，称为图像对象的像素集合)并将标签指派给图像中的每个像素以使得具有相同标签的像素共享某些特性的过程。图像分割可用于图像中的对象检测，例如，以提取在外科手术部位的图像中的已知参考(例如，结构光、器官或外科手术工具)。
在各种实施方案中，第一图像可包括第一成像设备的第一位置，并且第二图像可包括第二成像设备的位置。位置信息可基于例如位置传感器(例如，GPS、RFID)或成像设备的位置的手动输入。第一成像设备具有外科手术部位的第一视角，并且第二成像设备可具有外科手术部位的第二视角，该第二视角与第一视角不同。在各种实施方案中，已知参考对象可包括投影在外科手术部位上的结构光。第二光源可用于在外科手术部位上投影结构光。可在第一图像和第二图像中捕获结构光，并且可例如将其用于图像的位置的比较。
接下来，在步骤608，该方法基于已知参考对象(例如，分别是第一相对位置和第二相对位置)来确定成像设备中的每个成像设备的相对位置。
接下来，在步骤610，该方法基于第一成像设备的所确定的第一相对位置和第二成像设备的所确定的第二相对位置来构建3D模型。
当构建3D模型时，该方法还可包括确定虚拟成像设备视角，从而基于虚拟成像设备来生成3D模型的虚拟视角。例如，可生成来自所期望的虚拟内窥镜位置的3D模型的虚拟视角以向外科医生提供他们期望的视角。该查看位置可相对于时变3D模型表示动态地更新，或者3D模型表示可在时间上固定或甚至被记录和回放，而虚拟成像设备视角被操纵以提供附加外科手术部位洞察。还需注意，准许多个观察者同时从他们自己选择的视角查看外科手术部位。需注意，还可通过创建两个虚拟成像设备位置而不是由所期望的立体基距分离的两个虚拟成像设备位置来提供立体查看。所得的两个图像可使用标准技术来显示在典型的立体监视器上。接下来，在步骤612处，该方法显示立体虚拟成像设备视角。
本文公开的实施方案是本公开的示例，并且可以各种形式体现。例如，虽然本文的某些实施方案被描述为单独实施方案，但本文的这些实施方案中的每一者可与本文的其他实施方案中的一者或多者组合。因此，本文公开的具体的结构性和功能性细节不应当被解释为限制性的，而是应当被解释为权利要求书的基础并解释为用于教导本领域技术人员在实际上任何适当地详细描述的结构中采用本公开内容的代表性基础。在图式的整个描述中，相同的附图标号可指代类似或等同的元件。
短语“在一个实施方案中”、“在实施方案中”、“在一些实施方案中”或“在其它实施方案中”可各自指代根据本公开的相同或不同实施方案中的一者或多者。呈形式“A或B”的短语意指“(A)、(B)或(A和B)”。形式“A、B或C中的至少一者”的短语意指“(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)”。术语“临床医生”可以指执行医疗程序的临床医生或任何医疗专业人员，如医生、护士、技师、医疗助理等。
本文描述的系统还可利用一个或多个控制器来接收各种信息并转换所接收的信息以产生输出。控制器可包括任何类型的计算设备、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包括多个处理器和/或多核中央处理单元(CPU)，并且可包括任何类型的处理器，诸如微处理器、数字信号处理器、微控制器、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)等。控制器还可包括存储器以存储数据和/或指令，这些数据和/或指令在被该一个或多个处理器执行时使该一个或多个处理器执行一种或多种方法和/或算法。
本文描述的方法、程序、算法或代码中的任一者可转变为编程语言或计算机程序，或者以编程语言或计算机程序表达。如本文所用，术语“编程语言”和“计算机程序”各自包括用于为计算机指定指令的任何语言，并且包括(但不限于)以下语言和其衍生物：汇编程序、Basic、Batch文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本处理语言、可视化Basic、自身指定程序的元语言和所有第一、第二、第三、第四、第五或更高代计算机语言。还包括数据库和其他数据模式以及任何其他元语言。没有对解释、编译语言或同时使用编译和解释方法的语言进行区分。没有对程序的编译和源版本进行区分。因此，对编程语言可以多于一种状态(诸如源、编译、目标或链接)存在的程序的提及是对任何和所有此类状态的提及。对程序的提及可涵盖实际指令和/或这些指令的意图。
本文描述的方法、程序、算法或代码中的任一者可被含有在一个或多个机器可读介质或存储器上。术语“存储器”可包含以诸如处理器、计算机或数字处理设备的机器可读的形式提供(例如，存储和/或传输)信息的机构。例如，存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存存储器设备或任何其他易失性或非易失性存储器存储设备。其上含有的代码或指令可由载波信号、红外信号、数字信号和其他类似信号表示。
应当理解，前面的描述仅仅是对本公开的说明。在不脱离本公开的情况下，本领域技术人员可设计出各种另选方案和修改型式。因此，本公开旨在包含所有这些替代方案、修改和变化。呈现参考附图描述的实施方案仅为了展示本公开的某些示例。与上述和/或所附权利要求书中所述的那些没有明显不同的其他元素、步骤、方法以及技术也旨在包括在本公开的范围内。

Claims (34)

1.一种用于映射和融合内窥镜图像的系统，所述系统包括：
显示器；
光源，所述光源被配置为在外科手术部位内提供光，所述光源被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光；
第一成像设备，所述第一成像设备被配置为从所述外科手术部位获取图像；
第二成像设备，所述第二成像设备被配置为从所述外科手术部位获取图像；和
成像设备控制单元，所述成像设备控制单元被配置为控制所述第一成像设备和所述第二成像设备，所述控制单元包括：
处理器；和
存储器，所述存储器上存储有指令，所述指令在由所述处理器执行时使所述系统：
由所述第一成像设备捕获在外科手术部位内的对象的第一图像，所述第一图像包括从所述对象辐射的所述第一光，以及第一参考点；
由所述第二成像设备捕获所述对象的第二图像，所述第二图像包括从所述对象辐射的所述第二光，以及第二参考点；
将在所述第一图像中的所述第一参考点的第一位置与在所述第二图像中的所述第二参考点的第二位置进行比较；
基于所述比较来确定所述第一成像设备与所述第二成像设备的相对姿态；
基于所确定的相对姿态来生成融合所述第一图像和所述第二图像的增强图像；以及
在所述显示器上显示所述增强图像。
2.根据权利要求1所述的系统，其中所述光源被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光。
3.根据权利要求1所述的系统，其中所述第一参考点包括结构光，并且其中所述第二参考点包括结构光。
4.根据权利要求3所述的系统，其中生成所述增强图像还包括：
确定虚拟成像设备视角，并且
其中生成所述增强图像还基于所述虚拟成像设备视角。
5.根据权利要求1所述的系统，其中生成所述增强视图还包括：
确定所述第一成像设备的第一光路畸变和所述第二成像设备的第二光路畸变；以及
基于所述第一光路畸变来处理所述第一图像以匹配所述第二光路畸变。
6.根据权利要求1所述的系统，其中所述指令在被执行时还使所述系统基于所述第一参考点和所述第二参考点执行对所述对象的跟踪。
7.根据权利要求1所述的系统，其中所述第一参考点和所述第二参考点包括标识、QR码、纹理、点图案或唯一标识符中的至少一者。
8.根据权利要求1所述的系统，其中所述第一图像包括所述第一图像的每个像素的第一距离信息，
其中所述第二图像包括所述第二图像的每个像素的第二距离信息，并且
其中所述第一成像设备的所述相对姿态还基于所述第一距离信息和所述第二距离信息。
9.根据权利要求1所述的系统，其中所述生成所述增强图像还包括所述第一图像的包括所述对象的部分，以表示在所述增强图像中的所述对象，并且所述增强图像的剩余部分包括所述第一图像和所述第二图像的融合。
10.一种用于映射和融合内窥镜图像的方法，所述方法包括：
由第一成像设备捕获在外科手术部位内的对象的第一图像，所述第一图像包括从所述对象辐射的第一光，以及第一参考点；
由第二成像设备捕获所述对象的第二图像，所述第二图像包括第二参考点和从所述对象辐射的所述第二光，以及第二参考点；
将在所述第一图像中的所述第一参考点的第一位置与在所述第二图像中的所述第二参考点的第二位置进行比较；
基于所述比较来确定所述第一成像设备与所述第二成像设备的相对姿态；
基于所确定的相对姿态来生成融合所述第一图像和所述第二图像的增强图像；以及
在显示器上显示所述增强图像。
11.根据权利要求10所述的方法，其中所述第一光包括红外(IR)带，并且所述第二光包括可见带。
12.根据权利要求10所述的方法，其中所述第一参考点包括结构光，并且其中所述第二参考点包括结构光。
13.根据权利要求12所述的方法，其中生成所述增强图像还包括：
确定虚拟成像设备视角，并且
其中生成所述增强图像还基于所述虚拟成像设备视角。
14.根据权利要求10所述的方法，其中生成所述增强视图还包括：
确定所述第一成像设备的第一光路畸变和所述第二成像设备的第二光路畸变；以及
基于所述第一光路畸变来处理所述第一图像以匹配所述第二光路畸变。
15.根据权利要求10所述的方法，其中所述方法还包括基于所述第一参考点和所述第二参考点执行对所述对象的跟踪。
16.根据权利要求10所述的方法，其中所述第一参考点和所述第二参考点包括标识、QR码、纹理、点图案或唯一标识符中的至少一者。
17.根据权利要求10所述的方法，其中所述第一图像包括所述第一图像的每个像素的第一距离信息，
其中所述第二图像包括所述第二图像的每个像素的第二距离信息，并且
其中所述第一成像设备的所述相对姿态还基于所述第一距离信息和所述第二距离信息。
18.根据权利要求10所述的方法，其中所述生成所述增强图像还包括仅使用所述第一图像的包括所述对象的部分，以表示所述对象，并且所述增强图像的剩余部分包括所述第一图像和所述第二图像的融合。
19.根据权利要求10所述的方法，其中所述第一成像设备和所述第二成像设备包括立体图成像设备。
20.一种非暂时性存储介质，所述非暂时性存储介质存储程序，所述程序使计算机执行用于映射和融合内窥镜图像的计算机实施的方法，所述计算机实施的方法包括：
由第一成像设备捕获在外科手术部位内的对象的第一图像，所述第一图像包括从所述对象辐射的第一光，以及第一参考点；
由所述第二成像设备捕获所述对象的第二图像，所述第二图像包括从所述对象辐射的所述第二光，以及第二参考点；
将在所述第一图像中的所述第一参考点的第一位置与在所述第二图像中的所述第二参考点的第二位置进行比较；
基于所述比较来确定所述第一成像设备与所述第二成像设备的相对姿态；
基于所确定的相对姿态来生成融合所述第一图像和所述第二图像的增强图像；以及
在显示器上显示所述增强图像。
21.一种用于映射和构建3D模型的系统，所述系统包括：
显示器；
光源，所述光源被配置为在外科手术部位内提供光；
第一成像设备，所述第一成像设备被配置为从所述外科手术部位获取图像；
第二成像设备，所述第二成像设备被配置为从所述外科手术部位获取图像；和
成像设备控制单元，所述成像设备控制单元被配置为控制所述第一成像设备和所述第二成像设备，所述控制单元包括：
处理器；和
存储器，所述存储器上存储有指令，所述指令在由所述处理器执行时使所述系统：
由所述第一成像设备捕获在外科手术部位内的对象的图像；
由所述第二成像设备捕获所述对象的第二图像；
分割所述第一图像以提取已知参考对象；
基于所提取的已知参考对象来确定所述第一成像设备的第一相对位置；
分割所述第二图像以提取所述已知参考对象；
基于所提取的已知参考对象来确定所述第二成像设备的第二相对位置；以及
基于所确定的第一相对位置和所确定的第二相对位置来构建所述外科手术部位的3D模型。
22.根据权利要求21所述的系统，其中所述光源被配置为产生红外(IR)带或可见带中的至少一者。
23.根据权利要求21所述的系统，其中所述第一成像设备包括所述外科手术部位的第一视角，
其中所述第二成像设备包括所述外科手术部位的第二视角，所述第二视角与所述第一视角不同。
24.根据权利要求21所述的系统，所述系统还包括：
第二光源，所述第二光源将结构光发射到在所述外科手术部位内的所述对象。
25.根据权利要求21所述的系统，其中所述指令在被执行时还使所述系统在构建所述3D模型时：
确定虚拟成像设备位置；
基于所述虚拟成像设备位置来生成所述3D模型的虚拟视角；以及
在显示器上显示所述3D模型的所述虚拟视角。
26.根据权利要求25所述的系统，其中所述虚拟视角包括立体图像。
27.根据权利要求21所述的系统，其中所述第一成像设备包括2D成像设备，并且
其中所述第二成像设备包括立体图成像设备。
28.一种用于映射和构建3D模型的方法，所述方法包括：
捕获在外科手术部位内的对象的第一图像；
由第二成像设备捕获所述对象的第二图像；
分割所述第一图像以提取已知参考对象；
基于所提取的已知参考对象来确定所述第一成像设备的第一相对位置；
分割所述第二图像以提取所述已知参考对象；
基于所提取的已知参考对象来确定所述第二成像设备的第二相对位置；以及
基于所确定的第一相对位置和所确定的第二相对位置来构建所述外科手术部位的3D模型。
29.根据权利要求28所述的方法，所述方法还包括：
由第一光源产生红外(IR)带或可见带中的至少一者。
30.根据权利要求28所述的方法，其中所述第一成像设备包括所述外科手术部位的第一视角，
其中所述第二成像设备包括所述外科手术部位的第二视角，所述第二视角与所述第一视角不同。
31.根据权利要求28所述的方法，所述方法还包括：
将结构光发射到在所述外科手术部位内的所述对象。
32.根据权利要求28所述的方法，其中构建所述3D模型还包括：
确定虚拟成像设备位置；
基于所述虚拟成像设备位置来生成所述3D模型的虚拟视角；以及
在显示器上显示所述3D模型的所述虚拟视角。
33.根据权利要求32所述的方法，其中所述虚拟视角包括立体图像。
34.根据权利要求28所述的方法，其中所述第一成像设备包括2D成像设备，并且
其中所述第二成像设备包括立体图成像设备。
CN202180033320.5A 2020-05-12 2021-05-12 用于在外科手术过程期间的图像映射和融合的系统和方法 Pending CN115484858A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063023435P 2020-05-12 2020-05-12
US63/023,435 2020-05-12
PCT/US2021/031886 WO2021231508A1 (en) 2020-05-12 2021-05-12 Systems and methods for image mapping and fusion during surgical procedures

Publications (1)

Publication Number Publication Date
CN115484858A true CN115484858A (zh) 2022-12-16

Family

ID=76355572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033320.5A Pending CN115484858A (zh) 2020-05-12 2021-05-12 用于在外科手术过程期间的图像映射和融合的系统和方法

Country Status (4)

Country Link
US (1) US12262863B2 (zh)
EP (1) EP4149340A1 (zh)
CN (1) CN115484858A (zh)
WO (1) WO2021231508A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024519036A (ja) * 2021-05-17 2024-05-08 エルセント メディカル，インコーポレイテッド 無線位置特定統合のためのシステムおよび方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
CN103460223A (zh) * 2011-02-10 2013-12-18 前视红外系统公司 波长差异的闪烁减少
CN103889353A (zh) * 2011-08-12 2014-06-25 直观外科手术操作公司 外科手术器械中的图像捕获单元
US20160022125A1 (en) * 2013-03-11 2016-01-28 Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image Anatomical site relocalisation using dual data synchronisation
US20190201104A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Surgical hub spatial awareness to determine devices in operating theater

Family Cites Families (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6364888B1 (en) 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US8182469B2 (en) 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
US8206406B2 (en) 1996-12-12 2012-06-26 Intuitive Surgical Operations, Inc. Disposable sterile surgical adaptor
US6132368A (en) 1996-12-12 2000-10-17 Intuitive Surgical, Inc. Multi-component telepresence system and method
US8529582B2 (en) 1996-12-12 2013-09-10 Intuitive Surgical Operations, Inc. Instrument interface of a robotic surgical system
US7727244B2 (en) 1997-11-21 2010-06-01 Intuitive Surgical Operation, Inc. Sterile surgical drape
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US7666191B2 (en) 1996-12-12 2010-02-23 Intuitive Surgical, Inc. Robotic surgical system with sterile surgical adaptor
US7699855B2 (en) 1996-12-12 2010-04-20 Intuitive Surgical Operations, Inc. Sterile surgical adaptor
US6714839B2 (en) 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
US6246200B1 (en) 1998-08-04 2001-06-12 Intuitive Surgical, Inc. Manipulator positioning linkage for robotic surgery
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6770081B1 (en) 2000-01-07 2004-08-03 Intuitive Surgical, Inc. In vivo accessories for minimally invasive robotic surgery and methods
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US7125403B2 (en) 1998-12-08 2006-10-24 Intuitive Surgical In vivo accessories for minimally invasive robotic surgery
US6394998B1 (en) 1999-01-22 2002-05-28 Intuitive Surgical, Inc. Surgical tools for use in minimally invasive telesurgical applications
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6565554B1 (en) 1999-04-07 2003-05-20 Intuitive Surgical, Inc. Friction compensation in a minimally invasive surgical apparatus
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US6716233B1 (en) 1999-06-02 2004-04-06 Power Medical Interventions, Inc. Electromechanical driver and remote surgical instrument attachment having computer assisted control capabilities
US6793652B1 (en) 1999-06-02 2004-09-21 Power Medical Interventions, Inc. Electro-mechanical surgical device
US6315184B1 (en) 1999-06-02 2001-11-13 Powermed, Inc. Stapling device for use with an electromechanical driver device for use with anastomosing, stapling, and resecting instruments
US7695485B2 (en) 2001-11-30 2010-04-13 Power Medical Interventions, Llc Surgical device
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
US8768516B2 (en) 2009-06-30 2014-07-01 Intuitive Surgical Operations, Inc. Control of medical robotic system manipulator about kinematic singularities
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US10188471B2 (en) 1999-09-17 2019-01-29 Intuitive Surgical Operations, Inc. Tele-operative surgical systems and methods of control at joint limits using inverse kinematics
US6206903B1 (en) 1999-10-08 2001-03-27 Intuitive Surgical, Inc. Surgical tool with mechanical advantage
US6491691B1 (en) 1999-10-08 2002-12-10 Intuitive Surgical, Inc. Minimally invasive surgical hook apparatus and method for using same
US6312435B1 (en) 1999-10-08 2001-11-06 Intuitive Surgical, Inc. Surgical instrument with extended reach for use in minimally invasive surgery
US6645196B1 (en) 2000-06-16 2003-11-11 Intuitive Surgical, Inc. Guided tool change
US6746443B1 (en) 2000-07-27 2004-06-08 Intuitive Surgical Inc. Roll-pitch-roll surgical tool
US6902560B1 (en) 2000-07-27 2005-06-07 Intuitive Surgical, Inc. Roll-pitch-roll surgical tool
US6840938B1 (en) 2000-12-29 2005-01-11 Intuitive Surgical, Inc. Bipolar cauterizing instrument
US7824401B2 (en) 2004-10-08 2010-11-02 Intuitive Surgical Operations, Inc. Robotic tool with wristed monopolar electrosurgical end effectors
US6994708B2 (en) 2001-04-19 2006-02-07 Intuitive Surgical Robotic tool with monopolar electro-surgical scissors
US6783524B2 (en) 2001-04-19 2004-08-31 Intuitive Surgical, Inc. Robotic surgical tool with ultrasound cauterizing and cutting instrument
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
AU2002322374B2 (en) 2001-06-29 2006-10-26 Intuitive Surgical, Inc. Platform link wrist mechanism
US6817974B2 (en) 2001-06-29 2004-11-16 Intuitive Surgical, Inc. Surgical tool having positively positionable tendon-actuated multi-disk wrist joint
US6676684B1 (en) 2001-09-04 2004-01-13 Intuitive Surgical, Inc. Roll-pitch-roll-yaw surgical tool
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
CA2466812C (en) 2001-12-04 2012-04-03 Michael P. Whitman System and method for calibrating a surgical instrument
US6839612B2 (en) 2001-12-07 2005-01-04 Institute Surgical, Inc. Microwrist system for surgical procedures
US6793653B2 (en) 2001-12-08 2004-09-21 Computer Motion, Inc. Multifunctional handle for a medical robotic system
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
CN100389730C (zh) 2002-12-06 2008-05-28 直观外科手术公司 用于手术工具的柔性肘节
US8882657B2 (en) 2003-03-07 2014-11-11 Intuitive Surgical Operations, Inc. Instrument having radio frequency identification systems and methods for use
US7410483B2 (en) 2003-05-23 2008-08-12 Novare Surgical Systems, Inc. Hand-actuated device for remote manipulation of a grasping tool
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7379790B2 (en) 2004-05-04 2008-05-27 Intuitive Surgical, Inc. Tool memory-based software upgrades for robotic surgery
WO2006015319A2 (en) 2004-07-30 2006-02-09 Power Medical Interventions, Inc. Flexible shaft extender and method of using same
US9261172B2 (en) 2004-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Multi-ply strap drive trains for surgical robotic arms
US9700334B2 (en) 2004-11-23 2017-07-11 Intuitive Surgical Operations, Inc. Articulating mechanisms and link systems with torque transmission in remote manipulation of instruments and tools
US8465474B2 (en) 2009-05-19 2013-06-18 Intuitive Surgical Operations, Inc. Cleaning of a surgical instrument force sensor
US8496647B2 (en) 2007-12-18 2013-07-30 Intuitive Surgical Operations, Inc. Ribbed force sensor
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US11259870B2 (en) 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
US8273076B2 (en) 2005-06-30 2012-09-25 Intuitive Surgical Operations, Inc. Indicator for tool state and communication in multi-arm robotic telesurgery
EP1901884B1 (en) 2005-06-30 2019-02-13 Intuitive Surgical Operations Inc. Indicator for tool state communication in multi-arm telesurgery
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US7762825B2 (en) 2005-12-20 2010-07-27 Intuitive Surgical Operations, Inc. Electro-mechanical interfaces to mount robotic surgical arms
US7689320B2 (en) 2005-12-20 2010-03-30 Intuitive Surgical Operations, Inc. Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
EP1962711B1 (en) 2005-12-20 2012-02-29 Intuitive Surgical Operations, Inc. Instrument interface of a robotic surgical system
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US7453227B2 (en) 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
WO2007111749A2 (en) 2005-12-20 2007-10-04 Intuitive Surgical, Inc. Method for handling an operator command exceeding a medical device state limitation in a medical robotic system
US7741802B2 (en) 2005-12-20 2010-06-22 Intuitive Surgical Operations, Inc. Medical robotic system with programmably controlled constraints on error dynamics
US8182470B2 (en) 2005-12-20 2012-05-22 Intuitive Surgical Operations, Inc. Telescoping insertion axis of a robotic surgical system
US8054752B2 (en) 2005-12-22 2011-11-08 Intuitive Surgical Operations, Inc. Synchronous data communication
US7757028B2 (en) 2005-12-22 2010-07-13 Intuitive Surgical Operations, Inc. Multi-priority messaging
US7756036B2 (en) 2005-12-22 2010-07-13 Intuitive Surgical Operations, Inc. Synchronous data communication
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US8628518B2 (en) 2005-12-30 2014-01-14 Intuitive Surgical Operations, Inc. Wireless force sensor on a distal portion of a surgical instrument and method
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US7835823B2 (en) 2006-01-05 2010-11-16 Intuitive Surgical Operations, Inc. Method for tracking and reporting usage events to determine when preventive maintenance is due for a medical robotic system
US8597182B2 (en) 2006-04-28 2013-12-03 Intuitive Surgical Operations, Inc. Robotic endoscopic retractor for use in minimally invasive surgery
KR101477738B1 (ko) 2006-06-13 2014-12-31 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
US8597280B2 (en) 2006-06-13 2013-12-03 Intuitive Surgical Operations, Inc. Surgical instrument actuator
WO2007146984A2 (en) 2006-06-13 2007-12-21 Intuitive Surgical, Inc. Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US8151661B2 (en) 2006-06-30 2012-04-10 Intuituve Surgical Operations, Inc. Compact capstan
US7391173B2 (en) 2006-06-30 2008-06-24 Intuitive Surgical, Inc Mechanically decoupled capstan drive
US7736254B2 (en) 2006-10-12 2010-06-15 Intuitive Surgical Operations, Inc. Compact cable tension tender device
US7935130B2 (en) 2006-11-16 2011-05-03 Intuitive Surgical Operations, Inc. Two-piece end-effectors for robotic surgical tools
US9226648B2 (en) 2006-12-21 2016-01-05 Intuitive Surgical Operations, Inc. Off-axis visualization systems
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9301807B2 (en) 2007-06-13 2016-04-05 Intuitive Surgical Operations, Inc. Surgical system counterbalance
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8224484B2 (en) 2007-09-30 2012-07-17 Intuitive Surgical Operations, Inc. Methods of user interface with alternate tool mode for robotic surgical tools
US8012170B2 (en) 2009-04-27 2011-09-06 Tyco Healthcare Group Lp Device and method for controlling compression of tissue
US8561473B2 (en) 2007-12-18 2013-10-22 Intuitive Surgical Operations, Inc. Force sensor temperature compensation
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US7886743B2 (en) 2008-03-31 2011-02-15 Intuitive Surgical Operations, Inc. Sterile drape interface for robotic surgical instrument
US7843158B2 (en) 2008-03-31 2010-11-30 Intuitive Surgical Operations, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces
US9895813B2 (en) 2008-03-31 2018-02-20 Intuitive Surgical Operations, Inc. Force and torque sensing in a surgical robot setup arm
US9265567B2 (en) 2008-06-30 2016-02-23 Intuitive Surgical Operations, Inc. Vessel sealing instrument with stepped jaw
US8540748B2 (en) 2008-07-07 2013-09-24 Intuitive Surgical Operations, Inc. Surgical instrument wrist
US9204923B2 (en) 2008-07-16 2015-12-08 Intuitive Surgical Operations, Inc. Medical instrument electronically energized using drive cables
US8821480B2 (en) 2008-07-16 2014-09-02 Intuitive Surgical Operations, Inc. Four-cable wrist with solid surface cable channels
US8315720B2 (en) 2008-09-26 2012-11-20 Intuitive Surgical Operations, Inc. Method for graphically providing continuous change of state directions to a user of a medical robotic system
US20100116080A1 (en) 2008-11-11 2010-05-13 Intuitive Surgical, Inc. Robotic linkage
US8161838B2 (en) 2008-12-22 2012-04-24 Intuitive Surgical Operations, Inc. Method and apparatus for reducing at least one friction force opposing an axial force exerted through an actuator element
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8374723B2 (en) 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
US8858547B2 (en) 2009-03-05 2014-10-14 Intuitive Surgical Operations, Inc. Cut and seal instrument
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8423186B2 (en) 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
US9259275B2 (en) 2009-11-13 2016-02-16 Intuitive Surgical Operations, Inc. Wrist articulation by linked tension members
US8852174B2 (en) 2009-11-13 2014-10-07 Intuitive Surgical Operations, Inc. Surgical tool with a two degree of freedom wrist
KR102009224B1 (ko) 2009-11-13 2019-08-09 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 여분의 닫힘 메커니즘을 구비한 단부 작동기
CN102711586B (zh) 2010-02-11 2015-06-17 直观外科手术操作公司 在机器人内窥镜的远侧尖端自动维持操作者选择的滚动取向的方法和系统
US8644988B2 (en) 2010-05-14 2014-02-04 Intuitive Surgical Operations, Inc. Drive force control in medical instrument providing position measurements
US9019345B2 (en) 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
KR101906539B1 (ko) 2010-07-09 2018-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 전기수술 도구 커버
DE102010043584A1 (de) 2010-11-08 2012-05-10 Kuka Laboratories Gmbh Medizinscher Arbeitsplatz
KR101894093B1 (ko) 2010-11-15 2018-08-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 기구에서 기구 샤프트 감김과 단부 작동기 작동의 해제
US9241766B2 (en) 2010-12-22 2016-01-26 Intuitive Surgical Operations, Inc. Alternate instrument removal
EP3278744B1 (en) 2011-02-15 2021-10-20 Intuitive Surgical Operations, Inc. Indicator for knife location in a stapling or vessel sealing instrument
CN103370015B (zh) 2011-02-15 2016-12-21 直观外科手术操作公司 用于指示夹紧预测的系统
US9393017B2 (en) 2011-02-15 2016-07-19 Intuitive Surgical Operations, Inc. Methods and systems for detecting staple cartridge misfire or failure
CN103391751B (zh) 2011-02-15 2017-06-06 直观外科手术操作公司 检测夹紧或发射失败的系统
KR101964642B1 (ko) 2011-02-15 2019-04-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 구동 샤프트에 의해 가동되는 관절식 말단 작동기를 구비한 수술 기구를 위한 시일 및 실링 방법
WO2012112888A2 (en) 2011-02-18 2012-08-23 Intuitive Surgical Operations, Inc. Fusing and cutting surgical instrument and related methods
US9259277B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Instrument actuation interface
US9043027B2 (en) 2011-05-31 2015-05-26 Intuitive Surgical Operations, Inc. Positive control of robotic surgical instrument end effector
WO2012166817A2 (en) 2011-05-31 2012-12-06 Intuitive Surgical Operations, Inc. Surgical instrument with single drive input for two end effector mechanisms
US8908941B2 (en) 2011-09-16 2014-12-09 The Invention Science Fund I, Llc Guidance information indicating an operational proximity of a body-insertable device to a region of interest
EP3705242B1 (en) 2011-10-21 2025-03-05 Intuitive Surgical Operations, Inc. Grip force control for robotic surgical instrument end effector
WO2013063522A2 (en) 2011-10-26 2013-05-02 Reid Robert Cyrus Surgical instrument motor pack latch
US9503713B2 (en) 2011-11-02 2016-11-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
JP6211534B2 (ja) 2011-12-21 2017-10-11 シャハーフ，キャサリン，エム． 組織表面を整列させる病変を撮像するためのシステム
US9144456B2 (en) 2012-04-09 2015-09-29 Intuitive Surgical Operations, Inc. Surgical instrument control
WO2014028702A1 (en) 2012-08-15 2014-02-20 Intuitive Surgical Operations, Inc. User initiated break-away clutching of a surgical mounting platform
WO2014028563A1 (en) 2012-08-15 2014-02-20 Intuitive Surgical Operations, Inc. Phantom degrees of freedom in joint estimation and control
EP2884934B1 (en) 2012-08-15 2020-10-14 Intuitive Surgical Operations, Inc. Movable surgical mounting platform controlled by manual motion of robotic arms
US9301811B2 (en) 2012-09-17 2016-04-05 Intuitive Surgical Operations, Inc. Methods and systems for assigning input devices to teleoperated surgical instrument functions
EP3932628A1 (en) 2012-12-10 2022-01-05 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
JP6297060B2 (ja) 2012-12-31 2018-03-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 強化されたナイフクリアランスを備える外科用ステープルカートリッジ
US10277097B2 (en) 2013-01-14 2019-04-30 Intuitive Surgical Operations, Inc. Motor assembly
US9675354B2 (en) 2013-01-14 2017-06-13 Intuitive Surgical Operations, Inc. Torque compensation
US9424303B2 (en) 2013-02-15 2016-08-23 Intuitive Surgical Operations, Inc. Systems and methods for synchronizing nodes of a robotic system
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US9839481B2 (en) 2013-03-07 2017-12-12 Intuitive Surgical Operations, Inc. Hybrid manual and robotic interventional instruments and methods of use
US9948852B2 (en) 2013-03-15 2018-04-17 Intuitive Surgical Operations, Inc. Intelligent manual adjustment of an image control element
WO2014151642A1 (en) 2013-03-15 2014-09-25 Intuitive Surgical Operations, Inc. Surgical patient side cart with steering interface
CN109363773B (zh) 2013-05-15 2021-06-29 直观外科手术操作公司 具有悬挂系统的外科手术患者侧推车
CN108095826B (zh) 2013-05-15 2021-04-30 直观外科手术操作公司 远程操作的手术系统的力传递机构
KR102463600B1 (ko) 2013-08-09 2022-11-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 복수의 말단에 수용된 모터를 제어하기 위한 원격 전류 제어기를 갖는 의료 로봇 시스템
WO2015023834A1 (en) 2013-08-15 2015-02-19 Intuitive Surgical Operations, Inc. Instrument sterile adapter drive features
KR102313240B1 (ko) 2013-08-15 2021-10-18 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 로봇 기구 피동 요소
JP6491207B2 (ja) 2013-08-16 2019-03-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 異種の装置間のロギング及び再生のためのシステム及び方法
US9446517B2 (en) 2013-10-17 2016-09-20 Intuitive Surgical Operations, Inc. Fault reaction, fault isolation, and graceful degradation in a robotic system
EP4184483B1 (en) 2013-12-20 2024-09-11 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
JP6664331B2 (ja) 2014-02-21 2020-03-13 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 機械的な関節並びに関連するシステム及び方法
KR20230056068A (ko) 2014-02-21 2023-04-26 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 구속 운동을 갖는 관절운동가능 부재 및 그 관련 장치와 방법
JP6554113B2 (ja) 2014-03-17 2019-07-31 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 防振装置を含む車輪付きカート、並びに関連するシステム及び方法
EP3581138B1 (en) 2014-03-17 2022-10-05 Intuitive Surgical Operations, Inc. Latch to secure teleoperated surgical instrument to actuator
US10201390B2 (en) 2014-03-17 2019-02-12 Intuitive Surgical Operations, Inc. Command shaping to dampen vibrations in mode transitions
US10085811B2 (en) 2014-03-17 2018-10-02 Intuitive Surgical Operations Inc. Restoring instrument control input position/orientation during midprocedure restart
KR102358967B1 (ko) 2014-03-17 2022-02-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 이미징 기기의 방향 제어 시스템 및 방법
EP3119320B1 (en) 2014-03-17 2020-07-22 Intuitive Surgical Operations, Inc. Automated structure with pre-established arm positions in a teleoperated medical system
EP4049611B1 (en) 2014-03-17 2023-12-13 Intuitive Surgical Operations, Inc. Surgical drape and systems including surgical drape and attachment sensor
US9918800B2 (en) 2014-03-17 2018-03-20 Intuitive Surgical Operations, Inc. Surgical system with obstacle indication system
CN106102642B (zh) 2014-03-17 2020-03-31 直观外科手术操作公司 外科手术套管安装件及相关的系统和方法
CN110292441B (zh) 2014-03-17 2022-06-24 直观外科手术操作公司 具有有源偏置的恒定力弹簧
WO2015142933A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Guided setup for teleoperated medical device
CN106456148B (zh) 2014-03-19 2020-06-12 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
JP6689203B2 (ja) 2014-03-19 2020-04-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 立体ビューワのための視線追跡を統合する医療システム
EP3193768A4 (en) 2014-09-17 2018-05-09 Intuitive Surgical Operations, Inc. Systems and methods for utilizing augmented jacobian to control manipulator joint movement
US10123846B2 (en) 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller
CN107530138B (zh) 2015-03-17 2020-11-27 直观外科手术操作公司 用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法
US10033308B2 (en) 2015-03-17 2018-07-24 Intuitive Surgical Operations, Inc. Systems and methods for motor torque compensation
US11058501B2 (en) 2015-06-09 2021-07-13 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
CN113397709B (zh) 2015-06-10 2024-09-20 直观外科手术操作公司 当错开时的主从取向映射
WO2016201313A1 (en) 2015-06-11 2016-12-15 Intuitive Surgical Operations, Inc. Systems and methods for instrument engagement
EP3373834A4 (en) 2015-11-12 2019-07-31 Intuitive Surgical Operations Inc. SURGICAL SYSTEM WITH TRAINING OR ASSISTANCE FUNCTION
US10973517B2 (en) 2015-11-13 2021-04-13 Intuitive Surgical Operations, Inc. Stapler with composite cardan and screw drive
US10898189B2 (en) 2015-11-13 2021-01-26 Intuitive Surgical Operations, Inc. Push-pull stapler with two degree of freedom wrist
US9949798B2 (en) 2016-01-06 2018-04-24 Ethicon Endo-Surgery, Llc Methods, systems, and devices for controlling movement of a robotic surgical system
JP7529237B2 (ja) 2016-01-29 2024-08-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 可変速度手術器具のためのシステム及び方法
US11013567B2 (en) 2016-03-17 2021-05-25 Intuitive Surgical Operations, Inc. Systems and methods for instrument insertion control
CN119405425A (zh) 2016-07-01 2025-02-11 直观外科手术操作公司 计算机辅助的医疗系统和方法
KR102533374B1 (ko) 2016-07-14 2023-05-26 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 드레이핑을 위한 자동적인 매니퓰레이터 어셈블리 전개
US11129683B2 (en) 2016-07-14 2021-09-28 Intuitive Surgical Operations, Inc. Systems and methods for controlling a surgical instrument
US11020138B2 (en) 2016-09-09 2021-06-01 Intuitive Surgical Operations, Inc. Push-pull surgical instrument end effector actuation using flexible tension member
KR102544993B1 (ko) 2016-09-09 2023-06-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 스테이플러 빔 구조
EP3509511B1 (en) 2016-09-09 2022-11-02 Intuitive Surgical Operations, Inc. Wrist architecture
US11020193B2 (en) 2016-09-15 2021-06-01 Intuitive Surgical Operations, Inc. Medical device drive system
US11166770B2 (en) 2016-09-19 2021-11-09 Intuitive Surgical Operations, Inc. Base positioning system for a controllable arm and related methods
KR102702139B1 (ko) 2016-09-19 2024-09-04 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격으로 제어가능한 아암을 위한 위치결정 표시장치 시스템 및 관련 방법
US11291513B2 (en) 2016-10-03 2022-04-05 Intuitive Surgical Operations, Inc. Surgical instrument with retaining feature for cutting element
US11147552B2 (en) 2016-10-11 2021-10-19 Intuitive Surgical Operations, Inc. Stapler cartridge with an integral knife
EP4501265A3 (en) 2016-10-14 2025-04-30 Intuitive Surgical Operations, Inc. SYSTEMS FOR APPLYING PRELOAD VOLTAGE FOR SURGICAL INSTRUMENTS AND RELATED METHODS
CN109890314B (zh) 2016-11-02 2021-11-16 直观外科手术操作公司 配置成使用吻合器重新装载的机器人外科手术吻合器组件
US11241274B2 (en) 2016-11-04 2022-02-08 Intuitive Surgical Operations, Inc. Electrically insulative electrode spacers, and related devices, systems, and methods
US11040189B2 (en) 2016-11-04 2021-06-22 Intuitive Surgical Operations, Inc. Electrode assemblies with electrically insulative electrode spacers, and related devices, systems, and methods
CN110198681B (zh) 2016-11-21 2022-09-13 直观外科手术操作公司 线缆长度持恒的医疗器械
US11154373B2 (en) 2017-02-08 2021-10-26 Intuitive Surgical Operations, Inc. Control of computer-assisted tele-operated systems
US10357321B2 (en) 2017-02-24 2019-07-23 Intuitive Surgical Operations, Inc. Splayed cable guide for a medical instrument
EP3658057B1 (en) 2017-07-27 2023-08-30 Intuitive Surgical Operations, Inc. Association systems for manipulators
US11161243B2 (en) 2017-11-10 2021-11-02 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic manipulator or associated tool
US10952801B2 (en) 2017-11-10 2021-03-23 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic manipulator or associated tool
US11173597B2 (en) 2017-11-10 2021-11-16 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic manipulator or associated tool
US11191596B2 (en) 2017-11-15 2021-12-07 Intuitive Surgical Operations, Inc. Foot controller

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460223A (zh) * 2011-02-10 2013-12-18 前视红外系统公司 波长差异的闪烁减少
CN103889353A (zh) * 2011-08-12 2014-06-25 直观外科手术操作公司 外科手术器械中的图像捕获单元
US20160022125A1 (en) * 2013-03-11 2016-01-28 Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image Anatomical site relocalisation using dual data synchronisation
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
US20190201104A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Surgical hub spatial awareness to determine devices in operating theater

Also Published As

Publication number Publication date
US20230099835A1 (en) 2023-03-30
WO2021231508A1 (en) 2021-11-18
EP4149340A1 (en) 2023-03-22
US12262863B2 (en) 2025-04-01

Similar Documents

Publication Publication Date Title
CN111419152B (zh) 增强视差的内镜成像
US12440290B2 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
CN111317567A (zh) 胸腔成像、距离测量以及通知系统和方法
US20250117073A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
JP7722365B2 (ja) 手術中に画像取込装置を制御するためのシステム、方法、および、コンピュータプログラム製品
CN111281534B (zh) 生成手术部位的三维模型的系统和方法
WO2021124716A1 (en) Method, apparatus and system for controlling an image capture device during surgery
US12127792B2 (en) Anatomical structure visualization systems and methods
US12262863B2 (en) Systems and methods for image mapping and fusion during surgical procedures
US12406370B2 (en) Determining chromophore concentrations in tissues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination