[go: up one dir, main page]

CN119257733A - 一种手术机器人规划导航方法、装置、设备和存储介质 - Google Patents

一种手术机器人规划导航方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN119257733A
CN119257733A CN202411318097.0A CN202411318097A CN119257733A CN 119257733 A CN119257733 A CN 119257733A CN 202411318097 A CN202411318097 A CN 202411318097A CN 119257733 A CN119257733 A CN 119257733A
Authority
CN
China
Prior art keywords
target
surgical robot
dimensional model
determining
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411318097.0A
Other languages
English (en)
Inventor
任宏帅
赵彦丞
徐冰
王伟
苏衍宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Sagebot Intelligent Medical Equipment Co Ltd
Original Assignee
Harbin Sagebot Intelligent Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Sagebot Intelligent Medical Equipment Co Ltd filed Critical Harbin Sagebot Intelligent Medical Equipment Co Ltd
Priority to CN202411318097.0A priority Critical patent/CN119257733A/zh
Publication of CN119257733A publication Critical patent/CN119257733A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例公开了一种手术机器人规划导航方法、装置、设备和存储介质,其中,方法包括:确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。本发明实施例的技术方案解决了现有技术中在操作手术机器人时,容易出现误触其他组织等安全问题,可以基于交互指令进行术前规划确定参考移动路径,后续基于参考移动路径对手术机器人的异常动作进行修正,减少手术中对周围组织的损伤,提高手术安全性。

Description

一种手术机器人规划导航方法、装置、设备和存储介质
技术领域
本发明实施例涉及手术机器人控制技术领域,尤其涉及一种手术机器人规划导航方法、装置、设备和存储介质。
背景技术
腔镜手术机器人是一种用于辅助腹腔内微创手术的医疗设备,通常使用主从模式遥控操作,由用户控制台、患者手术平台、以及一套三维高清影像系统组成。腔镜手术机器人与传统微创手术相似,将内窥镜和术式相关器械经由人体的自然孔洞或在腹腔、盆腔或胸腔上的多个微创切口进入人体患处,用户通过内窥镜反馈的实时影像在体外远程执行相关术式。相比于传统微创手术腔镜手术机器人具有安全性和精准性特点,同时三维高清影像系统能够提供更开阔的视野,更大程度扩展了外科用户的手术能力。
尽管腔镜手术机器人已经提供了更大的视野与精准的操作辅助,但是对于腔镜手术而言腔内的环境仍然十分复杂,在用户控制台无法侧直接观测到手术器械与器官之间的三维空间关系,当用户执行术式时仍然存在器械出视野、误触其他组织等安全问题。
发明内容
本发明实施例提供了一种手术机器人规划导航方法、装置、设备和存储介质,可以减少手术中对周围组织的损伤,提高手术安全性。
第一方面,本发明实施例提供了一种手术机器人规划导航方法,该方法包括:
确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
第二方面,本发明实施例提供了一种手术机器人规划导航装置,该装置包括:
参考路径确定模块,用于确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;移动控制模块,用于获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;移动路径修正模块,用于在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
第三方面,本发明实施例提供了一种计算机设备,该计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现任一实施例所述的手术机器人规划导航方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的手术机器人规划导航方法。
本发明实施例所提供的技术方案,通过确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。本发明实施例的技术方案解决了现有技术中在操作手术机器人时,容易出现误触其他组织等安全问题,可以基于交互指令进行术前规划确定参考移动路径,后续基于参考移动路径对手术机器人的异常动作进行修正,减少手术中对周围组织的损伤,提高手术安全性。
附图说明
图1是本发明实施例提供的一种手术机器人规划导航方法流程图;
图2是本发明实施例提供的又一种手术机器人规划导航方法流程图;
图3是本发明实施例提供的一种进行手术区域内部位的示例图;
图4是本发明实施例提供的一种全景模型的示例图;
图5是本发明实施例提供的一种手术机器人规划导航装置的结构示意图;
图6是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种手术机器人规划导航方法流程图,本发明实施例可适用于控制腔镜手术机器人进行移动的场景中,该方法可以由手术机器人规划导航装置执行,该装置可以由软件和/或硬件的方式来实现。
如图1所示,手术机器人规划导航方法包括以下步骤:
S110、确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径。
其中,目标对象可以是需要进行手术操作的对象。待手术区域可以是目标对象需要进行手术操作的区域。具体的,待手术区域可以由人为指定。示例性的,用户可以人为指定需要进行手术的病灶区域作为待手术区域。示例性的,可以获取待手术区域的扫描数据,进而根据扫描数据构建待手术区域的三维模型。具体的,三维模型中可以包括器官、血管和组织等部位。目标部位可以是需要进行手术的部位。部位交互指令可以是针对初始三维模型中部位的交互指令。参考移动路径可以是手术机器人在手术移动过程中的参考路径。示例性的,可以基于部位交互指令从三维模型中确定出目标部位,再将全部目标部位进行连接,进而得到参考移动路径。
S120、获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动。
其中,机器人操作指令可以是控制手术机器人进行移动的指令。示例性的,用户可以在控制端通过手动操作发出机器人操作指令。目标手术机器人可以是需要在待手术区域执行手术操作的手术机器人。进一步的,可以根据机器人操作指令,控制目标手术机器人在待手术区域内进行移动。
S130、在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
其中,在目标手术机器人的移动路径与参考移动路径偏差较大的情况下,可以确定目标手术机器人存在异常移动。示例性的,可以根据目标手术机器人的实时移动路径和参考移动路径的偏差距离,再偏差距离超过预设的偏差阈值的情况下,可以确定目标手术机器人存在异常移动。
进一步的,可以在目标手术机器人存在异常移动的情况下,可以基于参考移动路径和目标手术机器人的移动路径的偏差值,并根据偏差值制定对应的修正方式,以此降低器官和组织受到意外损伤的风险。示例性的,修正方式包括但不限于对对目标手术机器人施加阻力、发送回正指令和发送停止移动等。
本发明实施例所提供的技术方案,通过确定目标对象的待手术区域的三维模型,基于针对三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于手术机器人操作指令控制目标手术机器人进行移动;在目标手术机器人存在异常移动的情况下,基于参考移动路径对目标手术机器人的移动路径进行修正。本发明实施例的技术方案解决了现有技术中在操作手术机器人时,容易出现误触其他组织等安全问题,可以基于交互指令进行术前规划确定参考移动路径,后续基于参考移动路径对手术机器人的异常动作进行修正,减少手术中对周围组织的损伤,提高手术安全性。
图2是本发明实施例提供的又一种手术机器人规划导航方法流程图,本发明实施例可适用于控制腔镜手术机器人进行移动的场景中,本实施例在上述实施例的基础上,进一步的说明如何确定目标对象的待手术区域的三维模型,基于针对三维模型中目标部位的部位交互指令,确定参考移动路径;以及如何在目标手术机器人存在异常移动的情况下,基于参考移动路径对目标手术机器人的移动路径进行修正,该装置可以由软件和/或硬件的方式来实现,集成于具有应用开发功能的计算机设备中。
如图2所示,手术机器人规划导航方法包括以下步骤:
S210、获取目标对象的待手术区域的图像扫描数据,根据所述图像扫描数据确定初始三维模型。
其中,目标对象可以是需要进行手术操作的对象。待手术区域可以是目标对象需要进行手术操作的区域。具体的,待手术区域可以由人为指定。示例性的,用户可以人为指定需要进行手术的病灶区域作为待手术区域。图像扫描数据可以是针对目标对象的待手术区域进行扫描得到的图像数据。示例性的,图像扫描数据可以包括CT影像数据和MRI影像数据。初始三维图像可以是待手术区域本身的三维模型。具体的,可以将CT影像数据和MRI影像数据输入到经过预先训练的三维模型生成网络中,进而使该网络输出待手术区域对应的初始三维模型。
S220、将所述初始三维模型输入至目标部位划分模型中,确定所述初始三维模型中的多个候选部位。
其中,目标部位划分模型可以是经过预先训练的用于进行补位划分的模型。目标部位划分模型可以对输入的初始三维模型中的器官、血管和组织等部位进行划分。进一步的,候选部位可以是后续可能需要被执行手术操作的部位。具体的,可以将初始三维模型输入到目标部位划分模型中,以使该模型对初始三维模型中的器官、血管和组织等部位进行划分,并将划分得到的每个部位均作为候选部位。示例性的,可以使用3D-Unet或其他三维图像语义分割技术分别提取出患者术式相关的器官、血管和组织等模型,并将分割完成的器官组织列表呈现给用户。示例性的,图3是本发明实施例提供的一种进行手术区域内部位的示例图。如图3所示,图中一个圆形球体代表一个部位。
S230、基于所述部位交互指令,从所述候选部位中确定出至少一个目标部位,并根据所述目标部位确定所述参考移动路径。
其中,部位交互指令可以是关于初始三维模型中候选部位的交互指令。示例性的,用户可以通过电击、拖拽或者手动输入等方式发出部位交互指令。目标部位可以是需要进行手术的部位。具体的,可以基于部位交互指令,从候选部位中选中相应的部位作为目标部位。进一步的,参考移动路径可以是手术机器人在手术移动过程中的参考路径。示例性的,可以分别将每个目标部位均作为一个移动节点,最后将全部移动节点进行连接,进而得到参考移动路径。可选的,参考移动路径可以是三维的。其中,在对移动节点进行连接的过程中,需要保证连接得到的路径,不会触碰到除目标部位外的其他部位。
S240、获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动。
其中,机器人操作指令可以是控制手术机器人进行移动的指令。示例性的,用户可以在控制端通过手动操作发出机器人操作指令。目标手术机器人可以是需要在待手术区域执行手术操作的手术机器人。进一步的,可以根据机器人操作指令,控制目标手术机器人在待手术区域内进行移动。
S250、基于所述参考移动路径确定参考移动空间;在所述目标手术机器人的操作手靠近所述参考移动空间的边缘的情况下,向所述目标手术机器人发送阻力反馈指令;在所述目标手术机器人的操作手超出所述参考移动空间的边缘的情况下,向所述目标手术机器人发送移动中止指令。
其中,参考移动空间可以是手术机器人能够进行移动的参考空间。示例性的,可以在参考移动路径周围布置预设半径值的圆形区域,再将得到的圆形区域作为参考移动空间。可选的,参考移动空间也可以由交互指令进行确定。例如,用户可通过触摸屏或鼠标键盘等输入方式点选对应的器官组织,在患者的三维模型上进行术式规划,包括但不限于手动修正器官模型的识别边界,设置特殊标志点位,以及设置术式的操作空间等一些列术前规划活动。
阻力反馈指令可以是向手术机器人的控制端发送的一种反馈信息。具体的,阻力反馈指令可以使控制端的操作台提供操作阻力,进而提醒操作人员停止向错误方向继续移动。可选的,可以获取目标手术机器人的操作手的实时位置信息,进而根据实时位置信息确定操作手与参考移动空间边缘的距离,在距离小于预设第一距离阈值的情况下,可以向目标手术机器人发送阻力反馈信息。
进一步的,移动终止指令可以是控制目标手术机器人停止移动的指令。可选的,可以确定目标手术机器人与参考移动空间边缘的距离,在距离小于预设第二阈值的情况下,可以向目标手术机器人发送移动终止指令,以使该机器人停止移动。其中,第一距离阈值和第二距离阈值均可以通过人为设定,第一距离阈值可以大于第二距离阈值。
可选的,还可以在接收到导航模式选择指令的情况下,根据导航模式选择指令确定目标导航模式;获取目标手术机器人的数据反馈信息,根据数据反馈信息和初始三维模型确定目标三维模型;基于目标三维模型和目标导航模式,确定目标手术机器人的移动反馈信息,并将移动反馈信息显示在预设显示屏中。
导航模式选择指令可以是对导航模式进行选择的指令。目标导航模式可以是根据导航模式选择指令最终确定出的导航模式。示例性的,在预设界面上可以显示多种导航模式,用户可以根据需要选择相应的导航模式,进而发出导航模式选择指令,装置再将导航模式选择指令对应的导航模式作为目标导航模式。可选的,可供选择的导航模式包括跟随导航模式和全景导航模式。进一步的,数据反馈信息可以包括内窥镜的影像数据以及超声波探头的超声数据。目标三维模型可以是包含目标手术机器人后的待手术区域的三维模型。具体的,可以根据数据反馈信息,在初始三维模型中再构建关于目标手术机器人的三维模型,进而得到目标三维模型。
进一步的,移动反馈信息可以是关于目标手术机器人的移动状态的反馈信息。具体的,可以根据目标导航模式,进而确定目标三维模型的显示视角,得到目标导航模式对应的移动反馈信息。通过将移动反馈信息显示在预设显示屏中,可以动态展示器官组织的空间结构变化,让操作者更准确地控制手术器械。
可选的,根据数据反馈信息和初始三维模型确定目标三维模型,包括:根据数据反馈信息,确定目标手术机器人的内窥镜相对于待手术区域的实时深度信息,并基于实时深度信息构建三维曲面;获取目标手术机器人中手术臂的关节编码器信息,根据关节编码器信息确定内窥镜的实时位姿信息;根据三维曲面、实时位姿信息和初始三维模型确定目标三维模型。
其中,实时深度信息可以是目标手术机器人的操作手与待手术区域边缘的实时距离信息。三维曲面可以是关于待手术区域边缘在三维空间的曲面形状。具体的,可以基于实时深度信息确定目标手术机器人的操作手与待手术区域边缘中各个节点的实时距离信息,在基于待手术区域边缘中全部节点的实时距离信息构建实时深度信息。关节编码器信息可以是操作手中各关节的编码器数值信息。实时位姿信息可以是目标手术机器的内窥镜的实时的位置和姿态信息。具体的,可以通过正运动学对关节编码器信息进解算,进而得到实时位姿信息。进一步的,可以目标手术机器的内窥镜为原点建立坐标系,再基于三维曲面、实时位姿信息和初始三维模型进行配准,得到目标三维模型。示例性的,可以使用迭代最近点算法(Iterative Closest Point,ICP)进行配准,然后根据ICP算法得到的齐次变换矩阵,再将得到的三维模型进行旋转平移变换。
可选的,基于目标三维模型和目标导航模式,确定目标手术机器人的移动反馈信息,并将移动反馈信息显示在预设显示屏中,包括:在目标导航模式为跟随导航模式的情况下,将目标三维模型进行半透明化处理,并将半透明化处理后的目标三维模型与内窥镜影像叠加显示在预设显示屏中;在接收到显示调整指令的情况下,基于显示调整指令调整目标三维模型的透明度和颜色。
其中,跟随导航模式可以理解为以内窥镜角度为第一视角的导航模式。在目标导航模式为跟随导航模式的情况下,可以对目标三维模型进行半透明化处理,目标三维模型的透明度和颜色可以基于显示调整指令进行调整,并将半透明化处理后的目标三维模型与内窥镜影像叠加显示在预设显示屏中。其中,显示调整指令可以是对目标导航模式下的目标三维模型的调整指令。跟随导航模式的主要优势在于,用户能够实时的直接观察到器官的空间关系与安全边界,让操作者更准确地控制手术器械。
可选的,基于目标三维模型和目标导航模式,确定目标手术机器人的移动反馈信息,并将移动反馈信息显示在预设显示屏中,还包括:在目标导航模式为全景导航模式的情况下,在预设显示屏中显示待手术区域的全景模型;在接收到视角调整指令的情况下,基于视角调整指令对全景模型的展示参数进行调整。
其中,全景导航模式可以理解为从第三视角进行导航的模式。全景模型可以理解为从第三视角观察目标三维模型得到的模型。视角调整指令可以是对全景导航模式下全景模型的展示参数的调整指令。示例性的,用户可通过交互式触摸屏幕对三维模型进行旋转、平移以及放缩等发出视角调整指令。展示参数可以是对全景模型进行展示的参数。示例性的,展示参数可以包括:展示视角和展示比例等参数。在接收到视角调整指令的情况下,可以基于视角调整指令,对对全景模型的展示参数进行相应的调整。全景导航模式可以用于辅助用户在手术过程中掌握手术的全景空间关系,其主要作用包含:可以辅助用户进行镜头控制更容易找到目标区域;根据器械与器官的空间位置辅助用户判断操作是否与其他组织相互干涉;当器械运动到内窥镜视野之外时能够通过观察内窥镜视场的全景视图更安全精准的将器械移动回视野之内。
示例性的,图4是本发明实施例提供的一种全景模型的示例图。如图4所示,图中可以包括平移、旋转和放缩等交互控件,用户可以点相应的交互控件调整全景模型的展示参数。
本发明实施例所提供的技术方案,可以将系统引入医疗流程的术前规划与术中导航阶段,支持重建三维模型以及三维图像语义分割辅助用户进行术前规划,提供三维模型叠加跟随以及全景视图多种呈现方式,让用户更直观的掌握术式空间关系可有效提升手术效率,以及提供安全围栏功能辅助用户操作进一步减少手术中对周围组织的损伤,提高手术安全性。
本发明实施例所提供的技术方案,通过获取目标对象的待手术区域的图像扫描数据,根据图像扫描数据确定初始三维模型;将初始三维模型输入至目标部位划分模型中,确定初始三维模型中的多个候选部位;基于部位交互指令,从候选部位中确定出至少一个目标部位,并根据目标部位确定参考移动路径;获取机器人操作指令,基于手术机器人操作指令控制目标手术机器人进行移动;基于参考移动路径确定参考移动空间;在目标手术机器人的操作手靠近参考移动空间的边缘的情况下,向目标手术机器人发送阻力反馈指令;在目标手术机器人的操作手超出参考移动空间的边缘的情况下,向目标手术机器人发送移动中止指令。本发明实施例的技术方案解决了现有技术中在操作手术机器人时,容易出现误触其他组织等安全问题,可以基于交互指令进行术前规划确定参考移动路径,后续基于参考移动路径对手术机器人的异常动作进行修正,减少手术中对周围组织的损伤,提高手术安全性。
图5是本发明实施例提供的一种手术机器人规划导航装置的结构示意图,本发明实施例可适用于控制腔镜手术机器人进行移动的场景中,该装置可以由软件和/或硬件的方式来实现,集成于具有应用开发功能的计算机设备中。
如图5所示,手术机器人规划导航装置包括:参考路径确定模块310、移动控制模块320和移动路径修正模块330。
其中,参考路径确定模块310,用于确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;移动控制模块320,用于获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;移动路径修正模块330,用于在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
本发明实施例所提供的技术方案,通过确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。本发明实施例的技术方案解决了现有技术中在操作手术机器人时,容易出现误触其他组织等安全问题,可以基于交互指令进行术前规划确定参考移动路径,后续基于参考移动路径对手术机器人的异常动作进行修正,减少手术中对周围组织的损伤,提高手术安全性。
在一种可选的实施方式中,所述参考路径确定模块310具体用于:获取目标对象的待手术区域的图像扫描数据,根据所述图像扫描数据确定初始三维模型;将所述初始三维模型输入至目标部位划分模型中,确定所述初始三维模型中的多个候选部位;基于所述部位交互指令,从所述候选部位中确定出至少一个目标部位,并根据所述目标部位确定所述参考移动路径。
在一种可选的实施方式中,所述移动路径修正模块330具体用于:基于所述参考移动路径确定参考移动空间;在所述目标手术机器人的操作手靠近所述参考移动空间的边缘的情况下,向所述目标手术机器人发送阻力反馈指令;在所述目标手术机器人的操作手超出所述参考移动空间的边缘的情况下,向所述目标手术机器人发送移动中止指令。
在一种可选的实施方式中,所述手术机器人规划导航装置还包括:路径导航模块,用于:在接收到导航模式选择指令的情况下,根据所述导航模式选择指令确定目标导航模式;获取所述目标手术机器人的数据反馈信息,根据所述数据反馈信息和所述初始三维模型确定目标三维模型;基于所述目标三维模型和所述目标导航模式,确定所述目标手术机器人的移动反馈信息,并将所述移动反馈信息显示在预设显示屏中。
在一种可选的实施方式中,所述路径导航模块包括:目标三维模型确定模块,用于:根据所述数据反馈信息,确定所述目标手术机器人的内窥镜相对于所述待手术区域的实时深度信息,并基于所述实时深度信息构建三维曲面;获取所述目标手术机器人中手术臂的关节编码器信息,根据所述关节编码器信息确定内窥镜的实时位姿信息;根据所述三维曲面、所述实时位姿信息和所述初始三维模型确定目标三维模型。
在一种可选的实施方式中,所述路径导航模块包括:第一移动反馈模块,用于:在所述目标导航模式为跟随导航模式的情况下,将所述目标三维模型进行半透明化处理,并将半透明化处理后的目标三维模型与内窥镜影像叠加显示在所述预设显示屏中;在接收到显示调整指令的情况下,基于所述显示调整指令调整所述目标三维模型的透明度和颜色。
在一种可选的实施方式中,所述路径导航模块包括:第二移动反馈模块,用于:在所述目标导航模式为全景导航模式的情况下,在所述预设显示屏中显示所述待手术区域的全景模型;在接收到视角调整指令的情况下,基于所述视角调整指令对所述全景模型的展示参数进行调整。
本发明实施例所提供的手术机器人规划导航装置可执行本发明任意实施例所提供的手术机器人规划导航方法,具备执行方法相应的功能模块和有益效果。
图6为本发明实施例提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以是任意具有计算能力的终端设备,可以配置于手术机器人规划导航设备中。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18可以是几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图6中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的手术机器人规划导航方法,该方法包括:
确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所提供的手术机器人规划导航方法,包括:
确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种手术机器人规划导航方法,其特征在于,包括:
确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;
获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;
在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
2.根据权利要求1所述的方法,其特征在于,所述确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径,包括:
获取目标对象的待手术区域的图像扫描数据,根据所述图像扫描数据确定初始三维模型;
将所述初始三维模型输入至目标部位划分模型中,确定所述初始三维模型中的多个候选部位;
基于所述部位交互指令,从所述候选部位中确定出至少一个目标部位,并根据所述目标部位确定所述参考移动路径。
3.根据权利要求2所述的方法,其特征在于,所述在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正,包括:
基于所述参考移动路径确定参考移动空间;
在所述目标手术机器人的操作手靠近所述参考移动空间的边缘的情况下,向所述目标手术机器人发送阻力反馈指令;
在所述目标手术机器人的操作手超出所述参考移动空间的边缘的情况下,向所述目标手术机器人发送移动中止指令。
4.根据权利要求2所述的方法还包括:
在接收到导航模式选择指令的情况下,根据所述导航模式选择指令确定目标导航模式;
获取所述目标手术机器人的数据反馈信息,根据所述数据反馈信息和所述初始三维模型确定目标三维模型;
基于所述目标三维模型和所述目标导航模式,确定所述目标手术机器人的移动反馈信息,并将所述移动反馈信息显示在预设显示屏中。
5.根据权利要求4所述的方法,其特征在于,所述根据所述数据反馈信息和所述初始三维模型确定目标三维模型,包括:
根据所述数据反馈信息,确定所述目标手术机器人的内窥镜相对于所述待手术区域的实时深度信息,并基于所述实时深度信息构建三维曲面;
获取所述目标手术机器人中手术臂的关节编码器信息,根据所述关节编码器信息确定内窥镜的实时位姿信息;
根据所述三维曲面、所述实时位姿信息和所述初始三维模型确定目标三维模型。
6.根据权利要求4所述的方法,其特征在于,所述基于所述目标三维模型和所述目标导航模式,确定所述目标手术机器人的移动反馈信息,并将所述移动反馈信息显示在预设显示屏中,包括:
在所述目标导航模式为跟随导航模式的情况下,将所述目标三维模型进行半透明化处理,并将半透明化处理后的目标三维模型与内窥镜影像叠加显示在所述预设显示屏中;
在接收到显示调整指令的情况下,基于所述显示调整指令调整所述目标三维模型的透明度和颜色。
7.根据权利要求4所述的方法,其特征在于,所述基于所述目标三维模型和所述目标导航模式,确定所述目标手术机器人的移动反馈信息,并将所述移动反馈信息显示在预设显示屏中,包括:
在所述目标导航模式为全景导航模式的情况下,在所述预设显示屏中显示所述待手术区域的全景模型;
在接收到视角调整指令的情况下,基于所述视角调整指令对所述全景模型的展示参数进行调整。
8.一种手术机器人规划导航装置,其特征在于,所述装置包括:
参考路径确定模块,用于确定目标对象的待手术区域的三维模型,基于针对所述三维模型中目标部位的部位交互指令,确定参考移动路径;
移动控制模块,用于获取机器人操作指令,基于所述手术机器人操作指令控制目标手术机器人进行移动;
移动路径修正模块,用于在所述目标手术机器人存在异常移动的情况下,基于所述参考移动路径对所述目标手术机器人的移动路径进行修正。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的手术机器人规划导航方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的手术机器人规划导航方法。
CN202411318097.0A 2024-09-20 2024-09-20 一种手术机器人规划导航方法、装置、设备和存储介质 Pending CN119257733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411318097.0A CN119257733A (zh) 2024-09-20 2024-09-20 一种手术机器人规划导航方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411318097.0A CN119257733A (zh) 2024-09-20 2024-09-20 一种手术机器人规划导航方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN119257733A true CN119257733A (zh) 2025-01-07

Family

ID=94121940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411318097.0A Pending CN119257733A (zh) 2024-09-20 2024-09-20 一种手术机器人规划导航方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN119257733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119935147A (zh) * 2025-01-23 2025-05-06 哈尔滨工业大学 基于矩形映射和人工势场的旋转曲面机器人路径规划方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190008595A1 (en) * 2015-12-29 2019-01-10 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN113100939A (zh) * 2021-04-06 2021-07-13 德智鸿(上海)机器人有限责任公司 骨科手术导航方法、装置、计算机设备、系统和存储介质
CN115252140A (zh) * 2022-08-24 2022-11-01 上海微创医疗机器人(集团)股份有限公司 手术器械导引方法、手术机器人和介质
CN115830275A (zh) * 2021-11-15 2023-03-21 厦门天允星途医疗科技有限公司 一种基于混合现实的手术规划方法及交互系统
CN115887008A (zh) * 2022-11-17 2023-04-04 江苏人冠医疗科技有限公司 一种手术机器人系统
CN116370072A (zh) * 2023-03-31 2023-07-04 普朗克(广州)医疗科技有限公司 手术辅助方法、装置、设备及存储介质
CN116919599A (zh) * 2023-09-19 2023-10-24 中南大学 一种基于增强现实的触觉可视化手术导航系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190008595A1 (en) * 2015-12-29 2019-01-10 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN113100939A (zh) * 2021-04-06 2021-07-13 德智鸿(上海)机器人有限责任公司 骨科手术导航方法、装置、计算机设备、系统和存储介质
CN115830275A (zh) * 2021-11-15 2023-03-21 厦门天允星途医疗科技有限公司 一种基于混合现实的手术规划方法及交互系统
CN115252140A (zh) * 2022-08-24 2022-11-01 上海微创医疗机器人(集团)股份有限公司 手术器械导引方法、手术机器人和介质
CN115887008A (zh) * 2022-11-17 2023-04-04 江苏人冠医疗科技有限公司 一种手术机器人系统
CN116370072A (zh) * 2023-03-31 2023-07-04 普朗克(广州)医疗科技有限公司 手术辅助方法、装置、设备及存储介质
CN116919599A (zh) * 2023-09-19 2023-10-24 中南大学 一种基于增强现实的触觉可视化手术导航系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119935147A (zh) * 2025-01-23 2025-05-06 哈尔滨工业大学 基于矩形映射和人工势场的旋转曲面机器人路径规划方法

Similar Documents

Publication Publication Date Title
US20240033014A1 (en) Guidance for placement of surgical ports
US11514576B2 (en) Surgical system with combination of sensor-based navigation and endoscopy
KR102013837B1 (ko) 수술영상 제공 방법 및 장치
CN110049742B (zh) 用于机器人控制的图像引导的运动缩放
US20250054147A1 (en) Composite medical imaging systems and methods
EP2548495B1 (en) System and program for supporting endoscopic observation
EP2554103B1 (en) Endoscope observation supporting system and programme
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
EP3282994B1 (en) Method and apparatus to provide updated patient images during robotic surgery
US20140187946A1 (en) Active ultrasound imaging for interventional procedures
JP2019162339A (ja) 手術支援システムおよび表示方法
JP2022516473A (ja) 低侵襲性外科手術における到達性、作業空間、および巧妙さを最適化するためのシステムおよび方法
CN114224482A (zh) 基于关键点跟踪的定位方法、系统、设备、终端及应用
Coste-Manière et al. Planning, simulation, and augmented reality for robotic cardiac procedures: the STARS system of the ChIR team
CN119257733A (zh) 一种手术机器人规划导航方法、装置、设备和存储介质
CN114974548A (zh) 用于移动医学对象的装置和用于提供控制预设的方法
CN115429432A (zh) 可读存储介质、手术机器人系统和调整系统
JP2025501966A (ja) 3次元モデル再構成
US12349978B2 (en) Auto-configurable simulation system and method
CN121038732A (zh) 远程介入机器人系统、控制方法及设备
CN116807617A (zh) 一种手术机器人系统及手术导航方法
WO2021173044A1 (ru) Способ управления камерой в роботохирургическом комплексе
US20230210627A1 (en) Three-dimensional instrument pose estimation
JP2021045341A (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
JP7414611B2 (ja) ロボット手術支援装置、処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination