CN117297781A - 机器人控制反馈系统、方法和存储介质 - Google Patents

Abstract

本申请涉及一种机器人控制反馈系统、方法和存储介质。所述方法包括：机器人的器械末端执行器设有位置传感器和触觉传感器，控制平台设有控制器械末端执行器的触觉反馈装置。控制平台通过触觉触感器，获取器械末端执行器的触感数据，根据触感数据，控制触觉反馈装置的反馈力度；图像平台通过位置传感器，获取器械末端执行器的位置参数，以及通过触觉触感器，获取触感数据，获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。采用本方法能够使操作者既可以通过触觉感应到实际的力矩大小，又可以通过视觉观察器械末端的接触情况。

Description

机器人控制反馈系统、方法和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种机器人控制反馈系统、方法、计算机设备、存储介质和计算机程序产品。

背景技术

人体的触觉感知是一个复杂的生物电信号反应的过程，要模拟人体的触觉反应，机械臂的触觉传感器也必须能够将软组织的质地、光滑程度以及形态等进行数字模拟处理。

手术机器人是集医学、机器学、生物力学及计算机科学等多学科于一体的医疗器械产品，借助微创手术和相关底层技术发展，能从视觉、听觉和触觉上为医生进行手术操作提供支持，被用于微创手术领域实现对手术器械的精准控制。

手术机器人在国内外的应用已表明其技术上的先进性，但同时也存在一些局限性，其中包括触觉力反馈体系的缺失，操作者只能通过视觉信息的反馈对触觉信息进行代偿，这增加了手术的不确定性和风险性，从而限制了手术机器人的进一步发展和应用。当前应用于临床的手术机器人大多采用视觉反馈系统，外科医生在控制机械臂进行手术时，不能对病人进行触诊。

目前的手术机器人缺少触觉力反馈，机器人器械末端的受力情况仅仅以数据的形式显示出来，操作者无法感应到实际的力矩大小，可能因误操作产生对正常组织或器官的伤害，导致手术操作风险较高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低手术操作风险的机器人控制反馈系统、方法、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种机器人控制反馈系统。所述系统包括控制平台、图像平台和机器人，机器人分别与控制平台和图像平台通信，机器人包括器械末端执行器，器械末端执行器配置有位置传感器和触觉传感器，控制平台包括用于控制器械末端执行器的触觉反馈装置；

控制平台，用于通过触觉触感器，获取器械末端执行器的触感数据；

控制平台还用于根据触感数据，控制触觉反馈装置的反馈力度；

图像平台，用于通过位置传感器，获取器械末端执行器的位置参数，以及通过触觉触感器，获取触感数据；

图像平台还用于获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像并显示识别图像；识别图像包括目标对象的类别标签和特征标签。

在其中一个实施例中，机器人还包括处理器；

位置传感器，用于采集器械末端执行器的位置信息；

触觉传感器，用于采集器械末端执行器的触感信息；

处理器，用于接收触感信息和位置信息，基于预设规则分别处理触感信息和位置信息，得到触感数据和位置参数。

在其中一个实施例中，处理器还用于对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据。

在其中一个实施例中，图像平台还包括内窥镜；

内窥镜，用于获取拍摄图像；

处理器还用于根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。

在其中一个实施例中，控制平台还用于接收机器人传输的触感数据，根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。

在其中一个实施例中，图像平台还用于获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；

图像平台还用于接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

第二方面，本申请还提供了一种机器人控制反馈方法。所述方法包括：

获取器械末端执行器的触感数据；

根据触感数据，控制触觉反馈装置的反馈力度；

获取器械末端执行器的位置参数；

获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。

在其中一个实施例中，根据触感数据，控制触觉反馈装置的反馈力度，包括：

根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数；

根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。

在其中一个实施例中，根据拍摄图像、触感数据和位置参数，生成识别图像，包括：

获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；

根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取器械末端执行器的触感数据；

根据触感数据，控制触觉反馈装置的反馈力度；

获取器械末端执行器的位置参数；

获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取器械末端执行器的触感数据；

根据触感数据，控制触觉反馈装置的反馈力度；

获取器械末端执行器的位置参数；

获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取器械末端执行器的触感数据；

根据触感数据，控制触觉反馈装置的反馈力度；

获取器械末端执行器的位置参数；

获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。

上述机器人控制反馈系统、方法、计算机设备、存储介质和计算机程序产品，机器人包括器械末端执行器，器械末端执行器配置有位置传感器和触觉传感器，控制平台包括用于控制器械末端执行器的触觉反馈装置。控制平台通过触觉触感器，获取器械末端执行器的触感数据，根据触感数据，控制触觉反馈装置的反馈力度；图像平台通过位置传感器，获取器械末端执行器的位置参数，以及通过触觉触感器，获取触感数据，获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。通过触觉传感器检测器械末端的受力情况并且在进行反馈到触觉反馈装置，为操作者提供器械末端的受力反馈，同时还通过位置传感器对器械末端进行定位，结合受力情况，将器械末端的接触位置和受力情况显示在图像中，使操作者既可以通过触觉感应到实际的力矩大小，又可以通过视觉观察器械末端的接触情况，防止因误操作产生对正常组织或器官的伤害，大大降低了手术操作风险。

附图说明

图1为一个实施例中机器人控制反馈系统的应用场景图；

图2为一个实施例中患者手术平台的应用场景图；

图3为一个实施例中机器人控制反馈系统的结构示意图；

图4为一个实施例中机器人控制反馈系统的工作流程图；

图5为一个实施例中位置传感器示意图；

图6为一个实施例中器械末端执行器示意图；

图7为一个实施例中触觉传感器的工作原理示意图；

图8为一个实施例中两种柔性触觉传感器的结构示意图；

图9为一个实施例中生成触感数据的流程示意图；

图10为一个实施例中生成位置参数的流程示意图；

图11为一个实施例中触觉反馈装置安装位置示意图；

图12为一个实施例中触觉反馈装置结构示意图；

图13为一个实施例中触觉反馈流程示意图；

图14为一个实施例中位置反馈流程示意图；

图15为一个实施例中视觉触觉融合示意图；

图16为一个实施例中视觉触觉融合效果示意图；

图17为一个实施例中病灶定位流程示意图；

图18为一个实施例中机器人控制反馈装置的结构框图；

图19为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的机器人控制反馈系统，可以应用于如图1所示的应用环境中。腹腔镜手术系统主要由医生控制平台101、患者手术平台102、图像平台103、器械平台104、辅助设备105组成。其中，医生控制平台101相当于控制平台；患者手术平台102相当于机器人平台，挂载机械臂(包括调整臂和工具臂)和手术器械进行主从模式下的手术动作，具有术前整机移动和术式摆位调整的功能。患者手术平台的构成主要由台车底座、立柱系统、横梁伸缩系统、工具臂、手术器械(穿刺器)、调整臂组成。患者手术平台应用场景如图2所示，悬吊系统2011挂载于患者手术台车201伸缩梁上，用以实现台车移动和台车与手术床之间的距离调整与微调，手术器械电刀钳2012、电凝钳2013、鸭嘴钳2014和内窥镜2015分别安装于机械臂下方，手术器械电刀钳2012、电凝钳2013、鸭嘴钳2014和内窥镜2015分别镶嵌于机械臂上，根据不同的手术需求，可以灵活的更换手术器械。手术时患者202平躺于手术床203上，医生根据患者病情以及病灶的位置，选用合适的手术器械作用于患者202的腹腔位置。

在一个实施例中，提供了一种机器人控制反馈系统，如图3所示，机器人控制反馈系统包括控制平台、图像平台和机器人，机器人分别与控制平台和图像平台通信，机器人包括处理器、器械驱动装置和器械末端执行器，器械末端执行器配置有位置传感器和触觉传感器，控制平台包括用于控制器械末端执行器的触觉反馈装置。控制平台可以是终端或者服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

控制平台，用于通过触觉触感器，获取器械末端执行器的触感数据；

控制平台还用于根据触感数据，控制触觉反馈装置的反馈力度；

图像平台，用于通过位置传感器，获取器械末端执行器的位置参数，以及通过触觉触感器，获取触感数据；

图像平台还用于获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像并显示识别图像；识别图像包括目标对象的类别标签和特征标签。

可选的，机器人控制反馈系统的工作流程如图4所示，位置传感器和触觉传感器在腹腔内部通过感知信息融合经过机器人处理器把采集到数据进行数据处理，形成姿态参数发送到控制平台。控制平台通过数据解析处理，形成反馈信息参数，经过数据滤波与最小二乘法的数据解析，作用到触觉反馈装置的反馈电机上，从而带动触觉反馈装置振动，形成触感反馈；其中开合关节通过控制微型电机出力振动来模拟反触感反馈的力，增加手术的真实感。与此同时器械位置参数根据输出的配准图像与位置传感器和触觉传感器的感知数据进行拟合，图像平台中呈现前内部画面信息，方便操作者观看。

上述机器人控制反馈系统，包括控制平台、图像平台和机器人，机器人分别与控制平台和图像平台通信，机器人包括器械末端执行器，器械末端执行器配置有位置传感器和触觉传感器，控制平台包括用于控制器械末端执行器的触觉反馈装置。控制平台通过触觉触感器，获取器械末端执行器的触感数据，根据触感数据，控制触觉反馈装置的反馈力度；图像平台通过位置传感器，获取器械末端执行器的位置参数，以及通过触觉触感器，获取触感数据，获取包括目标对象的拍摄图像，根据拍摄图像、触感数据和位置参数，生成识别图像；识别图像包括目标对象的类别标签和特征标签。通过触觉传感器检测器械末端的受力情况并且在进行反馈到触觉反馈装置，为操作者提供器械末端的受力反馈，同时还通过位置传感器对器械末端进行定位，结合受力情况，将器械末端的接触位置和受力情况显示在图像中，使操作者既可以通过触觉感应到实际的力矩大小，又可以通过视觉观察器械末端的接触情况，防止因误操作产生对正常组织或器官的伤害，大大降低了手术操作风险。

在一个实施例中，机器人还包括处理器；

位置传感器，用于采集器械末端执行器的位置信息；

触觉传感器，用于采集器械末端执行器的触感信息；

处理器，用于接收触感信息和位置信息，基于预设规则分别处理触感信息和位置信息，得到触感数据和位置参数。

可选的，如图5所示，位置传感器可以采用环形传感器，设于器械末端执行器。在器械末端执行器，可以设有一个或多个触觉传感器。触觉传感器能够将器械末端执行器的运动、位置以及姿态等数据信息实时而准确地发送至核心处理器，并将数据通过图像平台和触觉反馈装置反馈给操作者，使其得到真实的手术操作体验，保证机器人操作安全可靠。触觉力反馈不仅能够提供给机械臂合适的操作力，而且能够使操作者感觉到软组织的质地、形态等不同特性，进而可以辨别出病理组织。具有触觉力反馈系统的手术机器人能够加强外科医生手术时的临场感，提高手术的安全性和精度。

例如，如图6所示，每种器械末端执行器安装环形位置传感器、触觉传感器1、触觉传感器2。其中，位置传感器用于识别与判断器械在腹腔内部的位置信息；触觉传感器1用于检测与判断术中医生剪切病灶组的触感反馈信息；触觉传感器2用于探测末端执行器在腹腔内部的触感信息，用于触诊判断，反馈正常组织触感与病灶组织触感；上述传感器总合反馈器械在腹腔内部的总合信息数据，为医生更好地探测触感信息。

触觉传感器的工作原理如图7所示，作为驱动元件的压电陶瓷施加交变电压后由于逆压电效应发生伸缩形变，继而产生振动，当施加压电频率达到触感识别传感器的谐振频率时，传感器整体发生谐振，利用正压电效应，此时压电陶瓷的阻抗会发生突变，电阻抗最小值点处频率为谐振频率值。触感器未接触到病灶组织时自身谐振频率为f 0；接触到病灶组织后谐振频率变为f1；可以通过测量压电陶瓷阻抗获得数据，根据谐振频率偏移量可以计算出被测量病灶组织的硬度和接触力；由于压电陶瓷具有自传感性质，同一片压电陶瓷可即作为驱动元件又作为传感元件；这有助于传感器的结构简化。

如图8所示，为两种柔性触觉传感器的结构示意图；压阻式触觉传感器用于检测器械与生物组织之间的触感信息，电阻式触觉触感器用于检测器械剪切病灶组织时产生的触觉感知力；外界刺激都能导致两种电阻值发生响应变化，且都能通过检测电阻值变化程度来测量输入信号的大小。压阻式触觉触感器利用sio2制作的触感器，当力作用于硅晶体时，晶体产生形变，使载流子在衬底上发生散射，从而自由电子发生流动变化的现象引起迁移率发生变化，同时导致硅的电阻率发生了变化，即外界刺激下导电复合材料的电阻率发生变化，来实现电阻变化的测量。电阻式柔性触觉传感由弹性元件和敏感单元组成，可根据具体测量要求设计成多种结构形式。敏感单元是指能将工程构件上的应变，即尺寸变化转换成为电阻变化的变换器，即敏感单元发生的形变，会使其不同区域产生不同程度的收缩或舒张，使得内部导电材料变得更加紧密或疏远，引起导电通路结构的变化，最终表现为整体电阻的降低或升高。

本实施例中，通过触觉传感器检测器械末端的受力情况并且在进行反馈到触觉反馈装置，为操作者提供器械末端的受力反馈，同时还通过位置传感器对器械末端进行定位，结合受力情况，将器械末端的接触位置和受力情况显示在图像中，使操作者既可以通过触觉感应到实际的力矩大小，又可以通过视觉观察器械末端的接触情况，防止因误操作产生对正常组织或器官的伤害，大大降低了手术操作风险。

在一个实施例中，图像平台还包括内窥镜；

内窥镜，用于获取拍摄图像；

处理器还用于对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据；

处理器还用于根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。

可选的，触觉是接触、滑动、压觉的器械刺激的总称，对于生物组织而言，利用分布在全身皮肤上的神经细胞来接收外界的温度、湿度、疼痛、压力、振动等感觉；通过上述信息可知；可以分辨一个组织的表面纹理、刚性强度、硬度触感等复杂的基础物理信息，结合多次、多点触感接触，还可以获取病灶组织的三维形状特征。如图9所示，在触感信息检测过程中引入高效的采样算法，通过数十次的测量可以准确定位病灶组织触感异常区域，实现病灶组织的快速定位和形状检测。

如图10所示，若内窥镜所在底座为底座n，手术器械所在底座为底座m，其中n≥1，m≥1。则计算任一手术器械在内窥镜所在坐标系下描述的计算流程图为：根据获取的图像建立器械的基准坐标；根据识别到的腹腔内部病灶组织的像素点，从而可以计算出器械的n和m坐标系；根据坐标系的参数；计算出器械n和m之间的姿态位置映射关系；计算内窥镜相对于器械n的姿态位置映射关系；计算内窥镜相对于器械m的姿态位置映射关系；根据n和m的映射参数，最终得到位置参数，供图像平台读取和计算。

在一个实施例中，控制平台还用于接收机器人传输的触感数据，根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。

图像平台还用于获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；

图像平台还用于接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

可选的，如图11所示，触觉反馈装置在主控制臂的末端，手术器械在腹腔内部触摸、剪切、按压病灶组织时通过触觉传感器将触感信息通过开合关节的反馈传至医生的手部，将增加医生手术的真实感。

如图12所示，为一种无限位力反馈装置开合关节闭合结构图，触觉反馈装置包含开合关节、微型电机及减速器、编码器、齿轮传动组成。其中传动机构为90度齿轮传动机构。能将电机的纵向的力转化成横向的力，将腹腔内部的触感信息经过控制平台处理形成反馈信息参数，通过编码器、电机、齿轮传动、将触感力反馈手柄上，从而让医生感知到。其中，通信模块为用户操作关节无线供电及通信驱动控制单元，主要是接收供电与末端关节数据交互的作用；编码器可以反馈开合关节的夹取角度信息。

如图13所示，为手术器械末端的触觉反馈流程。机器人从端器械在腹腔内部做病灶组织剪切、夹取、触摸动作时反馈的阻力、触觉、剪切、触感经提取后传至机器人处理器，通过系统线缆将信息传输至控制平台；位于控制平台的触觉反馈装置通过电机出力振动来模拟阻力，最终通过开合关节的反馈传至医生的手部，将增加医生手术的真实感。根据反馈的触感用于病灶位置的确定，人体组织发生病变时，组织的硬度会发生明显的变化，可以根据这一特点来对组织中是否存在病灶进行判断与位置确定；同时通过触觉反馈机制，将触觉传递给主刀医生以及3D图像处理器，这样一来，医生们就可以看到他们的手术刀到底割到了哪里，避免医生误割了其他器官及组织。

如图14所示，为手术器械末端的位置反馈流程。首先由安装于器械杆上的环形位置传感器进行周围生物组织感知和数据采集单元进行参数提取；在手术过程中实时采集姿态感知参数，并实时记录于数据采集模块中；数据处理单元将感知参数通过数据通信模块实时传输到机器人处理器，由机器人处理器进行实时数据处理和姿态判断，形成参数文件，经过算法进行拟合处理，在图像平台中显示画面，有助于更加清晰让医生感知手术器械相对于腹腔内部组织的位置，减少误操作的风险；电源管理模块负责整个系统的工作支撑；

如图15所示，机器人用触觉传感器的的表面与抓取生物组织进行接触，然后从触觉图像检测被抓取生物组织的姿态，触觉触感器带有一定的柔顺性，因此物体与触觉传感器的接触将会表现为一个过程量，利用这个过程可以完成对触觉传感器信息的读取。触觉传感器是将椎体元件排列在传感器的表面形成陈列，在施加外力后，椎体被压缩并且接触到底盘，光线从底盘摄入，将压缩图案明显地呈现在地盘上，与此同时电子腹腔镜借助于CCD相机将压缩情景拍摄下来，图像经过处理后转换为触觉图像。生成触觉图像的具体过程包括：

利用二维视觉处理技术确定边界区域，利用立体视觉确定物体的质心，由此作为触觉探测的起点，同时立体视觉可以提供对深度和朝向的初步计算结果，并除去由遮拦、噪声等原因形成的孤立特征。在只有视觉处理的系统中，对于非稠密的深度只有通过内插来估计。借助于触觉可以大大提高内插的精度。利用触觉系统进一步检查视觉系统识别到每个生物组织，以决定其是病灶组织合适正常生物组织。对于平滑区域，利用视觉和前面触觉的结果以及当前的触觉信息相融合，生成与模型数据库相匹配的三维表面，从与表面相连的位置开始。触觉通道利用结点决定表面踪迹的方向，将这些点沿着每条踪迹连接成闭合曲线，用以补充立体视觉处理过程中获取的信息。对于视觉上被遮挡的洞和坑就需要用触觉感知来检测，但只靠触觉感很难的，因此视觉检测在这里所起的作用是对触觉系统的引导和确定，需要触觉探测的区域。视觉、触觉融合过程如图16所示。

本实施例中，通过触觉传感器检测器械末端的受力情况并且在进行反馈到触觉反馈装置，为操作者提供器械末端的受力反馈，同时还通过位置传感器对器械末端进行定位，结合受力情况，将器械末端的接触位置和受力情况显示在图像中，使操作者既可以通过触觉感应到实际的力矩大小，又可以通过视觉观察器械末端的接触情况，防止因误操作产生对正常组织或器官的伤害，大大降低了手术操作风险。

在一个可行的实施方式中，如图17所示，可以采用机器人控制反馈系统进行病灶定位。开始进行病灶定位于形状检测之前，利用病灶触感信息对系统进行初始化，得到初步的病灶位置信息，经过算法迭代，机器人带动器械末端执行器处的位置传感器和触觉传感器从当前位置移动到病灶位置，并锁定病灶具体位置，此时机器人对路径主手路径进行最优路径规划，根据检测到的病灶形状进行结果更新，完成数次迭代。将病灶位置锁定。系统事先设定好检测点数，检测完成后即可得到相对准确的病灶形状，通过图像平台将病灶的定位于形状检测结果反馈到图像平台，展现给医生看。

在一个实施例中，提供了一种机器人控制反馈方法，应用于机器人控制反馈系统，系统包括控制平台、图像平台和机器人，机器人分别与控制平台和图像平台通信，机器人包括器械末端执行器，器械末端执行器配置有位置传感器和触觉传感器，控制平台包括用于控制器械末端执行器的触觉反馈装置。机器人控制反馈方法包括：

通过位置传感器获取器械末端执行器的位置信息。

通过触觉传感器获取器械末端执行器的触感信息。

对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据。

获取拍摄图像；根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。

根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。

获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

上述机器人控制反馈方法中，通过触觉传感器检测器械末端的受力情况并且在进行反馈到触觉反馈装置，为操作者提供器械末端的受力反馈，同时还通过位置传感器对器械末端进行定位，结合受力情况，将器械末端的接触位置和受力情况显示在图像中，使操作者既可以通过触觉感应到实际的力矩大小，又可以通过视觉观察器械末端的接触情况，防止因误操作产生对正常组织或器官的伤害，大大降低了手术操作风险。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的机器人控制反馈方法的机器人控制反馈装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个机器人控制反馈装置实施例中的具体限定可以参见上文中对于机器人控制反馈方法的限定，在此不再赘述。

在一个实施例中，如图18所示，提供了一种机器人控制反馈装置1800，包括：获取模块1801、第一处理模块1802和第二处理模块1803，其中：

获取模块1801，用于通过位置传感器获取器械末端执行器的位置信息，通过触觉传感器获取器械末端执行器的触感信息。

第一处理模块1802，用于对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据。

第二处理模块1803，用于根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。

第一处理模块1802还用于根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。

第二处理模块1803还用于获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

上述机器人控制反馈装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图19所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储传感器数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人控制反馈方法。

本领域技术人员可以理解，图19中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：通过位置传感器获取器械末端执行器的位置信息。通过触觉传感器获取器械末端执行器的触感信息。对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据。获取拍摄图像；根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：通过位置传感器获取器械末端执行器的位置信息。通过触觉传感器获取器械末端执行器的触感信息。对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据。获取拍摄图像；根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：通过位置传感器获取器械末端执行器的位置信息。通过触觉传感器获取器械末端执行器的触感信息。对触感信息进行信息预处理，采用预设的采样算法处理触感信息，得到目标对象表面的物理特征，根据物理特征生成触感数据。获取拍摄图像；根据拍摄图像获取基准坐标，根据拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定第一坐标系与第二坐标系之间的第一映射关系，获取内窥镜与内窥镜底座之间的第二映射关系，根据第一映射关系和第二映射关系获取内窥镜与器械底座之间的第三映射关系，根据第一映射关系、第二映射关系、第三映射关系和位置信息获取位置参数。根据触感数据和触觉反馈装置的结构信息，获取触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据反馈信息参数调整触觉反馈装置的各关节的运动阻力。获取包括目标对象的基准图像，将拍摄图像与基准图像进行配准，得到包括目标对象的配准图像；接收机器人传输的位置参数和触感数据，根据配准图像和位置参数确定目标对象的对象类别，在拍摄图像中添加类别标签，根据触感数据确定目标对象表面的物理特征，根据目标对象表面的物理特征在拍摄图像中添加特征标签，生成识别图像。需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人控制反馈系统，其特征在于，所述机器人控制反馈系统包括控制平台、图像平台和机器人，所述机器人分别与所述控制平台和所述图像平台通信，所述机器人包括器械末端执行器，所述器械末端执行器配置有位置传感器和触觉传感器，所述控制平台包括用于控制所述器械末端执行器的触觉反馈装置；

所述控制平台，用于通过所述触觉触感器，获取所述器械末端执行器的触感数据；

所述控制平台还用于根据所述触感数据，控制所述触觉反馈装置的反馈力度；

所述图像平台，用于通过所述位置传感器，获取所述器械末端执行器的位置参数，以及通过所述触觉触感器，获取所述触感数据；

所述图像平台还用于获取包括目标对象的拍摄图像，根据所述拍摄图像、所述触感数据和所述位置参数，生成识别图像并显示所述识别图像；所述识别图像包括所述目标对象的类别标签和特征标签。

2.根据权利要求1所述的系统，其特征在于，所述机器人还包括处理器；

所述位置传感器，用于采集所述器械末端执行器的位置信息；

所述触觉传感器，用于采集所述器械末端执行器的触感信息；

所述处理器，用于接收所述触感信息和所述位置信息，基于预设规则分别处理所述触感信息和所述位置信息，得到所述触感数据和所述位置参数。

3.根据权利要求2所述的系统，其特征在于，所述处理器还用于对所述触感信息进行信息预处理，采用预设的采样算法处理所述触感信息，得到所述目标对象表面的物理特征，根据所述物理特征生成所述触感数据。

4.根据权利要求1所述的系统，其特征在于，所述图像平台还包括内窥镜；

所述内窥镜，用于获取所述拍摄图像；

所述处理器还用于根据所述拍摄图像获取基准坐标，根据所述拍摄图像中的像素点，获取内窥镜底座对应的第一坐标系，以及器械底座对应的第二坐标系，确定所述第一坐标系与所述第二坐标系之间的第一映射关系，获取所述内窥镜与所述内窥镜底座之间的第二映射关系，根据所述第一映射关系和所述第二映射关系获取所述内窥镜与所述器械底座之间的第三映射关系，根据所述第一映射关系、所述第二映射关系、所述第三映射关系和所述位置信息获取所述位置参数。

5.根据权利要求1所述的系统，其特征在于，所述控制平台还用于接收所述机器人传输的所述触感数据，根据所述触感数据和所述触觉反馈装置的结构信息，获取所述触觉反馈装置的各关节的阻力反馈参数，根据各关节的阻力反馈参数得到反馈信息参数，根据所述反馈信息参数调整所述触觉反馈装置的各关节的运动阻力。

6.根据权利要求1所述的系统，其特征在于，所述图像平台还用于获取包括所述目标对象的基准图像，将所述拍摄图像与所述基准图像进行配准，得到包括所述目标对象的配准图像；

所述图像平台还用于接收所述机器人传输的所述位置参数和所述触感数据，根据所述配准图像和所述位置参数确定所述目标对象的对象类别，在所述拍摄图像中添加所述类别标签，根据所述触感数据确定所述目标对象表面的物理特征，根据所述目标对象表面的物理特征在所述拍摄图像中添加所述特征标签，生成所述识别图像。

7.一种机器人控制反馈方法，其特征在于，所述方法包括：

获取器械末端执行器的触感数据；

根据所述触感数据，控制触觉反馈装置的反馈力度；

获取所述器械末端执行器的位置参数；

获取包括目标对象的拍摄图像，根据所述拍摄图像、所述触感数据和所述位置参数，生成识别图像；所述识别图像包括所述目标对象的类别标签和特征标签。

8.根据权利要求7所述的方法，其特征在于，所述根据所述触感数据，控制触觉反馈装置的反馈力度，包括：

根据所述触感数据和所述触觉反馈装置的结构信息，获取所述触觉反馈装置的各关节的阻力反馈参数；

根据各关节的阻力反馈参数得到所述反馈信息参数，根据所述反馈信息参数调整所述触觉反馈装置的各关节的运动阻力。

9.根据权利要求7所述的方法，其特征在于，所述根据所述拍摄图像、所述触感数据和所述位置参数，生成识别图像，包括：

获取包括所述目标对象的基准图像，将所述拍摄图像与所述基准图像进行配准，得到包括所述目标对象的配准图像；

根据所述配准图像和所述位置参数确定所述目标对象的对象类别，在所述拍摄图像中添加所述类别标签，根据所述触感数据确定所述目标对象表面的物理特征，根据所述目标对象表面的物理特征在所述拍摄图像中添加所述特征标签，生成所述识别图像。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7至9所述方法的步骤。