CN110916799A - 基于5g网络的穿刺机器人导航系统 - Google Patents

Abstract

本发明提供一种基于5G网络的穿刺机器人导航系统，包括本地穿刺导航系统和异地穿刺服务器，所述本地穿刺导航系统和异地穿刺服务器通过5G网络通信；本地穿刺导航系统首先将CT坐标系、机器人基座坐标系和双目相机世界坐标系通过标记点进行空间映射，将CT坐标系通过固定好的双目相机世界坐标系映射到机器人基座坐标系下，映射后发送当前标记点的位置给机器人，然后给医生确定靶点路径，靶点路径通过5G网络发送至异地穿刺服务器，医生通过异地穿刺服务器控制机器人完成手术。本发明异地操作，通过5G的低延时，高效率，医生可在异地进行系统操作，实时传输视频图像，机械臂数据，给手术房的医生提供精确的穿刺导航路径，供医生进行穿刺。

Description

基于5G网络的穿刺机器人导航系统

技术领域

本发明涉及医疗设备技术领域，具体涉及一种基于5G网络的穿刺机器人导航系统。

背景技术

随着5G技术的发展，高传输，低延时的特点成为5G的代名词。医学上，双目视觉动态补偿功能的穿刺机器人导航系统是整个手术的关键，其作用就是实时得到靶点在机器人中的空间位置。首先通过术前与术中医学图像配准以及术中医学图像与患者、手术器械之间的配准关系，经过相应的坐标转换，控制手术器械达到要求的部位后，通过对特定的标记点进行跟踪，得到标记点的运动轨迹，通过智能分析将运动轨迹的坐标点实时反馈给机器人，让机器人在一定的范围内跟踪目标点。

利用5G的低延时，可以让异地的医生操作机器人进行路径确定，解决了医生来回跑，缩短了手术时长，节约公共资源。

研究基于5G的双目视觉动态补偿功能的穿刺机器人导航系统，具有极其重要的意义。

发明内容

本发明所要解决的技术问题是：为了克服现有技术中的不足，本发明提供一种基于5G网络的穿刺机器人导航系统，该系统不仅大大提高了医生在术中穿刺的精准度，也能够减轻病人的痛苦，将医生做手术的时间大大缩短了，提高了效率，同时能通过5G网络能让患者轻松获得大医院的资源，提升患者康复的心态，合理分配了医疗资源。

本发明解决其技术问题所要采用的技术方案是：一种基于5G网络的穿刺机器人导航系统，包括本地穿刺导航系统和异地穿刺服务器，所述本地穿刺导航系统和异地穿刺服务器通过5G网络通信；

本地穿刺导航系统首先将CT坐标系、机器人基座坐标系和双目相机世界坐标系通过标记点进行空间映射，将CT坐标系通过固定好的双目相机世界坐标系映射到机器人基座坐标系下，映射后发送当前标记点的位置给机器人，然后给医生确定靶点路径，靶点路径通过5G网络发送至异地穿刺服务器，医生通过异地穿刺服务器控制机器人完成手术。

进一步，本地穿刺导航系统的双目相机通过USB3.0数据传输线连接到机器人的控制器，控制器通过5G网络将双目相机数据帧图像映射到通道中，异地穿刺服务器实时接收数据；且控制器的算法程序也通过5G通道映射到异地穿刺服务器。

进一步，标记点的空间映射过程包含四个步骤：

1)在医学图像空间内对病灶靶点、穿刺入针点以及穿刺路径位姿进行定位；

2)在双目摄像机图像空间内对患者皮肤表层标记点定位；

3)在双目摄像机图像空间内对机器人空间坐标进行定位；

4)计算出机器人空间内病灶靶点、穿刺入针点和穿刺路径位姿的定位。

实施手术前，首先粗略判断患者穿刺部位，然后在该部位附近的体表粘贴N(N≥4)个能够在CT扫描下成像的圆形标记点，任意3个标记点不在同一直线上，4个标记点不在同一平面上；本研究中选用人体骨骼3D模型做实验，其标记点粘贴如图所示。通过CT或MRI扫描后，通过三维重建技术，可在医学图像上清楚、准确的得到圆形标记点的成像，可获得标记点在医学图像空间的坐标信息。

通过双目摄像机识别圆形标记点在双目图像平面内的图像坐标值，精确推导出圆形标记点的圆心在视觉空间坐标系内的精确坐标值；同时双目摄像机通过识别机器人本体的圆形标记点坐标，推导得出机器人在视觉空间坐标系内的坐标值。这样，标记点在图像空间和机器人空间的坐标位置就能够确定，并且他们之间存在着一一对应的关系。

基于标记点的辅助精准穿刺机器人系统的空间映射主要包含计算机图像坐标系{V}、患者坐标系{P}、光学坐标系{M}和机器人坐标系{R}四个坐标系其映射关系如下文所述。

具体的，图像坐标系—3D模型仿射坐标系之间的转换关系：

在3D模型上粘贴不少于4个标记点，利用这些标记点建立一个3D模型仿射坐标系，利用不在同一平面内的4个标记点建立参考坐标系，任选其中一个标记点M₀(x_m0,y_m0,z_m0)作为参考坐标系原点，且参考坐标系的三个坐标轴方向平行于CT图像坐标系的三个坐标轴方向，则3D模型仿射坐标系相对于CT图像坐标系发生了平移和旋转，其分别在x、y、z轴上平移距离为x_m0、y_m0、z_m0，其沿x、y、z轴旋转为0；剩余三个标记点M₁(x_m1,y_m1,z_m1)、M₂(x_m2,y_m,2,z_m2)、M₃(x_m3,y_m3,z_m3)建立仿射关系，从3D模型仿射坐标系到图像坐标系的映射矩阵T₁可表示为如下：

这样3D模型仿射坐标系和图像坐标系建立了一一对应的关系，则图像坐标系中的任意一点P(x_mp,y_mp,z_mp)在3D模型上都有唯一的一点与之对应，其转换公式可表示为：

其中，P_3D仿射表示图像坐标系中的点经过公式2变化得到的对应点，P_图像表示图像坐标系中的点。

具体的，3D模型仿射坐标系—双目摄像机光学坐标系之间的转换关系：

通过双目摄像机做光学定位计算，求得四个标记点在光学坐标系下的坐标位置，同样可以建立摄像机光学坐标系到3D模型仿射坐标系的转换矩阵：

其中，(x_cr0，y_cr0，z_cr0)、(x_cr1，y_cr1，z_cr1)、(x_cr2，y_cr2，z_cr2)与(x_cr3，y_cr3，z_cr3)分别表示在双目相机世界坐标系下的点坐标；

通过转换矩阵T₂双目摄像机光学坐标系和3D模型仿射坐标系建立了一一对应的关系，则3D模型上的任意一点在双目摄像机光学坐标系上都有唯一的一点与之对应，其转换公式可表示为：

其中，P_光学表示点在双目相机世界坐标系下的空间点坐标，P_3D仿射表示图像坐标系中的点经过公式2变化得到的对应点，由公式(2)和公式(4)关系可求得图像坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，

是图像坐标系到摄像机坐标系的映射矩阵。

具体的，机器人坐标系—机器人仿射坐标系之间的转换关系：

在机器人末端选取四个标记点，作为机器人的标记点，可建立机器人坐标系到机器人仿射坐标系之间的转换矩阵T₄：

通过转换矩阵T₄机器人坐标系和机器人仿射坐标系建立了一一对应的关系，则机器人的任意一点在机器人仿射坐标系上都有唯一的一点与之对应，其转换公式可表示为：

其中，公式中P_机器人表示机器人坐标系下可达到的任意点，P_{机器人仿射}经过公式(7)变化后得到的点。

具体的，机器人仿射坐标系—双目摄像机光学坐标系之间的转换关系：

建立机器人仿射坐标系和双目摄像机光学坐标系之间的对应关系，机器人上的每个点都可以唯一的映射到双目摄像机光学坐标系中，其转换关系矩阵T₅为：

其中，(x_cr0，y_cr0，z_cr0)、(x_cr1，y_cr1，z_cr1)、(x_cr2，y_cr2，z_cr2)与(x_cr3，y_cr3，z_cr3)分别表示在双目相机世界坐标系下的点坐标；

其转换公式可表示为：

P_光学表示点在双目相机世界坐标系下的空间点坐标，P_{机器人仿射}经过公式7变化后得到的点坐标。

由以上关系可求得机器人坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，P_光学表示点在双目相机世界坐标系下的空间点坐标，P_机器人表示机器人坐标系下可达到的任意点，

是光学坐标系到摄像机坐标系的映射矩阵。

具体的，图像坐标系—机器人坐标系之间的转换关系：

根据图像坐标系到摄像机光学坐标系的转换矩阵T3，光学坐标系到机器人坐标系的转换矩阵T6，求得图像坐标系上的点到机器人坐标系的转换关系：

P_机器人＝T₆T₃P_图像＝T₇P_图像 (11)

其中，P_机器人表示机器人坐标系下可达到的任意点，，P_图像表示图像坐标系中的点，T₇＝T₆T₃，是图像坐标系到机器人坐标系的转换关系矩阵，实现3D模型上的任意点位置坐标映射到机器人坐标系下。

本发明的有益效果是：本发明提供的一种基于5G网络的穿刺机器人导航系统，利用5g网络，针对异地患者，利用先进的机器人穿刺技术给医生提供精确的进针路线，通过大医院的资源完成异地的操作，可以大大缩短手术时长，提供患者成功就诊率，同时我们设计了基于双目视觉动态补偿功能的穿刺机器人导航系统，通过双目相机识别患者皮肤表面的圆形标记点和手术机器人末端的标记点，得出他们在视觉坐标系内的空间位置坐标，完成穿刺手术中患者医学图像空间坐标系位置到手术机器人空间坐标系的映射，将机器人运动到初始穿刺的点，然后打开相机连续工作模式，跟踪标记点，在一定帧数内得到标记点的运动轨迹(患者皮肤层的运动)，通过均值来进行校正穿刺的靶点，可以减少人为穿刺带来的误差，借助以机器人定位精度高、运行稳定、安全可靠的特点，完成医学外科微创穿刺手术中辅助精准定位的问题；本发明通过5g，映射机械手控制器程序让用户使用，通过5g进行操作，节约资源，缩短手术时长。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是计算机图像坐标系到机器人坐标系映射图；

图2是穿刺流程图；

图3是本发明利用5G网络穿刺流程图；

图4是机器人远程控制界面；

图5是基于标记点的坐标系映射关系图；

图6是3D模型和CT图像三维重建模型标记点对比图；

图7是3D模型和CT图像三维重建模型标记点对比图；

图8是空间映射过程示意图。

具体实施方式

现在结合附图对本发明作详细的说明。此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1-图5所示，本发明的一种基于5G网络的穿刺机器人导航系统，包括本地穿刺导航系统和异地穿刺服务器，所述本地穿刺导航系统和异地穿刺服务器通过5G网络通信；本实施例中，A地是本地，B地是异地，机器人采用机械臂。

具体包括以下步骤：

如图2和图3所示，首先在A地将双目相机通过USB数据传输线连接到机械臂控制器上，通过5G网络将相机数据帧图像映射到通道中，B地的穿刺服务器可以实时接收数据。最主要的机械臂控制器的算法程序也是通过5G通道映射到B地，B地通过图4所示界面可以远程操控机器人。利用5g，应用分布如图3所示，通过5G网络通信，将穿刺服务器放置B地，就可以对A地的患者通过机械臂进行实操。

如图4所示，通过控制区完成机械臂的关节空间动作，信息提示区的数值实时反映机器人当前的空间姿态，这样的操作方式完全脱离了机器人控制器本体，方便操作人员，更安全，更便捷。

如图5所示，标记点的空间映射过程包含四个步骤：1)医学图像空间内对病灶靶点、穿刺入针点以及穿刺路径位姿的定位；2)双目摄像机图像空间内3D模型标记点定位；3)双目摄像机图像空间内对机器人空间坐标的定位；4)计算出机器人空间内病灶靶点、穿刺入针点和穿刺路径位姿的定位。

实施手术前，首先粗略判断患者穿刺部位，然后在该部位附近的体表粘贴N(N≥4)个能够在CT扫描下成像的圆形标记点，任意3个标记点不在同一直线上，4个标记点不在同一平面上；本研究中选用人体骨骼3D模型做实验，其标记点粘贴如图所示。通过CT或MRI扫描后，通过三维重建技术，可在医学图像上清楚、准确的得到圆形标记点的成像如图6和图7所示，可获得标记点在医学图像空间的坐标信息。其中，标记点的形状不限于圆形，可根据具体情况和需要进行选择。

通过双目摄像机识别圆形标记点在双目图像平面内的图像坐标值，精确推导出圆形标记点的圆心在视觉空间坐标系内的精确坐标值；同时双目摄像机通过识别机器人本体的圆形标记点坐标，推导得出机器人在视觉空间坐标系内的坐标值。这样，标记点在图像空间和机器人空间的坐标位置就能够确定，并且他们之间存在着一一对应的关系。

基于标记点的辅助精准穿刺机器人系统的空间映射主要包含计算机图像坐标系{V}、患者坐标系{P}、光学坐标系{M}和机器人坐标系{R}四个坐标系，其空间映射关系如图8所示：

表一中，(X_w,Y_w,Z_w)表示标记点P在双目世界坐标下的空间点。

表一双目摄像机图像空间内对模型标记点定位

表二医学图像空间内对病灶靶点、穿刺入针点以及穿刺路径位姿的定位

表三双目摄像机对机器人标记点定位

(1)图像坐标系—3D模型仿射坐标系

利用在3D模型上粘贴不少于4个标记点建立一个3D模型仿射坐标系，利用不在同一平面内的4个标记点建立参考坐标系，任选其中一个标记点M₀(x_m0,y_m0,z_m0)作为参考坐标系原点，且平行于CT图像坐标系的三个坐标轴方向，则3D模型仿射坐标系相对于CT图像坐标系发生了平移和旋转，其分别在x、y、z轴上平移距离为x_m0、y_m0、z_m0，其沿x、y、z轴旋转为0。和其他三个标记点M₁(x_m1,y_m1,z_m1)、M₂(x_m2,y_m,2,z_m2)、M₃(x_m3,y_m3,z_m3)建立仿射关系，从3D模型放射坐标系到图像坐标系的映射矩阵可表示为如下：

这样3D模型仿射坐标系和图像坐标系建立了一一对应的关系，则图像坐标系中的任意一点P(x_mp,y_mp,z_mp)在3D模型上都有唯一的一点与之对应，其转换公式可表示为：

(2)3D模型仿射坐标系—双目摄像机光学坐标系

通过双目摄像机做光学定位计算，同样求得四个标记点在光学坐标系下的坐标位置，同样可以建立摄像机光学坐标系到3D模型仿射坐标系的转换矩阵：

这样双目摄像机光学坐标系和3D模型仿射坐标系建立了一一对应的关系，则3D模型上的任意一点在双目摄像机光学坐标系上都有唯一的一点与之对应，其转换公式可表示为：

由公式(2)和公式(4)关系可求得图像坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中

是图像坐标系到摄像机坐标系的映射矩阵。

(3)机器人坐标系—机器人仿射坐标系

仿照以上的转换关系，在机器人末端选取四个标记点，作为机器人的标记点，可建立机器人坐标系到机器人仿射坐标系之间的转换矩阵：

这样机器人坐标系和机器人仿射坐标系建立了一一对应的关系，则机器人的任意一点在机器人仿射坐标系上都有唯一的一点与之对应，其转换公式可表示为：

(4)机器人仿射坐标系—双目摄像机光学坐标系

同理，可建立机器人仿射坐标系和双目摄像机光学坐标系之间的对应关系，机器人上的每个点都可以唯一的映射到双目摄像机光学坐标系中，其转换关系矩阵为：

其转换公式可表示为：

由以上关系可求得机器人坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中

是光学坐标系到摄像机坐标系的映射矩阵。

(5)图像坐标系—机器人坐标系

综上所述，已经得出图像坐标系到摄像机光学坐标系的转换关系T3，光学坐标系到机器人坐标系的转换关系T6，故可求得图像坐标系上的点到机器人坐标系的转换关系：

P_机器人＝T₆T₃P_图像＝T₇P_图像 (11)

其中T₇＝T₆T₃，是图像坐标系到机器人坐标系的转换关系矩阵，可实现3D模型上的任意点位置坐标映射到机器人坐标系下。

通过双目摄像机识别圆形标记点在双目图像平面内的图像坐标值，利用精确推导出圆形标记点的圆心在视觉空间坐标系内的精确坐标值；同时双目摄像机通过识别机器人本体的圆形标记点坐标，推导得出机器人在视觉空间坐标系内的坐标值。这样，标记点在图像空间和机器人空间的坐标位置就能够确定，并且他们之间存在着一一对应的关系。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关的工作人员完全可以在不偏离本发明的范围内，进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种基于5G网络的穿刺机器人导航系统，其特征在于：包括本地穿刺导航系统和异地穿刺服务器，所述本地穿刺导航系统和异地穿刺服务器通过5G网络通信；

本地穿刺导航系统首先将CT坐标系、机器人基座坐标系和双目相机世界坐标系通过标记点进行空间映射，将CT坐标系通过固定好的双目相机世界坐标系映射到机器人基座坐标系下，映射后发送当前标记点的位置给机器人，然后给医生确定靶点路径，靶点路径通过5G网络发送至异地穿刺服务器，医生通过异地穿刺服务器控制机器人完成手术。

2.如权利要求1所述的基于5G网络的穿刺机器人导航系统，其特征在于：本地穿刺导航系统的双目相机连接到机器人的控制器，控制器通过5G网络将双目相机数据帧图像映射到通道中，异地穿刺服务器实时接收数据；且控制器的算法程序也通过5G通道映射到异地穿刺服务器。

3.如权利要求1所述的基于5G网络的穿刺机器人导航系统，其特征在于：标记点的空间映射过程包含以下步骤：

首先，粗略判断患者穿刺部位，然后在该部位附近的体表粘贴N(N≥4)个能够在CT扫描下成像的标记点，任意3个标记点不在同一直线上，4个标记点不在同一平面上；

然后，通过CT或MRI扫描后，通过三维重建技术，在医学图像上得到标记点的成像，获得标记点在医学图像空间的坐标信息；

接着，通过双目摄像机识别标记点在双目图像平面内的图像坐标值，推导出标记点的圆心在视觉空间坐标系内的坐标值；同时双目摄像机通过识别机器人本体的标记点坐标，推导得出机器人在视觉空间坐标系内的坐标值。

4.如权利要求3所述的基于5G网络的穿刺机器人导航系统，其特征在于：图像坐标系—3D模型仿射坐标系之间的转换关系：

在3D模型上粘贴不少于4个标记点，建立一个3D模型仿射坐标系，利用贴在模型上的不在同一平面内的任意4个标记点建立参考坐标系，选任一个点M₀作为参考坐标系原点，3D模型仿射坐标系相对于CT图像坐标系发生了平移和旋转，其分别在x、y、z轴上平移距离为x_m0、y_m0、z_m0，其沿x、y、z轴旋转角度假设为0；剩余的三个标记点M₁(x_m1,y_m1,z_m1)、M₂(x_m2,y_m,2,z_m2)、M₃(x_m3,y_m3,z_m3)建立仿射关系，从3D模型放射坐标系到图像坐标系的映射矩阵T₁可表示为如下：

通过映射矩阵T₁，3D模型仿射坐标系和图像坐标系建立了一一对应的关系，则图像坐标系中的任意一点P(x_mp,y_mp,z_mp)在3D模型上都有唯一的一点与之对应，其转换公式可表示为：

其中，P_3D仿射表示图像坐标系中的点经过公式(2)变化得到的对应点，P_图像表示图像坐标系中的点。

5.如权利要求4所述的基于5G网络的穿刺机器人导航系统，其特征在于：3D模型仿射坐标系—双目摄像机光学坐标系之间的转换关系：

通过双目摄像机做光学定位计算，求得四个标记点在双目相机世界坐标系下的坐标位置，建立摄像机光学坐标系到3D模型仿射坐标系的转换矩阵T₂：

其中(x_c0，y_c0，z_c0)、(x_c1，y_c1，z_c1)、(x_c2，y_c2，z_c2)与(x_c3，y_c3，z_c3)表示在双目相机世界坐标系下的点坐标；

通过转换矩阵T₂双目摄像机光学坐标系和3D模型仿射坐标系建立了一一对应的关系，则3D模型上的任意一点在双目摄像机光学坐标系上都有唯一的一点与之对应，其转换公式可表示为：

P_光学＝T₂ ^-1P_3D仿射，P_3D仿射＝T₂P_光学 (4)

其中，P_3D仿射表示3D模型上任意一点，P_光学是经过上面公式4变换得到的对应点；

由公式(2)和公式(4)关系可求得图像坐标系中的点对应到双目相机世界坐标系下的映射关系为：

其中，P_图像表示点在图像坐标下的坐标，

是图像坐标系到摄像机坐标系的映射矩阵。

6.如权利要求5所述的基于5G网络的穿刺机器人导航系统，其特征在于：机器人坐标系—机器人仿射坐标系之间的转换关系：

在机器人末端选取四个标记点，作为机器人的标记点，建立机器人坐标系到机器人仿射坐标系之间的转换矩阵T₄：

通过转换矩阵T₄机器人坐标系和机器人仿射坐标系建立了一一对应的关系，则机器人的任意一点在机器人仿射坐标系上都有唯一的一点与之对应，其转换公式可表示为：

其中，公式中P_机器人表示机器人坐标系下可达到的任意点，P_{机器人仿射}经过公式(7)变化后得到的点。

7.如权利要求6所述的基于5G网络的穿刺机器人导航系统，其特征在于：机器人仿射坐标系—双目摄像机光学坐标系之间的转换关系：

建立机器人仿射坐标系与双目相机世界坐标系之间的对应关系，机器人上的每个点都可以唯一的映射到双目摄像机光学坐标系中，其转换关系矩阵T₅为：

其中，(x_cr0，y_cr0，z_cr0)、(x_cr1，y_cr1，z_cr1)、(x_cr2，y_cr2，z_cr2)与(x_cr3，y_cr3，z_cr3)分别表示在双目相机世界坐标系下的点坐标；

其转换公式可表示为：

其中，P_光学表示点在双目相机世界坐标系下的空间点坐标，P_{机器人仿射}表示经过公式(9)变换的点；

由以上关系可求得机器人坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，P_光学表示点在双目相机世界坐标系下的空间点坐标，P_机器人表示点在机器人坐标系下的坐标，

是光学坐标系到摄像机坐标系的映射矩阵。

8.如权利要求7所述的基于5G网络的穿刺机器人导航系统，其特征在于：图像坐标系—机器人坐标系之间的转换关系：

根据图像坐标系到摄像机光学坐标系的转换矩阵T3，光学坐标系到机器人坐标系的转换矩阵T6，求得图像坐标系上的点到机器人坐标系的转换关系：

P_机器人＝T₆T₃P_图像＝T₇P_图像 (11)

其中，P_机器人表示点在机器人坐标系下的坐标，P_图像表示点在图像坐标下的坐标，T₇＝T₆T₃，是图像坐标系到机器人坐标系的转换关系矩阵，实现3D模型上的任意点位置坐标映射到机器人坐标系下。

Images