CN116763355A - 一种基于超声图像的机械臂自适应扫查颈动脉方法及系统 - Google Patents

Abstract

本申请公开了一种基于超声图像的机械臂自适应扫查颈动脉方法及系统，属于医疗机器人技术领域。该方法包括：获取超声图像；基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标；利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制。本申请有益效果如下：实现了颈动脉自主诊断，对于检测人员的技术要求很低，采用机械臂根据信号自主智能找寻颈动脉位置，实时调整，适于不同人群体验，泛化性较强。

Description

一种基于超声图像的机械臂自适应扫查颈动脉方法及系统

技术领域

本申请属于医疗机器人技术领域，具体涉及一种基于超声图像的机械臂自适应扫查颈动脉方法及系统。

背景技术

颈动脉扫查是一项比较重要的检查方式，颈动脉扫查能够查看出全身动脉硬化的程度以及脑供血的情况，来判断自动的治疗方案。主要通过看到颈动脉内的斑块以及血液的流速情况，不仅能够诊断粥样动脉硬化性疾病，而且对心血管以及脑血管疾病也具有一定的评估。另外，医生还需要根据颈动脉检查的结果来确诊治疗方案，达到缓解病情的目的，因此该项检查在医疗检测领域非常重要。

现有医疗领域的机械臂应用多应用于护理、理疗和码垛等功能，实现的多为简单的开环路径引导功能，需要事先按照深度相机或者激光雷达甚至是固定的位置方向进行运动，该方法并不适用于复杂、情况多变的目标路径规划，颈动脉的扫查路径便是这样一个多向性、因人而异的路径规划任务。

为此，本申请提供一种基于超声图像的机械臂自适应扫查颈动脉方法及系统以解决上述问题。

发明内容

本申请实施例的目的是提供一种基于超声图像的机械臂自适应扫查颈动脉方法及系统，其基于现有的、方便携带式的掌上超声设备进行颈动脉的超声检查，检查全程通过机械臂来代替专业医生的作业，实现自动寻找颈动脉位置，借助末端压力传感器的反馈信息，自适应的调整到合适且舒适的力度范围，并且根据超声图像反馈自适应的调整打图路径使得超声成像有效区域最大化，从而大大降低检查设备的使用门槛，从而可以解决背景技术中涉及的至少一个技术问题。

为了解决上述技术问题，本申请是这样实现的：

本申请实施例提供了一种基于超声图像的机械臂自适应扫查颈动脉方法，包括：

步骤S1：获取超声图像；

步骤S2：基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值；

步骤S3：根据获取的像素坐标值规划机械臂的初步路径；

步骤S4：利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制。

可选的，在步骤S1中，所述获取超声图像，包括：

机械臂按照横切路径进行扫查；

利用机械臂末端的超声探头对人体颈部进行成像，得到左右视野的当前探头位置的超声图像；

在得到左右视野的超声图像之后，还包括：

基于三维测量原理，计算出左视野图像中每个像素点的三维信息，得到三维信息矩阵；

构建DeepLabV3+语义分割网络；

将超声图像输入DeepLabV3+语义分割网络，实现对人体的精确分割，并输出分割结果；

基于分割结果，获取属于人体部分的像素点坐标；

基于获取的像素点坐标构建掩码，利用掩码在三维信息矩阵中进行索引，获得人体的各点空间坐标及法向量；

基于获得的空间坐标及法向量构建点云，实现对人体的三维重建。

可选的，在步骤S2中，所述基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值，包括：

基于获取的超声图像，计算超声图像轮廓的空间矩、中心矩和归一化中心矩阵，检测得到颈部超声图像；

根据零阶矩和一阶矩计算，分别获取颈动脉的轮廓中心点(c_x，c_y)的像素坐标。

可选的，在步骤S3中，所述根据获取的像素坐标值规划机械臂的初步路径，包括：

步骤S31：判断轮廓中心点的横坐标c_x位于124-132的区间内，若是，则执行步骤S32；

步骤S32:记录下当前的路径点的遍历序号i，传递给路径规划器，规划机械臂的纵切路径，根据当前记录序号i，按照像素坐标下的插值法得到纵切路径的起始坐标值，并以此向上规划路径：

y_start2＝y_start1

其中(x_star,y_start)为横切路径起始位置，(x_start2,y_start2)为纵切路径起始位置，step为总步进长度。

可选的，在步骤S4中，所述利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，包括：

利用得到的纵切初始路径点(x_star,y_star)进行初步的路径规划，按照一定角度θ，向上偏转步进得到机械臂路径点容器，按照此容器值来运动，起始步进点坐标如下所示：

其中，(x_i，y_i)为纵切路径第i个点的像素坐标，θ为相对于x轴的偏角。

可选的，在步骤S4中，模糊自适应PID算法由下式表示：

Δu(k)＝k_p(e(k)-e(k-1))+k_ie(k)+k_d(e(k)-2e(k-1)+e(k-2))

其中，e(k)为误差；Δu(k)为误差变化率；

补偿控制由下式表示：

q_r＝q_d-τ/K_p1

其中，K_p1为直接力反馈参数，取0.001m；τ为控制率系数。

本申请实施例还提供了一种用于执行所述的方法的基于超声图像的机械臂自适应扫查颈动脉的系统，该系统包括：

超声图像获取模块，用于获取超声图像；

像素坐标获取模块，用于基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值；

初步路径规划模块，用于根据获取的像素坐标值规划机械臂的初步路径；

移动控制模块，用于利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制。

本申请的有益效果如下：

1、实现了颈动脉自主诊断，对于检测人员的技术要求很低，采用机械臂根据信号自主智能找寻颈动脉位置，实时调整，适于不同人群体验，泛化性较强；

2、打破了传统的专业医师检查的门槛，对于小型医院、日常的身体病变筛查无疑是一大福音。

附图说明

图1是本申请实施例提供的基于超声图像的机械臂自适应扫查颈动脉方法的流程示意图；

图2是本申请实施例提供的扫查总体路径示意图；

图3是本申请实施例提供的模糊自适应PID控制实现接触力柔顺控制示意图；

图4是本申请实施例提供的纵切路径初始路径规划示意图；

图5是本申请实施例提供的基于超声图像的机械臂自适应扫查颈动脉的系统结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的基于超声图像的机械臂自适应扫查颈动脉方法进行详细地说明。

请参见图1，是本申请实施例提供的一种基于超声图像的机械臂自适应扫查颈动脉方法，包括：

步骤S1：获取超声图像；

步骤S2：基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值；

步骤S3：根据获取的像素坐标值规划机械臂的初步路径；

步骤S4：利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制，这样，可以满足不同人群检测过程的舒适体验。

结合图2所示，在步骤S1中，所述获取超声图像，包括：

机械臂按照横切路径进行扫查；

利用机械臂末端的超声探头对人体颈部进行成像，得到左右视野的当前探头位置的超声图像；

在得到左右视野的超声图像之后，还包括：

基于三维测量原理，计算出左视野图像中每个像素点的三维信息，得到三维信息矩阵；

构建DeepLabV3+语义分割网络，需要说明的是，该网络主要由编码和解码两部分组成，可以实现对目标物体像素级别的分割。网络的输入为一张RGB彩色图像，输出为图像中目标物体的分割结果；

将超声图像输入DeepLabV3+语义分割网络，实现对人体的精确分割，并输出分割结果；

基于分割结果，获取属于人体部分的像素点坐标；

基于获取的像素点坐标构建掩码，利用掩码在三维信息矩阵中进行索引，获得人体的各点空间坐标及法向量；

基于获得的空间坐标及法向量构建点云，实现对人体的三维重建。

再结合图3所示，在步骤S2中，所述基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值，包括：

基于获取的超声图像，计算超声图像轮廓的空间矩、中心矩和归一化中心矩阵，检测得到颈部超声图像；

需要说明的是，由于不同人群的颈部和血管宽度不同，机械臂按照初始的横扫路径(如图2所示横切路径方向)进行扫查，对超声图像按照每秒10帧的速率获取得到当前探头位置的超声图像，检测颈部横扫位置位于图像中心点阈值区域，即当前探头的中心正好相对于颈动脉位置，给与机械臂暂停按钮，再次以当前位置向上规划路径，使得扫查沿着机械臂的方向运动，已达到寻迹的目的。具体来说，检测颈动脉的中心点偏转使用的基于OpenCV的轮廓检测，使用cv2.moment()会同时计算图像轮廓的空间矩、中心矩和归一化中心矩阵。

根据零阶矩和一阶矩计算，分别获取颈动脉的轮廓中心点(c_x，c_y)的像素坐标。

需要说明的是，中心距具有的平移不变性，使它能够忽略两个对象的位置关系，帮助我们比较不同位置上两个对象的一致性，例如，在很多情况下，我们希望比较不同位置的两个对象的一致性。解决这一问题的方法是引入中心矩。中心矩通过减去均值而获取平移不变性，因而能够比较不同位置的两个对象是否一致。

归一化中心矩具有平移、缩放不变形，除了考虑经过缩放后大小不一致的对象的一致性。也就是说，希望图像在缩放前后具有同样的特征值。显然，中心矩不具有这个属性。例如，两个形状一致、大小不一的对象，其中心矩是有差异的。归一化中心矩通过除以物体总尺寸而获得缩放不变性。具体而言，包括以下矩特征，如表1所示。

表1

基于表1，再根据零阶矩和一阶矩计算分别获取颈动脉的轮廓中心点cxc_x和c_y的像素坐标：

其中，c_x为横坐标，c_y为纵坐标。

在步骤S3中，所述根据获取的像素坐标值规划机械臂的初步路径，包括：

步骤S31：判断轮廓中心点的横坐标c_x位于124-132的区间内，若是，则执行步骤S32；

步骤S32:记录下当前的路径点的遍历序号i，传递给路径规划器，规划机械臂的纵切路径，根据当前记录序号i，按照像素坐标下的插值法得到纵切路径的起始坐标值，并以此向上规划路径：

y_start2＝y_sta

其中(x_sta,y_star)为横切路径起始位置，(x_start2,y_start)为纵切路径起始位置，step为总步进长度。

在步骤S4中，所述利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，包括：

利用得到的纵切初始路径点(x_start,y_start2)进行初步的路径规划，按照一定角度θ，向上偏转步进得到机械臂路径点容器，按照此容器值来运动，结合图3所示，起始步进点坐标如下所示：

其中，(x_i，y_i)为纵切路径第i个点的像素坐标，θ为相对于x轴的偏角。

图2第二段路径初始路径规划

具体的，由于不同人群颈动脉走向、颈部粗细等程度，采用初始的直线路径往往不能满足打图需要，需要在寻迹的过程中实时的自适应调整规划机械臂运动路径，而下一个路径点信息与当前的路径点以及上一个路径点信息密不可分，故采用动态规划算法，根据上一个运动路径点的信息在原始规划路径上自适应的调整下一个点的位置和姿态信息，动态规划算法(Dynamic Programming，DP)是运筹学的一个分支，是求解决策过程最优化的过程。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域，并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了显著的效果。在本申请中，针对以下条件下：①相对于中心位置的左右位置偏移position；②相对于中心位置的角度偏移posture；③末端力触反馈调整，过大会使得患者体验不适，过小会引起静脉遮挡动脉现象。设计的递推公式如下所示：

dp[i][j][k]＝dp[i-1][j][k]*s_position+dp[i][j-1][k]*s_posture+dp[i][j][k-1]*s_force

其中，s_position，s_posture，s_force为上一个路径点下的超声图像返回的偏差信息，分别为位置偏差、角度偏差和力度补偿情况。

由于颈部位置细小柔软且周围血管比较密集，而且面向不同人群的颈动脉扫查需求，针对胖瘦和不同年龄段的人群进行颈动脉扫查，力度和路径均存在差异。就扫查时的接触力而言，力度太大会引起患者不适，由于静脉血管较为柔软且通常情况下位于皮表颈动脉的上方，此时接触力度太小容易扫查到静脉，不能得到理想的诊断结果甚至误诊断，因此要在合适的范围内增加力度控制，将力大小控制在合适的范围内，针对我们在专业医师的临床指导和我们的反复测试得出力度与位置补偿具有如下表示的规律变化时扫查效果最佳：

q_r＝q_d-τ/K_p1

其中，K_p1为直接力反馈参数，取0.001m；τ为控制率系数。

以此实现接触补偿距离大小范围随着路径变化每次递增0.001m，实现力度逐渐增大约0.6N的目的，这便是模糊推理的过程。

具体而言，结合图3所示，实现控制在该范围的力度大小，本申请中用到的方法是模糊自适应PID算法，模糊自适应PID控制是在PID算法的基础上，以误差e和误差变化率ec作为输入，利用模糊规则进行模糊推理，查询模糊矩阵表进行参数调整，来满足不同时刻的e和ec对PID参数自整定的要求。其在离散情况下的偏差计算公式方法，即模糊自适应PID算法，如下表示：

Δu(k)＝k_p(e(k)-e(k-1))+k_ie(k)+k_d(e(k)-2e(k-1)+e(k-2))

模糊自适应PID控制，以误差e(k)和误差变化率Δu(k)作为输入，可以满足不同时刻机械臂末端的力触大小控制以满足对PID参数自整定的需求。利用模糊规则对PID参数进行修改，便是模糊自适应PID控制的结构。

本申请实施例还提供了一种用于执行所述的方法的基于超声图像的机械臂自适应扫查颈动脉的系统，该系统包括：超声图像获取模块1、像素坐标获取模块2、初步路径规划模块3以及移动控制模块4。

所述超声图像获取模块1用于获取超声图像。

所述像素坐标获取模块2用于基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值。

所述初步路径规划模块3用于根据获取的像素坐标值规划机械臂的初步路径。

所述移动控制模块4用于利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制。

本申请的有益效果如下：

1、实现了颈动脉自主诊断，对于检测人员的技术要求很低，采用机械臂根据信号自主智能找寻颈动脉位置，实时调整，适于不同人群体验，泛化性较强；

2、打破了传统的专业医师检查的门槛，对于小型医院、日常的身体病变筛查无疑是一大福音。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (7)

1.一种基于超声图像的机械臂自适应扫查颈动脉方法，其特征在于，包括：

步骤S1：获取超声图像；

步骤S2：基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值；

步骤S3：根据获取的像素坐标值规划机械臂的初步路径；

步骤S4：利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制初步路径。

2.根据权利要求1所述的方法，其特征在于，在步骤S1中，所述获取超声图像，包括：

机械臂按照横切路径进行扫查；

利用机械臂末端的超声探头对人体颈部进行成像，得到左右视野的当前探头位置的超声图像；

在得到左右视野的超声图像之后，还包括：

基于三维测量原理，计算出左视野图像中每个像素点的三维信息，得到三维信息矩阵；

构建DeepLabV3+语义分割网络；

将超声图像输入DeepLabV3+语义分割网络，实现对人体的精确分割，并输出分割结果；

基于分割结果，获取属于人体部分的像素点坐标；

基于获取的像素点坐标构建掩码，利用掩码在三维信息矩阵中进行索引，获得人体的各点空间坐标及法向量；

基于获得的空间坐标及法向量构建点云，实现对人体的三维重建。

3.根据权利要求2所述的方法，其特征在于，在步骤S2中，所述基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值，包括：

基于获取的超声图像，计算超声图像轮廓的空间矩、中心矩和归一化中心矩阵，检测得到颈部超声图像；

根据零阶矩和一阶矩计算，分别获取颈动脉的轮廓中心点(c_x，c_y)的像素坐标。

4.根据权利要求3所述的方法，其特征在于，在步骤S3中，所述根据获取的像素坐标值规划机械臂的初步路径，包括：

步骤S31：判断轮廓中心点的横坐标c_x位于124-132的区间内，若是，则执行步骤S32；

步骤S32:记录下当前的路径点的遍历序号i，传递给路径规划器，规划机械臂的纵切路径，根据当前记录序号i，按照像素坐标下的插值法得到纵切路径的起始坐标值，并以此向上规划路径：

y_start2＝y_start1

其中(x_start,y_start1)为横切路径起始位置，(x_start2,y_start2)为纵切路径起始位置，step为总步进长度。

5.根据权利要求4所述的方法，其特征在于，在步骤S4中，所述利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，包括：

利用得到的纵切初始路径点(x_start2,y_start2)进行初步的路径规划，按照一定角度θ，向上偏转步进得到机械臂路径点容器，按照此容器值来运动，起始步进点坐标如下所示：

其中，(x_i，y_i)为纵切路径第i个点的像素坐标，θ为相对于x轴的偏角。

6.根据权利要求5所述的方法，其特征在于，在步骤S4中，模糊自适应PID算法由下式表示：

Δu(k)＝k_p(e(k)-e(k-1))+k_ie(k)+k_d(e(k)-2e(k-1)+e(k-2))

其中，e(k)为误差；Δu(k)为误差变化率；

补偿控制由下式表示：

q_r＝q_d-τ/K_p1

其中，K_p1为直接力反馈参数，取0.001m；τ为控制率系数。

7.一种用于执行权利要求1-6任意一项所述的方法的基于超声图像的机械臂自适应扫查颈动脉的系统，其特征在于，该系统包括：

超声图像获取模块，用于获取超声图像；

像素坐标获取模块，用于基于获取的超声图像，检测颈动脉的轮廓中心点，计算得到颈动脉的轮廓中心点的像素坐标值；

初步路径规划模块，用于根据获取的像素坐标值进行路径规划，进行三维点云检索，得到机械臂的移动路径容器；

移动控制模块，利用规划好的初步路径逐点步进扫查，根据超声图像成像效果反馈实时调节下一个路径点的位置和方向，以此更新剩余路径容器点数值，同时基于模糊自适应PID算法对机械臂移动时的力度和位置进行补偿控制。