CN111657842B - 一种探头控制方法及探头控制装置 - Google Patents

Abstract

本发明公开一种探头控制方法及探头控制装置。所述方法包括以下步骤：采集操作者的被监控部位的运动信息；基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象；基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作。通过本发明，操作者只需通过自身的瞳孔运动和头部运动就可以精确控制屏幕显示内容，无需第三人从旁协助，提高了探头控制的效率和准确性。

Description

一种探头控制方法及探头控制装置

技术领域

本发明涉及医疗器械技术领域，具体涉及一种探头控制方法及探头控制装置。

背景技术

探头即传感器的再封装形式，根据其基本感知功能，探头可以分为热敏探头、光敏探头、气敏探头、力敏探头、磁敏探头、湿敏探头、声敏探头、放射线敏感探头、色敏探头和味敏探头、视频探头等几大类。其中视频探头、超声波探头等近年来在医学领域中应用广泛。

以视频探头中的腹腔镜为例。腹腔镜手术最少由一名术者和一名扶镜手合作完成。其中，腹腔镜的长杆形镜头通过插在腹壁上的套管置入腹腔中，采集腹腔内部的影像信息投射到显示装置上，以供术者根据观看到的影像信息进行精密手术操作。扶镜手通过手动调整腹腔镜在腹腔中的位置或角度来控制画面摄取，配合术者呈现其所需要的视野和目标。

除了腹腔镜之外，视频探头还包括医用纤维内镜、军用内窥镜、工业内窥镜等利用二轴控制盘使镜头弯曲的软质探查镜头。对于这类镜头，操作者需要一面注视屏幕，一面手动旋转控制盘/杆，通过钢丝收缩拉动镜头做二轴卷曲运动。

对于上述腹腔镜而言，扶镜手一般很难准确判断术者的意图，造成视野无法跟上术者的思路，手术配合不佳，增加手术风险。对于上述软质探查镜头而言，由于探查空间取向可以非常复杂，比如肠道内或发动机内部，操作者必须经过大量训练才能熟悉；而且即使熟悉以后也常会由于操作的复杂性而造成操作失败、目标损伤、器械破损等不良后果。因此，如何摆脱上述人工操作的局限，提供一种准确、高效且易于掌握的腹腔镜自动控制方案，成为本领域技术人员亟待解决的问题。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的上述缺陷，从而提供一种可以根据操作者意图自动控制探头运动的探头控制方案。

根据本发明一个方面，提供一种探头控制方法，包括以下步骤：

采集操作者的被监控部位的运动信息；

基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象；

基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作。

示例性地，所述被监控部位的运动信息包括瞳孔运动信息和头部运动信息；

所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系包括所述瞳孔运动信息和所述屏幕显示范围之间的第一预设对应关系，以及所述头部运动信息和所述屏幕显示范围之间的第二预设对应关系。

示例性地，所述第一预设对应关系和所述第二预设对应关系通过以下步骤确定：

操作者位于屏幕前的预设位置处，使操作者的头部相对所述屏幕保持静止，通过转动眼球凝视所述屏幕上的一个或多个具有不同位置的参照点，记录操作者在凝视不同参照点时的瞳孔位置，根据所述瞳孔位置和所述参照点的位置确定所述第一预设对应关系；以及

操作者位于屏幕前的所述第一位置处，使操作者的瞳孔相对于头部保持静止，操作者通过转动头部凝视所述屏幕上的多个具有不同位置的参照点，记录操作者在凝视不同参照点时的头部位置，根据所述头部位置和所述参照点的固定位置确定所述第二预设对应关系。

示例性地，所述第二预设对应关系还通过以下步骤确定：

采集操作者的头部前后运动信息，所述头部前后运动信息包括头部向前运动或向后运动的幅度；

基于所述头部前后运动信息确定所述探头的轴向运动幅度，将所述头部前后运动范围与所述探头的轴向运动范围之间的对应关系作为所述第二预设对应关系。

示例性地，通过摄像头采集所述操作者的所述瞳孔位置，通过陀螺仪或位移传感器采集所述操作者的所述头部位置。

示例性地，所述基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象的步骤包括：

在所述头部运动信息为静止状态的情况下，基于所述第一预设对应关系确定与所述操作者的瞳孔运动信息相对应的屏幕上的目标对象；或者

在所述头部运动信息为非静止状态的情况下，基于所述第二预设对应关系确定与所述操作者的头部运动信息相对应的屏幕上的目标对象。

示例性地，所述基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象的步骤还包括：

在所述瞳孔运动信息为非静止状态的情况下，判断在第一阈值时间之后的头部运动信息是否为静止状态；

若否，基于所述第二对应关系确定与所述操作者的头部运动信息相对应的屏幕上的目标对象；

若是，基于所述第一对应关系确定与所述操作者的瞳孔运动信息相对应的屏幕上的目标对象。

示例性地，所述基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作的步骤包括：

在所述头部运动信息为静止状态的情况下，调节所述探头的焦距以使所述目标对象成为所述探头的焦点；

在所述头部运动信息为非静止状态的情况下，调节所述探头的转动角度以使所述目标对象位于所述屏幕显示范围的中心区域。

示例性地，当根据所述头部运动信息确定头部运动到边界位置的情况下，控制所述探头沿已有速率和角度持续转动，直至头部离开所述边界位置。

示例性地，还包括：

采集所述操作者的单侧眨眼信息；

基于所述单侧眨眼信息控制所述探头沿顺时针方向或逆时针方向旋转。

示例性地，还包括：

采集所述操作者的脑电图信息；

基于所述脑电图信息、所述第一预设对应关系或所述第二预设对应关系确定与所述操作者的瞳孔运动信息或头部运动信息相对应的屏幕上的目标对象。

示例性地，所述瞳孔运动信息和所述头部运动信息与所述探头之间通过互联网实现远距离通信。

示例性地，所述第一预设对应关系、所述第二预设对应关系和所述第三预设对应关系是通过基于大数据的机器学习算法确定的。

根据本发明第二方面，提供了一种探头控制装置，包括：

信息采集模块，用于采集操作者的被监控部位的运动信息；

目标确定模块，用于基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象；

控制模块，用于基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作。

根据本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

根据本发明第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

与现有技术相比，本发明提出的探头的控制方法和控制装置具有以下有益效果：

(1)本发明通过建立瞳孔运动范围与屏幕显示范围之间的第一对应关系，头部运动范围与屏幕显示范围之间的第二对应关系，以及探头的探测范围与屏幕显示范围之间的第三对应关系，使得操作者只需通过自身的瞳孔运动和头部运动就可以精确控制屏幕显示内容，无需第三人从旁协助，提高了探头控制的效率和准确性。

(2)本发明的控制方法简单，操作者无需经过大量训练就可轻松掌握，有利于节约人力物力成本，适于广泛普及应用。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中探头的控制方法的一个具体示例的流程图；

图2示出了根据本发明实施例1确定第一对应关系和第二对应关系的示意性原理图；

图3示出了根据本发明实施例中一个头戴式传感装置的结构示意图；

图4示出了根据本发明实施例1中确定目标对象的示意性原理图；

图5示出了根据本发明实施例1中实现边界运动的示意性原理图；

图6示出了根据本发明实施例1实现反向锁定的示意性原理图；

图7示出了根据本发明实施例1中实现镜头轴向旋转的示意性原理图；

图8为本发明实施例2中探头控制装置的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

请参阅图1，本实施例提供了一种探头的控制方法，包括以下步骤：

S100：分别建立瞳孔运动范围与屏幕显示范围之间的第一对应关系，头部运动范围与屏幕显示范围之间的第二对应关系，以及探头的探测范围与屏幕显示范围之间的第三对应关系。

本实施例中的瞳孔运动范围可以是瞳孔在眼眶区域内的位置坐标。可以理解，瞳孔运动范围在操作者的眼眶区域之内，屏幕显示范围在屏幕的物理区域之内。操作者通过瞳孔的运动来注视屏幕显示范围内的不同像素。将操作者的瞳孔在眼眶区域内的坐标与屏幕上的某个或某些像素在屏幕区域内的坐标一一对应，就可以得到瞳孔运动范围与屏幕显示范围之间的第一对应关系。即，在已知瞳孔运动范围的基础上，根据第一对应关系可以确定屏幕上的目标对象，即操作者当前注视的目标像素。

头部运动一般包括不同程度的向左转头、向右转头、仰头、低头等运动。本实施例中的头部运动范围可以是以操作者颈部为轴时头部在冠状面上的位置坐标。可以理解，头部运动范围与瞳孔运动范围类似，也具有一定的区域范围。将操作者的头部在冠状面内的坐标与屏幕上的某个或某些像素在屏幕区域内的坐标一一对应，就可以得到头部运动范围与屏幕显示范围之间的第二对应关系。即，在已知头部运动范围的基础上，根据第二对应关系可以确定屏幕上的目标对象，即操作者当前注视的目标像素。

探头的探测范围与探头的位置和姿态有关。在位置固定的情况下，探头的姿态(可以用摆动角度来表示)与拍摄目标的范围有关，相应地与屏幕显示范围有关。对于屏幕显示范围中的每个像素，通过调整探头的摆动角度，可以使该像素显示在屏幕的中心位置处。因此，将探头的摆动角度与屏幕上的某个或某些像素在屏幕区域内的坐标一一对应，就可以得到探头的探测范围与屏幕显示范围之间的第三对应关系。即，在已知屏幕上某个目标像素的基础上，根据第三对应关系可以确定探头的摆动角度。

S200：采集操作者的瞳孔运动信息和头部运动信息。

可以通过头戴式传感装置采集操作者的瞳孔运动信息和头部运动信息。图2示出了根据本发明实施例中一个头戴式传感装置的结构示意图，其中图 2A为正视图，图2B为侧视图。如图2所示，头戴式装置可以包括框架21、位于框架21的顶部和左右两侧的多个陀螺仪22以及位于框架前方的摄像头23。其中陀螺仪22用于采集操作者的头部运动信息；摄像头23包括两个，分别为前向摄像头和后向摄像头，其中前向摄像头用于采集屏幕上的对应像素点的位置坐标，后向摄像头用于采集操作者的瞳孔运动信息。为了清楚起见，图2A中未示出摄像头23。

基于摄像头23拍摄到的眼部图像，可以利用SDM算法训练特征库提取瞳孔特征以确定瞳孔轮廓位置，使用OpenCV库中的轮廓检测函数 findContour提取轮廓。对拍摄到的眼部图像进行直方均衡化和二值化处理，进而利用图像梯度信息确定瞳孔中心的位置，即为本实施例中的瞳孔运动信息。本发明可以采用现有方法获取瞳孔运动信息，并不限于本实施例的举例。

头部运动信息通过多个(例如，三个)陀螺仪22计算得到。实际操作过程中，头部原点由于疲劳等原因可在一定范围内的正常位移，可由此数据进行补偿。比如操作者头部原点偏向某一侧，则头部转动至其轴心到达虚拟边界的距离要进行实时的补偿。此时瞳孔在眼部平面的位置也一同进行补偿，即减去头部的移位量。

S300：基于所述第一对应关系或所述第二对应关系确定与所述操作者的瞳孔运动信息或头部运动信息相对应的屏幕上的目标对象。

如前所述，瞳孔运动范围与屏幕显示范围之间具有第一对应关系，头部运动范围与屏幕显示范围之间具有第二对应关系，因此可以分别根据瞳孔运动信息和头部运动信息确定屏幕上的目标对象。其中，当根据瞳孔运动信息确定屏幕上的目标对象时，可以是头部保持静止不动，仅仅根据瞳孔的运动来对屏幕上的目标对象定位。而当根据头部运动信息确定屏幕上的目标对象时，可以令瞳孔随着头部的运动而运动，即操作者的瞳孔相对于头部保持静止，这样可以避免瞳孔运动范围和头部运动范围不一致的情况下造成确定屏幕上目标对象时发生冲突。

S400：基于第三对应关系控制所述探头，以使所述目标对象显示在所述屏幕显示范围的目标区域内。

如前所述，探头的探测范围与屏幕显示范围之间具有第三对应关系。因此在确定了屏幕上目标对象的坐标位置之后，可以基于第三对应关系调整探头的摆动角度，使目标对象位于屏幕的目标区域内，例如位于屏幕的中心位置。

上述步骤可以实现操作者对探头的直接、实时、精确控制。例如传统手术配置中的“扶镜手”将不再需要，而镜头将可以直接准确反映操作者的操作意图，从而大大提高手术操作的准确性和效率，同时大大降低手术成本。

示例性地，本步骤S100中建立瞳孔运动范围与屏幕显示范围之间的第一对应关系，头部运动范围与屏幕显示范围之间的第二对应关系的步骤包括：

S110：操作者位于屏幕前的预设位置处，使操作者的头部正对所述屏幕保持静止，通过转动眼球凝视所述屏幕上的多个具有不同固定位置的参照点，记录操作者在凝视不同参照点时的瞳孔位置，根据所述瞳孔位置和所述参照点的固定位置确定所述第一对应关系。

S120：操作者位于屏幕前的所述预设位置处，使操作者的瞳孔相对于头部保持静止，操作者通过转动头部凝视所述屏幕上的多个具有不同固定位置的参照点，记录操作者在凝视不同参照点时的头部位置，根据所述头部位置和所述参照点的固定位置确定所述第二对应关系。

图3示出了根据本发明实施例1确定第一对应关系和第二对应关系的示意性原理图。如图3所示，在屏幕33上四角及中心显示十字标记，手动将镜头对准操作目标，使其正好位于屏幕中心，启动随动控制。首先令操作者在头部31固定的情况下，用双眼捕捉屏幕上的标记，从屏幕中心开始。后向摄像头即记录双眼在眼部轮廓平面32上的运动范围，即眼部运动边界。然后，令操作者头眼一致分别注视所有标记，从屏幕中心开始。系统采集头部姿态感受器传回的头部运动范围，以穿过双眼中点的头部矢状轴代表头部运动，采集矢状轴在冠状面上的位置坐标，即形成头部运动的虚拟边界，也是镜头在当前位置的运动边界。以屏幕中心为原点，镜头精确跟随头部姿态在此边界内进行左右上下运动。此时，在当前位置下，瞳孔在眼部轮廓内的运动范围、头部的运动范围、镜头中心的运动范围三者全部与屏幕的边界拟合在一起。

示例性的，所述第二预设对应关系还通过以下方法确定：

采集操作者的头部前后运动信息，所述头部前后运动信息包括头部向前运动或向后运动的幅度；

基于所述头部前后运动信息确定所述探头的轴向运动幅度，将所述头部的前后运动范围与所述探头的轴向运动范围之间的对应关系作为所述第二预设对应关系。

操作者的头部前后运动信息包括操作者头部的前伸或者后缩的幅度，探头的轴向运动范围包括探头沿轴向方向前进或者后退的幅度，具体数值与镜杆的长度有关。可以理解，探头沿轴向前进，相当于探头与目标对象的距离变小，反映在显示屏幕上为目标对象的放大；探头沿轴向后退，相当于探头与目标对象的距离变大，反映在显示屏幕上为目标对象的缩小。因此通过探头跟随头部动作进行轴向的深入或退出的动作，使得显示目标在屏幕上呈现拉近/放大或推远/缩小的效果。

示例性地，步骤S300中基于所述第一对应关系或所述第二对应关系确定与所述操作者的瞳孔运动信息或头部运动信息相对应的屏幕上的目标对象的步骤包括：

在所述头部运动信息为静止状态的情况下，基于所述第一对应关系确定与所述操作者的瞳孔运动信息相对应的屏幕上的目标对象；或者

在所述头部运动信息为非静止状态的情况下，基于所述第二对应关系确定与所述操作者的头部运动信息相对应的屏幕上的目标对象。

例如，操作者从初始位置开始，瞳孔注视屏幕上的目标，后向摄像头捕获其在眼部轮廓平面网格上的精确位置，计算机将其对应于屏幕具体像素点，并计算该点与屏幕中心的距离和坐标关系。这些数据对应到镜头摄取画面的具体像素点，指导镜头对该点自动对焦，从而计算出目标与镜头的准确距离；然后根据三角关系得到镜头需要偏转的方向和角度。但此时如果操作者头部没有跟随视线改变姿态，镜头并不会做出运动；因为很多时候并不需要移动镜头。如果操作者对该目标的确感兴趣，其头部则会转向目标点，此时运动控制机构启动镜头运动，按照前述方向和角度对准该点，完成下述“焦点引领”动作。这里，镜头并不跟随头部运动，而是自动对准目标。当有时操作者并没有明确的目标，而是转动头部搜索视野的时候，镜头则严格跟随头部偏转信息运动。

可以理解，由于存在像素同实际距离转换的微小误差、人体位置的轻微移动产生的误差等等，这些累积的误差最终会造成较大操作偏差；其结果就是在操作者的瞳孔运动或头部运动结束后，操作者会逐渐感觉其目标中心偏离屏幕中心。事实上，镜头中心受初始位置机械控制，可以准确回到屏幕中心，因此屏幕中心、画面中心、镜头中心/焦点不会出现偏差，发生偏差的为操作者的瞳孔中心及头部轴心，即操作者感觉“目标不是位于屏幕中心”。该偏差的纠正以操作者瞳孔中心为基准，通过上述控制链路，再进行一次焦点引领完成。利用高解析度摄像头和高分辨率屏幕，以及高精度机械设计，这种系统累积偏差发生率较低；同时，通过大数据机器学习，控制系统可以对偏差做出一定预判。因此整体操作过程中，纠偏动作发生不会很多。

示例性地，步骤S300中基于所述第一对应关系或所述第二对应关系确定与所述操作者的瞳孔运动信息或头部运动信息相对应的屏幕上的目标对象的步骤还包括：

在所述瞳孔运动信息为非静止状态的情况下，判断在第一阈值时间之后的头部运动信息是否为静止状态；

若否，基于所述第二对应关系确定与所述操作者的头部运动信息相对应的屏幕上的目标对象；若是，基于所述第一对应关系确定与所述操作者的瞳孔运动信息相对应的屏幕上的目标对象。

如前所述，瞳孔运动信息和头部运动信息均可以确定屏幕上的目标对象。本示例用于区分哪种情况下通过瞳孔运动信息确定屏幕上的目标对象，哪种情况下通过头部运动信息确定屏幕上的目标对象。

图4示出了根据本发明实施例1中确定目标对象的示意性原理图。本示例中，屏幕中心、画面中心、瞳孔/视线中心、头部轴心、镜头中心/焦点，此五点重合在一起，形成所有运算的初始值。可以理解，人眼捕获目标的运动是跳跃性的，这是自然生存的本能。而头部会在确定目标有兴趣之后进行跟随，从而使目标与视线和头部轴心重合。在本实施例中同样遵循这一规则。在操作者视线捕获屏幕上某一点后，镜头自动对焦，使该点清晰显示；但此时头部并未运动。当操作者确定这是其关注的目标后，会本能的将头部轴心对向该点。系统侦测到头部轴心的跟随运动后，启动焦点引领，即移动镜头将目标点移动至屏幕画面中心。此过程在短时间内完成，例如0.5秒，期间系统根据目标点与屏幕中心的位置关系，自动调整镜头姿态，镜头运动与瞳孔运动和头部运动脱离。当操作者感觉到焦点引领动作时，会本能追随目标，使头部轴心回到初始位置，此时屏幕中心、画面中心、瞳孔/视线中心、头部轴心、镜头中心/焦点再次重合，完成焦点引领过程。此时镜头重新回到受控状态。可以将此动作看作系统回复初始位置的“复位动作”。利用焦点引领动作可以以屏幕半径为步长，一步一步完成大范围视野调整，当然相对边界运动较慢。

示例性地，步骤S400中基于第三对应关系控制所述探头，以使所述目标对象显示在所述屏幕显示范围的目标区域内的步骤包括：

在所述头部运动信息为静止状态的情况下，调节所述探头的焦距以使所述目标对象成为所述探头的焦点；

在所述头部运动信息为非静止状态的情况下，调节所述探头的转动角度以使所述目标对象位于所述屏幕显示范围的中心区域。

本实施例中对于探头的控制包括控制探头对焦以及控制探头的摆动角度两方面。当操作者的头部静止不动，只有瞳孔在运动时，控制探头根据瞳孔确定的屏幕上的目标对象进行对焦，提高目标对象的清晰度；当操作者的头部运动时，控制探头根据头部运动信息确定的屏幕上的目标对象来调整摆动角度，使目标对象位于屏幕中心区域。

示例性地，在所述头部运动信息达到边界位置的情况下，控制所述探头沿已有速率和角度持续转动，直至所述头部运动信息离开所述边界位置并恢复。

图5示出了根据本发明实施例1中实现边界运动的示意性原理图。如图5所示，操作者以屏幕边框为初始边界，头部矢状轴移动到屏幕边界时，镜头沿已有方向、已有速度继续运动，直到操作者将头部矢状轴离开该边界，停止运动。当操作者通过将头部运动信息保持在边界位置到达新视野后，其头部本能会有个回正动作，使头部矢状轴回复到屏幕中心。对于这种情况，本示例中的镜头锁定视野而不随头部运动形成回复分离。在头部矢状轴与屏幕中心重叠后，重新启动新视野下的运动控制。

在探头例如视频镜头的探测过程中，可以使镜头并不对向目标，而是偏转一定角度，利用镜头边侧的“余光”来观察目标稍后方的视野。该技巧在一定程度上实现了镜头“拐弯”的效果，简单实用。图6示出了根据本发明实施例1实现反向锁定的示意性原理图。如图6所示，正常操作下，视线中心、头部轴心、镜头焦点的运动方向，虽有先后，但是是一致的。在利用“余光”观察时则相反，操作者视线中心会固定于目标位置即画面某一点，而头部向一侧偏转。由于镜头跟随头部运动，此时反映在屏幕界面上的是：头部中心向一侧离开原点运动，而画面随视线中心向反方向离开原点，二者距离原点距离相等。注意：跟以上情况不同，此情况下操作者的目标点、视线/瞳孔中心不再是屏幕中心。系统侦测到这种反向运动后，启动反向锁定，即镜头随头部偏转到指定位置后即被锁定。这时操作者可以将头部返回对准目标，使头部轴心与焦点、目标位置重合，而不会影响镜头平面位置，即不会出现焦点引领。此时操作者头部和眼部恢复到舒适位置，可以进行长时间操作。镜头在轴向仍然跟随操作者头部的轴向运动，以调整深浅和聚焦。解除反向锁定也很简单：只要操作者视线中心离开原目标位置，锁定即解除，同时发生焦点引领，使上述五点重新回到屏幕中心，并启动正常随动控制。

示例性地，探头的控制方法还包括：

采集所述操作者的单侧眨眼信息；基于所述单侧眨眼信息控制所述探头沿顺时针方向或逆时针方向旋转。

图7示出了根据本发明实施例1中实现镜头轴向旋转的示意性原理图。本示例用于控制探头的旋转动作，其效果是使屏幕上的画面在位置不变的情况下，围绕其中心产生旋转。镜头旋转的控制逻辑与上述镜头摆动的近似；但是由于解剖限制，操作者不可能在冠状面过度摆动头部/歪头。一般情况下，人的头部舒适地向两侧摆动/倾斜最多50度左右；因此为了达到控制镜头180度旋转的目的，镜头旋转的角速度要大于头部。也就是在操作者头部侧偏50度的时候，镜头应该已经旋转180度，即镜头的角速度是头部的3.6倍。这种差速旋转可以减少操作者头部的不适；但是可能需要一定的训练和适应。偶尔情况下，也可以利用镜杆相对于镜体的旋转来改变观察角度，建立特殊的偏转视野(比如为了看到腹壁上的戳孔和套管)。镜杆旋转可通过单眼开闭控制。左眼闭合右眼睁开时，镜杆逆时针旋转， 30-60度/秒可预设，左眼睁开时停止；右眼闭合左眼睁开时则相反。屏幕显示箭头标记镜杆相对于镜体的方向变化。双眼连续快速眨眼预设次数，例如2次，则镜杆自动恢复与镜体上下一致。如此时镜体为偏转状态，则只跟镜体冠状面一致，之后恢复随镜体的旋转。

示例性地，探头的控制方法还包括：

采集所述操作者的脑电图信息；

基于所述脑电图信息、所述第一对应关系或所述第二对应关系确定与所述操作者的瞳孔运动信息或头部运动信息相对应的屏幕上的目标对象。

脑电图信息可以通过头戴式脑电分析阵列采集，如图2B中的阵列24。脑电图信息用于对操作者运动进行定性分析，如确认是否进行歪头、扭头等运动，输出是或否的二元信息，以辅助瞳孔运动信息或头部运动信息的判断。

示例性地，本发明中的瞳孔运动信息、头部运动信息以及头部前后运动信息与探头之间通过互联网实现远距离通信，实现无延迟数据传输。可以融合5G或6G通讯技术、量子通讯技术，不仅可以实现本地系统内部的数据传输无延迟，并且还能够确保在异地控制场景中同样做到数据传输的无延迟，从而实现安全可靠的远距离、多中心操作控制，方便用户异地控制探头并执行相应的操作。

示例性地，本发明中所述第一对应关系、所述第二对应关系、所述第三对应关系和所述第四对应关系是通过基于大数据的机器学习算法确定的。例如通过大量数据对神经网络进行训练以得到对应关系模型，从而可以根据输入的瞳孔运动信息或者头部运动信息，直接输出对应的探头摆动角度数据或者探头伸缩幅度数据，从而提高探头控制的便利性和准确性。

实施例2

本实施例提出了一种探头的控制装置80，如图8所示，包括信息采集模块81、目标确定模块82和控制模块83。其中：

信息采集模块81，用于采集操作者的被监控部位的运动信息；

目标确定模块82，用于基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象；

控制模块83，用于基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作。

本发明提出的探头的控制装置，使得操作者只需通过自身的瞳孔运动和头部运动就可以精确控制屏幕显示内容，无需第三人从旁协助，提高了探头控制的效率和准确性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (14)

1.一种探头控制方法，其特征在于，包括以下步骤：

采集操作者的被监控部位的运动信息；

基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象；

基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作；

所述被监控部位的运动信息包括瞳孔运动信息和头部运动信息；

所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系包括所述瞳孔运动信息和所述屏幕显示范围之间的第一预设对应关系，以及所述头部运动信息和所述屏幕显示范围之间的第二预设对应关系；

所述基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象的步骤包括：

在所述头部运动信息为静止状态的情况下，基于所述第一预设对应关系确定与所述操作者的瞳孔运动信息相对应的屏幕上的目标对象；或者

在所述头部运动信息为非静止状态的情况下，基于所述第二预设对应关系确定与所述操作者的头部运动信息相对应的屏幕上的目标对象；

在所述瞳孔运动信息为非静止状态的情况下，判断在第一阈值时间之后的头部运动信息是否为静止状态；

若否，基于所述第二预设对应关系确定与所述操作者的头部运动信息相对应的屏幕上的目标对象；

若是，基于所述第一预设对应关系确定与所述操作者的瞳孔运动信息相对应的屏幕上的目标对象。

2.根据权利要求1所述的探头控制方法，其特征在于，所述第一预设对应关系和所述第二预设对应关系通过以下方法确定：

操作者位于屏幕前的预设位置处，使操作者的头部相对所述屏幕保持静止，通过转动眼球凝视所述屏幕上的一个或多个具有不同位置的参照点，记录操作者在凝视不同参照点时的瞳孔位置，根据所述瞳孔位置和所述参照点的位置确定所述第一预设对应关系；以及

操作者位于屏幕前的所述预设位置处，使操作者的瞳孔相对于头部保持静止，操作者通过转动头部凝视所述屏幕上的多个具有不同位置的参照点，记录操作者在凝视不同参照点时的头部位置，根据所述头部位置和所述参照点的固定位置确定所述第二预设对应关系。

3.根据权利要求2所述的探头控制方法，其特征在于，通过摄像头采集所述操作者的所述瞳孔位置，通过陀螺仪或位移传感器采集所述操作者的所述头部位置。

4.根据权利要求1所述的探头控制方法，其特征在于，所述基于探头的探测范围与屏幕显示范围之间的第三预设对应关系通过将探头的摆动角度与屏幕上的某个或某些像素在屏幕区域内的坐标一一对应，得到探头的探测范围与屏幕显示范围之间的第三预设对应关系。

5.根据权利要求4所述的探头控制方法，其特征在于，所述基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作的步骤包括：

在所述头部运动信息为静止状态的情况下，调节所述探头的焦距以使所述目标对象成为所述探头的焦点；

在所述头部运动信息为非静止状态的情况下，调节所述探头的转动角度以使所述目标对象位于所述屏幕显示范围的中心区域。

6.根据权利要求5所述的探头控制方法，其特征在于，当根据所述头部运动信息确定头部运动到边界位置的情况下，控制所述探头沿已有速率和角度持续转动，直至头部离开所述边界位置。

7.根据权利要求1所述的探头控制方法，其特征在于，所述第二预设对应关系还包括：所述头部的前后运动范围与所述探头的轴向运动范围之间的对应关系。

8.根据权利要求1所述的探头控制方法，其特征在于，所述探头控制方法还包括：

采集所述操作者的单侧眨眼信息；

基于所述单侧眨眼信息控制所述探头沿顺时针方向或逆时针方向旋转。

9.根据权利要求1所述的探头控制方法，其特征在于，所述探头控制方法还包括：

采集所述操作者的脑电图信息；

基于所述脑电图信息、所述第一预设对应关系或所述第二预设对应关系确定与所述操作者的瞳孔运动信息或头部运动信息相对应的屏幕上的目标对象。

10.根据权利要求1所述的探头控制方法，其特征在于，所述瞳孔运动信息和所述头部运动信息与所述探头之间通过互联网实现远距离通信。

11.根据权利要求1所述的探头控制方法，其特征在于，所述第一预设对应关系、所述第二预设对应关系和所述第三预设对应关系是通过基于大数据的机器学习算法确定的。

12.一种实现权利要求1-11任一项所述探头控制方法的探头控制装置，其特征在于，包括：

信息采集模块，用于采集操作者的被监控部位的运动信息；

目标确定模块，用于基于所述被监控部位的运动范围与屏幕显示范围之间的预设对应关系，确定所述屏幕上与所述运动信息对应的目标对象；

控制模块，用于基于探头的探测范围与屏幕显示范围之间的第三预设对应关系，生成控制数据或携带所述控制数据的控制指令，所述控制数据或所述控制指令用于控制所述探头动作。

13.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述方法的步骤。

Images