CN115016635B - 一种基于动作识别的目标控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于动作识别的目标控制方法及系统，所述方法包括：基于手腕下部佩戴的光学传感器，获取手指相对于手腕的第一运动；基于手腕上佩戴的采集装置，获取手腕相对用户身体上目标位置的第二运动；将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。本发明将手指相对于手腕的运动和手腕相对用户身体上目标位置的运动进行叠加后再控制目标，因为用户手部活动范围更大，这样可实现更大幅度和更加精细复杂的操控，避免手指动作过度放大导致过于明显的抖动，改善了操作体验。

Description

一种基于动作识别的目标控制方法及系统

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于动作识别的目标控制方法及系统。

背景技术

通过识别手势动作来实现指令的输出，以此来实现人机交互是一个发展趋势，可以给用户操作相关设备带来方便。

现有技术可以通过获取手指相对于手腕的运动，用于控制目标设备。但是手指相对于手腕的移动范围比较有限，例如食指相对于手腕左右移动的极限范围通常为20公分左右(舒适灵活的移动范围通常不超过10公分)，前后移动的极限范围通常为15公分左右(舒适灵活的移动范围通常不超过7公分)。如果要进行大幅度、精细的目标操控，例如操控一个尺寸较大的屏幕中的光标，宽度为2米，那么手指左右移动的幅度要至少放大10倍(如果考虑舒适的移动范围，则需要放大20倍)，才能完整覆盖整个目标屏幕。这样会造成两个问题：

(1)、手指移动被过度放大，会导致手指难以在目标屏幕里做精细复杂的操作，当图标排列比较紧密的时候，会容易造成误触；

(2)、光学识别手指移动的方法下，识别到的手指关键点会在小范围内波动，当手指移动被过度放大后，小的波动也会造成目标屏幕中代表手指的光标的剧烈抖动，强烈影响精度和使用体验。

以上情况，就限制了被控制目标屏幕的尺寸，即当目标屏幕尺寸过大时，即不适用该方案去控制。

现有技术中还可以在手腕上佩戴定位设备(或者手持定位设备)，用于测量手腕的空间运动，定位设备可以是惯性定位设备(如加速度传感器、陀螺仪)、磁力计、光学传感器等，但是这种单独以手腕的运动作为控制目标设备屏幕中元素的方法，因为手腕的运动远远不及手指灵活，所以操作的效率低、灵活性差。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于动作识别的目标控制方法及系统，旨在解决现有技术中不方便对目标屏幕进行精细控制操作的问题。

为实现上述目的，本发明提供一种基于动作识别的目标控制方法，所述基于动作识别的目标控制方法包括如下步骤：

基于手腕下部佩戴的光学传感器，获取手指相对于手腕的第一运动；

基于手腕上佩戴的采集装置，获取手腕相对用户身体上目标位置的第二运动；

将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。

可选地，所述的基于动作识别的目标控制方法，其中，所述采集装置包括至少一个佩戴在人体上的配件，所述配件用于辅助穿戴设备本体测量自身相对于所述配件的空间位置和\或空间运动。

可选地，所述的基于动作识别的目标控制方法，其中，所述配件为悬挂在脖子上的吊坠、粘贴在身上或者衣服上的贴纸、固定在衣服上的部件以及放在口袋里面的部件。

可选地，所述的基于动作识别的目标控制方法，其中，基于手腕上佩戴的采集装置获取的信息，直接计算手腕相对于身体上目标位置的第二运动，不在人体上设置佩戴的配件。

可选地，所述的基于动作识别的目标控制方法，其中，增加一个标定动作，使得采集装置准确识别身体上的目标位置；所述标定动作的方法为：将采集装置采集到的部分身体信息设置为目标位置。

可选地，所述的基于动作识别的目标控制方法，其中，所述将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标，具体包括：

将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P为：

运动结果P＝手指相对于手腕的第一运动M+手腕相对用户身体上目标位置的第二运动N。

可选地，所述的基于动作识别的目标控制方法，其中，所述将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P具体包括：

将第一运动M沿三个互相垂直的方向分解为Mx、My、Mz；

将第二运动N沿三个互相垂直的方向分解为Nx、Ny、Nz；

将运动结果P沿三个互相垂直的方向分解为Px、Py、Pz；

则运动结果P表示为：

Px＝kx1*Mx+kx2*Nx；

Py＝ky1*My+ky2*Ny；

Pz＝kz1*Mz+kz2*Nz；

其中，kx1、kx2、ky1、ky2、kz1、kz2均为系数；

根据运动结果P中的Px、Py和Pz控制目标设备；

其中，第一运动M和第二运动N的分解在同一坐标系或者在不同坐标系。

可选地，所述的基于动作识别的目标控制方法，其中，获取手腕相对于身体目标位置的第二运动的采集装置和获取手指相对于手腕的第一运动的传感器为同一个传感器。

可选地，所述的基于动作识别的目标控制方法，其中，所述目标位置为用户身体上胸部或者胸口。

此外，为实现上述目的，本发明还提供一种基于动作识别的目标控制系统，其中，所述基于动作识别的目标控制系统包括：目标、光学传感器和采集装置；

基于手腕下部佩戴的光学传感器用于获取手指相对于手腕的第一运动；

基于手腕上佩戴的采集装置用于获取手腕相对用户身体上目标位置的第二运动；

将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。

本发明中，基于手腕下部佩戴的光学传感器，获取手指相对于手腕的第一运动；基于手腕上佩戴的采集装置，获取手腕相对用户身体上目标位置的第二运动；将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。本发明将手指相对于手腕的运动和手腕相对用户身体上目标位置的运动进行叠加后再控制目标，因为用户手部活动范围更大，这样可实现更大幅度和更加精细复杂的操控，避免手指动作过度放大导致过于明显的抖动，改善了操作体验。

附图说明

图1是本发明基于动作识别的目标控制方法的较佳实施例的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明较佳实施例所述的基于动作识别的目标控制方法，如图1所示，所述基于动作识别的目标控制方法包括以下步骤：

步骤S10、基于手腕下部佩戴的光学传感器，获取手指相对于手腕的第一运动。

具体地，基于佩戴在用户手腕处的光学传感器(优选为3D光学传感器)感测来源于手指的光线；所述光学传感器基于所述光线获取手指的至少一个特征点的实时三维坐标(优选为手指尖)，以得到手指相对于手腕的第一运动。其中，光学传感器佩戴在用户手腕或小臂朝向手掌的一侧。

步骤S20、基于手腕上佩戴的采集装置，获取手腕相对用户身体上目标位置的第二运动。

具体地，在使用者身体上佩戴至少一个配件，所述配件用于辅助穿戴设备本体测量自身相对于所述配件的空间位置和\或空间运动。

具体的，所述配件按照固定方式可以分为悬挂物、固定物、粘贴物、盛放物等，悬挂物例如吊坠，固定物例如别针、粘贴物例如贴纸，盛放物例如装在口袋里面的传感器。

所述配件按照工作原理可以分为电磁波定位、磁定位、声波定位等，电磁波定位例如信标、磁定位例如永磁铁、声波定位例如超声波发射器。

所述配件按照是否主动发射信号可以分为主动式、被动式等，主动式例如超声波发射器，被动式例如二维码贴纸。

所述佩戴在手腕上的采集装置通过采集来源于所述配件的信息来实现获取手腕相对于身体上目标位置的第二运动。

具体的，凭借手腕上佩戴的采集装置获取的信息，即可计算出手腕相对于身体上目标位置的第二运动，而不需要佩戴在人体上的配件。例如所述采集装置为3D传感器，可以测量身体三维轮廓并识别出目标位置，从而计算出手腕相对于身体上目标位置的第二运动。

具体的，可以增加一个标定动作使得采集装置能更加准确地识别身体上的目标位置。标定动作的方法为：将采集装置采集到的部分身体信息设置为目标位置。例如采集装置为3D传感器，开启标定模式然后对着身体上的目标位置采集信息，则设备会将此时采集到的信息设置为目标位置；再例如先通过3D传感器采集了包含目标位置的信息，然后在采集到的信息中将目标位置标记出来。

其中，所述光学传感器和所述采集装置可以均设置在一个智能可穿戴设备上，所述智能可穿戴设备佩戴在用户手腕上以采集手指相对于手腕的运动和手腕相对用户身体上目标位置的运动。

需要说明的是，其中步骤S10(获取手指相对于手腕的第一运动)和步骤S20(获取手腕相对用户身体上目标位置的第二运动)可以同时进行，不分先后。

步骤S30、将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。

具体地，将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P(P用来控制目标设备)，则运动结果P为：

运动结果P＝手指相对于手腕的第一运动M+手腕相对用户身体上目标位置的第二运动N(即用户手指相对于胸口的运动＝手指相对于手腕的运动+手腕相对于胸口的运动)。

其中，M、N、P三个运动可以在某种坐标系下分解为几个分运动，这里的运动是物理里面位移的概念，包含距离和方向，以直角坐标系为例：

将第一运动M沿三个互相垂直的方向分解为Mx、My、Mz；

将第二运动N沿三个互相垂直的方向分解为Nx、Ny、Nz；

将运动结果P沿三个互相垂直的方向分解为Px、Py、Pz；

则运动结果P可以表示为：

Px＝kx1*Mx+kx2*Nx；

Py＝ky1*My+ky2*Ny；

Pz＝kz1*Mz+kz2*Nz；

其中，kx1、kx2、ky1、ky2、kz1、kz2均为系数；

上述六个系数可以有两个或者两个以上的相同，也可以全部都不相同，这六个系数是设计者根据经验来定，并且在控制不同的目标设备时可以换成另一组不同的系数，在不同的使用者使用时，也可以更换，这些系数意义在于对M、N两个运动，为控制目标所做的贡献(放大或者缩小)。

其中第一运动M和第二运动N的分解，可以在同一坐标系中分解，也可以在不同坐标系中分解。

上述举例为在直角坐标系下分解运动，也可以在极坐标系或者其他坐标系下分解。

最后，根据运动结果P中的Px、Py和Pz控制目标。

具体的，获取手腕相对于身体目标位置的第二运动的采集装置可以和获取手指相对于手腕的第一运动的传感器为同一个传感器。例如使用一个3D传感器同时获取所述第一运动和第二运动，或者以某一间隔时间轮流获取所述第一运动和第二运动。

由于手腕相对于身体的运动范围较大，例如，手腕相对于身体左右移动的范围可以轻松达到80公分，叠加上手指相对于手腕左右移动的范围，可以达到1米，在这种情况下，左右方向的移动仅需放大2倍，即可完成对一个宽度达到2米的屏幕中内容的操控，即可以实现对更大屏幕的精细控制。

进一步地，通过控制目标可用于实现人和其它设备之间的人机交互，例如实现设备的开关操作、设备画面切换、声音调整、文字输入、游戏控制等，也可以作为信号或者指令输出的对象，来控制该目标设备上一些功能，例如设备开关操作、设备中应用的打开或关闭、应用中画面的切换、应用中声音的调整等。

有益效果：

(1)放大倍率小，所以手指可以对其中内容做精细复杂的操控；

(2)放大倍率小，所以手指或者手腕微小的抖动，不会被放大到过于明显的程度，改善了使用体验；

(3)可以用于需要更大幅度操控的设备。

进一步地，基于上述基于动作识别的目标控制方法，本发明还相应提供了一种基于动作识别的目标控制系统，其中，所述基于动作识别的目标控制系统包括：目标、光学传感器和采集装置；基于手腕下部佩戴的光学传感器用于获取手指相对于手腕的第一运动；基于手腕上佩戴的采集装置用于获取手腕相对用户身体上目标位置的第二运动；将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。

综上所述，本发明提供一种基于动作识别的目标控制方法及系统，所述方法包括：基于手腕下部佩戴的光学传感器，获取手指相对于手腕的第一运动；基于手腕上佩戴的采集装置，获取手腕相对用户身体上目标位置的第二运动；将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标。现有技术中仅通过检测手指相对于手腕的第一运动来控制目标，当需要进行大幅度的控制时，需要将手指的运动进行放大，这样手指微小的抖动会被放大到过于明显的程度，影响使用体验。本发明将手指相对于手腕的运动和手腕相对用户身体上目标位置的运动进行叠加后再控制目标，这样用户手部活动范围更大，可实现更大幅度的操控，且放大倍率小可以对目标进行精细复杂的操控，并且手指或者手腕微小的抖动不会被放大到过于明显的程度，改善了操作体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于动作识别的目标控制方法，其特征在于，所述基于动作识别的目标控制方法包括：

基于手腕下部佩戴的光学传感器，获取手指相对于手腕的第一运动；

基于佩戴在用户手腕处的光学传感器感测来源于手指的光线，所述光学传感器基于所述光线获取手指的至少一个特征点的实时三维坐标，以得到手指相对于手腕的第一运动；

基于手腕上佩戴的采集装置，获取手腕相对用户身体上目标位置的第二运动；

所述采集装置包括至少一个佩戴在人体上的配件，所述配件用于辅助穿戴设备本体测量自身相对于所述配件的空间位置和\或空间运动；

基于手腕上佩戴的采集装置获取的信息，直接计算手腕相对于身体上目标位置的第二运动，不在人体上设置佩戴的配件；

增加一个标定动作，使得采集装置准确识别身体上的目标位置；所述标定动作的方法为：将采集装置采集到的部分身体信息设置为目标位置；

将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标；

所述将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标，具体包括：

将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P为：

运动结果P＝手指相对于手腕的第一运动M+手腕相对用户身体上目标位置的第二运动N；

所述将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P具体包括：

将第一运动M沿三个互相垂直的方向分解为Mx、My、Mz；

将第二运动N沿三个互相垂直的方向分解为Nx、Ny、Nz；

将运动结果P沿三个互相垂直的方向分解为Px、Py、Pz；

则运动结果P表示为：

Px＝kx1*Mx+kx2*Nx；

Py＝ky1*My+ky2*Ny；

Pz＝kz1*Mz+kz2*Nz；

其中，kx1、kx2、ky1、ky2、kz1、kz2均为系数；

根据运动结果P中的Px、Py和Pz控制目标设备；

其中，第一运动M和第二运动N的分解在同一坐标系或者在不同坐标系。

2.根据权利要求1所述的基于动作识别的目标控制方法，其特征在于，所述配件为悬挂在脖子上的吊坠、粘贴在身上或者衣服上的贴纸、固定在衣服上的部件以及放在口袋里面的部件。

3.根据权利要求1所述的基于动作识别的目标控制方法，其特征在于，获取手腕相对于身体目标位置的第二运动的采集装置和获取手指相对于手腕的第一运动的传感器为同一个传感器。

4.根据权利要求1-3任一项所述的基于动作识别的目标控制方法，其特征在于，所述目标位置为用户身体上胸部或者胸口。

5.一种基于动作识别的目标控制系统，其特征在于，所述基于动作识别的目标控制系统包括：目标、光学传感器和采集装置；

基于手腕下部佩戴的光学传感器用于获取手指相对于手腕的第一运动；

基于佩戴在用户手腕处的光学传感器感测来源于手指的光线，所述光学传感器基于所述光线获取手指的至少一个特征点的实时三维坐标，以得到手指相对于手腕的第一运动；

基于手腕上佩戴的采集装置用于获取手腕相对用户身体上目标位置的第二运动；

所述采集装置包括至少一个佩戴在人体上的配件，所述配件用于辅助穿戴设备本体测量自身相对于所述配件的空间位置和\或空间运动；

基于手腕上佩戴的采集装置获取的信息，直接计算手腕相对于身体上目标位置的第二运动，不在人体上设置佩戴的配件；

增加一个标定动作，使得采集装置准确识别身体上的目标位置；所述标定动作的方法为：将采集装置采集到的部分身体信息设置为目标位置；

将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标；

所述将手指相对于手腕的第一运动和手腕相对用户身体上目标位置的第二运动进行叠加，根据叠加的运动结果控制目标，具体包括：

将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P为：

运动结果P＝手指相对于手腕的第一运动M+手腕相对用户身体上目标位置的第二运动N；

所述将手指相对于手腕的第一运动M和手腕相对用户身体上目标位置的第二运动N进行叠加得到运动结果P具体包括：

将第一运动M沿三个互相垂直的方向分解为Mx、My、Mz；

将第二运动N沿三个互相垂直的方向分解为Nx、Ny、Nz；

将运动结果P沿三个互相垂直的方向分解为Px、Py、Pz；

则运动结果P表示为：

Px＝kx1*Mx+kx2*Nx；

Py＝ky1*My+ky2*Ny；

Pz＝kz1*Mz+kz2*Nz；

其中，kx1、kx2、ky1、ky2、kz1、kz2均为系数；

根据运动结果P中的Px、Py和Pz控制目标设备；

其中，第一运动M和第二运动N的分解在同一坐标系或者在不同坐标系。