CN106681516A - 一种基于虚拟现实的自然人机交互系统 - Google Patents

Abstract

一种基于虚拟现实的自然人机交互系统，包括虚拟头盔，所述的虚拟头盔包括数据处理系统、手动作识别设备、控制球生成系统，其中，所述的主计算机连接所述的手动作识别设备和控制球生成系统，所述的手动作识别设备获取用户手的控制焦点姿态，所述的控制球生成系统将手的控制焦点姿态位置映射产生控制球，所述的控制球将手姿态的位置参数传导至数据处理系统，由数据处理系统解算并给出控制参数，供被控制对象使用；该一种基于虚拟现实的自然人机交互系统通过了用户实验进行评估，实验将60人次分为了两个小组，对照实验结果表明，和传统交互界面相比，学习效率比传统方式提高了60%；操作效果提高了15%；开发效率提高了10%。

Description

一种基于虚拟现实的自然人机交互系统

技术领域

本发明涉及虚拟现实技术领域，尤其是一种基于虚拟现实的自然人机交互系统。

背景技术

虚拟现实系统的交互是制约虚拟现实系统发展的关键环节，当前虚拟现实系统的交互方法主要使用了射线、手势、语音等方式，在使用射线检测或者手势表达的系统中，典型的方式为：用户选择一个感兴趣区域或者物体，系统会根据模糊逻辑对不同的交互函数进行排序，并自动给出用户最可能想要的可视化结果，不需要用户去操作复杂的菜单或工具栏；也有人设计了一种基于射线检测的交互隐喻，采用 Wanda 作为空间输入设备，将虚拟射线映射到的区感兴趣区域，用另一种传递函数进行绘制，通过改变射线涉及区域的传递函数参数可以改变虚拟现实场景，从而实现简洁易用的交互功能；此外手柄的兴起，很多人采用了一种手柄隐喻用于实现虚拟环境的基本操作，先用虚拟手柄穿过并绑定虚拟现实环境下的三维物体，然后通过 Kinect 传感器识别用户双手在 3D 空间的手势和移动，从而驱动虚拟手柄带动三维物体进行旋转、平移和缩放操作；经典的手势控制模式通过手势事件模拟鼠标/笔对 GUI 的控制和操作，并在 Buxton 状态模型的基础上提出基于视觉手势交互的状态转移模型；

但上述方法都忽略了操作时操作界面的设计，往往不同的操作输入方式，设计不同的输入操作界面，让虚拟现实系统的使用者在不同设备不同操作界面间不停做出选择，带来如下几个问题：

（1）操作不直观自然，用户需要经过一定的学习；

（2）交互不统一，容易使用不同交互输入设备时概念模糊；

（3）系统设计及后期维护的代价较高，需要满足不同输入设备的不同输入操作界面。

发明内容

为了克服现有技术存在的不足，本发明提供了一种基于虚拟现实的自然人机交互系统，该一种基于虚拟现实的自然人机交互方法基于不同输入设备的三维用户交互界面，实现在没有预先告知任何指定手势的情况下，通过形成性实验观察用户如何使用手势远距离操控现实环境中的物体的交互规范，建立工作区域和虚拟现实空间之间的映射，将实时解算的手运动数据和矢量数据相结合，完成一个连续的交互系统，不仅降低了系统设计及后期维护的成本，而且达到了提高用户输入设备开发效率、 操作效果、学习效率的目的。

本发明解决其技术问题所采用的技术方案为，包括虚拟头盔，所述的虚拟头盔包括数据处理系统、手动作识别设备、控制球生成系统，其中，所述的数据处理系统连接所述的手动作识别设备和控制球生成系统，所述的手动作识别设备获取用户手的控制焦点姿态，所述的控制球生成系统将手的控制焦点姿态位置映射产生控制球，所述的控制球将手姿态的位置参数传导至数据处理系统，由数据处理系统解算并给出控制参数，供被控制对象使用；所述的控制球包括上边界、三维空间的控制焦点、控制矢量、控制区、球心、下边界区和下边界，所述的控制焦点是指手姿态在三维空间中的位置；所述的控制矢量是指从球心到控制焦点发射一条射线，射线与下边界和控制焦点之间的矢量；所述的下边界区是指在下边界内的球体部分；所述的控制区是指在下边界与上边界之间的区域，在此区域内控制焦点和控制矢量有效；

所述的控制参数的坐标设置为坐标系设置为右手系，原点在球心，Z轴向上。

所述的控制矢量的计算过程为：当控制焦点落入下边界的球体内时，控制矢量为零，控制参数输出为零；当控制焦点在下边界之外时，控制矢量为球心发射射线到控制焦点，下边界与上边界处两个交点之间的矢量值恒定；当控制焦点在位于上边界和下边界的控制区内时，计算控制焦点相对于控制球心的位置矢量；

所述的控制球参数的设置是根据人机工效测试的情况，将控制球的上边界球的直径设置为五十厘米，下边界球的直径为五厘米；

该一种基于虚拟现实的自然人机交互系统是这样实现的，此交互应用于虚拟现实系统中对物体移动等控制，利用输出的归一化控制矢量参数的X，Y，Z分量分别表示不同的控制轴变量，输入为空间中的位置以及选择的开关信号量，通过这两个输入形成了交互球，交互球以直观方式显示在场景中，辅助用户进行交互；当用户的手在空间中做出控制焦的动作时，控制焦点的初始帧在空间中的位置为控制球的球心位置；控制焦点手姿态保持并根据用户意愿移动，此时实时计算新的控制焦点并按照控制矢量的计算过程计算出当前的控制矢量并进行归一化后输出；当控制焦点手姿态改变，控制球消失，控制输出0参数，表示无控制产生。

本发明的有益效果是：一种基于虚拟现实的自然人机交互系统通过了用户实验进行评估，实验将60人次分为了两个小组，对照实验结果表明，和传统交互界面相比，用户体验和表现更为自然、直观和高效，用户在虚拟现实系统中进行导航、虚拟物体运动控制等交互时，学习效率比传统方式提高了60%；通过导航和虚拟物体运动控制的时间、精度综合比较，操作效果提高了15%；通过LeapMotion、Kinect、Intel RealSense、手柄等不同输入设备在同一虚拟现实系统的开发过程比较不同用户输入设备开发效率提高了10%。

附图说明：

下面结合附图对本发明进一步说明。

图1为本发明的流程图；

图2为本发明的示意图；

图3为本发明控制球的示意图；

图4为本发明控制参数坐标设置的示意图。

具体实施方式：

本发明的具体实施方式是：参照图1、图2、图3、图4，包括虚拟头盔3，所述的虚拟头盔3包括数据处理系统2、手动作识别设备4、控制球生成系统5，其中，所述的数据处理系统2连接所述的手动作识别设备4和控制球生成系统5，所述的手动作识别设备4获取用户1手的控制焦点7姿态，所述的控制球生成系统5将手的控制焦点7姿态位置映射产生控制球6，所述的控制球6将手姿态的位置参数传导至数据处理系统2，由数据处理系统2解算并给出控制参数，供被控制对象使用；所述的控制球6包括上边界10、三维空间的控制焦点7、控制矢量8、控制区11、球心9、下边界区13和下边界12，所述的控制焦点7是指手姿态在三维空间中的位置；所述的控制矢量8是指从球心到控制焦点发射一条射线，射线与下边界12和控制焦点7之间的矢量；所述的下边界区13是指在下边界12内的球体部分；所述的控制区11是指在下边界12与上边界10之间的区域，在此区域内控制焦点7和控制矢量8有效；

参照图4，所述的控制参数的坐标设置为坐标系设置为右手系，原点在球心9，Z轴向上。

参照图3、图4，所述的控制矢量的计算过程为：当控制焦点7落入下边界12的球体内时，控制矢量8为零，控制参数输出为零；当控制焦点7在下边界12之外时，控制矢量8为球心9发射射线到控制焦点7，下边界12与上边界10处两个交点之间的矢量值恒定；当控制焦点7在位于上边界10和下边界12的控制区11内时，计算控制焦点7相对于控制球心9的位置矢量；

参照图3，所述的控制球参数的设置是根据人机工效测试的情况，将控制球6的上边界10球的直径设置为五十厘米，下边界12球的直径为五厘米。为了适应不同的系统在获取到控制矢量后进行归一化处理；

参照图1、图2、图3、图4，该一种基于虚拟现实的自然人机交互系统是这样实现的，此交互应用于虚拟现实系统中对物体移动等控制，利用输出的归一化控制矢量参数的X，Y，Z分量分别表示不同的控制轴变量，输入为空间中的位置以及选择的开关信号量，通过这两个输入形成了交互球，交互球以直观方式显示在场景中，辅助用户进行交互；当用户1的手在空间中做出控制焦7的动作时，控制焦点7的初始帧在空间中的位置为控制球6的球心位置；控制焦点7手姿态保持并根据用户1意愿移动，此时实时计算新的控制焦点7并按照控制矢量8的计算过程计算出当前的控制矢量8并进行归一化后输出；当控制焦点7手姿态改变，控制球6消失，控制输出零参数，表示无控制产生。

Claims (5)

1.一种基于虚拟现实的自然人机交互系统，包括虚拟头盔，所述的虚拟头盔包括数据处理系统、手动作识别设备、控制球生成系统，其特征是：所述的数据处理系统连接所述的手动作识别设备和控制球生成系统，所述的手动作识别设备获取用户手的控制焦点姿态，所述的控制球生成系统将手的控制焦点姿态位置映射产生控制球，所述的控制球将手姿态的位置参数传导至数据处理系统，由数据处理系统解算并给出控制参数，供被控制对象使用；所述的控制球包括上边界、三维空间的控制焦点、控制矢量、控制区、球心、下边界区和下边界，所述的控制焦点是指手姿态在三维空间中的位置；所述的控制矢量是指从球心到控制焦点发射一条射线，射线与下边界和控制焦点之间的矢量；所述的下边界区是指在下边界内的球体部分；所述的控制区是指在下边界与上边界之间的区域，在此区域内控制焦点和控制矢量有效。

2.根据权利要求1所述的一种基于虚拟现实的自然人机交互系统，其特征是：所述的控制参数的坐标设置为坐标系设置为右手系，原点在球心，Z轴向上。

3.根据权利要求1所述的一种基于虚拟现实的自然人机交互系统，其特征是：所述的控制矢量的计算过程为：当控制焦点落入下边界的球体内时，控制矢量为零，控制参数输出为零；当控制焦点在下边界之外时，控制矢量为球心发射射线到控制焦点，下边界与上边界处两个交点之间的矢量值恒定；当控制焦点在位于上边界和下边界的控制区内时，计算控制焦点相对于控制球心的位置矢量。

4.根据权利要求1所述的一种基于虚拟现实的自然人机交互系统，其特征是：所述的控制球参数的设置是根据人机工效测试的情况，将控制球的上边界球的直径设置为五十厘米，下边界球的直径为五厘米。

5.根据权利要求1所述的一种基于虚拟现实的自然人机交互系统，其特征是：该一种基于虚拟现实的自然人机交互系统是这样实现的，此交互应用于虚拟现实系统中对物体移动等控制，利用输出的归一化控制矢量参数的X，Y，Z分量分别表示不同的控制轴变量，输入为空间中的位置以及选择的开关信号量，通过这两个输入形成了交互球，交互球以直观方式显示在场景中，辅助用户进行交互；当用户的手在空间中做出控制焦的动作时，控制焦点的初始帧在空间中的位置为控制球的球心位置；控制焦点手姿态保持并根据用户意愿移动，此时实时计算新的控制焦点并按照控制矢量的计算过程计算出当前的控制矢量并进行归一化后输出；当控制焦点手姿态改变，控制球消失，控制输出0参数，表示无控制产生。