CN111736691B - 头戴显示设备的交互方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种头戴显示设备的交互方法、装置、终端设备及存储介质。上述方法包括：根据眼球追踪系统采集的眼球数据确定视线的聚焦点；当所述聚焦点位于显示的虚拟画面中包含的交互元素时，根据所述眼球追踪系统采集的眼球数据获取眼球运动信息；从指令集合中确定与所述眼球运动信息匹配的操作指令；基于所述操作指令触发针对所述交互元素的交互事件。上述头戴显示设备的交互方法、装置、终端设备及存储介质，能够简化交互方式，提高了用户与虚拟内容的交互性。

Description

头戴显示设备的交互方法、装置、终端设备及存储介质

技术领域

本申请涉及人机交互技术领域，具体涉及一种头戴显示设备的交互方法、装置、终端设备及存储介质。

背景技术

随着科学技术的不断发展，增强现实(Augmented Reality，VR)、虚拟现实(Virtual Reality，为VR)等技术已越来越多地应用到各行各业中，利用AR/VR等技术，可以使用户从传统的二维屏幕空间向三维空间进行转换，实现更好的视觉效果。而在目前的AR/VR等显示设备中，存在交互困难、交互复杂等缺点，不利于用户与显示设备显示的虚拟内容进行交互。

发明内容

本申请实施例公开了一种头戴显示设备的交互方法、装置、终端设备及存储介质，能够简化交互方式，提高了用户与虚拟内容的交互性。

本申请实施例公开一种头戴显示设备的交互方法，包括：根据眼球追踪系统采集的眼球数据确定视线的聚焦点；当所述聚焦点位于显示的虚拟画面中包含的交互元素时，根据所述眼球追踪系统采集的眼球数据获取眼球运动信息；从指令集合中确定与所述眼球运动信息匹配的操作指令；基于所述操作指令触发针对所述交互元素的交互事件。

本申请实施例公开一种头戴显示设备的交互装置，包括：焦点确定模块，用于根据眼球追踪系统采集的眼球数据确定视线的聚焦点；眼动信息获取模块，用于当所述聚焦点位于显示的虚拟画面中包含的交互元素时，根据所述眼球追踪系统采集的眼球数据获取眼球运动信息；指令确定模块，用于从指令集合中确定与所述眼球运动信息匹配的操作指令；事件触发模块，用于基于所述操作指令触发针对所述交互元素的交互事件。

本申请实施例提供一种终端设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例公开的头戴显示设备的交互方法、装置、终端设备及存储介质，根据眼球追踪系统采集的眼球数据确定视线的聚焦点，当聚焦点位于显示的虚拟画面中包含的交互元素时，根据眼球追踪系统采集的眼球数据获取眼球运动信息，从指令集合中确定与眼球运动信息匹配的操作指令，并基于操作指令触发针对交互元素的交互事件，用户通过眼部运动即可与交互元素进行交互，能够简化交互方式，提高了用户与虚拟内容的交互性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中头戴显示设备的交互方法的应用场景图；

图2为一个实施例中头戴显示设备的交互方法的流程图；

图3为一个实施例中确定视线聚焦点的示意图；

图4为一个实施例中连续三帧眼部数据的示意图；

图5为一个实施例中连续两帧眼部数据的示意图；

图6为另一个实施例中头戴显示设备的交互方法的流程图；

图7为一个实施例中确定与眼球运动信息匹配的操作指令的流程图；

图8为一个实施例中根据第一操作指令触发交互事件的示意图；

图9为另一个实施例中确定与眼球运动信息匹配的操作指令的流程图；

图10为一个实施例中根据第二操作指令触发交互事件的示意图；

图11A为一个实施例中根据第三操作指令触发交互事件的示意图；

图11B为另一个实施例中根据第三操作指令触发交互事件的示意图；

图12A为一个实施例中子交互元素的示意图；

图12B为一个实施例中显示操作提示信息的示意图；

图13为一个实施例中头戴显示设备的交互装置的框图；

图14为一个实施例中终端设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

VR是一种通过计算机模拟虚拟环境从而给用户带来环境沉浸感的技术。AR则是一种将虚拟信息与真实世界巧妙融合的技术，将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。在传统的AR/VR领域中，用户通常利用控制手柄与虚拟内容进行交互，成本较高且不方便携带。有些AR/VR的显示设备则是采用手势控制与虚拟内容进行交互，手势控制需对用户的手势进行识别，存在识别困难、识别效率低等问题。

本申请实施例提供一种头戴显示设备的交互方法、装置、终端设备及存储介质，通过对用户的眼球运动进行追踪，实现基于眼部运动的交互方式，能够简化交互方式，且识别效率高，提高了用户与虚拟内容的交互性。

图1为一个实施例中头戴显示设备的交互方法的应用场景图。如图1所示，用户佩戴头戴显示设备(Head-Mounted Display，HMD)10，该头戴显示设备10可以是VR显示设备，也可以是AR显示设备，还可以是智能眼镜等，本申请实施例不作限定。头戴显示设备10可显示虚拟内容20，通过佩戴的头戴显示设备10，用户可观察到三维的虚拟内容20，从而与虚拟内容20进行交互。

在一些实施例中，头戴显示设备10可进行定位，确定头戴显示设备10的位置及姿态信息，从而基于头戴显示设备10的位置及姿态信息显示虚拟内容20。作为一种具体实施方式，可将头戴显示设备10的位置及姿态信息从现实空间的三维坐标转换为虚拟空间的三维坐标，并根据虚拟内容20相对头戴显示设备10的位置及姿态信息等，计算得到虚拟内容20在虚拟世界的三维坐标，从而对虚拟内容20进行显示。

头戴显示设备10的定位方式可以为多种，例如，可采用即时定位与地图构建(simultaneous localization and mapping，SLAM)的方式进行定位，也可采用视觉定位，该视觉定位可以是光点追踪定位、标记物追踪定位等，还可以是磁场感应定位等，本申请实施例对头戴显示设备10的定位方式不作限定。

如图2所示，在一个实施例中，提供一种头戴显示设备的交互方法，可应用于终端设备，该终端设备可以是上述的头戴显示设备，该头戴显示设备可以是一体式头戴显示设备，也可以是与外置电子设备连接的头戴显示设备。终端设备也可以是与外接式/接入式头戴显示设备连接的手机等智能终端，终端设备可作为头戴显示设备的处理和存储设备，插入或者接入外接式头戴显示装置，以控制头戴显示设备显示的虚拟内容。该头戴显示设备的交互方法，包括以下步骤：

步骤210，根据眼球追踪系统采集的眼球数据确定视线的聚焦点。

头戴显示设备中可设置有眼球追踪系统，眼球追踪系统可对用户的眼球运动进行追踪，从而达到监测用户的眼部运动及视线方向等的目的。在一些实施例中，眼球追踪系统可至少包括摄像头，摄像头可采集包含用户眼睛的图像，通过分析摄像头采集的用户眼睛的图像中眼球及眼球周边的特征，可以识别用户的眼部运动及视线方向等。

终端设备可获取眼球追踪系统采集的眼球数据，该眼球数据可包括摄像头采集的包含眼睛的图像，也可以是从采集的图像中提取的眼球部分的图像。作为一种可选的实施方式，可利用眼球角膜反射光斑的识别方式识别用户的眼球运动和视线方向等信息。眼球追踪系统可包括光源和摄像头，其中，可选地，该光源可以为红外光源等，但不限于此。光源可向用户的眼睛发射光线，并经过眼球角膜进行反射。由于光源和摄像头的位置是固定的，在眼球运动的过程中，光源发射的光线在眼球角膜上的反射点是不变的，光线在眼球角膜的反射会在眼球角膜的表面上形成绝对位置不变的普尔钦斑(Purkinje image)，该普尔钦斑即为眼球角膜上的亮光点。眼球角膜表面上的普尔钦斑的绝对位置不会随眼球运动而产生变化，但是相对于眼球的位置则是不断变化的。例如，当用户的视线方向为正视摄像头时，普尔钦斑位于用户瞳孔的正中间，当用户的视线方向相对摄像头向上时，普尔钦斑位于用户瞳孔的下方位置。

终端设备可实时获取摄像头采集的眼球数据，并根据眼球数据定位普尔钦斑相对用户瞳孔的位置，从而根据普尔钦斑相对用户瞳孔的位置推算出用户的视线方向。可以理解地，利用眼球追踪系统确定用户的视线方向的方式并不仅限于上述描述的方式，也可以采用其它方式，本申请实施例不作限定。

在一些实施例中，可分别确定用户的两只眼睛的视线方向，并根据两只眼睛的视线方向确定视线的聚焦点。视线的聚焦点可指的是用户眼睛的关注点，可以为两只眼睛的视线方向的交点。

作为一种具体的实施方式，可确定用户视线在头戴显示设备显示的虚拟画面上的聚焦点。在确定用户两只眼睛的视线方向后，可在虚拟空间中分别生成模拟两只眼睛的视线方向的两条指示线，该指示线可以是用于指示眼睛的视线方向的直线，也可以为以眼睛为原点并指示眼睛的视线方向的射线等，在此不作限定。可选地，可在虚拟空间中建立两个虚拟摄像头，该两个虚拟摄像头分别与用户的两只眼睛对应。可根据眼睛的视线方向调整对应的虚拟摄像头的姿态角度，并生成与虚拟摄像头指示的方向一致的指示线，从而指示线可用于模拟眼睛的视线方向。可计算两条指示线与虚拟空间中虚拟画面之间的交点，并将该交点确定为用户视线在头戴显示设备显示的虚拟画面上的聚焦点。图3为一个实施例中确定视线聚焦点的示意图。如图3所示，头戴显示设备10显示三维的虚拟画面302，当佩戴头戴显示设备10的用户看虚拟画面302的某个点或某个区域时，两只眼睛的视线方向虚拟画面302上出现聚焦点，该聚焦点可为视线方向与虚拟画面302的交点，聚焦点或是聚焦点所在的区域即为用户关注的虚拟内容。

在一些实施方式中，用户两只眼睛的视线方向可能不产生交点，或是产生的交点不位于虚拟画面上，则可确定用户视线没有在虚拟画面上的聚焦点，表示用户当前并不特别关注虚拟画面上的某个点或某块区域，而处于正常的扫视或浏览状态。

步骤220，当聚焦点位于显示的虚拟画面中包含的交互元素时，根据眼球追踪系统采集的眼球数据获取眼球运动信息。

在用户视线的聚焦点处于虚拟画面上时，可判断该聚焦点是否位于虚拟画面中包含的交互元素上，用户可通过触发交互元素与虚拟画面进行交互。该交互元素可包括但不限于交互控件、交互组件、交互视窗、可交互的区域等界面元素，例如，交互元素可以是按钮、拖拽组件、下拉菜单、滑动组件等，也可以是提示框、指示符号等，还可以是可进行交互的图片、文字、页面区域或是虚拟画面中的三维模型等，但不限于此。

在一些实施方式中，可获取虚拟画面中所包含的各个交互元素在虚拟空间中的三维空间坐标，该三维空间坐标可以是以虚拟空间中的世界坐标原点建立的空间坐标系进行表示，也可以是以头戴显示设备为原点建立的空间坐标系进行表示，在此不作限定。可先计算两条用于模拟用户视线的指示线在虚拟画面中的聚焦点对应的焦点空间坐标，并根据各个交互元素的三维空间坐标及聚焦点对应的焦点空间坐标判断聚焦点是否位于虚拟画面中包含的交互元素。可判断聚焦点对应的焦点空间坐标是否处于任一交互元素的三维空间坐标中，若处于，则可确定聚焦点位于焦点空间坐标所处的交互元素中。

当聚焦点位于显示的虚拟画面中包含的交互元素时，可从眼球追踪系统获取眼球数据，通过眼球数据可对用户的眼部运动进行识别。可对获取的眼球数据进行分析，得到眼球运动信息，眼球运动信息可用于描述用户的眼球运动。在一个实施例中，眼球运动信息可包括眨眼信息和视线移动信息等中的至少一种。其中，眨眼信息可用于描述用户眼睛的眨眼运动状态，眨眼信息可包括眨眼频率、眨眼过程中闭眼状态的时长、在一定时长内连续眨眼的次数等。视线移动信息可用于描述用户眼睛在视线移动时的运动状态，视线移动信息可包括视线移动方向、视线停留时长等。

作为一种具体实施方式，可获取眼球追踪系统采集的至少两帧包含眼睛的图像，可通过比较相邻两帧图像中眼睛的闭合特征得到眨眼信息，其中，闭合特征可指的是描述眼睛睁开或闭合的特征，该闭合特征还可包括图像中眼睛的闭合程度，可选地，可通过分析图像中眼睛的上眼皮与下眼皮之间的相对距离得到眼睛的闭合特征，也可通过分析眼球被上眼皮遮挡的区域或区域所占的比例等得到眼睛的闭合特征。若相邻两帧图像中眼睛的闭合特征不一致，即图像上眼睛的闭合特征发生了变化，则可确定用户的眼部发生了眨眼运动。

图4为一个实施例中连续三帧眼部数据的示意图。如图4所示，可获取眼球追踪系统的摄像头连续采集的三帧用户眼部的图像(a)、(b)、(c)，其中，图像(a)中用户的眼睛处于睁眼状态，图像(b)中用户的眼睛处于半闭合状态，图像(c)中用户的眼睛处于完全闭合状态，从图像(a)-(c)，用户眼睛的闭合特征发生了变化，则可确定用户的眼部发生了眨眼运动。

作为一种具体实施方式，可获取眼球追踪系统采集的至少两帧包含眼睛的图像，可通过比较相邻两帧图像中的视线方向得到视线移动信息。若相邻两帧图像中眼睛的视线方向发生了变化，则可确定视线发生移动。可选地，可通过分析图像中眼睛瞳孔相对普尔钦斑的位置得到视线方向。图5为一个实施例中连续两帧眼部数据的示意图。如图5所示，可获取眼球追踪系统的摄像头连续采集的两帧用户眼部的图像(d)、(e)，其中，图像(d)中普尔钦斑502位于瞳孔504的左上方，图像(e)中普尔钦斑502位于瞳孔504的右侧中间偏下位置，普尔钦斑相对瞳孔的位置发生了变化，则可确定用户眼睛的视线发生了移动。

可以理解地，眼球运动信息还可包括其它信息，并不仅限于上述实施例中描述的几种信息。

在一些实施例中，当根据眼球数据检测到用户视线的聚焦点位于显示的虚拟画面中包含的交互元素时，可继续获取眼球追踪系统采集的眼球数据，并根据该继续获取的眼球数据确定用户视线的聚焦点位于该交互元素的持续时长。可在检测到用户视线的聚焦点位于虚拟画面中的交互元素后，可根据采集的每帧眼睛的图像对应的视线方向检测聚焦点的位置(可用上述的焦点空间坐标进行表示)是否发生变化，若聚焦点的位置发生变化，可判断变化后的聚焦点是否还位于变化前的聚焦点对应的交互元素，若还位于变化前的聚焦点对应的交互元素，则继续统计用户视线的聚焦点位于该交互元素的持续时长。若用户视线的聚焦点位于交互元素的持续时长大于预设的时长阈值，可根据眼球追踪系统采集的眼球数据获取眼球运动信息，并根据眼球运动信息与交互元素进行交互。在用户的视线焦点停留在相同交互元素的时长达到时长阈值后，才对用户的眼部运动进行识别，可提高交互的准确性，防止出现误识别的情况。

步骤230，从指令集合中确定与眼球运动信息匹配的操作指令。

在获取眼球运动信息后，可获取预先存储的指令集合，指令集合中可包括一个或多个操作指令，操作指令可用于控制聚焦点对应的交互元素执行相应的交互操作，每个操作指令可分别对应不同的眼球运动信息。可选地，指令集合可包括移动指令、旋转指令、选择指令、删除指令、页面切换指令、显示下接菜单指令、放大指令、缩小指令、滑动指令等中的一种或多种，指令集合中包括的操作指令可根据实际需求的交互操作进行设置，在此不作限定。

在一些实施例中，可预先设置各个眼球运动对应的交互操作，并生成与不同眼球运动信息对应的操作指令存储至存储器中。眼球运动对应的交互操作可以是开发人员进行提前设置，也可以是由头戴显示设备的用户根据个人实际需求进行设置。例如，可设置眼球运动为视线向左移动，对应的交互操作为将交互元素以相对用户左边的方向滑动，也可以设置眼球运动为视线向左移动，对应的交互操作为虚拟画面的页面返回上一页面，或是设置在1秒内连续眨眼2次时，对交互元素进行点击操作等，在此不作限定。在一些实施例中，在设置眼球运动对应的交互操作时，可结合眼睛的眨眼运动及视线移动等不同的运动设置交互操作，例如，可设置眼球运动为左眼在1秒内连续眨眼2次、右眼向左运动，对应的交互操作为将交互元素进行放大操作等，可实现用眼部动作进行交互的多样性，提高用户与虚拟内容的交互性。

可从存储的指令集合中查找与获取的眼球运动信息匹配的操作指令，并根据该操作指令进行交互操作。

在一些实施方式中，针对不同类型的用户界面(User Interface，UI)类型的交互元素，相同的眼部运动也可对应不同的操作指令。用户界面类型可根据交互元素的显示方式进行划分，例如可包括但不限于视窗、按钮、菜单列表、弹窗等，用户界面类型也可根据交互元素的交互方式进行划分，例如可包括但不限于点击类型、滑动类型、下拉类型等。可分别生成与各个用户界面类型对应的指令集合，指令集合中可包括与所属的用户界面类型对应的一个或多个操作指令，不同用户界面类型包含的操作指令对应的眼球运动信息可相同。例如，对于按钮类型的交互元素，可设置3秒内眨眼2次为点击交互元素，对于菜单列表的交互元素，可设置3秒内眨眼2次为控制交互元素向下滚动等，在此不作限定。

当用户视线的聚焦点位于显示的虚拟画面中包含的交互元素时，获取眼球运动信息后，可确定该交互元素所属的用户界面类型，并获取该用户界面类型对应的指令集合，再从交互元素所属的用户界面类型对应的指令集合中查找与眼球运动信息匹配的操作指令。按照交互元素的用户界面类型对识别的眼部运动对应的操作指令进行区分，可简化眼部交互的方式，不需要设定过多的眼部动作进行交互，提高便利性。

步骤240，基于操作指令触发针对交互元素的交互事件。

移动终端可根据与眼球运动信息匹配的操作指令触发交互事件，基于该操作指令可与聚焦点对应的交互元素进行交互，控制该交互元素执行相应的交互操作。

在本申请实施例中，根据眼球追踪系统采集的眼球数据确定视线的聚焦点，当聚焦点位于显示的虚拟画面中包含的交互元素时，根据眼球追踪系统采集的眼球数据获取眼球运动信息，从指令集合中确定与眼球运动信息匹配的操作指令，并基于操作指令触发针对交互元素的交互事件，用户通过眼部运动即可与交互元素进行交互，能够简化交互方式，提高了用户与虚拟内容的交互性。

如图6所示，在一个实施例中，提供另一种头戴显示设备的交互方法，可应用于上述的终端设备，该头戴显示设备的交互方法，可包括以下步骤：

步骤602，根据眼球追踪系统采集的眼球数据确定视线的聚焦点。

步骤604，当聚焦点位于显示的虚拟画面中包含的交互元素时，根据眼球追踪系统采集的眼球数据计算当前时刻的眨眼频率。

步骤602的描述以及如何确定聚焦点是否位于虚拟画面中包含的交互元素的方式等的描述可参照上述各实施例中的相关描述，在此不再赘述。

当检测到用户视线的聚焦点位于虚拟画面中包含的交互元素时，终端设备可判断是否需要与该交互元素进行交互。作为一种实施方式，可检测是否触发眼动交互指令，若触发眼动交互指令，则可根据眼动交互指令识别用户的眼部动作，并根据识别到的眼部动作按制交互元素执行相应的交互操作。可预先设置眼动交互指令的触发方式，该触发方式可根据实际需求进行设定，例如，可以是在头戴显示设备上设置眼动交互按键，当用户点击该按键时，触发眼动交互指令，也可以设置触发眼动交互指令相应的眼部动作，当识别到该眼部动作时，触发眼动交互指令等，在此不作限定。

在一些实施例中，可获取眼球追踪系统采集的眼球数据，并根据眼球数据检测用户当前的眼部运动是否正常，若检测到用户当前的眼部运动不正常，则可触发眼动交互指令。作为一种实施方式，可根据眼球追踪系统采集的眼球数据计算当前时刻的眨眼频率，并判断当前时刻的眨眼频率是否大于频率阈值，可选地，该频率阈值可以根据用户平时浏览或扫视虚拟画面而不通过眼部动作进行交互时的眨眼频率进行设置。若当前时刻的眨眼频率大于频率阈值，则可说明用户当前的眨眼频率为不正常频率，可触发眼动交互指令。

当前时刻的眨眼频率可指的是眼球追踪系统采集的当前时刻的眼部数据对应的眨眼频率。可获取当前时刻采集的眼睛图像，以及在当前时刻之前采集的预设数量的历史帧眼睛图像，该预设数量可以为1帧或2帧及以上等，在此不作限定。可根据当前时刻对应的眼睛图像的闭合特征与历史帧眼睛图像的闭合特征之间的差异，以及各帧眼睛图像之间的时间间隔，计算当前时刻的眨眼频率，其中，各帧眼睛图像之间的时间间隔可根据摄像头的帧率确定，如摄像头的帧率为1秒60帧，则各帧眼睛图像之间的时间间隔可为16.7ms(毫秒)。

以图4为例，假设当前时刻的眼睛图像为图像(c)，则可获取2帧历史帧眼睛图像，即图像(a)和图像(b),每帧图像的采集间间为20ms，则可确定用户从睁眼到闭眼的过程(即从图像(a)至图像(c)的过程)为40ms，可确定眨眼过程为80ms，则当前时刻的眨眼频率可为12.5次/秒。

步骤606，当当前时刻的眨眼频率大于频率阈值时，触发眼动交互指令。

步骤608，根据眼动交互指令获取眼球追踪系统在第一时间段内采集的眼球数据，对第一时间段内的眼球数据进行分析并获取眼球运动信息。

当当前时刻的眨眼频率大于频率阈值时，可触发眼动交互指令，可根据眼动交互指令获取眼球追踪系统在第一时间段内采集的眼球数据，并分析该第一时间段内采集的眼球数据，识别用户眼部动作，得到眼球运动信息。其中，第一时间段可根据实际需求进行设定，例如1秒、2秒等，本申请实施例不作限定。在根据眨眼频率触发眼动交互指令后，才对用户的眼部运动进行识别，以实现用户通过眼部动作与虚拟内容进行交互，可以防止出现误识别的情况出现。且根据一定时间段的眼球数据获取眼球运动信息，可使得获取的眼球运动信息更为准确，提高眼部运动的识别准确性。

在一些实施例中，上述的频率阈值可根据用户的眨眼习惯进行设定。可获取眼球追踪系统在第二时间段内采集的眼球数据，并确定该第二时间段对应的眨眼频率，可选地，第二时间段对应的眨眼频率可指的是用户在第二时间段内的平均眨眼频率。可根据眼球追踪系统在第二时间段内采集的眼球数据，确定在第二时间段内采集的每帧眼睛图像对应的眨眼频率，并求取平均值，得到第二时间段对应的眨眼频率。其中，第二时间段可根据需求进行设定，第二时间段可大于上述的第一时间段，例如，第二时间段可以为3分钟、5分钟等，本申请实施例不作限定。可根据第二时间段对应的眨眼频率设定频率阈值，可选地，可直接将第二时间段对应的眨眼频率作为频率阈值，也可在第二时间段对应的眨眼频率的基础上加上预设值，得到频率阈值，例如，第二时间段对应的眨眼频率15次/分钟，假定预设值为5次/分钟，则可得到频率阈值为20次/分钟。

在用户佩戴头戴显示设备的过程中，头戴显示设备的眼球追踪系统可持续采集用户的眼球数据，可每隔第二时间段获取眼球追踪系统采集的眼球数据，并计算每个第二时间段对应的眨眼频率，可根据计算得到的第二时间段对应的眨眼频率对频率阈值进行调整，从而可根据用户的实际情况对频率阈值进行实时调整，可提高触发眼动交互指令的检测准确度，提高用户与虚拟内容的交互性。

步骤610，从指令集合中确定与眼球运动信息匹配的操作指令。

在一些实施例中，眼球运动信息可包括视线移动信息，步骤610可包括：根据视线移动信息获取视线移动方向，从指令集合中获取与视线移动方向匹配的旋转指令，旋转指令用于控制交互元素按照与视线移动方向对应的旋转方向进行旋转操作。

视线移动信息可包括视线移动方向，指令集合中可包括与视线移动方向匹配的旋转指令。可根据视线移动方向从指令集合中获取旋转指令，基于该旋转指令触发的交互事件可以是控制交互元素根据该旋转指令按照与该视线移动方向对应的旋转方向进行旋转操作。例如，视线移动方向为视线向相对用户的右方移动，则可控制虚拟画面中的交互元素向相对用户的右方进行旋转，视线移动方向为视线向相对用户的上方移动，则可控制虚拟画面中的交互元素向相对用户的上方进行旋转等，在此不作限定。

在一个实施例中，还可根据眼球运动信息的视线移动方向控制交互元素移动。可根据视线移动信息获取视线移动方向，并从指令集合中获取与视线移动方向匹配的移动指令，该移动指令可用于控制交互元素按照该视线移动方向进行移动。视线移动信息还可包括视线移动速度，当检测到交互元素触碰到虚拟画面的画面边缘时，可根据视线移动信息获取视线移动速度。可判断视线移动速度是否大于速度阈值，当视线移动速度大于速度阈值时，可从指令集合中获取删除指令，该删除指令用于删除交互元素。用户通过视线移动即可快速移动并删除交互元素，操作更加便捷，提高了操作效率。

如图7所示，在一个实施例中，步骤610可包括以下步骤702～706。

步骤702，根据眨眼信息确定眨眼模式。

眨眼模式可包括单眼眨动模式及双眼眨动模式，其中，单眼眨动模式指的是用户的两只眼睛中有一个眼睛进行眨眼运动，另一只眼睛则一直处于闭合或睁开的状态，两眼眨动模式则是指用户的两只眼睛同时进行眨眼运动。终端设备可获取眼球追踪系统采集的眼球数据，当检测到连续多帧的眼睛图像中只有一只眼睛的闭合特征存在差异，另一只眼睛的闭合特征相同，则可确定眨眼模式为单眼眨动模式，若两只眼睛在连续多帧的眼睛图像中的闭合特征均存在差异，且两只眼睛在同一眼睛图像中的闭合特征相同或相似，则可确定眨眼模式为双眼眨动模式。

步骤704，当眨眼模式为单眼眨动模式时，获取发生眨眼运动的眼部位置。

若眨眼模式为单眼眨动模式，则可根据眼球数据确定发生眨眼运动的眼部位置，该眼部位置可指的眼睛相对用户所在的位置，该眼部位置可以为左眼位置或右眼位置，即可确定发生眨眼运动的是用户的左眼还是右眼。根据眼球数据获取的眨眼信息中可包括眨眼模式、发生眨眼运动的眼部位置等信息。

步骤706，从指令集合中确定与眼部位置匹配的第一操作指令，第一操作指令用于控制交互元素向与眼部位置匹配的方向进行操作。

在单眼眨动模式下，与眼球运动信息匹配的操作指令可以是与发生眨眼运动的眼部位置关联的第一操作指令。根据该第一操作指令触发的交互事件可以是控制用户视线的聚焦点对应的交互元素向与眼部位置匹配的方向进行操作，该操作可包括但不限于向与眼部位置匹配的方向滑动、向眼部位置匹配的方向翻转，向眼部位置匹配的方向进行页面变换等，在此不作限定。

图8为一个实施例中根据第一操作指令触发交互事件的示意图。如图8所示，头戴显示设备显示的虚拟画面800中，用户视线的聚焦点对应的交互元素为应用选择界面区域802，根据眼球运动信息可确定眨眼模式为单眼眨动模式，发生眨眼运动的为用户的右眼，则可从指令集合中确定右眼单眼眨动对应的第一操作指令为向右滑动，则可控制应用选择界面区域802从第一页面(包括应用1和应用2)向右滑动后翻页至第二页面(包括应用3及应用4)。

在一些实施例中，在单眼眨动模式下，针对相同的发生眨眼运动的眼部位置，不同的眨眼信息也可设置对应不同的第一操作指令。可选地，可设置一定时长内不同眨眼次数对应不同的第一操作指令，例如，单用户右眼发生眨眼运动，若3秒内眨眼2次，则可控制交互元素向相对用户往右的方向滑动，若3秒内眨眼3次，则可控制交互元素向相对用户往右的方向拉伸放大等，但不限于此。

在一些实施例中，上述的第一操作指令也可是用于控制虚拟画面中相对用户的方向与发生眨眼运动的眼部位置匹配的区域进入锁定或选中状态等的指令。例如，单用户右眼发生眨眼运动，则对虚拟画面相对用户的右边区域进行选中，从而可对选中的区域进行下一步的交互操作。对眨眼模式进行区分，并在单眼眨动模式下控制交互元素向与发生眨眼运动的眼部位置匹配的方向进行操作，可以提高眼部交互的多样性，且使交互方式更贴合用户习惯，提高交互的便利性。

如图9所示，在一个实施例中，步骤610可包括以下步骤902～908。

步骤902，根据眨眼信息确定眨眼模式。

步骤902的描述可参照上述实施例中的步骤702的描述，在此不再赘述。

步骤904，当眨眼模式为单眼眨动模式时，获取发生眨眼运动的眼部状态。

眼部状态可用于表征眼部在进行眨眼运动过程中的状态，眼部状态可包括闭眼状态及睁眼状态等，其中，闭眼状态指的是眼睛进行眨眼时完全闭合的状态，睁眼状态则是指眼睛进行眨眼运动时睁开的状态。眨眼信息可包括每帧眼睛图像中眨眼运动的眼睛的眼部状态。

步骤906，根据视线移动信息获取未发生眨眼运动的眼部的视线移动方向。

视线移动信息可包括视线移动方向，在单眼眨动模式下，可获取未发生眨眼运动的眼部的视线移动方向，该未发生眨眼运动的眼部可指的是一直处于睁开的眼睛。进一步地，可根据视线移动信息获取在发生眨眼运动的眼部状态为闭眼状态下，未发生眨眼运动的眼部的视线移动方向。

步骤908，从指令集合中确定与眼部状态及视线移动方向匹配的第二操作指令，第二操作指令用于控制交互元素在发生眨眼运动的眼部处于闭眼状态时，按照视线移动方向进行移动，并在发生眨眼运动的眼部处于睁眼状态时，停止移动。

在单眼眨动模式下，与眼球运动信息匹配的操作指令可以是与发生眨眼运动的眼部状态及未发生眨眼运动的眼部的视线移动方向关联的第二操作指令。根据该第二操作指令触发的交互事件可以是控制交互元素在发生眨眼运动的眼部处于闭眼状态时，按照视线移动方向进行移动，并在发生眨眼运动的眼部处于睁眼状态时，停止移动。

进一步地，交互元素停止移动的位置可以是发生眨眼运动的眼部从闭眼状态变为睁眼状态时，未发生眨眼运动的眼睛的视线在虚拟画面上的焦点所处的位置。作为一种具体实施方式，当检测到发生眨眼运动的眼部从闭眼状态变为睁眼状态时，可获取未发生眨眼运动的眼睛的视线方向，并计算用于模拟该未发生眨眼运动的眼睛的视线方向的指示线在虚拟空间中与虚拟画面的交点，可将该交点的空间位置坐标作为未发生眨眼运动的眼睛的视线在虚拟画面上的焦点所处的位置，并将交互元素的位置与该交点的空间位置坐标对应。

图10为一个实施例中根据第二操作指令触发交互事件的示意图。如图10所示，头戴显示设备显示的虚拟画面1000中，用户视线的聚焦点对应的交互元素为滑动组件1010，根据眼球运动信息可确定眨眼模式为单眼眨动模式，发生眨眼运动的为用户的右眼，在右眼处于闭眼状态时，用户的左眼(即未发生眨眼运部的眼部)的视线方向发生变化，其视线方向向右移动，则可从指令集合中确定第二操作指令为控制滑动组件1010向右移动，并在右眼从闭眼状态变为睁眼状态时，停止滑动组件1010的移动的指令。可结合用户眼部的眨眼运动及视线移动运动对交互元素进行控制，可以提高眼部交互的多样性，且使交互方式更贴合用户习惯，提高交互的便利性。

在一些实施例中，当根据眨眼信息确定眨眼模式为双眼眨动模式时，可获取用户的双眼在一定时长内的眨眼次数，该一定时长可根据实际需求进行设定，例如2秒、3秒、5秒等，在此不作限定。在双眼眨动模式下，与眼球运动信息匹配的操作指令可以是一定时长内的眨眼次数关联的第三操作指令，根据该第二操作指令触发的交互事件可以是控制交互元素按照一定时长内的眨眼次数对应的交互时长执行相应的操作。在一定时长内的眨眼次数不同，可对应不同的交互时长，可选地，眨眼次数越多，交互时长可越长。交互元素执行的交互操作可根据实际需求进行设置，例如，可以是跟交互时长对应的选择操作、拖拽操作、滑动操作等，在此不作限定。

作为一种具体实施方式，可设置用户的双眼在一定时长内的眨眼次数为2次时，匹配的第二操作指令可用于对交互元素进行点击操作，可设置用户的双眼在一定时长内的眨眼次数为3次时，匹配的第二操作指令可用于对交互元素进行长按操作。

图11A为一个实施例中根据第三操作指令触发交互事件的示意图。头戴显示设备显示的虚拟画面1100中，用户视线的聚焦点对应的交互元素为按钮1110，若根据眼球运动信息确定眨眼模式为双眼眨动模式，在3秒内的眨眼次数为2次，则可从指令集合中确定第三操作指令为对按钮1110进行点击的指令。

图11B为另一个实施例中根据第三操作指令触发交互事件的示意图。头戴显示设备显示的虚拟画面1100中，用户视线的聚焦点对应的交互元素为应用图标1120。若根据眼球运动信息确定眨眼模式为双眼眨动模式，在3秒内的眨眼次数为4次，则可从指令集合中确定第三操作指令为对应用图标1120进行长按操作的指令。对应用图标1120进行长按操作后，还可显示相应的提示交互框1130，该提示交互框1130可用于提示用户进行下一步的交互操作，如图11B中提示用户选择是否移动应用图标1120。对眨眼模式进行区分，并在双眼眨动模式下根据一定时长内的眨眼次数执行对应交互时长的交互操作，可以提高眼部交互的多样性，且使交互方式更贴合用户习惯，提高交互的便利性。

步骤612，基于操作指令触发针对交互元素的交互事件。

可基于确定的与眼球运动信息匹配的操作指令触发针对交互元素的交互事件，并完成该交互事件对应的交互操作。该操作指令可包括但不限于上述各实施例中的操作指令等。可以理解地，本申请实施例中与眼球运动信息匹配的操作指令，以及操作指令触发的交互事件并不仅限于上述实施例中描述的几种方式，可根据实际需求及用户习惯进行设置。

在一些实施例中，为了避免设置过多的眼部交互操作导致交互方式过于繁琐的情况，可在设置眼动交互的辅助按钮，以通过该眼动交互的辅助按钮辅助用户通过眼部运动进行交互。当用户的视线的聚焦点对应的交互元素为用于辅助眼动交互的交互元素时，可根据眼球运动信息匹配的操作指令触发该交互元素的辅助眼动交互的交互事件。可根据操作指令获取该交互元素包括的至少一个子交互元素，以及各个子交互元素对应的眼球运动操作，交互元素包括的子交互元素可被认为是二级交互元素，子交互元素可以是用户日常较为经常进行的交互操作，例如，放大操作、缩小操作、上滑操作、下滑操作等。每个子交互元素可对应有不同的眼球运动操作，该眼球运动操作可与上一级的交互元素相同，例如，在3秒内眨眼2次，对应上一级的交互按钮的交互事件为点击操作，对应子交互元素放大按钮的交互事件为放大操作等。

可根据各个子交互元素对应的眼球运动操作生成与各个子交互元素对应的操作提示信息，该操作提示信息可用于提示触发子交互元素的交互事件对应的眼球运动操作，例如，对于放大按钮，对应的操作提示信息可以为“请眨左眼”，则当识别到用户左眼发生眨眼运动时，可触发放大操作。

可对各个子交互元素及与子交互元素对应的操作提示信息进行提示，以提示用户按照操作提示信息进行眼部运动，实现与虚拟内容的交互。在一些实施例中，在显示子交互元素后，可根据眼球追踪系统采集的眼球数据确定用户视线的聚焦点，当用户视线的聚焦点位于任意一个子交互元素时，可显示用户视线的聚焦点所处的子交互元素对应的操作提示信息。

图12A为一个实施例中子交互元素的示意图。如图12A所示，头戴显示设备显示的虚拟画面中可包括眼动交互辅助按钮1210，当用户视线的聚焦点位于眼动交互辅助按钮1210，并对眼动交互辅助按钮1210进行触发后，可显示4个子交互元素1220，分别为向上滑动按钮、向下滑动按钮、放大按钮、缩小按钮，不同子交互元素可分别对应不同的眼球运动操作。图12B为一个实施例中显示操作提示信息的示意图。如图12B所示，当检测到用户的视线的聚焦点移动到向上滑动按钮时，可显示向上滑动按钮对应的操作提示信息1230，该操作提示信息1230可包括“请眨动左眼”。当识别到用户的眼部进行眨动左眼的运动时，可触发向上滑动的交互事件。可以理解地，本申请实施例中的子交互元素及对应的眼球运动操作并不仅仅局限于上述各实施例及图12A、图12B所描述的内容，图12A、图12B仅用于说明本申请实施例，不对本申请实施例产生限定。通过眼动交互辅助功能，可避免设置过多的眼部交互操作导致交互方式过于繁琐的情况，且可以帮助用户更快地与虚拟内容进行交互，简化交互过程，提高互动性。

在本申请实施例中，可基于与眼球运动信息匹配的操作指令触发针对交互元素的交互事件，用户通过眼部运动即可与交互元素进行交互，能够简化交互方式，提高了用户与虚拟内容的交互性。且交互方式多样化，可提高交互的便利性。

如图13所示，在一个实施例中，提供一种头戴显示设备的交互装置1300，头戴显示设备的交互装置1300可包括焦点确定模块1310、眼动信息获取模块1320、指令确定模块1330及事件触发模块1340。

焦点确定模块1310，用于根据眼球追踪系统采集的眼球数据确定视线的聚焦点。

眼动信息获取模块1320，用于当聚焦点位于显示的虚拟画面中包含的交互元素时，根据眼球追踪系统采集的眼球数据获取眼球运动信息。

指令确定模块1330，用于从指令集合中确定与眼球运动信息匹配的操作指令。

在一些实施例中，指令确定模块1330，还用于确定交互元素所属的用户界面类型，并获取用户界面类型对应的指令集合，查找该指令集合中与眼球运动信息匹配的操作指令。

事件触发模块1340，用于基于操作指令触发针对交互元素的交互事件。

在本申请实施例中，根据眼球追踪系统采集的眼球数据确定视线的聚焦点，当聚焦点位于显示的虚拟画面中包含的交互元素时，根据眼球追踪系统采集的眼球数据获取眼球运动信息，从指令集合中确定与眼球运动信息匹配的操作指令，并基于操作指令触发针对交互元素的交互事件，用户通过眼部运动即可与交互元素进行交互，能够简化交互方式，提高了用户与虚拟内容的交互性。

在一个实施例中，上述头戴显示设备的交互装置1300，除了包括焦点确定模块1310、眼动信息获取模块1320、指令确定模块1330及事件触发模块1340，还包括交互触发模块及阈值确定模块。

交互触发模块，用于根据眼球追踪系统采集的眼球数据计算当前时刻的眨眼频率，当当前时刻的眨眼频率大于频率阈值时，触发眼动交互指令。

眼动信息获取模块1320，还用于根据眼动交互指令获取眼球追踪系统在第一时间段内采集的眼球数据，对第一时间段内的眼球数据进行分析并获取眼球运动信息。

阈值确定模块，用于根据眼球追踪系统在第二时间段内采集的眼球数据确定第二时间段对应的眨眼频率，并根据第二时间段对应的眨眼频率设定频率阈值。

在一个实施例中，指令确定模块1330，还用于根据视线移动信息获取视线移动方向，并从指令集合中获取与所述视线移动方向匹配的旋转指令，旋转指令用于控制交互元素按照与所述视线移动方向对应的旋转方向进行旋转操作。

在一个实施例中，指令确定模块1330，还用于从所述指令集合中获取与视线移动信息的视线移动方向匹配的移动指令，所述移动指令用于控制所述交互元素按照所述视线移动方向进行移动，当检测到交互元素触碰到虚拟画面的画面边缘时，根据视线移动信息获取视线移动速度，当视线移动速度大于速度阈值时，从指令集合中获取删除指令，删除指令用于删除交互元素。

在一个实施例中，指令确定模块1330，包括模式确定单元、位置获取单元及指令确定单元。

模式确定单元，用于根据眨眼信息确定眨眼模式。

位置获取单元，用于当眨眼模式为单眼眨动模式时，获取发生眨眼运动的眼部位置。

指令确定单元，用于从指令集合中确定与眼部位置匹配的第一操作指令，第一操作指令用于控制交互元素向与眼部位置匹配的方向进行操作。

在一个实施例中，指令确定模块1330除了包括模式确定单元、位置获取单元及指令确定单元，还包括状态获取单元、方向获取单元及指令确定单元。

状态获取单元，用于当眨眼模式为单眼眨动模式时，获取发生眨眼运动的眼部状态。

方向获取单元，用于根据视线移动信息获取未发生眨眼运动的眼部的视线移动方向。

指令确定单元，用于从指令集合中确定与眼部状态及视线移动方向匹配的第二操作指令，第二操作指令用于控制交互元素在发生眨眼运动的眼部处于闭眼状态时，按照视线移动方向进行移动，并在发生眨眼运动的眼部处于睁眼状态时，停止移动。

在一个实施例中，指令确定模块1330除了包括模式确定单元、位置获取单元、指令确定单元、状态获取单元、方向获取单元及指令确定单元，还包括次数获取单元。

次数获取单元，用于当眨眼模式为双眼眨动模式时，获取在一定时长内的眨眼次数。

指令确定单元，还用于从指令集合中确定与眨眼次数匹配的第三操作指令，第三操作指令用于控制交互元素按照眨眼次数对应的交互时长执行相应的操作。

在一个实施例中，事件触发模块1340，包括子元素获取单元、提示单元及显示单元。

子元素获取单元，用于根据操作指令获取交互元素包括的至少一个子交互元素，以及各个子交互元素对应的眼球运动操作。

提示单元，用于根据各个子交互元素对应的眼球运动操作生成与各个子交互元素对应的操作提示信息，操作提示信息用于提示触发子交互元素的交互事件对应的眼球运动操作。

显示单元，用于显示子交互元素及对应的操作提示信息。

在本申请实施例中，可基于与眼球运动信息匹配的操作指令触发针对交互元素的交互事件，用户通过眼部运动即可与交互元素进行交互，能够简化交互方式，提高了用户与虚拟内容的交互性。且交互方式多样化，可提高交互的便利性。

图14为一个实施例中终端设备的结构框图，该终端设备可以是上述的头戴显示设备，该头戴显示设备可以是一体式头戴显示设备，也可以是与外置电子设备连接的头戴显示设备。终端设备也可以是与外接式/接入式头戴显示设备连接的手机等智能终端，终端设备可作为头戴显示设备的处理和存储设备，插入或者接入外接式头戴显示装置，以控制头戴显示设备显示的虚拟内容。

如图14所示，终端设备1400可以包括一个或多个如下部件：处理器1410、与处理器1410耦合的存储器1420，其中存储器1420可存储有一个或多个应用程序，一个或多个应用程序可以被配置为由一个或多个处理器1410执行，一个或多个程序配置用于执行如上述各实施例描述的方法。

处理器1410可以包括一个或者多个处理核。处理器1410利用各种接口和线路连接整个终端设备1400内的各个部分，通过运行或执行存储在存储器1420内的指令、程序、代码集或指令集，以及调用存储在存储器1420内的数据，执行终端设备1400的各种功能和处理数据。可选地，处理器1410可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1410可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1410中，单独通过一块通信芯片进行实现。

存储器1420可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1420可用于存储指令、程序、代码、代码集或指令集。存储器1420可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储终端设备1400在使用中所创建的数据等。

可以理解地，终端设备1400可包括比上述结构框图中更多或更少的结构元件，例如，包括电源、输入按键、摄像头、扬声器、屏幕、RF(Radio Frequency，射频)电路、Wi-Fi(Wireless Fidelity，无线保真)模块、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

以上对本申请实施例公开的一种头戴显示设备的交互方法、装置、终端设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种头戴显示设备的交互方法，其特征在于，包括：

根据眼球追踪系统采集的眼球数据确定视线的聚焦点；

当所述聚焦点位于显示的虚拟画面中包含的交互元素时，根据采集的每帧眼睛的图像对应的视线方向检测所述聚焦点的位置是否发生变化；若否，统计所述聚焦点位于所述交互元素的持续时长；在所述持续时长大于预设的时长阈值时，根据所述眼球追踪系统采集的眼球数据获取眼球运动信息；

确定所述交互元素所属的用户界面类型，并获取所述用户界面类型对应的指令集合；所述用户界面类型根据交互元素的显示方式进行划分，和/或，所述用户界面类型根据交互元素的交互方式进行划分；查找所述指令集合中与所述眼球运动信息匹配的操作指令；

根据所述操作指令获取所述交互元素包括的至少一个子交互元素，以及各个子交互元素对应的眼球运动操作；根据所述各个子交互元素对应的眼球运动操作生成与所述各个子交互元素对应的操作提示信息，所述操作提示信息用于提示触发子交互元素的交互事件对应的眼球运动操作；显示所述子交互元素及对应的操作提示信息。

2.根据权利要求1所述的方法，其特征在于，在根据所述眼球追踪系统采集的眼球数据获取眼球运动信息之前，所述方法还包括：

根据所述眼球追踪系统采集的眼球数据计算当前时刻的眨眼频率；

当所述当前时刻的眨眼频率大于频率阈值时，触发眼动交互指令；

所述根据所述眼球追踪系统采集的眼球数据获取眼球运动信息，包括：

根据所述眼动交互指令获取所述眼球追踪系统在第一时间段内采集的眼球数据，对所述第一时间段内的眼球数据进行分析并获取眼球运动信息。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述眼球追踪系统采集的眼球数据计算当前时刻的眨眼频率之前，所述方法还包括：

根据眼球追踪系统在第二时间段内采集的眼球数据确定所述第二时间段对应的眨眼频率；

根据所述第二时间段对应的眨眼频率设定频率阈值。

4.根据权利要求1至3任一所述的方法，其特征在于，所述眼球运动信息包括视线移动信息，所述查找所述指令集合中与所述眼球运动信息匹配的操作指令，包括：

根据所述视线移动信息获取视线移动方向；

从所述指令集合中获取与所述视线移动方向匹配的旋转指令，所述旋转指令用于控制所述交互元素按照与所述视线移动方向对应的旋转方向进行旋转操作。

5.根据权利要求1至3任一所述的方法，其特征在于，所述眼球运动信息包括视线移动信息，所述查找所述指令集合中与所述眼球运动信息匹配的操作指令，包括：

根据所述视线移动信息获取视线移动方向；

从所述指令集合中获取与所述视线移动方向匹配的移动指令，所述移动指令用于控制所述交互元素按照所述视线移动方向进行移动；

当检测到所述交互元素触碰到所述虚拟画面的画面边缘时，根据所述视线移动信息获取视线移动速度；

当所述视线移动速度大于速度阈值时，从所述指令集合中获取删除指令，所述删除指令用于删除所述交互元素。

6.根据权利要求1至3任一所述的方法，其特征在于，所述眼球运动信息包括眨眼信息，所述查找所述指令集合中与所述眼球运动信息匹配的操作指令，包括：

根据所述眨眼信息确定眨眼模式；

当所述眨眼模式为单眼眨动模式时，获取发生眨眼运动的眼部位置；

从指令集合中确定与所述眼部位置匹配的第一操作指令，所述第一操作指令用于控制所述交互元素向与所述眼部位置匹配的方向进行操作。

7.根据权利要求6所述的方法，其特征在于，所述眼球运动信息还包括视线移动信息，在所述根据所述眨眼信息确定眨眼模式之后，所述方法还包括：

当所述眨眼模式为单眼眨动模式时，获取发生眨眼运动的眼部状态；

根据所述视线移动信息获取未发生眨眼运动的眼部的视线移动方向；

从指令集合中确定与所述眼部状态及视线移动方向匹配的第二操作指令，所述第二操作指令用于控制所述交互元素在发生眨眼运动的眼部处于闭眼状态时，按照所述视线移动方向进行移动，并在所述发生眨眼运动的眼部处于睁眼状态时，停止移动。

8.根据权利要求6所述的方法，其特征在于，在所述根据所述眨眼信息确定眨眼模式之后，所述方法还包括：

当所述眨眼模式为双眼眨动模式时，获取在一定时长内的眨眼次数；

从指令集合中确定与所述眨眼次数匹配的第三操作指令，所述第三操作指令用于控制所述交互元素按照所述眨眼次数对应的交互时长执行相应的操作。

9.根据权利要求1至3任一所述的方法，其特征在于，所述指令集合包括移动指令、旋转指令、选择指令、删除指令、页面切换指令、显示下接菜单指令、放大指令、缩小指令、滑动指令中的一种或多种。

10.一种头戴显示设备的交互装置，其特征在于，包括：

焦点确定模块，用于根据眼球追踪系统采集的眼球数据确定视线的聚焦点；

眼动信息获取模块，用于当所述聚焦点位于显示的虚拟画面中包含的交互元素时，根据采集的每帧眼睛的图像对应的视线方向检测所述聚焦点的位置是否发生变化；若否，统计所述聚焦点位于所述交互元素的持续时长；在所述持续时长大于预设的时长阈值时，根据所述眼球追踪系统采集的眼球数据获取眼球运动信息；

指令确定模块，用于确定所述交互元素所属的用户界面类型，并获取所述用户界面类型对应的指令集合；所述用户界面类型根据交互元素的显示方式进行划分，和/或，所述用户界面类型根据交互元素的交互方式进行划分；查找所述指令集合中与所述眼球运动信息匹配的操作指令；

事件触发模块，用于基于所述操作指令触发针对所述交互元素的交互事件；

所述事件触发模块包括子元素获取单元、提示单元及显示单元：

所述子元素获取单元，用于根据所述操作指令获取所述交互元素包括的至少一个子交互元素，以及各个子交互元素对应的眼球运动操作；

所述提示单元，用于根据所述各个子交互元素对应的眼球运动操作生成与所述各个子交互元素对应的操作提示信息，所述操作提示信息用于提示触发子交互元素的交互事件对应的眼球运动操作；

所述显示单元，用于显示所述子交互元素及对应的操作提示信息。

11.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至9任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一所述的方法。