[go: up one dir, main page]

CN104508600B - 三维用户界面装置及三维操作方法 - Google Patents

三维用户界面装置及三维操作方法 Download PDF

Info

Publication number
CN104508600B
CN104508600B CN201380039922.7A CN201380039922A CN104508600B CN 104508600 B CN104508600 B CN 104508600B CN 201380039922 A CN201380039922 A CN 201380039922A CN 104508600 B CN104508600 B CN 104508600B
Authority
CN
China
Prior art keywords
dimensional
virtual
space
information
predetermined process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380039922.7A
Other languages
English (en)
Other versions
CN104508600A (zh
Inventor
森下幸司
永井克幸
野田尚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of CN104508600A publication Critical patent/CN104508600A/zh
Application granted granted Critical
Publication of CN104508600B publication Critical patent/CN104508600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

三维用户界面装置具备：三维信息取得部，从三维传感器取得三维信息；位置计算部，使用通过该三维信息取得部取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息；虚拟数据生成部，生成表示配置于上述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据；空间处理部，对于上述三维坐标空间或上述虚拟三维空间数据，实施与对象者的特定部位相关的三维位置信息的变化所对应的预定处理；以及显示处理部，基于通过该空间处理部实施预定处理而得到的虚拟三维空间数据，将显示区域内的虚拟三维空间显示于显示部。

Description

三维用户界面装置及三维操作方法
技术领域
本发明涉及三维用户界面技术。
背景技术
近年来，3DCG(三维计算机图形学)或扩展现实(AR)等那样的在计算机上实现三维环境的技术广泛地实用化。AR技术在经由智能手机等便携设备的相机或头戴式显示器(HMD)而得到的现实世界上的对象物上重叠显示虚拟对象、数据。通过这样的显示技术，用户能够视觉确认三维影像。在下述专利文献1中提出了如下的方案：使用深度检测相机进行场景内的用户的识别及跟踪，根据其结果，将模拟该用户的移动的虚拟实境模拟动画(avatar animation)显示于该场景内。
然而，现状是用于对在上述那样的技术中表现的三维环境进行操作的用户界面(UI)是使用二维输入装置来实现的。例如，将二维的鼠标操作转换成三维空间的操作。由此，现状的对三维环境进行操作的UI多是无法容易直观理解的UI。
因此，在下述专利文献2中提出了如下的技术：使用具有深度相机的遥控器，检测遥控器的位置的变化，基于该变化，对使应用程序产生动作的输入命令进行触发。而且，在下述专利文献3中提出了如下的技术：不需要臂罩或手套等附加装备，而向用户提供自然的三维环境下的计算机交互经验。在该提案中，在与用户相对的位置设置深度相机，与利用该深度相机拍摄到的用户一起将插入有虚拟对象的图像显示于显示器，并检测该用户与虚拟对象之间的交互。
现有技术文献
专利文献
专利文献1：日本特表2011-515736号公报
专利文献2：日本特表2011-514232号公报
专利文献3：日本专利第4271236号公报
发明内容
发明要解决的课题
根据上述专利文献3中提出的方法，能够通过存在于该影像内的用户的手使配置在影像化的现实空间内的虚拟对象移动。然而，在专利文献3中，对于该虚拟对象的移动以外的操作方法及作为影像映出的三维空间的操作方法没有任何提案。
本发明鉴于上述那样的情况而完成，提供一种直观且容易理解地操作立体显示的虚拟三维空间的用户界面技术。
用于解决课题的方案
在本发明的各方案中，为了解决上述课题，分别采用以下的结构。
第一方案的三维用户界面装置具备：三维信息取得部，从三维传感器取得三维信息；位置计算部，使用通过该三维信息取得部取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息；虚拟数据生成部，生成表示配置于上述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据；空间处理部，对于上述三维坐标空间或上述虚拟三维空间数据，实施与对象者的特定部位相关的三维位置信息的变化所对应的预定处理；以及显示处理部，基于通过该空间处理部实施预定处理而得到的虚拟三维空间数据，将显示区域内的虚拟三维空间显示于显示部。
本发明的第二方案的三维操作方法由至少一台计算机执行，其中，所述三维操作方法包括：从三维传感器取得三维信息，使用该取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息，生成表示配置于上述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据，对于上述三维坐标空间或上述虚拟三维空间数据，实施与对象者的特定部位相关的三维位置信息的变化所对应的预定处理，基于实施该预定处理而得到的虚拟三维空间数据，将上述显示区域内的虚拟三维空间显示于显示部。
此外，作为本发明的另一方案，可以是使计算机实现上述第一方案所包含的各结构的程序，也可以是记录有这样的程序的计算机可读的记录介质。该记录介质包括非暂时性的有形的介质。
发明效果
根据上述各方案，能够提供一种直观且容易理解地操作立体显示的虚拟三维空间的用户界面技术。
附图说明
上述目的及其他目的、特征及优点通过以下叙述的优选实施方式及附随于其的以下的附图而更为明确。
图1是概念性地表示第一实施方式的三维用户界面装置(3D-UI装置)的硬件结构例的图。
图2是表示第一实施方式的三维用户界面装置(3D-UI装置)的利用方式的例子的图。
图3是表示HMD的外观结构的例子的图。
图4是概念性地表示第一实施方式的传感器侧装置的处理结构例的图。
图5是概念性地表示第一实施方式的显示侧装置的处理结构例的图。
图6是表示显示于HMD的合成图像的例子的图。
图7是表示第一实施方式的三维用户界面装置(3D-UI装置)的动作例的序列图。
图8是表示第二实施方式的HMD上显示的合成图像的例子的图。
图9是表示实施例1的虚拟3D空间的移动操作的例子的图。
图10是表示实施例1的虚拟3D空间的缩小操作的例子的图。
图11是表示实施例1的虚拟3D空间的旋转操作的例子的图。
图12是概念性地表示变形例的三维用户界面装置(3D-UI装置)的硬件结构例的图。
图13是概念性地表示变形例的三维用户界面装置(3D-UI装置)的处理结构例的图。
具体实施方式
以下，说明本发明的实施方式。此外，以下列举的各实施方式分别是例示，本发明没有限定为以下的各实施方式的结构。
本实施方式的三维用户界面装置具备：三维信息取得部，从三维传感器取得三维信息；位置计算部，使用通过该三维信息取得部取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息；虚拟数据生成部，生成表示配置于上述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据；空间处理部，对于上述三维坐标空间或上述虚拟三维空间数据，实施与对象者的特定部位相关的三维位置信息的变化所对应的预定处理；及显示处理部，基于通过该空间处理部实施预定处理而得到的虚拟三维空间数据，将显示区域内的虚拟三维空间显示于显示部。
本实施方式的三维操作方法由至少一台计算机执行，其中，所述三维操作方法包括：从三维传感器取得三维信息，使用该取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息，生成表示配置于上述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据，对于上述三维坐标空间或上述虚拟三维空间数据，实施与对象者的特定部位相关的三维位置信息的变化所对应的预定处理，基于实施该预定处理而得到的虚拟三维空间数据，将上述显示区域内的虚拟三维空间显示于显示部。
在本实施方式中，从三维传感器取得三维信息。三维信息包括通过可视光得到的对象者的二维图像和距三维传感器的距离(深度)的信息。三维传感器可以通过可视光相机和深度传感器等多个设备构成。
在本实施方式中，通过使用该三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息，生成配置于该三维坐标空间且至少一部分设定于显示区域的虚拟三维空间数据。在此，特定部位是对象者为了操作显示于显示部的虚拟三维空间而使用的身体的一部分。本实施方式没有限制该特定部位。而且，三维坐标空间表示由三维坐标表示的三维空间，用于由所谓计算机图形实现的虚拟三维空间的位置识别。
上述三维位置信息的计算不仅包括从通过三维传感器检测到的三维信息直接得到三维位置信息的方式，也包括从通过三维传感器检测到的三维信息间接地得到三维位置信息的方式。间接是指从对通过三维传感器检测到的三维信息实施预定的处理而得到的信息得到该三维位置信息。由此，该三维坐标空间例如可以通过三维传感器的相机坐标系来决定，也可以通过由根据从三维信息中检测的具有已知的形状的图像标记等计算的标记坐标系来决定。
在本实施方式中，如上所述，使用从三维相机依次取得的三维信息，依次计算与对象者的特定部位相关的三维位置信息，由此检测与对象者的特定部位相关的三维位置信息的变化、即对象者的特定部位的三维动作(三维手势)。在本实施方式中，对上述三维坐标空间或上述虚拟三维空间数据应用与该对象者的特定部位相关的三维位置信息的变化所对应的预定处理。并且，将实施了该预定处理的结果所对应的虚拟三维空间显示于显示部。在此，预定处理例如是使虚拟三维空间移动、旋转、放大、缩小的处理。
因此，根据本实施方式，对象者(用户)使用自身的特定部位进行预定的三维手势，由此能够随意操作显示于显示部的虚拟三维空间。而且，在本实施方式中，能够通过用户自身的特定部位的三维动作进行虚拟三维空间的操作，因此用户容易直观理解，能够得到操作虚拟三维空间的感觉。
以下，更详细地说明上述实施方式。
[第一实施方式]
〔装置结构〕
图1是概念性地表示第一实施方式的三维用户界面装置(以后，记作3D-UI装置)1的硬件结构例的图。第一实施方式的3D-UI装置1大体具有传感器侧结构和显示侧结构。传感器侧结构由三维传感器(以后，记作3D传感器)8及传感器侧装置10形成。显示侧结构由头戴式显示器(以后，记作HMD)9及显示侧装置20形成。以后，将三维适当省略记作3D。
图2是表示第一实施方式的3D-UI装置1的利用方式的例子的图。如图2所示，3D传感器8配置在能够检测对象者(用户)的特定部位的位置。HMD9安装于对象者(用户)的头部，使对象者视觉确认与对象者的视线对应的视线影像和与该视线影像合成的上述虚拟3D空间。
3D传感器8检测为了对象者的特定部位的检测等而利用的3D信息。3D传感器8像例如Kinect(注册商标)那样通过可视光相机及距离图像传感器来实现。距离图像传感器也被称为深度传感器，从激光器将近红外光的图案向对象者照射，根据利用检测近红外光的相机拍摄该图案而得到的信息来计算从距离图像传感器到对象者的距离(深度)。此外，3D传感器8自身的实现方法不受限制，3D传感器8可以通过使用多个可视光相机的三维扫描方式来实现。而且，在图1中，3D传感器8由1个要素图示，但是3D传感器8也可以由拍摄对象者的二维图像的可视光相机及检测距对象者的距离的传感器等多个设备来实现。
图3是表示HMD9的外观结构的例子的图。在图3中，示出被称为视频透视(VideoSee-Through)型的HMD9的结构。在图3的例子中，HMD9具有2个视线相机9a及9b和2个显示器9c及9d。各视线相机9a及9b分别拍摄与用户的各视线对应的各视线图像。由此，HMD9也可以称为摄像部。各显示器9c及9d配置成覆盖用户的视野的大部分的形态，并显示在各视线图像中合成了虚拟3D空间所得到的合成3D图像。
传感器侧装置10及显示侧装置20分别具有通过总线等而相互连接的CPU(CentralProcessing Unit，中央处理器)2、存储器3、通信装置4、输入输出接口(I/F)5等。存储器3是RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)、硬盘、便携型存储介质等。
传感器侧装置10的输入输出I/F5与3D传感器8连接，显示侧装置20的输入输出I/F5与HMD9连接。输入输出I/F5与3D传感器8之间、及输入输出I/F5与HMD9之间以能够通过无线进行通信的方式连接。各通信装置4通过无线或有线与其他装置(传感器侧装置10、显示侧装置20等)进行通信。本实施方式没有限制这样的通信的方式。而且，传感器侧装置10及显示侧装置20的具体的硬件结构也不受限制。
〔处理结构〕
<传感器侧装置>
图4是概念性地表示第一实施方式的传感器侧装置10的处理结构例的图。第一实施方式的传感器侧装置10具有3D信息取得部11、第一对象检测部12、第一基准设定部13、位置计算部14、状态取得部15及发送部16等。上述各处理部例如通过利用CPU2执行存储于存储器3的程序来实现。而且，该程序也可以从例如CD(Compact Disc，光盘)、存储卡等那样的便携型记录介质或网络上的其他计算机经由输入输出I/F5来安装，并存储于存储器3。
3D信息取得部11逐次取得由3D传感器8检测到的3D信息。
第一对象检测部12从由3D信息取得部11取得的3D信息中检测已知的通用实际对象。通用实际对象是配置于现实世界中的图像或物，也称为AR(Augmented Reality，增强现实)标记等。本实施方式只要是无论参照方向如何，都能够从该通用实际对象中恒定地取得某基准点及来自该基准点的相互正交的3个方向即可，该通用实际对象的具体的形态不受限制。第一对象检测部12预先保持该通用实际对象所表示的形状、尺寸、颜色等的信息，使用这样的已知的信息，从3D信息中检测通用实际对象。
第一基准设定部13基于由第一对象检测部12检测的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的3D传感器8的位置及朝向。例如，第一基准设定部13设定以从通用实际对象提取的基准点为原点并将来自该基准点的相互正交的3方向设为各轴的3D坐标空间。第一基准设定部13通过对关于通用实际对象的已知的形状及尺寸(相当于本来的形状及尺寸)与从3D信息提取的通用实际对象所表示的形状及尺寸(相当于来自3D传感器8的视觉表现)的比较，计算3D传感器8的位置及朝向。
位置计算部14使用通过3D信息取得部11逐次取得的3D信息，逐次计算对象者的关于特定部位的上述3D坐标空间上的3D位置信息。在第一实施方式中，位置计算部14具体而言如下计算该3D位置信息。位置计算部14首先从由3D信息取得部11取得的3D信息中提取对象者的特定部位的3D位置信息。在此提取的3D位置信息对应于3D传感器8的相机坐标系。因此，位置计算部14基于通过第一基准设定部13计算的3D传感器8的位置、朝向及3D坐标空间，将3D传感器8的相机坐标系所对应的3D位置信息转换成由第一基准设定部13设定的3D坐标空间上的3D位置信息。该转换是从3D传感器8的相机坐标系向基于上述通用实际对象而设定的3D坐标系的转换。
在此，应检测的对象者的特定部位可以为多个。例如，可能存在利用对象者的双手作为多个特定部位的方式。这种情况下，位置计算部14从通过3D信息取得部11取得的3D信息中分别提取多个特定部位的3D位置信息，并将该各3D位置信息分别转换成3D坐标空间上的各3D位置信息。而且，特定部位是对象者为了操作显示于显示部的虚拟三维空间而使用的身体的一部分，因此具有一定程度的面积或体积。由此，通过位置计算部14计算的3D位置信息可以是该特定部位中的某1点的位置信息，也可以是多点的位置信息。
状态取得部15取得对象者的特定部位的状态信息。该特定部位与在位置计算部14中设为检测对象的特定部位相同。该状态信息至少表示两个状态中的一个。具体而言，在特定部位为手的情况下，状态信息表示握持状态及打开状态这至少两个中的一方。本实施方式在能够检测的范围内，没有限制该状态信息可表示的状态的数目。而且，在利用多个特定部位的情况下，状态取得部15分别取得与各特定部位相关的状态信息。
状态取得部15例如预先分别保持该特定部位的应识别的各状态所对应的图像特征信息，通过对从由3D信息取得部11取得的3D信息所包含的2D图像中提取的特征信息与该预先保持的各图像特征信息的比较，取得该特定部位的状态信息。而且，状态取得部15也可以从由安装于该特定部位的应变传感器(未图示)得到的信息中取得该特定部位的状态信息。而且，状态取得部15也可以从来自对象者的手所操作的输入鼠标(未图示)的信息，取得该状态信息。而且，状态取得部15也可以通过识别由麦克风(未图示)得到的声音来取得该状态信息。
发送部16将与对象者的特定部位相关的、由位置计算部14计算出的该三维坐标空间上的三维位置信息及由状态取得部15取得的状态信息向显示侧装置20传送。
<显示侧装置>
图5是概念性地表示第一实施方式的显示侧装置20的处理结构例的图。第一实施方式的显示侧装置20具有视线图像取得部21、第二对象检测部22、第二基准设定部23、虚拟数据生成部24、操作确定部25、空间处理部26、图像合成部27及显示处理部28等。上述各处理部例如通过利用CPU2执行存储于存储器3的程序来实现。而且，该程序也可以从例如CD(Compact Disc)、存储卡等那样的便携型记录介质、网络上的其他计算机经由输入输出I/F5来安装，并存储于存储器3。
视线图像取得部21从HMD9取得拍摄对象者的特定部位而得的视线图像。该特定部位也与在传感器侧装置10设为检测对象的特定部位相同。在本实施方式中，由于设置有视线相机9a及9b，因此视线图像取得部21分别取得与左眼及右眼分别对应的各视线图像。此外，各处理部对于左眼及右眼所对应的两视线图像分别同样地进行处理，因此在以下的说明中，以1个视线图像为对象进行说明。
第二对象检测部22从由视线图像取得部21取得的视线图像中检测已知的通用实际对象。该通用实际对象与通过上述传感器侧装置10检测到的对象相同。第二对象检测部22的处理与上述传感器侧装置10的第一对象检测部12同样，因此这里省略详细说明。此外，视线图像中包含的通用实际对象与通过3D传感器8得到的3D信息包含的通用实际对象的摄像方向不同。
第二基准设定部23基于由第二对象检测部22检测的通用实际对象，设定由传感器侧装置10的第一基准设定部13设定的3D坐标空间，且分别计算HMD9的位置及朝向。关于第二基准设定部23的处理，与传感器侧装置10的第一基准设定部13同样，因此这里省略详细说明。通过第二基准设定部23设定的3D坐标空间也基于与通过传感器侧装置10的第一基准设定部13设定的3D坐标空间相同的通用实际对象来设定，因此结果是，3D坐标空间在传感器侧装置10与显示侧装置20之间共有。
虚拟数据生成部24通过第二基准设定部23生成配置在与传感器侧装置10共有的3D坐标空间内且至少一部分设定于显示区域的虚拟3D空间数据。该虚拟3D空间数据包括例如与配置于该数据所表示的虚拟3D空间内的预定位置的虚拟对象相关的数据。
操作确定部25从传感器侧装置10接收与对象者的特定部位相关的该3D坐标空间上的3D位置信息及状态信息，并基于该状态信息与3D位置信息的变化的组合，从多个预定处理之中确定由空间处理部26执行的1个预定处理。3D位置信息的变化根据在上次的处理时得到的与3D位置信息的关系来计算。而且，在利用多个特定部位(例如，双手)的情况下，操作确定部25根据从传感器侧装置10取得的多个3D位置信息，计算多个特定部位间的位置关系，并基于计算出的多个特定部位间的位置关系的变化及多个状态信息，从多个预定处理之中确定1个预定处理。多个预定处理包括移动处理、旋转处理、放大处理、缩小处理及功能菜单的显示数据的附加处理等。
更具体而言，操作确定部25确定如下的预定处理。例如，在对象者的特定部位为单手的情况下，操作确定部25确定使对象者的单手移动在该单手维持特定状态(例如握持状态)期间的该单手的直线移动量所对应的距离量的处理。而且，操作确定部25计测状态信息和三维位置信息不变化的期间，在该计测到的期间超过预定期间的情况下，确定附加功能菜单的显示数据的处理。
在对象者的多个特定部位为双手的情况下，操作确定部25确定如下的预定处理。操作确定部25以对象者的双手间的距离的变化量所对应的放大率来确定以对象者的单手的位置为基准点的放大处理。而且，操作确定部25以对象者的双手间的距离的变化量所对应的缩小率来确定以对象者的单手的位置为基准点的缩小处理。而且，操作确定部25以将对象者的双手间连结的线段的立体角变化量所对应的立体角变化量来确定以对象者的单手的位置为基准点的旋转处理。
而且，操作确定部25判定状态信息是否表示特定状态，根据其判定结果，决定是否使空间处理部26执行预定处理。例如，在对象者的特定部位为单手的情况下，操作确定部25在状态信息表示该单手处于打开状态的情况下，决定使空间处理部26不执行该预定处理，或者使空间处理部26停止执行中的该预定处理。而且，在对象者的多个特定部位为双手的情况下，操作确定部25在状态信息表示双手处于握持状态的情况下，决定使空间处理部26执行预定处理，在状态信息表示任一方的手处于打开状态的情况下，决定使空间处理部26不执行预定处理。
例如操作确定部25分别保持用于识别这样的各预定处理的ID，通过选择预定处理所对应的ID，实现预定处理的确定。操作确定部25向空间处理部26交付所选择的ID，由此使空间处理部26执行该预定处理。
空间处理部26对于由第二基准设定部23设定的3D坐标空间或由虚拟数据生成部24生成的虚拟3D空间数据，应用通过操作确定部25确定的预定处理。空间处理部26实现能够执行支持的多个预定处理。
图像合成部27基于由第二基准设定部23计算的HMD9的位置、朝向及三维坐标空间，向由视线图像取得部21取得的视线图像合成由空间处理部26实施了预定处理后的虚拟3D空间数据所表示的该显示区域内的虚拟三维空间。此外，由图像合成部27进行的合成处理只要利用扩展现实(AR)等所使用的公知的方法即可，因此这里省略说明。
显示处理部28将由图像合成部27得到的合成图像显示于HMD9。在本实施方式中，对象者的各视线所对应的2个视线图像分别如上述那样被处理，因此显示处理部28将各视线图像和合成的各合成图像分别显示于HMD9的显示器9c及9d。
图6是表示HMD9上显示的合成图像的例子的图。图6的例子所示的合成图像由3D的地形图、包含飞机及飞机场等的虚拟3D空间、包含对象者(用户)的双手的视线图像形成。用户一边通过HMD9观察该图像，一边移动自身的双手，由此能够自由地操作该图像包含的虚拟3D空间。
〔动作例〕
以下，使用图7来说明第一实施方式的三维操作方法。图7是表示第一实施方式的3D-UI装置1的动作例的序列图。
传感器侧装置10从3D传感器8逐次取得3D信息(S71)。传感器侧装置10对于预定的帧率的该3D信息如下进行动作。
传感器侧装置10从该3D信息中检测通用实际对象(S72)。
接着，传感器侧装置10基于检测到的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的3D传感器8的位置及朝向(S73)。
而且，传感器侧装置10使用该3D信息，计算对象者的特定部位的3D位置信息(S74)。而且，传感器侧装置10基于在工序(S73)中计算的3D传感器8的位置、朝向及3D坐标空间，将在工序(S74)中计算的3D位置信息转换成在工序(S73)中设定的3D坐标空间上的3D位置信息(S75)。
而且，传感器侧装置10取得与对象者的特定部位相关的状态信息(S76)。
传感器侧装置10关于对象者的特定部位，将在工序(S75)中得到的3D位置信息及在工序(S76)中得到的状态信息向显示侧装置20发送(S77)。
在图7中，为了便于说明，示出了3D信息的取得(S71)和状态信息的取得(S76)顺序地执行的例子，但是在特定部位的状态信息从3D信息以外得到的情况下，工序(S71)及(S76)并行执行。在图7中，示出了工序(S72)及(S73)以3D信息的预定的帧率执行的例子，但是工序(S72)及(S73)可以仅在校准时执行。
另一方面，显示侧装置20与3D信息的取得(S71)非同步地从HMD9逐次取得视线图像(S81)。显示侧装置20对于预定的帧率的该视线图像如下进行动作。
显示侧装置20从该视线图像检测通用实际对象(S82)。
接着，显示侧装置20基于检测到的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的HMD9的位置及朝向(S83)。
显示侧装置20生成在设定的3D坐标空间内配置的虚拟3D空间数据(S84)。
显示侧装置20当从传感器侧装置10接收到与对象者的特定部位相关的3D位置信息及状态信息时(S85)，根据该特定部位的3D位置信息的变化及状态信息的组合，确定与对象者的手势对应的预定处理(S86)。在特定部位存在多个的情况下，显示侧装置20根据多个特定部位间的位置关系的变化与多个状态信息的组合，确定预定处理。
显示侧装置20对于在工序(S84)中生成的虚拟3D空间数据，应用在工序(S86)中确定的预定处理(S87)。接着，显示侧装置20将实施了预定处理后的虚拟3D空间数据与视线图像进行合成(S88)，生成显示数据。
显示侧装置20将通过该合成而得到的图像显示于HMD9(S89)。
在图7中，为了便于说明，示出了顺序地执行对于从传感器侧装置10发送的与对象者的特定部位相关的信息的处理(工序(S85)至工序(S87))、虚拟3D空间数据的生成处理(工序(S82)至工序(S84))的例子。然而，工序(S85)至工序(S87)、工序(S82)至工序(S84)并行执行。而且，在图7中，示出了工序(S82)至(S84)以视线图像的预定的帧率执行的例子，但是工序(S82)至(S84)也可以仅在校准时执行。
〔第一实施方式的作用及效果〕
如上所述，在第一实施方式中，取得对象者的视线图像，将该视线图像与虚拟3D空间合成后的图像以视频透视方式显示在对象者的视野内。由此，对象者能够以仿佛存在于自身的眼前那样视觉确认虚拟3D空间。而且，在第一实施方式中，在视线图像中拍摄出用于操作虚拟3D空间的对象者的特定部位(手等)，因此对象者能够感觉到利用自身的特定部位来操作虚拟3D空间的情况。即，根据第一实施方式，能够使对象者直观地视觉确认虚拟3D空间，而且能够给对象者带来虚拟3D空间的直观的操作感。
在第一实施方式中，分别设置用于得到对象者的视线图像的HMD9和用于得到对象者的特定部位的位置的3D传感器8。由此，根据第一实施方式，能够在可准确地测定对象者的特定部位的3D位置的位置上配置3D传感器8。这是因为，当距测定对象的距离未分离到一定程度时，可能存在无法准确地测定测定对象的位置的3D传感器8。
另外，在第一实施方式中，使用通用实际对象，根据通过分别设置的传感器(3D传感器8及HMD9)得到的信息，在各传感器间设定通用的3D坐标空间。并且，使用该通用的3D坐标空间，判定对象者的特定部位的位置，并生成及操作虚拟3D空间数据。因此，根据第一实施方式，能够使对象者直观地识别虚拟3D空间与自身的特定部位的位置的关系，其结果是，能够给对象者带来虚拟3D空间的直观的操作感。
另外，在第一实施方式中，根据与对象者的特定部位相关的位置变化及状态的组合，确定应用于虚拟3D空间数据的预定处理，将实施了该预定处理后的虚拟3D空间与视线图像合成。由此，对象者能够进行使用了自身的特定部位的3D手势所对应的虚拟3D空间的操作。因此，根据第一实施方式，能够提供一种直观且容易理解地操作虚拟3D空间的用户界面。
[第二实施方式]
在上述第一实施方式中，通过显示于HMD9的合成图像内包含的对象者自身的特定部位的动作，对虚拟3D空间进行了操作。在第二实施方式中，将通过对象者的特定部位直接操作的虚拟对象作为成为实际的操作对象的虚拟3D空间的替代物进行显示，通过对象者的特定部位的对于该虚拟对象的动作，能够进行虚拟3D空间的操作。以下，关于第二实施方式的3D-UI装置1，以与第一实施方式不同的内容为中心进行说明。在以下的说明中，对于与第一实施方式同样的内容适当省略。
〔处理结构〕
在第二实施方式中，显示侧装置20的以下的处理部与第一实施方式不同。
虚拟数据生成部24生成配置在显示区域内的虚拟3D空间内的虚拟对象数据。通过虚拟对象数据显示的虚拟对象例如有球形。
操作确定部25根据由传感器侧装置10的位置计算部14计算的3D位置信息，判定以虚拟对象为基准的预定3D范围内是否存在对象者的特定部位。对象者的特定部位存在于该预定3D范围内时，操作确定部25确定如下的旋转处理作为使空间处理部26执行的预定处理。具体而言，操作确定部25作为该预定处理，以将对象者的特定部位与虚拟对象的特定点连结的线段的立体角变化量所对应的立体角变化量来确定以虚拟对象的特定点为基准点的旋转处理。虚拟对象的特定点利用例如虚拟对象的中心点(重心点)。
操作确定部25在对象者的特定部位存在于该预定3D范围外时，使空间处理部26不执行对虚拟3D空间数据的处理。由此，对象者不能对虚拟3D空间进行操作。但是，对象者的特定部位存在于该预定3D范围外时，操作确定部25也可以不进行上述第二实施方式的方法下的预定处理的确定，而进行第一实施方式下的预定处理的确定。
操作确定部25可以检测对象者的特定部位从上述预定3D范围内向上述预定3D范围外的移动，确定移动前后的上述预定3D范围内的位置与上述预定3D范围外的位置之间的移动距离及移动方向所对应的旋转处理来作为该预定处理。具体而言，该旋转处理是向该移动方向所对应的角度方向旋转该移动距离所对应的角度量的处理。由此，通过对虚拟3D空间的操作即将变为不可能之前的操作，对象者能够使虚拟3D空间惰性地旋转。这样的惰性的旋转操作可以通过设定来切换有效与无效。
图8是表示第二实施方式的HMD9上显示的合成图像的例子的图。图8的例子所示的合成图像除了第一实施方式的结构之外，还包括虚拟对象VO。用户一边通过HMD9观察该图像，一边使自己的双手在以虚拟对象VO为基准的预定3D范围内移动，由此能够自由地操作该图像包含的虚拟3D空间。
〔动作例〕
在第二实施方式的三维操作方法中，图7所示的工序(S84)及工序(S86)与第一实施方式不同。具体而言，在工序(S84)中，还生成虚拟对象数据作为虚拟3D空间数据，在工序(S86)中，判定以虚拟对象为基准的预定3D范围与该特定部位的位置的关系。
〔第二实施方式的作用及效果〕
如上所述，在第二实施方式中，在3D坐标空间上的虚拟3D空间内显示虚拟对象，对象者的特定部位存在于以该虚拟对象为基准的预定3D范围内时，执行向虚拟3D空间数据的旋转处理，不存在时，不执行该旋转处理。而且，以将对象者的特定部位与虚拟对象的特定点连结的线段的立体角变化量所对应的立体角变化量来确定以虚拟对象的特定点为基准点的旋转处理，并将该旋转处理应用于虚拟3D空间。
这样，在第二实施方式中，利用虚拟对象这种具有一定形状的图像来替代虚拟3D空间这种整体没有视觉确认的形状的无形操作对象，通过检测对象者的特定部位相对于该虚拟的替代物的动作，实现对象者对该无形操作对象的操作。由此，对象者能够得到实际上通过自身的特定部位对虚拟对象进行操作的感觉，并且对应于该操作而操作虚拟3D空间，因此也能够得到对虚拟3D空间直观地操作的感觉。因此，根据第二实施方式，能够使对象者更直观地操作作为无形操作对象的虚拟3D空间。
以下列举实施例，更详细地说明上述实施方式。本发明不受以下的各实施例的任何限定。以下的实施例1相当于上述第一实施方式的具体例，以下的实施例2相当于上述第二实施方式的具体例。在以下的各实施例中，作为对象者的特定部位，利用“单手”或“双手”。
实施例1
图9是表示实施例1的虚拟3D空间的移动操作的例子的图。在图9中，3D坐标空间的各轴表示为X轴、Y轴及Z轴，通过虚拟数据生成部24生成的虚拟3D空间数据所对应的虚拟3D空间由符号VA表示。该虚拟3D空间的大小没有限制，但是在图9中，为了便于说明，例示具有有限的大小的虚拟3D空间VA。而且，虚拟3D空间VA中的HMD9上显示的区域表示为显示区域DA。
在图9的例子中，在对象者的单手握持的状态下该单手向X轴的负方向移动。该单手的动作可以说是握持空间而向该方向拉拽空间的手势。当识别该手势时，显示侧装置20使虚拟3D空间VA向X轴的负方向移动该单手的直线移动量所对应的距离量。由此，显示区域DA向虚拟3D空间VA内的X轴的正方向移动，因此在HMD9上显示虚拟3D空间VA的到目前为止未显示的部分。
对象者如上所述，进行以单手握持空间并向某方向拉拽的手势，由此使虚拟3D空间移动，从而能够使自身的视野移动。从而该手势与该虚拟3D空间操作直观地建立联系。
另外，当检测到对象者的单手握持的状态下该单手在一定期间内未移动的情况时，显示侧装置20在虚拟3D空间的显示区域上显示用于调出其他功能的菜单画面，从而能够进行对该菜单画面的用户操作。
当检测到对象者的单手握持的状态且另一方的手也成为握持的状态的情况时，显示侧装置20使对虚拟3D空间的放大、缩小、旋转的操作有效。在该状态下，显示侧装置20当检测到任一方的手成为打开的状态的情况时，使对虚拟3D空间的放大、缩小、旋转的操作无效。
图10是表示实施例1的虚拟3D空间的缩小操作的例子的图。在图10中，与图9同样，表示X轴、Y轴及Z轴、虚拟3D空间VA、显示区域DA。在图10的例子中，在保持对象者的双手握持的状态下，单手向附图斜左下方向移动。使用该手的动作可以说是利用双手握持空间而将空间在该双手间缩小的手势。当识别到该手势时，显示侧装置20以双手间的距离的缩短程度所对应的缩小率使虚拟3D空间VA缩小。此时，显示侧装置20在对虚拟3D空间的放大、缩小、旋转的操作有效的时刻，以最初握持的手为缩小处理的基准点。
虽然在图10中未示出，但是在检测到保持对象者的双手握持的状态下一方的手向双手分离的方向移动的情况时，显示侧装置20以双手间的距离的伸长程度所对应的放大率使虚拟3D空间VA放大。该动作可以说是利用双手握持空间并利用该双手拉伸空间的手势。
对象者如上述那样进行利用双手握持空间并缩小或拉伸的手势，由此能够使虚拟3D空间缩小或放大。关于该手势与该虚拟3D空间操作，也直观地建立联系。
图11是表示实施例1的虚拟3D空间的旋转操作的例子的图。在图11中，与图9、图10同样，示出X轴、Y轴及Z轴、虚拟3D空间VA、显示区域DA。在图11的例子中，对象者的双手处于握持的状态下，并使单手向连结双手间的线段与原来不同的角度方向移动。使用了该手的动作可以说是利用双手握持空间，将空间的一部分留置，并将另一部分向某方向拉拽的手势。当识别到该手势时，显示侧装置20以使各操作有效的时刻下的连结双手间的直线与使单手移动之后的连结双手间的直线的立体角变化量所对应的立体角变化量使虚拟3D空间VA旋转。此时，显示侧装置20在使各操作有效的时刻，将最初握持的手设定为旋转的轴。
当显示侧装置20使放大、缩小、旋转的操作有效时，根据将握持的双手间连结的向量(线段)的变化来决定是放大及缩小，还是旋转。具体而言，显示侧装置20将对握持双手的时刻即使放大、缩小、旋转的操作有效的时刻的向量进行归一化而得的单位向量与之后的向量的单位向量进行比较，若近似，则进行该向量的大小的变化所对应的放大处理或缩小处理。另一方面，若各个单位向量未近似，显示侧装置20则进行旋转处理。
对象者如上所述进行利用双手握持空间，将空间的一部分留置并将另一部分向某方向拉拽的手势，由此能够使虚拟3D空间旋转。关于该手势与该虚拟3D空间操作，也直观地建立联系。
实施例2
在实施例2中，显示侧装置20在虚拟3D空间的显示区域上显示图8的例子所示那样的球形的虚拟对象VO。显示侧装置20设定以该虚拟对象为基准的预定3D范围，在该预定3D范围内存在对象者的单手的情况下，使对虚拟3D空间的旋转操作有效。在实施例2中，对象者能够利用单手对虚拟3D空间进行操作。
显示侧装置20在单手的移动前后，求出将对象者的单手与虚拟对象的中心点连结的线段的立体角变化量，以与之相同的立体角变化量，使虚拟3D空间旋转。此时，将旋转的基准点设定为虚拟对象的中心点。通过该旋转操作，虚拟对象与虚拟3D空间一起旋转。
显示侧装置20在对象者的特定部位移动到该预定3D范围外的情况下，使对于虚拟3D空间的操作无效。显示侧装置20在旋转操作从有效变化为无效的时机，可以惰性地使虚拟3D空间旋转。这种情况下，当检测到对象者的手从预定3D范围内移动到预定3D范围外的情况时，显示侧装置20将移动前的预定3D范围内的位置与移动后的预定3D范围外的位置之间的移动距离及移动方向所对应的旋转应用于该虚拟3D空间。
由此，对象者以使地球仪旋转的要领对球形的虚拟对象VO进行操作，由此能够使虚拟3D空间与虚拟对象VO一起旋转。此时，对象者能够以操作虚拟对象VO的感觉同样地对虚拟3D空间进行操作，因此能够直观地进行对虚拟3D空间的操作。
[变形例]
在上述第一实施方式及第二实施方式中，如图3所示，HMD9对应于对象者(用户)的双眼，具有视线相机9a及9b以及显示器9c及9d，但是也可以具有一个视线相机及一个显示器。这种情况下，1个显示器可以配置成覆盖对象者的单眼的视野，也可以配置成覆盖对象者的双眼的视野。这种情况下，显示侧装置20的虚拟数据生成部24只要使用公知的3DCG技术来生成虚拟3D空间数据，以便能够将虚拟3D空间所包含的显示物通过3DCG显示即可。
另外，在上述第一实施方式及第二实施方式中，为了得到视线图像而使用了视频透视型的HMD9，但也可以使用光学透视型的HMD9。这种情况下，只要在HMD9设置半透明反射镜的显示器9c及9d，并在该显示器9c及9d上显示虚拟3D空间即可。但是，这种情况下，在对象者的视线方向上，将用于得到检测通用实际对象用的图像的相机设置在HMD9的不会遮挡对象者的视野的部位。
另外，在上述第一实施方式及第二实施方式中，为了得到视线图像而使用了视频透视型的HMD9，但也可以使用光学透视(Optical See-Through)型的HMD9。这种情况下，只要在HMD9设置半透半反镜的显示器9c及9d，并在该显示器9c及9d上显示虚拟3D空间即可。但是，这种情况下，将用于得到在对象者的视线方向上检测通用实际对象用的图像的相机设置在HMD9的不会遮挡对象者的视野的部位。
另外，在上述第一实施方式及第二实施方式中，如图1所示，分别设置传感器侧装置10和显示侧装置20，向对象者的视线图像合成虚拟3D空间，但也可以显示向通过传感器侧装置10得到的3D信息包含的二维图像合成了虚拟3D空间所得到的图像。
图12是概念性地表示变形例的3D-UI装置1的硬件结构例的图。3D-UI装置1具有处理装置50、3D传感器8及显示装置51。处理装置50具有CPU2、存储器3、输入输出I/F5等，输入输出I/F5与3D传感器8及显示装置51连接。显示装置51显示合成图像。
图13是概念性地表示变形例的3D-UI装置1的处理结构例的图。变形例的3D-UI装置1具有上述各实施方式的传感器侧装置10所包含的3D信息取得部11、位置计算部14及状态取得部15，且具有上述各实施方式的显示侧装置20所包含的虚拟数据生成部24、操作确定部25、空间处理部26、图像合成部27及显示处理部28。关于上述各处理部，除了以下的点之外，与上述各实施方式同样。
位置计算部14根据通过3D信息取得部11从3D传感器8得到的三维信息，直接得到对象者的特定部位的三维位置信息。操作确定部25基于通过位置计算部14计算的相机坐标系的三维位置信息和通过状态取得部15得到的状态信息，确定预定处理。图像合成部27将通过3D信息取得部11得到的三维信息所包含的二维图像与通过空间处理部26实施了预定处理的虚拟3D空间数据合成。
在该变形例中，对象者一边观察从自身的视线方向以外的方向拍摄到的自身的影像，一边对虚拟3D空间进行操作。由此，在该变形例中，与使用对象者自身的视线图像的上述各实施方式相比，存在直观性下降的可能性，但是通过使用了特定部位的3D手势能够对虚拟3D空间进行操作，因此能够充分实现操作的易理解度。
此外，在上述说明所使用的流程图中，依次记载了多个工序(处理)，但是本实施方式中执行的工序的执行顺序并不局限于该记载的顺序。在本实施方式中，图示的工序的顺序在内容上不会造成障碍的范围内能够变更。另外，上述各实施方式及各变形例在内容不相反的范围内能够组合。
上述内容也可以如以下的附记那样确定。但是，上述各实施方式、各变形例及各实施例没有限定为以下的记载。
(附记1)
一种三维用户界面装置，具备：
三维信息取得部，从三维传感器取得三维信息；
位置计算部，使用通过所述三维信息取得部取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息；
虚拟数据生成部，生成表示配置于所述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据；
空间处理部，对于所述三维坐标空间或所述虚拟三维空间数据，实施与所述对象者的所述特定部位相关的所述三维位置信息的变化所对应的预定处理；及
显示处理部，基于通过所述空间处理部实施所述预定处理而得到的虚拟三维空间数据，将所述显示区域内的虚拟三维空间显示于显示部。
(附记2)
根据附记1所述的三维用户界面装置，其中，
所述三维用户界面装置还具备：
状态取得部，取得所述对象者的所述特定部位的状态信息；和
操作确定部，基于通过所述状态取得部取得的状态信息与所述三维位置信息的变化的组合，从多个预定处理之中确定通过所述空间处理部执行的所述预定处理。
(附记3)
根据附记2所述的三维用户界面装置，其中，
所述位置计算部计算作为所述对象者的特定部位的所述对象者的单手的三维位置信息，
所述状态取得部取得作为所述对象者的特定部位的所述对象者的所述单手的状态信息，
所述操作确定部确定使所述对象者的所述单手移动在该单手维持特定状态期间的该单手的直线移动量所对应的距离量的处理来作为所述预定处理。
(附记4)
根据附记2或3所述的三维用户界面装置，其中，
所述位置计算部分别计算与所述对象者的多个特定部位相关的三维坐标空间上的各三维位置信息，
所述状态取得部分别取得与所述对象者的所述多个特定部位相关的各状态信息，
所述操作确定部根据通过所述位置计算部计算的与所述多个特定部位相关的多个三维位置信息来计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化及通过所述状态取得部取得的多个所述状态信息，从多个预定处理之中确定所述预定处理。
(附记5)
根据附记4所述的三维用户界面装置，其中，
所述位置计算部计算作为所述多个特定部位的所述对象者的双手的三维位置信息，
所述状态取得部取得作为所述多个特定部位的所述对象者的双手的状态信息，
所述操作确定部以所述对象者的双手间的距离的变化量所对应的放大率或缩小率来确定以所述对象者的单手的位置为基准点的放大处理或缩小处理，或者以连结所述对象者的双手间的线段的立体角变化量所对应的立体角变化量来确定以所述对象者的单手的位置为基准点的旋转处理，来作为所述预定处理。
(附记6)
根据附记2～5中任一项所述的三维用户界面装置，其中，
所述操作确定部判定通过所述状态取得部取得的状态信息是否表示特定状态，根据该判定结果，决定是否使所述空间处理部执行所述预定处理。
(附记7)
根据附记1～6中任一项所述的三维用户界面装置，其中，
所述虚拟数据生成部生成配置在所述显示区域内的虚拟三维空间内的虚拟对象数据，
所述操作确定部根据通过所述位置计算部计算的三维位置信息，判定以所述虚拟对象为基准的预定三维范围内是否存在所述对象者的所述特定部位，根据该判定结果，决定是否使所述空间处理部执行所述预定处理。
(附记8)
根据附记7所述的三维用户界面装置，其中，
所述操作确定部以将所述对象者的所述特定部位和所述虚拟对象的特定点连结的线段的立体角变化量所对应的立体角变化量来确定以所述虚拟对象的该特定点为基准点的旋转处理来作为所述预定处理。
(附记9)
根据附记7或8所述的三维用户界面装置，其中，
所述操作确定部检测所述对象者的所述特定部位从所述预定三维范围内向所述预定三维范围外的移动，确定该移动前后的所述预定三维范围内的位置与所述预定三维范围外的位置之间的距离及方向所对应的旋转处理来作为所述预定处理。
(附记10)
根据附记2～9中任一项所述的三维用户界面装置，其中，
所述操作确定部计测通过所述状态取得部取得的状态信息和所述三维位置信息不变化的期间，在该计测到的期间超过预定期间的情况下，确定附加功能菜单的显示数据的处理来作为所述预定处理。
(附记11)
根据附记1～10中任一项所述的三维用户界面装置，其中，
具备：第一对象检测部，从所述三维信息中检测已知的通用实际对象；
第一基准设定部，基于通过所述第一对象检测部检测的所述通用实际对象，设定所述三维坐标空间，并计算所述三维传感器的位置及朝向；
视线图像取得部，从配置成与所述三维传感器不同的位置及不同的朝向的摄像部取得拍摄所述对象者的所述特定部位而得的视线图像；
第二对象检测部，从通过所述视线图像取得部取得的视线图像中检测已知的所述通用实际对象；
第二基准设定部，基于通过所述第二对象检测部检测的所述通用实际对象，共有所述三维坐标空间，并计算所述摄像部的位置及朝向；以及
图像合成部，基于通过所述第二基准设定部计算的所述摄像部的位置、朝向及所述三维坐标空间，将所述显示区域内的虚拟三维空间与通过所述摄像部拍摄的所述视线图像进行合成，
所述位置计算部基于通过所述第一基准设定部计算的所述三维传感器的位置、朝向及所述三维坐标空间，对于从通过所述三维信息取得部取得的三维信息中取得的与所述对象者的特定部位相关的三维位置信息进行变换，由此计算所述三维坐标空间上的所述三维位置信息，
所述显示处理部使通过所述图像合成部得到的图像显示于所述显示部。
(附记12)
一种三维操作方法，由至少一台计算机执行，其特征在于，包括：
从三维传感器取得三维信息，
使用所述取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息，
生成表示配置于所述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据，
对于所述三维坐标空间或所述虚拟三维空间数据，实施与所述对象者的所述特定部位相关的所述三维位置信息的变化所对应的预定处理，
基于实施所述预定处理而得到的虚拟三维空间数据，将所述显示区域内的虚拟三维空间显示于显示部。
(附记13)
根据附记12所述的三维操作方法，其中，
所述三维操作方法还包括：
取得所述对象者的所述特定部位的状态信息，
基于所述取得的状态信息与所述三维位置信息的变化的组合，从多个预定处理之中确定所述预定处理。
(附记14)
根据附记13所述的三维操作方法，其中，
所述三维位置信息的计算中，计算作为所述对象者的特定部位的所述对象者的单手的三维位置信息，
所述状态信息的取得中，取得作为所述对象者的特定部位的所述对象者的所述单手的状态信息，
所述预定处理的确定中，确定使所述对象者的所述单手移动在该单手维持特定状态期间的该单手的直线移动量所对应的距离量的处理来作为所述预定处理。
(附记15)
根据附记13或14所述的三维操作方法，其中，
所述三维位置信息的计算中，分别计算与所述对象者的多个特定部位相关的三维坐标空间上的各三维位置信息，
所述状态信息的取得中，分别取得与所述对象者的所述多个特定部位相关的各状态信息，
所述预定处理的确定中，根据通过所述计算出的与所述多个特定部位相关的多个三维位置信息来计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化及通过所述状态取得部取得的多个所述状态信息，从多个预定处理之中确定所述预定处理。
(附记16)
根据附记15所述的三维操作方法，其中，
所述三维位置信息的计算中，计算作为所述多个特定部位的所述对象者的双手的三维位置信息，
所述状态信息的取得中，取得作为所述多个特定部位的所述对象者的双手的状态信息，
所述预定处理的确定中，以所述对象者的双手间的距离的变化量所对应的放大率或缩小率来确定以所述对象者的单手的位置为基准点的放大处理或缩小处理，或者以连结所述对象者的双手间的线段的立体角变化量所对应的立体角变化量来确定以所述对象者的单手的位置为基准点的旋转处理，来作为所述预定处理。
(附记17)
根据附记13～16中任一项所述的三维操作方法，其中，
判定所述取得的状态信息是否表示特定状态，
根据所述判定结果，决定是否实施所述预定处理。
(附记18)
根据附记13～17中任一项所述的三维操作方法，其中，
生成配置在所述显示区域内的虚拟三维空间内的虚拟对象数据，
根据所述计算的三维位置信息，判定以所述虚拟对象为基准的预定三维范围内是否存在所述对象者的所述特定部位，
根据所述判定结果，决定是否实施所述预定处理。
(附记19)
根据附记18所述的三维操作方法，其中，
所述预定处理的确定中，以将所述对象者的所述特定部位和所述虚拟对象的特定点连结的线段的立体角变化量所对应的立体角变化量来确定以所述虚拟对象的该特定点为基准点的旋转处理来作为所述预定处理。
(附记20)
根据附记18或19所述的三维操作方法，其中，
所述预定处理的确定中，检测所述对象者的所述特定部位从所述预定三维范围内向所述预定三维范围外的移动，确定该移动前后的所述预定三维范围内的位置与所述预定三维范围外的位置之间的距离及方向所对应的旋转处理来作为所述预定处理。
(附记21)
根据附记13～20中任一项所述的三维操作方法，其中，
所述预定处理的确定中，计测通过所述取得的状态信息和所述三维位置信息不变化的期间，在该计测到的期间超过预定期间的情况下，确定附加功能菜单的显示数据的处理来作为所述预定处理。
(附记22)
根据附记12～21中任一项所述的三维操作方法，其中，
包括：从所述三维信息中检测已知的通用实际对象，
基于所述检测的通用实际对象，设定所述三维坐标空间，并计算所述三维传感器的位置及朝向，
从配置成与所述三维传感器不同的位置及不同的朝向的摄像部取得拍摄所述对象者的所述特定部位而得的视线图像，
从所述取得的视线图像中检测已知的所述通用实际对象，
基于所述检测的通用实际对象，共有所述三维坐标空间，并计算所述摄像部的位置及朝向，
基于所述计算的所述摄像部的位置、朝向及所述三维坐标空间，将所述显示区域内的虚拟三维空间与通过所述摄像部拍摄的所述视线图像进行合成，
使通过所述合成而得到的图像显示于所述显示部，
所述三维位置信息的计算中，基于所述计算的所述三维传感器的位置、朝向及所述三维坐标空间，对于从所述取得的三维信息中取得的与所述对象者的特定部位相关的三维位置信息进行变换，由此计算所述三维坐标空间上的所述三维位置信息。
(附记23)
一种程序，使至少一台计算机执行附记12～21中任一项所述的三维操作方法。
(附记24)
一种计算机可读的记录介质，记录有附记23所述的程序。
本申请主张以在2012年7月27日提出申请的日本专利申请特愿2012-167111为基础的优先权，并将其公开的全部援引于此。

Claims (10)

1.一种三维用户界面装置，其特征在于，具备：
三维信息取得部，从三维传感器取得三维信息；
位置计算部，使用通过所述三维信息取得部取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息；
虚拟数据生成部，生成表示配置于所述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据，所述虚拟三维空间之外，还生成显示于所述显示区域内的虚拟对象；
空间处理部，对于所述虚拟三维空间数据，实施与所述对象者的所述特定部位相关的所述三维位置信息的变化所对应的预定处理；
显示处理部，将所述虚拟对象显示于显示部，还基于通过所述空间处理部实施所述预定处理而得到的虚拟三维空间数据，将所述显示区域内的虚拟三维空间显示于所述显示部；
状态取得部，取得所述对象者的所述特定部位的状态信息；以及
操作确定部，基于以所述虚拟对象为基准的所述特定部位的位置的变化与所述特定部位的状态的变化的组合，从多个预定处理之中确定通过所述空间处理部执行的所述预定处理，
所述操作确定部根据通过所述位置计算部计算的三维位置信息，判定以所述虚拟对象为基准的预定三维范围内是否存在所述对象者的所述特定部位，根据该判定结果，决定是否使所述空间处理部执行所述预定处理，
在通过所述操作确定部决定为使所述空间处理部执行所述预定处理的情况下，所述空间处理部执行所确定的所述预定处理，
在对所述虚拟三维空间实施所述预定处理之后，所述显示处理部将显示于所述显示部的所述虚拟三维空间变更为实施了所述预定处理的所述虚拟三维空间。
2.根据权利要求1所述的三维用户界面装置，其中，
所述位置计算部计算作为所述对象者的特定部位的所述对象者的单手的三维位置信息，
所述状态取得部取得作为所述对象者的特定部位的所述对象者的所述单手的状态信息，
所述操作确定部确定使所述对象者的所述单手移动在该单手维持特定状态期间的该单手的直线移动量所对应的距离量的处理来作为所述预定处理。
3.根据权利要求1或2所述的三维用户界面装置，其中，
所述位置计算部分别计算与所述对象者的多个特定部位相关的三维坐标空间上的各三维位置信息，
所述状态取得部分别取得与所述对象者的所述多个特定部位相关的各状态信息，
所述操作确定部根据通过所述位置计算部计算的与所述多个特定部位相关的多个三维位置信息来计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化及通过所述状态取得部取得的多个所述状态信息，从多个预定处理之中确定所述预定处理。
4.根据权利要求3所述的三维用户界面装置，其中，
所述位置计算部计算作为所述多个特定部位的所述对象者的双手的三维位置信息，
所述状态取得部取得作为所述多个特定部位的所述对象者的双手的状态信息，
所述操作确定部以所述对象者的双手间的距离的变化量所对应的放大率或缩小率来确定以所述对象者的单手的位置为基准点的放大处理或缩小处理，或者以将所述对象者的双手间连结的线段的立体角变化量所对应的立体角变化量来确定以所述对象者的单手的位置为基准点的旋转处理，来作为所述预定处理。
5.根据权利要求1或2所述的三维用户界面装置，其中，
所述操作确定部判定通过所述状态取得部取得的状态信息是否表示特定状态，根据该判定结果，决定是否使所述空间处理部执行所述预定处理。
6.根据权利要求1所述的三维用户界面装置，其中，
所述操作确定部以将所述对象者的所述特定部位和所述虚拟对象的特定点连结的线段的立体角变化量所对应的立体角变化量来确定以所述虚拟对象的该特定点为基准点的旋转处理来作为所述预定处理。
7.根据权利要求1所述的三维用户界面装置，其中，
所述操作确定部检测所述对象者的所述特定部位从所述预定三维范围内向所述预定三维范围外的移动，确定该移动前后的所述预定三维范围内的位置与所述预定三维范围外的位置之间的距离及方向所对应的旋转处理来作为所述预定处理。
8.根据权利要求1或2所述的三维用户界面装置，其中，
所述操作确定部计测通过所述状态取得部取得的状态信息和所述三维位置信息不变化的期间，在该计测到的期间超过预定期间的情况下，确定附加功能菜单的显示数据的处理来作为所述预定处理。
9.根据权利要求1或2所述的三维用户界面装置，其中，
具备：第一对象检测部，从所述三维信息中检测已知的通用实际对象；
第一基准设定部，基于通过所述第一对象检测部检测的所述通用实际对象，设定所述三维坐标空间，并计算所述三维传感器的位置及朝向；
视线图像取得部，从配置成与所述三维传感器不同的位置及不同的朝向的摄像部取得拍摄所述对象者的所述特定部位而得的视线图像；
第二对象检测部，从通过所述视线图像取得部取得的视线图像中检测已知的所述通用实际对象；
第二基准设定部，基于通过所述第二对象检测部检测的所述通用实际对象，共有所述三维坐标空间，并计算所述摄像部的位置及朝向；以及
图像合成部，基于通过所述第二基准设定部计算的所述摄像部的位置、朝向及所述三维坐标空间，将所述显示区域内的虚拟三维空间与通过所述摄像部拍摄的所述视线图像进行合成，
所述位置计算部基于通过所述第一基准设定部计算的所述三维传感器的位置、朝向及所述三维坐标空间，对于从通过所述三维信息取得部取得的三维信息中取得的与所述对象者的特定部位相关的三维位置信息进行变换，由此计算所述三维坐标空间上的所述三维位置信息，
所述显示处理部使通过所述图像合成部得到的图像显示于所述显示部。
10.一种三维操作方法，由至少一台计算机执行，其特征在于，包括：
三维信息取得步骤，从三维传感器取得三维信息；
位置计算步骤，使用所述取得的三维信息，计算与对象者的特定部位相关的三维坐标空间上的三维位置信息；
虚拟数据生成步骤，生成表示配置于所述三维坐标空间且至少一部分设定于显示区域的虚拟三维空间的虚拟三维空间数据，所述虚拟三维空间之外，还生成显示于所述显示区域内的虚拟对象；
空间处理步骤，对于所述虚拟三维空间数据，实施与所述对象者的所述特定部位相关的所述三维位置信息的变化所对应的预定处理；
显示处理步骤，将所述虚拟对象显示于显示部，还基于通过所述空间处理步骤实施所述预定处理而得到的虚拟三维空间数据，将所述显示区域内的虚拟三维空间显示于所述显示部；
状态取得步骤，取得所述对象者的所述特定部位的状态信息；
空间处理步骤，对所述虚拟三维空间实施预定处理；以及
操作确定步骤，基于以所述虚拟对象为基准的所述特定部位的位置的变化与所述特定部位的状态的变化的组合，从多个预定处理之中确定通过所述空间处理步骤执行的所述预定处理，
在所述操作确定步骤中，根据通过所述位置计算步骤计算的三维位置信息，判定以所述虚拟对象为基准的预定三维范围内是否存在所述对象者的所述特定部位，根据该判定结果，决定是否在所述空间处理步骤执行所述预定处理，
在通过所述操作确定步骤决定为在所述空间处理步骤执行所述预定处理的情况下，在所述空间处理步骤中执行所确定的所述预定处理，
在对所述虚拟三维空间实施所述预定处理之后，在所述显示处理步骤中，将显示于所述显示部的所述虚拟三维空间变更为实施了所述预定处理的所述虚拟三维空间。
CN201380039922.7A 2012-07-27 2013-03-08 三维用户界面装置及三维操作方法 Active CN104508600B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012167111 2012-07-27
JP2012-167111 2012-07-27
PCT/JP2013/001520 WO2014016987A1 (ja) 2012-07-27 2013-03-08 ３次元ユーザインタフェース装置及び３次元操作方法

Publications (2)

Publication Number Publication Date
CN104508600A CN104508600A (zh) 2015-04-08
CN104508600B true CN104508600B (zh) 2017-06-13

Family

ID=49996815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039922.7A Active CN104508600B (zh) 2012-07-27 2013-03-08 三维用户界面装置及三维操作方法

Country Status (5)

Country Link
US (1) US9495068B2 (zh)
EP (1) EP2879022A4 (zh)
JP (1) JP5936155B2 (zh)
CN (1) CN104508600B (zh)
WO (1) WO2014016987A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
JP5351311B1 (ja) * 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 立体映像観察デバイスおよび透過率制御方法
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
KR101403783B1 (ko) * 2013-06-20 2014-06-03 박종하 어플리케이션 실행의 개별단계를 위한 가상 공간 제공 시스템
US9729864B2 (en) * 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015050748A1 (en) * 2013-10-03 2015-04-09 Bae Systems Information And Electronic Systems Integration Inc. User friendly interfaces and controls for targeting systems
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US20160064947A1 (en) * 2014-09-02 2016-03-03 Apple Inc. Adjusting Operations in an Electronic Device Based on Environmental Data
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
EP3109734A1 (en) * 2015-06-22 2016-12-28 Samsung Electronics Co., Ltd Three-dimensional user interface for head-mountable display
CN104932692B (zh) * 2015-06-24 2017-12-08 京东方科技集团股份有限公司 三维触摸感测方法、三维显示设备、可穿戴设备
TWI590189B (zh) * 2015-12-23 2017-07-01 財團法人工業技術研究院 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
CN105872814B (zh) * 2016-03-31 2019-04-12 北京奇艺世纪科技有限公司 一种视频信息的展示方法及装置
US20180082482A1 (en) 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
JP2018067060A (ja) * 2016-10-17 2018-04-26 俊八 生田 仮想３次元模型を対象とした立体複合現実感提供プログラム
US10747324B2 (en) * 2016-11-02 2020-08-18 Panasonic Intellectual Property Management Co., Ltd. Gesture input system and gesture input method
WO2018093912A1 (en) * 2016-11-15 2018-05-24 Google Llc Location globe in virtual reality
CN110140100B (zh) * 2017-01-02 2020-02-28 摩致实验室有限公司 三维增强现实对象用户界面功能
CN108534713B (zh) * 2017-03-02 2019-08-06 林明慧 免对正轴心的影像测量装置及其测量方法
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Ｃｙｇａｍｅｓ プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
US10890979B2 (en) * 2018-04-23 2021-01-12 Industrial Technology Research Institute Controlling system and controlling method for virtual display
JP7135418B2 (ja) * 2018-05-11 2022-09-13 スミダコーポレーション株式会社 平坦度検出方法、平坦度検出装置及び平坦度検出プログラム
JP2019207574A (ja) * 2018-05-29 2019-12-05 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
JP7331462B2 (ja) * 2019-05-24 2023-08-23 京セラドキュメントソリューションズ株式会社 ロボットシステム、ロボット制御方法及び電子装置
US10921879B2 (en) * 2019-06-07 2021-02-16 Facebook Technologies, Llc Artificial reality systems with personal assistant element for gating user interface elements
US11340756B2 (en) * 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11257294B2 (en) 2019-10-15 2022-02-22 Magic Leap, Inc. Cross reality system supporting multiple device types
WO2021087065A1 (en) * 2019-10-31 2021-05-06 Magic Leap, Inc. Cross reality system with quality information about persistent coordinate frames
JP7525603B2 (ja) 2019-11-12 2024-07-30 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH SIMPLIFIED VIRTUAL CONTENT PROGRAMMING
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
JP7671769B2 (ja) 2020-02-26 2025-05-02 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
CN111401318B (zh) * 2020-04-14 2022-10-04 支付宝(杭州)信息技术有限公司 动作识别方法及装置
CN111880652B (zh) * 2020-07-16 2024-08-13 北京悉见科技有限公司 用于移动ar对象位置的方法、装置及存储介质
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP2021015637A (ja) * 2020-11-05 2021-02-12 マクセル株式会社 表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913790A1 (en) * 1997-10-29 1999-05-06 Takenaka Corporation Hand pointing apparatus
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
CN102542160A (zh) * 2010-12-21 2012-07-04 微软公司 三维虚拟世界的骨架控制

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3278818D1 (en) * 1982-05-11 1988-09-01 Raybestos Ind Produkte Gmbh Friction lining for friction couplings
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4491598B2 (ja) * 2003-10-27 2010-06-30 独立行政法人産業技術総合研究所 画像表示システム
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP2011081453A (ja) * 2009-10-02 2011-04-21 Toshiba Corp 映像再生装置及び映像再生方法
JP2013080266A (ja) * 2010-02-08 2013-05-02 Nextedge Technology Inc 入力装置
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
HK1205326A1 (zh) * 2012-07-27 2015-12-11 日本电气方案创新株式会社 三维环境共有系统及三维环境共有方法
EP2879097A4 (en) * 2012-07-27 2016-03-16 Nec Solution Innovators Ltd THREE-DIMENSIONAL USER INTERFACE DEVICE AND THREE-DIMENSIONAL OPERATING METHOD

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913790A1 (en) * 1997-10-29 1999-05-06 Takenaka Corporation Hand pointing apparatus
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
CN102542160A (zh) * 2010-12-21 2012-07-04 微软公司 三维虚拟世界的骨架控制

Also Published As

Publication number Publication date
JPWO2014016987A1 (ja) 2016-07-07
CN104508600A (zh) 2015-04-08
US9495068B2 (en) 2016-11-15
EP2879022A1 (en) 2015-06-03
HK1205311A1 (zh) 2015-12-11
WO2014016987A1 (ja) 2014-01-30
US20150205484A1 (en) 2015-07-23
JP5936155B2 (ja) 2016-06-15
EP2879022A4 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
CN104508600B (zh) 三维用户界面装置及三维操作方法
CN104662587B (zh) 三维用户界面装置以及三维操作方法
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP7026825B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
US20160055330A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method, and program
JP2013521544A (ja) 拡張現実のポインティング装置
JP7059934B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
US9760180B2 (en) User interface device and user interface method
US20240377918A1 (en) Information processing system
JP2021131490A (ja) 情報処理装置、情報処理方法、プログラム
HK1205311B (zh) 三维用户界面装置及三维操作方法
HK1210858B (zh) 三维用户界面装置以及三维操作方法
JP2025091784A (ja) 情報処理装置、情報処理装置の制御方法、システム、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1205311

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1205311

Country of ref document: HK