CN106575299A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本发明利用与作为触发器的背景变化相对应的事件检测显示关于在真实世界中的注册信息设定点的注册信息并且执行显示更新处理。本发明还显示并且控制虚拟对象，该虚拟对象包括用于在真实世界的注册信息设定点的注册信息。数据处理单元显示在控制数据中记录的注册信息并且根据预先定义的背景变化执行显示更新处理。本发明还在显示注册信息时显示表示注册信息设定点的虚拟对象。此外，本发明在从所拍摄的图像检测出的参考图像(锚点)的虚拟3D空间中基于位置、方向等计算在注册信息设定点与信息处理装置之间的位置关系并且基于背景中的变化以及所计算出的位置关系显示表示注册信息设定点的虚拟对象。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理方法和程序。更具体而言，本公开涉及通过其可以基于信息装置的位置和方向在显示单元(显示器)上显示关于存在于信息处理装置附近的真实对象(real object)的信息的信息处理装置、信息处理方法以及程序。

背景技术

近年来，智能电话、平板终端或可穿戴式终端(例如，眼镜型显示器)等变得普遍，并且大量用户使用这些终端。

大部分这种终端不仅包括通信功能，而且包括通过其在显示单元上显示拍摄的图像的摄像机功能。此外，例如，显示单元能够不仅显示拍摄的图像，而且显示通过网络(例如，通过网络访问的网页)接收的各种信息。

进一步地，具有能够从网站获取与位置信息相关联的信息并且根据作为关于摄像机拍摄的图像的属性信息设置的对地静止轨道(Geo)信息以及由移动终端的全球定位系统(GPS)功能获取的位置信息显示该信息的终端。

此外，专利文献1(日本专利申请公开第2011-028763号)公开了一种配置，其中，例如在所拍摄的图像上叠加并显示与所拍摄的图像相关的这种信息。

引用列表

专利文献

专利文献1：日本专利申请公开第2011-028763号

发明内容

本发明要解决的问题

很多传统的技术用于配置允许基于诸如GPS和Geo信息的位置信息在终端上叠加并显示关于所拍摄的对象的相关信息。

通过使用关于各种设施的注册信息与设施的位置相关联的数据来检测所拍摄并显示对象的用户终端的位置和倾角并且执行控制以与在显示单元上移动对象同步地移动相关信息，可以根据设施的位置叠加并显示注册信息。

然而，根据传统的方法，通过在信息处理装置中的程序，在拍摄的视频上叠加并显示相关信息遵循在信息设备内的Geo位置信息与在注册信息内的Geo位置信息之间的位置关系以及在拍摄的视频上在由摄像机拍摄的视频中识别的主体的位置。因此，可以改变根据在注册信息中的元数据叠加并显示的文本的尺寸和颜色。然而，难以改变通过用户行为显示的注册信息、信息终端的背景(情况)、或者作为触发器的行为或背景的变化，并且难以控制显示方法(字符、动画等的尺寸和位置)。

例如，难以基于从在信息终端中的传感器获得的用户物理信息(心跳、脉搏等)以及来自温度传感器的信息来执行灵活的处理，使得在信息终端附近具有等渗压饮料自动售货机时，虽然在摄像机拍摄的视频中未看到，但是显示与自动售货机相关的注册信息以鼓励用户喝饮料。

例如，有鉴于以上问题，创作本公开以显示根据从在用户终端(例如，智能电话)与该点的位置之间的位置关系确定的背景(context)(情况)在发生事件时关于注册的并且设置的真实世界点(兴趣点(POI))的信息以及从作为触发器的用户终端获得的各种信息。例如，本公开的目标在于提供信息处理装置、信息处理方法以种程序，通过它们以各种方式允许信息显示，使得根据用户的运动等改变用户终端的位置和倾角时，除了改变要显示的信息的变化量以及显示方法(文本的尺寸和显示位置)以外，还考虑用户行为(步行、跑步、乘火车等)的状态。

问题的解决方案

本公开的第一方面是一种信息处理装置，包括：成像单元；显示单元，显示由所述成像单元拍摄的图像；以及数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息，其中，所述数据处理单元输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息，并且通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理，并且所述数据处理单元结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

进一步地，本公开的第二方面是一种由信息处理装置执行的信息处理方法，其中，所述信息处理装置包括：成像单元；显示单元，显示由所述成像单元拍摄的图像；以及数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息，其中，所述数据处理单元输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息；并且通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理，并且所述数据处理单元结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

进一步地，本公开的第三方面是一种程序，使信息处理装置执行信息处理，其中，所述信息处理装置包括：成像单元；显示单元，显示由所述成像单元所拍摄的图像；以及数据处理单元，在所述显示单元上显示包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息的虚拟对象，并且所述程序使所述信息处理单元：输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息；通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理；并且结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

顺便提一下，例如，本公开的程序是可以通过计算机可读形式由存储介质或通信介质提供给能够执行各种程序代码的信息处理装置或者计算机系统的程序。通过计算机可读形式提供程序在信息处理装置或者计算机系统上实现根据该程序的过程。

参考稍后描述的本公开的实例以及附图，由更详细的说明阐明本公开的其他目标、特征以及优点。顺便提一下，在本文中描述的系统是多个设备的逻辑组件但是作为构成元素的设备可以不包含在相同的外壳内。

本发明的效果

根据本公开的实例的配置，可以实现通过其执行显示关于注册信息设定点的注册信息的过程以及根据作为触发器的背景变化通过检测事件更新显示的处理的设备和方法。

具体而言，执行显示包括关于真实世界注册信息设定点的注册信息的虚拟对象的控制。数据处理单元执行显示在所述显示控制数据内描述的注册信息的过程以及根据预先定义的背景变化更新显示的过程。进一步地，数据处理单元结合注册信息的显示，显示表示注册信息设定点的虚拟对象。数据处理单元基于在虚拟三维空间内从拍摄的图像中检测的参考图像(锚点)的位置、方向等计算在信息处理装置与注册信息设定点之间的位置关系，并且基于所计算的位置关系以及背景的变化显示表示注册信息设定点的虚拟对象。

根据该配置，可以实现通过其执行显示关于注册信息设定点的注册信息的过程以及根据作为触发器的背景变化通过事件检测更新显示的过程的设备和方法。

顺便提一下，在本文中描述的有利效果并非限制性的而仅仅是实例，并且本公开可以具有额外的有利效果。

附图说明

[图1]是描述包括执行本公开的过程的信息处理装置(用户终端)的系统的配置实例的示图。

[图2]是描述在信息处理装置(用户终端)的显示单元上的显示图像实例的示图。

[图3]是描述在信息处理装置(用户终端)的显示单元上的显示图像实例的示图。

[图4]是描述在信息处理装置(用户终端)的显示单元上的显示图像实例的示图。

[图5]是描述在包括执行本公开的过程的信息处理装置(用户终端)的系统的构成元素之间的过程序列的示图。

[图6]是描述保存在搜索服务器内的数据的配置实例的示图。

[图7]是描述由信息提供服务器提供的HTML数据的实例的示图。

[图8]是描述参考真实对象和注册信息设定点的示图。

[图9]是描述由信息提供服务器提供的显示控制程序(JavaScript(注册商标))的实例的示图。

[图10]是用于获取虚拟对象显示控制数据和显示虚拟对象的过程的序列的流程图。

[图11]是用于获取虚拟对象显示控制数据并且显示虚拟对象的过程的序列的流程图。

[图12]是用于设置定位过程对象的过程的序列的流程图。

[图13]是用于基于虚拟对象显示事件的检测来显示虚拟对象的过程的序列的流程图。

[图14]是用于检测虚拟对象显示更新事件并且做出通知的过程的序列的流程图。

[图15]是用于检测虚拟对象显示更新事件并且做出通知的过程的序列的流程图。

[图16]是示出虚拟物体的具体显示实例的示图。

[图17]是示出虚拟物体的具体显示实例的示图。

[图18]是示出信息处理装置的配置实例的示图。

[图19]是示出信息处理装置的配置实例的示图。

[图20]是示出服务器的配置实例的示图。

具体实施方式

下面参考附图详细说明本公开的信息处理装置、信息处理方法以及程序。顺便提一下，将按照以下顺序提供说明。

1、关于本公开的信息处理装置以及包括信息处理装置的系统的配置实例

2、关于通信过程和图像显示过程的细节

3、关于判定注册信息设定点(POI)位置识别标记的显示位置的过程

4、关于由信息处理装置执行的过程的序列

4-1、用于获取虚拟对象显示控制数据并且显示虚拟对象的过程

4-2、用于设置定位过程对象的过程

4-3、用于基于虚拟对象显示事件的检测来显示虚拟对象的过程

4-4、用于三维位置确定的过程

5、关于开始显示虚拟对象或更新显示的作为触发器的事件

6、关于信息处理装置和服务器的配置实例

7、本公开的配置的概述

[1、关于本公开的信息处理装置以及包括信息处理装置的系统的配置实例]

首先，参考图1说明本公开的信息处理装置以及包括信息处理装置的系统的配置实例。

图1是示出包括本公开的信息处理装置的通信系统的配置实例的示图。

例如，信息处理装置(用户终端)10是能够由用户携带的通信终端，例如，智能电话或眼镜型终端。

信息处理装置(用户终端)10包括通信单元、摄像机(成像单元)以及显示单元，并且具有在显示单元上显示摄像机拍摄的图像并且在显示单元上的拍摄的图像上叠加并显示通过通信单元所接收的信息的功能。

信息处理装置10在显示单元上显示摄像机拍摄的图像。在显示单元上的显示图像是由摄像机目前拍摄的实时拍摄的图像。顺便提一下，本公开的过程适用于在显示单元上读取和显示在存储器内预先拍摄并且存储的图像的情况。然而，在下面描述的实例中，在显示单元上显示目前拍摄的图像。顺便提一下，可以在存储单元(例如，介质)内记录或不记录拍摄的图像。

信息处理装置10的摄像机(成像单元)和显示单元可以由不同的装置实现并且被配置成通过通信整体操作。

可以实现通过通信整体操作的配置，使得移动连接至用户的头部摄像机(成像单元)拍摄的图像，并且例如通过Wi-Fi将位置和方向信息发送至智能电话(显示单元)。

本公开的过程还适用于信息处理装置10是一个屋里设备的情况以及信息处理装置10通过通信由多个装置形成的情况。

虽然在显示单元上显示拍摄的图像，但是信息处理装置10例如在无线LAN或蓝牙中接收从由接入点(AP)构成的信标发送器20中输出的信标。

信标(beacon)是存储信标发送器20的标识符(ID)的数据包。

信息处理装置10通过诸如互联网的网络30将从信标发送器20接收的信标发送至搜索服务器40。

在接收从信息处理装置10发送的信标时，搜索服务器40基于标识符获取与包含在所接收的信标中的信标发送器标识符(ID)相一致的注册的访问信息(URL)并且将其发送至信息处理装置10。

访问信息(URL)是用于在信标发送器20附近获取关于信息注册点的位置信息的访问信息以及包括注册信息的数据等。

顺便提一下，在网页上提供的映射数据中，例如，注册信息设定点(兴趣点(POI))被设置为被估计用于吸引很多人的兴趣的点，例如，旅游景点和地标。访问信息(URL)是用于获取显示控制数据的访问信息，包括关于注册信息设定点(POI)的位置信息、注册信息等。

信息处理装置10使用访问信息(URL)以从位置提供服务器50获取显示控制数据，并且在显示单元上的拍摄的图像上叠加并显示与包含在获取的显示控制数据内的注册信息设定点(POI)对应的注册信息等。

即，信息处理装置10在由摄像机(成像单元)拍摄的并且在显示单元上显示的真实对象上叠加并显示关于从位置提供服务器50获取的POI获取的位置信息以及作为虚拟对象的注册信息。

位置提供服务器50提供POI显示控制数据，例如，关于在区域内的各种位置中的各种设施的位置信息以及关于设施的指导信息。位置提供服务器50包括注册该注册信息的数据库，并且基于该数据库信息，生成显示控制数据。位置提供服务器50根据包含在信息终端10的请求内的URL，返回相关的显示控制数据。

信息处理装置10使用由搜索服务器40选择的访问信息(URL)来从位置提供服务器50获取POI显示控制数据。

信息处理装置10使用POI显示控制数据，来在显示单元上显示的摄像机拍摄的图像上叠加并显示POI位置以及关于在信标发送器20的安装位置附近的各种设施的注册信息。

参考图2说明具体过程实例。

图2示出由信息处理装置(用户终端)10在显示单元上的摄像机拍摄的图像的显示实例。

顺便提一下，在以下描述中，智能电话用作信息处理装置(用户终端)10的一个实例。然而，例如，除了智能电话，还在各种用户终端(例如，平板终端、PC、眼镜型终端等)上执行下面说明的实例。

图2(a)示出了在旅游景点包括城堡的真实世界中的风景。携带信息处理装置(用户终端)10的用户参观在旅游景点的城堡并且欣赏在图2(a)示出的风景。

用户使用信息处理装置(用户终端)10的摄像机功能，来拍摄真实世界图像并且在显示单元上显示拍摄的图像。

在显示单元上显示拍摄的图像是在图2(b)示出的显示图像。

例如，在该状态中执行上面参考图1说明的这一系列的处理。即，执行以下步骤(S01到S04)。

(S01)信息处理装置10给搜索服务器40传输关于从信标发送器20中接收的信标的识别信息(ID)，例如，在图2(a)示出的真实世界中的邻近访问点(AP)。

(S02)搜索服务器40向信息处理装置10发送访问信息(URL)，用于基于识别信息获取包括关于信标发送器20的邻近的注册信息的数据。

(S03)信息处理装置10使用从搜索服务器40中接收的访问信息(URL)，来从位置提供服务器50中获取显示控制数据，例如，关于在信标发送器20附近的设施的位置信息以及注册信息。

(S04)信息处理装置10使用从位置提供服务器50中获取的显示控制数据，例如，关于在信标发送器20附近的设施的位置信息以及注册信息来在显示单元上显示的拍摄的图像上叠加并显示表示设施的位置的标记以及作为虚拟对象的注册信息。

执行前述一系列的步骤。

由于执行前述一系列的步骤，图3、图4示出了在信息处理装置10的显示单元上显示的显示图像的实例。

图3(a)示出了在真实世界中的风景，与在上面说明的图2的情况中一样，并且图3(b)示出了在执行以上步骤系列(S01到S04)之后在信息处理装置10的显示单元上显示的显示图像。

在步骤S03中，从位置提供服务器50中获取的数据，即，显示控制数据(例如，位置信息以及关于在信标发送器20附近的设施的注册信息)，包括关于在图3(a)示出的真实世界中的以下两点的信息。

(1)关于注册信息设定点A(POI-A)101的位置信息以及注册信息

(2)关于注册信息设定点B(POI-B)102的位置信息以及注册信息

在图3(b)示出的显示图像是通过选择(1)位置信息以及关于注册信息设定点A(POI-A)101的注册信息显示的显示图像。

在图3(b)示出的显示图像是在作为拍摄图像的真实对象上叠加并显示在从位置提供服务器50获取的被描述在显示控制数据中的虚拟对象的图像。

所显示的虚拟对象是以下数据：

(1)点A(POI-A)位置识别标记111

(2)点A(POI-A)对应注册信息112

这些数据作为虚拟对象显示。

如上所述，在图3(b)示出的显示图像是在作为拍摄图像(即，增强现实(AR)图像)的真实对象上叠加并显示基于从位置提供服务器50获取的显示控制数据生成的虚拟对象的图像。

点A是售票中心。在作为真实对象的拍摄图像中的售票中心的位置内叠加并显示作为虚拟对象的点A(POI-A)位置识别标记111。

点A(POI-A)位置识别标记111的显示位置需要设置在作为真实对象的拍摄图像中的售票中心上。该显示位置由信息处理装置10使用从位置提供服务器中获取的数据判定。顺便提一下，在信息处理装置10上显示的图像是根据用户的运动改变的实时摄像机拍摄的图像。也需要根据显示的拍摄图像(真实对象)的运动更新点A(POI-A)位置识别标记111的显示位置。显示位置控制也由信息处理装置10执行。

在由信息处理装置10执行的显示控制下，作为虚拟对象的点A(POI-A)位置识别标记111的显示位置正确地放在作为真实对象的拍摄图像内的售票中心上。

稍后描述显示控制的具体步骤。

进一步地，还在作为真实对象的拍摄图像上叠加并显示作为另一个虚拟对象的点A(POI-A)对应注册信息112。

点A(POI-A)对应注册信息112包括关于与注册信息设定点A对应的售票中心的各种信息。如图所示，显示关于在售票中心等的开放时间和费用的信息。该信息记录在位置提供服务器50内并且包含在根据由搜索服务器40提供的URL获取的显示控制数据内或者基于显示控制数据获取。

图4是示出使用关于另一个点B的信息的显示图像实例的示图，即，

(2)关于注册信息设定点B(POI-B)102的位置信息以及注册信息

图4(a)示出了在真实世界中的风景，图4(b)示出了在执行以上步骤系列(S01到S04)之后在信息处理装置10的显示单元上显示的显示图像。

在图4(b)示出的显示图像是在作为拍摄图像的真实对象上叠加并显示作为从位置提供服务器50中获取的显示数据的虚拟对象的图像。

所显示的虚拟对象是以下数据：

(1)点B(POI-B)位置识别标记121

(2)点B(POI-B)对应注册信息122

这些数据作为虚拟对象显示。

如上所述，在图4(b)示出的显示图像是在作为拍摄图像(即，增强现实(AR)图像)的真实对象上叠加并显示基于从位置提供服务器50获取的显示控制数据生成的虚拟对象的图像。

点B表示城堡的入口，并且在入口位置在作为真实对象的拍摄图像上叠加并显示作为虚拟对象的点B(POI-B)位置识别标记121。

点B(POI-B)位置识别标记121的显示位置需要设置在作为真实对象的拍摄图像中的城堡的入口上。该显示位置由信息处理装置10使用从位置提供服务器中获取的数据判定和控制。具体而言，信息处理装置10根据在显示单元上显示的拍摄图像(真实对象)的运动更新点点B(POI-B)位置识别标记121的显示位置。

在由信息处理装置10执行的显示控制下，作为虚拟对象的点B(POI-B)位置识别标记121的显示始终设置在作为真实对象的拍摄图像内的入口上。

稍后描述显示控制的具体步骤。

进一步地，还在作为真实对象的拍摄图像上叠加并显示作为另一个虚拟对象的点B(POI-B)对应注册信息122。

点B(POI-B)对应注册信息122包括关于与注册信息设定点B对应的城堡入口的各种信息。如图所示，显示诸如入口的开放时间等信息、关于指导终端的出租的信息、休息室位置信息等。该信息记录在位置提供服务器50的数据库内并且根据由搜索服务器40提供的URL获取。

[2、关于通信过程和图像显示过程的细节]

图5是描述在图1示出的设备之间执行的通信序列以及由信息处理装置(用户终端)10执行的增强现实(真实对象和虚拟对象的叠加图像)的显示过程序列。

图5示出了从左边开始的信标发送器20、信息处理装置(用户终端)10、搜索服务器40以及信息提供服务器50。

下面按照顺序说明过程步骤。

(步骤S101)

首先，在步骤S101中，信标发送器20输出信标并且信息处理装置10接收信标。如上所述，信标是存储信标发送器20等的标识符(ID)的数据包。

(步骤S102)

信息处理装置10将从信标发送器20中接收的信标发送至搜索服务器40。

(步骤S103)

搜索服务器40接收从信息处理装置10中传输的信标，并且基于包含在该信标内的信标发送器20的标识符(ID)搜索数据库，以提取访问信息(URL)，用于获取包括关于信标发送器20的邻近的注册信息的数据。

图6中示出了存储在搜索服务器40的数据库内的数据的实例。例如，搜索服务器40在数据库(存储单元)内的在图6描述的数据。

在图6示出的数据由以下两个数据的对应列表构成：

信标发送器标识符(ID)；以及

用于获取信标发送器邻近设施的URL。

搜索服务器40接收从信息处理装置10发送的信标，并且基于包含在该信标中的信标发送器20的标识符(ID)搜索例如在图6中描述的数据配置的列表。

通过列表搜索，搜索服务器40获取与包含在从信息处理装置10发送的信标中的信标发送器20的标识符(ID)相关联的访问信息(URL)。

访问信息(URL)是用于获取包括关于信标发送器20的邻近的注册信息的数据的访问信息(URL)。

(步骤S104)

接下来，在步骤S104中，搜索服务器40给信息处理装置10传输在步骤S103中由搜索获取的访问信息(URL)。

(步骤S105)

信息处理装置10使用从搜索服务器40中接收的访问信息(URL)，来从信息提供服务器50中获取数据，该数据包括关于在信标发送器20附近的设施的位置信息以及注册信息(虚拟对象显示控制数据)。

从信息提供服务器50发送至信息处理装置10的数据包括关于在摄像机拍摄的图像上作为在信息处理装置10的显示单元上显示的真实对象叠加并显示的虚拟对象的真实状态数据以及真实状态数据的显示控制信息。该数据在后文中称为虚拟对象显示控制数据。

虚拟对象显示控制数据具体由以下数据等构成：

(1)超文本标记语言(HTML)

(2)级联样式表(CSS)

(3)JavaScript(注册商标)

HTML是表示在信息处理装置10的显示单元上显示的虚拟对象的基本结构的数据。虽然具有各种HTML数据，但是例如HTML 5可用。

CSS是限定由HTML限定的虚拟对象配置数据的显示格式、颜色、形状等的样式表，作为限定在信息处理装置10的显示单元上显示的虚拟对象的样式的数据。

JavaScript(注册商标)是限定用于显示虚拟对象的过程、用于更新显示的过程或者用于移动和更新虚拟对象的过程的显示控制程序。例如，是用于执行显示控制的显示控制程序，例如，在包括改变虚拟对象的显示模式的显示信息上采取各种措施，用户在显示对象上的诸如触摸和点击等事件或者根据各种文本(情况)检测的事件，例如，经过作为触发器的预定的时间段。

如上所述，信息提供服务器50给信息处理装置10提供具有以下数据的虚拟对象显示控制数据：

(1)超文本标记语言(HTML)

(2)级联样式表(CSS)

(3)JavaScript(注册商标)

虚拟对象显示控制数据是由一个URL获取的数据，并且基于包含在来自信标发送器20的信标内的信标发送器标识符(ID)，根据由搜索服务器40选择的访问信息(URL)获取HTML。进一步地，由HTML参考的CSS和JavaScript可获取。

即，具有作为元件的HTML、CSS以及JavaScript(注册商标)的虚拟对象显示控制数据在真实世界三维空间内包括关于在一个特定的信标发送器20附近的各种设施的位置信息和指导信息，并且用于显示虚拟对象，例如，上面参考图3、图4说明的点(POI)位置识别标记和点对应注册信息并且执行显示控制。

稍后将说明数据的细节。

(步骤S106)

信息处理装置10使用关于在步骤S106中基于URL从信息提供服务器50中获取的数据(虚拟对象显示控制数据)内记录的注册信息设定点的位置信息以及摄像机拍摄的图像来计算在显示屏上的点位置识别标记的显示位置。

即，如上面参考图3、图4所说明的，信息处理装置10执行显示位置判定处理以在作为真实对象的拍摄图像中根据作为注册信息设定点的诸如售票中心、入口等的现实对象来显示作为虚拟对象的点位置识别标记。

在显示位置判定处理中，使用关于作为预先拍摄的参考图像的锚点以及在从信息提供服务器50获取的数据(虚拟对象显示控制数据)内的在虚拟的三维空间内的注册信息设定点的位置信息以及摄像机拍摄的图像。

稍后将描述显示位置判定处理的具体步骤。

(步骤S107)

最后，在步骤S107中，信息处理装置10显示在步骤S106中计算的显示位置中的点位置识别标记，并且进一步显示设施点对应注册信息。

例如，显示结果是上面参考图3、图4说明的(b)显示图像。

顺便提一下，在以上处理实例中，搜索服务器40提供访问信息(URL)，用于基于从信息处理装置10传输的信标获取关于信标装置20的邻近的信息。可替换地，搜索服务器40可以被配置成使用除了信标以外的数据。

例如，作为由信息处理装置10拍摄的缩减版本的图像的缩略图以及图像特征量数据可以发送至搜索服务器40，使得搜索服务器40可以确定与缩略图和图像特征量数据对应的位置，并且提供访问信息(URL)，用于获取关于确定的位置的邻近的信息的显示控制数据。

在这种情况下，搜索服务器40被配置成在存储单元内存储各种位置的拍摄图像以及访问信息的对应列表。此外，拍摄图像不限于位置的图像，而是书或海报的图像。基于从信息处理装置10中接收的数据，搜索服务器40从在存储单元内的对应列表中选择拍摄图像，包括与该数据匹配的图像，并且将与该图像对应设置的POI显示控制数据的访问信息(URL)提供给信息处理装置10。

可替换地，信息处理装置10可以在各种位置读取在设施中记录的标记或QR代码(注册商标)，并且将读取的数据发送至搜索服务器40，使得搜索服务器40可以基于所接收的数据搜索数据库，并且提供访问信息(URL)，用于获取关于记录所接收的标记或QR代码(注册商标)的位置的邻近的信息。

在这种情况下，搜索服务器40在存储单元内存储在各种位置记录的标记或QR代码(注册商标)的对应列表以及访问信息，基于从信息处理装置10中接收的标记或QR代码(注册商标)，执行数据搜索，并且给信息处理装置10提供与标记或QR代码(注册商标)对应记录的访问信息(URL)。

[3、关于判定注册信息设定点(POI)位置识别标记的显示位置的过程]

接下来，说明用于判定注册信息设定点(POI)位置识别标记的显示位置的过程。

如上面参考图5所说明的，信息处理装置10基于由搜索服务器提供的访问信息(URL)，从信息提供服务器50中获取虚拟对象显示控制数据。进一步地，信息处理装置10使用虚拟对象显示控制数据和摄像机拍摄的图像来计算在显示屏上的点位置识别标记的显示位置。

下面说明用于判定由信息处理装置10执行的点位置识别标记的显示位置的过程。

图7是示出包含在基于由搜索服务器提供的访问信息(URL)从信息提供服务器50(虚拟对象显示控制数据)中获取的数据内的HTML数据的一部分的示图。

在图7描述的HTML数据包括信息处理装置10使用的数据，以执行用于判定点位置识别标记的显示位置的过程。

在图7描述的数据是用于判定上面参考图3、图4说明的以下点位置识别标记的显示位置的HTML数据的实例。

点A(POI-A)位置识别标记111

点B(POI-B)位置识别标记121

在图7描述的HTML数据记录预先拍摄的参考图像以及关于包含在参考图像内的真实对象的相关位置和注册信息设定点的信息。

如图7所述，图7的HTML数据记录以下数据；

(1)第一参考真实对象信息

(2)第二参考真实对象信息

(3)点A对应信息

(4)点B对应信息

将参考图8说明参考真实对象信息(1)和(2)。

参考真实对象是存在于真实世界内的真实对象并且位于注册信息设定点附近。参考真实对象构成用于计算注册信息设定点的参考位置，并且称为锚点或锚点对象。参考对象的拍摄图像称为锚点图像。锚点图像仅仅用作计算位置的参考而不必与POI相关联。然而，锚点图像可以包括POI。为了提高参考位置的检测精度，可取地使用在真实空间内的特征对象的图像。此外，使用在真实空间内在各种位置中并且通过各种角度拍摄的多个锚点图像，可以进一步增强位置参考的检测精度。甚至在用户终端移动或旋转时，这能够进行位置检测。

参考图8说明参考真实对象的实例。

图8出存在于真实世界的城堡等的真实对象。

在图中示出的坐标轴(XYZ)是在三维位置中的真实世界内限定在真实对象之中的位置关系的虚拟三维空间坐标内的坐标轴。这些坐标轴并非绝对位置坐标，例如，GPS，而是局部坐标，其中，可以任意设置在虚拟三维空间坐标内的原点的位置。

如图8中所示，第一参考真实对象201是由包括城堡的上部分的区域构成的真实对象。

此外，第二参考真实对象202是由包括城堡的入口的区域构成的真实对象。

这些参考真实对象用于确定在真实世界的参考真实对象是否对应于在虚拟三维空间坐标内的位置，并且由用户终端用于确定虚拟三维空间坐标并且判定点位置识别标记在虚拟三维空间坐标中的显示位置。

关于参考真实对象的信息提前在由信息提供服务器50提供的HTML数据内注册。具体而言，参考真实对象信息包括以下信息。

(1)参考图像＝参考真实对象的拍摄图像(锚点图像)(anchor.png)

(2)关于包含在参考图像内的参考真实对象的位置信息(位置：表示在三维真实空间内的参考真实对象的位置的三维坐标数据(X,Y,Z))

(3)关于包含在参考图像内的参考真实对象的方向信息(旋转：表示参考真实对象的姿势的信息)。方向可以总体上由欧拉角表示。在该实例中，方向由经常用于3D图形内的四元数(x,y,z；w)数据表示。

(4)关于参考图像的区域(维度)信息(维度：横向长度和垂直长度)。

(5)在虚拟三维空间内的坐标单元与在真实空间内的3D坐标单元之间的参考图像的转换(单元：米或千米)。

(1)参考图像＝参考真实对象的拍摄图像(anchor.png)是例如在图8(b)中所示出的图像201p和202p。

(2)在关于包含在参考图像内的参考真实对象的位置信息内使用的坐标(表示在三维真实空间内的参考真实对象的位置的三维坐标数据(X,Y,Z))是例如在世界坐标系内的坐标。表示参考真实对象的位置的坐标以及表示点对应信息的位置的坐标在相同的坐标空间内。

(3)至于关于包含在参考图像内的参考真实对象的方向信息，关于参考真实对象的方向信息和点对应信息是相对于相同参考点的方向信息。

在图7中描述的HTML数据中，关于第一参考真实对象201(第一锚点信息)的参考真实对象信息包括以下数据：

<span typeof＝‘anchor’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘152,44,37’/>

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

<span property＝‘dimension’content＝‘13,7’/>

<span property＝‘src’content＝‘anchor1.png’/>

</span>

以上数据的意义如下：

<span property＝‘unit’content＝‘1m’/>

该数据表示数据单位，并且后续图的单位是一米：

<span property＝‘position’content＝‘152,44,37’/>

这是(2)关于包含在上面描述的参考图像内的参考真实对象的位置信息(表示在三维真实空间内的参考真实对象的位置的三维坐标数据(X,Y,Z))。

该数据表示(X,Y,Z)＝(152,44,37)。这等同于例如参考真实对象的中心位置的坐标。

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

这是(3)关于包含在上面描述的参考图像内的参考真实对象的方向信息四元数(x,y,z；w)。该数据表示(x,y,z:w)＝(63,44,99,3.3)。

<span property＝‘dimension’content＝‘13,7’/>

这是(4)上面描述的参考图像的区域(维度)信息(横向长度和垂直长度)。

具体而言，该数据表示第一参考图像是对应于13m宽和7m长的真实世界区域的图像。

<span property＝‘src’content＝‘anchor1.png’/>

这是(1)参考图像＝参考真实对象的拍摄锚点图像(anchor1.png)

例如，这是在图8(b)中示出的图像201p。

在图7中描述的HTML数据进一步记录以下数据作为关于第二参考真实对象202(第二锚点信息)的参考真实对象信息：

<span typeof＝‘anchor’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘173,43,44’/>

<span property＝‘rotation’content＝‘70,88,34,4.3’/>

<span property＝‘dimension’content＝‘13,7’/>

<span property＝‘src’content＝‘anchor2.png’/>

</span>

以上数据的意义与关于第一参考真实对象201(第一锚点信息)的参考真实对象信息的意义相似。

顺便提一下，在图7的实例中，参考真实对象(锚点信息)具有两个单元。然而，这是一个实例，并且参考真实对象(锚点信息)的任意数量的单元可以记录在HTML数据内。

进一步地，图7描述的HTML数据也记录关于注册信息设定点的信息，即，在图8示出的以下注册信息设定点：

(a)注册信息设定点A(POI-A)211

(b)注册信息设定点B(POI-B)212

具体而言，注册以下点对应信息：

(1)与注册信息设定点相关联的注册信息

(2)关于注册信息设定点的位置信息(表示在三维真实空间内的注册信息设定点的位置的三维坐标数据(X,Y,Z))

(3)关于注册信息设定点的方向信息(表示特定参考点的注册信息设定点的方向的信息，例如，拍摄了参考图像的摄像机)

(1)与注册信息设定点相关联的注册信息是诸如上面参考图3、图4说明的点对应注册信息112和122等信息。

在图7中描述的HTML数据中，关于注册信息设定点A(POI-A)211的点对应信息包括以下数据：

<div typeof＝‘poi’resource＝‘#poi-a’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝“163,43,32’/>

<span property＝‘rotation’content＝‘34,73,45,4.43’/>

<！–html elements of poi-a--->

</div>

以上数据的意义如下：

<span property＝‘unit’content＝‘1m’/>

该数据表示数据单位，并且后续图的单位是一米：

<span property＝‘position’content＝“163,43,32’/>

这是(2)关于注册信息设定点的位置信息(表示在三维真实空间内的注册信息设定点的位置的三维坐标数据(X,Y,Z))。

该数据表示(X,Y,Z)＝(163,43,32)。这等同于在三维真实空间内的注册信息设定点的位置坐标。

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

顺便提一下，如上所述，在此处使用的坐标是例如在世界坐标系内的坐标。表示参考真实对象的位置的坐标和表示点对应信息的位置的坐标在相同的坐标空间内。

<span property＝‘rotation’content＝‘34,73,45,4.43’/>

这是(3)关于上面描述的注册信息设定点的方向信息四元数(x,y,z；w)。该数据表示(x,y,z:w)＝(34,73,45,4.43)。

顺便提一下，如上所述，关于参考真实对象以及点对应信息的方向信息是相对于相同的参考点的方向信息。

<！–html elements of poi-a--->

这是(1)与上面描述的注册信息设定点相关联的注册信息，该信息是诸如上面参考图3、图4说明的点对应注册信息112和122等信息。

在图7描述的HTML数据进一步记录以下数据，作为关于注册信息设定点B(POI-B)212的点对应信息：

<div typeof＝‘poi’resource＝‘#poi-b’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝“163,39,28’/>

<span property＝‘rotation’content＝‘34,70,41,4.53’/>

<！–html elements of poi-a--->

</div>

以上数据的意义与关于上面说明的注册信息设定点A(POI-A)211的点对应信息的意义相似。

顺便提一下，在图7的实例中，注册信息设定点(POI)对应信息具有两个单元。然而，这是一个实例，并且注册信息设定点(POI)对应信息的任意数量的单元可以记录在HTML数据内。

如上所述，基于由搜索服务器提供的访问信息(URL)从信息提供服务器50中获取的HTML数据(虚拟对象显示控制数据)记录预先拍摄的参考图像以及关于包含在参考图像内的锚点对象和在虚拟三维空间内的注册信息设定点的位置信息。

具体而言，HTML数据包括以下数据；

参考真实对象的拍摄参考图像的数据；

包括包含在参考图像数据内的参考真实对象的位置、方向等的三维位置和姿势信息；以及

包括注册信息设定点的位置、方向等的三维位置和姿势信息。

以上信息由信息处理装置10用于执行判定点位置识别标记的显示位置的过程。

在图7的实例中，HTML数据记录锚点对象信息和注册设定点信息。可替换地，在HTML中的虚拟对象和注册设定点信息可以彼此相关联地记录在JavaScript(注册商标)内。依然可替换地，以上信息可以作为单独数据由JavaScript(注册商标)从信息提供服务器50中获取。因此，锚点对象信息和注册点信息可以不必记录在HTML内。

由信息处理装置(用户终端)10的数据处理单元执行的过程执行例如以下过程程序：

信息处理装置(用户终端)10的数据处理单元从信息提供服务器50中输入HTML数据(虚拟对象显示控制数据)，即，在虚拟3D空间坐标内记录预先拍摄的参考图像以及关于包含在参考图像内的真实对象和注册信息设定点的位置信息的HTML数据。

接下来，数据处理单元在作为包含在参考图像内的真实对象在显示单元上显示的拍摄图像内检测相同的真实对象(锚点)。数据处理单元使用关于检测的真实对象(锚点)的三维位置信息以及记录在虚拟对象显示控制数据内的相对位置信息，确定关于用户终端的位置信息。顺便提一下，数据处理单元执行三维位置和姿势信息分析过程，以从拍摄图像和参考图像中确定用户终端的位置。稍后描述该过程。进一步地，数据处理单元计算注册信息设定点在坐标系中的三维位置，用户终端作为原点。

数据处理单元基于所计算的位置信息计算在显示单元上显示的拍摄图像中的注册信息设定点的显示位置，并且在计算的显示位置中叠加并显示作为虚拟对象的点位置识别标记。为了叠加并显示虚拟对象，CSS三维变换(TRANSFORMS)功能可以用于三维显示。

根据以上程序，数据处理单元根据在拍摄图像中的注册信息设定点，显示点位置识别标记。

顺便提一下，该过程程序记录在由信息处理装置10从信息提供服务器50中获取的JavaScript(注册商标)中。

接下来，参考图9，说明作为由信息处理装置10获取的虚拟对象显示控制数据以及来自信息提供服务器50的在图7描述的HTML数据的一个元件的JavaScript(注册商标)数据的配置实例。JavaScript(注册商标)用作虚拟对象的显示控制程序。

图9描述基于由搜索服务器提供的访问信息(URL)从信息提供服务器50中获取的JavaScript(注册商标)数据的一部分。

在图9描述的JavaScript(注册商标)等同于记录用于信息处理装置10判定点位置识别标记的显示位置的过程程序的处理程序。

根据在图9描述的过程步骤(S201到S209)，依次说明由信息处理装置10的数据处理单元基于在图9描述的JavaScript(注册商标)执行的过程。

(步骤S201)

首先，信息处理装置10的数据处理单元输入由信息处理装置的摄像机拍摄的拍摄图像输入流。

拍摄图像是目前通过摄像机输入的图像数据。拍摄图像在显示单元上连续显示。顺便提一下，在此处说明的拍摄图像表示由摄像机功能拍摄的图像，并且可以被记录或者不被记录在存储单元中。

(步骤S202)

接下来，在步骤S202中，信息处理装置10的数据处理单元输入第一参考真实对象信息(第一锚点信息)。

第一参考真实对象信息(第一锚点信息)是在上面参考图7说明的HTML数据内记录的第一参考真实对象信息(第一锚点信息)。

即，第一参考真实对象信息包括关于第一参考真实对象(第一锚点)的以下信息：

(1)参考图像＝参考真实对象的拍摄图像(锚点图像)(anchor1.png)

(2)关于包含在参考图像内的参考真实对象的位置信息(表示在三维真实空间内的参考真实对象的位置的三维坐标数据(X,Y,Z))

(3)表示关于包含在参考图像内的参考真实对象的方向信息的四元数(x,y,z；w)。

(4)关于参考图像的区域(维度)信息(横向长度和垂直长度)。

信息处理装置10的数据处理单元从HTML数据中读取以上第一参考真实对象信息(第一锚点信息)。

(步骤S203)

接下来，在步骤S203中，信息处理装置10的数据处理单元输入第二参考真实对象信息(第二锚点信息)。

第二参考真实对象信息(第二锚点信息)是在上面参考图7说明的HTML数据内记录的第二参考真实对象信息(第二锚点信息)。

顺便提一下，在图9的实例中，读取参考真实对象信息(锚点信息)的两个单元。然而，这是仅仅一个实例，并且实际上，读取在HTML数据内记录的参考真实对象信息(锚点信息)的所有单元。

(步骤S204)

接下来，在步骤S204中，信息处理装置10的数据处理单元输入注册信息设定点A(POI-A)对应信息。

注册信息设定点A(POI-A)对应信息是在上面参考图7说明的HTML数据中记录的点A对应信息。

即，注册信息设定点A(POI-A)对应信息包括关于注册信息设定点A的以下信息：

(1)与注册信息设定点相关联的注册信息

(2)关于注册信息设定点的位置信息(表示在三维真实空间内的注册信息设定点的位置的三维坐标数据(X,Y,Z))

(3)表示关于注册信息设定点的方向信息的四元数(x,y,z；w)。

信息处理装置10的数据处理单元从HTML数据中读取以上点A(POI-A)对应信息。

(步骤S205)

接下来，在步骤S205中，信息处理装置10的数据处理单元输入注册信息点B(POI-B)对应信息。

注册信息设定点B(POI-B)对应信息是在上面参考图7说明的HTML数据内记录的点B对应信息。

顺便提一下，在图9的实例中，读取注册信息设定点(POI)对应信息的两个单元。然而，这是仅仅一个实例，并且实际上读取记录在HTML数据中的注册信息设定点(POI)对应信息的所有单元。

(步骤S206)

接下来，在步骤S206中，信息处理装置10的数据处理单元通过用于从参考图像中确定在用户终端内的摄像机的位置的过程(三维位置分析过程)记录计算结果，作为JavaScript(注册商标)的功能(事件处理函数)。

使用在步骤S202到S205获取的以下信息，执行在步骤S206之前的定位过程：

(1)通过拍摄参考真实对象所获得的参考图像数据以及包括包含在参考图像数据内的参考真实对象的位置、方向等的三维位置和姿势信息

(2)包括注册信息设定点的位置、方向等的三维位置和姿势信息

(3)在步骤S201中输入的拍摄图像

顺便提一下，执行定位过程(三维位置和姿势信息分析过程)作为例如使用同时定位和映射(simultaneous localization and mapping)(SLAM)的过程。SLAM是用于从包含在摄像机拍摄的图像内的各种真实对象中选择特征点并且检测所选择的特征点的位置以及摄像机的位置和姿势的过程。此外，在本申请的申请人在作为先申请案提交的日本专利第5380789号中描述了SLAM。

为了执行具有SLAM的过程，信息处理装置10的数据处理单元输入必要的参数，例如，信息处理装置的显示单元(显示器)和摄像机的位置、方向(旋转)以及区域(维度)。

具有SLAM的三维位置和姿势分析过程的概述如下：

首先，从摄像机拍摄的图像中检测与参考真实对象一致的真实对象。这由关于从HTML数据中获取的拍摄参考真实对象的参考图像数据和拍摄图像的特征点比较(特征点匹配)执行。

接下来，基于在包含在参考图像内的对象与包含在摄像机拍摄的图像内的对象之间的差异，分析从摄像机拍摄的图像中检测的拍摄对象的三维位置和姿势。

拍摄了参考图像的摄像机的位置和当前图像拍摄位置(信息处理装置(用户终端)的摄像机位置)不匹配，并且包含在参考图像内的对象和包含在摄像机拍摄的图像内的对象的方向和尺寸不同。

分析这些差异，并且参考对应于从摄像机拍摄的图像中检测的参考对象的拍摄对象，分析在真实空间内的摄像机的三维位置和姿势。

顺便提一下，在信息处理装置内使用摄像机设置信息(例如，透镜放大)、位置和方向信息以及摄像机的角度信息，执行这些分析。

接下来，计算关于在HTML数据内记录的参考真实对象的位置、方向、尺寸等的信息、在真实空间内关于摄像机的三维位置和姿势信息、以及在虚拟三维空间内包含在拍摄图像内的注册信息设定点(POI)的位置和方向。

顺便提一下，由以上过程计算的摄像机的位置由例如在世界坐标系内的三维位置camaraPosition的坐标(Xw,Yw,Zw)表示。此外，表示摄像机的方向的camaraRotation和表示摄像机的视角的CameraViewAngle由四元数表示。

(步骤S207)

接下来，在步骤S207中，信息处理装置10的数据处理单元将注册信息设定点A(POI-A)和注册信息设定点B(POI-B)的三维位置坐标转换成摄像机坐标。

摄像机坐标构成坐标系，其中，根据摄像机的方向设置XYZ坐标轴，用于摄像机的视点(成像单元)，cameraPosition和cameraRotation在原点。

在步骤S207中，在世界坐标系中在HTML数据内记录的注册信息设定点A(POI-A)和注册信息设定点B(POI-B)的坐标(Xw,Yw,Zw)从在步骤S206中由三维定位获得的在世界坐标系内的摄像机的位置和方向转换成在摄像机坐标系内的坐标(Xc,Yc,Zc)。

(步骤S208)

接下来，在步骤S208中，信息处理装置10的数据处理单元将注册信息设定点A(POI-A)和注册信息设定点B(POI-B)的摄像机坐标转换成显示单元(显示器)坐标。

显示单元坐标构成坐标系，其中，在向右的方向设置X轴，并且在向左的方向设置Y轴，例如，显示单元的左上角在圆点。在该步骤中，在后续显示过程中不使用在摄像机的视场外面的注册设定点。

在步骤S208中，数据处理单元将在步骤S207中计算的摄像机坐标系中的注册信息设定点A(POI-A)和注册信息设定点B(POI-B)的坐标(Xc,Yc,Zc)转换成显示单元坐标(Xd,Yd)。

顺便提一下，为了执行三维图像显示，为左眼显示单元和右眼显示单元计算显示单元坐标。即，这些坐标是左眼显示单元的显示单元坐标(Xdl,Ydl)以及右眼显示单元的显示坐标(Xdr,Ydr)。

顺便提一下，在该步骤中，需要在摄像机坐标系中根据Z轴的值(距离)，设置具有视差的左眼图像和右眼图像，并且设置根据在水平坐标(例如，Xdl和Xdr的坐标值)之间的视差的差异。

顺便提一下，根据三维图像生成过程的传统算法，执行这些过程。

(步骤S209)

接下来，在步骤S209中，信息处理装置10的数据处理单元显示在注册信息设定点A(POI-A)的显示单元(显示器)坐标位置内的点A(POI-A)位置识别标记以及在注册信息设定点B(POI-B)的显示单元(显示器)坐标位置内的点B(POI-B)位置识别标记。

这些点(POI)位置识别标记是在上面参考图3、图4说明的在显示图像内显示的点(POI)位置识别标记。

如上所述，信息处理装置10使用基于由搜索服务器提供的访问信息(URL)从信息提供服务器50中获取的HTML数据和JavaScript(注册商标)数据由三维定位过程确定摄像机的位置和方向，并且基于确定结果计算包含在拍摄图像内的注册信息设定点(POI)内的显示单元(显示器)坐标位置，并且显示坐标位置中的点(POI)位置识别标记。

进一步地，在点(POI)位置识别标记的显示位置附近显示关于具有点(POI)位置识别标记的注册信息设定点的注册信息。

可以根据CSS规则，设置注册信息的显示位置以及注册信息和点(POI)位置识别标记的显示模式，例如，颜色、字符、角度等，作为从信息提供服务器50中与HTML数据和JavaScript(注册商标)数据一起接收的样式表。

[4、关于由信息处理装置执行的过程的序列]

接下来，参考在图10描述的流程图，说明由信息处理装置(用户终端)10执行的过程的序列。

将依次说明由信息处理装置10执行的以下过程。

(1)用于获取虚拟对象显示控制数据并且显示虚拟对象的过程以及用于诸如用户的触摸等事件的过程(图10到图11)

(2)三维定位过程的设置(图12)

(3)用于基于作为三维定位的结果的事件检测显示虚拟对象的过程(图13)

(4)用于三维定位的过程和用于通知作为定位结果的事件的过程(图14到图15)

顺便提一下，以上过程均由信息处理装置10的数据处理单元执行。数据处理单元包括具有程序执行功能的CPU以根据存储在信息处理装置10的存储单元中的程序执行这些过程。

此外，存储在信息处理装置10的存储单元内的一些程序包括从信息提供服务器50中接收的程序，例如，JavaScript(注册商标)。

[4-1、用于获取虚拟对象显示控制数据并且显示虚拟对象的过程]

首先，参考在图10到图11描述的流程图，说明用于获取虚拟对象显示控制数据并且显示虚拟对象的过程的序列。

下面依次说明在图10和图11中描述的过程流程的步骤。

(步骤S301)

首先，在步骤S301中，信息处理装置执行信标检测以确定是否接收了信标发送器的信标。

在检测信标时该过程移动到步骤S302。

(步骤S302)

在检测信标时，在步骤S302中，信息处理装置请求搜索服务器获取与信标发送器相关联的虚拟对象显示控制数据的地址(URL)。

在做出请求时，信息处理装置给搜索服务器传输包含在信标内的信标ID以及由终端支持的三维定位方法(定位方法(localization method))的识别信息(ID)。

(步骤S303)

接下来，在步骤S303中，信息处理装置从搜索服务器接收用于获取与信标发送器相关联的虚拟对象显示控制数据的地址(URL)。

(步骤S304)

接下来，在步骤S304中，信息处理装置在显示单元上显示从搜索服务器中接收的获取与信标发送器相关联的虚拟对象显示控制数据的地址(URL)。搜索服务器可以传输属性信息，例如，表示显示控制数据的标题以及URL，并且信息处理装置可以在显示单元上显示用户容易理解的信息，代替URL。

(步骤S305)

接下来，在步骤S305中，信息处理装置确定用户是否提供获取虚拟对象显示控制数据的地址(URL)以及属性信息(例如，在显示单元上显示的标题)的显示指令。

在检测用户的显示指令时，该过程移动到步骤S306。在未检测时，该过程返回步骤S301。

(步骤S306)

接下来，在步骤S306中，信息处理装置激活Web浏览器，并且根据来自信息提供服务器的规定的URL，获取用户访问的虚拟对象显示控制数据。

顺便提一下，如上所述，从信息提供服务器中获取的虚拟对象显示控制数据具体由以下数据等构成：

(1)超文本标记语言(HTML)

(2)级联样式表(CSS)

(3)JavaScript(注册商标)

HTML是表示在信息处理装置的显示单元上显示的虚拟对象的基本结构的数据，并且例如是HTML 5。

CSS是限定由HTML限定的虚拟对象配置数据的显示格式、颜色、形状等的样式表，作为限定在信息处理装置的显示单元上显示的虚拟对象的样式的数据。

JavaScript(注册商标)是限定用于显示虚拟对象的过程、用于更新显示的过程或者用于移动和更新虚拟对象的过程的显示控制程序。例如，控制各种活动，例如，改变虚拟对象的显示模式，用户在显示对象上的诸如触摸和点击等各种事件或者诸如经过作为触发器的预定的时间段等事件。

虚拟对象显示控制数据是由一个URL获取的数据。可以基于包含在来自信标发送器的信标内的信标发送器标识符(ID)，由搜索服务器选择的访问信息(URL)获取HTML。

具体而言，具有要素(例如，HTML、CSS以及JavaScript(注册商标))的虚拟对象显示控制数据包括关于在一个特定的信标发送器附近的各种设施的位置信息和指导信息。该数据是用于显示虚拟对象(例如，上面参考图3、图4说明的点(POI)位置识别标记和点对应注册信息)并且执行显示控制的数据。

(步骤S307)

接下来，在步骤S307中，信息处理装置判定虚拟对象的显示位置和显示模式，并且使用从信息提供服务器中获取的虚拟对象显示控制数据，在显示单元上显示虚拟对象。顺便提一下，例如，使用Web渲染程序和网页显示控制程序(JavaScript(注册商标))执行该过程。

顺便提一下，在显示单元上显示的虚拟对象是例如注册信息设定点(POI)位置识别标记以及与上面参考图3、图4说明的注册信息设定点(POI)相关联的注册信息。

关于这些虚拟对象的基本信息记录在包含在从信息提供服务器中获取的虚拟对象显示控制数据内的HTML数据内。可以根据包含在同样从信息提供服务器中获取的虚拟对象显示控制数据内的CSS设置这些虚拟对象的显示模式。

(步骤S308)

接下来，在步骤S308中，信息处理装置确定用于更新在显示单元上显示虚拟对象的作为触发器的事件的检测的存在或不存在。

作为触发器的用于更新显示虚拟对象的事件包括各种事件，例如，用户在显示单元上触摸、从显示虚拟对象开始的经过预定的时间以及显示屏的移动。

在由信息提供服务器提供的JavaScript(注册商标)中描述执行显示更新的要检测的事件，并且根据描述执行显示更新。

此外，事件检测可以不仅根据由信息提供服务器提供的JavaScript(注册商标)执行，而且根据由信息处理装置保持的显示控制程序执行，使得可以根据检测的事件，执行显示更新。

在步骤S308中检测用于更新在显示单元上显示虚拟对象的作为触发器的任何事件时，该过程移动到步骤S309。

(步骤S309)

接下来，在步骤S309中，信息处理装置基于Web渲染程序和网页显示控制程序(JavaScript(注册商标)等)执行显示数据(虚拟对象)的更新，作为事件过程。

[4-2、用于设置定位过程锚点信息的过程]

接下来，参考在图12描述的流程图，说明用于设置定位过程锚点信息的过程的序列。例如，图12的流程图描述根据在图9描述的JavaScript(注册商标)程序的步骤S201到S206执行的JavaScript(注册商标)程序的过程。在图12描述的对象表示由JavaScript(注册商标)处理的对象。

下面依次说明在图12描述的流程图的步骤。

(步骤S401)

接下来，在步骤S401中，信息处理装置获取锚点对象，包括在从信息提供服务器中接收的HTML数据中描述的参考图像。可以从JavaScript(注册商标)程序中获取HTML数据，作为文档对象模型(DOM)对象。

如上文参考图7所说明的，在HTML数据中描述的锚点信息对象包括以下数据：

(1)参考图像＝作为锚点的参考图像(anchor1.png)

(2)关于包含在参考图像内的锚点的位置信息(表示在虚拟三维真实空间内的锚点的位置的三维坐标数据(X,Y,Z))

(3)关于包含在参考图像内的锚点的方向信息(表示在三维真实空间内的方向的四元数(x,y,z；w))。

(4)关于参考图像的区域(维度)信息(横向长度和垂直长度)。

(步骤S402)

接下来，在步骤S402中，信息处理装置从使用信息处理装置的摄像机功能拍摄的视频捕捉对象中获取移动图像流对象。

(步骤S403)

接下来，在步骤S403中，信息处理装置获取三维位置确定过程(Spacelocalization)对象。

(步骤S404)

接下来，在步骤S404中，信息处理装置将在步骤S402中获取的移动流对象设置为三维位置计算过程(Spacelocalization)对象。通过步骤S402到S404，信息处理装置可以处理在三维位置确定过程中由摄像机拍摄的移动图像流。

(步骤S405)

接下来，在步骤S405中，信息处理装置将在步骤S401中获取的锚点对象设置为在步骤S404中设置的三维位置计算过程(Spacelocalization)拍摄对象，并且使用锚点ID记录(在存储单元内存储)这些对象。因此，将在HTML数据中描述的锚点信息输入三维位置计算过程内。

(步骤S406)

接下来，在步骤S406中，信息处理装置确定是否完成使所有锚点与空间位置确定过程对象相关联的过程。

在未完成该过程时，该过程返回步骤S405，以将锚点对象设置为未处理的数据。

在确定完成使锚点对象与空间位置计算过程对象相关联的过程时，该过程移动到步骤S407。

(步骤S407)

接下来，在步骤S407中，信息处理装置记录三维位置确定过程(空间定位(Spacelocalization))对象的事件(三维位置结果事件)处理函数。

顺便提一下，事件处理函数是作为触发器的事件，用于过程开始，作为在三维位置确定中来自包含在锚点信息内的参考图像以及由摄像机拍摄的移动图像流的在虚拟三维空间内的摄像机的位置和方向的计算结果。

具体而言，这是在由信息处理装置的成像单元拍摄的图像因用户的运动、摄像机的拍摄方向的运动等而移动预定的量(预设的限定值)或更多的量时生成的事件处理函数，并且检测在虚拟三维空间内的摄像机的位置和方向的变化。在步骤S407中记录事件处理函数时，使用三维位置计算过程(空间定位)对象，开始计算摄像机的三维位置的过程。

顺便提一下，在从信息提供服务器中接收的JavaScript(注册商标)中记录根据预定的移动量的事件生成的精度，即，事件的频率。这在记录事件处理函数时设置并且输入三维位置确定处理单元内。

[4-3、用于基于虚拟对象显示事件的检测来显示虚拟对象的过程]

接下来，参考在图13中描述的流程图，说明基于虚拟对象显示事件的检测的虚拟对象显示过程的序列。该流程图描述了根据在图9中描述的JavaScript(注册商标)程序的在步骤S207到S209中的三维定位过程事件功能中执行的JavaScript(注册商标)程序的过程。

依次说明在图13中描述的流程图的步骤。

(步骤S501)

首先，在步骤S501中，信息处理装置确定是否发生三维位置确定过程(空间定位)对象的事件。该确定对应于确定是否调用在图12中描述的在步骤S407中记录的事件处理函数。

在步骤S501中确定发生了三维位置驾驶员过程的事件时，该过程移动到步骤S502。

(步骤S502)

在步骤S502中确定发生了显示或更新虚拟对象的事件时，信息处理装置在步骤S502中获取终端显示单元(显示器)的位置、方向以及区域(维度)以及摄像机的位置、方向以及角度。该步骤表示传递以上信息，作为记录的事件处理函数的参数，如在图12中所描述的。

(步骤S503)

接下来，在步骤S503中，信息处理装置获取在HTML数据中描述的注册信息设定点(POI)对应信息(关于坐标、方向等的三维位置和姿势信息)。如在图12的步骤S401中所述，在HTML数据中记录的注册信息设定点(POI)信息可以作为DOM对象由JavaScript(注册商标)程序获取，与在获取在HTML数据中记录的锚点信息的情况下一样。

(步骤S504)

接下来，在步骤S504中，信息处理装置将关于从在步骤S503中从信息提供服务器中接收的HTML数据中获取的注册信息设定点(POI)的坐标、方向等的三维位置和姿势信息转换成在终端显示单元(显示器)坐标系内的坐标，并且在POI列表中保存这些坐标。

在转换过程中，具有两个阶段，其中，注册信息设定点(POI)的位置和姿势的POI坐标转换成用户终端坐标系，用户终端(摄像机)在原点，然后，在终端坐标系内的转换的POI坐标进一步转换成显示装置坐标系。

为了从用户终端坐标系转换成显示装置坐标系，在虚拟三维空间内需要摄像机的位置和方向以及终端显示单元(显示器)的位置和方向。因此，使用在步骤S502中获取的信息。尤其地，在显示器的方向与摄像机的方向不一致的情况下，需要通过考虑方向的差异计算在显示坐标系内的POI的显示位置。

(步骤S505)

接下来，在步骤S505中，信息处理装置确定所有POI是否完成坐标转换和列表注册。

在未完成时，该过程返回步骤S503，以在未处理的POI上执行在步骤S503和S504中的过程.

在确定所有POI完成坐标转换和列表注册时，该过程移动到步骤S506。

(步骤S506)

在确定所有POI完成坐标转换和列表注册时，信息处理装置在步骤S506中从生成的POI列表中依次选择POI。

(步骤S507)

接下来，在步骤S507中，信息处理装置确定从列表中选择的POI的坐标(在显示单元坐标系内的坐标)是否在显示单元的显示范围内。在虚拟三维空间内从摄像机的位置和方向以及终端显示单元(显示器)的位置和方向中确定是否在显示范围内。尤其地，在信息处理装置在显示单元的部分上显示拍摄单元的视频时，可以根据拍摄视频的显示位置计算POI的显示位置，并且可以在拍摄视频中看到的真实对象的位置中叠加POI。

在POI的坐标不在显示单元的显示范围内时，POI的处理停止，并且该过程返回步骤S506，以从POI列表中选择下一个POI。

在步骤S507中确定从列表中选择的POI的坐标(在显示单元坐标系内的坐标)在显示单元的显示范围内时，该过程移动到步骤S508。

(步骤S508)

在确定从列表中选择的POI的坐标(在显示单元坐标系内的坐标)在显示单元的显示范围内时，信息处理装置在步骤S508中显示所选的POI的点位置识别标记和注册信息。顺便提一下，例如，使用CSS等设置这些虚拟对象的显示模式。

(步骤S509)

接下来，在步骤S509中，信息处理装置确定是否完全处理所有POI。

在具有任何未处理的POI时，该过程返回步骤S506以从POI列表中选择下一个未处理的POI，并且执行步骤S507和后续步骤。

在步骤S509中确定完全处理所有POI时，该过程结束。

[4-4、用于三维位置确定的过程]

接下来，参考图14到图15，说明摄像机三维位置确定过程的序列。例如，在这些流程图中的过程在由信息提供服务器50提供的显示控制数据中并非由JavaScript(注册商标)执行，而是由在信息处理装置的记录单元内记录的程序执行。这能够避免三维位置确定的算法由JavaScript(注册商标)程序公开的问题，并且由在信息处理装置中的硬件的高速处理等高速、高精度并且低功耗地执行三维位置确定。

下面依次说明在图14到图15中描述的流程图的步骤。

(步骤S601)

首先，在步骤S601中，信息处理装置的数据处理单元获取摄像机拍摄的图像的分辨率以及摄像机的透镜放大。通过获取在信息处理装置的摄像机控制单元的存储器内记录的摄像机设置信息执行该步骤。

(步骤S602)

接下来，在步骤S602中，信息处理装置初始化连接至信息处理装置的运动传感器。具体而言，信息处理装置重设在过去测量的数据，并且执行初始化过程，以将当前位置和倾角(方向)设置为初始值。运动传感器是用于确定信息处理装置的位置和姿势的陀螺仪或加速度传感器。

(步骤S603)

接下来，在步骤S603中，信息处理装置从在从信息提供服务器中获取的HTML数据(参见图7)中描述的参考真实对象信息(锚点信息)中提取特征点，即，在图12中描述的步骤S405中包含在设置在三维位置确定过程中的(锚点信息)内的参考图像。

(步骤S604)

接下来，在步骤S604中，信息处理装置确定是否完成从对应于在图12中描述的步骤S405中在设置在三维位置确定过程中的所有参考真实对象信息(锚点信息)的参考图像中提取特征点的过程。

在具有任何未处理的参考图像时，该过程返回步骤S603，以从未处理的参考图像中提取特征点。

在确定完成从对应于从信息提供服务器中获取的在HTML数据(见图7)中描述的所有参考真实对象信息(锚点信息)的参考图像中提取特征点的过程时，该过程移动到步骤S605。

(步骤S605)

在确定完成从对应于从信息提供服务器中获取的在HTML数据(见图7)中描述的所有参考真实对象信息(锚点信息)的参考图像中提取特征点的过程时，信息处理装置的数据处理单元在步骤S605中开始输入摄像机拍摄的图像。

(步骤S606)

接下来，在步骤S606中，信息处理装置的数据处理单元从摄像机拍摄的图像的帧中提取特征点。

(步骤S607)

接下来，在步骤S607中，信息处理装置的数据处理单元获取运动传感器的观察值。

(步骤S608)

接下来，在步骤S608中，信息处理装置的数据处理单元通过使参考图像(锚点图像)的特征点与摄像机拍摄的图像的特征点匹配，在真实空间内计算包括摄像机的位置和方向的三维位置和姿势信息。例如，使用上面描述的SLAM技术执行该过程。

(步骤S609)

接下来，在步骤S609中，信息处理装置确定通过使所有参考图像(锚点图像)的特征点与摄像机拍摄的图像的特征点匹配是否完成三维位置和姿势信息。

在具有任何未处理的参考图像时，该过程返回步骤S608，以处理未处理的参考图像。

在确定完全处理所有参考图像时，该过程移动到步骤S610。

(步骤S610)

接下来，在步骤S610中，信息处理装置基于匹配在所有参考图像和摄像机拍摄的图像内的特征点的结果，在真实空间内计算关于摄像机的位置和方向的最终三维位置和姿势信息。

在步骤S608中，计算对应于每个参考图像(锚点图像)的摄像机三维位置和姿势信息，并且为多个参考图像计算不同的摄像机三维位置和姿势信息。

在步骤S610中，例如，多个值经受平均化等，以计算三维位置和姿势信息，包括在真实空间内的摄像机的最终位置和方向。通过使用多个锚点参考图像确定三维位置和姿势，甚至在用户移动或改变摄像机的方向时，能够进行位置确定。此外，在摄像机拍摄的视频内检测多个锚点时，定位精度可以提高。进一步地，通过组合在终端内的运动传感器，可以甚至在拍摄的视频中未检测到锚点时估计摄像机的位置和方向。

(步骤S611)

接下来，在步骤S611中，信息处理装置检测从在前一个帧中确定的摄像机的三维位置和姿势到在当前帧中计算的三维位置和姿势的变化量。使用在由运动传感器检测的摄像机的运动造成的帧视频中的运动模糊的补偿，执行检测。通过将摄像机姿势信息和关于在帧视频内的模糊的校正的信息传递给事件处理函数，在根据JavaScript(注册商标)的控制下在摄像机拍摄的视频上叠加的情况下，可以校正显示模糊。

(步骤S612)

接下来，在步骤S612中，信息处理装置确定在步骤S611中检测的变化量等于还是大于预定的阈值。

阈值是在显示控制数据中从JavaScript(注册商标)程序中预设并且在图12中描述的步骤S407中保存在记录单元内的值。

在确定在显示单元上显示的图像的位置改变预定的或更大的阈值时，该过程移动到步骤S613。

(步骤S613)

在确定摄像机的三维位置和姿势改变预定的或更大的阈值时，在步骤S613中，信息处理装置设置显示单元的位置、方向以及区域(维度)和摄像机的位置、方向以及角度信息，作为三维定位姿势的结果，并且开始事件处理函数的过程。

顺便提一下，为了开始显示和更新虚拟对象的过程，信息处理装置的数据处理单元根据上面参考图13描述的过程流程执行该过程，然后，执行显示或更新虚拟对象的过程。

[5、关于开始显示虚拟对象或更新显示的作为触发器的事件]

在以上实例中，上面说明超过预定的阈值等的用户终端(摄像机)的位置和姿势的变化，作为事件的一个实例，该时间作为显示注册信息设定点(POI)位置标识符和对应于作为要在显示单元上显示的虚拟对象的注册信息设定点(POI)的注册信息的过程或者用于更新显示的过程的触发器。

然而，可以不仅作为显示虚拟对象的过程或更新显示器的过程的触发器根据用户终端(摄像机)的位置和姿势的变化在摄像机拍摄的视频内看到的真实对象上叠加并显示POI，而且由JavaScript(注册商标)根据JavaScript(注册商标)程序实现各种显示过程并且显示触发器。此外，信息提供器可以不仅使用HTML和CSS的显示控制功能用文本显示POI，而且提供各种显示方法。

信息处理装置(用户终端)10的数据处理单元执行用于显示关于在信息处理装置附近的注册信息设定点的注册信息的过程或者作为触发器用于根据各种预定背景(情况)的变化通过检测事件更新显示的过程。

具体而言，例如，数据处理单元可以基于作为触发器的以下信息利用检测事件执行用于启动或更新显示虚拟对象的过程：

(1)信息处理装置(用户终端)的位置

(2)时间

(3)具有信息处理装置(用户终端)的用户的活动历史

(4)在信息处理装置或服务器内记录的用户进度信息

(5)用户物理信息(心跳、脉搏等)

(6)在商店的销售信息等

(7)关于信息处理装置(用户终端)的设置信息

(8)信息处理装置(用户终端)的用户的属性(年龄、性别、兴趣等)

(9)信息处理装置(用户终端)的用户的视线

(1)作为触发器基于信息处理装置(用户终端)的位置执行通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下：

在用户通过信息处理装置(用户终端)移动时，通过检测从信息处理装置(用户终端)到注册信息设定点(POI)的距离在预定的距离(3m)内的事件，执行开始或更新显示虚拟对象的过程。在这种情况下，在真实世界内的信息终端的位置和方向可以由三维位置确定过程从参考真实对象信息(锚点信息)中跟踪的状态中，信息处理装置(用户终端)和注册信息设定点(POI)由三维位置确定过程测量，并且注册信息设定点(POI)不必包含在拍摄的视频内。

此外，为了执行该过程，显示控制程序(例如，JavaScript(注册商标))限定执行一系列以下操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设定点(POI)的距离

(b)比较已测距离和预定的阈值

(c)在已测距离等于或小于预定的阈值时，确定发生事件

(2)说明作为触发器基于时间通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下：

例如，在信息处理装置(用户终端)的用户在餐厅营业的11:00am在餐厅附近时，显示餐厅的位置、餐厅的菜单等，作为虚拟对象。

此外，为了执行该过程，显示控制程序(例如，JavaScript(注册商标))限定执行一系列以下操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设定点(POI)的距离

(b)比较已测距离和预定的阈值

(c)获取当前时间

(d)在已测距离等于或小于预定的阈值时并且在打开注册信息设定点(POI)(例如，餐厅)的时间，确定发生事件

此外，信息提供服务器给信息处理装置提供注册信息设定点对应注册信息，包括餐厅的菜单等，作为虚拟对象。

(3)说明基于信息处理装置(用户终端)的用户的活动历史通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下：

分析信息处理装置(用户终端)的用户的运动状态(步行、跑步或乘汽车、火车等的高速运动)，并且显示根据分析信息的最佳信息，作为虚拟对象。

在用户步行时，例如，显示根据运动位置和速度的路线信息、旅游景点指导信息、休息室位置信息等，作为虚拟对象。

此外，为了执行该过程，显示控制程序(例如，JavaScript(注册商标))限定执行一系列以下操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设定点(POI)的距离

(b)比较已测距离和预定的阈值

(c)在已测距离等于或小于预定的阈值时，确定发生事件

此外，信息提供服务器给信息处理装置提供路线信息、旅游景点指导信息、休息室位置信息等，作为虚拟对象。

(4)说明作为触发器基于在信息处理装置或服务器内记录的用户进度信息通过检测事件开始或更新虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下所述。

为了执行该过程，需要在信息处理装置或信息提供服务器的存储器内提前记录用户进度信息。

在开始记录的进度计划时或者在开始时间之前的特定时间，信息处理装置(用户终端)显示进度计划的指定位置、进度信息等，作为虚拟对象。

此外，为了执行该过程，显示控制程序(例如，JavaScript(注册商标))限定执行一系列以下操作的程序：

(a)获取记录的进度信息

(b)获取当前时间

(c)在记录的进度信息内的设置时间或者在设置时间之前的特定时间，确定发生事件

此外，信息提供服务器给信息处理装置提供进度计划的指定位置、进度信息等，作为虚拟对象。

(5)说明作为触发器基于用户物理信息(心跳、脉搏等)通过检测事件开始或更新虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下所述。

为了执行该过程，需要设置用于将来自测量用户物理信息的传感器的检测信息输入信息处理装置内的配置。

传感器测量用户的心跳、脉搏等，并且将测量信息输出给信息处理装置。

具体而言，在用户参加马拉松赛跑时，例如，用户的信息处理装置的数据处理单元显示关于用户的心跳和脉搏状态的信息，例如，鼓励用户深呼吸或休息的信息或关于相邻休息点的指导信息，作为虚拟对象。

此外，为了执行该过程，显示控制程序(例如，JavaScript(注册商标))限定执行一系列以下操作的程序：

(a)获取来自传感器的用户物理信息

(b)根据输入的物理信息，确定事件

此外，信息提供服务器给信息处理装置提供根据用户的心跳和脉搏状态的信息，例如，鼓励用户深呼吸或休息的信息或关于相邻休息点的指导信息，作为虚拟对象。

(6)说明作为触发器基于在商店的销售信息等通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下：

例如，在信息处理装置(用户终端)的用户在商店开始销售的10:00am在商店附近时，信息处理装置显示商店的位置、在商店的销售的描述等，作为虚拟对象。

此外，为了执行该过程，显示控制程序(例如，JavaScript(注册商标))限定执行一系列以下操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设定点(POI)的距离

(b)比较已测距离和预定的阈值

(c)获取当前时间

(d)在已测距离等于或小于预定的阈值时并且在打开注册信息设定点(POI)(例如，商店)的时间，确定发生事件

此外，信息提供服务器给信息处理装置提供注册信息设定点对应注册信息，包括关于在商店的销售的描述，作为虚拟对象。

(7)说明基于在关于信息处理装置(用户终端)的设置信息通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下所述。

例如，关于信息处理装置(用户终端)的设置信息是关于显示语言的设置、关于存在或不存在音频输出的设置等。

例如，在显示语言设置为日语时，提供日语注册信息，作为虚拟对象。在显示语言设置为英语时，提供英语注册信息，作为虚拟对象。此外，在关于音频输出的设置打开时，可以输出音频注册信息。

此外，为了执行该过程，例如，显示控制程序(例如，JavaScript(注册商标))限定执行用于根据以上实例检测注册信息设定点(POI)的操作以及以下操作的程序：

(a)获取关于信息处理装置(用户终端)的设置信息

此外，信息提供服务器根据关于信息处理装置(用户终端)的设置信息给信息处理装置提供语言、显示数据或音频数据。

(8)说明基于信息处理装置(用户终端)的用户的属性(年龄、性别、兴趣等)通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下所述。

为了执行该过程，需要在信息处理装置或信息提供服务器的存储器内提前记录关于用户的年龄、性别、兴趣等的用户属性信息。

信息处理装置根据记录的用户属性，显示虚拟对象，包括最佳提供信息。

此外，为了执行该过程，例如，显示控制程序(例如，JavaScript(注册商标))限定执行用于根据以上实例检测注册信息设定点(POI)的操作以及以下操作的程序：

(a)获取关于信息处理装置(用户终端)的设置信息

此外，信息提供服务器根据关于信息处理装置(用户终端)的设置信息给信息处理装置提供虚拟对象，包括最佳提供信息。

参考图16和图17，说明虚拟对象的具体显示实例。

图16示出虚拟物体的显示实例，记录表示用户是30到50岁并且喜欢喝酒的中年男人的用户属性信息。

例如，假设具有相同属性的多个用户(30到50岁并且喜欢喝酒的中年男人)拿着其单独的信息处理装置在公司步行。

在这种情况下，在其相应信息处理装置上显示在图16中示出的虚拟对象。

具体而言，依次显示表示供应酒的餐厅和酒吧的位置的点(POI)位置识别标记301以及点(POI)对应注册信息302。

图17示出虚拟物体的显示实例，记录表示用户是20到30岁并且喜欢购物的女人的用户属性信息。

在这种情况下，在信息处理装置上显示在图17中示出的虚拟对象。

具体而言，依次显示表示销售20到30岁的女人似乎更喜欢的物品的商店的位置的点(POI)位置识别标记321以及点(POI)对应注册信息322。

(9)说明基于信息处理装置(用户终端)的用户的视线作为触发器通过检测事件开始或更新显示虚拟对象的过程的具体实例。例如，该过程的一个具体实例如下所述。

为了执行该过程，需要设置用于将检测信息从测量用户的视线的传感器中输入信息处理装置内的配置。

传感器检测用户的视线的方向，并且将检测信息输出给信息处理装置。

信息处理装置的数据处理单元执行用于基于优先级显示关于存在于用户的视线的方向的注册信息设定点(POI)的注册信息的过程。

此外，为了执行该过程，例如，显示控制程序(例如，JavaScript(注册商标))限定执行用于根据以上实例检测注册信息设定点(POI)的操作以及以下操作的程序：

(a)输入用户的视线的方向的检测结果并且判定显示对象

如上所述，各种事件可以设置为构成用于显示虚拟对象的过程或用于更新显示的过程的触发器的事件。

[6、关于信息处理装置和服务器的配置实例]

接下来，说明信息处理装置(用户终端)、信息提供服务器以及搜索服务器的配置实例。

图18是示出信息处理装置(用户终端)10的配置实例的方框图。

如在图18所示，信息处理装置10具有信标检测单元501、数据处理单元(控制单元)502、运动传感器503、存储单元504、摄像机(成像单元)505、输入单元506、输出单元(显示单元)507、通信单元508、各种传感器509以及定时器510。

信标检测单元501检测从信标发送器20中传输的信标。

数据处理单元(控制单元)502在信息处理装置10中执行各种数据处理操作。具体而言，例如，数据处理单元(控制单元)502执行根据上面描述的流程图的过程。例如，数据处理单元(控制单元)502具有带程序执行功能的CPU，并且执行根据存储在存储单元504内的程序的过程。

运动传感器503是检测信息处理装置的运动的传感器。运动传感器503由检测运动方向、倾角、加速度等的各种传感器构成。

存储单元504由例如RAM、ROM、HDD以及其他介质构成，以存储由数据处理单元502执行的程序、各种参数等。存储单元504进一步用作由数据处理单元执行的数据处理的工作区域。

摄像机(成像单元)505执行图像拍摄。顺便提一下，如上所述，在拍摄三维图像的情况下，摄像机(成像单元)505在分开的位置具有两个成像单元，并且在拍摄三维图像的情况下，摄像机(成像单元)505具有一个成像单元。

输入单元506是用户输入各种指令的用户操作单元。顺便提一下，在显示单元配置成触控面板时，显示单元也用作输入单元。

输出单元507由显示单元、音频输出单元等构成。显示单元根据上面描述的过程显示真实对象，作为摄像机拍摄的图像，并且叠加并显示点(POI)位置识别标记和点(POI)对应注册信息，作为从信息提供服务器中获取的虚拟对象。

通信单元508是与信息提供服务器、搜索服务器以及其他外部装置通信的通信单元。

各种传感器509是测量各种用户调节的传感器，例如，视线传感器和脉搏传感器。

数据处理单元502可以根据传感器检测信息更新显示虚拟对象。

定时器510检测当前时间，测量从预定的时间经过的时间等。

图19是描述由执行各种过程的数据处理单元502执行的数据处理程序的层配置的层次图。

数据处理单元502在操作系统(OS)层上执行各种应用。

在图中示出的通信处理应用是检测信标、获取URL并且指导显示处理设备基于URL显示网页的应用。通信处理应用执行在图10描述的步骤S301到S306。

显示处理应用执行显示由摄像机拍摄的图像的过程、显示由信息提供服务器提供的虚拟对象的过程等。

此外，显示处理应用作为触发器在发生事件时执行显示显示控制数据的过程以及显示虚拟对象并且更新显示的过程。

此外，显示处理应用在图19中在显示处理应用下执行输出或更新显示信息的过程以及由3D空间定位库、显示控制库以及网页显示库执行的过程。

3D空间定位库基于由摄像机拍摄的对象以及参考图像执行三维定位过程，用于计算信息处理装置的三维位置、方向(倾角)等。具体而言，3D空间定位库使用上面描述的SLAM技术等，执行三维定位过程。

显示控制库是作为触发器在发生事件(例如，用户的操作)时执行在显示单元上显示虚拟对象的过程以及用于更新显示的过程的WebKit和JavaScript(注册商标)的执行单元。

网页显示库由WebKit WebCore等构成，并且执行显示网页的过程。

这些应用和库在OS层上可操作。OS层控制应用执行的总体过程，并且控制在硬件(HW)层和应用程内设置的各种处理单元之间输入/输出命令、参数等。

图20示出了作为信息提供服务器或搜索服务器适用的通信设备的硬件配置实例。

中央处理单元(CPU)701用作根据存储在只读存储器(ROM)702或存储单元708内的程序执行各种过程的数据处理单元。例如，CPU 701根据上面相对于以上实例说明的序列执行过程。随机存取存储器(RAM)703存储由CPU 701执行的程序，、数据等。CPU 701、ROM 702以及RAM703通过总线704连接在一起。

CPU 701通过总线704连接至输入/输出接口705。输入/输出接口705连接至由各种开关、键盘、鼠标、麦克风等构成的输入单元706以及由显示器、扬声器等构成的输出单元707。例如，CPU 701响应于通过输入单元706输入的指令，执行各种过程，并且将处理结果输出给输出单元707。

例如，连接至输入/输出接口705的存储单元708与硬盘等构成，并且存储由CPU701执行的程序和各种数据。通信单元709用作发送器/接收器，用于通过网络(例如，互联网和局域网)的数据通信，以与外部设备通信。

连接至输入/输出接口705的驱动器710驱动可移除介质711(例如，磁盘、光盘、磁光盘)或半导体存储器(例如，记忆卡)，以记录数据或读取数据。

[7、本公开的配置的概述]

目前参考具体实例，详细描述了本公开的实例。然而，显然，在不背离本公开的主旨的情况下，本领域的技术人员可以修改该实例，或者使用另一个实例代替该实例。即，本发明通过例证的形式公开，并且不应通过限制的方式说明。为了确定本公开的主旨，应参考权利要求。

顺便提一下，在本文中公开的技术可以采用以下配置。

(1)一种信息处理装置，包括：

成像单元；

显示单元，显示由所述成像单元拍摄的图像；以及

数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息，其中，

所述数据处理单元输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息，并且通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理，并且

所述数据处理单元结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

(2)根据(1)所述的信息处理装置，其中，

所述虚拟对象的所述显示控制数据包括：HTML(超文本标记语言)数据，记录关于在三维空间中的作为通过拍摄所述真实对象而获得的所述参考图像的所述锚点以及所述注册信息设定点的位置信息；以及显示控制程序，并且

所述数据处理单元从由所述成像单元拍摄的图像检测所述锚点；从检测出的所述锚点在虚拟三维空间坐标中的位置和方向确定在虚拟三维空间中的所述成像单元的位置；计算所述注册信息设定点在作为所述显示单元的坐标系的显示单元坐标系中的位置；并且在所计算出的位置中显示表示所述注册信息设定点的所述虚拟对象。

(3)根据(1)或(2)所述的信息处理装置，其中，如果所述注册信息设定点的位置移动预定阈值以上，则所述数据处理单元执行用于更新在所述显示单元上的所述虚拟对象的显示的处理。

(4)根据(1)到(3)中任一项所述的信息处理装置，其中，如果用户输入了指令，则所述数据处理单元执行用于在所述显示单元上显示所述虚拟对象的处理或者用于更新显示的处理。

(5)根据(1)到(4)中任一项所述的信息处理装置，其中，如果在所述信息处理装置与所述注册信息设定点之间的距离变得等于或小于预定阈值，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

(6)根据(1)到(5)中任一项所述的信息处理装置，其中，如果与所述注册信息设定点相关联的预先定义的时间来临，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

(7)根据(1)到(6)中任一项所述的信息处理装置，其中，如果确定所述信息处理装置的用户的活动历史与预先定义的活动历史彼此一致，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

(8)根据(1)到(8)中任一项所述的信息处理装置，其中，所述数据处理单元根据关于所述信息处理装置的用户的预先注册的计划信息在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

(9)根据(1)到(8)中任一项所述的信息处理装置，进一步包括检测关于所述信息处理装置的用户的身体信息的传感器，其中，

如果在来自所述传感器的输入与预先定义的条件之间存在匹配，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

(10)根据(1)到(9)中任一项所述的信息处理装置，其中，所述数据处理单元根据关于所述信息处理装置的设置信息改变所述注册信息的输出模式。

(11)根据(1)到(10)中任一项所述的信息处理装置，其中，所述数据处理单元根据记录在所述信息处理装置中的用户属性信息选择待输出的所述注册信息。

(12)根据(1)到(11)中任一项所述的信息处理装置，进一步包括检测所述信息处理装置的用户的视线方向的传感器，其中，

所述数据处理单元在所述显示单元上显示在由所述传感器检测出的用户的视线方向上的关于所述注册信息设定点的所述注册信息。

(13)一种由信息处理装置执行的信息处理方法，其中，

所述信息处理装置包括：成像单元；显示单元，显示由所述成像单元拍摄的图像；以及数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息，其中，

所述数据处理单元输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息；并且通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理，并且

所述数据处理单元结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

(14)一种程序，用于使信息处理装置执行信息处理，其中，

所述信息处理装置包括：成像单元；显示单元，显示由所述成像单元所拍摄的图像；以及数据处理单元，在所述显示单元上显示包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息的虚拟对象，并且

所述程序使所述信息处理单元：

输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息；

通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理；并且

结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

此外，在本文中说明的这系列过程可以由硬件、软件或这两者的组合执行。在由软件执行过程的情况下，读取过程序列的程序可以安装在包含在专用硬件内的计算机的存储器内，以供执行，或者可以安装在能够执行各种过程的通用计算机内，以供执行。例如，该程序可以提前记录在记录介质内。该程序可以从记录介质中安装到计算机内，或者该程序可以通过网络(例如，局域网(LAN)和互联网)接收，并且安装在记录介质(例如，内部硬盘等)内。

顺便提一下，在本文中描述的各种过程可以根据描述基于时间系列执行，或者可以根据执行过程的设备的性能并行或者单独或者必要时执行。此外，在本文中描述的系统是多个设备的逻辑组件，但是作为构成元素的设备可以不包含在相同的外壳内。

工业实用性

如上所述，根据本公开的实例的配置，可以实现通过其执行显示关于注册信息设定点的注册信息的过程以及根据作为触发器的背景变化通过检测事件更新显示的过程的一种设备和方法。

具体而言，执行显示包括关于真实世界注册信息设定点的注册信息的虚拟对象的控制。数据处理单元执行显示在所述显示控制数据内描述的注册信息的过程以及根据预先定义的背景变化更新显示的过程。进一步地，数据处理单元结合注册信息的显示，显示表示注册信息设定点的虚拟对象。数据处理单元基于在虚拟三维空间内从拍摄的图像中检测的参考图像(锚点)的位置、方向等，计算在信息处理装置与注册信息设定点之间的位置关系，并且基于所计算的位置关系以及背景的变化，显示表示注册信息设定点的虚拟对象。

根据该配置，可以实现通过其执行显示关于注册信息设定点的注册信息的过程以及根据作为触发器的背景变化通过检测事件更新显示的过程的一种设备和方法。

符号说明

10 信息处理装置(用户终端)

20 信标发送器

30 网络

40 搜索服务器

50 信息提供服务器

101和102 注册信息设定点(POI)

111和121 点(POI)位置识别标记

121和122 点(POI)对应注册信息

201和202 参考真实对象

211和212 注册信息设定点(POI)

301 点(POI)位置识别标记

302 点(POI)对应注册信息

321 点(POI)位置识别标记

322 点(POI)对应注册信息

501 信标检测单元

502 数据处理单元(控制单元)

503 运动传感器

504 存储单元

505 摄像机

506 输入单元

507 输出单元(显示单元等)

508 通信单元

509 各种传感器

510 定时器

701 CPU

702 ROM

703 RAM

704 总线

705 输入/输出接口

706 输入单元

707 输出单元

708 存储单元

709 通信单元

710 驱动器

711 可移除介质

Claims (14)

1.一种信息处理装置，包括：

成像单元；

显示单元，显示由所述成像单元拍摄的图像；以及

数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息，其中，

所述数据处理单元输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息，并且通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理，并且

所述数据处理单元结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

2.根据权利要求1所述的信息处理装置，其中，

所述虚拟对象的所述显示控制数据包括：HTML(超文本标记语言)数据，记录关于在三维空间中的作为通过拍摄所述真实对象而获得的所述参考图像的所述锚点以及所述注册信息设定点的位置信息；以及显示控制程序，并且

所述数据处理单元从由所述成像单元拍摄的图像检测所述锚点；从检测出的所述锚点在虚拟三维空间坐标中的位置和方向确定在虚拟三维空间中的所述成像单元的位置；计算所述注册信息设定点在作为所述显示单元的坐标系的显示单元坐标系中的位置；并且在所计算出的位置中显示表示所述注册信息设定点的所述虚拟对象。

3.根据权利要求1所述的信息处理装置，其中，如果所述注册信息设定点的位置移动预定阈值以上，则所述数据处理单元执行用于更新在所述显示单元上的所述虚拟对象的显示的处理。

4.根据权利要求1所述的信息处理装置，其中，如果用户输入了指令，则所述数据处理单元执行用于在所述显示单元上显示所述虚拟对象的处理或者用于更新显示的处理。

5.根据权利要求1所述的信息处理装置，其中，如果在所述信息处理装置与所述注册信息设定点之间的距离变得等于或小于预定阈值，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

6.根据权利要求1所述的信息处理装置，其中，如果与所述注册信息设定点相关联的预先定义的时间来临，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

7.根据权利要求1所述的信息处理装置，其中，如果确定所述信息处理装置的用户的活动历史与预先定义的活动历史彼此一致，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

8.根据权利要求1所述的信息处理装置，其中，所述数据处理单元根据关于所述信息处理装置的用户的预先注册的计划信息在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

9.根据权利要求1所述的信息处理装置，进一步包括检测关于所述信息处理装置的用户的身体信息的传感器，其中，

如果在来自所述传感器的输入与预先定义的条件之间存在匹配，则所述数据处理单元在所述显示单元上显示关于所述注册信息设定点的所述注册信息。

10.根据权利要求1所述的信息处理装置，其中，所述数据处理单元根据关于所述信息处理装置的设置信息改变所述注册信息的输出模式。

11.根据权利要求1所述的信息处理装置，其中，所述数据处理单元根据记录在所述信息处理装置中的用户属性信息选择待输出的所述注册信息。

12.根据权利要求1所述的信息处理装置，进一步包括检测所述信息处理装置的用户的视线方向的传感器，其中，

所述数据处理单元在所述显示单元上显示在由所述传感器检测出的用户的视线方向上的关于所述注册信息设定点的所述注册信息。

13.一种由信息处理装置执行的信息处理方法，其中，

所述信息处理装置包括：成像单元；显示单元，显示由所述成像单元拍摄的图像；以及数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息，其中，

所述数据处理单元输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息；并且通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理，并且

所述数据处理单元结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。

14.一种程序，用于使信息处理装置执行信息处理，其中，

所述信息处理装置包括：成像单元；显示单元，显示由所述成像单元所拍摄的图像；以及数据处理单元，在所述显示单元上显示包括关于包含在所拍摄的图像中的真实世界的注册信息设定点的注册信息的虚拟对象，并且

所述程序使所述信息处理单元：

输入虚拟对象的显示控制数据，所述显示控制数据记录作为在真实世界中拍摄的真实对象的参考图像的锚点以及在虚拟三维空间坐标系中的关于所述锚点的位置信息和关于所述注册信息设定点的位置信息；

通过对根据作为触发器的预定义背景的变化的事件的检测来执行用于显示被描述在所述显示控制数据中的所述注册信息的处理或者执行用于更新显示的处理；并且

结合所述注册信息的显示来显示表示所述注册信息设定点的所述虚拟对象。