[go: up one dir, main page]

CN111937045B - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN111937045B
CN111937045B CN201980021444.4A CN201980021444A CN111937045B CN 111937045 B CN111937045 B CN 111937045B CN 201980021444 A CN201980021444 A CN 201980021444A CN 111937045 B CN111937045 B CN 111937045B
Authority
CN
China
Prior art keywords
user
virtual space
distance
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980021444.4A
Other languages
English (en)
Other versions
CN111937045A (zh
Inventor
高桥慧
石川毅
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111937045A publication Critical patent/CN111937045A/zh
Application granted granted Critical
Publication of CN111937045B publication Critical patent/CN111937045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[问题]为了提供一种信息处理装置、信息处理方法和记录介质，通过其用户可以识别虚拟空间的边界，同时不破坏虚拟空间的世界观。[解决方案]该信息处理装置设置有控制单元，该控制单元用于：通过跟踪用户的运动来向用户呈现虚拟空间的图像；并且在执行用户向固定在虚拟空间中的特定位置处的边界区域接近的操作输入时，执行用于增加用户的视点与虚拟空间中的边界区域之间的距离的距离控制。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开涉及信息处理装置、信息处理方法和记录介质。
背景技术
近年来，已经提出了VR(虚拟现实)技术，其用于通过使用佩戴在用户的头部或面部上的显示装置或所谓的头戴式显示器(HMD)，向用户呈现虚拟现实空间的视频和声音。配置安装在头部上的HMD来阻挡外部世界增强了所观看和收听的虚拟现实的感觉。
另外，VR技术使得能够跟随用户的头部的运动而呈现通过剪切广角图像的一部分而获得的图像。例如，如下面的PTL 1中所述，可以从陀螺仪传感器等获取用户的头部的运动，并且可以获得实际上感觉到跟随用户的头部的运动的360度全向视频。通过移动广角图像中的显示区域以抵消由陀螺仪传感器检测到的头部的运动，可以实现自由视点观看和视点移动环境。
另外，使用识别HMD的位置的位置跟踪技术使得在实际空间中向前、向后、向左或向右移动的用户也能够在虚拟空间中以相同的移动量向前、向后、向左或向右移动。因此，用户能够享受更加沉浸式的VR体验。
引用列表
专利文献
PLT1：国际公开第WO 2016/002318号
发明内容
本发明要解决的问题
然而，呈现为虚拟空间的某些内容仅具有指定范围内的内容，或者仅允许在由壁等指定的范围内移动。在这种情况下，当用户移动超过壁或指定范围时，屏幕会变黑，或者会渲染不是原始内容的CG，这是因为没有可呈现至用户的内容。这将原始内容的世界观损坏成不一致的，从而降低了用户体验。
因此，本公开提出了一种信息处理装置、信息处理方法和记录介质，其均使得用户能够识别虚拟空间的边界而不会破坏虚拟空间的世界观。
解决问题的手段
根据本公开，提出了一种信息处理装置，该信息处理装置包括控制单元，该控制单元用于：跟踪用户的运动以向用户呈现虚拟空间的图像；并且在输入用户向边界区域靠近的操作的同时，执行用于增加用户的视点与虚拟空间中的边界区域之间的距离的距离控制。边界区域固定在虚拟空间中的特定位置处。
根据本公开，提出了一种信息处理方法，该信息处理方法包括由处理器进行以下操作：跟踪用户的运动以向用户呈现虚拟空间的图像；并且在输入用户向边界区域靠近的操作的同时，执行用于增加用户的视点与虚拟空间中的边界区域之间的距离的距离控制。边界区域固定在虚拟空间中的特定位置处。
根据本公开，提出了一种记录有程序的记录介质，该程序使计算机用作控制单元，该控制单元用于：跟踪用户的运动以向用户呈现虚拟空间的图像；并且在输入用户向边界区域靠近的操作的同时，执行用于增加用户的视点与虚拟空间中的边界区域之间的距离的距离控制。边界区域固定在虚拟空间中的特定位置处。
本发明的效果
如上所述，根据本公开，可以使用户识别虚拟空间的边界而不会破坏虚拟空间的世界观。
应当注意，上述效果不一定是限制性的。除了上述效果之外或者代替上述效果，还可以施加本描述中指示的任何效果或可以根据本描述理解的其他效果。
附图说明
[图1]图1是描述根据本公开的实施例的信息处理系统的概述的图。
[图2]图2是描述虚拟空间的边界的图。
[图3]图3是示出用户在真实空间中的移动量与用户在虚拟空间中的移动量之间的关系的图。
[图4]图4是描述当用户移动超过虚拟空间的边界(例如壁)时呈现穿透边界的表达的情况的图。
[图5]图5是示出在图4示出的示例中用户在真实空间中的移动量与用户在虚拟空间中的移动量之间的关系的图。
[图6]图6是描述当用户移动超过虚拟空间的边界(例如壁)时呈现防止用户的视点前进超过边界的表达的情况的图。
[图7]图7是示出在图6示出的示例中用户在真实空间中的移动量与用户在虚拟空间中的移动量之间的关系的图。
[图8]图8是描述根据本实施例的信息处理系统中包括的每个装置的配置的示例的框图。
[图9]图9是描述在本实施例的第一工作示例中在用户向边界靠近的情况下使屏幕变暗的显示控制的图。
[图10]图10是描述在本实施例的第二工作示例中在用户向边界靠近的情况下使边界移开的显示控制的图。
[图11]图11是描述通过沿用户的移动输入方向移动虚拟空间的原点来实现图10示出的表达方法的情况的图。
[图12]图12是描述通过沿与用户的移动输入方向相反的方向移动用户的视点来实现图10示出的表达方法的情况的图。
[图13]图13是示出在图10示出的示例中真实空间中的用户位置与虚拟空间中的用户、壁及虚拟对象之间的位置关系的图。
[图14]图14是描述在本实施例的第三工作示例中在用户向边界靠近的情况下使边界移开的显示控制的图。
[图15]图15是示出在图14示出的示例中真实空间中的用户位置与虚拟空间中的用户及每个对象之间的位置关系的图。
[图16]图16是示出当用户向边界区域靠近时在根据本实施例的系统的操作处理中执行的显示控制的流程的示例的流程图。
[图17]图17是示出根据本实施例的信息处理装置的硬件配置的示例的框图。
具体实施方式
以下参照附图详细描述本公开的优选实施例。应当注意，在本描述和附图中，具有基本上相同的功能配置的部件由相同的附图标记指示，并且因此省略了其冗余的描述。
另外，按以下顺序给出描述。
1.根据本公开的实施例的信息处理系统的概述
2.配置示例
3.边界区域显示控制
3-1.第一工作示例
3-2.第二工作示例
3-3.第三工作示例
3-4.补充信息
4.操作处理
5.硬件配置示例
6.结论
《1.根据本公开的实施例的信息处理系统的概述》
图1是描述根据本公开的实施例的信息处理系统的概述的图。如图1所示，根据本实施例的系统1包括显示装置10、传感器装置20、信息处理装置30和内容服务器40。显示装置10向用户呈现虚拟空间的图像。传感器装置20跟随用户的运动。信息处理装置30生成虚拟空间的图像，并且在显示装置10上对该图像执行显示控制。图像显示在显示装置10上。内容服务器40存储虚拟空间的内容信息。
显示装置10例如被实现为佩戴在用户的头部上的HMD。HMD包括例如用于左眼和右眼的各个图像显示单元，并且HMD被配置成用耳机控制听觉和控制视觉。另外，HMD还能够使左眼和右眼看到不同的视频，并且能够通过针对左眼和右眼显示具有视差的图像来呈现3D图像。另外，显示装置10可以是非佩戴的显示器，例如电视装置、智能电话或平板终端。
传感器装置20是感测真实空间以识别用户的位置和姿势的装置。例如，传感器装置20包括成像单元和声音拾取单元。
信息处理装置30从内容服务器40获取虚拟空间的内容。另外，信息处理装置30根据用户的运动从内容生成自由视点图像，并且将所生成的自由视点图像提供至显示装置10。用户的运动包括用户的位置和姿势。信息处理装置30基于通过对用户进行感测而获得的各种感测数据来跟随用户的位置和姿势。例如，信息处理装置30可以基于从传感器装置20获取的感测数据执行位置跟踪，并且基于从显示装置10获取的感测数据执行头部跟踪和眼睛跟踪。在本实施例中描述了用于使信息处理装置30执行跟踪处理的技术，但是本公开不限于该技术。例如，传感器装置20可以是具有位置跟踪功能的跟踪装置，或者显示装置10可以被配置成也用作执行头部跟踪和眼睛跟踪的跟踪装置。
要提供至用户的虚拟空间的内容是全向内容、自由视点内容、游戏内容等。自由视点内容使用由多个摄像装置捕获的视频来生成放置在任何位置处的虚拟摄像装置的视频，并且使得能够从每个视点观看和收听视频。例如，对从多个摄像装置获取的人和对象的3D模型进行组合和补充，从而使得能够从包括没有摄像装置的角度的任何视点进行观看。内容包括记录内容和实时内容。
本文使用的术语“虚拟空间”(或“VR空间”)是指可以由实际用户经由一个或更多个显示装置识别的空间。在虚拟空间中，用户可以经由一个或更多个用户界面影响虚拟空间中的对象。虚拟空间由一个或更多个处理器模拟，并且可以具有包括与真实空间对应的物理定律的交互规则。虚拟空间可以被视为用真实环境代替的虚拟工作环境的一种表达。本文使用的术语“用户界面”是指使得用户能够向虚拟世界发送输入或从虚拟世界接收输出的实际装置。在虚拟空间中，用户可以表示为化身。可替选地，在显示器上不显示化身，但是可以从化身的视点显示虚拟空间的世界。本文的虚拟空间中的用户(或化身)的视点可以被视为虚拟摄像装置的视场。本文使用的“虚拟摄像装置”是指虚拟空间中的视点，并且用于在显示器(显示装置)上将三维虚拟空间渲染为二维图像的计算。
系统1还可以包括用于向系统发送用户的意图的远程控制器或游戏控制器。
假定用户能够通过执行位置跟踪或使用远程控制器在虚拟空间中移动。位置跟踪使得在实际空间中向前、向后、向左或向右移动的用户也能够在虚拟空间中以相同移动量向前、向后、向左或向右移动。因此，用户能够享受更加沉浸式的VR体验。
(背景)
在此，要被用户观看和收听的内容被认为具有有限的显示区域或允许用户在受限的范围内移动。例如，这对应于实际拍摄的自由视点内容没有用于显示区域外部的数据的情况(一般而言，自由视点内容的可移动区域有时被限制在狭窄的范围内)。另外，这还对应于由于内容是CG内容但涉及房间的内部而不适合离开房间的情况。
显示区域的这样的端部或固定在虚拟空间中的特定位置处的虚拟空间的终止被称为“边界区域”，或简称为“边界”。图2示出了描述虚拟空间的边界的图。如图2所示，虚拟空间具有用户能够在其中移动的区域E1和用户无法在其中移动的区域E2。它们之间的界限用作边界S。此时，通过使用传感器装置20来跟踪用户在真实空间中的位置，并且将用户在真实空间中的移动量反映在虚拟空间中的移动量中。图3是示出用户在真实空间中的移动量与用户在虚拟空间中的移动量之间的关系的图。如图3所示，虚拟空间中的用户位置与真实空间中的用户位置的移动成比例。
这允许用户的视点甚至移动超过虚拟空间的边界例如壁。对于用户与虚拟空间的壁碰撞的情况，存在两种常规方法作为表达方法。第一示例是如图4所示在用户的视点与虚拟空间中的壁41碰撞的情况下使用户的视点穿透壁41的表达方法。在该方法中，当用户试图移动超过壁时，用户的视点移动超过壁而将虚拟空间渲染为黑色或将虚拟空间渲染为指示壁内部的CG。壁41或虚拟对象42的位置在虚拟空间中不改变。图5是示出在图4示出的示例中用户在真实空间中的移动量与用户在虚拟空间中的移动量之间的关系的图。如图5所示，当用户移动穿过边界例如壁时，虚拟空间被渲染为黑色或渲染为CG，并且壁前面的世界是可见的。该方法不能使得用户强烈意识到边界的存在。另外，该方法具有不能保持边界前的原始内容的世界观的问题。
另外，另一表达方法是如图6所示在用户与虚拟空间中的壁41碰撞的情况下防止用户的视点前进超过壁41的表达方法。即使用户在真实空间中移动，该方法也防止用户的视点移动超过虚拟空间中的壁。另外，壁41或虚拟对象42的位置在虚拟空间中不改变。图7是示出在图6示出的示例中用户在真实空间中的移动量与用户在虚拟空间中的移动量之间的关系的图。如图6所示，即使用户到达边界例如壁处并且用户还继续在真实空间中移动，用户的显示位置也根本不会从壁的位置改变。该方法不会将碰撞之后用户的移动反馈至用户的视场，并且因此可能导致用户识别出系统未正确工作。另外，该方法提供与在用户移动出跟踪范围的情况下所提供的表达相同的表达。因此，期望甚至在用户到达虚拟空间中的移动区域的端部的情况下，也期望在系统正确工作的同时将与用户在真实空间中的移动量对应的反馈通知给用户。
以这种方式，常规的表达方法偏离了原始内容的世界观。因此，这大大破坏了世界观，并且损坏了沉浸感。
因此，在本实施例中，当在这样的受限内容中用户向边界区域靠近并且几乎与边界碰撞时，执行特定的表达，例如增加用户的视点与虚拟空间中的边界区域之间的距离。这使得用户能够识别边界而不会破坏虚拟空间的世界观。
以上已经描述了根据本公开的实施例的信息处理系统。接下来，参照附图描述根据本实施例的信息处理系统中包括的每个装置的具体配置。
《2.配置示例》
图8是描述根据本实施例的信息处理系统中包括的每个装置的配置的示例的框图。
(显示装置10)
如图8所示，显示装置10包括控制单元11、发光单元12、显示单元13、扬声器14、传感器单元15和通信单元16。显示装置10在例如观察显示图像的用户的头部上佩戴和使用。显示装置10以预定周期将由传感器单元15感测到的信息发送至信息处理装置30。
控制单元11用作算术处理装置和控制装置，并且根据各种程序控制显示装置10的整体操作。例如，控制单元11被实现为电子电路例如CPU(中央处理单元)或微处理器。另外，控制单元11可以包括：存储要使用的程序、算术参数等的ROM(只读存储器)；以及暂时存储适当改变的参数等的RAM(随机存取存储器)。
发光单元12包括例如一个或更多个LED灯、红外发光单元等。发光单元12用于执行外向内位置跟踪，该外向内位置跟踪通过使用外部摄像装置来识别显示装置10的位置。
在显示装置10被配置为HMD的情况下，显示单元13包括分别固定在用户的左眼和右眼处的左屏幕和右屏幕，并且显示针对左眼的图像和针对右眼的图像。例如，显示单元13的屏幕包括诸如液晶显示器(LCD：液晶显示器)或有机EL(电致发光)显示器的显示面板或诸如视网膜直接显示器的激光扫描显示器。另外，显示单元13包括图像形成光学系统，该系统放大并投影显示屏幕，并且在用户的瞳孔上形成放大的虚拟图像。放大的虚拟图像具有预定的视角。
在显示装置10被配置为HMD的情况下，扬声器14被配置为佩戴在用户的头部上的耳机，并且再现音频信号。应当注意，扬声器14不限于耳机型，而是可以被配置为耳机或骨传导扬声器。
传感器单元15包括例如运动传感器，该运动传感器包括诸如陀螺仪传感器、加速度传感器和地磁传感器的多个传感器的组合。传感器单元15可以是能够检测例如总共九个轴的传感器：三轴陀螺仪传感器；三轴加速度传感器和三轴地磁传感器。可替选地，传感器单元15可以是陀螺仪传感器、加速度传感器或地磁传感器中的至少任何一个。由传感器单元15感测到的数据被控制单元11有规律地从通信单元16发送至信息处理装置30，并且被用于计算佩戴显示装置10的用户的头部的姿势。
另外，传感器单元15可以包括检测佩戴显示装置10的用户的视线的视线检测传感器。例如，视线检测传感器可以是：向内摄像装置，例如设置在位于用户的眼睛前方的显示单元13周围的红外传感器(红外发光单元和红外摄像装置)；感测用户的眼睛周围肌肉的运动的肌电传感器；脑电波传感器等。
通信单元16以有线或无线方式耦合至信息处理装置30，并且发送和接收数据。例如，通信单元16通过有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)等建立到信息处理装置30的通信耦合。
以上已经具体描述了显示装置10的配置，但是根据本公开的显示装置10的配置不限于图8示出的示例。例如，在显示装置10被配置为HMD的情况下，还可以设置用于获取用户声音的麦克风。另外，在显示装置10被配置为HMD的情况下，还可以设置用于执行内向外位置跟踪的向外摄像装置。
(传感器装置20)
传感器装置20包括控制单元21、成像单元22、声音拾取单元23和通信单元24。传感器装置20是安装在用户周围的外部传感器，并且可以设置多个外部传感器。
控制单元21用作算术处理装置和控制装置，并且根据各种程序控制传感器装置20的整体操作。例如，控制单元21被实现为电子电路例如CPU(中央处理单元)或微处理器。另外，控制单元21可以包括存储要使用的程序、算术参数等的ROM(只读存储器)以及暂时存储适当改变的参数等的RAM(随机存取存储器)。
成像单元22是对设置到由用户佩戴的显示装置10(HMD)的LED灯或红外发光单元的光进行成像的摄像装置。由成像单元22获取的捕获图像有规律地发送至信息处理装置30，并且用于对用户的位置和用户的视线进行计算(外向内位置跟踪)。可以设置多个成像单元22。
声音拾取单元23拾取用户声音和周围环境声音，以向控制单元21输出音频信号。控制单元21可以通过分析拾取的声音来提取预定命令，并且执行控制例如对传感器装置20供电/断电。另外，所拾取的声音可以发送至信息处理装置30，并且在信息处理装置30中经受声音分析，以提取预定命令。可替选地，所拾取的声音可以经由虚拟空间发送至通信伙伴。可以设置多个声音拾取单元23。
通信单元24以有线或无线方式耦合至信息处理装置30，并且发送和接收数据。例如，通信单元24通过有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)等建立到信息处理装置30的通信耦合。
以上已经具体描述了传感器装置20的配置，但是根据本公开的传感器装置20的配置不限于图8示出的示例。例如，传感器装置20不必包括声音拾取单元23，但是可以包括多个装置。
(信息处理装置30)
信息处理装置30包括控制单元31、通信单元32和存储单元33。信息处理装置30具有生成要输出至显示装置10的虚拟空间的图像的渲染处理功能。另外，在显示装置10被配置为HMD的情况下，信息处理装置30执行根据由佩戴显示装置10的用户的位置和姿势而改变该用户观看的虚拟空间的图像的渲染处理。
控制单元31用作算术处理装置和控制装置，并且根据各种程序控制信息处理装置30的整体操作。例如，控制单元31被实现为电子电路例如CPU(中央处理单元)或微处理器。另外，控制单元31可以包括存储要使用的程序、算术参数等的ROM(只读存储器)以及暂时存储适当改变的参数等的RAM(随机存取存储器)。
另外，控制单元31还用作跟踪部311和渲染处理部312。跟踪部311可以执行与用户的运动有关的跟踪，例如对用户的头部进行跟随(头部跟踪)、对用户的视线进行跟随(眼睛跟踪)以及对用户的位置或姿势进行跟随(位置跟踪)。
例如，跟踪部311能够基于由显示装置10的传感器单元15检测到的九个轴的检测结果，执行用于计算显示装置10附接至的部分(例如用户的头部)的姿势信息的所谓的头部跟踪。
另外，跟踪部311能够基于由显示装置10的传感器单元15检测到的用户的眼睛的捕获图像(例如，通过向眼睛发射红外线并对反射进行成像而获得的红外图像)，执行用于计算用户的视线(视线方向和凝视点)的所谓的眼睛跟踪。
另外，在显示装置10被配置为HMD的情况下，跟踪部311能够执行用于检测佩戴显示装置10的用户的位置和姿势的所谓的位置跟踪。位置跟踪包括使用安装在外部的传感器的外向内位置跟踪、使用安装在期望测量的对象(HMD)上的传感器的内向外位置跟踪、以及作为其组合的混合位置跟踪。
在外向内位置跟踪中，例如，由安装在外部的摄像装置(传感器装置20)对设置到HMD的多个LED灯(标记)的位置进行成像和获取。基于所获取的LED灯的位置信息的变化来计算位置和姿势。应当注意，跟踪部311还能够基于LED灯的位置信息的变化和设置到HMD的运动传感器的数据来计算包括用户的头部的姿势的用户姿势。
在内向外位置跟踪中，基于由设置到HMD的运动传感器、深度传感器和向外摄像装置获取的信息来计算用户的位置和姿势。例如，可以通过以下方式来获取用户的位置信息：通过使用设置到HMD的向外摄像装置对外部世界进行成像，并且将所成像的外部世界与由SLAM(同时定位和映射)技术预先生成的空间地图进行比较。可替选地，可以连同运动传感器或深度传感器的信息一起计算用户的姿势。在这种情况下，外部传感器不是必需的，并且因此不必安装传感器装置20。
渲染处理部312基于跟踪部311的跟踪结果生成与用户的运动(位置和姿势)对应的虚拟空间的自由视点图像，并且将所生成的自由视点图像从通信单元32发送至显示装置10。这使得虚拟空间的自由视点图像被呈现至用户。自由视点图像跟随用户的位置移动、面部的方向或倾斜等而实时改变。因此，用户能够在虚拟空间中沿每个方向自由移动和环顾周围。
另外，在用户向虚拟空间中的边界区域靠近的情况下，根据本实施例的渲染处理部312在预定显示控制下，使用户识别虚拟空间的边界而不破坏虚拟空间的世界观，在该预定显示控制中反映了距离控制，例如增加用户的视点与虚拟空间中的边界区域之间的距离。下面参照图9至图15描述在用户向虚拟空间的边界靠近的情况下执行的预定显示控制的细节。
通信单元32以有线或无线方式耦合至显示装置10和传感器装置20以发送和接收数据。例如，通信单元32通过有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)等建立到显示装置10和传感器装置20的通信耦合。
另外，存储单元33被实现为存储要用于控制单元31的处理的程序、算术参数等的ROM(只读存储器)以及暂时存储适当改变的参数等的RAM(随机存取存储器)。另外，存储单元33可以累积从图1示出的内容服务器40获取的虚拟空间的内容。
以上已经具体描述了信息处理装置30的配置，但是根据本公开的信息处理装置30的配置不限于图8示出的示例。例如，信息处理装置30可以与显示装置10集成在一起，或者包括传感器装置20。可替选地，信息处理装置30可以包括多个装置。例如，跟踪处理可以由不同的装置执行。具体地，传感器装置20可以执行位置跟踪，或者显示装置10可以执行头部跟踪、眼睛跟踪和位置跟踪。
另外，信息处理装置30可以包括设置在网络中的服务器，或者包括布置在与用户的空间相同的空间中的专用终端。可替选地，信息处理装置30可以包括智能电话、平板终端、PC等。
以上已经具体描述了根据本实施例的系统1的配置。应当注意，图8示出的系统1的配置是示例，但是本实施例不限于此。例如，不必包括传感器装置20。
《3.边界区域显示控制》
接下来，参照图9至图15具体描述根据本实施例的边界区域显示控制。
<3-1.第一工作示例>
图9是描述在第一工作示例中在用户向边界靠近的情况下使屏幕变暗的显示控制的图。如图9所示，在用户向作为虚拟空间中的边界区域的壁41靠近的情况下，信息处理装置30施加使屏幕变暗或模糊的效果，以使原本可见的屏幕难以观看(降低视觉可识别性)。这使得用户能够自然地识别出用户靠近的方向是虚拟空间的终止，并且是用户不应当前进的方向。应当注意，本文的“向边界(或作为边界区域的示例的壁41)靠近”意味着虚拟空间中的边界和用户位置(用户视点)落在一定距离内。
应当注意，使屏幕变暗的效果不必均匀地施加至屏幕，而是可以根据距壁41的距离适当地施加。也就是说，可以随着距壁41的距离减小使屏幕变暗更多，并且可以最终使屏幕变黑。另外，使屏幕变暗的效果不是根据用户的位置均匀地施加，而是可以通过考虑用户的方向和前进的方向来施加。例如，在尽管用户出现在边界附近、但用户的面部的方向与边界相反的情况下，不施加使屏幕变暗的效果。可替选地，在用户的面部的方向平行于边界的情况下，可以将该效果更强地施加至更靠近边界的用户的视场，并且可以防止将该效果施加至距边界最远的一侧。另外，在用户面对边界的情况下，将该效果施加至用户的整个视场。另外，在用户正在移动的情况下，可以根据用户到边界的距离或方向将该效果动态地改变为可以施加该效果的程度。在用户远离边界一定距离的情况下，无论用户面对哪个方向都不施加该效果。
上述的第一工作示例可以与参照图6描述的常规表达方法组合。也就是说，在用户甚至被边界阻挡之后也继续朝向边界移动的情况下，用户在虚拟空间中的位置不会改变，但是可以呈现出根据用户的移动速度使屏幕变暗的效果。这使得系统能够向用户提供指示系统了解用户的移动的反馈。
<3-2.第二工作示例>
图10是描述在第二工作示例中在用户向边界靠近的情况下使边界移开的显示控制的图。例如，在如图10的左侧所示，用户向作为边界的壁41靠近并且进入一定距离内的情况下，信息处理装置30执行如图10的中间所示使壁41相对于用户移开或者增加用户的视点与边界区域之间的距离的显示控制。
只要用户朝向边界移动，该显示控制就会继续。如图10的右侧所示，即使用户进一步朝向壁41移动，也使壁41进一步移开。因此，用户不能穿过壁41。以这种方式，即使用户靠近，也使壁41移开以防止用户向壁41靠近，这在不损坏虚拟空间的世界观的情况下使得用户能够识别出壁41是虚拟空间的边界而非用户应当前进的方向。
应当注意，用作边界的壁41和虚拟对象42被认为具有距虚拟世界中的原点的固定的相对位置。因此，例如，信息处理装置30能够如图11所示那样，通过根据作为用户向壁41靠近的方向的、用户的移动输入方向而沿与该移动输入方向相同的方向移动整个虚拟空间，来实现图10示出的表达方法(使壁41移开的显示控制)。
可替选地，也可以如图12所示那样，通过沿与作为用户向壁41靠近的方向的移动输入方向相反的方向而移动用户的视点来实现图10示出的表达方法(使壁41移开的显示控制)，其中，用作边界的壁41和虚拟对象42距原点的相对位置在虚拟世界中是固定的。
另外，信息处理装置30在执行用于增加用户与壁41之间的距离的距离控制的同时施加弹跳效果。这更有效地使得用户能够在用户向壁41靠近时识别虚拟空间的边界。信息处理装置30重复加长和缩短用户的视点与壁41之间的相对距离，作为该弹跳效果。也就是说，信息处理装置30不是改变在用户的视场中显示的虚拟空间的自由视点图像的移动量(用户的视点的移动量)以使该移动量与用户在真实空间中的实际移动量成比例，而是改变该移动量以使该移动量具有如图13所示的特定曲线。该显示控制使得信息处理装置30能够在保持指示用户正在移动的反馈的同时使壁41移开。作为具体示例，例如，参照图13描述用户以恒定速度向边界靠近的情况。
图13是示出在本工作示例中真实空间中的用户位置与虚拟空间中的用户、壁及虚拟对象之间的位置关系的图。如图13所示，例如，在用户以恒定速度向作为边界的壁41靠近的情况下，壁41或虚拟对象42的位置首先不改变。这使看起来像用户的位置(视点)在虚拟空间中以与实际移动量相同的速度移动。然后，当用户的位置向边界靠近一定距离时，暂时使壁41的位置相对于用户移开(例如，用户的视点在虚拟空间中沿与实际运动相反的方向移动一点)。在用户以恒定速度沿边界方向在实际空间中进一步继续移动的情况下，信息处理装置30重复在用户的视场中使壁41的位置相对于用户移开的运动、以及在用户的视场中使壁41的位置向用户靠近的运动(弹跳效果)。此时，壁41和虚拟对象42均具有距虚拟空间中的原点的固定的相对距离，并且因此另一对象例如虚拟对象42的位置也与壁41一样移动。另外，与使边界靠近的运动相比，使边界移开的运动可以足够短(快速)。另外，可以在用户停止的同时停止边界的弹跳效果。可替选地，可以通过下述方式再现弹性对象在真实空间中的物理动作：在用户停止之后将弹跳效果持续达预定时间，并且然后将壁41返回至原始状态(原始位置)。在这种情况下，无论用户采取什么动作，壁41都随着时间的流逝而恢复至施加弹跳效果之前的状态。
在用户向边界靠近时，这使用户感觉排斥力好像起到了作用，以防止用户向边界靠近。相反，在用户远离边界的情况下，使虚拟空间中的移动量与实际移动量相同。这使得系统能够在向用户提供指示系统正确识别用户的移动的反馈的同时，在不损坏世界观的情况下使用户识别出虚拟空间的边界并且仅向用户呈现范围内的内容。应当注意，当用户以较高的速度接近壁41(边界)时，信息处理装置30可以从更大的距离(强烈地)呈现根据本工作示例的弹跳效果。另外，信息处理装置30可以根据接近壁41的速度而改变其施加弹跳效果的程度(例如，弹跳的深度等)。另外，信息处理装置30可以根据壁41的壁材料改变弹跳的程度。
<3-3.第三工作示例>
图14是描述在第三工作示例中在用户向边界靠近的情况下使边界移开的显示控制的图。例如，在如图14的左侧所示，用户向作为边界的壁41靠近并且进入一定距离内的情况下，如图14的中间所示，信息处理装置30执行下述显示控制：在执行使壁41相对于用户移开或者增加用户的视点与边界区域之间的距离的距离控制的同时，添加使空间变形的效果。只要用户朝向边界移动，该显示控制就会继续。如图14的右侧所示，即使用户进一步朝向壁41移动，也使壁41进一步移开。因此，用户不能穿过壁41。使壁41移开的这种显示控制类似于第二工作示例的显示控制。然而，在该工作示例中，当用户向壁41靠近时，给出了使空间变形的效果。这使得可以在向用户提供移动反馈的同时仅呈现范围内的内容。
例如，信息处理装置30可以施加扩大和缩小空间的效果，例如延伸和吸收(还原)壁41周围的部分。作为用户的视场，在用户向壁41靠近时，重复显示控制，以使壁41移开，同时将屏幕水平延伸片刻并且然后还原屏幕。即使用户继续向壁41移动，这也防止了用户穿过壁41。应当注意，在附近区域中存在另一对象例如虚拟对象42的情况下，可以使该对象与壁41一样变形。可替选地，如果虚拟对象是引入注目的，例如人、角色、消息或UI，则该虚拟对象可以保持原始纵横比而不进行变形。
图15是示出在本工作示例中真实空间中的用户位置与虚拟空间中的用户、壁及虚拟对象之间的位置关系的图。如图15所示，例如，在用户以恒定速度向壁41靠近的情况下，信息处理装置30首先不改变壁41或虚拟对象42的位置。这使得看起来像用户的位置(视点)在虚拟空间中以与实际移动量相同的速度移动。然后，当用户的位置向边界靠近一定距离时，信息处理装置30暂时使壁41的位置相对于用户移开。在用户以恒定速度沿边界方向在实际空间中继续移动的情况下，信息处理装置30重复在用户的视场中使壁41的位置相对于用户移开的运动以及在用户的视场中使壁41的位置向用户靠近的运动(如在第二工作示例中那样)。在这种情况下，在本工作示例中，信息处理装置30施加例如延伸和还原壁41的使空间暂时变形的效果。另外，壁41和虚拟对象42均被认为具有距虚拟空间中的原点的固定的相对距离。因此，信息处理装置30如图15所示那样使壁41移开，并且也移动虚拟对象42的位置。
<3-4.补充信息>
以上已经描述了第一工作示例至第三工作示例，并且其可以适当地组合。例如，当用户向壁41靠近时，屏幕可能变暗一点以致难以观看，同时可以重复使壁41相对于用户移开的运动以及使壁41向用户靠近的运动。另外，在本实施例中，壁41用作虚拟空间的边界的表达，但是本公开不限于此。可以使用另外的虚拟对象，例如森林、海滩、悬崖、建筑物、栅栏等。
另外，在上述第一工作示例至第三工作示例中，使用了其中用户主要通过位置跟踪在真实空间中实际移动的示例，但是本实施例不限于此。在用户使用远程控制器在虚拟空间中移动的情况下，也可以应用类似的表达。另外，通过位置跟踪而得到的移动的实际移动量有时以一定比例对应于虚拟空间中的移动量。例如，假定当用户在真实世界中移动30cm时，用户可以相应地在虚拟空间中移动两倍或60cm。甚至在这种情况下，也可以类似地应用乘以一定的倍率的、根据上述第一工作示例至第三工作示例的效果。
另外，当用户向边界靠近时，信息处理装置30可以输出一些效果声音(例如碰撞声音)或振动。另外，信息处理装置30可以呈现指示用户的哪一侧碰撞的3D音频碰撞声音。这使得用户例如甚至在用户的盲点部分例如背部与壁41等碰撞的情况下，也能够识别碰撞。另外，信息处理装置30可以在用户缓慢地向壁(边界)靠近时，呈现与弹跳对应的效果声音而不发出碰撞声音。
另外，作为应用本实施例的具体服务，首先可以想到诸如RPG(角色扮演游戏)的游戏，该游戏中通过控制器或位置跟踪来移动虚拟空间。这样的游戏在许多情况下使用壁等来限制用户能够在其中移动的范围。用户必须在不断意识到边界的同时移动。然而，本实施例使得可以在不呈现边界外部的视频的情况下(在不损坏世界观的情况下)使用户意识到边界。
另外，本实施例可以通过使用实际拍摄的自由视点图像而应用于诸如看体育比赛、在城市中行走或观看房地产的内容。这些内容没有针对边界的外部实际捕获的视频，并且因此原则上不可能创建视频。如果将这些部分渲染为CG，则会损坏现实感或世界观。然而，应用本实施例使得可以避免这样的情况。可替选地，由于必须向用户警告用户接近边界，因此本实施例可应用于用户在娱乐设施等中在带有VR头戴式耳机的情况下享受的游戏或内容。特别是根据第一实施例的效果是合适的。
本实施例不限于边界，而是还可应用于在虚拟空间中显示另一用户作为化身以进行通信的情况下侵入用户和另一用户各自的个人空间的运动。在这种情况下，例如，当用户A离用户B太近(侵入用户B的预定周围范围)时，用户A被用户B反弹，并且仅能够以比实际移动量小的移动量在虚拟空间中移动。这使得能够通过保留每个个人空间来享受舒适的通信，而不会在空间中引起矛盾的表达。
另外，在上述实施例中，已经描述了用于使用户识别虚拟空间中的边界的技术，但是这可以应用于AR(增强现实)。具体地，信息处理装置30可以执行使用户识别真实空间中的障碍物或危险方向的显示控制。例如，当用户几乎与真实对象碰撞时(在用户向真实对象靠近的情况下)，可以明确地表达特定效果或者可以将危险方向显示并呈现为AR。作为提供该AR显示的装置部件，可以适当地使用各种终端(移动终端)，例如光学透视型HMD和能够执行视频透视型AR显示的智能电话。
《4.操作处理》
接下来，参照图16具体描述根据本实施例的信息处理系统的操作处理。图16是示出当用户向边界区域靠近时在根据本实施例的系统的操作处理中执行的显示控制的流程的示例的流程图。
如图16所示，首先，当用户靠近距边界(壁)的一定距离内时(步骤S103)，信息处理装置30向用户呈现效果(步骤S106)。该效果包括根据上述第一工作示例至第三工作示例的视频效果。更具体地，该效果是变暗、模糊、弹跳、空间变形等。作为示例已经描述了用户在虚拟空间中的位置(视点)靠近距边界的一定距离内以触发效果的情况，但是本实施例不限于此。例如，用户正在朝向边界移动。在这种情况下，可以在以下情况下呈现效果：如果用户以当前速度移动，则可以预测用户在一定时间内到达边界；或者用户以大于或等于预定值的速度向边界靠近。相较之下，有时存在允许用户正常移动的边界内部的区域，例如门或通道。也可以在用户向该区域靠近的情况下，抑制施加该效果。
接下来，在用户停止朝向壁(边界)移动的情况下(例如，在用户停止、改变方向或远离壁移动预定距离的情况下)(步骤S109/是)，信息处理装置30结束呈现该效果(步骤S112)。也就是说，例如，信息处理装置30停止用于增加用户与壁之间的距离的控制。
相反，在用户没有停止朝向壁(边界)移动的情况下(步骤S109/否)，信息处理装置30继续呈现该效果(步骤S115)。
以上已经描述了根据本实施例的操作处理的示例。应当注意，图16中示出的操作处理是示例。本公开不限于图16中示出的示例。例如，本公开不限于图16中示出的步骤的顺序。至少任意步骤可以并行处理或以相反顺序处理。另外，并非必须执行图16中示出的所有处理。并非必须由单个装置执行图16中示出的所有处理。
例如，可以执行根据用户的移动适当地呈现效果的处理，例如在用户接近距边界的一定距离内的情况下呈现根据第二工作示例或第三工作示例的效果，并且在用户进一步接近边界的情况下添加根据第一工作示例的效果。
<5.硬件配置示例>
最后，参照图17描述根据本实施例的信息处理装置的硬件配置。图17是示出根据本实施例的信息处理装置30的硬件配置的示例的框图。应当注意，例如，图17中示出的信息处理装置800可以实现图8中示出的信息处理装置30。通过在下面描述的软件与硬件之间的协作来实现由根据本实施例的信息处理装置30进行的信息处理。
如图17所示，信息处理装置800包括例如CPU 871、ROM 872、RAM873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储装置880、驱动器881、耦合端口882和通信装置883。应当注意，在此示出的硬件配置是示例，并且可以省略一部分部件。另外，还可以包括除了在此示出的部件之外的部件。
(CPU 871)
CPU 871用作例如算术处理装置或控制装置，并且基于记录在ROM 872、RAM 873、存储装置880或可移动记录介质901中的各种程序来控制每个部件的整体操作或其一部分。
具体地，CPU 871实现信息处理装置30中的控制单元31的操作。
(ROM 872和RAM 873)
ROM 872是用于存储要由CPU 871读取的程序、要用于计算的数据等的装置。RAM873暂时地或永久地存储例如要由CPU 871读取的程序、在执行程序时适当地改变的各种参数等。
(主机总线874、桥接器875、外部总线876和接口877)
CPU 871、ROM 872和RAM 873例如经由能够以高速发送数据的主机总线874彼此耦合。同时，主机总线874例如经由桥接器875耦合至具有相对低的数据传输速率的外部总线876。另外，外部总线876经由接口877耦合至各种部件。
(输入装置878)
例如，鼠标、键盘、触摸面板、按钮、开关、控制杆等用于输入装置878。此外，作为输入装置878，有时使用能够通过使用红外线或其他无线电波来发送控制信号的远程控制器(下面称为“远程控制”)。另外，输入装置878包括音频输入装置例如麦克风。
(输出装置879)
输出装置879是能够在视觉上或听觉上向用户通知所获取的信息的装置。该装置的示例包括：诸如CRT(阴极射线管)、LCD或有机EL的显示装置；诸如扬声器或耳机的音频输出装置；打印机；移动电话；传真机等。另外，根据本公开的输出装置879包括能够输出触觉刺激的各种振动装置。
(存储装置880)
存储装置880是用于存储各种数据的装置。例如，使用诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等作为存储装置880。
(驱动器881)
驱动器881是例如读出记录在可移动记录介质901(例如磁盘、光盘、磁光盘或半导体存储器)中的信息或者将信息写入到可移动记录介质901的装置。
(可移动记录介质901)
可移动记录介质901包括例如DVD介质、蓝光(注册商标)介质、HD DVD介质、各种半导体存储介质等。不用说，可移动记录介质901可以是例如各自安装有非接触式IC芯片的IC卡、电子装置等。
(耦合端口882)
耦合端口882是例如用于耦合外部耦合装置902的端口，例如USB(通用串行总线)端口、IEEE 1394端口、SCSI(小型计算机系统接口)、RS-232C端口或光学音频端子。
(外部耦合装置902)
外部耦合装置902是例如打印机、便携式音乐播放器、数字摄像装置、数字视频摄像装置、IC记录器等。可替选地，外部耦合装置902可以包括图8中示出的显示装置10和传感器装置20。
(通信装置883)
通信装置883是用于耦合至网络的通信装置。例如，通信装置883是：用于有线或无线LAN、Wi-Fi(注册商标)、蓝牙(注册商标)或WUSB(无线USB)的通信卡；用于光通信的路由器；用于ADSL(非对称数字用户线)的路由器；用于各种通信的调制解调器等。通信装置883可以耦合图8中示出的显示装置10和传感器装置20。
《6.结论》
如上所述，根据本公开的实施例的信息处理系统使得用户能够识别虚拟空间的边界而不会破坏虚拟空间的世界观。
具体地，根据本实施例，在虚拟空间中的用户试图移动到虚拟空间的边界外部的情况下，诸如使屏幕变暗或模糊的表达使用户意识到边界的存在以阻止用户采取超越边界的行为。
另外，根据本实施例，甚至在用户试图移动超过边界的情况下，也可以通过隐藏边界的外部视频来使用户识别边界的存在而会不破坏世界观，同时通过使用户束缚在边界处或延伸并还原空间来使用户识别出系统接收用户的运动。
另外，根据本实施例，在显示另一用户的化身的系统中对碰撞施加类似的效果使得能够在保持每个用户希望保持的距离的同时执行舒适的通信。
尽管以上已经参照附图详细描述了本公开的优选实施例，但是本技术不限于这样的示例。显然，本公开的领域的普通技术人员可以在所附权利要求书中描述的技术构思的范围内得出各种变更和修改，并且理解这样的变更和修改自然落入本公开的技术范围内。
例如，还可以创建计算机程序，其用于使内置在上述显示装置10、传感器装置20和信息处理装置30中的硬件(例如CPU、ROM和RAM)表现出显示装置10、传感器装置20和信息处理装置30的功能。另外，还提供了其中存储有计算机程序的计算机可读存储介质。
另外，本文描述的效果仅是说明性和示例性的，而非限制性的。也就是说，除了上述效果之外或者代替上述效果，根据本公开的技术还可以发挥根据本文的描述对于本领域技术人员而言明显的其他效果。
应当注意，本技术还能够采用以下配置。
(1)
一种信息处理装置，包括：
控制单元，其用于
跟踪用户的运动以向所述用户呈现虚拟空间的图像；以及
在输入所述用户向固定在所述虚拟空间中的特定位置处的边界区域靠近的操作的同时，执行用于增加所述虚拟空间中的所述用户的视点与所述边界区域之间的距离的距离控制。
(2)
根据(1)所述的信息处理装置，其中，所述控制单元在向所述边界区域靠近的操作输入完成的情况下，停止用于增加距离的所述控制。
(3)
根据(1)或(2)所述的信息处理装置，其中，所述控制单元在所述用户的视点进入距所述边界区域一定距离内的情况下，开始用于增加距离的所述控制。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，所述控制单元在执行所述距离控制的同时添加弹跳效果以生成所述图像。
(5)
根据(1)至(3)中任一项所述的信息处理装置，其中，所述控制单元在执行所述距离控制的同时添加空间变形效果以生成所述图像。
(6)
根据(4)或(5)所述的信息处理装置，其中，所述控制单元通过沿与所述用户的移动方向相同的方向移动所述虚拟空间中的原点来在所述距离控制中增加所述用户的视点与所述边界区域之间的距离。
(7)
根据(4)或(5)所述的信息处理装置，其中，所述控制单元通过沿与所述用户的移动方向相反的方向移动所述用户的视点来增加所述用户的视点与所述边界区域之间的距离。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，所述控制单元在所述用户的视点进入距所述边界区域一定距离内的情况下，添加使视觉可识别性降低的效果以生成所述图像。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，
所述控制单元
将所述用户的位置和姿势识别为所述用户的运动，并且
生成基于所述用户的位置和姿势的自由视点图像作为所述虚拟空间的图像。
(10)
一种信息处理方法，包括：由处理器进行以下操作：
跟踪用户的运动以向所述用户呈现虚拟空间的图像；以及
在输入所述用户向固定在所述虚拟空间中的特定位置处的边界区域靠近的操作的同时，执行用于增加所述虚拟空间中的所述用户的视点与所述边界区域之间的距离的距离控制。
(11)
一种记录有程序的记录介质，所述程序使计算机用作：
控制单元，其用于
跟踪用户的运动以向所述用户呈现虚拟空间的图像；以及
在输入所述用户向固定在所述虚拟空间中的特定位置处的边界区域靠近的操作的同时，执行用于增加所述虚拟空间中的所述用户的视点与所述边界区域之间的距离的距离控制。
附图标记列表
1 系统
10 显示装置
11 控制单元
12 发光单元
13 显示单元
14 扬声器
15 传感器单元
16 通信单元
20 传感器装置
21 控制单元
22 成像单元
23 声音拾取单元
24 通信单元
30 信息处理装置
31 控制单元
311 跟踪部
312 渲染处理部
32 通信单元
33 存储单元
40 内容服务器
41 壁
42 虚拟对象

Claims (9)

1.一种信息处理装置，包括：
控制单元，其用于
跟踪用户的运动以向所述用户呈现虚拟空间的图像；以及
在输入所述用户向固定在所述虚拟空间中的特定位置处的边界区域靠近的操作的同时，执行用于增加所述用户的视点与所述虚拟空间中的所述边界区域之间的距离的距离控制，
其中，所述控制单元在执行所述距离控制的同时添加弹跳效果以生成所述图像，并且使具有距所述虚拟空间中的原点的固定的相对距离的虚拟对象与所述边界区域一样移动；
或者其中，所述控制单元在执行所述距离控制的同时添加空间变形效果以生成所述图像，并且使具有距所述虚拟空间中的原点的固定的相对距离的虚拟对象与所述边界区域一样变形。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元在向所述边界区域靠近的操作输入完成的情况下，停止用于增加距离的所述控制。
3.根据权利要求1所述的信息处理装置，其中，所述控制单元在所述用户的视点进入距所述边界区域一定距离内的情况下，开始用于增加距离的所述控制。
4.根据权利要求1所述的信息处理装置，其中，所述控制单元通过沿与所述用户的移动方向相同的方向移动所述虚拟空间中的原点来在所述距离控制中增加所述用户的视点与所述边界区域之间的距离。
5.根据权利要求1所述的信息处理装置，其中，所述控制单元通过沿与所述用户的移动方向相反的方向移动所述用户的视点来增加所述用户的视点与所述边界区域之间的距离。
6.根据权利要求1所述的信息处理装置，其中，所述控制单元还在所述用户的视点进入距所述边界区域一定距离内的情况下，添加使视觉可识别性降低的效果以生成所述图像。
7.根据权利要求1所述的信息处理装置，其中，
所述控制单元
将所述用户的位置和姿势识别为所述用户的运动，并且
生成基于所述用户的位置和姿势的自由视点图像作为所述虚拟空间的图像。
8.一种信息处理方法，包括：由处理器进行以下操作：
跟踪用户的运动以向所述用户呈现虚拟空间的图像；以及
在输入所述用户向固定在所述虚拟空间中的特定位置处的边界区域靠近的操作的同时，执行用于增加所述用户的视点与所述虚拟空间中的所述边界区域之间的距离的距离控制，
其中，在执行所述距离控制的同时添加弹跳效果以生成所述图像，并且使具有距所述虚拟空间中的原点的固定的相对距离的虚拟对象与所述边界区域一样移动；
或者其中，在执行所述距离控制的同时添加空间变形效果以生成所述图像，并且使具有距所述虚拟空间中的原点的固定的相对距离的虚拟对象与所述边界区域一样变形。
9.一种记录有程序的记录介质，所述程序使计算机用作：
控制单元，其用于
跟踪用户的运动以向所述用户呈现虚拟空间的图像；以及
在输入所述用户向固定在所述虚拟空间中的特定位置处的边界区域靠近的操作的同时，执行用于增加所述用户的视点与所述虚拟空间中的所述边界区域之间的距离的距离控制，
其中，所述控制单元在执行所述距离控制的同时添加弹跳效果以生成所述图像，并且使具有距所述虚拟空间中的原点的固定的相对距离的虚拟对象与所述边界区域一样移动；
或者其中，所述控制单元在执行所述距离控制的同时添加空间变形效果以生成所述图像，并且使具有距所述虚拟空间中的原点的固定的相对距离的虚拟对象与所述边界区域一样变形。
CN201980021444.4A 2018-03-30 2019-02-22 信息处理装置、信息处理方法和记录介质 Active CN111937045B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018067460 2018-03-30
JP2018-067460 2018-03-30
PCT/JP2019/006916 WO2019187862A1 (ja) 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
CN111937045A CN111937045A (zh) 2020-11-13
CN111937045B true CN111937045B (zh) 2024-09-17

Family

ID=68061331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021444.4A Active CN111937045B (zh) 2018-03-30 2019-02-22 信息处理装置、信息处理方法和记录介质

Country Status (4)

Country Link
US (1) US11695908B2 (zh)
JP (1) JP7355006B2 (zh)
CN (1) CN111937045B (zh)
WO (1) WO2019187862A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726626B2 (en) * 2017-11-22 2020-07-28 Google Llc Interaction between a viewer and an object in an augmented reality environment
JP6707111B2 (ja) * 2018-07-25 2020-06-10 株式会社バーチャルキャスト ３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム
DE112021002093T5 (de) * 2020-03-30 2023-02-09 Sony Group Corporation Verfahren zum ändern des blickpunkts im virtuellen raum
US11455074B2 (en) * 2020-04-17 2022-09-27 Occipital, Inc. System and user interface for viewing and interacting with three-dimensional scenes
WO2022201430A1 (ja) * 2021-03-25 2022-09-29 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
WO2022215258A1 (ja) * 2021-04-09 2022-10-13 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
JP6968326B1 (ja) * 2021-04-16 2021-11-17 ティフォン株式会社 表示装置、表示方法及びその表示プログラム
FR3124281A1 (fr) * 2021-06-18 2022-12-23 Trivisio Dispositif optique pour afficher un contenu à proximité de l’œil d’un utilisateur
JP7618925B2 (ja) * 2021-06-24 2025-01-22 株式会社Ｊｖｃケンウッド 仮想空間制御システム、仮想空間制御方法及びプログラム
CN116049212A (zh) * 2022-11-08 2023-05-02 海信视像科技股份有限公司 虚拟空间中2d应用的搜索方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341572A (ja) * 2003-05-12 2004-12-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
CN105807936A (zh) * 2016-03-31 2016-07-27 联想(北京)有限公司 信息处理方法及电子设备
CN105913497A (zh) * 2016-05-27 2016-08-31 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
KR102420313B1 (ko) 2014-06-30 2022-07-13 소니그룹주식회사 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템
KR20170004608A (ko) * 2015-07-03 2017-01-11 엘지전자 주식회사 스마트 디바이스 및 이의 제어방법
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102015226580B4 (de) * 2015-12-22 2025-08-28 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
CA3085741A1 (en) * 2017-12-13 2019-06-20 Aurelius, Inc. Systems, devices, and methods for augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341572A (ja) * 2003-05-12 2004-12-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
CN105807936A (zh) * 2016-03-31 2016-07-27 联想(北京)有限公司 信息处理方法及电子设备
CN105913497A (zh) * 2016-05-27 2016-08-31 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法

Also Published As

Publication number Publication date
US20210014468A1 (en) 2021-01-14
US11695908B2 (en) 2023-07-04
CN111937045A (zh) 2020-11-13
JPWO2019187862A1 (ja) 2021-05-20
JP7355006B2 (ja) 2023-10-03
WO2019187862A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
CN111937045B (zh) 信息处理装置、信息处理方法和记录介质
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US11164546B2 (en) HMD device and method for controlling same
KR20180112599A (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
JP2023099046A (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
KR20170026164A (ko) 가상 현실 디스플레이 장치 및 그 장치의 표시 방법
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
CN110300994B (zh) 图像处理装置、图像处理方法以及图像系统
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
US11360545B2 (en) Information processing device, information processing method, and program
KR20180017736A (ko) Hmd 및 그 hmd의 제어 방법
KR20180010845A (ko) Hmd 및 그 hmd의 제어 방법
JP7754170B2 (ja) オブジェクトの保持を判定する情報処理装置
JP7392723B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3702008A1 (en) Displaying a viewport of a virtual space
WO2024060959A1 (zh) 虚拟环境中的观影画面调整方法、装置、存储介质及设备
JP2023065528A (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP7529242B2 (ja) プログラム、情報処理方法、情報処理装置、及び情報処理システム
CN112578983A (zh) 手指取向触摸检测
US20250321632A1 (en) Information processing apparatus capable of properly controlling virtual object, method of controlling information processing apparatus, and storage medium
US12429945B2 (en) Information processing apparatus and adjustment screen display method
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法
JP7733481B2 (ja) 情報処理装置および画像生成方法
US20250110551A1 (en) Devices, methods, and graphical user interfaces for displaying presentation environments for a presentation application
JP2025024966A (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant