[go: up one dir, main page]

CN111727077A - 利用跟踪显示设备控制图像显示 - Google Patents

利用跟踪显示设备控制图像显示 Download PDF

Info

Publication number
CN111727077A
CN111727077A CN201980013611.0A CN201980013611A CN111727077A CN 111727077 A CN111727077 A CN 111727077A CN 201980013611 A CN201980013611 A CN 201980013611A CN 111727077 A CN111727077 A CN 111727077A
Authority
CN
China
Prior art keywords
display device
mounted display
images
time
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980013611.0A
Other languages
English (en)
Other versions
CN111727077B (zh
Inventor
戈登·韦恩·斯托尔
蒙哥马利·文森特·古德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN111727077A publication Critical patent/CN111727077A/zh
Application granted granted Critical
Publication of CN111727077B publication Critical patent/CN111727077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/49—Miscellaneous game characteristics with provisions for connecting to a part of the body
    • A63F2250/497—Head
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述了通过使用来自显示设备的跟踪位置的信息来控制图像数据的显示的技术。显示设备例如可以是头戴式显示(“HMD”)设备，其用于图像的虚拟现实(“VR”)和/或增强现实(“AR”)显示，示出佩戴HMD设备的用户周围的模拟环境，并且所述跟踪包括确定HMD设备在实际物理环境中的位置(例如，3D空间中的位置和/或定向)。通过确定和使用关于获取设备的跟踪数据和在设备上显示相应图像之间的延时或其它延迟的信息，改善了HMD设备或其它显示设备以及提供图像以供显示的相关图像再现系统的操作，包括在所确定的延迟太大的情况下启动设备的安全模式操作。

Description

利用跟踪显示设备控制图像显示
技术领域
以下公开内容总体涉及用于使用来自跟踪显示设备的位置的信息来控制图像数据在显示设备上的显示的技术，诸如使用有关来自跟踪头戴式显示设备的位置的时间量的信息来控制相应图像如何在头戴式显示设备上进行显示。
背景技术
对提高视觉显示分辨率的需求已经导致图像数据大小和相关传输带宽使用也相应的大大增加。例如，游戏设备、视频显示设备、移动计算、通用计算等中的视觉显示分辨率的提高导致了更高的传输带宽。此外，虚拟现实(“VR”)和增强现实(“AR”)系统，特别是使用头戴式显示(“HMD”)设备的那些系统的日益流行进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“虚拟”现实代替佩戴者前方的实际视图(或实际现实)，而增强现实系统通常在佩戴者眼睛前方提供一个或多个屏幕的半透明或透明的覆盖图，使得用附加信息增强了实际视图。
然而，为这种HMD设备生成图像以及定时它们的显示器以协调周围物理环境已经增加了这种设备的使用中涉及的问题。
附图说明
图1A至图1I示出在示例性环境和情况下使用本公开中描述的至少一些技术的示例。
图2A示出根据本公开的示例性实施方式的包括双目显示面板的HMD设备的俯视平面图。
图2B是示出用于执行本公开中所描述的至少一些技术的显示设备的示例性配置的硬件电路的示意图。
图3是示出用于执行所描述的技术中的至少一些的示例性设备和系统的框图，包括基于跟踪的显示管理器(“TDM”)系统的实施方式。
图4是TDM系统的图像跟踪数据编码器例程的示例性实施方式的流程图。
图5是TDM系统的图像跟踪数据解码器例程的示例性实施方式的流程图。
具体实施方式
本公开总体涉及使用来自跟踪显示设备的信息来控制图像数据在显示设备上的显示的技术。在至少一些实施方式中，显示设备是头戴式显示(“HMD”)设备，其用于由图像再现系统所提供的图像的VR和/或AR显示，诸如以生成和呈现模拟环境的全部或部分的图像，而不是佩戴HMD设备的用户周围的实际物理环境的图像，并且HMD设备的跟踪包括确定HMD设备在实际物理环境中的位置(例如，三维空间中的位置和/或HMD设备的定向)。例如，HMD设备或其它显示设备的跟踪位置可用于确定要在设备上显示的一个或多个图像，诸如以确定将全部或部分地显示给用户的用户周围的模拟环境的子集的视图，以对应跟踪位置，并且随着设备位置的改变而改变视图，然而，如果跟踪数据的使用导致正在显示的图像实际上并不对应于在显示时该设备的位置(例如，由于在取得跟踪数据的时间与显示结果图像的时间之间有足够长的延迟)，显示系统的性能可能遭受影响，包括将用户和/或设备潜在地置于受伤的风险中(例如，当佩戴HMD设备的用户在物理环境周围移动，并且接近未反映在HMD设备上显示的VR图像中的环境中的物理障碍物时)。
因此，在至少一些实施方式中，通过确定和使用关于获取设备的位置跟踪数据和在设备上显示相应图像之间的延时或其它延迟的信息，改善了HMD设备或其它显示设备以及提供图像以供显示的相关图像再现系统的操作。特别地，如果所确定的延迟太大(例如，超过限定阈值或以其它方式满足一个或多个限定标准)，则在至少一些实施方式中HMD设备或其它显示设备进入安全模式操作，诸如以用向用户标识潜在问题的其它图像来替换在设备上显示的模拟环境的图像，和/或以其它方式向用户告知潜在问题。此外，在至少一些实施方式中可使用所确定的延迟信息来改善将提供给设备的用于显示的模拟环境的图像，而不管是补充还是代替使用所确定的延迟信息来启动安全模式操作，例如以允许图像再现系统预测设备在未来时间的未来位置，这时间与取得关于设备当前位置的跟踪数据的时间相差对应于所确定的延迟的量，并且生成并提供用于在设备上显示的对应于在未来时间的所预测的未来位置的图像。本文描述的技术中的一些或所有可经由基于跟踪的显示管理器(“TDM”)系统的实施方式的自动操作来执行，如下面进行的更详细的讨论。
在各种实施方式中可以以各种方式执行对HMD设备或其它显示设备的位置的跟踪，包括在一些实施方式中通过来自HMD设备或其它显示设备(例如，经由提供加速计和/或陀螺仪和/或磁力计的IMU或惯性测量单元；经由接收来自外部设备的信号并利用这些信号来确定位置信息的GPS或其它传感器等)提供的信息全部或部分地进行跟踪，并且在一些实施方式中，通过来自HMD设备或其它显示设备外部的一个或多个其它设备(例如，运动传感器，相机等)提供的信息全部或部分地进行跟踪。在各种实施方式中，用于跟踪位置信息的位置和/或定向还可以以各种方式来确定，包括相对于一个或多个其它对象或参考点的方式(例如，用户正在其中移动的实际物理环境中的固定点)和/或以绝对方式(例如，经由使用GPS坐标系)。作为一个非限制性示例，HMD设备或其它显示设备所处的物理环境(例如，房间中15英尺乘15英尺的区域)可包括一个或多个硬件设备(有时称为“基站”)，其在传输旋转的红外激光之后重复地(例如，每秒60次)传输红外闪光，以及包括各种光传感器(例如，几十个或几百个光传感器)的HMD设备或其它显示设备，其检测红外闪光并且使用随后的时间量直到特定的光传感器检测到激光，从而以很高的精度(例如，毫米或更小)确定物理环境中的3D位置和定向。此外，在一些实施方式中，HMD设备或其它显示设备的位置的跟踪可在一些实施方式中包括跟踪设备上的一个或多个点或其它位置，诸如由一个或多个外部设备用于确定位置的标记器或跟踪器、显示设备上确定位置的一个或多个传感器等。在其它实施方式中，对HMD设备或其它显示设备的位置的跟踪可部分地或全部地基于跟踪与该设备相关联的一个或多个其它接近对象，诸如该设备的用户身体上的一个或多个点或其它位置(例如，用户的头部)，和/或一个或多个其它相关设备的一个或多个点或其它位置(例如，用户使用的输入/输出设备，诸如手持控制器；传感器或由用户佩戴或携带的其它设备，或附接至由用户佩戴或携带的物体上的其它设备等)。有关获取和使用位置跟踪信息的附加细节包括如下。
基于设备的跟踪位置将在HMD设备或其它显示设备上显示的图像可在各种实施方式中具有各种形式，并且可以以各种方式生成或以另外的方式确定或选择。例如，在至少一些实施方式中，图像再现系统生成与HMD设备或其它显示设备周围的模拟环境的子集的视图相对应的图像，诸如通过生成作为视频帧的一系列图像(例如，以每秒30帧、或60帧、或90帧等的速率)，这种图像再现系统例如可能是游戏系统的一部分，其中用户参与(例如，与之交互)模拟环境表示的游戏。这样的图像可包括多个像素值，并且可以以各种形式被编码以便传输到HMD设备或其它显示设备，诸如在图像中包括(例如，在头部中)一种或多种类型的元数据，或者以另一种方式传输与图像相关联的这些元数据，以可选地对图像进行压缩等。作为一个特定示例，可对图像进行编码，以包括或以其它方式具有关于与生成或其它确定或选择图像有关的时间的相关定时信息，诸如确定相应跟踪位置的时间，用于反映相应跟踪位置而生成或以其它方式确定图像的时间，在与反映在图像中的HMD设备或其它显示设备的未来估计位置相对应的图像生成或其它确定之后的未来时间等。在其它实施方式中，编码在或以其它方式包括在图像中的相关信息可包括关于图像所对应的HMD设备或其它显示设备的实际(例如，当前的)和/或估计的未来跟踪位置的定位信息，而不管是代替还是补充定时信息。此外，如本文所使用的，“像素”是指显示器的最小可寻址图像元件，它可被激活以为那个显示器提供所有可能的颜色值，在许多情况下像素包括单独的各自的子元件(在一些情况下作为单独的“子像素”)，用于分别产生红、绿和蓝光以供人类观察者感知，并且如本文所使用的，像素“值”是指对应于单个像素的这些各自的RGB元件中的一个或多个的各自激励水平的数据值。
此外，HMD设备或其它显示设备(例如，智能电话或其它手持设备)的安全模式操作可以以各种方式实现。例如，在一些实施方式中，向用户提供文本和/或其它(例如，听觉、触觉等)警告，这样以便提示用户停止移动和/或移除HMD设备或者以其它方式停止使用显示设备。此外，在一些实施方式中，可在HMD设备或其它显示设备上向用户显示一个或多个替代图像，以提供关于用户在周围实际物理环境中的位置的信息，而不管是代替还是补充提供警告，并且在至少一些实施方式中，用于替换基于跟踪位置信息而提供给设备显示的一个或多个其它图像，这种替代图像可包括例如周围实际物理环境的图像(例如，来自HMD设备或其它显示设备上的前置相机)和/或周围实际物理环境的虚拟视图(例如，示出用户意图在其中移动的周围实际物理环境内的物理区域的部分的边界的网格，可选地表示周围实际物理环境中的一个或多个物理对象，诸如在物理区域之外但靠近其边界中的一个或多个的对象)。此外，在至少一些实施方式中，还可通知图像再现系统暂停或终止涉及生成模拟环境的图像的操作，并且在一些实施方式中，HMD设备可以可选地为即将发生的冲突做准备。此外，为HMD设备或其它显示设备启动安全模式操作之后，在各种实施方式中安全模式可以以各种方式结束，诸如在限定的时间量之后，在用户手动指示这样做之后(例如，通过重启或重置显示设备和/或图像再现系统)，在接收到模拟环境的附加图像之后，该附加图像不具有与启动安全模式操作相关联的足够的相关延迟或其它方式的触发条件等。与实现安全模式操作相关的其它细节如下。
此外，在所描述的技术的至少一些实施方式中的益处包括改善了HMD设备或其它显示设备的操作以及提供用于显示的图像的相关图像再现系统的操作，包括至少部分地基于使用关于在获取设备的位置跟踪数据和在设备上显示相应图像之间确定的延迟的信息，诸如通过最小化设备和/或用户与周围实际物理环境中的物理对象的碰撞，来最小化或消除对设备和/或其用户的损害。此外，通过取得和使用更精确的实际延迟信息，也可改善用于显示的图像的生成或其它确定或选择，包括用于估计设备在图像显示时的未来位置和/或估计该图像显示的未来时间的系统，这种精确的实际延迟信息还可允许图像再现系统的操作更高效(例如，通过使用更少的处理能力和处理时间来试图确定一个或多个图像所对应的显示的未来时间)，可允许生成更精确的图像(例如，更好地反映HMD设备或其它显示设备在显示时的位置)等。
出于说明性目的，下面描述了一些实施方式，其中包括了出于说明性目的各种具体细节，并且在一些情况下为了简洁起见简化了一些实施方式，从而未示出众所周知的组件。作为一个非排他性示例，在一些实施方式中，特定类型的设备跟踪技术、硬件传感器、显示设备(例如，HMD设备)、显示面板(例如，使用OLED或有机发光二极管；使用LCD或液晶显示器；等)、光学透镜和输入/输出设备等以特定方式(例如，硬件传感器是显示设备的一部分)使用和构造，并且以特定方式用于特定的使用(例如，用于虚拟现实和/或增强现实)，包括使用特定类型的技术作为HMD设备的控制操作的一部分。作为另一示例，在一些实施方式中，跟踪的以及它的位置用于生成或以其它方式选择相应的基于位置的图像的设备由一个或多个人类用户使用。然而，应当理解，本发明的技术可用于多种其它情况，其中一些在这里讨论，包括其它类型的显示设备和设备跟踪技术和/或不供人类使用的设备，因此本发明不限于所提供的示例性细节。此外，出于示例性目的在附图和文本中提供了各种细节，但并不旨在限制本发明的范围。
图1A至图1H示出了本公开中描述的至少一些技术在示例性环境和情况中使用的示例，而图1I示出了在这种示例性环境中信息交换和定时信息使用的示例。特别地，在图1A的示例中，在实际物理环境147中存在人类用户105，环境147在该示例中是建筑物的房间(其一部分用角125示出)，如视图100a所示。用户正佩戴着HMD设备110，用户可经由HMD设备110接收与实际物理环境不同的模拟环境的显示信息，如图1C至图1D和图1F进行的更详细的讨论。在所示实施方式中，HMD设备110经由电缆145(也称为“系绳”)与计算系统140连接，尽管在其它实施方式中，HMD设备可经由无线连接(未示出)执行与计算系统140的交互中的一些或全部，在该示例中，计算系统140充当将模拟环境的图像提供给HMD设备以显示给用户的图像再现系统。用户105还能够在实际物理环境周围移动，并且在该示例中，期望其停留在作为物理环境子集的区域150内(具有边界151a、151b、151c和151d)，从而避免遇到实际物理环境中的障碍物，诸如桌子160a或桌子160b。在该示例中用户105还可具有一个或多个I/O(“输入/输出”)设备，以允许用户进一步与模拟环境交互，在该示例中模拟环境包括手持控制器115。
当用户在区域150内移动位置和/或改变HMD设备110的定向时，跟踪HMD设备的位置，以便允许模拟环境的相应部分在HMD设备上向用户显示，如图1C至图1D和图1F进行的更详细地讨论。在一些实施方式中，跟踪HMD设备110的位置可部分或全部地由HMD设备本身执行，在该示例中跟踪还由一个或多个外部设备辅助。具体而言，图1A的示例中的外部设备包括发射信号122(例如，光脉冲)的两个基站120，HMD设备110检测该信号并用来确定HMD设备的位置，尽管在其它实施方式中，可使用一个或多个外部传感器来代替并以其它方式执行跟踪。在该示例中，控制器115还可使用类似的技术来跟踪控制器的位置(并且可选地使用该信息来帮助确定和/或验证HMD设备的位置)，尽管在其它实施方式中控制器可不以该方式进行跟踪，和/或可类似地跟踪用户身上或附近的其它设备/传感器(未示出)。基于这种跟踪得知HMD设备110在特定时间的跟踪位置之后，经由电缆145将相应的信息发送到计算系统140，计算系统140使用跟踪位置信息来生成模拟环境的一个或多个下一步图像以显示给用户105。此外，虽然这里未示出，但是这种外部设备和/或HMD设备(例如，经由外部相机)可获取关于实际物理环境中的实际物理对象的信息，诸如用于稍后生成实际物理环境的人造版本，如关于图1H所讨论的。
图1I示出了在这样的示例性环境中的信息交换和定时信息使用的示例。特别地，示例性图像再现系统(例如图1A的计算系统140)的动作沿着图1I中的第一时间线190a示出，以及示例性HMD设备(例如图1A的HMD设备110)的动作沿着图1I中的第二时间线190b示出。如以上关于1A所述，HMD设备有时可沿着HMD设备与图像再现系统之间的控制数据传输路径将信息发送到图像再现系统，如图1I所示，在时间T3由HMD设备开始的传输中，跟踪信息反映了HMD设备在时间T3的位置和定向，诸如用于图像再现系统生成对应于该跟踪信息的用户周围的模拟环境的视图，在其它实施方式中，图像再现系统自身可确定HMD设备的跟踪信息(例如，使用HMD设备外部的传感器)，并且如果是这样，则可不执行T3时刻的跟踪信息传输(以及稍后沿控制数据传输路径在T6时刻的类似跟踪信息传输)。
如图1I进一步所示，在各种实施方式中，图像再现系统可确定关于从图像再现系统向HMD设备发送信息和随后由HMD设备以各种方式显示该信息之间的延时或其它延迟的信息。在一些实施方式中，图像再现系统可沿着控制数据传输路径发送专门的定时传送(例如，不包括任何图像数据的一个或多个定时数据包，以类似于“ping”命令的方式)，HMD设备立即沿着控制数据传输路径以相应的定时响应来回应该定时传送，从而允许图像再现系统测量从图像再现系统沿着控制数据传输路径向HMD设备发送信息并接收响应信息的往返延时或其它延迟，图像再现系统可从其估计单向延时或其它延迟(例如，部分地基于往返时间的一半，或者如果图像再现系统和HMD设备之间的上传和下载速度不同，则以其它方式调整单向时间的确定方式，并且可选地使用控制数据传输路径延时作为沿各自的视频数据传输路径的延时的初始估计)。这种定时传送与响应的示例由在时间T0从图像再现系统发送的定时传送以及在时间T2从HMD设备接收的定时响应来示出，如果是这样，则图像再现系统可部分地基于时间T0和T2之间的差初始确定单向或其它延迟为L。在一些实施方式中，图像再现系统还可更改这种初始估计的延迟时间L，以反映在HMD设备沿着视频数据传输路径接收图像和随后显示图像之间的附加估计时间量，尽管这种调整并没有在使用初始延迟时间L的图1I的示例中示出。
在其它实施方式中，图像再现系统可以以其它方式确定单向延时或其它延迟，而不管是补充还是代替使用这样的定时传送和响应。例如，如图1I所示，图像再现系统可在时间T5沿着视频数据传输路径将图像传输到HMD设备，并且HMD设备可随后在时间T5+L'时显示图像，其中L'表示从图像传输的时间直到图像延迟的时间的所测量的该图像的实际单向延时或其它延迟，如果是这样，则HMD设备可将有关图像显示的时间T5+L'的信息提供回图像再现系统以供后续使用，如在时间T6沿着控制数据传输路径从HMD设备的信息传输中所示，该信息传输还包括针对传输的时间T6的跟踪信息。
图像再现系统还可使用HMD的跟踪信息和关于单向延时或其它延迟信息作为生成要显示的图像的一部分。例如，如由图像再现系统生成的并在时间T5传输的图像所示，图像再现系统采用最近的跟踪信息，确定从生成跟踪信息的时间到预期显示图像的未来时间的时间差(部分地基于所确定的单向延时或其它延迟信息)，预测未来时间的未来跟踪信息并且生成与预测的未来跟踪信息对应的图像。因此，例如，生成由图像再现系统在时间T5生成和传输的图像来反映T5+L的未来时间。类似地，使用由图像再现系统在时间T7接收的L'的修正的单向时延或其它延迟值，生成由图像再现系统在时间T8生成和传输的图像来反映T8+L'的未来时间。这种对于未来跟踪信息的预测可以以各种方式完成，诸如使用用户移动的先前变化率，并且如果该变化率继续时估计用户未来的位置和定向，使用用户移动的先前变化率中增加或减小的加速度来估计未来的位置和定向等。关于被生成用以反映T8+L'的未来时间的在时间T8传输的图像，图1I进一步示出了HMD设备对图像的实际接收延迟了较长时间L”，并且如果延迟至少从时间T6(生成最近跟踪信息的时间)到时间T9(接收到待使用跟踪信息来显示该结果图像的时间)，并可选地进一步包括T9和当相应的图像显示将开始作为被认为是延迟的一部分之间的时间量，超过限定的阈值时间，则HMD设备将启动安全模式操作，而不是显示图像，如关于图1B至图1H进行的进一步讨论。
图1B继续进行图1A的示例，但是示出了区域150和HMD设备110的视图100b，而没有示出图1A中所示的实际物理环境155中的各种其它对象。相反，在图1B中示出了虚拟网格165，其在该示例中包括大致为从右到左的X轴，大致为从远到近的Y轴，以及为竖直的自下而上的轴的Z轴，以及与最远显示的角落中的房间地板相关联的0，0，0位置。如图所示，HMD设备110的位置跟踪可以包括确定在给定时间在一个或多个特定点的x，y，z位置信息(在该示例中包括粗略地对应于HMD设备的顶部中心的8，5，7位置)，尽管应当理解在其它实施方式中可以以其它方式跟踪位置，并且多个不同点或位置可同时被跟踪和一起使用以确定HMD设备的位置(例如，作为确定HMD设备的定向的一部分)。除了跟踪HMD设备110上的三维位置之外，在该示例中，HMD设备的跟踪位置还包括HMD设备的跟踪定向，如在该示例中通过指向位置170的方向射线在视觉上所示，在该位置处，用户的注视方向离开空间150的矩形封闭空间(在该示例中，位置13，8，4)。如先前所述，在一些实施方式中，跟踪位置和定向可由HMD设备基于其从诸如基站120(图1A)的外部设备接收的信息来确定，尽管在其它实施方式中，信息中的一些或全部(例如，定向信息)可至少部分地基于由HMD设备自身自己生成的信息(例如，经由一个或多个惯性测量单元，没有在本示例中示出)，与示例性HMD设备相关的附加细节在图2A中示出。应当理解，在整个区域150中移动的用户可以具有不断变化的跟踪位置，并且对于位置的跟踪可重复地执行(例如，每秒多次，例如每秒60次)，可选地对于要在HMD设备上向用户显示的每个图像都执行一次。
图1C提供了虚拟地围绕用户的简单模拟环境148的视图100c的示例，诸如具有该示例中示出的各种模拟对象180(例如，模拟岩石180b、180i和180j；模拟鱼180c、180f、180g和180h；模拟遇难船180a；由用户持有并且能够以各种方式与模拟环境交互的模拟对象180d和180e等)。应当理解，在HMD设备上显示的单个图像在该示例中可仅示出模拟环境的小部分的视图，因为模拟环境围绕着用户，同时在该示例中显示的图像不是360度环绕图像(尽管在其它实施方式中，所提供的图像和/或模拟环境可具有其它形式)。此外，当用户移动HMD设备的位置时，使用跟踪位置信息还将致使提供用于显示的图像改变，以反映改变的跟踪位置。
继续该示例，图1D示出了可基于HMD设备的当前位置在HMD设备上向用户显示的图像的视图100d，如以上关于图1B和图1C所进行的讨论。在该示例中，基于当前跟踪的HMD位置的图像包括模拟对象180d、180f、180g和180j的视觉表示，但不包括图1C中所示的不对应于当前跟踪位置的其它模拟对象，并且在该示例中也不包括关于实际物理环境(例如，桌子160、墙等)的信息，尽管在其它实施方式中，所显示的图像可同时包括来自模拟和实际物理环境的信息。
图1E示出了在该示例中的当用户在区域150内移动时的另一视图100E，特别地，在该示例中，用户已经转向并且接近区域150的边界151d，实际的物理对象160a和140紧接着就在用户的前面。如果用户仅看到模拟环境，应适当地提供通知(例如，作为所显示图像的一部分和/或与所显示的图像分开)以警告用户接近边界和/或实际物理对象，如关与图1F进行的进一步的讨论。然而，这种通知是基于准确地跟踪HMD设备位置以及快速地使用该信息(例如，通过图像再现系统)作为以供显示的图像的一部分(或提供给HMD设备使用的其它通知信息)。因此，如果在跟踪位置和相应生成的图像稍后在HMD设备上显示给用户之间发生了足够的延迟，则可能会导致问题，包括：在相应图像或其它警告通知提供给HMD设备并在其上显示之前，如果用户继续移动并影响超过边界的实际物理环境中一个或多个对象，则可能对用户和/或HMD设备和/或实际物理环境中的对象造成伤害。
图1F示出了模拟环境的另一视图100f，如果HMD设备的新位置被跟踪并无延迟地用于提供相应的图像以供显示，则该模拟环境可在图1E的位置呈现给用户。在该示例中，可以以各种方式向用户示出即将到来的边界151d，诸如通过放置在边界处或附近的模拟对象(诸如岩壁180i)和/或通过放置在边界处或附近的虚拟添加的屏障(诸如网格180k)。还示出了其它模拟对象180d和180h。
然而，如果在用户如图1E中所示移动时与使用相应的跟踪位置信息来生成用于显示的新图像之间的延迟太大(例如，超过限定阈值)，则HMD设备上用于图1E的位置的图像可能不反映图1F的图像，并且可仍然继续是类似于图1D的示例。如果是，则用户可能不知道即将离开区域150以及与实际物理环境中的对象的碰撞。
因此，图1G示出了使用所描述的技术来通过实现HMD设备的安全模式操作来帮助保护用户和其它物理对象的一个示例，并且具体地示出了将被显示的替换图像的视图100g，以代替否则将被示出的模拟环境的一个或多个图像(例如，如图1C所示)。在该示例中，替换图像反映实际物理环境的视频或其它图像信息，诸如通过使用HMD设备外部的前置相机来示出如果HMD设备未被用户佩戴则用户将看到的内容的视图。以这种方式，用户可立即看到他或她在边界151d附近或在边界151d处，并且在物理对象160a和140旁边，以便防止在该方向上的进一步移动。在其它实施方式中，HMD设备可包括允许用户在不使用前置相机或移除HMD设备的情况下向前看的机构，诸如通过具有否则在移动之前阻挡前向视野的可移动快门。
图1H示出了实现HMD设备的安全模式操作的替代实施方式的视图100h，并且特别地，其中生成实际物理环境的虚拟视图并且在HMD设备上向用户显示，而不是如图1G所示的模拟环境的图像或实际物理环境的视图。具体地，在图1H的示例中，经修改的图像包括网格地板和墙壁180m，而没有关于模拟环境的其它信息，在其它实施方式中，可示出在实际物理环境中的一个或多个实际对象(例如，对象160a和/或140)的虚拟表示，而不管是补充还是代替虚拟网格。图1H还示出了与HMD设备的安全模式操作相关的警告消息180l，以便指示位置跟踪没有正确地工作，使得用户可意识到正常操作已暂停或终止，尽管在图1G中未示出，但是在这样的实施方式中可类似地使用一个或多个这样的警告消息。还应当理解，来自实际环境的各种其它类型的信息和/或其它类型的警告信息可被显示或提供给用户。此外，虽然在该示例中未示出，但是图1G和/或图1H的安全模式操作可补充有其它类型的警告信息，诸如可听音、触觉信息(例如，振动)等，并且还可通知计算系统140及其图像再现系统，以暂停在生成模拟环境的图像中涉及的操作。在至少一些实施方式中，实际物理环境的虚拟视图中的一些或全部在显示之前在HMD设备上本地地生成，以便帮助最小化在产生显示时的延迟(例如，防止用户感到不适)，帮助以正确的定向显示实际物理环境中的地板和/或其它元素(例如，墙壁)等。
图2A是包括一对近眼显示系统202和204的HMD设备200a的简化俯视图，诸如可用于图1A至图1I的示例中或以其它方式与所述技术一起使用。近眼显示系统202和204分别包括显示面板206和208(例如，OLED或LCD微显示器)，以及各自具有一个或多个光学透镜的各自的光学透镜系统210和212。显示系统202和204可安装至框架214，框架214包括前部216、左镜腿218、右镜腿220和内表面221，当用户佩戴HMD设备时，内表面221接触或邻近佩戴者用户224的面部。两个显示系统202和204可以以眼镜布置固定至框架214，该眼镜布置可佩戴在佩戴者用户224的头部222上。左镜腿218和右镜腿220可分别搁置在用户的耳朵226和228上，而内表面221的鼻部组件(未示出)可搁置在用户的鼻子230上。框架214的形状和尺寸可设计成将两个光学系统210和212中的每个分别定位在用户眼睛232和234中的一个的前面。尽管为了说明的目的，以类似于眼镜的简化方式示出了框架214，但是应当理解，实际上可使用更复杂的结构(例如，护目镜、集成式头带、头盔、带子等)来将显示系统202和204支承和定位在用户224的头部222上。
图2A的HMD设备200a能够向用户224呈现虚拟现实显示，诸如经由以显示速率(例如，每秒30、60、90等帧或图像)呈现的相应视频，而类似系统的其它实施方式可以以类似的方式向用户224呈现增强现实显示。显示器206和208中的每个均可生成光，该光分别通过相应的光学系统210和212透射并聚焦到用户124的眼睛232和234上。虽然在此未示出，但是眼睛中每个通常将包括光穿过其进入眼睛的瞳孔孔径，瞳孔(并且包围虹膜)通常可在水平和/或竖直方向上在开放眼睑下在眼睛的可见部分内移动几毫米，这也将使瞳孔从光学透镜或显示器的其它物理元件移动到不同深度以用于不同的水平和竖直位置，因为眼球围绕其中心旋转(导致瞳孔可在其中移动的三维体积)。进入用户瞳孔的光被用户224看成图像和/或视频。
在所示的实施方式中，HMD设备200a还包括硬件传感器和附加组件，它们可由所公开的实施方式用作所述技术的一部分，用于识别触发安全模式操作的条件和/或用于实现安全模式操作。该示例中的硬件传感器包括一个或多个加速度计和/或陀螺仪290(例如，作为一个或多个IMU单元的一部分)，如本文别处更详细讨论的，来自加速计和/或陀螺仪的值可用于局部地确定HMD设备的定向。此外，HMD设备200a可包括一个或多个前置相机，例如在前部216外部的相机285，并且其信息可在安全模式操作期间使用，以用HMD设备前面的实际物理环境的图像替换模拟环境的图像(或者更一般地，可用作HMD设备的其它操作的一部分。诸如用于提供AR功能)。所示实施方式中的硬件传感器还包括一个或多个传感器或其它组件295，用于跟踪用户的瞳孔/凝视，例如位于光学透镜系统210和212附近的内表面221上，如本文别处更详细讨论的，来自组件295的信息可用于识别要显示给用户的模拟环境的特定视图，诸如基于用户凝视的方向结合其它关于HMD设备的位置(例如，位置和定向)的信息。此外，HMD设备200a还可包括其它组件275(例如，内部存储装置、一个或多个电池、与外部基站交互的位置跟踪设备等)，如本文别处更详细讨论的。其它实施方式可能不包括组件275、285、290和/或295中的一个或多个。虽然这里未示出，但是这种HMD的一些实施方式可包括各种附加的内部和/或外部传感器，以便跟踪用户身体的各种其它类型的运动和位置等。
虽然所描述的技术可在一些实施方式中与类似于图2A所示的显示系统一起使用，但是在其它实施方式中，也可使用其它类型的显示系统，包括与单个光学透镜和显示设备一起使用，或者与多个这样的光学透镜和显示设备一起使用。其它这样的设备的非排他性示例包括相机、望远镜、显微镜、双目镜、观测镜、测量镜等。此外，所描述的技术可与发射光以形成图像的各种显示面板或其它显示设备一起使用，一个或多个用户通过一个或多个光学透镜观看该图像。在其它实施方式中，用户可通过一个或多个光学透镜观看一个或多个图像，所述一个或多个图像以不同于通过显示面板的方式产生，诸如在部分或全部反射来自另一光源的光的表面上产生。
图2B示出了显示设备(例如，图2A的HMD设备200a和/或图3的HMD设备380a和/或图1A至图1I的示例中讨论的HMD设备或者关于所述技术讨论的HMD设备)上的硬件电路的一个示例，其可配置为执行自动操作，以根据所述技术接收图像数据并在一个或多个显示面板上显示，以及向图像再现系统提供HMD设备的定时延迟信息和/或跟踪信息。具体地，图2B包括具有像素阵列253的示例性显示系统200b，在像素阵列253中，多个像素P布置成R行和C列。尽管仅示出了一个示例性行(标记为Rx)和一个示例性列(标记为Cy)，以及示出了在它们的交叉处的一个示例性像素(标记为Pxy)，但是实际上，像素阵列253可以是任何期望的M×N阵列。其中M是像素阵列中的行数，N是像素阵列中的列数。显示系统200b可以是例如LCD系统或OLED系统。在显示系统200b是彩色显示器的实施例中，像素P可包括子像素，每个子像素均产生不同的颜色(例如，红色、绿色、蓝色)。
邻近显示系统200b的像素阵列253的是外围区域，该外围区域包括用于驱动像素阵列253的各个像素以及可选地执行其它功能的硬件电路。特别地，硬件电路包括有时也被称为栅极或扫描驱动电路的行驱动电路(例如，IC或集成电路)256，以及有时也被称为数据驱动电路的列驱动电路(例如，IC)258，行驱动电路256和列驱动电路258在这里可统称为“像素驱动子系统”。驱动电路256和258中的每个均可由例如一个或多个集成电路形成。实际上，视频输入端口263(例如，DisplayPort端口)接收从外部视频源系统266(例如，图3的图像再现系统335或关于图1A至图1I的示例讨论的图像再现系统)输入的图像数据，可选地以编码的形式，并将接收到的数据传输至桥IC 267。桥IC 267配置成实现用于执行自动操作的逻辑，以在编码后对接收到的数据进行解码，并且将相应的信息转发到行和列驱动电路以实现所得到的像素值。具体地，行驱动电路256包括多个行选择线262，每个行选择线262均用于像素阵列253中的像素(或子像素)的R行中的每一行，行选择线262中的每个均电联接至像素阵列253的相应行中的像素的扫描电极。列驱动电路258类似地包括多个数据线264，每个数据线264均用于像素阵列253中的像素(或子像素)的C列中的每一列，数据线264中的每个均电联接至像素阵列253的相应列中的像素的数据电极。在桥IC 267的控制下，行驱动电路256经由行选择线262每次选择性地启用像素阵列253的一个或多个行，且在桥IC267的控制下，列驱动电路258在数据线264上针对像素阵列253中的像素列中的每一个输出数据(例如，电压电平)。因此，当行驱动电路256经由行选择线262将像素的扫描电极脉冲得很高时，通过由列驱动电路258经由数据线264施加至像素的数据电极的驱动电压来确定由每个像素传输的光的强度。在至少一些实施例中，驱动电路256和258和/或桥IC 267可配置为同时加载具有相同数据或类似数据的多个行。
如前所述，桥IC 267经由视频输入端口263可操作地联接至视频源系统266，所述视频输入端口263将图像流(例如，经处理的视频数据)馈送到桥IC 267以在显示系统200b上显示。视频源系统266可以是利用显示系统的任何视频输出源系统，诸如平板电视、膝上型计算机、平板计算机、移动电话、头戴式显示器、可佩戴计算机等。视频源系统266可以是较大系统的组件(例如，图形控制器)。桥IC 267接收图像流，并将其转换为适当的电压编程信息，以提供给像素阵列253中的像素，从而顺序地显示图像流中存在的图像。桥IC 267例如可包括电平移位器、定时和模拟功能发生器。通常，桥IC 267可通过采用一个或多个图像流信号(例如，数字信号)、同步信息，定时信息等作为来自视频源系统266的输入，来生成用于偏置行驱动电路256和列驱动电路258的定时信号和数据信号。
在所示示例中，显示系统200b还包括单独的微控制器261，以便生成信息并将信息传输回视频源系统266，尽管其它实施方式可能不包括作为显示系统200b的一部分的这种微控制器(例如，如果一个或多个这样的微控制器是显示设备的一个或多个其它系统的一部分，或者在特定实施方式中未实现)。在所示实施方式中，微控制器261联接至控制数据端口268(例如，USB端口)，经由控制数据端口268可在显示系统200b与视频源系统266(或其它外部系统，未示出)之间交换双向控制数据。例如，如果微控制器261经由控制数据端口接收到来自视频源系统的定时数据包传输，诸如以类似于查验(ping)传输的方式，则微控制器261立即生成定时响应数据包并将其发送回视频源系统，诸如使得视频源系统能够确定沿着控制数据传输路径往返于显示系统200b的通信中的往返延时。在其它情况下，可经由视频输入端口263(例如，与图像数据一起)沿着视频数据传输路径接收定时数据包传输，在这种情况下，桥IC 267可将定时数据包传输转发到微控制器261以生成并发送定时响应，而桥IC 267以其它方式准备图像数据以供显示在像素阵列253上，诸如用于测量沿着视频数据传输路径从视频源系统266到桥IC 267的传输时间。此外，在一些实施方式中，微控制器261可经由控制数据端口268向视频源系统发送另外的信息，诸如用于HMD设备或包括显示系统200b的其它设备的最近的跟踪信息(例如，用于在其上实现显示系统的显示设备的位置和/或定向信息)，尽管在其它实施方式中，HMD设备或其它显示设备的其它组件(未示出)可生成和/或传输这样的跟踪信息。在其它实施方式中，从HMD设备或其它显示设备传输的信息还可包括例如佩戴者用户的瞳孔和/或凝视方向信息、用于HMD设备或其它显示设备的其它状态信息(例如，电池电平、IMU加速度数据等)等。桥IC 267和/或微控制器261可包括存储器、I/O接口、通信系统等，以及一个或多个处理器(例如，一个或多个中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、其它可编程电路、上述的组合等)。
图3是示出用于执行所述技术中的至少一些的示例性设备和系统的框图。具体地，图3包括一个或多个计算设备300，其适于执行所述的用于生成和提供用于显示的模拟环境的图像的技术中的至少一些，所述图像包括关于图像所对应的显示设备的跟踪位置的相关信息(例如，一个或多个相关的跟踪相关时间)，诸如通过执行基于跟踪的显示管理器(“TDM”)系统340的实施方式。此外，图3还包括一个或多个显示设备380，诸如在TDM系统的图像跟踪数据解码器组件344的控制下，在该显示设备380上可显示图像，该TDM系统在显示设备的电子电路上或者在一个或多个其它相关的计算设备(未示出)上执行。还示出了一个或多个可选的其它设备390，以便帮助执行显示设备380中的一个或多个的位置跟踪，提供图像或其它信息以供图像再现系统335和/或显示设备380等使用。各种设备经由一个或多个计算机网络或其它连接385(例如，因特网、一个或多个蜂窝电话网络、系绳或其它电缆、本地无线连接等)互连，包括实现计算系统、设备和在其上实现的任何其它系统或组件之间的通信。
示例性计算设备300各自包括一个或多个硬件处理器305(例如，一个或多个CPU、或中央处理单元、处理器等)、各种输入/输出(“I/O”)组件310、存储装置320和存储器330，以及具有视频子系统370以管理在一个或多个显示设备380上的显示操作。视频子系统370包括一个或多个GPU(或图形处理单元)和相关联的VRAM(视频RAM)，以便提供大量的视频帧数据(对应于每个视频帧的高图像分辨率，以及大约每秒60至180个这样的视频帧的高的“帧速率”)来实现质量游戏或其它图像观看体验，尽管在其它实施方式中，可不提供或使用单独的视频子系统。在该示例实施方式中所示的I/O组件包括显示器311、网络连接312、计算机可读介质驱动器313和其它I/O设备315(例如，键盘、鼠标或其它定点设备、麦克风、扬声器、触觉输出、手持无线或其它控制器、IR发射器和/或接收器、其它光传感器、GPS接收器或其它位置确定设备、瞳孔和/或凝视跟踪组件等)，这种I/O组件可实现各种类型的交互类型，包括例如语音控制、手势控制等。虽然关于计算设备300所示的各种细节没有关于设备350或390示出，但是设备350和390可类似地包括与计算设备300相同类型的组件中的一些或全部，包括显示设备380可选地包括配置为执行组件344的实施方式的一个或多个处理器或其它电子电路。设备380还可包括关于设备300未示出的附加组件，诸如一个或多个光学透镜、外壳、传感器(例如，IMU)、其它I/O设备(例如，一个或多个内部和/或外部相机、用于向佩戴者或其它用户的耳朵提供声音的一个或多个扬声器、一个或多个瞳孔和/或凝视跟踪系统、其它类型的运动传感器或其它传感器等)。类似地，如果其它计算系统390中的一个或多个与最终用户设备350中的一个或多个一起操作，以便提供运动跟踪和/或图像显示能力，则那些其它计算系统可以类似地包括相对于设备300未示出的附加组件。
在该示例中，TDM系统340中的至少一些在服务器计算设备300的存储器330中执行，连同关联的图像再现系统335以及可选地一个或多个其它程序(未示出)一起执行。如本文别处更详细讨论的，TDM系统340可执行所描述的用于生成和/或提供具有相关的跟踪相关时间信息和/或其它元数据的图像的技术中的至少一些，诸如通过TDM图像跟踪数据编码器例程342。然后可通过一个或多个网络或其它连接390将这样的图像和相关信息提供给一个或多个显示设备380，例如提供给HMD设备380a和/或手持移动显示设备380b(例如，智能电话或膝上型计算机或平板计算机)。作为其操作的一部分，系统340可生成和/或使用各种存储的数据，例如位于存储装置320上的数据，包括用于生成模拟环境的图像的数据321(例如，关于模拟环境中的模拟对象的信息)、关于显示设备380中的一个或多个的位置跟踪数据的数据323(例如，从显示设备和/或其它设备390接收的)、以及关于用于预测或以其它方式估计未来时间的未来位置的延迟数据的数据327，所述未来时间与当前时间相差当前延迟。图像再现系统335还可在计算设备300或别处(例如，在其它设备390中的一个上)存储和使用附加数据，诸如用于在图像再现系统是游戏系统的一部分的实施方式中执行一个或多个游戏，但是在该示例中没有示出这些细节。虽然在该示例中TDM系统340至少部分地实现为软件系统，诸如具有相应的软件指令，软件指令在执行程序或以其它方式配置处理器305和/或374以及计算设备300时，执行实现所述技术中的至少一些的自动操作，在其它实施方式中其可以以其它方式来实现。
应当理解，虽然在图3所示的实施方式中显示设备380a和/或380b描述为与计算设备300不同且分离，但是在某些实施方式中，所示设备中的一些或所有组件可集成和/或容纳在单个设备内，诸如移动游戏设备、便携式VR娱乐系统等。在这样的实施方式中，网络/连接385可例如包括一个或多个系统总线和/或视频总线架构。
还应当理解，所示设备仅仅是说明性的，而不是旨在限制本发明的范围。例如，计算设备300和/或其它设备380和390可连接到未示出的其它设备，包括通过诸如因特网的一个或多个网络或经由Web。更一般地，计算系统或设备可包括能够交互和执行所述类型的功能的硬件的任何组合，诸如当用适当的软件编程或以其它方式配置时，包括但不限于台式计算机、膝上型计算机、板式计算机、平板计算机或其它计算机、游戏控制台或其它专用游戏系统、智能电话计算设备和其它蜂窝电话、因特网设备、PDA和其它电子组织器、数据库服务器、网络存储设备和其它网络设备、无线电话、寻呼机、基于电视的系统(例如，使用机顶盒和/或个人/数字视频记录器和/或游戏控制台和/或媒体服务器)、以及包括适当的互通能力的各种其它消费产品。例如，在至少一些实施方式中，所示系统340可包括可执行软件指令和/或数据结构，其在被加载到特定计算系统或设备上和/或由特定计算系统或设备执行时，可用于对那些系统或设备进行编程或以其它方式配置这些系统或设备，诸如配置那些系统或设备的处理器。可替代地，在其它实施方式中，软件系统中的一些或全部可在另一设备上的存储器中执行且经由计算机间通信与所示计算系统/设备通信。此外，虽然各种项目示为在各种时间(例如，在使用时)存储在存储器中或存储装置上，但是出于存储器管理和/或数据完整性的目的，这些项目或它们的部分可在存储器和存储装置之间和/或存储设备之间(例如，在不同的位置)传送。
因此，在至少一些实施方式中，所示系统是基于软件的系统，其包括软件指令，软件指令在由处理器305和/或374和/或其它处理器装置执行时，对处理器编程以为所述系统自动执行所述操作。此外，在一些实施方式中，系统中的一些或全部可以以其它方式来实现或提供，诸如至少部分地以固件和/或硬件装置来实现或提供，包括但不限于一个或多个硬件处理器或其它配置的硬件电路，诸如一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、数字信号处理器(DSP)、可编程逻辑控制器(PLC)等。系统或数据结构中的一些或全部也可存储(例如，作为软件指令内容或结构化数据内容)在非暂时性计算机可读存储介质上，诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，RAM)、网络存储设备或将由适当的驱动器或经由适当的连接来读取的便携式媒体物品(例如，DVD盘、CD盘、光盘、闪存设备等)。在一些实施方式中，系统、模块和数据结构还可作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质，并且可采用各种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。在其它实施方式中，这种计算机程序产品也可采用其它形式。因此，本发明可用其它计算机系统配置来实践。
图4是TDM系统的图像跟踪数据编码器例程400的示例性实施方式的流程图。该例程例如可通过图3的组件342和/或关于示例性图1A至图1H的相应功能所讨论的组件的执行来提供，以便向模拟环境的图像提供用于在显示设备上显示的关于图像所对应的位置跟踪的附加关联信息(例如，基于确定跟踪位置的时间或其它相关时间)。虽然所示实施方式讨论了所描述的技术与一个或多个HMD设备的使用，但是应当理解，在其它实施方式中，这些技术可与其它类型的显示设备一起使用。此外，例程的示例性实施方式可与一个或多个图像再现系统(例如，作为这种图像再现系统的一部分)(诸如图3的图像再现系统335)相关联地操作，其中图像再现系统基于HMD设备的最近跟踪位置和/或HMD设备的估计的未来位置来生成或以其它方式确定或选择要显示的图像。并且所示例程提供与如下所述的使用跟踪位置信息和相关联的定时信息有关的功能。
例程的所示实施方式在框410处开始，在框410处接收信息或请求。例程继续到框415，以确定在框410中接收的信息或请求是否是提供用于在相关联的HMD设备上显示的图像的指示。如果是，则例程继续到框420，以确定HMD设备在当前时间(例如，可获得跟踪位置信息的最近时间)或其它指示时间处的跟踪位置信息，诸如基于最近从HMD设备提供的信息和/或通过主动跟踪和监视HMD设备的位置(例如，与结合HMD设备操作的位置跟踪系统相关联)。在框420之后，例程继续到框425，以检索关于由例程400生成用于显示的图像和在HMD设备上实际显示图像之间的时间量的当前估计的信息，诸如在确定位置跟踪信息和/或在图像生成中使用位置跟踪信息和稍后显示图像之间的默认时间或最近确定的实际延迟时间。在框410中，例程然后基于所检索的进行显示的当前延迟时间，诸如通过将延迟时间添加到当前或其它指示时间，来预测HMD设备在与当前或其它指示时间的差相对应的未来时间处的未来位置。
在框435中，例程然后获得模拟环境的一个或多个图像，用于在HMD设备上显示，所述一个或多个图像对应于HMD设备在未来时间的预测的未来位置，例如通过与单独的游戏系统或产生图像的其它图像再现系统交互(例如，通过提供关于估计的未来位置的信息并接收一个或多个相应图像)。在框440中，例程随后可选地添加与所获得的图像相关联的关于当前或其它指示时间的信息，以及可选地在适当时包括其它信息。如在别处更详细地讨论的，相关联的信息可存储在例如图像的标题中或与图像相关联的其它元数据中。在框440之后，例程继续到框445，以启动一个或多个图像到HMD设备的传输，以便与相关联的信息一起显示。
替代地，如果在框415中确定在框410中接收到的信息或请求不是要提供图像，则例程继续到框490，以适当地执行一个或多个其它指示的操作。这样的其它操作可包括例如以下操作中的一个或多个：基于一个或多个先前传输的图像从HMD设备接收和存储实际延迟信息，诸如用于以后在框425中使用；接收并存储HMD设备的当前跟踪位置信息，诸如用于以后在框420中使用；从HMD设备接收启动安全模式操作的信息，并且可选地将该信息提供给图像再现系统等。
在框445或490之后，例程继续到框495，以确定是否继续，诸如继续直到接收到要终止的明确指示。如果确定继续，则例程返回到框410，否则继续到框499并结束。
图5是TDM系统的图像跟踪数据解码器例程500的流程图。该例程可通过例如执行图3的组件344和/或关于示例图1A至图1H的相应功能所讨论的组件来执行，以便接收用于在显示设备上显示的模拟环境的图像，以及关于图像所对应的位置跟踪的附加关联信息(例如，基于确定跟踪位置的时间或其它相关时间)，以及确定对当前显示时间的延迟，以供用于以后生成附加图像和/或用于确定图像是否使显示设备启动安全模式操作。虽然所示实施方式讨论了所描述的技术与一个或多个HMD设备的使用，但是应当理解，在其它实施方式中，所描述的技术可与其它类型的显示设备一起使用。此外，例程的示例性实施方式可与显示设备或相关联的计算系统的其它图像处理和显示电路相关联地操作，其中例程确定是显示所接收的模拟环境的图像还是以其它方式获得和显示一个或多个替代图像，并且其它图像处理和显示电路执行实际的显示操作。
例程的所示实施方式在框510处开始，在框510处接收信息或请求。该例程继续到框515，以确定是否接收到要显示在HMD设备上的图像，并且如果是这样，则继续到框520，以提取与该图像相关联的信息，该信息关于该图像所对应的HMD设备的跟踪位置的当前或其它指示时间。在框525中，确定当前时间和所提取的跟踪相关时间之间的差值，以及在框530中，例程可选地存储和/或传输关于所确定的实际时间差的信息到图像再现系统和/或图4的例程400(例如，到所接收图像的源)，诸如用作将来图像生成期间的延迟信息。在框530之后，例程继续到框535，以确定所确定的差值是否超过预定阈值，并且如果不超过预定阈值，则例程继续到框545以启动在框510中接收的图像的显示。
否则，如果在框535中确定差值确实超过预定阈值(或者在例程的其它实施方式中满足其它标准)，则例程替代地继续到框550以启动HMD设备的安全模式操作，包括获得一个或多个替代图像以显示在HMD设备上，从而提供关于用户和HMD设备周围的实际物理环境的信息。如在别处更详细地讨论的，替代图像可以是例如从HMD设备上的相机或实际物理环境中的其它设备获取的图像，以便向用户显示用户在物理环境中的实际位置，和/或可以是实际物理环境的人工版本，其例如至少部分地基于使用HMD设备上的一个或多个传感器确定的HMD设备的定向信息(例如，惯性测量单元数据)来生成。此外，安全模式操作的启动可包括在至少一些实施方式中执行其它操作，例如以其它方式警告或通知用户，在生成附加图像时暂停图像再现系统的操作(例如，通过将关于安全模式操作的信息传输到图像再现系统和/或例程400)等。在框550之后，例程继续到框555，以启动在HMD设备上显示替代图像。
在框545或555之后，例程继续到框570，以可选地获取和/或发送HMD设备的当前跟踪位置信息到图像再现系统(例如，基于由HMD设备和/或由实际物理环境中的其它设备执行的跟踪)，诸如用于对应于跟踪位置信息的稍后的图像生成。
替代地，如果在框515中确定在框510中接收的信息或请求不是显示图像，则例程替代地继续到框590，以适当地执行一个或多个其它指示的操作。例如，这样的其它操作可包括以下操作中的一个或多个：向请求者和/或例程400和/或其它实体提供当前或最近的延迟信息(例如，响应于请求，通过周期性地或当满足其它标准时推送信息等)；向图像再现系统和/或例程400提供HMD设备的跟踪位置信息(例如，响应于请求，当满足一个或多个指示的标准时，周期性地或以其它方式提供)；向请求者和/或例程400和/或其它实体提供关于启动或结束安全模式操作的信息(例如，响应于请求，通过周期性地或当满足其它标准时推送信息等)；当满足一个或多个相关标准时，诸如在限定的时间段之后，或者当接收到其确定的延迟信息不超过阈值(或者在其它实施方式中满足其它标准)的附加图像时，确定结束先前启动的安全模式操作等。
在框570或590之后，例程继续到框595以确定是否继续，诸如直到接收到要终止的明确指示。如果确定继续，则例程返回到框510，否则继续到框599并结束。
应当理解，在一些实施方式中，可以以替代方式来提供由上述例程提供的功能，诸如在更多的例程之间进行拆分，或者合并成更少的例程。类似地，在一些实施方式中，所示例程可提供比所描述的更多或更少的功能，诸如当其它所示例程分别缺少或包括这样的功能时，或者当所提供的功能量改变时。此外，虽然可将各种操作示出为以特定方式(例如，串行或并行)和/或以特定顺序执行，但是本领域技术人员将理解，在其它实施方式中，可以以其它顺序和其它方式执行操作。将类似地理解，上述数据结构可以以不同的方式构造，包括用于数据库或用户界面屏幕/页面或其它类型的数据结构，诸如通过将单个数据结构分成多个数据结构或通过将多个数据结构合并成单个数据结构。类似地，在一些实施方式中，所示的数据结构可存储比所描述的更多或更少的信息，诸如当其它所示的数据结构分别缺少或包括这样的信息时，或者当所存储的信息量或类型改变时。
此外，附图中的元件的尺寸和相对位置不必按比例绘制，包括各种元件和角度的形状，其中一些元件被放大和定位以改善图的可读性，并且选择特定形状的至少一些元件以便于识别，而不需要传送关于那些元件的实际形状或比例的信息。此外，为了清楚和强调，可省略一些元件。此外，在不同附图中重复的参考标记可表示相同或相似的元件。
从上文可理解，尽管为了说明性目的在本文中描述了特定的实施方式，但是可在不脱离本发明的精神和范围的情况下进行各种修改。此外，虽然本发明的某些方面有时以某些权利要求形式呈现，或者有时可能不在任何权利要求中体现，但本发明人以任何可用的权利要求形式设想本发明的各个方面。例如，虽然在特定时间仅将本发明的一些方面叙述为在计算机可读介质中实施，但是其它方面同样可如此实施。
2018年2月15日提交的第15/897,984号美国临时专利申请通过引用整体并入本文，本申请要求该申请的优先权。

Claims (24)

1.一种方法，包括：
由一个或多个经配置硬件电路接收模拟环境的一个或多个图像，并用于显示在头戴式显示设备上，所述一个或多个图像使用所述头戴式显示设备在第一时间在周围实际环境中的跟踪位置生成，并且具有与所述第一时间相对应的关联信息；
通过所述一个或多个经配置硬件电路，在接收到所述一个或多个图像之后，但在将所接收的一个或多个图像显示在所述头戴式显示设备上之前，确定当前时间与所述第一时间之间的差值超过限定阈值；以及
通过所述一个或多个经配置硬件电路，响应于确定所述差值超过所述限定阈值，启动所述头戴式显示设备的安全模式操作，以保护正在进行的使用，包括在所述头戴式显示设备上显示表示所述周围实际环境的一个或多个其它图像，而不是显示所接收的所述模拟环境的一个或多个图像。
2.根据权利要求1所述的方法，还包括：
由实现图像再现系统的一个或多个硬件处理器生成所述模拟环境的所述一个或多个图像，包括：
识别所述头戴式显示设备在所述第一时间的所述跟踪位置；
估计所述头戴式显示设备在未来时间的未来位置，其中，所述未来时间与所述第一时间相差所述一个或多个图像的生成与所述一个或多个图像在所述头戴式显示设备上的后续显示之间的估计延时；以及
产生所述一个或多个图像，以包括基于所估计的未来位置的所述模拟环境的视图；以及
由所述一个或多个硬件处理器，通过一个或多个网络连接将所述一个或多个图像发送至所述头戴式显示设备以供显示。
3.根据权利要求2所述的方法，还包括：
由所述一个或多个经配置硬件电路，通过所述一个或多个网络连接向所述图像再现系统发送关于所确定的所述当前时间与所述第一时间之间的差值的信息，以供所述图像再现系统生成用于在所述头戴式显示设备上显示的附加图像，所述附加图像至少部分地基于所确定的差值；
由所述一个或多个硬件处理器，接收所发送的关于所确定的所述当前时间与所述第一时间之间的差值的信息；
由所述一个或多个硬件处理器，至少部分地基于所确定的所述当前时间与所述第一时间之间的差值来改变所述估计延时；
估计所述头戴式显示设备在一个或多个附加未来时间处的一个或多个附加未来位置，所述一个或多个附加未来时间与所述当前时间相差所改变的估计延时；
由所述一个或多个硬件处理器，生成所述模拟环境的一个或多个附加图像，以包括基于所估计的一个或多个附加未来位置的所述模拟环境的一个或多个视图；以及
由所述一个或多个硬件处理器，通过所述一个或多个网络连接将所述一个或多个附加图像发送至所述头戴式显示设备以供显示。
4.根据权利要求2所述的方法，其中，所述一个或多个图像的生成在所述第一时间之后发生，并且还包括将时间戳数据添加到所述一个或多个图像，以向所述一个或多个经配置硬件电路提供对应于所述第一时间的所述关联信息，以及其中，所添加的时间戳数据指示所述第一时间、或所述未来时间、或在所述第一时间之后的所述一个或多个图像的生成时间中的至少一个，所述未来时间与所述第一时间相差所述估计延时。
5.根据权利要求2所述的方法，还包括：当佩戴所述头戴式显示设备的用户在所述周围实际环境内移动时，由所述一个或多个经配置硬件电路，多次跟踪所述头戴式显示设备在所述周围实际环境中的位置，以及通过所述一个或多个网络连接，向所述图像再现系统提供来自所述跟踪的信息，其中，所提供的信息包括所述头戴式显示设备在所述第一时间的所述跟踪位置，并指示所述头戴式显示设备在所述第一时间在所述用户所处的三维空间中的位置。
6.根据权利要求5所述的方法，其中，跟踪所述头戴式显示设备在所述周围实际环境中的位置还包括确定所述头戴式显示设备沿着三个轴的定向，以及其中，提供所述信息还包括指示所述头戴式显示设备在所述三维空间中的所述位置时在所述第一时间时沿着所述三个轴的定向。
7.根据权利要求1所述的方法，其中，启动所述安全模式操作还包括向佩戴所述头戴式显示设备的用户提供一个或多个通知，以使所述用户在所述安全模式操作期间停止移动。
8.根据权利要求1所述的方法，还包括通过使用所述头戴式显示设备上的相机来获得所述一个或多个其它图像，以获取所述周围实际环境的图像。
9.根据权利要求1所述的方法，还包括通过使用所述头戴式显示设备上的一个或多个惯性测量单元来获得所述一个或多个其它图像，以获取关于所述头戴式显示设备的当前定向的附加信息，以及至少部分地基于关于所述当前定向的所述附加信息来生成所述一个或多个其它图像，以提供指示所述周围实际环境的一个或多个元件的信息。
10.根据权利要求1所述的方法，其中，所述一个或多个经配置硬件电路包括至少一个硬件处理器，所述至少一个硬件处理器是用于所述头戴式显示设备的显示系统的部分，以及其中，接收所述一个或多个图像包括通过至少一个网络连接从生成所述一个或多个图像的图像再现系统接收所述一个或多个图像。
11.根据权利要求10所述的方法，其中，所述一个或多个经配置硬件电路还包括至少一个硬件处理器，所述至少一个硬件处理器是游戏系统的部分，以及其中，所接收到的一个或多个图像均为视频帧，所述视频帧由用于包括所述图像再现系统的所述游戏系统的执行游戏程序生成。
12.一种系统，包括：
头戴式显示设备的一个或多个显示面板；以及
一个或多个硬件电路，配置成使所述系统执行至少包括以下操作的自动操作：
接收用于在所述头戴式显示设备的所述一个或多个显示面板上显示的一个或多个图像，所述一个或多个图像是由图像再现系统使用所述头戴式显示设备在第一时间在周围实际环境中的跟踪位置生成的模拟环境的一个或多个图像，并且具有对应于所述第一时间的关联信息；
确定当前时间与所述第一时间之间的差值，并发送关于所确定的差值的信息，以供所述图像再现系统使用；以及
如果所述确定指示所述差值超过限定阈值，则启动改变所述头戴式显示设备的操作，以及否则在不改变所述操作的情况下，启动在所述头戴式显示设备的所述一个或多个显示面板上显示所接收的一个或多个图像。
13.根据权利要求12所述的系统，还包括具有存储指令的一个或多个存储器，所述存储指令在由所述一个或多个经配置硬件电路中的至少一个执行时，使所述系统执行所述自动操作中的至少一些。
14.根据权利要求12所述的系统，还包括计算设备，所述计算设备通过至少一个网络连接与所述头戴式显示设备分离，并配置成执行所述图像再现系统，其中，所述图像再现系统包括软件应用程序，所述软件应用程序接收所发送的关于所确定的差值的信息，并生成用于在所述头戴式显示设备上显示的多个视频帧序列，所述多个视频帧序列包括基于所发送的信息生成的至少一个视频帧，其中，所接收的一个或多个图像是所述多个视频帧中的每个，以及其中，对所述多个视频帧中的每个均执行所述接收和所述确定以及所述发送。
15.根据权利要求12所述的系统，其中，所述自动操作包括确定所述差值超过限定阈值，以及其中，启动改变所述头戴式显示设备的操作包括启动所述头戴式显示设备的安全模式操作，所述安全模式操作在所述头戴式显示设备上显示表示所述周围实际环境的一个或多个其它图像，而不是显示所接收的一个或多个图像。
16.根据权利要求12所述的系统，其中，所述自动操作包括确定所述差值超过限定阈值，以及其中，启动改变所述头戴式显示设备的操作包括以下各项中的至少一项：由所述图像再现系统改变用于在所述头戴式显示设备上显示的附加图像的生成，以对应于所确定的差值、或者基于所确定的差值向所述头戴式显示设备的用户提供通知。
17.根据权利要求12所述的系统，还包括视频输入端口和控制数据端口，经由所述视频输入端口接收所述一个或多个图像，所述系统经由所述控制数据端口从所述图像再现系统接收一个或多个附加定时数据包，以及其中，所述一个或多个经配置硬件电路包括微控制器，所述微控制器配置成在接收到所述一个或多个附加定时数据包后，立即通过经由所述控制数据端口向所述图像再现系统发送至少一个定时响应数据包来进行响应，以使得所述图像再现系统从发送所述一个或多个附加定时数据包与接收所述至少一个定时响应数据包之间的延迟中接收定时信息。
18.一种方法，包括：
当佩戴头戴式显示设备的用户在周围物理环境内移动时，由一个或多个经配置硬件电路跟踪所述头戴式显示设备的位置；
由所述一个或多个经配置硬件电路将来自所述跟踪的跟踪信息提供给图像再现系统，所述图像再现系统基于所述头戴式显示设备的位置生成模拟环境的图像；
由所述一个或多个经配置硬件电路接收由所述图像再现系统生成的用于在所述头戴式显示设备上显示的图像，其中，所接收的图像包括指示第一时间的信息，并且从所述头戴式显示设备在所述第一时间的第一位置提供所述模拟环境的视图，并且所接收的图像使用所提供的指示在所述第一时间的所述第一位置的跟踪信息中的数据生成；
通过所述一个或多个经配置硬件电路，在接收到所述图像之后但在所述头戴式显示设备上显示所接收的图像之前，确定当前时间与所述第一时间之间的差值；以及
通过所述一个或多个经配置硬件电路，响应于所确定的差值超过限定阈值，启动所述头戴式显示设备的安全模式操作，以在所述周围物理环境内的连续移动期间保护所述用户，包括：
使用所述头戴式显示设备上的一个或多个传感器获得所述周围物理环境的一个或多个其它图像；以及
在所述头戴式显示设备上显示所获得的所述周围物理环境的一个或多个其它图像，而不是所接收的提供来自所述第一位置的所述模拟环境的所述视图的图像。
19.根据权利要求18所述的方法，还包括：
由所述一个或多个经配置硬件电路向所述图像再现系统发送关于所确定的差值的信息，以用于作为在第二时间生成用于在所述头戴式显示设备上显示的一个或多个附加图像的部分，预测所述用户在未来第三时间的新位置，所述未来第三时间与所述第二时间相差至少部分地基于所确定的距离的量，以使得所生成的一个或多个附加图像对应于所预测的所述用户在所述未来第三时间的新位置；
由所述一个或多个经配置硬件电路接收所述一个或多个附加图像；以及
由所述一个或多个经配置硬件电路在所述头戴式显示设备上显示所述一个或多个附加图像。
20.根据权利要求19所述的方法，其中，所述图像再现系统包括软件应用程序，所述软件应用程序生成用于在所述头戴式显示设备上显示的多个视频帧的序列，以向所述用户呈现所述模拟环境的改变部分，所述模拟环境的改变部分对应于所述头戴式显示设备的改变位置，以及其中，对所述多个视频帧中的每个均执行所述接收和所述确定。
21.根据权利要求18所述的方法，其中，获得所述周围物理环境的所述一个或多个其它图像包括使用所述头戴式显示设备外部的前置相机来获取所述一个或多个其它图像。
22.根据权利要求18所述的方法，其中，获得所述周围物理环境的所述一个或多个其它图像包括：使用所述头戴式显示设备上的一个或多个惯性测量单元来获取关于所述头戴式显示设备的当前定向的附加信息；以及生成所述一个或多个其它图像，以至少部分地基于关于所述当前定向的所述附加信息，来提供用于所述周围物理环境的指示所述用户前方的一个或多个障碍物的信息。
23.一种系统，包括：
一个或多个硬件处理器；以及
一个或多个存储器，具有存储指令，所述存储指令在由所述一个或多个硬件处理器中的至少一个执行时，使得所述系统执行自动操作，所述自动操作包括通过以下步骤实现图像再现系统的功能：
向头戴式显示设备发送一个或多个定时数据包，以使头戴式显示设备上配置的硬件电路在接收到所述一个或多个定时数据包后，立即向所述系统发送至少一个定时响应数据包；
接收从所述头戴式显示设备发送的所述至少一个定时响应数据包，并且至少部分地基于所述一个或多个定时数据包的发送与所述至少一个定时响应数据包的接收之间的时间量，来确定从所述图像再现系统到所述头戴式显示设备的通信的延时；
在第一时间生成一个或多个图像，用于在第二时间在所述头戴式显示设备的一个或多个显示面板上显示，所述第二时间与所述第一时间相差基于所确定的延时的量；以及
将所生成的一个或多个图像传输至所述头戴式显示设备，以使得在所述第二时间在所述头戴式显示设备的所述一个或多个显示面板上显示所生成的一个或多个图像。
24.根据权利要求23所述的系统，其中，所述存储指令还使所述系统：
在传输所生成的一个或多个图像之后，从所述头戴式显示设备接收附加信息，以指示所述第二时间与所生成的一个或多个图像在所述头戴式显示设备的所述一个或多个显示面板上的实际显示时间之间的差值；
修改所确定的延时，以反映所指示的所述第二时间与所述实际显示时间之间的差值；
在修改所确定的延时之后的第三时间生成一个或多个附加图像，用于在第四时间显示在所述头戴式显示设备的所述一个或多个显示面板上，所述第四时间与所述第三时间相差基于所修改的所确定的延时的量；以及
将所生成的一个或多个附加图像传输至所述头戴式显示设备，以使得在所述第四时间在所述头戴式显示设备的所述一个或多个显示面板上显示所生成的一个或多个附加图像。
CN201980013611.0A 2018-02-15 2019-02-01 利用跟踪显示设备控制图像显示 Active CN111727077B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/897,984 2018-02-15
US15/897,984 US10726765B2 (en) 2018-02-15 2018-02-15 Using tracking of display device to control image display
PCT/US2019/016394 WO2019160699A2 (en) 2018-02-15 2019-02-01 Using tracking of display device to control image display

Publications (2)

Publication Number Publication Date
CN111727077A true CN111727077A (zh) 2020-09-29
CN111727077B CN111727077B (zh) 2023-09-19

Family

ID=67542389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980013611.0A Active CN111727077B (zh) 2018-02-15 2019-02-01 利用跟踪显示设备控制图像显示

Country Status (6)

Country Link
US (1) US10726765B2 (zh)
EP (1) EP3732554B1 (zh)
JP (1) JP7276753B2 (zh)
KR (1) KR102575470B1 (zh)
CN (1) CN111727077B (zh)
WO (1) WO2019160699A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118987587A (zh) * 2024-08-07 2024-11-22 山东中泳电子股份有限公司 一种超薄游泳出发接力判断器

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US11158101B2 (en) * 2017-06-07 2021-10-26 Sony Interactive Entertainment Inc. Information processing system, information processing device, server device, image providing method and image generation method
US11048465B2 (en) * 2018-09-18 2021-06-29 Canon Kabushiki Kaisha Imaging display device, wearable device, and imaging display system
US11500455B2 (en) * 2018-10-16 2022-11-15 Nolo Co., Ltd. Video streaming system, video streaming method and apparatus
JP7311295B2 (ja) * 2019-03-29 2023-07-19 本田技研工業株式会社 制御装置、制御方法及びプログラム
KR102868241B1 (ko) * 2019-07-30 2025-10-14 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11620780B2 (en) * 2020-11-18 2023-04-04 Microsoft Technology Licensing, Llc Multiple device sensor input based avatar
JP2023114237A (ja) * 2022-02-04 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
WO2024010220A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 거리 센서 활성화 방법 및 전자 장치
CN116808567B (zh) * 2023-07-03 2024-02-06 天津大学 一种基于虚拟现实的模拟行走系统
US12282599B1 (en) * 2024-09-24 2025-04-22 Frank Holling Systems and methods for facilitating presentation of an object

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN105452935A (zh) * 2013-05-30 2016-03-30 欧库勒斯虚拟现实有限责任公司 用于头戴式显示器的基于预测跟踪的感知
US20160093105A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Display of text information on a head-mounted display
US20170302972A1 (en) * 2016-04-15 2017-10-19 Advanced Micro Devices, Inc. Low latency wireless virtual reality systems and methods

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP2009048237A (ja) 2007-08-13 2009-03-05 Canon Inc 画像処理装置、画像処理方法
JP5745204B2 (ja) 2008-07-28 2015-07-08 株式会社バンダイナムコエンターテインメント プログラム、情報記憶媒体及びゲーム機
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8780014B2 (en) 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US9111498B2 (en) 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US20120075167A1 (en) 2010-09-29 2012-03-29 Eastman Kodak Company Head-mounted display with wireless controller
JP5691568B2 (ja) 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
GB2501768A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9812046B2 (en) 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US10019057B2 (en) 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9094677B1 (en) 2013-07-25 2015-07-28 Google Inc. Head mounted display device with automated positioning
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN105593924B (zh) 2013-12-25 2019-06-07 索尼公司 图像处理装置、图像处理方法、计算机程序以及图像显示系统
WO2015172124A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9990774B2 (en) 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
HK1250803A1 (zh) 2014-11-05 2019-01-11 威尔乌集团 用於在虚拟现实环境中引导用户的感官反馈系统和方法
EP3259632A4 (en) 2015-02-17 2018-02-28 Osterhout Group, Inc. See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
EP3133468A1 (en) 2015-08-17 2017-02-22 Samsung Electronics Co., Ltd. Virtual reality headset for notifying an object and method thereof
US10474411B2 (en) 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
JP2017119032A (ja) 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10617956B2 (en) 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
WO2018152689A1 (zh) 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物技术的数据采集方法以及vr头盔
WO2018152690A1 (zh) 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物的专利信息推送方法以及vr头盔

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN105452935A (zh) * 2013-05-30 2016-03-30 欧库勒斯虚拟现实有限责任公司 用于头戴式显示器的基于预测跟踪的感知
US20160093105A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Display of text information on a head-mounted display
US20170302972A1 (en) * 2016-04-15 2017-10-19 Advanced Micro Devices, Inc. Low latency wireless virtual reality systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118987587A (zh) * 2024-08-07 2024-11-22 山东中泳电子股份有限公司 一种超薄游泳出发接力判断器

Also Published As

Publication number Publication date
US20190251892A1 (en) 2019-08-15
WO2019160699A3 (en) 2020-04-16
US10726765B2 (en) 2020-07-28
EP3732554A2 (en) 2020-11-04
KR20200120948A (ko) 2020-10-22
CN111727077B (zh) 2023-09-19
WO2019160699A2 (en) 2019-08-22
JP7276753B2 (ja) 2023-05-18
KR102575470B1 (ko) 2023-09-08
EP3732554A4 (en) 2021-08-04
EP3732554B1 (en) 2022-10-19
JP2021514070A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
CN111727077B (zh) 利用跟踪显示设备控制图像显示
EP3855290B1 (en) Remote rendering for virtual images
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
CA2913650C (en) Virtual object orientation and visualization
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
US9741167B1 (en) Method and system for providing an image of a virtual space to a head mounted display
US11022794B2 (en) Visual indicators of user attention in AR/VR environment
US20140368533A1 (en) Multi-space connected virtual data objects
CN108885856A (zh) 信息处理设备、信息处理方法和程序
US11301969B1 (en) Context aware dynamic distortion correction
JP2017111539A (ja) プログラム及びコンピュータ
US11699270B2 (en) Computationally efficient model selection
US11386604B2 (en) Moving an avatar based on real-world data
US12445588B2 (en) Adaptive displays to address the vergence-accommodation conflict
EP4492775A1 (en) Distributed real-time auto white balance correction for artificial reality applications
KR20200114922A (ko) 컨트롤러 입력에 따른 회전 구동 제어 방법 및 이를 이용한 헤드 마운티드 디스플레이 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant