[go: up one dir, main page]

CN116710878A - 情境感知扩展现实系统 - Google Patents

情境感知扩展现实系统 Download PDF

Info

Publication number
CN116710878A
CN116710878A CN202180091074.9A CN202180091074A CN116710878A CN 116710878 A CN116710878 A CN 116710878A CN 202180091074 A CN202180091074 A CN 202180091074A CN 116710878 A CN116710878 A CN 116710878A
Authority
CN
China
Prior art keywords
virtual content
level
distraction
user
reality system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180091074.9A
Other languages
English (en)
Inventor
R·塔尔兹
J·基斯
D·J·格斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116710878A publication Critical patent/CN116710878A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了用于动态地调整由扩展现实系统提供的虚拟内容的技术和系统。在一些示例中,系统确定由于由扩展现实系统提供的虚拟内容而导致的扩展现实系统的用户的分心水平。该系统确定由于虚拟内容而导致的用户的分心水平超过还是小于门限分心水平,其中,门限分心水平是至少部分地基于与用户所处的真实世界环境相关联的一个或多个环境因素来确定的。该系统还基于关于由于虚拟内容而导致的用户的分心水平超过还是小于门限分心水平的确定来调整虚拟内容的一个或多个特性。

Description

情境感知扩展现实系统
技术领域
概括而言,本公开内容涉及情境感知扩展现实系统。在一些示例中,本公开内容的各方面涉及基于扩展现实系统所处的真实世界环境的特征来调整由扩展现实系统提供的虚拟内容。
背景技术
扩展现实技术可以用于向用户呈现虚拟内容,和/或可以将来自物理世界的真实环境与虚拟环境相结合,以向用户提供扩展现实体验。术语扩展现实可以包含虚拟现实、增强现实、混合现实等。扩展现实系统可以通过将虚拟内容叠加到真实世界环境的图像上而允许用户体验扩展现实环境,用户可以通过扩展现实设备(例如,头戴式显示器、扩展现实眼镜或其它设备)来观看扩展现实环境。虽然许多扩展现实系统的目标是创建逼真的、交互式且完全沉浸式的扩展现实环境,但是扩展现实系统还应当确保虚拟内容不会给用户引起潜在危险的情形,或以其它方式阻止用户与真实世界环境进行适当的交互。需要改进的扩展现实系统以基于真实世界环境的特征来动态地适配虚拟内容。
发明内容
本文描述了用于调整扩展现实系统内的虚拟内容的系统和技术。根据至少一个示例,提供了一种用于调整扩展现实系统内的虚拟内容的装置。示例装置可以包括存储器以及一个或多个处理器(例如,被配置在电路中)。所述一个或多个处理器被配置为:确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;确定由于所述虚拟内容而导致的所述用户的所述分心水平是否超过门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及基于关于由于所述虚拟内容而导致的所述用户的所述分心水平是否超过所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
在另一示例中,提供了一种用于调整扩展现实系统内的虚拟内容的装置。所述装置包括:用于确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平的单元;用于确定由于所述虚拟内容而导致的所述用户的所述分心水平是否超过门限分心水平的单元,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及用于基于关于由于所述虚拟内容而导致的所述用户的所述分心水平是否超过所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性的单元。
在另一示例中,提供了一种用于调整扩展现实系统内的虚拟内容的方法。示例方法可以包括:确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平。所述方法还可以包括:确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的。所述方法还包括:基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平来调整所述虚拟内容的一个或多个特性。
在另一示例中,提供了一种用于调整扩展现实系统内的虚拟内容的非暂时性计算机可读介质。示例非暂时性计算机可读介质可以存储指令,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作:确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
在一些方面中,确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平可以包括:确定所述用户与所述虚拟内容之间的参与水平。在一些示例中,确定所述用户与所述虚拟内容之间的所述参与水平可以包括:监测所述用户的一个或多个物理行为。所述一个或多个物理行为可以指示所述用户正在关注的虚拟对象和物理对象中的至少一者。另外或替代地,确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平可以包括:确定所述虚拟内容在所述扩展现实系统的显示器内的突出度,高突出度与高分心水平相关联。在一些示例中,确定所述虚拟内容在所述扩展现实系统的所述显示器内的所述突出度可以包括确定以下各项中的至少一项:所述虚拟内容的音频音量、所述虚拟内容的大小、所述虚拟内容的类型、所述虚拟内容的亮度、所述虚拟内容的透明度、所述虚拟内容的移动水平、所述虚拟内容的一个或多个色彩特性、所述虚拟内容的振动强度、所述虚拟内容的振动频率、所述虚拟内容的振动持续时间、所述虚拟内容的视野、所述虚拟内容的视觉深度以及所述虚拟内容的位置。
在一些方面中,所述一个或多个环境因素包括所述真实世界环境内的物理对象。在一些示例中,所述一个或多个环境因素包括所述扩展现实系统的所述用户与人之间的交互。
在一些方面中,可以至少部分地基于确定所述一个或多个环境因素的重要性水平来确定所述门限分心水平,其中,低门限分心水平与所述一个或多个环境因素的高重要性水平相关联。在一些示例中,对所述用户具有高安全风险的环境因素可以与高重要性水平相关联。
在一些示例中,确定由于所述虚拟内容而导致的所述用户的所述分心水平是否超过所述门限分心水平包括:确定所述用户的所述分心水平超过所述门限分心水平。在这些示例中,调整所述虚拟内容的所述一个或多个特性可以包括:经由所述扩展现实系统的显示器输出对所述一个或多个环境因素的指示。另外或替代地,调整所述虚拟内容的所述一个或多个特性可以包括:降低所述虚拟内容在所述扩展现实系统的显示器内的突出度。
在一些示例中,确定由于所述虚拟内容而导致的所述用户的所述分心水平是否超过所述门限分心水平包括:确定所述用户的所述分心水平小于所述门限分心水平。在这些示例中,调整所述虚拟内容的所述一个或多个特性可以包括:增加所述虚拟内容在所述扩展现实系统的显示器内的突出度。在一些示例中,可以确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述扩展现实系统的所述用户的经更新的分心水平。这些示例可以包括:至少部分地基于与所述真实世界环境相关联的一个或多个经更新的环境因素来确定经更新的门限分心水平,所述一个或多个经更新的环境因素与所述一个或多个环境因素至少部分地不同。这些示例还可以包括:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平超过所述经更新的门限分心水平;以及基于确定所述经更新的分心水平超过所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性。进一步调整所述虚拟内容的所述一个或多个特性可以降低由所述扩展现实系统提供的所述虚拟内容的突出度。这些示例还可以包括:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平小于所述经更新的门限分心水平。这些示例还可以包括:基于确定所述经更新的分心水平小于所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性可以增加由所述扩展现实系统提供的所述虚拟内容的突出度。
在一些方面中,本文描述的方法、装置和计算机可读介质可以包括以下各者、作为以下各者的部分和/或由以下各者来实现:扩展现实设备(例如,虚拟现实设备、增强现实设备和/或混合现实设备)、移动设备(例如,移动电话或所谓的“智能电话”或其它移动设备)、可穿戴设备、个人计算机、膝上型计算机、服务器计算或其它设备。在一些方面中,所述装置包括用于捕获一个或多个图像的一个相机或多个相机。在一些方面中,所述装置包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中,上述装置可以包括一个或多个传感器(例如,一个或多个加速计、陀螺仪、惯性测量单元(IMU)、运动检测传感器和/或其它传感器)。
该发明内容既不旨在标识所要求保护的主题的关键或必要特征,也不旨在孤立地用于确定所要求保护的主题的范围。通过参考本专利的整个说明书的适当部分、任何或所有附图以及每个权利要求,应当理解本主题。
在参考以下说明书、权利要求和附图之后,前述内容以及其它特征和示例将变得更加显而易见。
附图说明
下文参考以下附图详细描述了本申请的说明性示例:
图1是示出根据一些示例的扩展现实系统的示例架构的框图;
图2是示出根据一些示例的用于调整扩展现实环境内的虚拟内容的系统的示例的框图;
图3是根据一些示例的扩展现实系统的显示器的示图;
图4A和图4B是根据一些示例的对扩展现实系统的显示器内的虚拟内容的调整的示图;
图5是示出根据一些示例的用于调整扩展现实环境内的虚拟内容的过程的示例的流程图;
图6是示出根据一些示例的用于调整扩展现实系统内的虚拟内容的示例门限的图形;
图7是示出根据一些示例的用于调整扩展现实环境内的虚拟内容的过程的示例的流程图;以及
图8是示出用于实现本文描述的某些方面的系统的示例的示意图。
具体实施方式
下文提供了本公开内容的某些方面和示例。如对于本领域技术人员将显而易见的,这些方面和示例中的一些可以独立地应用,并且它们中的一些可以相结合地应用。在以下描述中,出于解释的目的,阐述了具体细节以便提供对本申请的主题的透彻理解。然而,将显而易见的是,可以在没有这些具体细节的情况下实施各个示例。附图和描述并不旨在是限制性的。
随后描述仅提供了说明性示例,而不旨在限制本公开内容的范围、适用性或配置。确切而言,随后描述将向本领域技术人员提供用于实现说明性示例的可行描述。应当理解的是,在不脱离如在所附的权利要求书中阐述的本申请的精神和范围的情况下,可以对元素的功能和布置进行各种改变。
扩展现实(XR)设备或系统可以促进与不同类型的XR环境(包括虚拟现实(VR)环境、增强现实(AR)环境、混合现实(MR)环境和/或其它XR环境)的交互。用户可以使用XR设备或系统来与XR环境进行交互。XR设备或系统的示例包括头戴式显示器(HMD)、XR眼镜等。XR设备或系统可以使得虚拟内容被叠加到真实世界环境的图像上,这些图像可以由用户通过XR设备或系统来观看。一些XR设备或系统可以提供伴随的音频内容。真实世界环境可以包括物理对象、人或其它真实世界对象。XR设备或系统可以跟踪用户的部分(例如,用户的手和/或指尖)以允许用户与虚拟内容项进行交互。
在一些情况下,XR设备或系统的沉浸式性质可能阻止用户正确地或安全地与其真实世界环境进行交互,诸如当在环境中四处移动时。例如,呈现给用户的虚拟内容可能遮挡或遮盖安全隐患,诸如沉重的家具、楼梯、交通等。此外,沉浸在虚拟内容中的用户可能在看到或听到其他人时有问题,并且甚至可能不知道其他人尝试与他们交流。当用户特别被虚拟内容分心时,这些问题会加剧。虽然许多XR系统的目标是创建逼真的、交互式且完全沉浸式的XR环境,但是XR系统还应当确保虚拟内容不会给用户引起潜在危险的情形,或以其它方式阻止用户与真实世界环境正确地交互。
本公开内容描述了用于提供情境感知XR环境的系统、装置、方法和计算机可读介质(被统称为“系统和技术”)。本文描述的系统和技术提供了用于XR系统或设备(例如,HMD、AR眼镜等)基于由于虚拟内容而导致的用户的分心水平来动态地调整被提供给用户的虚拟内容的能力。例如,XR系统可以调整虚拟内容以降低用户的分心水平。通过以这样的方式调整虚拟内容,XR系统触发或以其它方式使得用户能够关注与真实世界环境相关联的环境因素。如本文使用的术语“环境因素”可以是指真实世界环境的潜在地需要或吸引用户的注意力的任何元素或方面。在一个示例中,环境因素可以包括一个或多个人与用户交流的尝试。另外或替代地,环境因素可以包括在用户附近、在用户的路径或轨迹中或以其它方式在用户附近的安全隐患或风险(例如,汽车、楼梯、动物、家具、物理障碍物等)。在一些情况下,XR系统可以监测(例如,使用各种类型的传感器)真实世界环境,以检测可能与用户相关的环境因素。XR系统可以基于所检测到的环境因素来调整虚拟内容。
在一些情况下,XR系统可以通过确定用户与虚拟内容之间的参与水平来确定由于虚拟内容而导致的用户的分心水平。与虚拟内容的高参与水平可以指示用户被虚拟内容高度分心,并且因此不太可能关注真实世界环境中的环境因素。在一些示例中,XR系统可以通过识别用户正在关注的对象(例如,虚拟对象和/或物理对象)、检测与向XR系统提供输入相关联的用户运动、监测用户的生理反应和/或以任何其它合适的方式来确定用户与虚拟内容之间的参与水平。在一些情况下,XR系统可以基于虚拟内容的突出度来确定由于虚拟内容而导致的用户的分心水平。虚拟内容的突出度可以是基于虚拟内容的大小、虚拟内容在XR系统的显示器上的放置(例如,在显示器中间的虚拟内容可能比在显示器的角上的虚拟内容更突出)、虚拟内容的音频水平、虚拟内容的亮度、虚拟内容的移动量、其任何组合和/或虚拟内容的其它特性。例如,高度突出的虚拟内容(例如,大的、大声的、动画化等的虚拟内容)可能比不太突出的虚拟内容更令人分心。在一些示例中,XR系统可以基于用户与虚拟内容之间的参与水平以及虚拟内容的突出度来确定由于虚拟内容而导致的用户的分心水平。例如,XR系统可以对参与度水平和内容突出度的定量测量进行组合,以确定用户的总体分心水平。
XR系统可以确定由于虚拟内容而导致的用户的分心水平是否可能和/或预期阻止用户在真实世界环境中正确地和/或安全地处置环境因素。例如,XR系统可以确定环境安全分数(ESS),其表示对环境内的安全隐患(或需要用户的注意力的其它特征)的定量评估。高ESS可以指示相对安全的环境。此外,XR系统可以确定用户分心分数(UDS),其表示由于虚拟内容而导致的用户的分心水平的定量评估。XR系统可以将UDS与ESS进行比较,以确定是否调整由XR系统呈现的虚拟内容。例如,如果UDS超过ESS(例如,至少门限量),则XR系统可以降低虚拟内容的突出度,以使得用户能够关注环境因素。在说明性示例中,如果XR系统将ESS和UDS确定为在1-10的范围内的值,那么,如果UDS超过ESS达值1(或任何其它合适的门限量),则XR系统可以确定降低虚拟内容的突出度。该门限量可以被称为安全门限,因为降低虚拟内容的突出度可以帮助减轻由环境因素对用户造成的安全风险。在一个示例中,XR系统可以将虚拟内容的突出度降低达加权量或成比例的量(例如,相对于ESS与UDS之间的差)。降低虚拟内容的突出度的示例可以包括降低音频内容的音量和/或减小由XR系统显示的视觉内容的大小、放置、亮度、移动等。
在一些示例中,XR系统可以通过在XR系统的显示器内勾勒、突出显示、指向和/或以其它方式强调物理对象来向用户指示一个或多个环境因素。例如,使用增强现实(AR)系统作为XR系统的示例,AR系统可以在显示器上显示虚拟内容。AR系统的显示器(例如,AR眼镜的透镜)可以允许用户也观看真实世界环境。使用AR系统,用户可以观看叠加在真实世界环境上的虚拟内容。在这样的示例中,AR系统可以显示轮廓,可以突出显示、可以指向和/或以其它方式强调通过AR系统的显示器观看的虚拟环境的物理对象。
在一些情况下,XR系统可以确定由于虚拟内容而导致的用户的分心水平不太可能和/或不预期阻止用户正确地和/或安全地处置环境因素。例如,XR系统可以确定UDS没有超过ESS(例如,达至少门限量)。在一些情况下,如果UDS没有超过ESS(例如,达至少门限量),则XR系统可以确定对虚拟内容的调整是不必要的。在其它情况下,XR系统可以通过增加虚拟内容的突出度来调整虚拟内容。例如,XR系统可以确定用户能够体验更大量的虚拟内容,同时正确地处置环境因素。在说明性示例中,如果XR系统将ESS和UDS确定为在1-10的范围内的值,那么,如果UDS低于ESS达至少值1(或任何其它合适的门限量),则XR系统可以确定增加虚拟内容的突出度。该门限量可以被称为可用性门限,因为增加虚拟内容的突出度可以增加XR系统的可用性和/或增强用户对XR系统的体验。在一个示例中,XR系统可以将虚拟内容的突出度增加达加权量或成比例的量(例如,相对于ESS与UDS之间的差)。在一些情况下,增加虚拟内容的突出度可以增加XR系统的可用性和/或增强用户对XR系统的体验。增加虚拟内容的突出度的示例可以包括增加音频内容的音量和/或增加视觉内容的大小、放置、亮度、移动等。
在一些情况下,情境感知XR系统可以基于真实世界环境内的环境因素的变化和/或基于由于虚拟内容而导致的用户的分心水平的变化来连续地或周期性地调整虚拟内容。例如,XR系统可以包括和/或对应于闭环系统,其中虚拟内容的突出度可以表示用于确定用户的分心水平的反馈。在闭环系统中,虚拟内容的突出度的变化可以表示系统输出,并且虚拟内容的突出度的新状态可以被反馈到系统中(例如,以考虑由于内容突出度的变化而导致的用户的分心水平的变化)。
所公开的情境感知XR系统和技术可以使得用户能够变得完全沉浸在XR环境中,而没有与真实世界环境中的对象或元素的负面或有害交互的风险。此外,通过基于周围环境来调整虚拟内容,所述系统和技术可以扩展用户可以享受XR应用的环境类型。
本文关于各个图提供了关于情境感知XR系统的进一步细节。图1是示出根据本公开内容的一些方面的示例扩展现实系统100的示意图。扩展现实系统100可以运行(或执行)XR应用并且实现XR操作。在一些示例中,作为XR体验的一部分,扩展现实系统100可以执行跟踪和定位、对物理世界(例如,场景)的地图绘制、以及在显示器(例如,屏幕、可见平面/区域和/或其它显示器)上对虚拟内容的定位和渲染。例如,扩展现实系统100可以生成物理世界中的场景的地图(例如,3D地图),跟踪扩展现实系统100相对于该场景(例如,相对于该场景的3D地图)的位姿(例如,地点(location)和位置(position)),将虚拟内容定位和/或锚定在该场景的地图上的特定地点,并且在显示器上渲染虚拟内容。扩展现实系统100可以将虚拟内容渲染在显示器上,使得虚拟内容在场景中看起来处于与场景的地图上的虚拟内容被定位和/或锚定的特定地点相对应的地点。在一些示例中,显示器可以包括眼镜、屏幕、镜头和/或允许用户看到真实世界环境并且还允许在其上显示XR内容的其它显示机制。
如图1中所示,扩展现实系统100可以包括一个或多个图像传感器102、加速计104、陀螺仪106、存储装置108、计算组件110、XR引擎120、内容调整引擎122、图像处理引擎124和渲染引擎126。应当注意的是,在图1中所示的组件102-126是出于说明和解释目的而提供的非限制性示例,并且其它示例可以包括与在图1中所示的组件相比更多、更少或不同的组件。例如,在一些情况下,扩展现实系统100可以包括一个或多个其它传感器(例如,一个或多个惯性测量单元(IMU)、雷达、光检测和测距(LIDAR)传感器、音频传感器等)、一个或多个显示设备、一个或多个其它处理引擎、一个或多个其它硬件组件和/或在图1中未示出的一个或多个其它软件和/或硬件组件。下文参考图7进一步描述了可以由扩展现实系统100实现的示例架构和示例硬件组件。
出于简单和解释的目的,一个或多个图像传感器102在本文中将被称为图像传感器102(例如,以单数形式)。然而,本领域普通技术人员将认识到,扩展现实系统100可以包括单个图像传感器或多个图像传感器。此外,以单数或复数形式对扩展现实系统100的任何组件(例如,102-126)的引用不应当被解释为将由扩展现实系统100实现的此类组件的数量限制为一个或多于一个。例如,以单数形式对加速计104的引用不应当被解释为将由扩展现实系统100实现的加速计的数量限制为一个。本领域普通技术人员将认识到,对于在图1中所示的组件102-126中的任何一者,扩展现实系统100可以仅包括此类组件中的一个组件或此类组件中的多于一个的组件。
扩展现实系统100可以包括输入设备或与输入设备进行通信(有线或无线地)。输入设备可以包括任何合适的输入设备,诸如触摸屏、笔或其它指针设备、键盘、鼠标、按钮或按键、用于接收语音命令的麦克风、用于接收姿势命令的姿势输入设备、其任何组合、和/或其它输入设备。在一些情况下,图像传感器102可以捕获可以被处理以用于解释姿势命令的图像。
扩展现实系统100可以是单个计算设备或多个计算设备的一部分或由其实现。在一些示例中,扩展现实系统100可以是电子设备(或多个电子设备)的一部分,诸如扩展现实头戴式显示器(HMD)设备、扩展现实眼镜(例如,增强现实或AR眼镜)、相机系统(例如,数字相机、IP相机、视频相机、安全相机等)、电话系统(例如,智能电话、蜂窝电话、会议系统等)、台式计算机、膝上型计算机或笔记本计算机、平板计算机、机顶盒、智能电视机、显示设备、游戏控制台、视频流式传输设备、物联网(IoT)设备和/或任何其它合适的电子设备。
在一些实现中,一个或多个图像传感器102、加速计104、陀螺仪106、存储装置108、计算组件110、XR引擎120、内容调整引擎122、图像处理引擎124和渲染引擎126可以是同一计算设备的一部分。例如,在一些情况下,一个或多个图像传感器102、加速计104、陀螺仪106、存储装置108、计算组件110、XR引擎120、内容调整引擎122、图像处理引擎124和渲染引擎126可以被集成到HMD、扩展现实眼镜、智能电话、膝上型计算机、平板计算机、游戏系统、和/或任何其它计算设备中。然而,在一些实现中,一个或多个图像传感器102、加速计104、陀螺仪106、存储装置108、计算组件110、XR引擎120、内容调整引擎122、图像处理引擎124和渲染引擎126可以是两个或更多个单独计算设备的一部分。例如,在一些情况下,组件102-126中的一些组件可以是一个计算设备的一部分或由其实现,而剩余组件可以是一个或多个其它计算设备的一部分或由其实现。
存储装置108可以是用于存储数据的任何存储设备。此外,存储装置108可以存储来自扩展现实系统100的任何组件的数据。例如,存储装置108可以存储来自图像传感器102的数据(例如,图像或视频数据)、来自加速计104的数据(例如,测量结果)、来自陀螺仪106的数据(例如,测量结果)、来自计算组件110的数据(例如,处理参数、偏好、虚拟内容、渲染内容、场景地图、跟踪和定位数据、对象检测数据、隐私数据、XR应用数据、面部识别数据、遮挡数据等)、来自XR引擎120的数据、来自内容调整引擎122的数据、来自图像处理引擎124的数据、和/或来自渲染引擎126的数据(例如,输出帧)。在一些示例中,存储装置108可以包括用于存储用于由计算组件110处理的帧的缓冲器。
一个或多个计算组件110可以包括中央处理单元(CPU)112、图形处理单元(GPU)114、数字信号处理器(DSP)116和/或图像信号处理器(ISP)118。计算组件110可以执行各种操作,诸如图像增强、计算机视觉、图形渲染、扩展现实(例如,跟踪、定位、位姿估计、地图绘制、内容锚定、内容渲染等)、图像/视频处理、传感器处理、识别(例如,文本识别、面部识别、对象识别、特征识别、跟踪或模式识别、场景识别、遮挡检测等)、机器学习、滤波、以及本文描述的各种操作中的任何一种。在该示例中,计算组件110实现XR引擎120、内容调整引擎122、图像处理引擎124和渲染引擎126。在其它示例中,计算组件110还可以实现一个或多个其它处理引擎。
图像传感器102可以包括任何图像和/或视频传感器或捕获设备。在一些示例中,图像传感器102可以是多相机组装件(诸如双相机组装件)的一部分。图像传感器102可以捕获图像和/或视频内容(例如,原始图像和/或视频数据),图像和/或视频内容然后可以由计算组件110、XR引擎120、内容调整引擎122、图像处理引擎124和/或渲染引擎126进行处理,如本文所描述的。
在一些示例中,图像传感器102可以捕获图像数据,并且可以基于图像数据来生成帧,和/或可以将图像数据或帧提供给XR引擎120、内容调整引擎122、图像处理引擎124和/或渲染引擎126以进行处理。帧可以包括视频序列中的视频帧或静态图像。帧可以包括表示场景的像素阵列。例如,帧可以是:每像素具有红色、绿色和蓝色分量的红-绿-蓝(RGB)帧;每像素具有亮度分量和两个色度(色彩)分量(色度红和色度蓝)的亮度、色度红、色度蓝(YCbCr)帧;或任何其它合适类型的彩色或单色图片。
在一些情况下,图像传感器102(和/或扩展现实系统100的其它图像传感器或相机)可以被配置为还捕获深度信息。例如,在一些实现中,图像传感器102(和/或其它相机)可以包括RGB深度(RGB-D)相机。在一些情况下,扩展现实系统100可以包括一个或多个深度传感器(未示出),其是与图像传感器102(和/或其它相机)分开的并且可以捕获深度信息。例如,这样的深度传感器可以独立于图像传感器102来获得深度信息。在一些示例中,深度传感器可以被物理地安装在与图像传感器102相同的一般地点,但是可以以与图像传感器102不同的频率或帧率进行操作。在一些示例中,深度传感器可以采用光源的形式,该光源可以将结构化或纹理化的光图案(其可以包括一个或多个窄带光)投射到场景中的一个或多个对象上。然后,可以通过利用由对象的表面形状引起的所投射的图案的几何变形来获得深度信息。在一个示例中,可以从立体传感器获得深度信息,诸如红外结构化光投射器和配准到相机(例如,RGB相机)的红外相机的组合。
如上所述,在一些情况下,扩展现实系统100还可以包括与图像传感器102不同的一个或多个传感器(未示出)。例如,一个或多个传感器可以包括一个或多个加速计(例如,加速计104)、一个或多个陀螺仪(例如,陀螺仪106)和/或其它传感器。一个或多个传感器可以向计算组件110提供速度、朝向和/或其它位置相关信息。例如,加速计104可以检测扩展现实系统100的加速度,并且可以基于检测到的加速度来生成加速度测量结果。在一些情况下,加速计104可以提供一个或多个平移矢量(例如,上/下、左/右、前/后),这些平移矢量可以用于确定扩展现实系统100的位置或位姿。陀螺仪106可以检测和测量扩展现实系统100的朝向和角速度。例如,陀螺仪106可以用于测量扩展现实系统100的俯仰、滚转、偏航。在一些情况下,陀螺仪106可以提供一个或多个旋转矢量(例如,俯仰、偏航、滚转)。在一些示例中,图像传感器102和/或XR引擎120可以使用由加速计104获得的测量结果(例如,一个或多个平移矢量)和/或由陀螺仪106获得的测量结果(例如,一个或多个旋转矢量),以计算扩展现实系统100的位姿。如前所述,在其它示例中,扩展现实系统100还可以包括其它传感器,诸如惯性测量单元(IMU)、磁力计、机器视觉传感器、智能场景传感器、语音识别传感器、冲击力传感器、震动传感器、位置传感器、倾斜传感器等。
在一些情况下,一个或多个传感器可以包括至少一个IMU。IMU是一种如下的电子设备:其使用一个或多个加速计、一个或多个陀螺仪和/或一个或多个磁力计的组合来测量扩展现实系统100的特定力、角速度和/或朝向。在一些示例中,一个或多个传感器可以输出测量到的与由图像传感器102(和/或扩展现实系统100的其它相机)捕获的图像的捕获相关联的信息和/或使用扩展现实系统100的一个或多个深度传感器获得的深度信息。
扩展现实引擎120可以使用一个或多个传感器(例如,加速计104、陀螺仪106、一个或多个IMU和/或其它传感器)的输出来确定扩展现实系统100的位姿(也被称为头部位姿)和/或图像传感器102(或扩展现实系统100的其它相机)的位姿。在一些情况下,扩展现实系统100的位姿和图像传感器102(或其它相机)的位姿可以是相同的。图像传感器102的位姿是指图像传感器102相对于参考系的位置和朝向。在一些实现中,可以针对6自由度(6DOF)来确定相机位姿,6自由度是指三个平移分量(例如,其可以由相对于参考系(诸如图像平面)的X(水平)、Y(垂直)和Z(深度)坐标来给出)和三个角分量(例如,相对于同一参考系的滚转、俯仰和偏航)。
在一些情况下,设备跟踪器(未示出)可以使用来自一个或多个传感器的测量结果和来自图像传感器102的图像数据来跟踪扩展现实系统100的位姿(例如,6DOF位姿)。例如,设备跟踪器可以将来自所捕获的图像数据的视觉数据(例如,使用视觉跟踪解决方案)与惯性测量数据进行融合以确定扩展现实系统100相对于物理世界(例如,场景)和物理世界的地图的位置和运动。如下所述,在一些示例中,当跟踪扩展现实系统100的位姿时,设备跟踪器可以生成场景(例如,真实世界)的三维(3D)地图和/或生成针对场景的3D地图的更新。3D地图更新可以包括(例如但不限于)与场景和/或场景的3D地图相关联的新的或经更新的特征和/或特征点或标志点、标识或更新扩展现实系统100在场景和场景的3D地图内的位置的定位更新等。3D地图可以提供真实/物理世界中的场景的数字表示。在一些示例中,3D地图可以将基于地点的对象和/或内容锚定到真实世界坐标和/或对象。扩展现实系统100可以使用经地图绘制的场景(例如,物理世界中的由3D地图表示和/或与3D地图相关联的场景)来合并物理和虚拟世界和/或将虚拟内容或对象与物理环境合并。
在一些方面中,计算组件110可以基于由图像传感器102(和/或扩展现实系统100的其它相机)捕获的图像,使用视觉跟踪解决方案来确定和/或跟踪图像传感器102和/或作为整体的扩展现实系统100的位姿。例如,在一些示例中,计算组件110可以使用基于计算机视觉的跟踪、基于模型的跟踪和/或同时定位和地图绘制(SLAM)技术来执行跟踪。例如,计算组件110可以执行SLAM或者可以与SLAM引擎(未示出)进行通信(有线或无线)。SLAM是指如下的一类技术:创建环境的地图(例如,由扩展现实系统100建模的环境的地图),而同时跟踪相机(例如,图像传感器102)和/或扩展现实系统100相对于该地图的位姿。该地图可以被称为SLAM地图,并且可以是3D的。SLAM技术可以使用由图像传感器102(和/或扩展现实系统100的其它相机)捕获的彩色或灰度图像数据来执行,并且可以用于生成图像传感器102和/或扩展现实系统100的6DOF位姿测量结果的估计。被配置为执行6DOF跟踪的此类SLAM技术可以被称为6DOF SLAM。在一些情况下,一个或多个传感器(例如,加速计104、陀螺仪106、一个或多个IMU和/或其它传感器)的输出可以用于估计、校正和/或以其它方式调整所估计的位姿。
在一些情况下,6DOF SLAM(例如,6DOF跟踪)可以将从来自图像传感器102(和/或其它相机)的某些输入图像观察到的特征关联到SLAM地图。例如,6DOF SLAM可以使用来自输入图像的特征点关联来确定图像传感器102和/或扩展现实系统100针对输入图像的位姿(位置和朝向)。还可以执行6DOF地图绘制以更新SLAM地图。在一些情况下,使用6DOF SLAM维护的SLAM地图可以包含从两个或更多个图像进行三角测量的3D特征点。例如,可以从输入图像或视频流中选择关键帧以表示观察到的场景。对于每个关键帧,可以确定与图像相关联的相应6DOF相机位姿。图像传感器102和/或扩展现实系统100的位姿可以通过以下操作来确定:将来自3D SLAM地图的特征投影到图像或视频帧中,并且根据经验证的2D-3D对应关系来更新相机位姿。
在一个说明性示例中,计算组件110可以从每个输入图像或从每个关键帧中提取特征点。如本文使用的特征点(也被称为配准点)是图像的独特的或可识别的部分,诸如手的一部分、桌子的边缘、以及其它示例。从捕获的图像中提取的特征可以表示沿着三维空间的不同特征点(例如,在X、Y和Z轴上的坐标),并且每个特征点可以具有相关联的特征地点。关键帧中的特征点与先前捕获的输入图像或关键帧的特征点匹配(与其相同或相对应)或未能匹配。特征检测可以用于检测特征点。特征检测可以包括用于检查图像的一个或多个像素以确定在特定像素处是否存在特征的图像处理操作。特征检测可以用于处理整个捕获的图像或图像的某些部分。对于每个图像或关键帧,一旦已经检测到特征,就可以提取在该特征周围的局部图像块。可以使用任何合适的技术来提取特征,诸如尺度不变特征变换(SIFT)(其定位特征并且生成其描述)、加速鲁棒特征(SURF)、梯度位置朝向直方图(GLOH)、归一化互相关(NCC)或其它合适的技术。
在一些情况下,扩展现实系统100还可以跟踪用户的手和/或手指,以允许用户与虚拟环境中的虚拟内容进行交互和/或控制虚拟内容。例如,扩展现实系统100可以跟踪用户的手和/或指尖的位姿和/或移动,以识别或翻译用户与虚拟环境的交互。用户交互可以包括例如但不限于移动虚拟内容项、对虚拟内容项和/或虚拟私用空间的地点进行大小调整、选择虚拟用户界面中的输入界面元素(例如,移动电话的虚拟表示、虚拟键盘和/或其它虚拟界面)、通过虚拟用户界面提供输入等。
用于XR引擎120、内容调整引擎122、图像处理引擎124和渲染引擎126(以及任何图像处理引擎)的操作可以由计算组件110中的任何一者来实现。在一个说明性示例中,渲染引擎126的操作可以由GPU 114来实现,并且XR引擎120、内容调整引擎122和图像处理引擎124的操作可以由CPU 112、DSP 116和/或ISP 118来实现。在一些情况下,计算组件110可以包括其它电子电路或硬件、计算机软件、固件或其任何组合,以执行本文描述的各种操作中的任何操作。
在一些示例中,XR引擎120可以执行XR操作,以基于来自图像传感器102、加速计104、陀螺仪106和/或扩展现实系统100上的一个或多个传感器(诸如一个或多个IMU、雷达等)的数据来生成XR体验。在一些示例中,XR引擎120可以执行跟踪、定位、位姿估计、地图绘制、内容锚定操作和/或任何其它XR操作/功能。XR体验可以包括在虚拟会话期间使用扩展现实系统100来向用户呈现XR内容(例如,虚拟现实内容、增强现实内容、混合现实内容等)。在一些示例中,XR内容和体验可以由扩展现实系统100通过XR应用(例如,由XR引擎120执行或实现)来提供,该XR应用提供特定XR体验,诸如例如,XR游戏体验、XR课堂体验、XR购物体验、XR娱乐体验、XR活动(例如,操作、检修活动等)、以及其它示例。在XR体验期间,用户可以使用扩展现实系统100来观看虚拟内容和/或与虚拟内容进行交互。在一些情况下,用户可以观看虚拟内容和/或与虚拟内容进行交互,同时还能够观看在用户周围的物理环境和/或与其进行交互,从而允许用户在物理环境和与物理环境混合的或集成的虚拟内容之间具有沉浸式体验。
内容调整引擎122可以执行各种操作,以确定对由扩展现实系统100所提供的虚拟内容(或其它类型的XR内容)的调整。如本文所使用的,对虚拟内容的调整可以包括对如由XR应用配置的虚拟内容的任何修改、改变和/或偏离。例如,XR应用当在扩展现实系统100内运行时可以生成和/或配置要显示给用户的虚拟内容。内容调整引擎122可以确定要被应用于所生成的和/或所配置的虚拟内容的一个或多个调整。图像处理引擎124和/或渲染引擎126然后可以将调整应用于虚拟内容,使得由用户体验的虚拟内容反映调整。如下文将解释的,内容调整引擎122可以基于与用户的XR体验相关联的当前情境因素来确定对虚拟内容的调整。情境因素可以包括与真实世界环境相关联的环境因素、虚拟内容的突出度(例如,在调整虚拟内容之前)和/或用户与虚拟内容之间的参与水平。
图2是示出内容调整系统200的示例的框图。在一些情况下,内容调整系统200可以包括图1中的扩展现实系统100和/或作为其部分。例如,内容调整系统200可以对应于内容调整引擎122的全部或一部分。如图2中所示,内容调整系统200可以包括一个或多个引擎,包括环境因素引擎202、用户参与引擎204、内容突出度引擎206和内容调整引擎214。内容调整系统200的引擎可以被配置为确定内容调整224。内容调整224可以包括对显示在扩展现实系统100的显示器上并且可以由扩展现实系统100的用户观看的虚拟内容(例如,虚拟内容212)的任何类型或数量的调整。
在一些情况下,内容调整系统200可以至少部分地基于与真实世界环境相关联的一个或多个环境因素(例如,环境因素208)来确定内容调整224。如上所述,环境因素可以包括真实世界环境的潜在地需要和/或涉及用户的注意力的任何元素或方面。在一些示例中,环境因素208可以包括安全隐患,诸如在用户的路径中的一段楼梯、交通、物理对象(例如,路标、一件家具等)、以及其它示例。在其它示例中,环境因素208可以包括环境的复杂度。例如,环境的复杂度可以是基于对环境内的杂乱物、移动、噪声等的水平的总体评估。在一些情况下,复杂的环境可能导致用户将更大量的注意力引导到虚拟内容,以便处理虚拟内容(例如,以便将虚拟内容与复杂的环境分离)。在一些示例中,环境因素208可以包括与一个或多个人的潜在交互。例如,环境因素208可以包括人与用户交流的尝试。另外或替代地,环境因素208可以包括真实世界环境的氛围和/或地理特性。例如,环境因素208可以包括环境的温度、环境内的一个或多个物理对象的温度、环境内的照明水平、环境的类型(例如,环境是否是公共空间、在建筑物内部等)、和/或真实世界环境的其它氛围和/或地理特性。在一个示例中,高水平的环境照明可以降低虚拟内容的可见性,并且因此导致用户将更大量的注意力引导到虚拟内容。在另一示例中,具有高温的对象(例如,壁炉或炉灶)可能表示对用户的安全隐患。在一些情况下,环境因素208可以包括环境的地点(例如,特定街道、城市或与环境相关联的其它地理区域)。在一些情况下,环境因素208可以包括与环境相关联的历史和/或先前识别的环境因素。例如,环境因素208可以包括环境内的交通、犯罪、伤害等的趋势和/或记录率。
环境因素引擎202可以使用各种技术和/或设备来确定环境因素208。在一些示例中,环境因素引擎202可以分析由一个或多个相机或图像传感器(例如,扩展现实系统100的图像传感器102)捕获的图像或视频数据,以确定环境因素208。例如,环境因素引擎202可以使用各种图像处理技术来检测和/或识别物理对象、安全隐患、人等。这样的安全隐患包括楼梯、停放的车辆、家具、宠物、繁忙的街道以及其它安全隐患。此外,在一些情况下,环境因素引擎202可以使用各种图像处理技术来检测放置在环境中的视觉标记(例如,快速响应(QR)码),以指示安全隐患。图像处理技术可以包括对象检测算法、对象识别算法、面部识别算法、其任何组合和/或其它图像处理技术。在一些示例中,环境因素引擎202可以使用空间频率分析或类似分析来确定环境的复杂度。在一些示例中,环境因素引擎202可以使用诸如LIDAR传感器、音频传感器、温度计、其任何组合和/或其它传感器或设备之类的传感器来确定环境的氛围和/或物理状况。在进一步的示例中,环境因素引擎202可以使用网络连接和/或定位系统(例如,全球定位系统(GPS))来确定扩展现实系统100所处的真实世界环境的地点。环境因素引擎202可以使用任何合适的技术和/或设备来检测任何额外或替代类型的环境因素。
如图2中所示,环境因素引擎202可以至少部分地基于环境因素208来确定环境安全分数(ESS)216。ESS 216可以表示由于环境内的安全隐患(或需要用户的注意力的其它因素)而对用户造成的风险的定量评估。例如,ESS 216的值可以对应于环境因素208的组合可能需要的来自用户的注意力的量(例如,为了用户安全地和/或正确地处置或解决环境因素208)。在一些情况下,高ESS 216可以指示需要低水平的用户注意力来解决环境中的对象或其它项),而低ESS 216可以指示高水平的用户注意力。例如,与高安全风险相关联的环境因素可以与低环境安全分数相关。在一些情况下,预期需要来自用户的大量注意力的环境因素可以被称为“重要”环境因素,而预期不需要来自用户的大量注意力的环境因素可以被称为“不重要”环境因素。
在一些示例中,环境因素引擎202可以通过对环境因素208内的各个环境因素进行加权来确定ESS 216。例如,环境因素引擎202可以将数字分数分配给被确定为在XR系统所处的真实世界环境内存在和/或相关的每个环境因素。在非限制性示例中,环境因素引擎202可以为每个环境因素分配预先确定范围内的分数(例如,1-10的范围,其中,分数1对应于最低水平的环境安全,而分数10对应于最高水平的环境安全)。被分配给环境因素的分数的数值可以对应于环境因素的相对重要性。例如,具有高重要性的环境分数可以被分配低分数(对应于高水平的用户注意力)。在一些情况下,环境因素引擎202可以对环境因素208中的每一者的单独分数进行组合(例如,通过确定平均或均值或其它代表性的值),以生成表示环境因素208的累积评估的ESS 216。在非限制性示例中,环境因素引擎202可以识别四个环境因素并且向四个环境因素分配分数,如下:(1)位于用户右侧的3英尺处的椅子,其被分配分数7;(2)在用户前方3英尺的一段向下楼梯,其被分配分数2;(3)在与用户相同的房间内提供音频和视觉内容两者的电视,被分配分数4;以及(4)环境内的高水平的环境光,被分配分数5。在该示例中,环境因素引擎202可以通过对各个分数进行平均来确定ESS 216,从而得到为4.5的ESS 216。
在一些情况下,内容调整系统200可以至少部分地基于用户的一个或多个特性(例如,用户特性210)来确定内容调整224。用户特性210可以包括用户的与用户与虚拟内容212之间的参与水平相关联的任何数量或类型的行为、反应、生理状态和/或其它特征。在一些情况下,用户与虚拟内容212之间的高参与水平可以对应于用户由于虚拟内容212而从真实世界环境高度分心。因此,用户与虚拟内容212之间的高参与水平可能与用户经历与真实世界环境的不安全或以其它方式不期望的交互的增加的风险相关联。例如,被虚拟内容高度分心的用户可能未能注意到安全隐患(例如,在其路径中的物理对象,诸如街道、楼梯等)和/或可能未能注意到人正在尝试与该用户交流。
在一个示例中,用户特性210可以包括指示用户正在观看和/或跟踪的一个或多个对象的物理行为。例如,用户参与引擎204可以跟踪用户的注视方向(例如,使用一种或多种眼睛跟踪技术),以确定一个或多个对象包括虚拟内容(指示与虚拟内容的高参与水平)还是物理对象(指示与虚拟内容的低参与水平)。在另一示例中,用户特性210可以包括与向XR应用提供输入相关联的运动。例如,用户参与引擎204可以检测用户何时执行与对XR应用的输入相对应的特定姿势(例如,手势)和/或用户何时与XR应用的控制器交互。与向XR应用提供输入相关联的频繁运动可以指示与虚拟内容212的高参与水平。在进一步的示例中,用户特性210可以包括用户的语音。例如,用户参与引擎204可以确定用户的语音是与虚拟内容212相关(例如,与XR应用的其他用户的交互、对XR应用的指令等)还是与真实世界环境相关(例如,针对不使用XR应用的人的语音)。与虚拟内容212相关的语音可能同与虚拟内容的较高参与水平相关联。在另一示例中,用户特性210可以包括用户的移动。例如,用户参与引擎204可以检测用户何时在坐着、走路、跑步等。在一些情况下,快速和/或变化的移动(例如,在多于一个方向和/或速度上的移动)可以指示用户在高度参与虚拟内容212。此外,由于真实世界环境中的安全隐患,快速和/或变化的移动可能与用户受伤的增加的风险相关联。在一些情况下,用户特性210可以包括用户的生理状态和/或生理反应。例如,用户参与引擎204可以监测用户的心率、呼吸速率和/或与用户相关联的任何额外的生物度量。在一些情况下,具有升高的值(例如,与基准或安静值相比)的生物度量可以与同虚拟内容212的高参与水平相关联。
用户参与引擎204可以使用各种技术和/或设备来确定用户特性210。在一些示例中,用户参与引擎204可以利用眼睛跟踪技术和/或焦平面检测传感器和/或算法来跟踪用户的注视。这样的传感器和/或算法可以确定用户正在视觉上关注(例如,观看和/或跟踪)虚拟内容还是真实世界内容。在进一步的示例中,用户参与引擎204可以分析由一个或多个相机或图像传感器(例如,扩展现实系统100的图像传感器102)捕获的图像或视频数据,以检测用户的手势或其它输入姿势。在其它示例中,用户参与引擎204可以利用一个或多个运动检测传感器(例如,IMU、加速计、陀螺仪等)来检测用户的移动。运动检测传感器可以使得用户参与引擎204能够确定用户的移动的速度、方向和/或类型。另外或替代地,用户参与引擎204可以利用生理传感器(例如,皮肤电反应(GSR)传感器、脑电图(EEG)设备等)来监测用户的生理状态和/或反应。用户参与引擎204可以使用任何合适的技术和/或设备来检测任何额外或替代类型的用户特性。
如图2中所示,用户参与引擎204可以至少部分地基于用户特性210来确定用户参与分数(UES)218。UES 218可以表示对用户与虚拟内容212之间的总体参与水平的定量评估。用户与虚拟内容212之间的参与水平可以对应于和/或指示用户朝向虚拟内容212的注意力的量(例如,与用户朝向真实世界环境的注意力的量相比)。在一些情况下,高UES 218可以指示与虚拟内容的高参与水平,而低UES 218可以指示与虚拟内容的低参与水平。
在一些情况下,用户参与引擎204可以通过对用户特性210内的各个用户特性进行加权来确定UES 218。例如,用户参与引擎204可以将数字分数分配给被检测到的和/或被确定为相关的(例如,当前由用户显示的)每个用户特性。在非限制性示例中,用户参与引擎204可以为每个用户特性分配预先确定范围内的分数(例如,1-10的范围,其中,分数1对应于最低水平的用户参与,而分数10对应于最高水平的用户参与)。在一些情况下,用户参与引擎204可以对用户特性210中的每一者的单独分数进行组合(例如,通过确定平均或均值或其它代表性的值),以生成表示用户特性210的累积评估的UES 218。在一些情况下,用于确定UES 218的预先确定范围可以与由环境因素引擎202用于确定ESS 216的预先确定范围相同。以这种方式,ESS 216和UES 218可以被归一化(例如,直接比较)。在一些情况下,用于确定UES 218的预先确定范围可以不同于由环境因素引擎202用于确定ESS 216的预先确定范围。在非限制性示例中,用户参与引擎204可以识别三个用户特性210并且向其分配分数,如下:(1)用户正在以直线跑步,其被分配分数8;(2)用户正在向XR应用提供口头指令,其被分配分数7;以及(3)用户正在视觉上跟踪虚拟对象,其被分配分数6。在该示例中,用户参与引擎204可以通过对各个分数进行平均来确定UES 218,从而得到为7的UES。
如图2中所示,内容突出度引擎206可以至少部分地基于虚拟内容212来确定内容突出度分数(CPS)220。虚拟内容212可以包括显示给扩展现实系统100的用户的任何虚拟内容(例如,音频虚拟内容、视觉虚拟内容和/或触觉虚拟内容)。CPS 220可以表示对当前显示给用户的虚拟内容212的数量和/或类型的定量评估。在一些示例中,高CPS 220可以对应于虚拟内容212的高突出度,而低CPS 220可以对应于虚拟内容212的低突出度。
内容突出度引擎206可以基于虚拟内容212的各种特性来确定CPS 220。在一些示例中,内容突出度引擎206可以确定用于虚拟内容212内的每种类型(例如,模态)的虚拟内容的内容突出度分数。例如,内容突出度引擎206可以确定与音频虚拟内容相关联的第一内容突出度分数、与视觉虚拟内容相关联的第二内容突出度得分、以及与触觉虚拟内容相关联的第三内容突出度分数。在一些示例中,内容突出度引擎206可以确定涉及语音的音频虚拟内容具有与其它音频虚拟内容(例如,音效、音乐等)相比较大的突出度。在其它示例中,内容突出度引擎206可以确定具有较高音量的音频和/或较高复杂度的音频虚拟内容具有与具有较低音量的音频和/或较低复杂度的音频虚拟内容相比较大的突出度。
在进一步的示例中,内容突出度引擎206可以确定具有较高亮度、色彩饱和度和其它色彩特性、视觉复杂度、大小、透明度(和/或不透明度)等的视觉虚拟内容具有与具有较低水平的此类特性的视觉虚拟内容相比较高的突出度。例如,内容突出度引擎206可以确定具有较低透明度的视觉虚拟内容具有与具有较高透明度的视觉虚拟内容相比较高的突出度。在进一步的示例中,内容突出度引擎206可以确定移动虚拟内容(例如,动画虚拟内容)具有与静止虚拟内容相比较高的突出度(例如,尤其是当位于用户的视野的外围时)。在额外示例中,内容突出度引擎206可以确定具有较短深度的视觉虚拟内容(例如,看起来距用户较近的虚拟内容)具有与具有较长深度的视觉虚拟内容(例如,看起来距用户较远的虚拟内容)相比较高的突出度。在进一步的示例中,内容突出度引擎206可以确定占据显示器的较大量的视场(FOV)的视觉虚拟内容具有与占据较小量的FOV的视觉虚拟内容相比较高的突出度。在另一示例中,内容突出度引擎206可以确定具有较大复杂度(例如,变化)的视觉虚拟内容具有与具有较低复杂度的视觉虚拟内容相比较高的突出度。在另一示例中,内容突出度引擎206可以确定在显示器内的某些位置(例如,用户的主视线内的位置)上的视觉虚拟内容具有与在其它位置上的视觉虚拟内容相比较高的突出度。
在一些情况下,触觉虚拟内容可以包括感应到手持或可穿戴XR设备(例如,XR控制器、XR手表等)中的振动。在一个示例中,内容突出度引擎206可以确定具有较高振动强度、较高振动持续时间和/或较高振动频率的触觉虚拟内容具有与分别具有较低振动强度、较低振动持续时间和/或较低振动强度的触觉虚拟内容相比较高的突出度。
在一些情况下,内容突出度引擎206可以通过将数字分数分配给与虚拟内容212相关联的各个特性来确定CPS 220。在非限制性示例中,内容突出度引擎206可以为每个特性分配预先确定范围内的分数(例如,1-10的范围,其中,分数1对应于最低突出度水平,而分数10对应于最高突出度水平)。在一些情况下,内容突出度引擎206可以对每个特性的各个分数进行组合(例如,通过确定平均或均值或其它代表性的值),以生成表示对虚拟内容212的突出度的累积评估的CPS 220。在一些情况下,用于确定CPS 220的预先确定范围可以与由用户参与引擎204用于确定UES 218的预先确定范围和/或由环境因素引擎202用于确定ESS 216的预先确定范围相同。以这种方式,CPS 220、ESS 216和/或UES 218可以被归一化(例如,直接比较)。在一些情况下,用于确定CPS 220的预先确定范围可以不同于用于确定UES 218的预先确定范围和/或用于确定ESS 216的预先确定范围。在一些示例中,如果内容突出度引擎206确定用于多种类型的虚拟内容的各个内容突出度分数,则内容突出度引擎206可以通过对各个内容突出度分数进行平均来确定CPS 220。在非限制性示例中,对分数的平均可以是加权平均(例如,用于视觉内容突出度分数的权重0.3,用于音频内容突出度分数的权重0.5,以及用于触觉内容突出度分数的权重0.2)。
如图2中所示,内容调整系统200可以确定用户分心分数(UDS)222。UDS 222可以表示对由于虚拟内容212而导致的用户的总体分心水平的定量评估。在一些情况下,高UDS222可以指示高水平的用户分心,而低UDS 222可以指示低水平的用户分心。内容调整系统200可以以各种方式来确定UDS 222。在一个示例中,内容调整系统200可以将UDS 222确定为UES 218。例如,内容调整系统200可以将用户与虚拟内容212之间的参与水平等同于由于虚拟内容212而导致的用户分心水平。在其它示例中,内容调整系统200可以基于UES 218和CPS 220两者来确定UDS 222。例如,即使用户没有高度和/或积极地参与虚拟内容212(对应于低UES 218),用户仍然可能被高度突出的内容(对应于高CPS 220)分心。在一些情况下,内容调整系统200可以将UDS 222确定为UES 218和CPS 220的平均(例如,加权平均)。在非限制性示例中,内容调整系统200可以将权重0.7分配给UES 218并且将权重0.3分配给CPS220。
在一些情况下,内容调整引擎214可以至少部分地基于ESS 216与UDS 222之间的比较来确定内容调整224。例如,ESS 216可以表示“门限”用户分心分数。如果UDS 222低于ESS 216,则内容调整引擎214可以确定用户分心水平(和/或用户与虚拟内容212之间的参与水平)没有超过门限水平(例如,等于或小于门限水平)。因此,内容调整引擎214可以基于关于用户分心水平(和/或用户与虚拟内容212之间的参与水平)没有超过门限水平的确定来确定不调整虚拟内容212。例如,如果用户分心水平(和/或用户与虚拟内容212之间的参与水平)没有超过(或等于或小于)门限水平,则内容调整引擎214可以确定调整是不必要的。在其它示例中,内容调整引擎214可以确定调整虚拟内容212(例如,通过增加虚拟内容212的突出度)。如果UDS 222超过ESS 216,则内容调整引擎214可以确定用户分心水平(和/或用户与虚拟内容212之间的参与水平)超过门限水平。内容调整引擎214可以基于关于用户分心水平(和/或用户与虚拟内容212之间的参与水平)超过门限水平的确定来确定适当的内容调整224。内容调整引擎214然后可以将适当的内容调整224应用于虚拟内容212。如上所述,ESS 216、UES 218、CPS 220和UDS 222可以被归一化(例如,使用具有相同范围的尺度来确定)。这种归一化可以促进ESS 216与UDS 222之间的直接比较。然而,在一些情况下,内容调整系统200可以利用具有不同范围的分数和/或内容调整引擎214可以确定UDS 222和ESS 216是否相差门限量(达由安全门限或可用性门限所定义的量)。
内容调整引擎214可以以各种方式来确定适当的内容调整224。在一些情况下,内容调整224可以被设计为减小或增加CPS 220。例如,如果使用CPS 220来确定UDS 222,则将内容调整224应用于虚拟内容212可以产生UDS 222的对应减小或增加。在一些情况下,内容调整224可以被配置为产生CPS 220的减小,该减小导致低于ESS 216的UDS 222。在其它情况下,内容调整224可以被配置为产生CPS 220的增加,该增加导致满足或接近ESS 216的UDS 222。在一些示例中,内容调整引擎214可以确定调整虚拟内容212内的特定类型(例如,模态)的虚拟内容。例如,内容调整引擎214可以调整具有最高突出度的类型的虚拟内容,或者调整具有最低突出度的类型的虚拟内容。在另一示例中,内容调整引擎214可以调整多种类型的虚拟内容(例如,视觉虚拟内容、音频虚拟内容和触觉虚拟内容中的两种或更多种)。在非限制性示例中,当确定CPS 220时,内容调整引擎214可以根据被分配给内容类型的权重来调整各类型的虚拟内容。
内容调整引擎214可以以各种方式来配置内容调整以降低虚拟内容212的突出度。例如,内容调整224可以包括减小音频虚拟内容的音量。另外或替代地,内容调整224可以包括降低音频虚拟内容的复杂度(例如,在允许音效和/或音乐的同时去除语音)。在额外示例中,内容调整224可以包括降低XR设备的显示器内的视觉虚拟内容的亮度、大小、色彩饱和度(和/或其它色彩特性)、不透明度和/或视觉复杂度。另外或替代地,内容调整224可以包括改变视觉虚拟内容在XR设备的显示器内的位置。例如,内容调整224可以包括增加视觉虚拟内容的深度(例如,以使视觉虚拟内容在背景中看起来较远和/或距用户较远)。在另一示例中,如果环境因素(例如,物理障碍物)被视觉虚拟内容的一部分阻挡在用户的视野之外,则内容调整224可以包括将视觉虚拟内容移动到显示器的不同区域,使得环境因素对于用户是可见的。在进一步的示例中,内容调整224可以包括减少和/或停止动画虚拟内容的移动。在另一示例中,内容调整224可以包括改变视觉虚拟内容所占据的FOV。例如,内容调整224可以包括减小FOV的大小,以便增加真实世界对象的可见性。
在一些情况下,内容调整224可以包括向用户显示额外虚拟内容。额外虚拟内容可以向用户指示一个或多个环境因素的存在性。例如,内容调整224可以包括通过XR设备的头戴式耳机来提供向用户提醒附近环境因素的音频消息。在另一示例中,内容调整224可以包括在XR设备的显示器内显示环境因素的轮廓、标识环境因素的标签、指向环境因素的箭头、和/或环境因素的任何合适的视觉标识。
内容调整引擎214可以以各种方式来配置内容调整以增加虚拟内容212的突出度。例如,内容调整224可以包括增加音频虚拟内容的音量。另外或替代地,内容调整224可以包括增加音频虚拟内容的复杂度(例如,启用语音、音效和/或音乐)。在额外示例中,内容调整224可以包括增加XR设备的显示器内的视觉虚拟内容的亮度、大小、色彩饱和度(和/或其它色彩特性)、不透明度和/或视觉复杂度。另外或替代地,内容调整224可以包括改变视觉虚拟内容在XR设备的显示器内的位置。例如,内容调整224可以包括减小视觉虚拟内容的深度(例如,以使视觉虚拟内容看起来距前景较近和/或距用户较近)。在进一步的示例中,内容调整224可以包括增加和/或启用动画虚拟内容的移动。在另一示例中,内容调整224可以包括改变由视觉虚拟内容所占据的FOV。例如,内容调整224可以包括增加FOV的大小。此外,内容调整224可以包括去除对虚拟内容212的突出度施加的先前限制的全部或一部分。例如,如果内容调整引擎214先前基于检测到对用户造成安全风险的一个或多个环境因素而降低了虚拟内容212的突出度,则在检测到一个或多个环境因素不再存在之后,内容调整引擎212可以将虚拟内容212返回到其原始和/或预期状态。
图3示出了被显示给XR设备的用户的示例XR显示器300。XR显示器300包括真实世界内容和叠加在真实世界内容上的虚拟内容。例如,在图3中所示的桌子304和人306对应于真实世界环境中的物理对象,这些物理对象可以在XR显示器300上或通过XR显示器300观看。XR显示器300还可以包括化身302,其对应于叠加在通过XR显示器300观看的真实世界内容上的虚拟内容。在一些情况下,化身302可以伴随有音频虚拟内容。在一些示例中,图2的内容调整系统200可以至少部分地基于检测到桌子304和/或人306来确定与真实世界环境相关联的环境安全分数(ESS)。内容调整系统200还可以至少部分地基于化身302的特性和/或用户的特性来确定与用户相关联的用户分心分数(UDS)。在一个示例中,内容调整系统200可以确定UDS没有超过ESS。基于关于UDS没有超过ESS的确定,内容调整系统200可以确定不调整XR显示器300内的虚拟内容的特性(例如,内容调整体系200可以确定当前没有调整是必要的)。在另一示例中,基于关于UDS没有超过ESS的确定,内容调整系统200可以确定调整虚拟内容的特性,以增加虚拟内容在XR显示器300内的突出度。在另一示例中,内容调整系统200可以确定UDS超过ESS。基于确定UDS超过ESS,内容调整系统200可以确定调整XR显示器300内的虚拟内容的一个或多个特性。在进一步的示例中,内容调整系统200可以确定UDS满足ESS(或者足够接近ESS)。基于确定UDS满足ESS或足够接近ESS,内容调整系统200可以确定不调整XR显示器300内的虚拟内容的特性。
图4A示出了调整图3的XR显示器300内的虚拟内容的一个或多个特性的示例。在该示例中,内容调整系统200可以确定人306正在尝试与用户交流(例如,基于人306接近用户和/或按名称称呼用户)。作为响应,内容调整系统200可以降低化身302的突出度。例如,在图4A中所示的经调整的化身402对应于图3中的化身302(在内容调整系统200减小化身302的大小之后)。在一些情况下,内容调整系统200还可以降低伴随化身302的音频内容的音量和/或复杂度。通过降低化身302和/或伴随的音频内容的突出度,内容调整系统200可以降低与化身302相关联的用户分心水平,从而使得用户能够将足够量的注意力引导到人306。在一些情况下,内容调整系统200可以基于确定用户不再与人306交流来将经调整的化身402返回到其原始状态(例如,化身302)。
图4B示出了调整图3的XR显示器300内的虚拟内容的一个或多个特性的另一示例。在该示例中,内容调整系统200可以确定用户正在包括桌子304的路径中移动。作为响应,内容调整系统200可以通过在XR显示器300内显示额外虚拟内容来向用户指示桌子304。例如,如图4B中所示,内容调整系统200可以添加突出显示桌子304的虚拟轮廓404。虚拟轮廓404可以降低与化身302相关联的用户分心水平,从而使得用户能够在与桌子304碰撞之前改变路线。在一些情况下,内容调整系统200可以基于确定桌子304不再在用户的路径中来从XR显示器300去除轮廓404。
在一些示例中,内容调整系统200可以基于真实世界环境中的环境因素的变化和/或基于由于虚拟内容212而导致的用户分心水平的变化来继续调整虚拟内容212的特性。例如,XR系统200可以包括和/或对应于闭环系统。当被实现为闭环系统时,由内容突出度引擎206确定的CPS 220可以表示用于确定UDS 222的反馈。至少部分地基于UDS 222对虚拟内容212的突出度的调整可以表示系统输出。由对虚拟内容212的调整产生的经更新的CPS 220可以被反馈到内容调整引擎214。在一些情况下,内容调整系统200(例如,被实现为闭环系统)可以通过周期性地确定经更新的环境安全分数、用户参与分数、内容突出度分数和/或用户分心分数来保持适当的和/或期望的虚拟内容突出度水平。可以以周期性间隔(例如,每1秒、每5秒等)和/或根据需要(例如,基于环境和/或虚拟内容212的变化)来确定经更新的分数。
在用于调整XR环境内的虚拟内容的开环系统中,可以基于与真实世界环境相关联的情境因素和/或其它情境因素来进行对虚拟内容的突出度的调整。例如,对虚拟内容的突出度的调整可以表示系统输出。然而,开环系统未被配置为接收对虚拟内容的突出度的调整作为系统输入(并且因此开环系统不包括反馈回路)。结果,开环系统可能不具有关于对虚拟内容的调整如何影响由于虚拟内容而导致的用户分心水平的直接知识。虽然内容调整系统200可以被实现为开环系统,但是将内容调整系统200实现为闭环系统可以实现对虚拟内容的更快、更高质量和/或更动态的调整。
图5是示出用于调整扩展现实系统内的虚拟内容的示例过程500的流程图。为了清楚起见,参考在图2中所示的内容调整系统200来描述过程500。本文概述的步骤或操作是示例,并且可以以其任何组合来实现,包括排除、添加或修改某些步骤或操作的组合。
在框502处,过程500包括基于检测到的环境因素来确定环境安全分数(ESS)。例如,内容调整系统200的环境因素引擎202可以至少部分地基于环境因素208来确定ESS216。在框504处,过程500包括基于被显示给用户的虚拟内容的突出度来确定内容突出度分数(CPS)。例如,内容调整系统200的内容突出度引擎206可以至少部分地基于虚拟内容212来确定CPS 220。
在框506处,过程500包括基于用户与虚拟内容之间的参与水平来确定用户参与分数(UES)。例如,用户参与引擎204可以至少部分地基于用户特性210来确定UES 218。在框508处,过程500包括基于用户参与分数和/或内容突出度分数来确定用户分心分数(UDS)。例如,内容调整系统200可以至少部分地基于UES 218和/或CPS 220来确定UDS 222。
在框510处,过程500包括确定UDS是否超过ESS。例如,内容调整系统200的内容调整引擎214可以确定UDS 222是否超过ESS 216(例如,达至少门限量,诸如由安全门限定义的量)。如果过程500包括确定UDS超过ESS(例如,达至少门限量),则过程500进行到框512。该确定可以指示由于虚拟内容而导致的当前用户分心水平阻止(或预期阻止)用户将足够量的注意力引导到当前环境因素。在框512处,过程500包括调整虚拟内容以降低CPS。例如,内容调整引擎214可以确定对虚拟内容212的一个或多个特性的调整,使得当调整被应用于虚拟内容212时,UDS 222被降低到低于ESS 216的分数。过程500从框512返回到框502。例如,内容调整系统200可以确定经更新的ESS、经更新的CPS、经更新的UES和/或经更新的UDS,以便继续作出对虚拟内容212的适当调整。
如果过程500包括在框510处确定UDS没有超过ESS(例如,确定UDS低于ESS达至少门限量,诸如由可用性门限定义的量),则过程500进行到框514。该确定可以指示由于虚拟内容而导致的当前用户分心水平不会阻止(或者预期不会阻止)用户将足够量的注意力引导到当前环境因素。在一些情况下,该确定还可以指示可以增加虚拟内容的突出度,而不会由于环境因素而危及用户。例如,内容调整系统200可以增加虚拟内容212的突出度,使得UDS 222满足或接近(但不超过)ESS 216。在一个示例中,如果内容调整系统200先前降低了虚拟内容212的突出度,则内容调整系统200可以将虚拟内容212返回到其原始和/或预期状态。过程500从框514返回到框502。例如,内容调整系统200可以确定经更新的ESS、经更新的CPS、经更新的UES和/或经更新的UDS,以便继续作出对虚拟内容212的适当调整。
图6是示例图形602,其示出了可以由图2的内容调整系统200用于确定对虚拟内容212的适当调整的各种门限。在该示例中,内容调整系统200可以将ESS 216和UDS 222确定为在0-10范围内的值。在一些情况下,内容调整系统200可以确定其中ESS 216是x轴坐标并且UDS 222是y轴坐标的(x,y)坐标对落在图形602中所示的区域604、区域606还是区域608内。如所示的,区域604可以是由门限610和门限612界定的,其中区域606和608位于区域604的任一侧。图6示出了门限610和612从对应于UDS=ESS的线614偏移了值1。然而,门限610和612可以从线614偏移达任何合适的量(包括不偏移)。在一个示例中,门限612可以对应于安全门限。例如,内容调整系统200可以确定其中UDS 222超过ESS 216达多于安全门限的情形对于用户来说可能是不安全的。因此,如果对应于ESS 216和UDS 222的(x,y)坐标对落在区域606内,则内容调整系统200可以降低虚拟内容212的突出度。例如,内容调整系统200可以降低虚拟内容212的突出度,直到UDS 222满足或低于合适的值,诸如门限612或ESS 216。
在一个示例中,门限610可以对应于可用性门限。例如,内容调整系统200可以确定其中UDS 222低于ESS 216达多于可用性门限的情形可能对应于用户的不良和/或不期望的XR体验。因此,如果对应于ESS 216和UDS 222的(x,y)坐标对落在区域608内,则内容调整系统200可以增加虚拟内容212的突出度。例如,内容调整系统200可以增加虚拟内容212的突出度,直到UDS 222满足或接近合适的值,诸如门限610或ESS 216。在一个示例中,区域604可以对应于中性区域或滞后区域。例如,如果对应于ESS 216和UDS 222的(x,y)坐标对落在区域604内,则内容调整系统200可以确定不调整虚拟内容212。以这种方式,内容调整系统200可以避免对虚拟内容212的不必要的、令人讨厌的和/或分心的调整。
在一些情况下,内容调整系统200可以基于ESS 216与UDS 222之间的差的幅度来增加或降低虚拟内容212的突出度。例如,内容调整系统200可以确定并且应用对虚拟内容212的成比例的调整和/或加权调整。在说明性示例中,内容调整系统200可以使用以下等式来确定对虚拟内容212的调整的幅度:P(t)=P(t-1)–X(UDS(t)–ESS(t)),其中,P是CPS220,t是当前时间步长,并且X是加权因子。时间步长可以对应于任何合适的时间间隔,诸如1秒、5秒、30秒等。
图7是示出用于调整由扩展现实系统提供的虚拟内容的示例过程700的流程图。为了清楚起见,参考在图2中所示的内容调整系统200来描述过程700。本文概述的步骤或操作是示例,并且可以以其任何组合来实现,包括排除、添加或修改某些步骤或操作的组合。
在框702处,过程700包括确定由于由扩展现实系统提供的虚拟内容而导致的扩展现实系统的用户的分心水平。例如,内容调整系统200可以通过确定用户对虚拟内容的参与水平来确定由于由扩展现实系统提供的虚拟内容而导致的扩展现实的用户的分心水平。另外或替代地,内容调整系统200可以通过确定虚拟内容在扩展现实系统的显示器内的突出度来确定用户的分心水平,其中,高突出度与高分心水平相关联。在一些情况下,内容调整系统200可以通过确定以下各项中的至少一项来确定虚拟内容在扩展现实系统的显示器内的突出度:虚拟内容的音频音量、虚拟内容的大小、虚拟内容的类型、虚拟内容的亮度、虚拟内容的透明度、虚拟内容的移动水平、虚拟内容的一个或多个色彩特性、虚拟内容的振动强度、虚拟内容的振动频率、虚拟内容的振动持续时间、由虚拟内容所占据的视野、虚拟内容的视觉深度以及虚拟内容的位置。在进一步的示例中,内容调整系统200可以至少部分地通过监测用户的一个或多个物理行为来确定用户与虚拟内容之间的参与水平。一个或多个物理行为可以指示用户正在关注的虚拟对象和物理对象中的至少一者以及如本文描述的其它因素。
在框704处,过程700包括确定由于虚拟内容而导致的用户的分心水平是超过还是小于门限分心水平。可以至少部分地基于与用户所处的真实世界环境相关联的一个或多个环境因素来确定门限分心水平。在一些情况下,一个或多个环境因素可以包括真实世界环境内的物理对象。另外或替代地,一个或多个环境因素可以包括扩展现实系统的用户与人之间的交互。在一些情况下,内容调整系统200可以至少部分地基于确定一个或多个环境因素的重要性水平来确定门限分心水平,其中,低门限分心水平与一个或多个环境因素的高重要性水平相关联。在一个示例中,对用户具有高安全风险的环境因素与高重要性水平相关联。在一些情况下,内容调整系统200可以通过将用户的分心水平与门限分心水平进行比较来确定用户的分心水平是否超过门限分心水平。
在框706处,过程700包括基于关于由于虚拟内容而导致的用户的分心水平是超过还是小于门限分心水平的确定来调整虚拟内容的一个或多个特性。在一个示例中,如果内容调整系统200确定由于虚拟内容而导致的用户的分心水平超过门限分心水平(在框704处),则内容调整系统可以通过经由扩展现实系统的显示器输出对一个或多个环境因素的指示,来调整虚拟内容的一个或多个特性。另外或替代地,内容调整系统200可以通过降低虚拟内容在扩展现实系统的显示器内的突出度来调整虚拟内容的一个或多个特性。在另一示例中,如果内容调整系统200确定由于虚拟内容而导致的用户的分心水平小于门限分心水平(在框704处),则内容调整系统可以通过增加虚拟内容在扩展现实系统的显示器内的突出度来调整虚拟内容的一个或多个特性。
在一些情况下,过程700可以包括确定由于具有经调整的一个或多个特性的虚拟内容而导致的扩展现实系统的用户的经更新的分心水平。在这些情况下,过程700还可以包括至少部分地基于与真实世界环境相关联的一个或多个经更新的环境因素来确定经更新的门限分心水平,其中,一个或多个经更新的环境因素与一个或多个环境因素至少部分地不同。在一些示例中,过程700可以包括确定由于具有经调整的一个或多个特性的虚拟内容而导致的用户的经更新的分心水平超过经更新的门限分心水平,并且然后基于关于经更新的分心水平超过经更新的门限分心水平的确定来进一步调整虚拟内容的一个或多个特性。进一步调整虚拟内容的一个或多个特性可以降低由扩展现实系统提供的虚拟内容的突出度。在一些示例中,过程700可以包括确定由于具有经调整的一个或多个特性的虚拟内容而导致的用户的经更新的分心水平小于经更新的门限分心水平,并且基于确定经更新的分心水平小于经调整的门限分心水平来进一步调整虚拟内容的一个或多个特性。进一步调整虚拟内容的一个或多个特性可以增加由扩展现实系统提供的虚拟内容的突出度。
图8是示出用于实现本文技术的某些方面的系统的示例的示意图。具体地,图8示出了计算系统800的示例,计算系统800可以是例如构成内部计算系统、远程计算系统、相机或其任何组件的任何计算设备,其中该系统的组件使用连接805彼此通信。连接805可以是使用总线的物理连接、或进入处理器810的直接连接(诸如在芯片组架构中)。连接805还可以是虚拟连接、网络连接或逻辑连接。
在一些示例中,计算系统800是分布式系统,其中,在本公开内容中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些示例中,所描述的系统组件中的一个或多个系统组件表示许多这样的组件,每个组件执行针对其描述该组件的一些或全部功能。在一些情况下,这些组件可以是物理或虚拟设备。
示例系统800包括至少一个处理单元(CPU或处理器)810和连接805,连接805将包括系统存储器815(诸如只读存储器(ROM)820和随机存取存储器(RAM)825)的各种系统组件耦合到处理器810。计算系统800可以包括高速存储器的高速缓存812,高速缓存812与处理器810直接连接、接近处理器810或被集成为处理器810的部分。
处理器810可以包括任何通用处理器以及被配置为控制处理器810的硬件服务或软件服务(诸如被存储在存储设备830中的服务832、834和836)、以及其中软件指令被并入实际处理器设计中的专用处理器。处理器810本质上可以是完全自包含的计算系统,包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现用户交互,计算系统800包括可以表示任何数量的输入机制的输入设备845,诸如用于语音的麦克风、用于姿势或图形输入的触摸敏感屏、键盘、鼠标、运动输入、语音等。计算系统800还可以包括输出设备835,其可以是多个输出机制中的一个或多个输出机制。在一些情况下,多模态系统可以使得用户能够提供多种类型的输入/输出以与计算系统800进行通信。计算系统800可以包括通信接口840,其通常可以支配和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发机来执行或促进接收和/或发送有线或无线通信,包括利用以下各项的那些有线和/或无线收发机:音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、BLUETOOTH/>无线信号传输、/>低能(BLE)无线信号传输、/>无线信号传输、射频识别(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、微波接入全球互操作性(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合业务数字网络(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、自组织网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿着电磁频谱的无线信号传输、或其某种组合。通信接口840还可以包括一个或多个全球导航卫星系统(GNSS)接收机或收发机,其用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收一个或多个信号来确定计算系统800的地点。GNSS包括但不限于美国的全球定位系统(GPS)、俄罗斯的全球导航卫星系统(GLONASS)、中国的北斗导航卫星系统(BDS)和欧洲的伽利略GNSS。对任何特定硬件布置的操作没有限制,并且因此在其被开发时,此处的基本特征可以容易地被替换为改进的硬件或固件布置。
存储设备830可以是非易失性和/或非暂时性和/或计算机可读存储器设备,并且可以是可以存储可由计算机访问的数据的硬盘或其它类型的计算机可读介质,诸如盒式卡带、闪存卡、固态存储器设备、数字多功能磁盘、磁带盒、软盘、软磁盘、硬盘、磁带、磁片(strip)/磁条(stripe)、任何其它磁性存储介质、闪存、忆阻器存储器、任何其它固态存储器、压缩光盘只读存储器(CD-ROM)光盘、可重写压缩光盘(CD)光盘、数字视频光盘(DVD)光盘,蓝光光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微安全数字(microSD)卡、卡、智能卡芯片、EMV芯片、用户身份模块(SIM)卡、迷你/微型/纳米/微微SIM卡、另一集成电路(IC)芯片/卡,随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速EPROM(FLASHEPROM)、高速缓存存储器(L1/L2/L3/L4/L5/L#)、电阻式随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移矩RAM(STT-RAM)、另一存储器芯片或磁带盒、和/或其组合。
存储设备830可以包括软件服务、服务器、服务等,当定义此类软件的代码由处理器810执行时,其使得系统执行功能。在一些示例中,执行特定功能的硬件服务可以包括被存储在计算机可读介质中的软件组件,软件组件与用于执行该功能的必要硬件组件(诸如处理器810、连接805、输出设备835等)相连。
如本文所使用的,术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备、以及能够存储、包含或携带指令和/或数据的各种其它介质。计算机可读介质可以包括数据可以被存储在其中并且不包括以下各项的非暂时性介质:无线地或者在有线连接上传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于:磁盘或磁带、诸如压缩光盘(CD)或数字多功能光盘(DVD)之类的光学存储介质、闪存、存储器或存储器设备。计算机可读介质可以具有被存储在其上的代码和/或机器可执行指令,代码和/或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容,来耦合到另一代码段或硬件电路。可以使用包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或发送信息、自变量、参数、数据等。
在一些示例中,计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而,当提及时,非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。
在以上描述中提供了具体细节以提供对本文提供的示例的透彻理解。然而,本领域普通技术人员将理解的是,可以在没有这些具体细节的情况下实施示例。为了解释清楚,在一些情况下,本文的技术可以被呈现为包括单独的功能块,其包括功能块,这些功能块包括设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合。除了在各图中所示和/或本文描述的组件之外,还可以使用额外的组件。例如,电路、系统、网络、过程和其它组件可以以框图形式被示为组件,以便不会在不必要的细节上模糊示例。在其它情况下,公知的电路、过程、算法、结构和技术可能被示为不具有不必要的细节,以便避免模糊示例。
上文可能将各个示例描述为过程或方法,该过程或方法被描绘为流程图、流程示意图、数据流程图、结构图或框图。虽然流程图可以将操作描述为顺序的过程,但是这些操作中的许多操作可以并行地或并发地执行。另外,可以重新排列操作的顺序。过程在其操作完成时终止,但是可能具有未被包括在图中的额外步骤。过程(process)可以对应于方法、函数、过程(procedure)、子例程、子程序等。当过程对应于函数时,其终止可以对应于该函数返回到调用函数或主函数。
根据上述示例的过程和方法可以使用计算机可执行指令来实现,计算机可执行指令被存储在计算机可读介质中或者以其它方式可从计算机可读介质得到。这样的指令可以包括例如指令或数据,指令或数据使得通用计算机、专用计算机或处理设备执行或者以其它方式将其配置为执行特定功能或特定组的功能。所使用的计算机资源的部分可以是通过网络可访问的。计算机可执行指令可以是例如二进制文件、诸如汇编语言之类的中间格式指令、固件、源代码等。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、被配备有非易失性存储器的USB设备、联网存储设备等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合,并且可以采用各种形状因子中的任何一种。当用软件、固件、中间件或微代码来实现时,用于执行必要任务的程序代码或代码段(例如,计算机程序产品)可以被存储在计算机可读或机器可读介质中。处理器可以执行必要任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子的个人计算机、个人数字助理、机架式设备、独立设备等。本文描述的功能还可以被体现在外围设备或插件卡中。通过进一步的示例,这种功能还可以在单个设备中执行的不同芯片或不同过程之间的电路板上实现。
指令、用于传送这样的指令的介质、用于执行它们的计算资源以及用于支持这样的计算资源的其它结构是用于提供在本公开内容中描述的功能的示例模块。
在前面的描述中,参考本申请的特定示例描述了本申请的各方面,但是本领域技术人员将认识到,本申请不限于此。因此,尽管本文已经详细描述了本申请的说明性示例,但是将理解的是,可以以其它方式不同地体现和采用本发明构思,并且所附的权利要求旨在被解释为包括这样的变型,除了如由现有技术限制的变型。可以单独地或联合地使用上述应用的各种特征和方面。进一步地,在不脱离本说明书的更宽泛的精神和范围的情况下,可以在除了本文描述的环境和应用之外的任何数量的环境和应用中利用各示例。因此,说明书和附图被认为是说明性的而不是限制性的。为了说明的目的,以特定顺序描述了方法。应当明白的是,在替代示例中,可以以与所描述的顺序不同的次序来执行所述方法。
普通技术人员将明白的是,在不脱离本描述的范围的情况下,本文使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)以及大于或等于(“≥”)符号来替换。
在将组件描述为“被配置为”执行某些操作的情况下,这样的配置可以例如通过以下方式来实现:将电子电路或其它硬件设计为执行该操作,将可编程电子电路(例如,微处理器或其它合适的电子电路)编程为执行该操作,或其任何组合。
短语“耦合到”指代直接或间接地在物理上连接到另一组件的任何组件、和/或直接或间接地与另一组件进行通信的任何组件(例如,通过有线或无线连接和/或其它合适的通信接口而连接到另一组件)。
记载集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其它语言指示该集合中的一个成员或者该集合中的多个成员(以任何组合)满足该权利要求。例如,记载“A和B中的至少一个”的权利要求语言意指A、B、或者A和B。在另一示例中,记载“A、B和C中的至少一个”的权利要求语言意指A、B、C、或者A和B、或者A和C、或者B和C、或者A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”并不将该集合限制为在该集合中列出的项目。例如,记载“A和B中的至少一个”的权利要求语言可以意指A、B、或者A和B,并且可以另外包括未在A和B的集合中列出的项目。
结合本文公开的示例描述的各种说明性的逻辑框、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性,上面已经对各种说明性的组件、框、模块、电路和步骤围绕其功能进行了总体描述。至于这种功能被实现为硬件还是软件取决于特定的应用和被施加在整个系统上的设计约束。熟练的技术人员可以针对每种特定应用以不同的方式来实现所描述的功能,但是这种实现决策不应当被解释为导致脱离本申请的范围。
本文描述的技术还可以用电子硬件、计算机软件、固件或其任何组合来实现。这样的技术可以在各种设备中的任何一种中实现,诸如通用计算机、无线通信设备手机或具有多种用途(包括在无线通信设备手机和其它设备中的应用)的集成电路设备。被描述为模块或组件的任何特征都可以在集成逻辑器件中一起实现,或者分别作为分立但是可互操作的逻辑器件来实现。如果用软件来实现,则所述技术可以至少部分地由计算机可读数据存储介质来实现,计算机可读数据存储介质包括程序代码,程序代码包括在被执行时执行上述方法中的一种或多种的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分,计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质,诸如随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储介质等。另外或替代地,所述技术可以至少部分地由以指令或数据结构的形式携带或传送程序代码并且可以由计算机访问、读取和/或执行的计算机可读通信介质(诸如传播的信号或波)来实现。
程序代码可以由处理器执行,处理器可以包括一个或多个处理器,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路。这样的处理器可以被配置为执行在本公开内容中描述的任何技术。通用处理器可以是微处理器,但是在替代方式中,处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或任何其它这样的配置。因此,如本文所使用的术语“处理器”可以指代任何前述结构、前述结构的任何组合、或适于实现本文描述的技术的任何其它结构或装置。此外,在一些方面中,本文描述的功能可以在被配置用于编码和解码的专用软件模块或硬件模块内提供,或者被并入组合的视频编码器-解码器(CODEC)中。
本公开内容的说明性方面包括:
方面1:一种用于调整由扩展现实系统提供的虚拟内容的装置,所述装置包括:存储器;以及耦合到所述存储器的处理器,所述处理器被配置为:确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
方面2:根据方面1所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平:确定所述用户与所述虚拟内容之间的参与水平。
方面3:根据方面2所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定所述用户与所述虚拟内容之间的所述参与水平:监测所述用户的一个或多个物理行为。
方面4:根据方面3所述的装置,其中,所述用户的所述一个或多个物理行为指示所述用户正在关注的虚拟对象和物理对象中的至少一者。
方面5:根据方面1至4中任一项所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平:确定所述虚拟内容在所述扩展现实系统的显示器内的突出度,高突出度与高分心水平相关联。
方面6:根据方面5所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定所述虚拟内容在所述扩展现实系统的所述显示器内的所述突出度:确定以下各项中的至少一项:所述虚拟内容的音频音量、所述虚拟内容的大小、所述虚拟内容的类型、所述虚拟内容的亮度、所述虚拟内容的透明度、所述虚拟内容的移动水平、所述虚拟内容的一个或多个色彩特性、所述虚拟内容的振动强度、所述虚拟内容的振动频率、所述虚拟内容的振动持续时间、由所述虚拟内容所占据的视野、所述虚拟内容的视觉深度以及所述虚拟内容的位置。
方面7:根据方面1至6中任一项所述的装置,其中,所述一个或多个环境因素包括所述真实世界环境内的物理对象。
方面8:根据方面1至7中任一项所述的装置,其中,所述一个或多个环境因素包括所述扩展现实系统的所述用户与人之间的交互。
方面9:根据方面1至8中任一项所述的装置,其中,所述处理器被配置为:至少部分地基于确定所述一个或多个环境因素的重要性水平来确定所述门限分心水平,低门限分心水平与所述一个或多个环境因素的高重要性水平相关联。
方面10:根据方面9所述的装置,其中,对所述用户具有高安全风险的环境因素与高重要性水平相关联。
方面11:根据方面1至10中任一项所述的装置,其中,所述处理器被配置为:确定由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平;以及基于由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平,通过经由所述扩展现实系统的显示器输出对所述一个或多个环境因素的指示来调整所述虚拟内容的所述一个或多个特性。
方面12:根据方面1至11中任一项所述的装置,其中,所述处理器被配置为:确定由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平;以及基于由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平,通过降低所述虚拟内容在所述扩展现实系统的显示器内的突出度来调整所述虚拟内容的所述一个或多个特性。
方面13:根据方面1至12中任一项所述的装置,其中,所述处理器还被配置为:确定由于所述虚拟内容而导致的所述用户的所述分心水平小于所述门限分心水平;以及基于由于所述虚拟内容而导致的所述用户的所述分心水平小于所述门限分心水平,通过增加所述虚拟内容在所述扩展现实系统的显示器内的突出度来调整所述虚拟内容的所述一个或多个特性。
方面14:根据方面1至13中任一项所述的装置,其中,所述处理器还被配置为:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述扩展现实的所述用户的经更新的分心水平;以及至少部分地基于与所述真实世界环境相关联的一个或多个经更新的环境因素来确定经更新的门限分心水平,所述一个或多个经更新的环境因素与所述一个或多个环境因素至少部分地不同。
方面15:根据方面14所述的装置,其中,所述处理器还被配置为:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平超过所述经更新的门限分心水平;以及基于关于所述经更新的分心水平超过所述经更新的门限分心水平的所述确定,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性降低由所述扩展现实系统提供的所述虚拟内容的突出度。
方面16:根据方面14或15中任一项所述的装置,其中,所述处理器还被配置为:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平小于所述经更新的门限分心水平;以及基于确定所述经更新的分心水平小于所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性增加由所述扩展现实系统提供的所述虚拟内容的突出度。
方面17:一种用于调整由扩展现实系统提供的虚拟内容的方法,所述方法包括:确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
方面18:根据方面17所述的方法,其中,确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平包括:确定所述用户与所述虚拟内容之间的参与水平。
方面19:根据方面18所述的方法,还包括:至少部分地通过以下方式来确定所述用户与所述虚拟内容之间的所述参与水平:监测所述用户的一个或多个物理行为。
方面20:根据方面19所述的方法,其中,所述用户的所述一个或多个物理行为指示所述用户正在关注的虚拟对象和物理对象中的至少一者。
方面21:根据方面17至20中任一项所述的方法,其中,确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平包括:确定所述虚拟内容在所述扩展现实系统的显示器内的突出度,高突出度与高分心水平相关联。
方面22:根据方面21所述的方法,其中,确定所述虚拟内容在所述扩展现实系统的所述显示器内的所述突出度包括确定以下各项中的至少一项:所述虚拟内容的音频音量、所述虚拟内容的大小、所述虚拟内容的类型、所述虚拟内容的亮度、所述虚拟内容的透明度、所述虚拟内容的移动水平、所述虚拟内容的一个或多个色彩特性、所述虚拟内容的振动强度、所述虚拟内容的振动频率、所述虚拟内容的振动持续时间、所述虚拟内容的视野、所述虚拟内容的视觉深度以及所述虚拟内容的位置。
方面23:根据方面17至22中任一项所述的方法,其中,所述一个或多个环境因素包括所述真实世界环境内的物理对象。
方面24:根据方面17至23中任一项所述的方法,其中,所述一个或多个环境因素包括所述扩展现实系统的所述用户与人之间的交互。
方面25:根据方面17至24中任一项所述的方法,还包括:至少部分地基于确定所述一个或多个环境因素的重要性水平来确定所述门限分心水平,低门限分心水平与所述一个或多个环境因素的高重要性水平相关联。
方面26:根据方面25所述的方法,其中,对所述用户具有高安全风险的环境因素与高重要性水平相关联。
方面27:根据方面17至26中任一项所述的方法,还包括:确定所述用户的所述分心水平超过所述门限分心水平,其中,调整所述虚拟内容的所述一个或多个特性包括:经由所述扩展现实系统的显示器输出对所述一个或多个环境因素的指示。
方面28:根据方面17至27中任一项所述的方法,还包括:确定所述用户的所述分心水平超过所述门限分心水平,其中,调整所述虚拟内容的所述一个或多个特性包括:降低所述虚拟内容在所述扩展现实系统的显示器内的突出度。
方面29:根据方面17至28中任一项所述的方法,还包括:确定所述用户的所述分心水平小于所述门限分心水平,其中,调整所述虚拟内容的所述一个或多个特性包括:降低所述虚拟内容在所述扩展现实系统的显示器内的突出度。
方面30:根据方面17至29中任一项所述的方法,还包括:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述扩展现实的所述用户的经更新的分心水平;以及至少部分地基于与所述真实世界环境相关联的一个或多个经更新的环境因素来确定经更新的门限分心水平,所述一个或多个经更新的环境因素与所述一个或多个环境因素至少部分地不同。
方面31:根据方面30所述的方法,还包括:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平超过所述经更新的门限分心水平;以及基于确定所述经更新的分心水平超过所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性降低由所述扩展现实系统提供的所述虚拟内容的突出度。
方面32:根据方面30或31中任一项所述的方法,还包括:确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平小于所述经更新的门限分心水平;以及基于确定所述经更新的分心水平小于所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性增加由所述扩展现实系统提供的所述虚拟内容的突出度。
方面33:一种其上存储有指令的非暂时性计算机可读存储介质,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行根据方面1至32中任一项所述的操作。
方面34:一种装置,其包括用于执行根据方面1至32中任一项所述的操作的单元。

Claims (34)

1.一种用于调整由扩展现实系统提供的虚拟内容的装置,所述装置包括:
存储器;以及
耦合到所述存储器的处理器,所述处理器被配置为:
确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;
确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及
基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
2.根据权利要求1所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平:确定所述用户与所述虚拟内容之间的参与水平。
3.根据权利要求2所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定所述用户与所述虚拟内容之间的所述参与水平:监测所述用户的一个或多个物理行为。
4.根据权利要求3所述的装置,其中,所述用户的所述一个或多个物理行为指示所述用户正在关注的虚拟对象和物理对象中的至少一者。
5.根据权利要求1所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平:确定所述虚拟内容在所述扩展现实系统的显示器内的突出度,高突出度与高分心水平相关联。
6.根据权利要求5所述的装置,其中,所述处理器被配置为至少部分地通过以下方式来确定所述虚拟内容在所述扩展现实系统的所述显示器内的所述突出度:确定以下各项中的至少一项:所述虚拟内容的音频音量、所述虚拟内容的大小、所述虚拟内容的类型、所述虚拟内容的亮度、所述虚拟内容的透明度、所述虚拟内容的移动水平、所述虚拟内容的一个或多个色彩特性、所述虚拟内容的振动强度、所述虚拟内容的振动频率、所述虚拟内容的振动持续时间、由所述虚拟内容所占据的视野、所述虚拟内容的视觉深度以及所述虚拟内容的位置。
7.根据权利要求1所述的装置,其中,所述一个或多个环境因素包括所述真实世界环境内的物理对象。
8.根据权利要求1所述的装置,其中,所述一个或多个环境因素包括所述扩展现实系统的所述用户与人之间的交互。
9.根据权利要求1所述的装置,其中,所述处理器被配置为:至少部分地基于确定所述一个或多个环境因素的重要性水平来确定所述门限分心水平,低门限分心水平与所述一个或多个环境因素的高重要性水平相关联。
10.根据权利要求9所述的装置,其中,对所述用户具有高安全风险的环境因素与高重要性水平相关联。
11.根据权利要求1所述的装置,其中,所述处理器被配置为:
确定由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平;以及
基于由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平,通过经由所述扩展现实系统的显示器输出对所述一个或多个环境因素的指示来调整所述虚拟内容的所述一个或多个特性。
12.根据权利要求1所述的装置,其中,所述处理器被配置为:
确定由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平;以及
基于由于所述虚拟内容而导致的所述用户的所述分心水平超过所述门限分心水平,通过降低所述虚拟内容在所述扩展现实系统的显示器内的突出度来调整所述虚拟内容的所述一个或多个特性。
13.根据权利要求1所述的装置,其中,所述处理器还被配置为:
确定由于所述虚拟内容而导致的所述用户的所述分心水平小于所述门限分心水平;以及
基于由于所述虚拟内容而导致的所述用户的所述分心水平小于所述门限分心水平,通过增加所述虚拟内容在所述扩展现实系统的显示器内的突出度来调整所述虚拟内容的所述一个或多个特性。
14.根据权利要求1所述的装置,其中,所述处理器还被配置为:
确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述扩展现实的所述用户的经更新的分心水平;以及
至少部分地基于与所述真实世界环境相关联的一个或多个经更新的环境因素来确定经更新的门限分心水平,所述一个或多个经更新的环境因素与所述一个或多个环境因素至少部分地不同。
15.根据权利要求14所述的装置,其中,所述处理器还被配置为:
确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平超过所述经更新的门限分心水平;以及
基于关于所述经更新的分心水平超过所述经更新的门限分心水平的所述确定,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性降低由所述扩展现实系统提供的所述虚拟内容的突出度。
16.根据权利要求14所述的装置,其中,所述处理器还被配置为:
确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平小于所述经更新的门限分心水平;以及
基于确定所述经更新的分心水平小于所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性增加由所述扩展现实系统提供的所述虚拟内容的突出度。
17.一种用于调整由扩展现实系统提供的虚拟内容的方法,所述方法包括:
确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;
确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及
基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
18.根据权利要求17所述的方法,其中,确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平包括:确定所述用户与所述虚拟内容之间的参与水平。
19.根据权利要求18所述的方法,还包括:至少部分地通过以下方式来确定所述用户与所述虚拟内容之间的所述参与水平:监测所述用户的一个或多个物理行为。
20.根据权利要求19所述的方法,其中,所述用户的所述一个或多个物理行为指示所述用户正在关注的虚拟对象和物理对象中的至少一者。
21.根据权利要求17所述的方法,其中,确定由于由所述扩展现实系统提供的所述虚拟内容而导致的所述扩展现实系统的所述用户的所述分心水平包括:确定所述虚拟内容在所述扩展现实系统的显示器内的突出度,高突出度与高分心水平相关联。
22.根据权利要求21所述的方法,其中,确定所述虚拟内容在所述扩展现实系统的所述显示器内的所述突出度包括确定以下各项中的至少一项:所述虚拟内容的音频音量、所述虚拟内容的大小、所述虚拟内容的类型、所述虚拟内容的亮度、所述虚拟内容的透明度、所述虚拟内容的移动水平、所述虚拟内容的一个或多个色彩特性、所述虚拟内容的振动强度、所述虚拟内容的振动频率、所述虚拟内容的振动持续时间、所述虚拟内容的视野、所述虚拟内容的视觉深度以及所述虚拟内容的位置。
23.根据权利要求17所述的方法,其中,所述一个或多个环境因素包括所述真实世界环境内的物理对象。
24.根据权利要求17所述的方法,其中,所述一个或多个环境因素包括所述扩展现实系统的所述用户与人之间的交互。
25.根据权利要求17所述的方法,还包括:至少部分地基于确定所述一个或多个环境因素的重要性水平来确定所述门限分心水平,低门限分心水平与所述一个或多个环境因素的高重要性水平相关联。
26.根据权利要求25所述的方法,其中,对所述用户具有高安全风险的环境因素与高重要性水平相关联。
27.根据权利要求17所述的方法,还包括:
确定所述用户的所述分心水平超过所述门限分心水平,其中,调整所述虚拟内容的所述一个或多个特性包括:经由所述扩展现实系统的显示器输出对所述一个或多个环境因素的指示。
28.根据权利要求17所述的方法,还包括:
确定所述用户的所述分心水平超过所述门限分心水平,其中,调整所述虚拟内容的所述一个或多个特性包括:降低所述虚拟内容在所述扩展现实系统的显示器内的突出度。
29.根据权利要求17所述的方法,还包括:
确定所述用户的所述分心水平小于所述门限分心水平,其中,调整所述虚拟内容的所述一个或多个特性包括:降低所述虚拟内容在所述扩展现实系统的显示器内的突出度。
30.根据权利要求17所述的方法,还包括:
确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述扩展现实系统的所述用户的经更新的分心水平;以及
至少部分地基于与所述真实世界环境相关联的一个或多个经更新的环境因素来确定经更新的门限分心水平,所述一个或多个经更新的环境因素与所述一个或多个环境因素至少部分地不同。
31.根据权利要求30所述的方法,还包括:
确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平超过所述经更新的门限分心水平;以及
基于确定所述经更新的分心水平超过所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性降低由所述扩展现实系统提供的所述虚拟内容的突出度。
32.根据权利要求30所述的方法,还包括:
确定由于具有经调整的一个或多个特性的所述虚拟内容而导致的所述用户的所述经更新的分心水平小于所述经更新的门限分心水平;以及
基于确定所述经更新的分心水平小于所述经更新的门限分心水平,进一步调整所述虚拟内容的所述一个或多个特性,其中,进一步调整所述虚拟内容的所述一个或多个特性增加由所述扩展现实系统提供的所述虚拟内容的突出度。
33.一种其上存储有指令的非暂时性计算机可读存储介质,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作:
确定由于由扩展现实系统提供的虚拟内容而导致的所述扩展现实系统的用户的分心水平;
确定由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于门限分心水平,所述门限分心水平是至少部分地基于与所述用户所处的真实世界环境相关联的一个或多个环境因素来确定的;以及
基于关于由于所述虚拟内容而导致的所述用户的所述分心水平超过还是小于所述门限分心水平的所述确定来调整所述虚拟内容的一个或多个特性。
34.根据权利要求33所述的非暂时性计算机可读存储介质,其中,调整所述虚拟内容的所述一个或多个特性包括:降低所述虚拟内容在所述扩展现实系统的显示器内的突出度。
CN202180091074.9A 2021-01-27 2021-12-01 情境感知扩展现实系统 Pending CN116710878A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/159,955 2021-01-27
US17/159,955 US11461986B2 (en) 2021-01-27 2021-01-27 Context-aware extended reality systems
PCT/US2021/072680 WO2022164586A1 (en) 2021-01-27 2021-12-01 Context-aware extended reality systems

Publications (1)

Publication Number Publication Date
CN116710878A true CN116710878A (zh) 2023-09-05

Family

ID=79185800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180091074.9A Pending CN116710878A (zh) 2021-01-27 2021-12-01 情境感知扩展现实系统

Country Status (7)

Country Link
US (3) US11461986B2 (zh)
EP (1) EP4285203A1 (zh)
JP (1) JP2024503881A (zh)
KR (1) KR20230131854A (zh)
CN (1) CN116710878A (zh)
BR (1) BR112023014077A2 (zh)
WO (1) WO2022164586A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611608B1 (en) 2019-07-19 2023-03-21 Snap Inc. On-demand camera sharing over a network
CN116076063A (zh) * 2020-09-09 2023-05-05 斯纳普公司 增强现实信使系统
EP4214901B1 (en) 2020-09-16 2025-11-19 Snap Inc. Context triggered augmented reality
EP4637108A3 (en) 2020-09-16 2025-12-17 Snap Inc. Augmented reality auto reactions
US11461986B2 (en) 2021-01-27 2022-10-04 Qualcomm Incorporated Context-aware extended reality systems
US20220262518A1 (en) * 2021-02-18 2022-08-18 Le Reve Regenerative Wellness Inc. Electronic communication platform and application
US20220331048A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Utilization of surgical data values and situational awareness to control the overlay in surgical field view
US11900550B2 (en) 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle
US12030577B2 (en) 2021-09-30 2024-07-09 Snap Inc. AR based performance modulation of a personal mobility system
US12033503B2 (en) * 2021-12-10 2024-07-09 Ford Global Technologies, Llc Systems and methods for optical tethering image frame plausibility
US12175605B2 (en) * 2022-03-22 2024-12-24 Snap Inc. Situational-risk-based AR display
US12106580B2 (en) 2022-06-14 2024-10-01 Snap Inc. AR assisted safe cycling
US20240185542A1 (en) * 2022-12-05 2024-06-06 Meta Platforms, Inc. Smart content rendering on augmented reality systems, methods, and devices
CN120153338A (zh) * 2022-12-05 2025-06-13 元平台公司 增强现实系统上的智能内容渲染、方法及设备
US12210679B1 (en) * 2024-01-08 2025-01-28 Rockwell Collins, Inc. Attention redirection within AR/XR immersive environments

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US11275482B2 (en) 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US20160054565A1 (en) * 2013-03-29 2016-02-25 Sony Corporation Information processing device, presentation state control method, and program
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US11164548B2 (en) * 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
EP3563215A4 (en) * 2016-12-29 2020-08-05 Magic Leap, Inc. AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11355023B2 (en) * 2017-07-27 2022-06-07 Kennesaw State University Research And Service Foundation, Inc. System and method for intervention with attention deficient disorders
US10812422B2 (en) * 2017-08-31 2020-10-20 Rpx Corporation Directional augmented reality system
US10366522B2 (en) * 2017-09-27 2019-07-30 Microsoft Technology Licensing, Llc Augmented and virtual reality bot infrastructure
US10712804B2 (en) 2017-12-19 2020-07-14 Intel Corporation Dynamic selection of display resolution
JP2019152794A (ja) * 2018-03-05 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
GB201817061D0 (en) * 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
US12400557B2 (en) * 2018-12-18 2025-08-26 United States of America as represented the Administrator of NASA Performance optimization implementing virtual element perturbation
KR102614495B1 (ko) 2019-08-02 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11373342B2 (en) * 2020-01-14 2022-06-28 Sony Interactive Entertainment Inc. Social and scene target awareness and adaptation of an occlusion system for increased social and scene interaction in an optical see-through augmented reality head mounted display
US11461986B2 (en) 2021-01-27 2022-10-04 Qualcomm Incorporated Context-aware extended reality systems

Also Published As

Publication number Publication date
JP2024503881A (ja) 2024-01-29
US20240119692A1 (en) 2024-04-11
US11461986B2 (en) 2022-10-04
US20230078612A1 (en) 2023-03-16
BR112023014077A2 (pt) 2023-12-12
WO2022164586A9 (en) 2023-06-22
US11922594B2 (en) 2024-03-05
US20220237878A1 (en) 2022-07-28
EP4285203A1 (en) 2023-12-06
WO2022164586A1 (en) 2022-08-04
KR20230131854A (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
US11922594B2 (en) Context-aware extended reality systems
US12315095B2 (en) Recommendations for extended reality systems
JP7729847B2 (ja) 拡張現実のための仮想プライベート空間
US11960652B2 (en) User interactions with remote devices
US12019796B2 (en) User attention determination for extended reality
US11474595B2 (en) Display device and display device control method
TWI904189B (zh) 用於擴展現實的虛擬私人空間的方法、裝置及電腦可讀取儲存媒體
KR102903733B1 (ko) 확장 현실 시스템을 위한 사용자 인터페이스 레이아웃 및 입력의 동적 구성
WO2024237951A1 (en) Extended reality (xr) device management using eye tracking sensors
WO2024258517A1 (en) Managing augmented content position and transition states

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination