CN111736692B - 显示方法、显示装置、存储介质与头戴式设备 - Google Patents

Abstract

本公开提供一种显示方法、显示装置、存储介质与头戴式设备，涉及虚拟现实与增强现实技术领域。其中，所述显示方法应用于头戴式设备，所述头戴式设备包括显示单元、摄像单元和投影单元；所述方法包括：控制所述投影单元将第一影像投射到真实场景；获取由所述摄像单元采集的场景图像；根据所述场景图像确定第二影像；在所述显示单元中显示所述第二影像。本公开将用户所看到的显示内容与真实场景实现较好的融合与匹配，提高用户观看的沉浸感，并实现内容的分享。

Description

显示方法、显示装置、存储介质与头戴式设备

技术领域

本公开涉及虚拟现实与增强现实技术领域，尤其涉及一种显示方法、显示装置、存储介质与头戴式设备。

背景技术

AR(Augmented Reality，增强现实)技术是将真实世界信息和虚拟世界信息进行融合显示的技术，真实世界和虚拟世界之间重叠之后，能够在同一个画面以及空间中同时存在。

相关技术中，AR使用的头戴式设备所能提供的FOV(Field Of Vision，视场角)较为有限，例如头戴式设备的FOV普遍在40～50度之前，而人眼所能看到的FOV通常在140度以上。可见，AR显示内容的宽度不足，由此导致真实世界与虚拟世界无法很好的匹配，用户使用中的沉浸感较低，影响用户体验。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种显示方法、显示装置、存储介质与头戴式设备，进而至少在一定程度上改善相关技术中头戴式设备FOV不足所导致的沉浸感较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种显示方法，应用于头戴式设备，所述头戴式设备包括显示单元、摄像单元和投影单元；所述方法包括：控制所述投影单元将第一影像投射到真实场景；获取由所述摄像单元采集的场景图像；根据所述场景图像确定第二影像；在所述显示单元中显示所述第二影像。

根据本公开的第二方面，提供一种显示装置，应用于头戴式设备，所述头戴式设备包括显示单元、摄像单元和投影单元；所述装置包括：投影控制模块，用于控制所述投影单元将第一影像投射到真实场景；场景图像获取模块，用于获取由所述摄像单元采集的场景图像；第二影像确定模块，用于根据所述场景图像确定第二影像；第二影像显示模块，在所述显示单元中显示所述第二影像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的显示方法及其可能的实现方式。

根据本公开的第四方面，提供一种头戴式设备，包括：处理单元；存储单元，用于存储所述处理单元的可执行指令；显示单元；摄像单元；以及投影单元；其中，所述处理单元配置为经由执行所述可执行指令来执行上述第一方面的显示方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

一方面，通过将第一影像投射到真实场景中，将第二影像显示在设备上，可以将用户所看到的显示内容与真实场景实现较好的融合与匹配，从而突破设备FOV的限制，提高用户观看的沉浸感。另一方面，第一影像投射到真实场景后，无需另一台设备即可实现内容的分享，增加头戴式设备的多人使用场景，有利于提高普及度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出人眼视域的示意图；

图2示出本示例性实施方式中一种增强现实眼镜的结构图；

图3示出本示例性实施方式中一种显示方法的流程图；

图4示出本示例性实施方式中采集场景图像的示意图；

图5示出本示例性实施方式中一种确定第二影像的示意图；

图6示出本示例性实施方式中用户实际观看到的画面；

图7示出本示例性实施方式中一种显示装置的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

人眼并不是一个单纯的静态光学系统，它以眼球的扫描作为视觉的累积，根据人眼的特点，横向扫描活动比较多且比较轻松，正常状态下，人眼扫描一次的横向宽度为120度，极限接近180度。图1示出了人眼各个视域。一般的，映射在人眼视网膜上的图像，只有中心部分能被分辨清楚，大约10～20度，为字识别区域；10～30度之间称为字母识别区域，人眼能立刻看清物体的存在以及动作，无需转动眼球或头部即可分辨，但分辨能力相比于字识别区域有所降低；30～50度之间称为颜色辨别区域，分辨能力进一步降低，当需要看清楚物体或动作时，需要转动眼球或头部；双眼视区可以达到62度，单眼的视觉界限可以达到94～104度，虽然人眼无法对这么大范围内的图像进行分辨，但是会产生一定的感知，例如在60度的位置出现某个颜色反差特别大的物体时，人眼可以产生反差与不和谐感。

对于目前的头戴式设备，由于光学系统的限制，光学显示模组的FOV一般为40度左右，也就是只有40度的显示区域内可以通过光学显示模组看到虚拟画面。这个FOV范围可以覆盖到人眼的清晰辨认的区域范围，但无法覆盖到更大的人眼余光区域。因此，当用户穿戴设备观看内容时，在光学显示模组FOV未覆盖的区域，特别是覆盖区域与未覆盖区域的交界处，容易形成较大的反差，降低用户的沉浸感。

另外，相关技术中，头戴式设备的显示方案为近眼显示方案，即只有当眼镜靠近光学显示模组时才能看到眼镜的显示内容，这样只有用户本人能看到现实内容，无法分享给其他人。基于目前的头戴式设备，一种方式是将显示内容通过无线通信等方式发送到其他人的设备上以进行分享，但是这样实现过程繁琐，文件较大时发送不便，且容易造成私密内容的泄露；另一种方式是通过投屏到其他显示设备上以进行分享，但是这样需要设备具备投屏功能，且还需要对两个设备进行适配性设置，同样不易于实现。可见，目前没有分享头戴式设备显示内容的有效方案。

鉴于上述一个或多个问题，本公开的示例性实施方式首先提供一种头戴式设备，下面以图2中的增强现实眼镜200为例，对头戴式设备内部的单元构造进行示例性说明。本领域技术人员应当理解，实际应用中，头戴式设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对头戴式设备的结构限定。在另一些实施方式中，头戴式设备也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，增强现实眼镜200可以包括存储单元210、处理单元220、显示单元230、摄像单元240和投影单元250，可选的，增强现实眼镜200还可以包括音频单元260、通信单元270和传感器单元280。

存储单元210用于存储可执行指令，例如可以包括操作系统代码、程序代码，还可以存储程序运行期间所产生的数据，例如程序内的用户数据等。存储单元210可以设置于两镜片中间的镜体内，也可以设置于其他位置。存储单元210可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。

处理单元220可以包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、应用处理器(Application Processor，AP)、调制解调处理器、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理器可以作为独立的单元，也可以集成在一个处理单元中。处理单元220可以设置于两镜片中间的镜体内，也可以设置于其他位置。处理单元220可以执行存储单元210上的可执行指令，以执行相应的程序命令。

显示单元230用于显示图像，视频等，一般设置为镜片的形式，或者在镜片上设置一定的显示区域。本示例性实施方式采用光学透视显示方式，用户透过镜片可以看到真实场景，而处理单元220将虚拟影像传输到显示单元230上显示，使用户看到真实和虚拟叠加的影像效果。因此显示单元230可以具备“透视”(See-Through)的功能，既要看到真实的外部世界，也要看到虚拟信息，以实现现实和虚拟的融合与“增强”。在一种可选的实施方式中，如图2所示，显示单元230可以包括微型显示屏(Display)2301与透镜(Lens)2302。微型显示屏2301用于提供显示内容，可以是自发光的有源器件，如发光二极管面板、或具有外部光源照明的液晶显示屏等；透镜2302用于使人眼看到真实场景，从而对真实场景影像和虚拟影像进行叠加。

摄像单元240由镜头、感光元件等部件组成，其可以位于两镜片中间的位置，或者镜片的左侧、右侧位置，镜头一般朝向镜片的正前方。当用户佩戴增强现实眼镜200时，摄像单元240可以捕获前方的静态图像或视频，例如用户前方的场景图像，或者用户在正前方做出手势操作，摄像单元240可以拍摄用户的手势图像。进一步的，如图2所示，摄像单元240可以包括深度摄像头2401，例如可以是TOF(Time Of Flight，飞行时间)摄像头、双目摄像头等，可以检测场景图像中每个部分或每个物体的深度信息(即与增强现实眼镜200的轴向距离)，从而得到更加丰富的图像信息，例如在拍摄手势图像后，可以根据手势的深度信息，实现准确的手势识别。在一种实施方式中，可以在镜片的左侧与右侧分别设置一个摄像头，模拟人眼双目的结构，以拍摄更加接近于人眼观看内容的图像。

投影单元250用于将影像投射到头戴式设备200以外的区域，其可以位于两镜片中间的位置，或者镜片的左侧、右侧位置，一般朝向镜片的正前方，以投射影像到前方区域。投影单元250可以采用基于DMD(Digital Micro-mirror Device，数字微镜器件)、LCOS(Liquid Crystal on Silicon，液晶附硅)或LBS(Laser Beam Steering，激光扫描)等方案的微投影机。处理单元220将影像画面传输至投影单元250，投影单元250通过相应的投影参数将影像画面投射至前方的幕布、墙壁等。

音频单元260用于将数字音频信号转换成模拟音频信号输出，也可以将模拟音频输入转换为数字音频信号，还可以用于对音频信号编码和解码。在一些实施方式中，音频单元260可以设置于处理单元220中，或将音频单元260的部分功能模块设置于处理单元220中。如图2所示，音频单元260一般可以包括麦克风2601和耳机2602。麦克风2601可以设置于增强现实眼镜200一侧或双侧镜腿的底部，靠近用户嘴部的位置，耳机2602可以设置于增强现实眼镜200一侧或双侧镜腿的中后端，靠近用户耳朵的位置。此外，音频单元260也可以包括扬声器、功率放大器等组件，以实现音频的外放。

通信单元270可以提供包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案，使增强现实眼镜200连接到互联网，或与其他设备形成连接。

传感器单元280由不同类型的传感器组成，用于实现不同的功能。例如，传感器单元280可以包括至少一个触摸传感器2801，设置在一侧的镜腿外侧，便于用户触摸到的位置，形成一定的触摸感应区域，实现类似于手机触控屏的功能，使用户通过在触摸感应区域进行触摸操作而进行交互控制。

此外，传感器单元280还可以包括其他传感器，例如压力传感器2802，用于检测用户按压操作的力度，指纹传感器2803，用于检测用户的指纹数据，等等。

在一种可选的实施方式中，增强现实眼镜200还可以包括USB(Universal SerialBus，通用串行总线)接口290，其符合USB标准规范，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口290可以用于连接充电器为增强现实眼镜200充电，也可以连接耳机，通过耳机播放音频，还可以用于连接其他电子设备，例如连接电脑、外围设备等。USB接口290可以设置于增强现实眼镜200一侧或双侧镜腿的底部，或其他合适的位置。

在一种可选的实施方式中，增强现实眼镜200还可以包括充电管理单元2901，用于从充电器接收充电输入，为电池2902充电。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施方式中，充电管理单元2901可以通过USB接口290接收有线充电器的充电输入。在一些无线充电的实施方式中，充电管理单元2901可以通过增强现实眼镜200的无线充电线圈接收无线充电输入。充电管理单元2901为电池2902充电的同时，还可以为设备供电。

本公开的示例性实施方式提供一种显示方法，可以应用于上述头戴式设备，如图2中的增强现实眼镜200。

下面结合图3对该显示方法做具体说明。如图3所示，该方法可以包括以下步骤S310至S340：

步骤S310，控制投影单元将第一影像投射到真实场景。

真实场景是指头戴式设备当前所在的真实世界环境，如现实的客厅、会议室、教室等。

第一影像是头戴式设备需要显示的内容或其中的一部分，例如将待显示图像作为第一影像，或者从待显示图像中分割出一部分作为第一影像。

在一种可选的实施方式中，在执行步骤S310之前，可以将待显示图像分割为第一部分与第二部分，将第一部分作为第一影像。

其中，待显示图像可以是用户选择的图像，如对头戴设备本地相册中的图片进行幻灯片展示时，依次以其中的每一张图像作为待显示图像。待显示图像也可以是视频中的一帧图像，如通过头戴式设备观看视频时，可以依次将视频中的每一帧图像作为待显示图像。在一种可选的实施方式中，待显示图像还可以是头戴式设备生成的虚拟图像，如可以生成与真实场景匹配的虚拟图像，将其作为待显示图像。举例来说，可以通过摄像单元采集真实场景图像，处理单元解析真实场景图像，识别其中的目标，例如平面、台面、特定的物体等，根据AR程序的设置，在目标的相应位置上生成虚拟图像，如在平面上生成虚拟投影，生成站立在台面上的虚拟人物，为特定的真实物体生成虚拟边框等。生成虚拟图像的过程也可以通过机器学习模型实现，例如头戴式设备可以运行机器学习模型，通过收集真实世界图像以及虚拟图像的大数据，进行模型训练，以学习真实世界特征与虚拟图像的关系，进而在应用时，采集真实场景图像并输入到模型中，模型通过识别真实场景图像中的目标与特征，生成相适应的虚拟图像。所生成虚拟图像即待显示图像。

第一部分与第二部分可以分别是待显示图像中的背景部分与前景部分，例如对待显示图像进行目标检测，将检测出的部分提取出来作为前景部分，剩余部分为背景部分，背景部分即第一影像。第一部分与第二部分也可以是待显示图像中固定位置的两个部分，例如将待显示图像中间区域固定大小的部分分割出来，作为第二部分，剩余部分为第一部分。第一部分与第二部分还可以是待显示图像中的不同图层，例如将待显示图像中特定的纹理图层分割出来，作为第一部分，剩余图层为第二部分。

步骤S320，获取由摄像单元采集的场景图像。

图4示出了采集场景图像的示意图，当用户佩戴头戴式设备时，摄像单元可以实时采集用户前方的真实场景图像，形成视频流，并传输到处理单元。本示例性实施方式中，将第一影像投射到真实场景中的前方区域后，采集的场景图像中也可以包括第一影像的内容。

在一种可选的实施方式中，摄像单元可以包括深度摄像头，则采集的场景图像中可以携带深度信息。

在一种可选的实施方式中，在执行步骤S330之前，可以根据场景图像调整投影参数；然后再次执行步骤S310，即控制投影单元采用调整后的投影参数重新投射第一影像，再次执行步骤S320，即再次获取由摄像单元采集的场景图像。

其中，据场景图像调整投影参数可以包括以下任意一条或多条：

(1)当检测场景图像中的第一影像发生模糊时，调整投影焦距。具体来说，可以从场景图像中提取第一影像的部分，计算图像梯度，如通过Tenengrad梯度函数、Brenner梯度函数、Laplacian梯度函数等进行计算，梯度低于一定的数值则确定第一影像较为模糊。在调整投影焦距时，可以先向一个方向调整，如增大焦距，然后再次采集场景图像，计算第一影像部分的图像梯度，如果梯度增加，一般说明调整方向正确，如果梯度降低，一般说明调整方向反了。进一步的，还可以通过反复调整，找到最佳的投影焦距(一般为投影距离)，使第一影像最清晰。

(2)当检测场景图像中的第一影像发生畸变时，调整投影角度。在投影单元本身已进行畸变校正(如梯形校正)的情况下，如果场景图像中的第一影像仍然存在畸变，则可能是由于投影区域不在一个平整的平面上，通过调整投影角度，可以改变投影区域，使其移动到一个平整(或接近平整)的平面上。

(3)根据场景图像中第一影像所占的比例，调整投影尺寸。一般来说，如果场景图像中第一影像所占的比例过小，则增大投影尺寸，使第一影像的面积增大。在一种可选的实施方式中，还可以使第一影像刚好覆盖到整个场景图像，具体来说，通过不断增大投影尺寸，使第一影像在场景图像中所占的比例达到或接近于100％。

实际应用中，可以对上述方式进行任意组合，或者采用其他方式调整投影参数。本公开对此不做限定。

通过调整投影参数，可以优化第一影像与场景图像，以实现最佳的显示效果。

步骤S330，根据场景图像确定第二影像。

第二影像是与第一影像具有互补关系或匹配关系的显示内容。在确定第二影像时，需要将第二影像与场景图像中的第一影像进行匹配。

在一种可选的实施方式中，参考图5所示，步骤S330可以包括以下步骤S510和S520：

步骤S510，在场景图像中的预设位置，按照预设尺寸截取子图像；

步骤S520，根据上述子图像确定第二影像。

其中，预设位置与预设尺寸可以根据显示单元的显示区域的位置与尺寸确定。该显示区域可以是图2中微型显示屏2301所提供的显示区域，用于显示头戴式设备的显示内容，一般是经过处理单元处理的数字图像画面。

本示例性实施方式中，场景图像模拟人眼看到的外部图像，由于摄像头与镜片的位置不完全重合，因此拍摄的场景图像与人眼实际看到的外部图像之间可能存在差别，这种差别可以通过对场景图像进行微调来消除。在场景图像与人眼看到的外部图像基本一致的情况下，可以通过人眼、镜片、投影平面之间的距离关系(如可以采用人眼与镜片之间的经验距离以及投影焦距)，按照投影关系计算显示区域映射到人眼视网膜上的位置与尺寸，即得到上述预设位置与预设尺寸，这一部分也是显示区域的遮挡部分。需要说明的是，如果头戴式设备的显示单元具有两个显示区域，例如在左右两侧镜片上分别设置一个显示区域的情况，则可以对应得到两组预设位置与预设尺寸，截图得到两个子图像。

在场景图像中截取子图像后，可以根据子图像确定第二影像，例如采用子图像中的背景，生成相匹配的虚拟人物或虚拟物体，作为第二影像。

在一种实施方式中，可以直接将上述子图像确定为第二影像，则用户所看到的场景图像与第二影像叠加后，得到原本的场景图像，并且具有一定的立体感。

另一种实施方式中，可以在子图像上添加文字、图标、边框或其他虚拟效果(如虚拟的卡通形象等)，得到第二影像。

再一种实施方式中，如果第一影像来源于上述待显示图像的第一部分，则可以根据上述子图像对待显示图像的第二部分进行调整，得到第二影像。具体来说，可以根据子图像的大小对待显示图像的第二部分大小进行适应性调整，或者确定子图像在待显示图像中对应的区域，保留第二部分在该区域中的内容，作为第二影像，等等。

步骤S340，在显示单元中显示第二影像。

图6示出了用户实际观看到的画面，用户通过镜片看到经过投影的前方真实场景，即第一影像与真实场景的叠加，通过显示单元看到第二影像，由于第二影像与场景图像匹配，第二影像相当于“嵌入”在第一影像与真实场景中，从显示单元到显示单元外的区域，图像内容连续，风格一致，不会给用户造成反差、突变或不和谐感，从而带来较好的观看体验。

综上所述，本示例性实施方式中，一方面，通过将第一影像投射到真实场景中，将第二影像显示在设备上，可以将用户所看到的显示内容与真实场景实现较好的融合与匹配，从而突破设备FOV的限制，提高用户观看的沉浸感。另一方面，第一影像投射到真实场景后，无需另一台设备即可实现内容的分享，增加头戴式设备的多人使用场景，有利于提高普及度。

本公开的示例性实施方式还提供一种显示装置，可应用于头戴式设备，例如图2所示的增强现实眼镜200。如图7所示，该显示装置700可以包括：

投影控制模块710，用于控制投影单元将第一影像投射到真实场景；

场景图像获取模块720，用于获取由摄像单元采集的场景图像；

第二影像确定模块730，用于根据场景图像确定第二影像；

第二影像显示模块740，在显示单元中显示第二影像。

在一种可选的实施方式中，第二影像确定模块730，被配置为：

在场景图像中的预设位置，按照预设尺寸截取子图像；

根据上述子图像确定第二影像。

在一种可选的实施方式中，显示装置700还可以包括：

第一影像确定模块，用于将待显示图像分割为第一部分与第二部分，将第一部分作为第一影像。

第二影像确定模块730，还用于根据上述子图像对上述第二部分进行调整，将调整后的第二部分作为第二影像。

在一种可选的实施方式中，第一影像确定模块，还用于将与真实场景匹配的虚拟图像作为待显示图像。

在一种可选的实施方式中，第二影像确定模块730，还用于根据显示单元的显示区域的位置与尺寸，确定预设位置与预设尺寸。

在一种可选的实施方式中，投影控制模块710，还用于：

根据场景图像调整投影参数；

控制投影单元采用调整后的投影参数重新投射第一影像。

场景图像获取模块720，还用于再次获取由摄像单元采集的场景图像。

进一步的，投影控制模块710，可以通过以下任意一种或多种方式调整投影参数：

当检测场景图像中的第一影像发生模糊时，调整投影焦距；

当检测场景图像中的第一影像发生畸变时，调整投影角度；

根据场景图像中第一影像所占的比例，调整投影尺寸。

此外，上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种显示方法，其特征在于，应用于头戴式设备，所述头戴式设备包括显示单元、摄像单元和投影单元；所述显示单元包括镜片，所述镜片上设有显示区域；所述方法包括：

将待显示图像分割为第一部分与第二部分，将所述第一部分作为第一影像；

控制所述投影单元将所述第一影像投射到真实场景；

获取由所述摄像单元采集的场景图像；

根据所述场景图像确定第二影像；

在所述显示区域中显示所述第二影像，使佩戴所述头戴式设备的用户看到所述真实场景、所述第一影像与所述第二影像；

其中，所述根据所述场景图像确定第二影像，包括：

在所述场景图像中的预设位置，按照预设尺寸截取子图像；

根据所述子图像对所述第二部分进行调整，将调整后的第二部分作为所述第二影像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述子图像对所述第二部分进行调整，将调整后的第二部分作为所述第二影像，包括：

根据所述子图像的大小对所述第二部分大小进行适应性调整，将调整后的第二部分作为所述第二影像；或者确定所述子图像在所述待显示图像中对应的区域，保留所述第二部分在该区域中的部分，以作为所述第二影像。

3.根据权利要求1所述的方法，其特征在于，所述第一部分是所述待显示图像中的背景部分，所述第二部分是所述待显示图像中的前景部分。

4.根据权利要求1所述的方法，其特征在于，所述待显示图像通过以下方式获取：

将与所述真实场景匹配的虚拟图像作为所述待显示图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述显示单元的显示区域的位置与尺寸，确定所述预设位置与所述预设尺寸。

6.根据权利要求1至5任一项所述的方法，其特征在于，在根据所述场景图像确定第二影像之前，所述方法还包括：

根据所述场景图像调整投影参数；

控制所述投影单元采用调整后的投影参数重新投射所述第一影像，并再次获取由所述摄像单元采集的场景图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述场景图像调整投影参数，包括以下任意一条或多条：

当检测所述场景图像中的所述第一影像发生模糊时，调整投影焦距；

当检测所述场景图像中的所述第一影像发生畸变时，调整投影角度；

根据所述场景图像中所述第一影像所占的比例，调整投影尺寸。

8.一种显示装置，其特征在于，应用于头戴式设备，所述头戴式设备包括显示单元、摄像单元和投影单元；所述显示单元包括镜片，所述镜片上设有显示区域；所述装置包括：

第一影像确定模块，用于将待显示图像分割为第一部分与第二部分，将所述第一部分作为第一影像；

投影控制模块，用于控制所述投影单元将所述第一影像投射到真实场景；

场景图像获取模块，用于获取由所述摄像单元采集的场景图像；

第二影像确定模块，用于根据所述场景图像确定第二影像；

第二影像显示模块，在所述显示区域中显示所述第二影像，使佩戴所述头戴式设备的用户看到所述真实场景、所述第一影像与所述第二影像；

其中，所述根据所述场景图像确定第二影像，包括：

在所述场景图像中的预设位置，按照预设尺寸截取子图像；

根据所述子图像对所述第二部分进行调整，将调整后的第二部分作为所述第二影像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

10.一种头戴式设备，其特征在于，包括：

处理单元；

存储单元，用于存储所述处理单元的可执行指令；

显示单元；所述显示单元包括镜片，所述镜片上设有显示区域；

摄像单元；以及

投影单元；

其中，所述处理单元配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

Images