CN116055827A - 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 - Google Patents

Abstract

头部佩戴型显示装置和头部佩戴型显示装置的控制方法，适当地促使使用者注意实际空间的物体等给使用者带来危险的可能性。HMD(100)具有：显示部(20)，其使外景透过；视线检测部，其检测使用者(U)的视线方向；判定部，其进行如下处理：通过计算第1对象物的危险度，并根据视线方向校正第1对象物的危险度来判定第1对象物的注意等级，以及通过计算第2对象物的危险度，并根据视线方向校正第2对象物的危险度来判定第2对象物的注意等级；以及显示控制部，在第1对象物的注意等级比第2对象物的注意等级高的情况下，该显示控制部使显示部(20)显示与第1对象物有关的第1图像。

Description

头部佩戴型显示装置和头部佩戴型显示装置的控制方法

技术领域

本发明涉及头部佩戴型显示装置和头部佩戴型显示装置的控制方法。

背景技术

以往，提出了向佩戴有头部佩戴型显示装置(HMD：Head Mounted Display)的使用者通知危险的技术。专利文献1公开了如下结构：确定正在外景中移动的移动物体，根据移动物体接近使用者的速度，设定显示图像的显示方式。

专利文献1：日本特开2017-117175号公报

在专利文献1所公开的结构中，针对以低速移动的物体、静止的物体，难以通知给使用者。因此，关于实际空间的物体等给使用者带来危险的可能性，期望更适当地促使使用者注意。

发明内容

本公开的一个方式是一种头部佩戴型显示装置，其具有：显示部，其使包含第1对象物和第2对象物的外景透过；视线检测部，其检测使用者的视线方向；时间计算部，其计算所述第1对象物到达所述使用者所花费的第1时间和所述第2对象物到达所述使用者所花费的第2时间；以及判定部，其取得与所述第1对象物有关的第1信息和与所述第2对象物有关的第2信息，根据所述第1信息和所述第1时间计算所述第1对象物的危险度，根据所述第2信息和所述第2时间计算所述第2对象物的危险度，在基于所述视线方向和所述第1对象物的危险度的所述第1对象物的注意等级比基于所述视线方向和所述第2对象物的危险度的所述第2对象物的注意等级高的情况下，所述显示部显示与所述第1对象物有关的第1图像。

本公开的另一方式是一种头部佩戴型显示装置的控制方法，其具有以下步骤：取得与第1对象物有关的第1信息和与第2对象物有关的第2信息；检测使用者的视线方向；计算所述第1对象物到达所述使用者所花费的第1时间和所述第2对象物到达所述使用者所花费的第2时间；根据所述第1信息和所述第1时间计算所述第1对象物的危险度；根据所述第2信息和所述第2时间计算所述第2对象物的危险度；以及在基于所述视线方向和所述第1对象物的所述危险度的所述第1对象物的注意等级比基于所述视线方向和所述第2对象物的所述危险度的所述第2对象物的注意等级高的情况下，使显示部显示与所述第1对象物有关的第1图像。

附图说明

图1是示出HMD的结构的图。

图2是HMD的外观图。

图3是HMD的框图。

图4是控制部的功能框图。

图5是示出检测使用者的视线方向的情形的示意图。

图6是示出基于HMD的显示例的图。

图7是示出HMD的动作的流程图。

图8是示出HMD的动作的流程图。

图9是示出HMD的动作的流程图。

图10是示出显示的转变的例子的说明图。

标号说明

10：控制器；11：主体；12：转盘操作部；13：中央键；14：操作板；15：上下键；17：LED显示部；18：电源开关；19：USB连接器；20：显示部；21：右保持部；22：右显示单元；23：左保持部；24：左显示单元；26：右导光板；27：前部框架；28：左导光板；30：头戴式耳机；32：右耳机；34：左耳机；40：连接缆线；42：连接器；46：音频连接器；61：外侧摄像头；63：麦克风；64：距离传感器；65：照度传感器；66：热像仪；67：LED指示器；68：内侧摄像头；90、90A、90B：对象物；100：HMD；118：存储器；120：控制部；121：非易失性存储部；125：处理器；151：控制程序；152：设定值存储部；153：阈值存储部；154：识别数据存储部；155：危险度数据库；170：操作部；171：基本控制部；173：距离检测部；174：温度检测部；175：时间计算部；176：视线检测部；177：判定部；178：动作检测部；179：输入检测部；301、301A、301B、301C：注意图像；U：使用者。

具体实施方式

[1.HMD的整体结构]

图1是示出HMD 100的结构的图。图2是HMD 100的外观图，是与使用者U的脸相对一侧的立体图。

HMD 100是使用者U佩戴于头部的头部佩戴型显示装置。HMD是Head MountedDisplay(头戴式显示器)的缩写。

HMD 100是使用者在看到虚像的同时还能够直接看到外景的光学透射型显示装置。在此，外景是佩戴HMD 100的使用者U的外部的景色，是指在使用者U未佩戴显示部20的状态下也能够通过肉眼看到的实际空间的光景。使用者U是HMD 100的用户，还可以称作操作者。

HMD 100具有使用者U佩戴于头部的显示部20以及对显示部20进行控制的控制器10。显示部20在佩戴于使用者U的头部的状态下，令使用者看到虚像。控制器10作为用于供使用者U操作HMD 100的控制装置发挥功能。

在以下的说明中，为了方便，将显示部20令使用者U看到的虚像称作显示图像。将HMD 100从显示部20射出基于图像数据的图像光表述为对图像进行显示。图像不限于静态图像，还包含动态图像或影像。该结构仅是一例，例如，HMD 100也可以是不透光的。在该情况下，HMD 100例如可以是所谓的视频透视型显示装置。具体而言，HMD 100也可以是如下结构：具备不具有透光性的显示部20，通过将后述的外侧摄像头61的拍摄图像显示于显示部20，令使用者U间接地看到外景。

控制器10具有箱形的主体11。主体11具有各种开关等，作为受理使用者U的操作的操作符。在本实施方式中，显示部20具有眼镜形状。显示部20具有由右保持部21、左保持部23、前部框架27构成的主体。在显示部20的主体设置有右显示单元22、左显示单元24、右导光板26和左导光板28。

右保持部21和左保持部23从前部框架27的两端部起向后方延伸，将显示部20保持于使用者U的头部。将前部框架27的两端部中的、在佩戴显示部20时位于使用者U的右侧的端部设为端部ER，将位于左侧的端部设为端部EL。

右导光板26和左导光板28设置于前部框架27。在显示部20的佩戴状态下，右导光板26位于使用者U的右眼的前方。左导光板28位于使用者U的左眼的前方。

右显示单元22和左显示单元24是对光学单元和周边电路进行单元化而得到的模块。右显示单元22安装于右保持部21，左显示单元24安装于左保持部23。右显示单元22和左显示单元24射出基于图像数据的图像光。

右导光板26和左导光板28是由透光性的树脂等形成的光学部件。例如，右导光板26和左导光板28是棱镜。右导光板26朝向使用者U的右眼引导右显示单元22所输出的图像光。左导光板28朝向使用者的左眼引导左显示单元24所输出的图像光。由此，图像光入射到使用者U的双眼，使用者U能够看到图像。

由右导光板26引导的图像光和透过了右导光板26的外部光入射到使用者U的右眼。由左导光板28引导的图像光和透过了左导光板28的外部光入射到使用者U的左眼。即，HMD 100使与在内部进行处理后的图像对应的图像光和外部光重叠地入射到使用者U的眼睛。使用者U能够透过右导光板26和左导光板28看到外景。并且，使用者U能够与外景重叠地观察基于图像光的图像。

也可以在右导光板26和左导光板28的表面设置使入射到使用者U的右眼和左眼的外部光衰减的遮光罩。该遮光罩也可以是能够电调整光的透射率的电子遮光罩。

在前部框架27配置照度传感器65。照度传感器65接收来自佩戴显示部20的使用者U的前方的外部光。

在前部框架27配置外侧摄像头61。在图1的例子中，外侧摄像头61位于前部框架27的端部ER侧。外侧摄像头61是拍摄包含使用者U的正面的拍摄范围的数字摄像头。外侧摄像头61设置于不遮挡透过右导光板26和左导光板28的外部光的位置。外侧摄像头61的位置不限于图1的例子。外侧摄像头61可以配置于端部EL侧，也可以配置于右导光板26与左导光板28的连结部。外侧摄像头61与拍摄部的一例对应。

外侧摄像头61是具有CCD、CMOS等拍摄元件和拍摄镜头等的数字摄像头。本实施方式的外侧摄像头61是单反摄像头，但也可以由立体摄像头构成。外侧摄像头61按照后述的控制部120的控制执行拍摄，向控制部120输出拍摄图像数据。外侧摄像头61具有拍摄镜头。外侧摄像头61的拍摄镜头也可以是所谓广角镜头。该广角镜头也可以是被称为超广角镜头、准广角镜头的镜头。外侧摄像头61的拍摄镜头可以是单焦点镜头，也可以是变焦镜头，还可以是由多个镜头构成的镜头组。CCD是Charge Coupled Device(电荷耦合器件)的缩写。CMOS是Complementary Metal-Oxide-Semiconductor(互补金属氧化物半导体)的缩写。

在前部框架27配置LED指示器67。LED指示器67在端部ER处配置于外侧摄像头61的附近，在外侧摄像头61的动作中点亮，通知处于拍摄中。LED是Light Emitting Diode(发光二极管)的缩写。

在前部框架27设置有距离传感器64。距离传感器64检测从显示部20到位于使用者U的前方的测量对象物的距离。测量对象物是位于实际空间的现实的物体、构造物。距离传感器64例如可以是光反射式距离传感器。具体而言，可举出具有LED、激光二极管等光源、以及接收光源发出的光被测量对象物反射的反射光的受光部的传感器。此外，距离传感器64也可以是超声波式的距离传感器。即，距离传感器64也可以是具有发出超声波的声源和接收被测量对象物反射的超声波的检测部的结构。此外，距离传感器64也可以是还被称为测距传感器的激光测距仪。

如后所述，HMD 100通过控制部120，利用外侧摄像头61和距离传感器64中的至少任一个来执行SLAM处理。控制部120生成佩戴了显示部20的使用者U的周边的物体的环境地图，确定环境地图中的使用者U的自身位置。距离传感器64是用于进行SLAM处理的传感器，具体而言，也可以是构成LIDAR系统的传感器。距离传感器64不限于检测测量对象物与显示部20之间的距离的传感器，例如也可以是激光测距仪。SLAM是Simultaneous Localizationand Mapping(同步定位与地图构建)的缩写。LIDAR是Light Detection and Ranging(光探测和测距)、Laser Imaging Detection and Ranging(激光成像探测与测距)的缩写。在处理器125能够仅利用外侧摄像头61来执行SLAM的情况下，HMD 100也可以是不具有距离传感器64的结构。

HMD 100也可以与距离传感器64一起或者替代距离传感器64而具有检测使用者U的周围的气体成分的气体传感器或者其他环境传感器。

此外，虽未图示，但在前部框架27设置热像仪66。热像仪66是拍摄红外光的摄像头，输出红外线图像的图像数据。热像仪66拍摄的红外线图像表示热像仪66的拍摄范围内的温度分布。热像仪66的拍摄范围与外侧摄像头61的拍摄范围重叠。

控制器10与显示部20通过连接缆线40连接。连接缆线40以能够拆装的方式与主体11的连接器42连接。

连接缆线40具有音频连接器46。在音频连接器46连接头戴式耳机30。头戴式耳机30具有构成立体声耳机的右耳机32及左耳机34、麦克风63。

右耳机32佩戴于使用者U的右耳。左耳机34佩戴于使用者U的左耳。右耳机32及左耳机34是内耳型的耳机或者耳道型的耳机。右耳机32及左耳机34也可以是经由耳罩而与耳廓接触的包置型的头戴式耳机。右耳机32及左耳机34根据后述的语音接口181所输出的语音信号，输出语音。

麦克风63对语音进行收集，将语音信号输出至语音接口181。麦克风63可以是单声道麦克风，也可以是立体声麦克风。麦克风63可以是具有方向性的麦克风，还可以是无方向性的麦克风。

控制器10具有转盘操作部12、中央键13、操作板14、上下键15、LED显示部17和电源开关18。可以将它们称作由使用者U操作的被操作部。这些被操作部配置于主体11的表面。这些被操作部例如利用使用者的手/指进行操作。

在主体11设置LED显示部17。LED显示部17是表示HMD 100的动作状态的LED指示器。LED显示部17被能够使光透过的透过部覆盖。LED显示部17的罩构成主体11的表面的一部分。当LED显示部17发光时，该光在透过部中透过。由此，能够看到形成于透过部的字符、记号、花纹等。在LED显示部17上与透过部重叠地配置触摸传感器，该触摸传感器检测使用者U的手/手指的接触。LED显示部17与触摸传感器的组合作为软件键发挥功能。

电源开关18是切换HMD 100的电源的接通/断开的开关。

主体11具有USB连接器19，作为将控制器10与外部的装置连接的接口。USB是Universal Serial Bus(通用串行总线)的缩写。

在前部框架27设置内侧摄像头68，该内侧摄像头68在使用者U佩戴了显示部20的状态下朝向使用者U的脸。本实施方式的HMD 100具有一对内侧摄像头68。详细而言，具有朝向使用者U的右眼的内侧摄像头68和朝向使用者U的左眼的内侧摄像头68。内侧摄像头68通过红外光、可见光分别拍摄使用者U的右眼和左眼。控制部120能够利用内侧摄像头68的拍摄图像，确定使用者U的右眼的视线和左眼的视线的方向。此外，HMD 100通过对内侧摄像头68的拍摄图像进行分析，检测右眼和左眼的瞳孔的尺寸。HMD 100也可以根据瞳孔的尺寸的变化，确定使用者U的瞳孔的缩瞳或散瞳的状态。此外，HMD 100也可以根据内侧摄像头68的拍摄图像，检测右眼和左眼的眼皮的开闭状态。

图3是示出构成HMD 100的各部件的结构的框图。

控制器10具有处理器125。处理器125由CPU、MPU等构成。在处理器125连接存储器118和非易失性存储部121。存储器118例如是RAM，形成暂时存储数据、程序的工作区。非易失性存储部121由磁存储装置、闪存ROM等半导体存储元件或者其他种类的非易失性存储装置构成。非易失性存储部121非易失性地存储处理器125所执行的程序、由处理器125处理的数据。CPU是Central Processing Unit(中央处理器)的缩写，MPU是Micro ProcessingUnit(微处理器)的缩写。RAM是Random Access Memory(随机存取存储器)的缩写，ROM是Read Only Memory(只读存储器)的缩写。

在处理器125连接操作部170，作为输入装置。在处理器125连接6轴传感器111、磁传感器113和GPS接收部115，作为传感器类。

在处理器125连接通信部117、语音接口181、外部存储器接口191、USB连接器19、传感器集线器193和FPGA 194。这些组件作为与外部的接口发挥功能。在以下的说明和附图中，将接口缩写作I/F。FPGA是Field Programmable Gate Array(现场可编程门阵列)的缩写。

控制器10具有控制基板。在该控制基板安装处理器125。也可以在控制基板安装6轴传感器111、磁传感器113、GPS接收部115、通信部117、存储器118、非易失性存储部121等。也可以在控制基板安装外部存储器接口191、USB连接器19、传感器集线器193、FPGA 194和接口197。还可以在控制基板安装连接器42和USB连接器19。

存储器118构成暂时存储处理器125所执行的程序和处理器125所处理的数据等的工作区。非易失性存储部121由闪存等半导体存储器器件构成。非易失性存储部121存储处理器125所执行的程序、处理器125所处理的数据。

操作部170检测针对配置于LED显示部17的触摸传感器、转盘操作部12、中央键13、操作板14、上下键15和电源开关18的操作。操作部170向处理器125输出与操作对应的操作信号。操作部170按照处理器125的控制，使LED显示部17点亮、闪烁、熄灭。

6轴传感器111是检测控制器10的运动的运动传感器的一例。运动传感器也可以替换为惯性传感器、motion传感器。6轴传感器111具有3轴加速度传感器和3轴陀螺仪传感器。磁传感器113例如是3轴的地磁传感器。6轴传感器111也可以是对加速度传感器和陀螺仪传感器进行模块化而得到的IMU。IMU是Inertial Measurement Unit(惯性计测单元)的缩写。此外，也可以是对6轴传感器111和磁传感器113进行模块化而得到的结构。

GPS接收部115通过未图示的GPS天线，接收GPS信号。GPS接收部115根据GPS信号，检测或计算控制器10的当前位置的坐标。GPS是Global Positioning System(全球定位系统)的缩写。

6轴传感器111、磁传感器113和GPS接收部115按照预先指定的采样周期，将输出值输出至处理器125。此外，6轴传感器111、磁传感器113和GPS接收部115也可以根据处理器125的请求，将检测值输出至处理器125。

通信部117是与外部设备之间执行无线通信的通信装置。通信部117具有未图示的天线、RF电路、基带电路、通信控制电路等。通信部117例如进行依据包含Bluetooth、Wi-Fi的无线LAN等标准的无线通信。RF是Radio Frequency(射频)的缩写。Bluetooth是注册商标。Wi-Fi是注册商标。

语音接口181经由音频连接器46而与右耳机32、左耳机34和麦克风63连接。语音接口181按照处理器125的控制，将语音信号分别输出至右耳机32和左耳机34，使语音输出。语音接口181将从麦克风63输入的语音信号输出至处理器125。语音接口181也可以具有对模拟语音信号和数字语音数据进行转换的转换器。在该情况下，在语音接口181与处理器125之间输入输出数字语音数据。

HMD 100能够对立体声语音进行处理。具体而言，通过语音接口181，能够使右耳机32和左耳机34输出包含分别与使用者U的右耳和左耳对应的声道的2声道的立体声语音。

外部存储器接口191是能够连接可移动型存储器设备的接口，例如包含安装卡式记录介质而能够进行数据的读取的存储卡插槽和接口电路。

接口197将传感器集线器193及FPGA 194与显示部20连接。

传感器集线器193取得显示部20所具备的各种传感器的检测值，并输出至处理器125。FPGA 194执行在处理器125与显示部20的各部件之间收发的数据的处理以及经由了接口197的传输。

如上所述，显示部20是眼镜形状，右保持部21和左保持部23是与眼镜的镜腿类似的部件。右保持部21和左保持部23分别能够相对于前部框架27转动。例如，右保持部21和左保持部23分别通过铰链结构与前部框架27连结。在使用者U佩戴了显示部20的状态下，右保持部21和左保持部23以符合使用者U的头部的大小的角度打开。

通过连接缆线40和未图示的显示部20的内部的布线，在控制器10分别连接右显示单元22和左显示单元24。

右显示单元22具有发出图像光的OLED单元221。OLED单元221发出的图像光被包含镜头组等的光学系统引导至右导光板26。左显示单元24具有发出图像光的OLED单元241。OLED单元241发出的图像光被包含镜头组等的光学系统引导至左导光板28。OLED是OrganicLight Emitting Diode(有机发光二极管)的缩写。

OLED单元221、241具有OLED面板、对OLED面板进行驱动的驱动电路。OLED面板是通过有机电致发光而发光的自发光型显示面板。OLED面板例如将分别发出红、绿、蓝的色光的发光元件配置成矩阵状而构成。驱动电路按照处理器125的控制，执行OLED面板的发光元件的选择以及对发光元件的通电，使OLED面板的发光元件发光。由此，OLED单元221、241形成图像光，该图像光经由右导光板26和左导光板28入射到使用者U的右眼和左眼。

右显示单元22具有显示单元基板210。在显示单元基板210安装接口211、接收部213和EEPROM 215。接口211与接口197连接。接口211将接收部213、EEPROM215、外侧摄像头61、照度传感器65和LED指示器67与控制器10连接。接收部213经由接口211接收从控制器10输入的数据。在附图中，将接收部213简称作Rx。

EEPROM 215存储数据。EEPROM 215例如存储与OLED单元221、241的发光特性或显示特性有关的数据、与右显示单元22或左显示单元24所具备的传感器的特性有关的数据等。EEPROM 215存储的数据能够通过处理器125读取。EEPROM是Electrically ErasableProgrammable ROM(电可擦除可编程只读存储器)的缩写。

从外侧摄像头61向接口211输入表示拍摄图像数据或者外侧摄像头61的拍摄结果的信号。向接口211输入测量从距离传感器64到位于距离传感器64的检测范围的对象物的距离而得到的测量结果。从照度传感器65向接口211输入与受光量和/或受光强度对应的检测值。从热像仪66向接口211输入红外线图像的图像数据。

LED指示器67按照经由接口211而输入的信号，点亮和熄灭。内侧摄像头68执行拍摄，将表示拍摄图像数据或拍摄结果的信号输出至接口211。接收部213经由接口211接收由处理器125发送的数据。接收部213向OLED单元221输出经由接口211接收到的图像数据。

左显示单元24具有显示单元基板230。在显示单元基板230安装接口231和接收部233。在显示单元基板230安装6轴传感器235和磁传感器237。接口231将接收部233、6轴传感器235和磁传感器237与控制器10连接。接收部233经由接口231接收从控制器10输入的数据。

6轴传感器235是检测显示部20的运动的运动传感器的一例。6轴传感器235具有3轴加速度传感器和3轴陀螺仪传感器。6轴传感器235也可以是对上述的传感器进行模块化而得到的IMU。磁传感器237例如是3轴的地磁传感器。6轴传感器235和磁传感器237将检测值或检测数据输出至接口231。这些检测值或检测数据经由接口231输出至处理器125。

外侧摄像头61、距离传感器64、照度传感器65、热像仪66、内侧摄像头68、6轴传感器235和磁传感器237与控制器10的传感器集线器193连接。从传感器集线器193向这些各传感器输入控制信号。此外，LED指示器67与传感器集线器193连接。

传感器集线器193按照处理器125的控制，进行各传感器的采样周期的设定以及初始化。传感器集线器193配合各传感器的采样周期，执行对各传感器的通电、控制数据的发送、检测值的取得等。传感器集线器193在预先设定的定时，将各传感器的检测值输出至处理器125。传感器集线器193按照处理器125的控制，使对LED指示器67的通电开始和停止，配合外侧摄像头61开始和结束拍摄的时刻，使LED指示器67点亮或闪烁。

[2.HMD的控制部的结构]

图4是HMD 100的控制部120的功能框图。控制部120包含存储器118、非易失性存储部121和处理器125。控制部120也可以包含EEPROM 215。

非易失性存储部121存储控制程序151。控制程序151是处理器125所执行的程序。非易失性存储部121具有设定值存储部152、阈值存储部153、识别数据存储部154和损害数据库155。在以下的说明和附图中，将数据库简记作DB。设定值存储部152、阈值存储部153、识别数据存储部154和损害DB 155是设置在非易失性存储部121的存储区域中的逻辑或虚拟的存储部。

设定值存储部152存储HMD 100的动作所涉及的各种设定值。在处理器125控制HMD100时使用参数、矩阵式、运算式、LUT等的情况下，设定值存储部152对它们进行存储。LUT是LookUp Table(查找表)的缩写。

阈值存储部153存储在处理器125的处理中使用的阈值。例如，阈值存储部153存储后述的距离阈值、时间阈值、显示阈值和脱离时间阈值。例如，如之后参照图9所描述的那样，与损害信息的值对应地存储多个脱离时间阈值。阈值存储部153存储的阈值可以通过针对操作部170的操作来输入，也可以在HMD 100的制造步骤中写入到阈值存储部153。此外，也可以通过处理器125来执行控制程序151，动态地生成阈值，并存储到阈值存储部153。此外，阈值存储部153也可以存储由处理器125选择的多个阈值的候选。

识别数据存储部154存储用于供处理器125从外侧摄像头61的拍摄图像中识别对象物的数据。对象物包括能够移动的移动物、建筑物、固定于道路的设备、道路的路面、地面本身的形状。移动物例如包括电车、汽车、摩托车等移动体。此外，移动物是家具、家电产品、工具、日用品，包括其他移动物，并包括动物、除了使用者U以外的人。设备包括墙壁、扶手、以及安装于这些的货架、装饰品等设置物。道路的路面、地面本身的形状包括台阶、斜坡、排水槽、排水口、检修孔等人工构造物。此外，道路的路面、地面本身的形状也可以包括路面的凹凸、积水、裂缝、凹陷等自然产生的形状。

如后所述，处理器125进行从外侧摄像头61的拍摄图像剪切对象物的图像的处理。在该处理中，处理器125执行通过图案匹配来检测对象物的图像的处理、利用图像分析的算法来检测对象物的处理、通过SLAM处理来检测拍摄图像中包含的对象物的处理等。这些处理所需的数据存储到识别数据存储部154。

损害DB 155是包含与因处理器125识别的对象物引起的损害有关的损害信息的数据库。因对象物引起的损害是指使用者U有可能因对象物而受到的损害。这可以替换为因对象物引起的使用者U的损害。

使用者U有可能因对象物而受到的损害是指，在使用者U与对象物接触或相遇的情况下，在使用者U的身体产生的受伤等损害。例如，可举出使用者U的坠落/滚落、使用者U的跌倒、使用者U对对象物的激烈碰撞、对象物的飞来/落下、对象物的损坏/倒塌、对象物对使用者U的激烈碰撞。除此以外，可举出使用者U的身体被对象物夹住、使用者U的身体被对象物切断、使用者U落水、使用者U与高温或低温的对象物的接触、因放射线引起的辐射、因有害光线引起的损害、气体中毒、缺氧症、触电、交通事故等。

损害DB 155与对象物的种类、名称建立关联地存储损害信息，该损害信息表示使用者U有可能因对象物而受到的损害的程度。例如，损害DB 155存储的损害信息是将使用者U有可能因对象物而受到的损害的发生概率和使用者U有可能因对象物而受到的损害的严重度综合起来的指标。损害信息也可以是数值。具体而言，损害信息也可以是对损害的程度进行数值化而得到的指标。损害信息还可以是阶段性地表示损害的程度的数值。在该情况下，损害信息也可以替换为损害等级。

损害的发生概率按照对象物的种类与损害的种类的每个组合，根据统计指标来确定。损害的严重度是在产生了上述损害的情况下使用者U受到的伤害的严重度。严重度例如根据使用者U的身体可能产生的受伤的大小、治疗期间的指标、后遗症的有无等而预先决定。在1个对象物可能与多种损害有关的情况下，损害DB 155存储考虑了与对象物有关的全部损害的发生概率和严重度的损害信息。损害DB 155存储的损害信息与第1信息和第2信息的一例对应。即，与距离检测部173检测到的第1对象物对应的损害信息与第1信息的一例对应，与第2对象物对应的损害信息与第2信息的一例对应。

控制部120具有基本控制部171、显示控制部172、距离检测部173、温度检测部174、时间计算部175、视线检测部176、判定部177、动作检测部178和输入检测部179。这些各功能部通过由处理器125执行控制程序151，利用软件和硬件的协作来构成。

基本控制部171执行对HMD 100的各部件进行控制的基本功能。基本控制部171在HMD 100的电源接通时执行启动处理，对HMD 100的各部件进行初始化。基本控制部171在断开控制器10的电源的情况下，执行关机处理，使HMD 100停止。

显示控制部172对显示部20进行控制，以令使用者U看到的方式显示包含图像、字符的各种画面。

距离检测部173根据外侧摄像头61的拍摄图像和距离传感器64的检测结果中的至少任意一方，检测位于使用者U的周围的对象物。距离检测部173检测检测到的对象物与使用者U之间的距离。此外，距离检测部173例如也可以执行SLAM处理，生成使用者U的周边的对象物的环境地图，确定环境地图中的使用者U的自身位置。距离检测部173检测的对象物中的任意一个与第1对象物的一例对应，除了第1对象物以外的任意对象物与第2对象物的一例对应。

温度检测部174根据热像仪66所拍摄的红外线图像，检测距离检测部173所检测的对象物的温度。温度检测部174利用距离检测部173检测对象物而得到的检测结果和距离检测部173在对象物的检测中使用的外侧摄像头61的拍摄图像中的至少任意一个来确定红外线图像中的对象物的位置。温度检测部174将确定出的位置的温度设为对象物的温度。在距离检测部173检测到多个对象物的情况下，温度检测部174针对由距离检测部173检测到的多个对象物分别检测温度。

时间计算部175针对距离检测部173检测到的对象物，计算到对象物与使用者U接触为止的时间。详细而言，时间计算部175求得距离检测部173检测到的对象物与使用者U之间的距离的变化，根据所求出的变化来计算对象物与使用者U的相对速度。时间计算部175根据对象物与使用者U的相对速度以及对象物与使用者U之间的距离，计算到对象物与使用者U之间的距离为零为止的时间。在此，距离检测部173实际上检测对象物与外侧摄像头61之间的距离，作为对象物与使用者U之间的距离。该距离是对象物与显示部20之间的距离，但实际上能够看作对象物与使用者U之间的距离。因此，以下，将距离检测部173检测的距离看作对象物与使用者U之间的距离进行说明。

对象物与使用者U之间的距离为零是指对象物的位置与使用者U的位置重叠或者对象物的位置与使用者U的位置非常接近。时间计算部175在计算到对象物与使用者U之间的距离为零为止的时间的处理中，不区分是对象物移动、还是使用者U移动。即，到对象物与使用者U之间的距离为零为止的时间与是对象物移动、还是使用者U移动无关，根据对象物与使用者U的相对速度来计算。

到对象物与使用者U之间的距离为零为止的时间表示到使用者U的身体或衣服与对象物接触或相遇为止的时间。例如，在对象物为移动体的情况下，当对象物与使用者U之间的距离为零时，对象物与使用者U接触。在对象物为不移动的设备的情况下，对象物与使用者U之间的距离为零是指使用者U与对象物接触。在对象物为地面的凹凸的情况下，对象物与使用者U之间的距离为零是指使用者到达对象物的位置。

在距离检测部173检测到多个对象物的情况下，时间计算部175针对多个对象物分别计算到对象物与使用者U之间的距离为零为止的时间。具体而言，时间计算部175分别计算距离检测部173检测到的第1对象物到达使用者U所花费的第1时间和距离检测部173检测到的第2对象物到达使用者U所花费的第2时间。

视线检测部176通过取得内侧摄像头68的拍摄图像并进行分析，检测使用者U的视线的方向。

图5是示出检测使用者的视线方向的情形的示意图。

在图5中，标号OB表示对象物，标号RE表示使用者U的右眼，标号RD表示右眼RE的视线方向。标号LE表示使用者U的左眼，标号LD表示左眼LE的视线方向。

视线检测部176检测使用者U的视线的方向。详细而言，视线检测部176通过对内侧摄像头68拍摄右眼RE而得到的拍摄图像进行分析，检测视线方向RD。同样，视线检测部176通过对内侧摄像头68拍摄左眼LE而得到的拍摄图像进行分析，检测视线方向LD。视线方向RD与视线方向LD交叉的位置VP相当于使用者U注视的位置。将该位置称作注视位置VP。换言之，视线方向RD是从使用者U的右眼RE朝向注视位置VP的方向，视线方向LD是从使用者U的右眼LEE朝向注视位置VP的方向。视线检测部176检测从显示部20的基准位置朝向注视位置VP的方向VD，作为视线方向VD。基准位置是作为显示部20的位置的基准而预先确定的位置，例如是前部框架27的左右方向上的中心或一对内侧摄像头68的中央的位置。视线方向VD表示将视线方向RD和视线方向LD综合起来的、使用者U的基于双眼的视线的方向。换言之，视线方向VD是从显示部20的中心朝向注视位置VP的方向。

当使用者U注视对象物OB时，使用者U的视线方向RD和视线方向LD在对象物OB的位置处交叉。即，注视位置VP位于与对象物OB重叠的范围。换言之，在注视位置VP为与对象物OB重叠的位置的情况下，可以称作使用者U正在注视对象物OB。

视线检测部176也可以检测从使用者U的右眼RE和左眼LE到注视位置VP的距离D2。在该情况下，通过对距离检测部173检测的到对象物OB的距离与视线检测部176检测的距离D2进行比较，能够更加准确地判定注视位置VP是否为与对象物OB重叠的位置。在此，如附图中标号D1所示，距离检测部173检测的距离是从作为外侧摄像头61的设置位置处的显示部20到对象物OB的距离。因此，即使在注视位置VP与对象物OB一致的情况下，如图5所示，在距离D1与距离D2之间存在差。但是，该差与使用者U的身体的大小等相比小，因此，通过单独地对距离D1与距离D2进行比较，能够进行准确的判定。

判定部177计算距离检测部173检测到的对象物的危险度。危险度是根据损害DB155中存储的损害信息和距离检测部173检测到的到对象物的距离来决定的。危险度是表示对象物相对于使用者U潜在地具有的危险的程度的指标。

例如，判定部177通过将损害信息的数值乘以距离检测部173检测到的距离来计算危险度。判定部177也可以对距离检测部173检测到的距离阶段性地进行数值化。在该情况下，如上所述，损害信息能够设为将损害的大小阶段性地进行数值化而得到的值，因此，通过将损害信息的值与对距离阶段性地进行数值化而得到的值相乘，能够容易地计算危险度。

判定部177通过校正对象物的危险度，判定对象物的注意等级。详细而言，判定部177根据注视位置VP是否与对象物的位置重叠而校正对象物的危险度，由此判定注意等级。注视位置VP与对象物的位置重叠的情况也就是说使用者U的视线方向VD是与对象物的位置对应的方向。

注意等级是用于判定使用者U是否应注意对象物的指标。在本实施方式中，注意等级是被阶段性地数值化后的值。在此，在对象物的危险度是被阶段性地数值化后的值的情况下，也可以将危险度直接设为注意等级。

例如，在注视位置VP与对象物的位置重叠的情况下，判定部177将对象物的危险度校正为较低的值，将校正后的危险度设为注意等级。在注视位置VP不与对象物的位置重叠的情况下，判定部177例如将对象物的危险度直接设为注意等级。

此外，在距离检测部173检测到多个对象物的情况下，判定部177针对由距离检测部173检测到的多个对象物分别计算危险度。具体而言，判定部177计算距离检测部173检测到的第1对象物的危险度，并校正危险度，由此判定第1对象物的注意等级。此外，判定部177计算距离检测部173检测到的第2对象物的危险度，并校正危险度，由此判定第2对象物的注意等级。判定部177将多个对象物中的、与注视位置VP重叠的对象物设为作为注视对象的对象物。判定部177将作为注视对象的对象物的危险度校正为比不是注视对象的对象物的危险度低的值，将校正后的危险度设为注意等级。此外，例如，判定部177将不是注视对象的对象物的注意等级设为与对象物的危险度相同的值。例如，在注视位置VP为与第1对象物重叠的位置的情况下，判定部177将第2对象物的危险度设为第2对象物的注意等级，将第1对象物的注意等级校正为比第2对象物的注意等级低。

判定部177根据时间计算部175针对对象物计算出的时间，校正注意等级。例如，在时间计算部175计算出的第1时间比第2时间短并且第1对象物的损害信息为比第2对象物的损害信息高的值的情况下，判定部177也可以将第1对象物的注意等级校正为比第2对象物的注意等级高。

判定部177也可以根据温度检测部174检测到的对象物的温度，计算对象物的危险度。例如，在温度检测部174检测到的对象物的温度比基于对使用者U带来损害的可能性而决定出的基准温度高的情况下或比该基准温度低的情况下，判定部177也可以将损害信息的值相加，计算危险度。基于对使用者U带来损害的可能性而决定出的基准温度能够设为使用者U与对象物接触而有可能受到烫伤的温度、使用者U与对象物接触而受有可能到冻伤的温度，也可以包含高温侧的基准温度和低温侧的基准温度。

动作检测部178检测使用者U的身体的动作。动作检测部178利用外侧摄像头61的拍摄图像来检测使用者U的动作。例如，动作检测部178检测不与显示部20的移动一致的使用者U的身体的一部分的移动。在此，使用者U的身体的一部分例如是手臂、手、手指、腿脚。动作检测部178不限于外侧摄像头61的拍摄图像，也可以利用6轴传感器111的检测结果和6轴传感器235的检测结果中的任意1个以上来检测使用者U的身体的动作。动作检测部178也可以检测使用者U的身体整体的动作。

时间计算部175还能够根据动作检测部178检测到的使用者U的动作，计算到对象物与使用者U之间的距离为零为止的时间。如上所述，时间计算部175根据对象物与使用者U的相对速度以及对象物与使用者U之间的距离，计算时间。在该处理中，时间计算部175将动作检测部178检测到的使用者U的动作与显示部20的移动相加，求得对象物与使用者U的相对速度。由此，能够更加准确地计算到对象物与使用者U之间的距离为零为止的时间。此外，例如，在动作检测部178检测到的动作为接近对象物的动作的情况下，时间计算部175也可以将动作检测部178检测到的动作与显示部20的移动相加，求得对象物与使用者U的相对速度。

输入检测部179受理使用者U针对操作部170的操作。输入检测部179也可以根据外侧摄像头61的拍摄图像、6轴传感器111和6轴传感器235的检测结果，检测基于使用者U的手势的输入。

图6是示出基于HMD 100的显示例的图。

在由判定部177判定出的注意等级比预先设定的显示基准高的情况下，显示控制部172对使用者U进行促使注意对象物的通知。作为通知的方法，可举出从右耳机32及左耳机34输出语音的方法、使未图示的振动器动作的方法。在本实施方式中，采用通过显示部20将促使使用者U注意的图像显示于与作为促使注意的对象的对象物对应的显示位置的方法。

标号VA是由显示部20显示的图像、使用者U透过显示部20看到外景的范围。换言之，使用者U透过显示部20看到外景的情况下的视野相当于范围VA。

在本实施方式中，示出使用者U看到右导光板26和左导光板28所显示的图像的范围与使用者U透过显示部20看到外景的范围一致的例子。这仅是一例，例如，右导光板26和左导光板28所显示的图像也可以比使用者U透过显示部20看到外景的范围小。在该情况下，右导光板26和左导光板28所显示的图像也与使用者U透过右导光板26和左导光板28看到的外景重叠。

图6示出使用者U位于建筑物的内部并在真实空间中存在多个对象物90A、90B的例子。以下，在不区分对象物90A、90B的情况下，记作对象物90。关于后述的注意图像301，也同样如此。

对象物90A是楼梯，对象物90B是自走式的机器人吸尘器。对象物90A有可能产生使用者U滚落或碰撞的危险。对象物90B有可能产生使用者U碰撞的危险、使用者U因碰撞而跌倒的危险。

注意图像301A是促使使用者U注意对象物90A的图像。注意图像301A显示于与在范围VA中看到对象物90A的位置重叠的显示位置或者看到对象物90A的位置的附近的显示位置。将该位置称作与对象物90A对应的显示位置。注意图像301B是促使使用者U注意对象物90B的图像，显示于在范围VA中与对象物90B对应的显示位置。注意图像301A和注意图像301B可以是相同的图像，也可以是不同的图像。在对象物90A与第1对象物对应的情况下，注意图像301A与第1图像的一例对应。同样，在对象物90B与第2对象物对应的情况下，注意图像301B与第2图像的一例对应。

此外，显示控制部172也可以显示关于在范围VA中未被看到的对象物的注意图像301。图6所示的注意图像301C是促使使用者U注意存在于范围VA的左方、使用者U能够透过右导光板26和左导光板28看到的范围外的对象物的图像。为了表示在范围VA的左方存在对象物，注意图像301C包含向左的箭头。

显示控制部172针对距离检测部173检测到的多个对象物中的、判定部177判定出的注意等级为最高等级的1个对象物，显示注意图像301。在图6中示出3个注意图像301A、301B、301C，但在本实施方式中，同时由显示部20显示的注意图像301为1个。在该情况下，具有如下优点：注意图像301不会妨碍使用者U的视野，不会使使用者U的注意分散，能够有效地促使注意。

注意图像301A、301B、301C也可以由显示控制部172根据预先存储于非易失性存储部121中的图像数据来显示。此外，显示控制部172也可以进行生成用于显示注意图像301A、301B、301C的图像数据的处理。

[3.显示系统的动作]

图7、图8和图9是示出HMD 100的动作的流程图。这些各附图中示出与注意图像301的显示有关的控制部120的动作。

在步骤S11中，距离检测部173通过取得外侧摄像头61的拍摄图像并进行分析，检测拍摄图像中拍摄到的对象物。接着，在步骤S12中，距离检测部173检测显示部20与步骤S11中检测到的对象物之间的距离。

接下来，在步骤S13中，判定部177针对距离检测部173检测到的对象物，计算危险度。在距离检测部173检测到多个对象物的情况下，判定部177针对多个对象物分别计算危险度。

在步骤S14中，判定部177选择设为处理对象的对象物。在步骤S15中，视线检测部176检测使用者U的视线方向VD。在步骤S16中，判定部177确定视线方向VD与对象物的位置的关系。例如，在步骤S16中，判定部177确定视线方向VD是否是与步骤S14中选择出的处理对象的对象物的位置对应的方向。

在步骤S17中，判定部177根据步骤S16中确定出的结果，判定使用者U是否正在注视处理对象的对象物。在判定为使用者U没有正在注视处理对象的对象物的情况下(步骤S17；否)，判定部177转移到后述的步骤S22。在判定为使用者U正在注视处理对象的对象物的情况下，判定部177转移到步骤S18。

在步骤S18中，判定部177将处理对象的对象物设定为注视中的对象物。接着，在步骤S19中，判定部177取得使用者U注视处理对象的对象物的状态所持续的时间。将该时间称作注视时间。注视时间例如通过对视线检测部176检测到的视线方向VD的历史进行分析来取得。

在步骤S20中，判定部177判定注视时间是否比时间阈值长。在判定为注视时间为时间阈值以下的情况下(步骤S20；否)，判定部177转移到步骤S22。在判定为注视时间比时间阈值长的情况下(步骤S20；是)，判定部177转移到步骤S21。

在步骤S21中，判定部177将处理对象的对象物的危险度校正为更低的值，根据校正后的危险度判定注意等级。例如，判定部177将处理对象的对象物的危险度校正为低规定等级。此外，例如，判定部177也可以将处理对象的对象物的危险度校正为比其他对象物的危险度低。此外，例如，在步骤S21中，判定部177进行处理，以使处理对象的对象物的注意等级比视线方向是不与处理对象的对象物对应的方向的情况下的该对象物的注意等级低。然后，判定部177转移到步骤S23。

在步骤S22中，判定部177根据处理对象的对象物的危险度，判定注意等级，转移到步骤S23。

在步骤S23中，显示控制部172判定处理对象的对象物的注意等级是否比显示阈值高。在判定为处理对象的对象物的注意等级为显示阈值以下的情况下(步骤S23；否)，控制部120结束本处理。在判定为处理对象的对象物的注意等级比显示阈值高的情况下(步骤S23；是)，显示控制部172转移到步骤S24。

在步骤S24中，显示控制部172判定是否正在显示与其他对象物有关的注意图像301。即，判定是否正在显示关于不是处理对象的对象物的对象物的注意图像301。在判定为没有正在显示与其他对象物有关的注意图像301的情况下(步骤S24；否)，显示控制部172转移到步骤S26。在判定为与正在显示与其他对象物有关的注意图像301的情况下(步骤S24；是)，显示控制部172转移到步骤S25。

在步骤S25中，显示控制部172使关于显示中的注意图像301、即不是处理对象的对象物的对象物的注意图像301的显示停止，转移到步骤S26。在步骤S26中，显示控制部172使显示部20显示促使关于处理对象的对象物的注意的注意图像301，结束本处理。

控制部120在结束了图7所示的处理的情况下，也可以返回步骤S14，新选择其他对象物作为处理对象的对象物，继续进行处理。

此外，控制部120在HMD 100的动作中，按照规定周期反复执行图7所示的处理。由此，针对使用者U的附近的对象物，注意等级被定期地更新。每当注意等级被更新时，根据需要显示注意图像301，或者使注意图像301的显示停止。

图8示出正在显示注意图像301的期间内由控制部120执行的动作。

在步骤S41中，显示控制部172确定显示有注意图像301的对象物。在步骤S42中，距离检测部173检测步骤S41中确定出的对象物与显示部20的距离。在步骤S43中，显示控制部172判定步骤S42中检测到的距离是否比距离阈值大。在检测到的距离为距离阈值以下的情况下(步骤S43；否)，显示控制部172结束本处理。在检测到的距离比距离阈值大的情况下(步骤S43；是)，显示控制部172转移到步骤S44。在步骤S44中，显示控制部172使显示中的注意图像301的显示停止，结束本处理。

控制部120在注意图像301的显示中，按照规定周期反复执行图8所示的处理。由此，当对象物远离使用者U时，能够迅速地将不需要的注意图像301设为非显示。

图9示出关于针对步骤S18中被设定为注视中的对象物，由控制部120按照规定周期的对象物执行的动作。

在步骤S61中，判定部177确定被设定为注视中的对象物的对象物。注视中的对象物是位于与使用者U的视线方向VD重叠的位置的对象物，基本上为1个。在具有多个注视中的对象物的情况下，在步骤S61中，判定部177选择任意1个对象物。

在步骤S62中，视线检测部176检测视线方向VD。在步骤S63中，判定部177判定视线方向VD是否从步骤S61中确定出的对象物脱离。在步骤S62中，详细而言，判定部177根据步骤S62中检测到的视线方向VD是否位于与步骤S61中确定出的对象物的位置重叠的方向，判定视线方向VD是否从对象物脱离。换言之，判定部177判定视线方向VD是否为与对象物对应的方向。

在判定为视线方向VD未从对象物脱离的情况下(步骤S63；否)，判定部177结束本处理。在判定为视线方向VD从对象物脱离的情况下(步骤S63；否)，判定部177转移到步骤S64。

在步骤S64中，判定部177取得视线方向VD从对象物脱离的时间。将该时间称作视线脱离时间。视线脱离时间例如是通过对视线检测部176检测到的视线方向VD的历史进行分析来取得的。

接着，在步骤S65中，判定部177取得步骤S61中确定出的对象物的损害信息。接下来，在步骤S66中，判定部177取得与损害信息的值对应的脱离时间阈值。本实施方式的损害信息如上述这样被数值化。阈值存储部153存储分别与多个损害信息的值对应的多个脱离时间阈值。

在步骤S67中，判定部177判定视线脱离时间是否比脱离时间阈值长。在判定为视线脱离时间为脱离时间阈值以下的情况下(步骤S67；否)，判定部177结束本处理。

在判定为视线脱离时间比脱离时间阈值长的情况下(步骤S67；是)，判定部177转移到步骤S68。在步骤S68中，判定部177针对步骤S61中确定出的对象物，解除注视中的对象物的设定。

接着，在步骤S69中，判定部177将步骤S61中确定出的对象物的注意等级校正为比其他对象物的注意等级高。在步骤S70中，显示控制部172判定步骤S69中校正后的注意等级是否比显示阈值高。显示控制部172在判定为注意等级为显示阈值以下的情况下(步骤S70；否)，结束本处理。显示控制部172在判定为注意等级比显示阈值高的情况下(步骤S70；是)，转移到步骤S71。

在步骤S71中，显示控制部172使与其他对象物有关的注意图像301的显示停止。即，将针对除了处理中的对象物以外的对象物而显示的注意图像301设为非显示。在步骤S72中，显示控制部172使显示部20显示促使与处理中的对象物有关的注意的注意图像301，结束本处理。

图10是示出显示部20的显示的转变的例子的说明图，示意性示出注意图像301的显示因图7、图8和图9所示的动作而转变的状态。

图10示出由距离检测部173检测到2个对象物的例子。将该2个对象物设为对象物1和对象物2。此外，由阶段性地数值化后的值表示显示部20与对象物的距离。如图10所示，在以下的例子中，显示阈值被设定为注意等级3，距离阈值被设定为距离10，时间阈值被设定为注视时间5秒。

状态ST1是使用者U未注视对象物1、2中的任意一个的状态。对象物1的注意等级是比对象物2的注意等级高的值。并且，对象物1的注意等级比显示阈值高。因此，针对对象物1，显示注意图像301。

当在状态ST1下，使用者U注视对象物1时，控制部120转移到状态ST2。在状态ST2下，对象物1被设定为注视中的对象物，因此，对象物1的注意等级被校正为比对象物2低。其结果，对象物2的注意等级成为比对象物1的注意等级高的状态。对象物2的注意等级比显示阈值高。因此，在状态ST2下，针对对象物2，显示注意图像301。

当在状态ST2下，使用者U的视线方向VD从对象物1脱离时，控制部120转移到状态ST1。在该情况下，通过解除关于对象物1的注视中的对象物的设定，不进行降低对象物1的注意等级的校正，因此，对象物1的注意等级是比对象物2的注意等级高的值。因此，针对对象物1，显示注意图像301。

当在状态ST1下，使用者U移动时，对象物1与使用者U的距离、以及使用者U与对象物2的距离发生变化。将变化后的状态表示为状态ST3。在状态ST3下，对象物1与使用者U的距离、以及使用者U与对象物2的距离均比状态ST1长。因此，对象物1的注意等级以及对象物2的注意等级均比状态ST1低。在使用者U移动之后或移动中，控制部120重新执行图7的动作，由此更新对象物1的注意等级和对象物2的注意等级，成为状态ST3。

在状态ST3下，对象物1的注意等级是比对象物2的注意等级高的值。并且，对象物1的注意等级比显示阈值高。因此，针对对象物1，显示注意图像301。

当在状态ST3下，使用者U进一步移动时，对象物1与使用者U的距离、以及使用者U与对象物2的距离发生变化。将变化后的状态表示为状态ST4。在状态ST4下，对象物1与使用者U的距离、以及使用者U与对象物2的距离均比状态ST3长。因此，对象物1的注意等级以及对象物2的注意等级均比状态ST3低。在使用者U移动之后或移动中，控制部120重新执行图7的动作，由此更新对象物1的注意等级和对象物2的注意等级，成为状态ST4。

在状态ST4下，对象物1的注意等级是比对象物2的注意等级高的值。但是，对象物1的注意等级比显示阈值低。因此，显示部20将注意图像301设为非显示。

[4.实施方式的作用]

如以上所说明的那样，应用了本发明的实施方式的HMD 100具有：显示部20，其使包含第1对象物和第2对象物的外景透过；以及视线检测部176，其检测使用者U的视线方向VD。HMD 100具有时间计算部175，该时间计算部175计算第1对象物到达使用者U所花费的第1时间和第2对象物到达使用者U所花费的第2时间。HMD 100具有判定部177。判定部177取得与第1对象物有关的第1信息和与第2对象物有关的第2信息，根据第1信息和第1时间计算第1对象物的危险度。判定部177根据视线方向VD校正第1对象物的危险度，并根据校正后的第1对象物的危险度判定第1对象物的注意等级。判定部177根据第2信息和第2时间计算第2对象物的危险度，根据视线方向VD校正第2对象物的危险度，并根据校正后的第2对象物的危险度判定第2对象物的注意等级。HMD 100具有显示控制部172，在第1对象物的注意等级比第2对象物的注意等级高的情况下，该显示控制部172使显示部20显示与第1对象物有关的第1图像。

HMD 100的控制方法是具有使包含第1对象物和第2对象物的外景透过的显示部20和检测使用者U的视线方向VD的视线检测部176的HMD 100的控制方法。该控制方法通过控制部120，取得与第1对象物有关的第1信息和与第2对象物有关的第2信息。此外，通过控制部120，计算第1对象物到达使用者U所花费的第1时间和第2对象物到达使用者U所花费的第2时间。此外，通过控制部120，根据第1信息和第1时间计算第1对象物的危险度。此外，通过控制部120，根据视线方向VD校正第1对象物的危险度，并根据校正后的第1对象物的危险度判定第1对象物的注意等级。此外，通过控制部120，根据第2信息和第2时间计算第2对象物的危险度，根据视线方向VD校正第2对象物的危险度，并根据校正后的第2对象物的危险度判定第2对象物的注意等级。此外，在第1对象物的注意等级比第2对象物的注意等级高的情况下，使显示部20显示与第1对象物有关的第1图像。

根据HMD 100和HMD 100的控制方法，关于存在于使用者U的周围的对象物，能够考虑视线方向VD而准确地判定作为表示使用者U是否应该加以注意的指标的注意等级。然后，通过根据注意等级显示注意图像301，HMD 100能够适当地促使使用者U注意实际空间的物体等给使用者带来危险的可能性。

在第2对象物的注意等级比第1对象物的注意等级高的情况下，显示控制部172使显示部20显示与第2对象物有关的第2图像。由此，当在使用者U的周围存在多个对象物的情况下，关于注意等级较高的对象物，能够显示注意图像301。因此，能够更加适当地促使使用者U注意关于实际空间的物体等给使用者带来危险的可能性。

在第2对象物的所述注意等级比第1对象物的所述注意等级高的情况下，显示控制部172使显示部20对第1图像的显示停止。由此，当在使用者U的周围存在多个对象物的情况下，关于注意等级较低的对象物，不显示注意图像301，因此能够更适当地促使使用者U注意。

HMD 100具有距离检测部173，该距离检测部173检测从使用者U的位置到第1对象物的距离。在从使用者U的位置到第1对象物的距离比第1阈值大的情况下，显示控制部172使显示部20对第1图像的显示停止。在该情况下，关于由于远离使用者U的位置因此使用者U加以注意的必要性较小的对象物，能够将注意图像301设为非显示。因此，能够避免注意图像301的不需要的显示，关于HMD 100的利用，能够实现使用者U的便利性的提高。

判定部177使视线方向VD为与第1对象物的位置对应的方向的情况下的第1对象物的注意等级比视线方向VD为不与第1对象物的位置对应的方向的情况下的第1对象物的注意等级低。由此，针对使用者U看向的对象物显示注意图像301的频度降低。因此，能够避免注意图像301的不需要的显示，关于HMD 100的利用，能够实现使用者U的便利性的提高。并且，在使用者U看向的对象物的注意等级在校正后也比显示阈值高的情况下，显示注意图像301。因此，能够与使用者U应该注意对象物的必要性和使用者U的视线方向VD这两者对应地适当显示注意图像301。

判定部177取得视线方向VD为与第1对象物的位置对应的方向的状态下的注视时间，在注视时间超过时间阈值的情况下，使第1对象物的注意等级比第2对象物的注意等级低。由此，关于使用者U在超过时间阈值的时间内所注视的对象物，将注意图像301设为非显示，因此，能够避免注意图像301的不需要的显示，关于HMD 100的利用，能够实现使用者U的便利性的提高。此外，能够防止注意图像301妨碍使用者U注视对象物。

在视线方向VD为不与第1对象物的位置对应的方向的情况下，判定部177使第1对象物的注意等级比第2对象物的注意等级高。由此，能够与使用者U的视线方向VD对应地适当促使使用者U注意实际空间的物体等给使用者带来危险的可能性。

在视线方向VD从与第1对象物的位置对应的方向变更为不与第1对象物的位置对应的方向的情况下，显示控制部172根据与第1对象物对应的损害信息，使显示部20重新显示与第1对象物有关的第1图像。由此，在与使用者U的视线方向VD朝向对象物的方向对应地将注意图像301设为非显示之后，根据需要重新显示注意图像301，能够促使使用者U注意。此外，通过根据因第1对象物产生的使用者U的损害的大小进行重新显示，能够避免不需要的注意图像301的显示。

第1信息是与因第1对象物产生的使用者U的损害有关的信息，第2信息是与因第2对象物产生的使用者U的损害有关的信息。例如，第1信息是第1对象物的损害信息的值，第2信息是第2对象物的损害信息的值。由此，能够将使用者U有可能从对象物受到的损害的大小反映到注意等级的判定中。因此，通过更准确地评价实际空间的物体等给使用者带来危险的可能性，能够适当地促使使用者U注意。

在第1时间比第2时间短并且因第1对象物产生的使用者U的损害比因第2对象物产生的使用者U的损害大的情况下，判定部177也可以将第1对象物的注意等级校正为比第2对象物的注意等级高。在该情况下，能够针对有可能先到达使用者U的位置而产生更大的损害的对象物，显示注意图像301。

HMD 100具有温度检测部174，该温度检测部174检测第1对象物的温度和第2对象物的温度。判定部177也可以根据第1信息、第1时间和第1对象物的温度，计算第1对象物的危险度，并根据第2信息、第2时间和第2对象物的温度，计算第2对象物的危险度。在该情况下，判定部177能够将使用者U有可能因对象物的温度而受到的损害反映到注意等级的判定中。因此，通过更准确地评价实际空间的物体等给使用者带来危险的可能性，能够适当地促使使用者U注意。

HMD 100具有动作检测部178，该动作检测部178检测使用者U的动作。在检测到使用者U接近第1对象物的动作的情况下，时间计算部175根据使用者U的动作，计算第1时间。在检测到使用者U接近第2对象物的动作的情况下，时间计算部175根据使用者U的动作，计算第2时间。由此，除了HMD 100与对象物的相对速度之外，还反映使用者U的动作，能够更准确地计算第1时间和第2时间。因此，能够适当地促使使用者U注意实际空间的物体等给使用者带来危险的可能性。

HMD 100具有外侧摄像头61，该外侧摄像头61拍摄外景中包含的第1对象物和第2对象物。距离检测部173根据外侧摄像头61的拍摄图像，检测对象物。

[5.其他实施方式]

本发明不限于上述实施方式的结构，能够在不脱离其宗旨的范围内以各种方式来实施。

例如，控制部120也可以反映使用者U的身体中的显示部20的位置，进行使用者U与对象物之间的距离的检测、到对象物到达使用者U为止的时间的计算。此外，例如，控制部120也可以利用6轴传感器235和/或磁传感器237的检测结果来检测视线方向VD。

对显示部20的显示图像和/或从右耳机32及左耳机34输出的语音进行处理的装置不限于控制器10。HMD 100也可以利用外部的计算机，替代控制器10。即，也可以将图4所示的处理器125所构成的各功能部设为与显示部20连接的计算机所具备的结构，将非易失性存储部121所存储的各种数值、信息设为与显示部20连接的计算机所存储的结构。在该情况下，过上述计算机来执行图7、图8和图9所示的处理通。HMD 100向计算机发送显示部20所具备的各种传感器、控制器10所具备的各种传感器的检测数据，根据从计算机输入的显示数据进行显示即可。这种计算机例如可以是智能手机、PDA终端、平板型个人计算机。

此外，在上述实施方式中，例示了控制器10与显部20以有线的方式连接的结构，但不限定于此，也可以是显示部20与控制器10以无线的方式连接的结构。此外，也可以利用多个装置来实现控制器10。此外，也可以使用能够安装于使用者的身体、服装或使用者随身佩戴的饰品的可佩戴设备，替代控制器10。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光指示器、鼠标、虚拟飞行鼠标、游戏控制器、笔型设备等。

此外，在上述实施方式中，以显示部20和控制器10分离并经由连接缆线40而连接的结构为例进行了说明。不限于此，还可以设为一体地构成控制器10和显示部20并佩戴于使用者的头部的结构。

此外，显示部20不限于直接佩戴于使用者U的头部。例如，也可以采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部，替代显示部20。

将图像光引导至使用者的眼睛的光学系统只要是通过右导光板26和左导光板28使图像光入射到使用者的眼睛的结构即可，可以采用各种结构。例如，可举出在右导光板26和左导光板28的一部分设置半反射镜并通过半反射镜将由右导光板26和左导光板28生成的图像光反射到使用者U的右眼RE和左眼LE的结构。此外，也可以设为将图像显示于具有占据右导光板26和左导光板28的整个面或大部分面积的显示区域的结构。在该情况下，在使图像的显示位置发生变化的动作中，也可以包含将图像缩小的处理。此外，也可以使用衍射光栅、棱镜、全息显示部，作为右导光板26和左导光板28。

此外，在上述各实施方式中，说明了显示部20通过OLED单元221、241生成图像光的结构，但本发明不限于此。例如，右显示单元22和左显示单元24可以使用透射型液晶面板，也可以使用反射型液晶面板替代透射型液晶面板，还可以使用数字微镜器件。此外，也可以使用应用了LCOS技术的结构，替代LCD面板。LCOS是Liquid crystal on silicon(硅基液晶)的缩写。

此外，显示部20也可以是利用了LED阵列、激光器阵列、量子点发光型元件等所代表的自发光型显示元件的结构。此外，显示部20例如也可以是组合了激光光源和激光扫描仪的激光扫描方式的显示器。

此外，图3、图4等所示的功能块中的至少一部分功能块可以通过硬件实现，也可以是通过硬件与软件的协作实现的结构，不限定于如图所示那样配置独立的硬件资源的结构。

此外，图7、图8和图9所示的流程图的处理单位是为了使第1控制部120的处理容易理解而根据主要处理内容进行分割而得到的。实施方式不被各流程图的处理单位的分割方法、名称限制。此外，上述流程图的处理顺序也不限于图示的例子。

此外，处理器125所执行的程序也可以存储到外部的装置、设备，并经由通信部117等而取得。此外，还能够预先记录在以计算机可读取的方式所记录的记录介质中。可以使用磁、光学记录介质或半导体存储器器件，作为记录介质。具体而言，可举出软盘、各种光盘、光磁盘、闪存、卡式记录介质等可移动型或者固定式的记录介质。此外，记录介质也可以是作为图像显示装置所具备的内部存储装置的RAM、ROM、HDD等非易失性存储装置。

Claims (13)

1.一种头部佩戴型显示装置，其具有：

显示部，其使包含第1对象物和第2对象物的外景透过；

视线检测部，其检测使用者的视线方向；

时间计算部，其计算所述第1对象物到达所述使用者所花费的第1时间和所述第2对象物到达所述使用者所花费的第2时间；以及

判定部，其取得与所述第1对象物有关的第1信息和与所述第2对象物有关的第2信息，根据所述第1信息和所述第1时间计算所述第1对象物的危险度，根据所述第2信息和所述第2时间计算所述第2对象物的危险度，

在基于所述视线方向和所述第1对象物的危险度的所述第1对象物的注意等级比基于所述视线方向和所述第2对象物的危险度的所述第2对象物的注意等级高的情况下，所述显示部显示与所述第1对象物有关的第1图像。

2.根据权利要求1所述的头部佩戴型显示装置，其中，

在所述第2对象物的所述注意等级比所述第1对象物的所述注意等级高的情况下，所述显示部显示与所述第2对象物有关的第2图像。

3.根据权利要求2所述的头部佩戴型显示装置，其中，

在所述第2对象物的所述注意等级比所述第1对象物的所述注意等级高的情况下，所述显示部使所述第1图像的显示停止。

4.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述头部佩戴型显示装置具有距离检测部，所述距离检测部检测从所述使用者的位置到所述第1对象物的距离，

在从所述使用者的位置到所述第1对象物的距离比第1阈值大的情况下，所述显示部使所述第1图像的显示停止。

5.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述判定部使所述视线方向是与所述第1对象物的位置对应的方向的情况下的所述第1对象物的所述注意等级比所述视线方向是不与所述第1对象物的位置对应的方向的情况下的所述第1对象物的所述注意等级低。

6.根据权利要求5所述的头部佩戴型显示装置，其中，

所述判定部取得所述视线方向是与所述第1对象物的位置对应的方向的状态下的注视时间，在所述注视时间超过时间阈值的情况下，所述判定部使所述第1对象物的所述注意等级比所述第2对象物的所述注意等级低。

7.根据权利要求5所述的头部佩戴型显示装置，其中，

在所述视线方向是不与所述第1对象物的位置对应的方向的情况下，所述判定部使所述第1对象物的所述注意等级比所述第2对象物的所述注意等级高。

8.根据权利要求6所述的头部佩戴型显示装置，其中，

在所述视线方向从与所述第1对象物的位置对应的方向变更为不与所述第1对象物的位置对应的方向的情况下，所述显示部根据所述第1信息，使所述第1图像重新显示。

9.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述第1信息是与因所述第1对象物产生的所述使用者的损害有关的信息，

所述第2信息是与因所述第2对象物产生的所述使用者的损害有关的信息。

10.根据权利要求9所述的头部佩戴型显示装置，其中，

在所述第1时间比所述第2时间短并且因所述第1对象物产生的所述使用者的损害比因所述第2对象物产生的所述使用者的损害大的情况下，所述判定部校正为使所述第1对象物的所述注意等级比所述第2对象物的所述注意等级高。

11.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述头部佩戴型显示装置具有温度检测部，所述温度检测部检测所述第1对象物的温度和所述第2对象物的温度，

所述判定部根据所述第1信息、所述第1时间和所述第1对象物的温度，计算所述第1对象物的所述危险度，

所述判定部根据所述第2信息、所述第2时间和所述第2对象物的温度，计算所述第2对象物的所述危险度。

12.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述头部佩戴型显示装置具有动作检测部，所述动作检测部检测所述使用者的动作，

在检测到所述使用者接近所述第1对象物的动作的情况下，所述时间计算部根据所述使用者的动作，计算所述第1时间，

在检测到所述使用者接近所述第2对象物的动作的情况下，所述时间计算部根据所述使用者的动作，计算所述第2时间。

13.一种头部佩戴型显示装置的控制方法，其具有以下步骤：

取得与第1对象物有关的第1信息和与第2对象物有关的第2信息；

检测使用者的视线方向；

计算所述第1对象物到达所述使用者所花费的第1时间和所述第2对象物到达所述使用者所花费的第2时间；

根据所述第1信息和所述第1时间计算所述第1对象物的危险度；

根据所述第2信息和所述第2时间计算所述第2对象物的危险度；以及

在基于所述视线方向和所述第1对象物的所述危险度的所述第1对象物的注意等级比基于所述视线方向和所述第2对象物的所述危险度的所述第2对象物的注意等级高的情况下，使显示部显示与所述第1对象物有关的第1图像。

Images