[go: up one dir, main page]

JP2018142857A - 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 - Google Patents

頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 Download PDF

Info

Publication number
JP2018142857A
JP2018142857A JP2017035982A JP2017035982A JP2018142857A JP 2018142857 A JP2018142857 A JP 2018142857A JP 2017035982 A JP2017035982 A JP 2017035982A JP 2017035982 A JP2017035982 A JP 2017035982A JP 2018142857 A JP2018142857 A JP 2018142857A
Authority
JP
Japan
Prior art keywords
display unit
unit
transmittance
user
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017035982A
Other languages
English (en)
Inventor
健郎 矢島
Takeo Yajima
健郎 矢島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017035982A priority Critical patent/JP2018142857A/ja
Priority to US15/902,533 priority patent/US10613333B2/en
Publication of JP2018142857A publication Critical patent/JP2018142857A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】頭部装着型表示装置の装着状態の調整を、頭部装着型表示装置により案内する。
【解決手段】使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する画像表示部20と、画像表示部を透過する外光の透過率を調整する右電子シェード227及び左電子シェード247と、使用者の頭部に対する画像表示部20の装着状態を判定し、判定結果に基づいて右電子シェード227及び左電子シェード247を制御し、画像表示部20を透過する外光の透過率を調整する制御部150とを備える頭部装着型表示装置100。
【選択図】図5

Description

本発明は、頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法に関する。
従来、画像を表示する表示部を備え、使用者の頭部に装着して使用される頭部装着装置が知られている(例えば、特許文献1参照)。頭部装着型表示装置は、HMD(Head Mounted Display)と呼ばれ、HMDを頭部に装着した使用者に画像を視認させることができる。HMDは、表示部が出力する画像光を使用者の眼に導くことにより、使用者に画像を視認させるため、HMDが正しく装着されていないと、本来視認できるはずの画像が視認できない場合がある。
特許文献1の虚像表示装置は、位置決めの指標となるマーカーを表示する位置決め用部材と、虚像形成部の光学系に取り付けられた位置決め用部材の位置を移動して、装着者の眼に対する虚像形成部の位置を調整する位置合わせ機構とを備える。虚像表示装置の装着者は、虚像表示装置を装着した装着状態において、鏡に自己の姿を映した外界像から、自分の眼の位置等を確認し、位置合わせ機構を用いて虚像形成部を移動させて位置の調整を行う。また、位置の調整が完了すると、装着者は、位置決め用部材を虚像形成部の光学系から取り外す。
特開2013−186292号公報
しかしながら、特許文献1の虚像表示装置は、虚像表示装置の他に自己の姿を映す鏡を用意しなければならず、また、位置の調整後、位置決め用部材を虚像形成部の光学系から取り外す作業が必要となる。
本発明は、頭部装着型表示装置の装着状態の調整を容易に行うことを目的とする。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する表示部と、前記表示部を透過する外光の透過率を調整する透過率調整部と、前記使用者の頭部に対する前記表示部の装着状態を判定し、判定結果に基づいて前記透過率調整部を制御し、前記表示部を透過する外光の透過率を調整する制御部と、を備える。
本発明によれば、表示部の装着状態の判定結果に基づいて、外光の光量の透過率が調整される。このため、表示部の装着状態を外光の光量の透過率によって示すことができる。従って、表示部の装着状態を調整するために表示部の装着状態を映す鏡を用意する必要がなくなり、装着状態の調整を容易に行うことができる。
また、本発明は、前記表示部は、画像を表示する表示領域を有し、前記透過率調整部は、前記表示領域を含む前記表示部に重ねて配置される透過率調整板を有し、前記制御部は、前記表示部の装着状態の判定結果に基づいて、外光の透過率を調整する前記透過率調整板の領域を設定し、設定した領域の外光の光量の透過率を調整する。
本発明によれば、使用者の頭部に対する表示部の装着状態の判定結果に基づいて、外光の透過率を調整する透過率調整板の領域が設定され、設定された領域の外光の光量の透過率が透過率調整部により調整される。このため、表示部の装着状態の判定結果に対応した透過率調整板の領域の外光の光量の透過率を調整することができる。このため、使用者に、表示部の装着状態の判定結果を示すことができる。
また、本発明は、前記透過率調整板は、複数の領域に区分され、領域ごとに可視光の透過率を設定可能であり、前記制御部は、前記使用者の頭部に対する前記表示部の装着位置のずれ方向を判定し、前記透過率調整板の領域であって、判定したずれ方向に対応する領域の透過率を調整する。
本発明によれば、使用者の頭部に対する表示部の装着位置のずれ方向を判定して、判定したずれ方向に対応する領域の透過率が調整される。このため使用者に、表示部の装着位置のずれ方向を通知することができる。
また、本発明は、前記透過率調整板は、複数の領域に区分され、領域ごとに可視光の透過率を設定可能であり、前記制御部は、前記使用者の頭部に対する前記表示部の装着位置のずれ方向を判定し、前記透過率調整板の領域であって、判定したずれ方向とは逆の方向に対応する領域の透過率を調整する。
本発明によれば、使用者の頭部に対する表示部の装着位置のずれ方向を判定して、判定したずれ方向とは逆の方向に対応する領域の透過率が調整される。外光の光量の透過率を調整することで、表示部が表示する画像の視認性を高めることができる。すなわち、外光の光量の透過率が調整された方向に表示部の装着状態を調整することで、表示部が表示する画像の視認性が高まる。このため、使用者は、表示部が表示する画像の視認性が高まる方向に表示部の装着状態を調整することで、表示部の装着状態のずれを調整することができる。
また、本発明は、前記制御部は、前記透過率調整板が有する複数の領域における可視光の透過率を設定することにより、表示オブジェクトを前記透過率調整板に表示し、前記表示オブジェクトは前記表示部の外側から認識可能な向きで表示される。
本発明によれば、透過率調整板に、表示部の外側から認識可能な向きで表示される表示オブジェクトを表示させることができる。
また、本発明は、前記表示オブジェクトは、前記表示部の装着状態に関する情報を含む。
本発明によれば、透過率調整板に、表示部の装着状態に関する情報を含む表示オブジェクトを表示させることができる。
また、本発明は、前記表示オブジェクトは、前記頭部装着型表示装置の動作状態に関する情報を含む。
本発明によれば、透過率調整板に、頭部装着型表示装置の動作状態に関する情報を含む表示オブジェクトを表示させることができる。
また、本発明は、報知部を備え、前記制御部は、前記使用者の頭部に対する前記表示部の装着状態のずれ量が、予め設定された範囲以内にある場合に、前記透過率調整部により外光の光量の透過率を調整し、前記使用者の頭部に対する前記表示部の装着状態のずれ量が、前記範囲よりも大きい場合に、前記報知部による報知を行う。
本発明によれば、使用者の頭部に対する前記表示部の装着状態のずれ量が予め設定された範囲よりも大きい場合に、報知部による報知を行うことができる。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する表示部と、前記表示部を透過する外光の透過率を調整する透過率調整部と、を備える頭部装着型表示装置に搭載されたコンピューターにより実行されるプログラムであって、コンピューターに、前記使用者の頭部に対する前記表示部の装着状態を判定する判定手順と、前記判定手順の判定結果に基づいて前記透過率調整部を制御し、前記表示部を透過する外光の透過率を調整する調整手順と、を実行させる。
本発明によれば、表示部の装着状態の判定結果に基づいて、外光の光量の透過率が調整される。このため、表示部の装着状態を外光の光量の透過率によって示すことができる。従って、表示部の装着状態を調整するために表示部の装着状態を映す鏡を用意する必要がなくなり、装着状態の調整を容易に行うことができる。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する表示部と、前記表示部を透過する外光の透過率を調整する透過率調整部と、を備える頭部装着型表示装置の制御方法であって、前記使用者の頭部に対する前記表示部の装着状態を判定する判定ステップと、前記判定ステップの判定結果に基づいて前記透過率調整部を制御し、前記表示部を透過する外光の透過率を調整する調整ステップと、を有する。
本発明によれば、表示部の装着状態の判定結果に基づいて、外光の光量の透過率が調整される。このため、表示部の装着状態を外光の光量の透過率によって示すことができる。従って、表示部の装着状態を調整するために表示部の装着状態を映す鏡を用意する必要がなくなり、装着状態の調整を容易に行うことができる。
HMDの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部を使用者の頭部側から見た要部斜視図。 カメラの画角の説明図。 HMDを構成する各部のブロック図。 制御部及び記憶部のブロック図。 画像表示部が使用者の頭部の適正な位置に装着された状態を示す図。 使用者が画像表示部をずれた状態で装着した状態を示す図。 使用者の頭部の側とは反対側から見た画像表示部を示す図。 使用者が画像表示部をずれた状態で装着した状態を示す図。 使用者が画像表示部をずれた状態で装着した状態を示す図。 制御部の動作を示すフローチャート。 電子シェードに表示される表示オブジェクトを示す図。
[第1実施形態]
図1は、本発明を適用した実施形態のHMD(Head Mounted Display:頭部装着型表示装置)100の外観構成を示す説明図である。
HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備える表示装置である。制御装置10は、図1に示すように、平たい箱形のケース10A(筐体、あるいは本体ともいえる)を備え、ケース10Aに後述する各部を備える。ケース10Aの表面には、使用者の操作を受け付ける各種のボタン11、スイッチ、トラックパッド14等が設けられる。これらを使用者が操作することによって、制御装置10は、HMD100のコントローラーとして機能する。
画像表示部20は、使用者の頭部に装着される眼鏡形状の装着体であり、外光を透過可能に構成される。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26及び左導光板28を備える。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。右導光板26と左導光板28との連結位置は、使用者が画像表示部20を装着する装着状態において、使用者の眉間に位置する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
右表示ユニット22は、右導光板26による画像の表示に係るユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示に係るユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット22及び左表示ユニット24を総称して単に「表示駆動部」とも呼ぶ。
本実施形態の右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムによって構成される。右導光板26及び左導光板28は、右表示ユニット22及び左表示ユニット24が出力する画像光を使用者の眼に導く。
画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に右電子シェード227及び左電子シェード247(図5)を配置し、虚像の視認のしやすさを調整できる。右電子シェード227及び左電子シェード247は、本発明の「透過率調整部」に相当する。
カメラ61は、画像表示部20の前部フレーム27に配設される。カメラ61は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61が前部フレーム27の端部ER側に配置される。カメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。
カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ61の撮像範囲が設定される。
カメラ61は、制御部150(図6)が備える撮像制御部149の制御に従って撮像を実行し、撮像画像データを撮像制御部149に出力する。
HMD100は、距離センサー64を備える。距離センサー64は、右導光板26と左導光板28との境目部分に配置される。使用者が画像表示部20を装着した状態で、距離センサー64の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー64は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー64は、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー64は、後述する制御部150の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー64は、制御部150の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー64は光源や受光部、或いは音源と検出部とを備え、測距処理を制御部150が行ってもよい。本実施形態の距離センサー64の測定方向は、頭部装着型表示装置100の表側方向であり、カメラ61の撮像方向と重複する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、制御部150(図6)の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
また、使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、制御部150(図6)の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
また、画像表示部20は、右電子シェード227及び左電子シェード247を備える。右電子シェード227は、シェード駆動部228(図6)と、液晶パネル229とを備える。左電子シェード247は、シェード駆動部248(図6)と、液晶パネル249とを備える。液晶パネル229及び249は、本発明の「透過率調整板」に相当する。
右電子シェード227の液晶パネル229は、右導光板26の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。液晶パネル229は、図2に示すように、右導光板26と距離をおいて配置される。これは、液晶パネル229を右導光板26に貼り合わせると、画像光Lの右導光板26での全反射を阻害する可能性があるからである。
左電子シェード247の液晶パネル249は、左導光板28の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。液晶パネル249も、図2に示すように左導光板28と距離をおいて配置される。
また、液晶パネル229及び249を、右導光板26及び左導光板28に重ねて配置することも可能である。この場合、屈折率が右導光板26及び左導光板28の屈折率よりも低い材料を右導光板26及び左導光板28の全反射面に貼り合わせる必要がある。
液晶パネル229及び249は、複数の画素をマトリクス状に配置した透過型の液晶パネルである。液晶パネル229及び249には、TN(twisted nematic)液晶、ゲストホスト液晶、PDLC(Polymer Dispersed Liquid Crystal)等を用いることができる。また、液晶パネル229及び249に代えて、エレクトロクロミックやガスクロミックを用いてもよい。
液晶パネル229及び249は、供給電圧の増減により、外部から使用者の眼REに導かれる外光の透過率を画素単位で増減させる。本実施形態の右電子シェード227及び左電子シェード247は、供給電圧なしの状態では外光の透過率が100%となり、供給電圧が最大の状態では外光の透過率が0%(遮断)される。
図1に戻り、制御装置10と画像表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、ケース10Aの下部に設けられるコネクター(図示略)に着脱可能に接続され、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す構成例では、ステレオヘッドホンを構成する右イヤホン32と左イヤホン34、及び、マイク63を有するヘッドセット30が、コネクター46に接続される。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス182(図6)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
制御装置10は、使用者により操作される被操作部として、ボタン11、LEDインジケーター12、トラックパッド14、上下キー15、切替スイッチ16、及び電源スイッチ18を備える。これらの被操作部はケース10Aの表面に配置される。LEDインジケーター12は、本発明の「報知部」に相当する。
ボタン11は、制御装置10が実行するオペレーティングシステム(以下、OSと略記する)143(図6)の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。LEDインジケーター12は、HMD100の動作状態に対応して点灯し、或いは点滅する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。トラックパッド14への接触(タッチ操作)は、後述するタッチセンサー13(図6)により検出される。
図3及び図4は、画像表示部20の要部構成を示す図である。図3は、画像表示部20を使用者の頭部側から見た要部斜視図である。図4は、カメラ61の画角の説明図である。なお、図3では接続ケーブル40の図示を省略する。
図3は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
カメラ61は、上記のように画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図4は、カメラ61の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す図である。カメラ61の画角(撮像範囲)をCで示す。なお、図4には水平方向の画角Cを示すが、カメラ61の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
カメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば図4に示すように、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中符号RD、LDに示すように対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ61の光軸及び画角は、通常使用時における対象物OBまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物OBが画角に含まれるように、設定されることが好ましい。
また、一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。この場合、注視点が図4の対象物OBであるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が画像表示部20を透過して右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図1及び図2に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
カメラ61の画角Cは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Cが少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Cが使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角Cが使用者の安定注視野よりも広く、最も好ましくは、画角Cが使用者の両眼の視野角よりも広い。
カメラ61が撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。
また、距離センサー64は、右導光板26と左導光板28との中央において、前方を向いて配置される。距離センサー64は、画像表示部20の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象物OBまでの距離を検出する。HMD100を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部20の正面にあると考えることができる。このため、画像表示部20の中央に配置された距離センサー64が、画像表示部20の正面を検出方向とすれば、使用者が注視する対象までの距離を検出できる。
また、図3に示すように、画像表示部20の使用者側には内側カメラ68が配置される。内側カメラ68は、使用者の右眼RE及び左眼LEのそれぞれに対応するように、右導光板26と左導光板28との中央位置に一対設けられる。内側カメラ68は、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラである。内側カメラ68は、制御部150(図6)の制御に従って撮像を行う。制御部150は、内側カメラ68の撮像画像データ300(図7、8、10)を解析する。例えば、制御部150は、内側カメラ68の撮像画像データ300から右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、制御部150は、内側カメラ68の撮像画像データ300から使用者の眼の画像を検出し、撮像画像データ300における眼の位置に基づき画像表示部20の頭部への装着状態を判定してもよい。
また、制御部150は、内側カメラ68の撮像画像から右眼RE及び左眼LEの視線方向を検出した場合に、右眼RE及び左眼LEの輻輳角を求めることができる。図4には輻輳角を符号PAで示す。輻輳角PAは、使用者が注視する対象物OBまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼RE及び左眼LEの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。
輻輳角は、例えば、内側カメラ68の撮像画像データ300から求めることができる。例えば、内側カメラ68に撮像画像データ300から右眼REの視線方向を求め、この視線方向から、右眼REの正面方向に対する右眼REの視線方向の角度LAを求める。同様に、内側カメラ68の撮像画像データ300から左眼LEの視線方向を求め、この視線方向に基づき、左眼LEの正面方向に対する左眼LEの視線方向の角度RAを求める。輻輳角PAは、角度LA、RAの和に等しく、容易に輻輳角PAを求めることができる。
図5は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。また、メインプロセッサー140には、入力装置としてトラックパッド14及び操作部110が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113及びGPS115が接続される。また、メインプロセッサー140には、通信部117、音声コーデック180、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、及び、FPGA194が接続される。これらは外部とのインターフェイスとして機能する。
メインプロセッサー140は、制御装置10が内蔵するコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー118、不揮発性記憶部121等が実装されてもよい。本実施形態では、6軸センサー111、磁気センサー113、GPS115、通信部117、メモリー118、不揮発性記憶部121、音声コーデック180等がコントローラー基板120に実装される。また、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194及びインターフェイス196をコントローラー基板120に実装した構成であってもよい。
メモリー118は、メインプロセッサー140がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データを記憶する。
操作部110は、ボタン11及びトラックパッド14を含む。トラックパッド14は、操作面(図示略)を備える。トラックパッド14は、操作面へのタッチ操作を検出して、検出したタッチ操作の操作面の操作位置を特定する。トラックパッド14は、特定したタッチ操作の操作位置を示す操作信号をメインプロセッサー140に出力する。
6軸センサー111は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー113は、例えば、3軸の地磁気センサーである。
GPS(Global Positioning System)115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。
6軸センサー111、磁気センサー113及びGPS115は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。又は6軸センサー111、磁気センサー113及びGPS115は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
通信部117は、外部の機器との間で無線通信を実行する。通信部117は、アンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部117は、例えば、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格に準拠した無線通信を行う。
音声インターフェイス182は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス182は、接続ケーブル40に設けられたコネクター46(図1)を含む。音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード/デコードを行う。また、音声コーデック180はアナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、及び、その逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続して、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備え、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、本発明の「報知部」に相当する。バイブレーター19は、モーター(図示略)、偏心した回転子(図示略)等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合、HMD100の電源がオン/オフされる場合等に、所定の振動パターンでバイブレーター19により振動を発生する。
また、HMD100は、スピーカー17を備える。スピーカー17は、本発明の「報知部」に相当する。
メインプロセッサー140は、例えば、コンテンツデータ124(図6)に含まれる音声信号を取得し、取得した音声信号を増幅してスピーカー17から出力する。
センサーハブ192及びFPGA194は、インターフェイス(I/F)196を介して画像表示部20に接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデータの処理、及びインターフェイス196を介した伝送を実行する。
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10に接続される。図1に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20の内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10から入力されるデータを受信する受信部(Rx)213、及びEEPROM215(記憶部)が実装される。
インターフェイス211は、受信部213、EEPROM215、OLEDユニット221、カメラ61、照度センサー65、LEDインジケーター67、圧電センサー217、内側カメラ68、距離センサー64、シェード駆動部228を、制御装置10に接続する。
EEPROM(Electrically Erasable Programmable Read-Only Memory)215は、各種のデータをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22又は左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデータを利用して処理を行える。
カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置10に出力する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
圧電センサー217は、例えば、右保持部21であって、画像表示部20が使用者の頭部に装着された状態のときに使用者の耳に当接する位置に設けられる。画像表示部20が使用者の頭部に装着され、圧電センサー217に使用者の耳が当接すると、圧電センサー217は、接触を検出したことを示す信号を制御装置10に出力する。
内側カメラ68は、インターフェイス211を介して制御装置10から入力される信号に従って撮像を実行し、撮像画像データ300、又は撮像結果を示す信号を制御装置10に出力する。本実施形態では、内側カメラ68は、撮像を実行して撮像画像データを制御装置10に出力する場合について説明する。図6には1つの内側カメラ68を図示するが、図3に示す一対の内側カメラ68、68が同時に動作してもよい。また、一対の内側カメラ68、68のそれぞれが、インターフェイス211に接続され、独立して動作する構成であってもよい。
距離センサー64は、インターフェイス211を介して制御装置10から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置10に出力する。図6には1つの距離センサー64を図示するが、図3に示す一対の距離センサー64、64が同時に動作してもよい。また、一対の距離センサー64、64のそれぞれがインターフェイス211に接続され、独立して動作する構成であってもよい。
シェード駆動部228は、メインプロセッサー140に従って、右電子シェード227に供給される電圧を制御し、右電子シェード227の外光の透過率を画素単位で増減させる。
受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データを、OLED駆動回路225(図2)に出力する。
左表示ユニット24は、表示ユニット基板230を有する。表示ユニット基板230には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10から入力されるデータを受信する受信部(Rx)233が実装される。また、表示ユニット基板230には、6軸センサー235及び磁気センサー237が実装される。
インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、圧電センサー239及びシェード駆動部248を、制御装置10に接続する。
6軸センサー235は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー237は、例えば、3軸の地磁気センサーである。
圧電センサー239は、例えば、左保持部23であって、画像表示部20が使用者の頭部に装着された状態のときに使用者の耳に当接する位置に設けられる。画像表示部20が使用者の頭部に装着され、圧電センサー239に使用者の耳が当接すると、圧電センサー239は、接触が検出されたことを示す信号を制御装置10に出力する。
シェード駆動部248は、メインプロセッサー140に従って、左電子シェード247に供給する電圧を制御し、左電子シェード247の外光の透過率を画素単位で増減させる。
インターフェイス211及び231は、センサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー140に出力する機能を備えてもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。
制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は充電可能なバッテリー132、及びバッテリー132の残容量の検出及びバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、或いは電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。また、電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。
HMD100は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス(図示略)を備えてもよい。例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、HMD100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、HMD100は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
図6は、制御装置10の制御系を構成する記憶部122、及び制御部150の機能ブロック図である。図6に示す記憶部122は、不揮発性記憶部121(図5)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、制御部150、及び制御部150が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部150、及び制御部150を構成する各機能部は、例えば、メインプロセッサー140、メモリー118、及び不揮発性記憶部121により構成される。
制御部150は、記憶部122が記憶するデータを利用して各種処理を実行し、HMD100を制御する。
記憶部122は、制御部150が処理する各種のデータを記憶する。記憶部122は、設定データ123、コンテンツデータ124及び正常範囲情報125を記憶する。設定データ123は、HMD100の動作に係る各種の設定値を含む。また、制御部150がHMD100を制御する際にパラメーター、行列式、演算式、LUT(LookUp Table)等を用いる場合、これらを設定データ123に含めてもよい。
コンテンツデータ124は、制御部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータであり、画像データ、或いは映像データを含む。また、コンテンツデータ124は、音声データを含んでもよい。また、コンテンツデータ124は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部20に表示される画像に限定されない。
また、コンテンツデータ124は、コンテンツを画像表示部20により表示する際に、制御装置10によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部150が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ124は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
また、正常範囲情報125は、画像表示部20の装着状態が正常範囲であると判定される範囲を示す情報である。本実施形態において、正常範囲とは、画像表示部20が表示する画像の全体を、画像表示部20を装着した使用者が視認することができる範囲である。正常範囲情報125は、内側カメラ68の撮像画像データ300上の範囲を示す情報である。正常範囲情報125の詳細については後述する。
制御部150は、OS143、画像処理部145、表示制御部147、撮像制御部149及び装着状態判定部151の機能を備える。装着状態判定部151は、本発明の「制御部」に相当する。
OS143の機能は、記憶部122が記憶する制御プログラムの機能であり、その他の制御部150の各部は、OS143上で実行されるアプリケーションプログラムの機能である。
画像処理部145は、画像表示部20により表示する画像又は映像の画像データに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部145は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部145は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部145は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
画像処理部145は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
表示制御部147は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61及び内側カメラ68を制御して撮像を実行させ、それぞれのカメラ61、68に撮像画像データ300を生成させる。撮像制御部149は、カメラ61及び内側カメラ68から取得した撮像画像データ300を記憶部122に一時的に記憶させる。また、カメラ61又は内側カメラ68が撮像画像データ300を生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は撮像画像データ300をカメラ61から取得して、記憶部122に一時的に記憶させる。
装着状態判定部151は、使用者の頭部に対する画像表示部20の装着状態を判定する。
装着状態判定部151は、判定を開始するトリガーとなる信号が入力された場合、又はトリガーとなる状態が検出された場合に、装着状態の判定を開始する。以下では、トリガーとなる信号が入力された場合と、トリガーとなる状態が検出された場合とを総称して開始状態という。開始状態には、例えば、圧電センサー217及び239のいずれか一方から接触が検出されたことを示す信号が装着状態判定部151に入力された場合が含まれる。すなわち、使用者の頭部に画像表示部20が装着され、圧電センサー217及び239のいずれか一方に使用者の耳が接触した場合に、圧電センサー217又は239は、接触を検出したことを示す信号を装着状態判定部151に出力する。装着状態判定部151は、圧電センサー217及び239のいずれか一方から接触を検出したことを示す信号が入力されることで、開始状態が検出されたと判定し、装着状態の判定を開始する。
本実施形態では、圧電センサー217を右保持部21に設け、圧電センサー239を左保持部23に設ける場合について説明するが、圧電センサーを、例えば、左右の鼻当て部に設けてもよい。使用者の鼻が鼻当て部に接触すると、鼻当て部に設けられた圧電センサーが接触を検出したことを示す信号を制御部150に出力する。
また、開始状態には、6軸センサー235から入力される検出値に変化が生じたと装着状態判定部151が判定した場合が含まれる。
使用者が画像表示部20を手に持つことで6軸センサー235によって検出される3軸加速度や3軸角速度の値が変化する。6軸センサー235は、検出した3軸加速度や3軸角速度の値を示す信号を装着状態判定部151に出力する。装着状態判定部151は、入力される3軸加速度や3軸角速度の値を示す信号に変化が生じたと判定した場合に、開始状態が検出されたと判定し、装着状態の判定を開始する。
また、開始状態には、装着状態判定部151が内側カメラ68の撮像画像データ300から眼の画像を検出した場合が含まれる。内側カメラ68は、画像表示部20を装着した使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラである。画像表示部20が使用者の頭部に装着されると、内側カメラ68の撮像画像データ300には使用者の眼が写る。装着状態判定部151は、内側カメラ68により撮像され、記憶部122に記憶された撮像画像データ300を読み出し、読み出した撮像画像データ300から眼の画像を検出する。装着状態判定部151は、撮像画像データ300から眼の画像が検出された場合に開始状態が検出されたと判定し、装着状態の判定を開始する。
装着状態判定部151は、開始状態が検出されると、画像表示部20が使用者の頭部に適正に装着されているか否かを判定する。以下、この判定を装着判定という。装着判定は、例えば、内側カメラ68の撮像画像データ300から検出される使用者の眼の画像の位置に基づいて判定することができる。
例えば、予めキャリブレーションを行って、画像表示部20が使用者の頭部に適正に装着されているときに、内側カメラ68の撮像画像データ300から検出される使用者の眼の画像の位置を、正常位置として登録する。より詳細には、画像表示部20により画像を表示させ、使用者に画像表示部20の装着位置を調整させる。使用者は、画像表示部20の装着位置を調整し、画像表示部20により表示される画像の全体が視認できる装着位置で、例えば、操作部110のボタン11を押下する。
図7は、画像表示部20が使用者の頭部の適正な位置に装着された状態を示す。また、図7には、画像表示部20が使用者の頭部の適正な位置に装着されたときの内側カメラ68の撮像画像データ300を示す。
装着状態判定部151は、ボタン11の押下操作を受け付けると、内側カメラ68に撮像を実行させる。装着状態判定部151は、内側カメラ68の撮像画像データ300から使用者の眼の画像を検出し、眼の画像が撮像された撮像画像データ300の範囲を特定する。また、装着状態判定部151は、特定した撮像画像データ300の範囲を含み、この特定した範囲よりも上下左右に予め設定された値だけ範囲を広げた範囲を正常範囲情報125として記憶部122に記憶させる。図7には、画像表示部20が使用者の頭部の適正な位置に装着されたときの撮像画像データ300と、正常範囲情報125に基づく撮像画像データ300上の正常範囲310とを示す。
また、図7には、画像表示部20を装着した使用者の視野範囲VRと、視野範囲VR内での表示領域PNとを示す。表示領域PNは、画像表示部20が画像を表示できる範囲を示す。
また、装着状態判定部151は、画像表示部20の装着状態のずれが、予め設定された範囲よりも大きい場合に、LEDインジケーター12を点灯又は点滅させる。また、装着状態判定部151は、画像表示部20の装着状態が異常であることを示す音をスピーカー17により出力してもよいし、バイブレーター19を振動させてもよい。
画像表示部20の装着状態のずれが予め設定された範囲よりも大きい場合、使用者には、右電子シェード227及び左電子シェード247が見えない可能性がある。このような場合に、装着状態判定部151の制御によりLEDインジケーター12の点灯又は点滅、スピーカー17による音声出力、バイブレーター19の振動等による報知を行う。このような報知動作により、使用者に、画像表示部20の装着状態が大きくずれていることを認識させることができる。また、装着状態判定部151は、画像表示部20の装着状態が使用者により変更され、装着状態のずれが小さくなったと判定した場合に、LEDインジケーター12を点灯又は点滅、スピーカー17による音声出力、バイブレーター19の振動等をさせてもよい。
また、本実施形態では、装着状態判定部151は、内側カメラ68の撮像画像データ300から使用者眼の画像を検出することができた場合、画像表示部20の装着状態のずれが予め設定された範囲以内にあると判定する。また、装着状態判定部151は、内側カメラ68の撮像画像データ300から使用者眼の画像を検出することができなかった場合、画像表示部20の装着状態のずれが予め設定された範囲よりも大きいと判定する。
また、装着状態判定部151は、圧電センサー217、239から入力される信号に基づいて、画像表示部20が使用者の頭部の適正な位置に装着されているか否かを判定してもよい。
例えば、圧電センサー217、239を、右保持部21や左保持部23の他に、左右の鼻当て部にも設ける。装着状態判定部151は、右保持部21や左保持部23、左右の鼻当て部に設けた圧電センサー217、239のすべてから接触を検出したことを示す信号が入力された場合に、画像表示部20の装着状態は正しいと判定する。また、装着状態判定部151は、右保持部21や左保持部23、左右の鼻当て部に設けた圧電センサー217、239から入力される信号が示す圧力の値が正常な範囲にある場合に、画像表示部20の装着状態は正しいと判定してもよい。圧力の値が正常な範囲とは、前述したキャリブレーションのときに圧電センサー217、239が測定した圧力の値である。
装着状態判定部151は、画像表示部20の装着状態を判定すると、この判定結果に基づいて画像表示部20の装着状態の調整を案内する。装着状態判定部151は、画像表示部20が表示する画像に重ならない範囲を対象として、右電子シェード227及び左電子シェード247による外光の光量の透過率を調整し、使用者に画像表示部20の装着状態の調整を案内する。
図8は、使用者が画像表示部20をずれて装着した状態を示す図である。特に、図8は、正常範囲情報125が示す正常範囲310よりも画像表示部20が上側にずれた状態で装着された場合を示す。また、図8には、画像表示部20が上側にずれた状態において撮像される内側カメラ68の撮像画像データ300を示す。
装着状態判定部151は、画像表示部20が使用者の頭部の適正な位置に装着されていないと判定すると、画像表示部20の装着位置がずれている方向を判定する。装着状態判定部151は、撮像画像データ300から検出される使用者の眼の画像の位置と、記憶部122に正常範囲情報125として登録された正常範囲310とを比較する。
装着状態判定部151は、撮像画像データ300から検出される使用者の眼の画像の位置が、正常範囲情報125として登録した正常範囲310よりも上側にある場合、画像表示部20の装着位置は正常範囲よりも下側にずれていると判定する。
また、装着状態判定部151は、撮像画像データ300から検出される使用者の眼の画像の位置が、正常範囲情報125として登録した正常範囲310よりも下側にある場合、画像表示部20の装着位置は正常範囲よりも上側にずれていると判定する。
また、装着状態判定部151は、撮像画像データ300から検出される使用者の眼の画像の位置が、正常範囲情報125として登録した正常範囲310よりも左側にある場合、画像表示部20の装着位置は正常範囲よりも右側にずれていると判定する。
また、装着状態判定部151は、撮像画像データ300から検出される使用者の眼の画像の位置が、正常範囲情報125として登録した正常範囲310よりも右側にある場合、画像表示部20の装着位置は正常範囲310よりも左側にずれていると判定する。
次に、装着状態判定部151は、装着位置がずれている方向を判定すると、判定したずれている方向に応じて、右電子シェード227及び左電子シェード247の予め設定された領域を選択する。そして、装着状態判定部151は、選択した領域の外光の透過率を調整する。より詳細には、装着状態判定部151は、右電子シェード227及び左電子シェード247の領域であって、ハーフミラー261及び281に重ならない周辺領域の外光の透過率を下げる。
図9は、画像表示部20を使用者の頭部の側とは反対側から見た画像表示部20の要部構成を示す図である。特に、図9は、右電子シェード227の液晶パネル229、及び左電子シェード247の液晶パネル249に設けられた調整領域を示す。
調整領域は、装着状態判定部151が、画像表示部20の装着位置がずれている方向を示すために使用する領域であり、液晶パネル229、249の領域を複数の領域に区分することで形成される領域である。装着状態判定部151は、これら複数の調整領域における外光(可視光)の透過率を設定可能である。
調整領域は、表示領域PNの周囲に対応する領域である。表示領域PNは、図9に示すハーフミラー261、281が配置された領域に対応する。ハーフミラー261、281は、OLEDパネル223から射出された画像光Lを反射して、右眼RE、左眼LEに入射させる部材である。このため、ハーフミラー261、281を配置された領域が、画像表示部20が画像を表示する表示領域PNに対応する。
右電子シェード227は、調整領域として、図9に示す上領域RU(Right UP)、下領域RD(Right Down)、左領域RL(Right Left)、右領域RR(Right Right)の4つの領域を有する。また、左電子シェード247は、調整領域として、図9に示す上領域LU(Left UP)、下領域LD(Left Down)、左領域LL(Left Left)、右領域LR(Left Right)の4つの領域を有する。
図10は、使用者が画像表示部20をずれた状態で装着した状態を示す図である。特に、図10は、正常範囲情報125が示す正常範囲310よりも画像表示部20が上側にずれた状態で装着された場合を示す。
例えば、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも上側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、下領域RD及び下領域LDの外光の透過率を下げる(図10参照)。右電子シェード227及び左電子シェード247によって外光の透過率を低下させると、透過率を低下させた方向に対応する画像表示部20の領域の画像の視認性が高まる。すなわち、右電子シェード227及び左電子シェード247の下領域RD及び下領域LDの外光の透過率を下げることで、画像表示部20の表示領域PNのうち、下側の領域に表示される画像が見やすくなる。このため、使用者は画像を見やすくするため、画像表示部20の装着位置を下方向に下げる調整を行う。従って、使用者に、画像表示部20の装着位置を下方向に下げるように促すことができる。
また、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも下側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、上領域RU及び上領域LUの外光の透過率を下げる。
また、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも左側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、右領域RR及び右領域LRの外光の透過率を下げる。
また、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも右側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、左領域RL及び左領域LLの外光の透過率を下げる。
図11は、使用者が画像表示部20をずれた状態で装着した場合を示す図である。特に、図11は、正常範囲情報125が示す正常範囲310よりも画像表示部20が上側にずれた状態で装着された場合を示す。
装着状態判定部151は、画像表示部20の装着位置がずれていると判定すると、ずれていると判定した方向の右電子シェード227及び左電子シェード247の調整領域の外光の透過率を下げてもよい。
例えば、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも上側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、上領域RU及び上領域LUの外光の透過率を下げる(図11参照)。すなわち、画像表示部20の装着状態がずれている方向を、装着状態がずれている方向に対応する右電子シェード227及び左電子シェード247の調整領域の明るさを暗くすることで示す。使用者は、表示領域RNの明るさが暗くなった方向に画像表示部20の装着位置を調整することで、画像表示部20の装着状態のずれを調整することができる。
また、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも下側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、下領域RD及び下領域LDの外光の透過率を下げる。
また、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも左側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、左領域RL及び左領域LRの外光の透過率を下げる。
また、装着状態判定部151は、画像表示部20の装着位置が正常範囲310よりも右側にずれていると判定した場合、右電子シェード227及び左電子シェード247の調整領域のうち、右領域RR及び右領域LRの外光の透過率を下げる。
本実施形態では、液晶パネル229、249の上下左右の4方向に対応する方向に調整領域を設けた場合について説明したが、調整領域を設ける方向は4方向に限定されない。例えば、液晶パネル229、249の上下左右の4方向と、右上、右下、左上、左下とを含めた8方向に調整領域を設けてもよい。また、図9には、四角形の調整領域を示したが、調整領域の形状は四角形に限定されない。調整領域の形状は、例えば、丸や多角形であってもよい。
また、上述の説明では、撮像画像データ300から検出される使用者の眼の画像の位置が、正常範囲情報125として登録した正常範囲310内にあるか否かによって、装着状態がずれているか否かを判定した。さらに、画像表示部20の装着状態がずれているか否かだけを判定するのではなく、ずれていると判定した場合にはずれの程度を判定してもよい。
例えば、制御部150は、(1)適正な装着状態、(2)装着状態は適正ではないが、表示領域PNは視認可能、(3)装着状態は適正ではなく、表示領域PNも視認できないの3つの状態を判定する。これらの状態の判定は、例えば、撮像画像データ300から検出される使用者の眼の画像の位置と、正常範囲310との距離に基づいて判定する。
制御部150は、撮像画像データ300から検出される使用者の眼の画像が、正常範囲310内にある場合、装着状態は適正であると判定する。また、制御部150は、撮像画像データ300から検出される使用者の眼の画像が、正常範囲310内にはないが、撮像画像データ300により使用者の眼の画像を検出可能な場合に、着状態は適正ではないが、表示領域PNは視認可能と判定する。また、制御部150は、撮像画像データ300から使用者の眼の画像を検出することができない場合、装着状態は適正ではなく、表示領域PNも視認できないと判定する。
制御部150は、画像表示部20の装着状態が(1)の状態であると判定した場合、右電子シェード227及び左電子シェード247の外光の透過率を下げたり、文字情報を表示させたりするような制御を行わない。また、制御部150は、画像表示部20が適正な位置に装着されたことを表示領域PNに表示させてもよい。
また、制御部150は、画像表示部20の装着状態が(2)の状態であると判定した場合、右電子シェード227及び左電子シェード247の外光の透過率を調整し、さらに表示領域PNに装着状態が正しくないことを示すメッセージを表示させる。
また、制御部150は、画像表示部20の装着状態が(3)の状態であると判定した場合、右電子シェード227及び左電子シェード247の外光の透過率を調整して、画像表示部20の装着状態が適正ではないことを使用者に通知する。
図12は、制御部150の動作を示すフローチャートである。
まず、制御部150は、開始状態を検出したか否かを判定する(ステップS1)、開始状態が検出されない場合(ステップS1/NO)、制御部150は、開始状態が検出されるまで処理の開始を待機する。
また、開始状態が検出されると(ステップS1/YES)、制御部150は、装着判定を開始する(ステップS2)。制御部150は、内側カメラ68の撮像画像データ300から使用者の眼の画像を検出し、眼の画像を検出した撮像画像データ300の範囲を特定する。そして、制御部150は、特定した撮像画像データ300の範囲と、記憶部122に正常範囲情報125として登録された正常範囲310とを比較して、画像表示部20の装着状態は適正であるか否かを判定する(ステップS3)。制御部150は、特定した撮像画像データ300の範囲が正常範囲情報125として登録された正常範囲310に含まれる場合、画像表示部20の装着状態は適正であると判定する(ステップS3/YES)。制御部150は、画像表示部20の装着状態は適正であると判定した場合、この処理フローを終了させる。
また、制御部150は、特定した撮像画像データ300の範囲が正常範囲情報125として登録された正常範囲310に含まれない場合、画像表示部20の装着状態は適正ではないと判定する(ステップS3/NO)。また、制御部150は、撮像画像データ300から眼の画像が検出されない場合も、画像表示部20の装着状態は適正ではないと判定する(ステップS3/NO)。
制御部150は、画像表示部20の装着状態が適正ではないと判定した場合(ステップS3/NO)、画像表示部20の装着位置がずれている方向を特定する。
制御部150は、眼の画像を検出した撮像画像データ300の範囲が、正常範囲情報125として登録された正常範囲310からずれている方向を判定して、画像表示部20の装着位置がずれている方向を特定する。制御部150は、ずれている方向を特定すると、特定したずれている方向に応じて、右電子シェード227及び左電子シェード247の予め設定された領域の外光の透過率を下げる(ステップS4)。次に、制御部150は、内側カメラ68の撮像画像データ300により、画像表示部20の装着状態に変化があるか否かを判定する(ステップS5)。制御部150は、撮像画像データ300から検出される眼の位置に変化があるか否かを判定して、画像表示部20の装着状態に変化があるか否かを判定する。制御部150は、画像表示部20の装着状態に変化がない場合(ステップS5/NO)、装着状態に変化が検出されるまで待機する。また、制御部150は、画像表示部20の装着状態に変化が検出されると(ステップS5/YES)、ステップS3の処理に移行し、画像表示部20の装着状態は適正であるか否かを判定する(ステップS3)。以後、制御部150は、ステップS3〜ステップS5の処理を、画像表示部20の装着状態は適正であると判定されるまで繰り返す。
以上説明したように本実施形態は、画像表示部20と、右電子シェード227及び左電子シェード247と、制御部150とを備える。右電子シェード227及び左電子シェード247は、画像表示部20を透過する外光の透過率を調整する。制御部150は、使用者の頭部に対する画像表示部20の装着状態を判定し、判定結果に基づいて画像表示部20の装着状態の調整を案内する。制御部150は、右電子シェード227及び左電子シェード247により外光の光量の透過率を調整することにより、画像表示部20の装着状態の調整を案内する。
従って、外光の光量の透過率により画像表示部20の装着状態を示すことができる。このため、画像表示部20の装着状態の調整を、HMD100により案内することができる。
また、画像表示部20は、画像を表示する表示領域PNを有し、右電子シェード227及び左電子シェード247は、表示領域PNを含む画像表示部20に重ねて配置される液晶パネル229、249を有する。制御部150は、画像表示部20の装着状態の判定結果に基づいて、外光の透過率を調整する液晶パネル229、249の領域を設定し、設定した領域の外光の光量の透過率を調整する。
従って、画像表示部20の装着状態の判定結果に対応した液晶パネルの領域の外光の光量の透過率を調整することができる。このため、使用者に、画像表示部20の装着状態の判定結果を示すことができる。
また、制御部150は、使用者の頭部に対する画像表示部20の装着状態がずれていると判定した場合に、表示領域PNの周囲の領域に対応する液晶パネルの領域であって、装着状態がずれた方向に対応する領域の透過率を調整する。
従って、使用者に、画像表示部20の装着状態がずれた方向を認識させることができる。
また、制御部150は、使用者の頭部に対する画像表示部20の装着状態がずれていると判定した場合に、表示領域PNの周囲の領域に対応する液晶パネル板の領域であって、装着状態がずれた方向とは逆の方向に対応する領域の透過率を調整する。
外光の光量の透過率を調整することで、画像表示部20が表示する画像の視認性を高めることができる。すなわち、外光の光量の透過率が調整された方向に画像表示部20の装着状態を調整することで、画像表示部20が表示する画像の視認性を高めることができる。このため、使用者は、画像表示部20が表示する画像の視認性が高まる方向に画像表示部20の装着状態を調整することで、画像表示部20の装着状態のずれを調整することができる。
[第2実施形態]
右電子シェード227及び左電子シェード247は、複数の画素をマトリクス状に配置した透過型の液晶パネル229、249を備える。このため、制御部150がシェード駆動部228、248を制御して、右電子シェード227及び左電子シェード247を制御することで、液晶パネル229、249に文字や画像を表示させることも可能である。この液晶パネル229、249に表示される文字や画像は、画像表示部20を装着した使用者には見えない場合がある。すなわち、液晶パネル229、249に表示した情報について、適切に配置した場合でも液晶パネル229、249から使用者の目までの距離が近いために、文字などを液晶パネル229、249に表示した場合にぼけてしまって見えないことがあったり、そもそも使用者の視野に対して外または境界に文字を表示した場合に見えなかったりすることがある。しかし、使用者以外の外部の人であれば、液晶パネル229、249に表示される文字や画像を視認することができる。また、使用者であっても、画像表示部20を装着する前であれば、液晶パネル229、249に表示される文字や画像を視認させることできる。
そこで、本実施形態は、右電子シェード227及び左電子シェード247の液晶パネル229、249を有効に活用し、HMD100の装着前においては使用者、HMD100の装着後においては、使用者以外の人に向けて情報を表示する。表示する情報には、画像表示部20の装着状態に関する情報を含むテキストデータや記号、画像表示部20の動作状態に関する情報を含むテキストや記号が含まれる。装着状態に関する情報とは、画像表示部20が適正な装着状態であるか否かを示す情報である。制御部150は、画像表示部20が適正な装着状態にある場合は、画像表示部20の装着状態が適正である旨を示す記号やメッセージを表示領域PNに表示させる。また、制御部150は、画像表示部20が適正な装着状態にはないと判定した場合、画像表示部20の装着状態が適正ではない旨を示す記号やメッセージを表示させる。また、制御部150は、画像表示部20の装着状態が適正ではない場合、装着位置のずれている方向を示す記号やメッセージを表示させてもよい。
また、右電子シェード227及び左電子シェード247の液晶パネル229、249に表示する文字や記号は、情報を表示するためのリンク情報、例えば、QRコード(登録商標)や2次元バーコードであってもよい。また、右電子シェード227及び左電子シェード247の液晶パネル229、249に、電子透かしのように使用者又は第三者が視認できないレベルで文字や記号を表示させてもよい。この場合、テキストまたは記号の場合と同様に装着状態を外部に知らせることができるとともに、付加する情報を電子シェードの領域全体に付加する(透過率の変化を分散させる)ことで電子シェードを介して外界を視認することを妨げないようにできる。
図13は、電子シェードに表示される表示オブジェクトを示す図である。特に、図13は、液晶パネル229、249に、表示オブジェクトとして文字を表示した状態を示す図である。
例えば、制御部150は、画像表示部20が使用者に装着される前の状態であって、HMD100のバッテリー132の充電状態が予め設定されたしきい値よりも低い場合、右電子シェード227及び左電子シェード247にメッセージを示す文字を表示させる。このメッセージは、画像表示部20の動作状態に関する情報であり、例えば、図13に示すように、バッテリー残量が少ないことを示すメッセージや、充電を要求するメッセージである。右電子シェード227及び左電子シェード247に表示されるこれらのメッセージは、画像表示部20を装着した使用者に向けたメッセージではなく、HMD100を装着前の使用者又はHMD100の管理者等に向けたメッセージである。このため、メッセージは、図13に示すように、画像表示部20の外側、すなわち画像表示部20を装着した使用者の眼の側とは反対の側から認識可能な向きで表示させる。
また、HMD100を設置してHMD100を充電する充電用の台座に、光源又はミラー等の外部の光を、台座に設置された右電子シェード227及び左電子シェード247側に反射する反射部を設け、右電子シェード227及び左電子シェード247に表示された充電を要求するメッセージが視認できるように構成してもよい。
また、画像表示部20が使用者の頭部に装着される前の状態において、液晶パネル229、249に所定の色の画像を表示させてもよい。
例えば、画像表示部20が子供用のサイズで作られた画像表示部20である場合、液晶パネル229、249に赤色の画像を表示させる。また、画像表示部20が大人用のサイズで作られた画像表示部20である場合、液晶パネル229、249に青色の画像を表示させる。このように、画像表示部20の装着前の状態において、右電子シェード227及び左電子シェード247に表示する画像の色を変更することで、画像表示部20が子供用であるのか、大人用であるのかを明示することができる。
また、HMD100を美術館の施設等で使用する場合に、液晶パネル229、249に画像表示部20の装着状態を示す情報を表示させてもよい。施設の案内人は、使用者に画像表示部20を装着してもらい、液晶パネル229、249に表示される画像表示部20の装着状態を示す情報を参照して、使用者に画像表示部20の装着状態の調整を案内する。この場合、装着状態を示す情報は、画像表示部20の外側、すなわち画像表示部20を装着した使用者の眼の側とは反対の側から認識可能な向きで表示する。
また、液晶パネル229、249に画像表示部20の装着状態を示す情報を表示させる場合、液晶パネル229、249の両方に装着状態を示す情報を表示させるのではなく、液晶パネル229、249のいずれか一方に装着状態を示す情報を表示させてもよい。例えば、制御部150は、カメラ61の撮像画像データから施設の案内人が撮像された領域を判定し、案内人が撮像された方向に対応する方向の液晶パネル229、249に、画像表示部20の装着状態を示す情報を表示させる。
また、液晶パネル229、249に、画像表示部20の装着状態を示す情報を、使用者の眼の側とは反対の側から認識可能な向きで表示させる場合に、使用者が、HMD100を外し、外側に向けて表示されたメッセージを確認してもよい。
上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、制御部150は、外光の光量の透過率を右電子シェード227及び左電子シェード247により調整して、画像表示部20の装着状態の調整を案内した。装着状態の調整を案内する他の方法として、制御部150は、画像表示部20の画像表示部20の装着状態の判定結果を、画像表示部20の表示領域により表示させてもよい。
すなわち、制御部150は、画像表示部20の装着位置がずれている場合、ずれている方向に対応した画像表示部20の表示領域PNの周辺部の明るさを調整する。
例えば、制御部150は、画像表示部20の装着位置が上側にずれていると判定した場合、画像表示部20の表示領域PNを構成する上辺、下辺、左辺、右辺のうち、上辺に近い側の領域の明るさを暗く、又は明るくする。
また、制御部150は、画像表示部20の装着位置が下側にずれていると判定した場合、画像表示部20の表示領域PNを構成する上辺、下辺、左辺、右辺のうち、下辺に近い側の領域の明るさを暗く、又は明るくする。
また、制御部150は、画像表示部20の装着位置が左側にずれていると判定した場合、画像表示部20の表示領域PNを構成する上辺、下辺、左辺、右辺のうち、左辺に近い側の領域の明るさを暗く、又は明るくする。
また、制御部150は、画像表示部20の装着位置が右側にずれていると判定した場合、画像表示部20の表示領域PNを構成する上辺、下辺、左辺、右辺のうち、右辺に近い側の領域の明るさを暗く、又は明るくする。
また、上述した実施形態は、HMD100単独で装着状態の判定を行ったが、外部の装置から情報又は装着状態の判定結果を示す情報を取得して、画像表示部20の装着状態がずれた方向を右電子シェード229及び左電子シェード249によって表示してもよい。
例えば、定点カメラの撮像画像を入力するサーバ装置に、HMD100を接続する。使用者は、画像表示部20を装着して、定点カメラにより撮像する。サーバ装置は、定点カメラの撮像画像を入力して、使用者の頭部に対する画像表示部20の装着状態を判定し、判定結果を示す情報をHMD100に送信する。
また、HMD100の装着状態を、他のHMD100により判定してもよい。例えば、第1の使用者がHMD100の画像表示部20を頭部に装着すると、第2の使用者の装着するHMD100のカメラ61により、第1の使用者を撮像する。第2の使用者のHMD100は、カメラ61の撮像画像データから第1の使用者の画像表示部20の装着状態を判定し、判定結果を第1の使用者のHMD100に送信する。また、第2の使用者のHMD100は、装着状態の判定を行うことなく、第1の使用者を撮像した撮像画像データを第1の使用者のHMD100にそのまま送信してもよい。第1の使用者のHMD100は、第2の使用者のHMD100から受信した撮像画像データに基づいて、画像表示部20の装着状態を判定する。
また、上述した実施形態では、制御装置10が画像表示部20と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置10に対して画像表示部20が無線接続される構成であってもよい。この場合の無線通信方式は通信部117が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
また、制御装置10が備える一部の機能を画像表示部20に設けてもよく、制御装置10を複数の装置により実現してもよい。例えば、制御装置10に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板26及び左導光板28が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ61により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部20により表示する構成とすれば、画像表示部20が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に本発明を適用することも勿論可能である。
また、本発明は、AR表示や、MR(Mixed Reality)表示、VR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。AR表示は、実空間に重ねて画像を表示する表示であり、撮像した実空間の画像と仮想画像とを組み合わせて表示する表示であり、VR表示は、仮想画像を表示する表示である。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼LEに対応して画像を表示する表示部と、使用者の右眼REに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、本実施形態は、右電子シェード227及び左電子シェード247として、供給電圧なしの状態では外光の透過率が100%となり、供給電圧が最大の状態では外光の透過率が0%(遮断)されるノーマリーブラックの液晶を用いる場合を説明した。電子シェード227及び左電子シェード247に用いる液晶の他の例として、供給電圧なしの状態では外光の透過率が0%となり、供給電圧が最大の状態では外光の透過率が100%となるノーマリーホワイトの液晶を用いてもよい。
また、圧電センサー217の代わりに、押すタイプのスイッチや、赤外線発光部と受光部を設けてもよい。赤外線発光部と受光部を設ける構成の場合、発光した赤外線が受光するまでの距離に基づいてテンプルにおける当接状態を検知する。
また、図5、図6等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部150が実行するプログラムは、不揮発性記憶部121又は制御装置10内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部117や外部コネクター184を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部110が使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、メインプロセッサー140と同様のプロセッサーが画像表示部20に配置されてもよいし、制御装置10が備えるメインプロセッサー140と画像表示部20のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
10…制御装置、12…LEDインジケーター(報知部)、17…スピーカー(報知部)、19…バイブレーター(報知部)、20…画像表示部(表示部)、22…右表示ユニット、24…左表示ユニット、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、61…カメラ、63…マイク、64…距離センサー、65…照度センサー、68…内側カメラ、100…HMD(頭部装着型表示装置)、110…操作部、111…6軸センサー、113…磁気センサー、115…GPS、117…通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶部、123…設定データ、124…コンテンツデータ、125…正常範囲情報、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、143…オペレーティングシステム、145…画像処理部、147…表示制御部、149…撮像制御部、150…制御部、151…装着状態判定部(制御部)、180…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、194…FPGA、196…インターフェイス、211…インターフェイス、213…受信部、215…EEPROM、、221…OLEDユニット、227…右電子シェード(透過率調整部)、228…シェード駆動部、229…液晶パネル(透過率調整板)、231…インターフェイス、233…受信部、235…6軸センサー、237…磁気センサー、241…OLEDユニット、247…左電子シェード(透過率調整部)、248…シェード駆動部、249…液晶パネル(透過率調整板)。

Claims (10)

  1. 使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する表示部と、
    前記表示部を透過する外光の透過率を調整する透過率調整部と、
    前記使用者の頭部に対する前記表示部の装着状態を判定し、判定結果に基づいて前記透過率調整部を制御し、前記表示部を透過する外光の透過率を調整する制御部と、
    を備える頭部装着型表示装置。
  2. 前記表示部は、画像を表示する表示領域を有し、
    前記透過率調整部は、前記表示領域を含む前記表示部に重ねて配置される透過率調整板を有し、
    前記制御部は、前記表示部の装着状態の判定結果に基づいて、外光の透過率を調整する前記透過率調整板の領域を設定し、設定した領域の外光の光量の透過率を調整する請求項1記載の頭部装着型表示装置。
  3. 前記透過率調整板は、複数の領域に区分され、領域ごとに可視光の透過率を設定可能であり、
    前記制御部は、前記使用者の頭部に対する前記表示部の装着位置のずれ方向を判定し、前記透過率調整板の領域であって、判定したずれ方向に対応する領域の透過率を調整する請求項2記載の頭部装着型表示装置。
  4. 前記透過率調整板は、複数の領域に区分され、領域ごとに可視光の透過率を設定可能であり、
    前記制御部は、前記使用者の頭部に対する前記表示部の装着位置のずれ方向を判定し、前記透過率調整板の領域であって、判定したずれ方向とは逆の方向に対応する領域の透過率を調整する請求項2記載の頭部装着型表示装置。
  5. 前記制御部は、前記透過率調整板が有する複数の領域における可視光の透過率を設定することにより、表示オブジェクトを前記透過率調整板に表示し、前記表示オブジェクトは前記表示部の外側から認識可能な向きで表示される請求項3又は4記載の頭部装着型表示装置。
  6. 前記表示オブジェクトは、前記表示部の装着状態に関する情報を含む請求項5記載の頭部装着型表示装置。
  7. 前記表示オブジェクトは、前記頭部装着型表示装置の動作状態に関する情報を含む請求項5又は6記載の頭部装着型表示装置。
  8. 報知部を備え、
    前記制御部は、前記使用者の頭部に対する前記表示部の装着状態のずれ量が、予め設定された範囲以内にある場合に、前記透過率調整部により外光の光量の透過率を調整し、
    前記使用者の頭部に対する前記表示部の装着状態のずれ量が、前記範囲よりも大きい場合に、前記報知部による報知を行う請求項1から7のいずれか1項に記載の頭部装着型表示装置。
  9. 使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する表示部と、前記表示部を透過する外光の透過率を調整する透過率調整部と、を備える頭部装着型表示装置に搭載されたコンピューターにより実行されるプログラムであって、
    コンピューターに、
    前記使用者の頭部に対する前記表示部の装着状態を判定する判定手順と、
    前記判定手順の判定結果に基づいて前記透過率調整部を制御し、前記表示部を透過する外光の透過率を調整する調整手順と、を実行させることを特徴とするプログラム。
  10. 使用者の頭部に装着され、外光を透過可能に構成され、画像を表示する表示部と、前記表示部を透過する外光の透過率を調整する透過率調整部と、を備える頭部装着型表示装置の制御方法であって、
    前記使用者の頭部に対する前記表示部の装着状態を判定する判定ステップと、
    前記判定ステップの判定結果に基づいて前記透過率調整部を制御し、前記表示部を透過する外光の透過率を調整する調整ステップと、
    を有する頭部装着型表示装置の制御方法。
JP2017035982A 2017-02-28 2017-02-28 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 Pending JP2018142857A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017035982A JP2018142857A (ja) 2017-02-28 2017-02-28 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US15/902,533 US10613333B2 (en) 2017-02-28 2018-02-22 Head-mounted display device, computer program, and control method for head-mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017035982A JP2018142857A (ja) 2017-02-28 2017-02-28 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Publications (1)

Publication Number Publication Date
JP2018142857A true JP2018142857A (ja) 2018-09-13

Family

ID=63246264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017035982A Pending JP2018142857A (ja) 2017-02-28 2017-02-28 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Country Status (2)

Country Link
US (1) US10613333B2 (ja)
JP (1) JP2018142857A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100553A1 (ja) * 2019-11-20 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2022519001A (ja) * 2018-11-08 2022-03-18 ビビオール アーゲー ユーザが視覚行動モニタを装着しているか否かを検出するシステム
JP2022120723A (ja) * 2021-02-05 2022-08-18 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
JP2024504012A (ja) * 2020-12-23 2024-01-30 メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー 拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
WO2019081975A1 (en) * 2017-10-24 2019-05-02 Orcam Technologies Ltd. PORTABLE CAMERA SYSTEMS AND METHODS OF IDENTITY AUTHENTICATION
KR20200032467A (ko) * 2018-09-18 2020-03-26 삼성전자주식회사 외부 광의 투과율을 조절할 수 있는 광학 부재를 포함하는 전자 장치 및 그의 동작 방법
WO2020210666A1 (en) * 2019-04-10 2020-10-15 William Kaigler Systems, devices and methods for managing user outcome in sleep therapy
JP2021043300A (ja) * 2019-09-10 2021-03-18 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、情報処理装置の制御方法、及び表示装置
US12437481B2 (en) * 2020-06-15 2025-10-07 Snap Inc. Smart glasses with outward-facing display
TWI736328B (zh) * 2020-06-19 2021-08-11 宏碁股份有限公司 頭戴式顯示裝置及應用其之畫面顯示方法
US12008157B2 (en) 2021-03-01 2024-06-11 Qualcomm Incorporated Movement detection of a head mounted device
EP4369076A4 (en) * 2021-10-14 2024-11-06 Samsung Electronics Co., Ltd. HABITRONIC ELECTRONIC DEVICE COMPRISING A SENSOR MODULE

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP5304329B2 (ja) * 2009-03-05 2013-10-02 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
US8411907B2 (en) * 2010-06-15 2013-04-02 International Business Machines Corporation Device function modification method and system
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
JP6160020B2 (ja) * 2011-12-12 2017-07-12 セイコーエプソン株式会社 透過型表示装置、表示方法および表示プログラム
JP5919899B2 (ja) 2012-03-08 2016-05-18 セイコーエプソン株式会社 虚像表示装置及び虚像表示装置の位置調整方法
JP6008086B2 (ja) * 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
WO2013145147A1 (ja) 2012-03-28 2013-10-03 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
TW201407596A (zh) * 2012-08-06 2014-02-16 Hon Hai Prec Ind Co Ltd 電子裝置校正系統及方法
JP6350283B2 (ja) * 2012-09-12 2018-07-04 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
KR102114618B1 (ko) * 2014-01-16 2020-05-25 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9437159B2 (en) * 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
KR101465587B1 (ko) * 2014-08-07 2014-11-27 (주)와이브레인 웨어러블 장치 및 이의 제어 방법
JP6492451B2 (ja) * 2014-08-12 2019-04-03 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6476781B2 (ja) * 2014-11-17 2019-03-06 セイコーエプソン株式会社 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
JP2016122177A (ja) 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US9904053B2 (en) * 2014-12-25 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
JP6699658B2 (ja) * 2015-04-22 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9599825B1 (en) * 2015-09-30 2017-03-21 Daqri, Llc Visual indicator for transparent display alignment
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
FR3051656B1 (fr) * 2016-05-31 2019-03-22 Ellcie Healthy Dispositif connecte de suivi comportemental d'un individu et permettant la detection et/ou la prevention d'une anomalie
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
WO2018222753A1 (en) * 2017-05-31 2018-12-06 Magic Leap, Inc. Eye tracking calibration techniques
EP3644826B1 (en) * 2017-06-30 2025-10-01 Xiaochun Nie A wearable eye tracking system with slippage detection and correction

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022519001A (ja) * 2018-11-08 2022-03-18 ビビオール アーゲー ユーザが視覚行動モニタを装着しているか否かを検出するシステム
WO2021100553A1 (ja) * 2019-11-20 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US12085726B2 (en) 2019-11-20 2024-09-10 Sony Group Corporation Information processing device and information processing method
JP2024504012A (ja) * 2020-12-23 2024-01-30 メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー 拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡
JP2022120723A (ja) * 2021-02-05 2022-08-18 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
JP7174785B2 (ja) 2021-02-05 2022-11-17 ソフトバンク株式会社 制御装置、プログラム、及び制御方法

Also Published As

Publication number Publication date
US20180246334A1 (en) 2018-08-30
US10613333B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
US10613333B2 (en) Head-mounted display device, computer program, and control method for head-mounted display device
JP7087481B2 (ja) 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
US10838205B2 (en) Head mounted display, control method thereof, and computer program
US20150168729A1 (en) Head mounted display device
JP2018101019A (ja) 表示装置及び表示装置の制御方法
US10567730B2 (en) Display device and control method therefor
CN105739095B (zh) 显示装置以及显示装置的控制方法
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP2018160735A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2018148257A (ja) 頭部装着型表示装置およびその制御方法
JP2019105777A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2017116562A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2020071587A (ja) 表示装置、及び、表示装置の制御方法
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
JP2017142294A (ja) 表示装置、及び、表示装置の制御方法
JP2017146726A (ja) 移動支援装置、及び、移動支援方法
JP2017182413A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20190086677A1 (en) Head mounted display device and control method for head mounted display device
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402