JP6018579B2 - シースルー・ディスプレイのための好ましい視覚的適応 - Google Patents

Description

シースルー・ディスプレイのための好ましい視覚的適応。

[0001] シースルー・ディスプレイは、ディスプレイ・イメージと外部イメージとをマージして、双方のイメージを同じ物理空間に呈示する。そのようなディスプレイは、装着可能（ウェアラブル）なヘッドマウント型のディスプレイ・システムで使用でき、ディスプレイ・システムは、ゴーグル、ヘルメット、またはアイウエアと結合することができる。シースルー・ディスプレイは、プライバシーおよびモビリティを保ちつつ、コンピュータ、ビデオ・ゲーム、メディア・プレーヤ、または他の電子デバイスからのイメージを、ビューワー（見る人）が見ることを可能にする。それぞれの目に対して１つずつの、２つの異なるディスプレイ・イメージを呈示するように構成される場合には、立体（例えば、バーチャルリアリティ）イメージの生成に使用できる。

[0002] 実際的な視覚経験を提供するために、ヘッドマウント型のディスプレイ・システムは、特定の視覚的関係を考慮して構成される。１つのそのような関係は、外部シーン（外部の景色）内の背景サブジェクト（背景内にある対象物）に相対してのディスプレイ・イメージの焦点面の配置である。ディスプレイ・イメージの焦点面が背景サブジェクトから遠すぎる場合、ビューワーは、焦点を合わせにくく、目の疲れを感じる。

[0003] この開示における１つの実施形態は、ビューワーの共通焦点面で第１のイメージと第２のイメージとを重ねる（オーバーレイする）方法を提供する。方法は、第１のイメージを形成するステップと、ビューワーの瞳孔に対する軸に沿って第１のイメージと第２のイメージとを案内するステップとを含む。更に、方法は、第１のイメージおよび第２のイメージを適応型発散光学系（adaptive diverging optic）において調節可能に発散させて、共通焦点面で第１のイメージの焦点が合うようにするステップと、第２のイメージを適応型収束光学系（adaptive converging optic）において調節可能に収束させて、共通焦点面で第２のイメージの焦点が合うようにするステップとを含む。

[0004] 上記の概要は、ここでの開示における選択された部分を簡素化した形で紹介するものであり、独自性の鍵となるものや本質的な特徴を紹介するものではない。特許請求の範囲に記載の主題事項は、この概要の内容や、ここで説明する問題や欠点に対処する実装には限定されない。

図１および図２は、この開示に従った例示的なヘッドマウント型のディスプレイ・システムを示す。 図１および図２は、この開示に従った例示的なヘッドマウント型のディスプレイ・システムを示す。 図３は、この開示に従った、ビューワーの共通焦点面において第１のイメージおよび第２のイメージをオーバーレイするための例示的な環境を示す。 図４は、この開示に従った、ビューワーの共通焦点面において第１のイメージおよび第２のイメージをオーバーレイするための例示的な方法を示す。

[0008] この開示における特徴を、例として、例示の実施形態を参照して説明する。１以上の実施形態において実質的に同じコンポーネント、処理ステップ、および他のエレメントは、対応させて特定し、説明の反復を最小限にしている。しかし、対応させて特定したエレメントは、幾らか異なる場合もあることに留意されたい。更に、この開示に含まれる図面は概略的なものであり、一般に尺度を考慮して描かれていない。様々な図面の尺度、縦横比、および図に示されたコンポーネントの数は、特定の特徴や関係を見やすくするために変えている。

[0009] 図１は、１つの実施形態のヘッドマウント型ディスプレイ・システム１０を示す。システム１０は、ビデオ・ディスプレイ・アイウェアの例である。これは、一般のメガネやサングラスと似ている。しかし、このシステムは、シースルー・ディスプレイ・デバイス１２Ａおよび１２Ｂを含み、これらは、装着者に見えるようにディスプレイ・イメージを投影する。特に、ディスプレイ・イメージは、装着者の目の前に直接的に投影される。従って、システム１０はウェアラブル・マウント１４を含み、これが、表示デバイスを、装着者の目の前の短い距離の位置に配置する。図１において、ウェアラブル・マウントは、従来のメガネのフレームの形である。

[0010] 表示デバイス１２Ａおよび１２Ｂは、少なくとも部分的に透明であり、装着者は、外部シーンおよびディスプレイ・イメージを見ることができる。１つのシナリオでは、ディスプレイ・イメージと外部シーンの様々なサブジェクト（対象物）とが異なる焦点面を占有し、装着者は、外部サブジェクト（外部の対象物）からディスプレイ・イメージへ、またはその逆に、焦点を変えることになる。他のシナリオでは、後に説明するように、ディスプレイ・イメージと少なくとも１つの外部サブジェクトとが同じ焦点面を共有する。

[0011] 更に図１を参照すると、システム１０はコントローラ１６を含み、コントローラ１６は、ディスプレイ・デバイス１２Ａおよび１２Ｂの内部コンポーネントを制御して、ディスプレイ・イメージを形成し且つ外部シーンを見ることができるようにする。１つの実施形態では、コントローラ１６は、ディスプレイ・デバイス１２Ａおよび１２Ｂを制御して同じディスプレイ・イメージを同時に投影し、装着者の右目および左目が同時に同じイメージを受けるようにする。別の実施形態では、表示デバイスは、少し異なる複数のイメージを同時に投影し、装着者に立体イメージ、即ち、３次元イメージを知覚させる。図２は、別の例示的なヘッドマウント型ディスプレイ・システム１８を示す。システム１８は、バイザー２０を備えるヘルメットであり、バイザー２０の背面にディスプレイ・デバイス１２Ａおよび１２Ｂが配される。システム１８は、ビデオ・ゲームから飛行にいたるまでの範囲の応用において使用することができる。

[0012] 図３は、１つの実施形態における例示的なシースルー・ディスプレイ・デバイス１２の構成を示す。表示デバイスは、照明器２２およびイメージ形成器２４を含む。１つの実施形態では、照明器は、白の発光ダイオード（ＬＥＤ）などのような、白色光源を含む。照明器は、更に、白色光源からの放射をコリメートし、その放射をイメージ形成器へ向けるための適切な光学系を備える。イメージ形成器は、液晶ディスプレイ（ＬＣＤ）アレイなどのような、光弁の矩形アレイを備える。アレイの光弁は、それらを通して送られるコリメートされた光の量を空間的に変化させ時間的に変調させるように構成され、それにより、例えば、ディスプレイ・イメージのピクセルを形成する。更に、イメージ形成器は、光弁とともに適切な光フィルタリング・エレメントを備え、それによりカラーのディスプレイ・イメージを形成することができる。

[0013] 別の実施形態では、照明器は１以上の変調型レーザーを備え、イメージ形成器は、レーザーの放射を変調と同期してラスター化して、ディスプレイ・イメージを形成するように構成される。更に別の実施形態では、イメージ形成器２４は、ディスプレイ・イメージを形成するように構成された変調型カラーＬＥＤの矩形アレイを備える。カラーＬＥＤのアレイは、それ自体が光を発するので、表示デバイスから照明器１６を省略することができる。

[0014] 上記で考慮された実施形態では、イメージ形成器２４（および照明器２２がある場合はそれも）は、コントローラ１６と結合される。コントローラは適切な制御信号を供給するものであり、イメージ形成器により制御信号が受信されると、望ましいディスプレイ・イメージが形成される。更に、コントローラは、ここで説明される動作や他の動作の制御や処理を実行するように、構成される。コントローラ１６の幾つかの機能コンポーネントについては以下で説明する。

[0015] 更に図３を参照すると、イメージ形成器２４は、ディスプレイ・イメージをシースルー・マルチパス光学系２６へ投影するように構成される。マルチパス光学系は、ディスプレイ・イメージをビューワーの瞳孔２８へ反射するように構成される。なお、このビューワーとは、ディスプレイ・デバイスが装備されるヘッドマウント型ディスプレイ・システムの装着者である。マルチパス光学系はまた、ビューワーの瞳孔へ、表示デバイスの外部にあり且つビューワーの向かい側にある外部シーン３０のイメージを送るように、構成される。このように、マルチパス光学系は、ディスプレイ・イメージと外部イメージとの双方を、同じ軸Ａに沿って瞳孔へ案内するように構成される。図３に示されるシーン３０は、静止または運動している１以上の前景サブジェクト３２を含む。前景サブジェクトは、背景サブジェクト３４の前方に、即ち、背景サブジェクトと表示デバイスとの間に、配置される。

[0016] 瞳孔２８へ向けて、ディスプレイ・イメージを反射するため、および外部イメージを送るために、マルチパス光学系２６は、光ビーム・スプリッタに見られるような部分的に反射し部分的に透過する構造を備える。１つの実施形態では、マルチパス光学系は、部分的銀皮膜ミラーを備える。別の実施形態では、マルチパス光学系は、薄型ターン膜（thin turning film）を支持する屈折構造を備える。

[0017] １つの実施形態では、マルチパス光学系２６内の屈折構造は、光パワー（optical power）を備えるように構成される。これは、制御されたバージェンス（vergence）を行う瞳孔２８へディスプレイ・イメージを案内するために使用することができ、ディスプレイ・イメージは、イメージ形成器２４の面とは異なる焦点面において仮想イメージとして提供される。別の実施形態では、マルチパス光学系は、光パワーを提供せず、仮想ディスプレイ・イメージは、後に説明する他の光学エレメントの発散パワーおよび／または収束パワーを介して形成される。図３において、仮想ディスプレイ・イメージの見かけの位置が、例として３６の位置に示されている。

[0018] １つの実施形態では、照明器２２、イメージ形成器２４、およびマルチパス光学系２６の組み合わせた光パワーは、「無限遠（無限大）の位置（at infinity）」に焦点合わせされた仮想ディスプレイ・イメージを投影することができる。更なる発散光学系や収束光学系なしに、この構成は、表示デバイスを通じて見たシーンが比較的深い被写界深度を有する場合には、好ましいシースルー・ディスプレイ経験を提供する。しかしながら、これは、被写界深度が浅い場合には、さほど好ましくない経験を提供することになる。ここで問題となるのは、人間の頭脳が目の焦点を合わせる方法である。要するに、脳では、シーン内の複数の背景サブジェクトが対立する。脳は、様々な深度に配された背景サブジェクトに対して様々に焦点を合わせるのではなく、全ての背景イメージに対して共通の焦点を使用することを試みる。従って、ヘッドマウント型ディスプレイ・システムの装着者が、無限遠の位置に焦点合わせされた仮想ディスプレイ・イメージを見ており、且つ５メートル先の壁のほうを向いている場合、ディスプレイ・イメージは、壁の前に浮いているような形で現れる。壁およびディスプレイ・イメージは双方とも、装着者の目の焦点を変えることなく解像される。次に、装着者が顔の前に手を出すと、手を解像することにより焦点が変えられ、手に焦点が合わせられると、壁およびディスプレイ・イメージは不鮮明になる。

[0019] しかし、背景イメージを整合させようとする脳の試みは、目の深度が有限であるので、制限される。この例におけるビューワーが、例えば、壁から３０センチメートルのところまで近寄ると、無限遠の位置に投影された壁とディスプレイ・イメージとの双方を、同じ角膜の焦点で鮮明に画像化することが不可能になる。この試みを続けると、ビューワーは目の疲労や頭痛をおぼえることになる。

[0020] これらの問題に鑑みて、図３の表示デバイス１２は、仮想ディスプレイ・イメージを調節可能（移動可能）な焦点面に投影するように構成される。焦点面は、背景サブジェクト３４への距離および他のファクタに応じて、動的に調節される。従って、表示デバイス１２は、適応型発散レンズ３８および発散レンズ・ドライバ４０Ａを備える。適応型発散レンズは、光パワーを調節可能な適応型発散光学系の一例である。これは、マルチパス光学系とビューワーの瞳孔との間に配され、ディスプレイ・イメージおよび外部イメージを調節可能に発散させるように構成され、ターゲット焦点面（目標とされる焦点面）でディスプレイ・イメージに焦点が合わされる。発散レンズ・ドライバは、適応型発散レンズと結合されるものであり、レンズの光パワーを調節するように構成される。このドライバは、コントローラ１６からの制御信号に応じて適応型発散レンズの焦点距離を制御するように構成される。このように、仮想ディスプレイ・イメージの焦点面を前後に動かすことができ、例えば、無限大から有限の深度まで動かすことができる。一方、コントローラは１以上の形態の入力を受信し、それらの入力は、以下に説明するように、コントローラが焦点面の望ましいターゲット位置を決定することを可能にする。

[0021] １つの実施形態では、適応型発散レンズ３８の焦点距離は変化し、それにより、仮想ディスプレイ・イメージの焦点面を、無限遠と３０センチメートルとの間で、例えば、連続的または固定の増分の適切な微細な間隔で、移動させる。幾つかの実施形態では、増分は、逆格子空間（reciprocal space）において線形的に配列される。例えば、４、５、１０、１００の増分などがある。１つの実施形態では、増分は、２分の１ジオプターの刻みで配列される。１つの実施形態では、適応型発散レンズは、焦点距離が２５センチメートルである場合に、最大の光パワーが−４ジオプターである。別の実施形態では、適応型発散レンズは、発散レンズの複合スタックを備え、その中の少なくとも１つのレンズは光パワーを変更可能である。

[0022] 適応型発散レンズ３８は、ビューワーの目の直ぐ前に配されるので、また、光パワーを有するので、更には、その光パワーは変化するので、このレンズは、このレンズを通って送られるシーン３０の外部イメージの焦点をぼかす原因となりやすい。従って、表示デバイス１２は、適応型収束レンズ４２および収束レンズ・ドライバ４０Ｂも含む。適応型収束レンズは、光パワーを調節可能な適応型収束光学系の一例である。これは、適応型発散レンズと相対してマルチパス光学系の反対側に配され、外部イメージを調節可能に収束させるように構成され、ターゲット焦点面で外部イメージに焦点が合わされる。収束レンズ・ドライバは、適応型収束レンズと結合されるものであり、レンズの光パワーを調節するように構成される。このドライバは、コントローラ１６からの制御信号に応じて適応型収束レンズの焦点距離を制御するように構成される。１つの実施形態では、適応型収束レンズの焦点距離が、適応型発散レンズによりもたらされるバージェンスを適応型収束レンズにより全く逆にするように調節され、その結果として、シーン３０の外部イメージへ光パワーが適用されないようにする。１つの実施形態では、発散レンズおよび収束レンズの焦点距離は、調和して調節される。即ち、一方が増加すると（即ち、正方向に向かうと）、他方が減少する（即ち、負方向に向かう）。１つの実施形態では、増加および減少は同じ量である。別の実施形態では、あり得る非理想的性質の補償を行うために、増加と減少とは異なる。これらおよび他の実施形態において、このような調節は一斉に行われる。換言すると、適応型発散レンズの調節と適応型収束レンズの調節との間の遅延は僅かなものであるか、またはこれらの調節の間に遅延は無い。例えば、調節はプッシュ・プル（push-pull）様式で行われる。

[0023] 別の実施形態では、適応型収束レンズ４２の焦点距離は、適応型発散レンズ３８の焦点距離と共に調節され、それにより、一定の光パワーがシーンの外部イメージに印加される。このアプローチは、シースルー・ディスプレイ経験を提供し、それを提供している間に、以下に説明するようにビューワーの近視、遠視、および／または老視を修正するために、使用できる。

[0024] １つの実施形態では、適応型発散レンズ３８および適応型収束レンズ４２は、それぞれ、１以上の電気光学的にチューン（調整）可能なエレメントを備える。そのようなエレメントは、印加される電界に応じて変化する屈折率を有する材料相（material phase）を有する。このように、印加される電界を変化させることにより、レンズの光パワー（即ち、焦点距離）を制御可能に変化させる。材料相の屈折率は、変化する電界に対して迅速に応答するので、適応型のレンズは、例えば、７５ないし１００ミリ秒である人間の目の焦点調節の時間の尺度（time scale）で、迅速に応答するように構成される。これは、応答時間の長い機械的に作動する適応型レンズ・システムに勝る利点である。ここで考慮される実施形態では、適応型のレンズの応答時間が速いので、ディスプレイ・イメージと外部イメージとの共通焦点面は即座に動くことが可能となる。更に、応答時間が速いことにより、適応型収束レンズが適応型発散レンズの光パワーの変化を正確に「追跡」することを可能にし、それにより、ディスプレイ・イメージに焦点が合わされているときには常に外部イメージに焦点が合わされていることになる。

[0025] 電気光学的にチューン可能なエレメントに基づく適応型発散レンズおよび適応型収束レンズは、迅速な応答以外の利点も提供する。例えば、そのようなレンズは、ドライバ４０Ａおよび４０Ｂからの２ないし５ボルトの制御信号で動作するように構成して、共通の系統の論理デバイスとコンパチブルとするようにできる。更に、それぞれの電気光学的にチューン可能なエレメントは、可視度が約９７パーセントの透明性を有する薄い軽量の層とすることができる。従って、そのようなエレメントを３個含むスタックは、９１パーセントの可視度を維持することができ、厚さは１．５ミリメートルよりも厚くならない。幾つかの実施形態では、マルチパス光学系２６は、適応型発散レンズ３８および／または適応型収束レンズ４２と光学的に結合され（例えば、指数が整合させられ）、表示および／またはイメージの減衰が低減される。他の実施形態では、１以上のマルチパス光学系、適応型発散レンズ、および適応型収束レンズは、光学的な損失を低減するために、反射防止膜を支持する。

[0026] これらの利点は存在するが、上記の説明は限定を意図するものではなく、様々な変形も企図されることが理解されるであろう。例えば、鏡のような適応型反射エレメントや、屈折エレメントと反射エレメントとを組み合わせたものを用いて、ここで説明した適応型発散光学系および適応型収束光学系を適切に実現することもできる。

[0027] 上記のように、コントローラ１６は、ターゲット焦点面の望ましい位置を決定することを可能にする入力を、受信する。従って、図３では距離計４４を示す。距離計は、シーン３０に面する表示デバイス１２の正面で結合されるものであり、距離計自体とシーンの背景サブジェクト３４との間の距離を感知する任意のデバイスでよい。そのために、距離計は、パルスを発した時点と、「エコー」、即ち、反射または戻りのパルスを検出した時点との間の時間を測定するように構成される。パルスは、音波パルス、超音波パルス、光パルスなどである。他の実施形態では、距離計は、パターン化した光で照らされたシーンのイメージを取得する。反射して距離計へ戻ってきたパターン化した光の測定値に基づいて、背景への距離を三角法で測定することができる。

[0028] 図３は、シーン３０に面する表示デバイス１２の正面で結合されている距離計４４を示しているが、別の構成の距離計を他の位置に配することもできる。例えば、距離計は、背景までの距離と、例えば瞳孔の向きにより定義されるビューワーの目の光学軸の交差の角度とを相関させる技術を用いる場合もある。このような原理に基づいて動作する距離計は、表示デバイスの反対の側、即ち、ビューワーの目と向かい合わせに配置することができ、それにより、それぞれの瞳孔の向きを観察することができる。

[0029] これらおよび他の実施形態において、コントローラ１６は、仮想ディスプレイ・イメージのターゲット焦点面を、距離計により報告された距離に設定する。従って、仮想ディスプレイ・イメージと外部イメージとの共通焦点面の深度は、距離計の出力に基づいて決定することができる。しかし、この開示の範囲に含まれる他の実施形態では距離計を含まない場合もあることが理解されるであろう。そのような場合、コントローラ１６は、例えば、コンピュータ・システムやアプリケーションからの外部入力などのような他の基準に基づいてディスプレイ・イメージの焦点面を設定するように、構成される。別の実施形態では、距離計を含んでいても、距離計の出力に取って代わるような様式で、外部入力を用いてディスプレイ・イメージの焦点面を設定することができる。別の実施形態では、距離計の出力を変更し、外部入力に基づいてディスプレイ・イメージを前後に動かすことができる。更に別の実施形態では、外部入力が或る焦点面を指図し、且つ距離計の出力が別の焦点面を指図する場合に、更なる処理を適用する。そのような処理は、「妥協した」焦点面を決定するか、または入力の対立を解決するために優先順位を確立する。

[0030] 更に図３を参照すると、表示デバイス１２は直線加速度計４６およびジャイロスコープ型センサ４８を含む。これらのセンサは、表示デバイスを取り付けたヘッドマウント型ディスプレイ・システム内の任意の位置に結合されるものであり、ビューワーの頭の動きに応答した信号をコントローラ１６へ供給する。１つの実施形態では、コントローラは、センサにより報告されたビューワーの頭の動きに部分的に基づいて、仮想ディスプレイ・イメージの適切な焦点面を決定する。例えば、直線加速度計は、ビューワーの頭が表示デバイス１２の光学軸から離れるように傾いたときに、それを検知し、ディスプレイ・イメージおよび／または外部イメージの焦点の修正が望まれることを示す。同様に、ジャイロスコープ型センサは、ビューワーの頭の回転を検知し、焦点の変更を提案するために使用される。

[0031] 上記で説明した構成は、ビューワーの共通焦点面において第１のイメージと第２のイメージとをオーバーレイする（重ね合わせる）ための様々な方法を可能にする。従って、ここで上記の構成を続けて参照して、幾つかのそのような方法を例として説明する。しかし、ここで説明する方法、およびこの開示の範囲内にある他の方法が、他の構成でも実施できることは理解されるであろう。当然ではあるが、幾つかの実施形態では、この開示の範囲から離れることなく、ここで説明および／または例示する処理ステップの幾つかを省略できる。同様に、意図する結果を達成するために、例示される処理ステップの順が常に要求されるというものではない。この順は、例示および説明を容易にするためのものである。用いられる特定の戦略に応じて、ここで示される動作、機能、および演算のうちの１以上のものを、反復して行うこともできる。

[0032] 図４は、ビューワーの共通焦点面において第１のイメージと第２のイメージとをオーバーレイするための例示的な方法５０を示す。この実施形態において、ビューワーは、ヘッドマウント型ディスプレイ・システムの装着者である。第１のイメージは、ヘッドマウント型ディスプレイ・システムにおいて形成されるディスプレイ・イメージであり、第２のイメージは、ビューワーの向かい側にあるシーンの外部イメージである。外部イメージは、背景サブジェクトの前方に配される１以上の前景サブジェクトを含み得る。

[0033] 方法５０の５２において、ディスプレイ・イメージがヘッドマウント型ディスプレイ・システムにおいて形成される。上記で説明したように、ディスプレイ・イメージは、表示システムにおいて結合された任意の適切なイメージ形成器で形成される。ディスプレイ・イメージの形成において、イメージ形成器は、ディスプレイ・イメージを、ビューワーの瞳孔および網膜に基づいて定められるビューワーの自然な光学軸に垂直に配される無限遠距離の焦点面へ、投影する。

[0034] ５４において、シーンの背景サブジェクトまでの距離が概算される。１つの実施形態では、背景サブジェクトまでの距離を概算する工程は、上記のように、背景サブジェクトからの音波、超音波、または光の反射を検知することを含む。別の実施形態では、背景サブジェクトまでの距離を概算する工程は、ビューワーの瞳孔（１または複数）の向きを検知すること、例えば、ビューワーの目の収束の角度を測定することを含む。

[0035] ここで考慮する実施形態では、背景サブジェクトまでの概算された距離は、コントローラにより受信され様々に使用されるデータである。例えば、以下に説明するように、そのデータは、ディスプレイ・イメージおよび外部イメージに対する焦点面の選択を制御するか、または選択を通知する。幾つかの実施形態では、このデータは、例えば、５２におけるディスプレイ・イメージの形成の様式を制御するためにも使用される。例えば、左目と右目とは、「無限遠の位置」のサブジェクトを見るときのみ、平行した光学軸に沿ってアライメントされることが知られている。しかし、サブジェクトとビューワーとが近づくと、左目の光学軸と右目の光学軸とは収束してサブジェクトの位置で交差する。従って、サブジェクトと同じ焦点面でディスプレイ・イメージが楽に見られるようにする場合には、サブジェクトとビューワーとが近づいたときに、左目用のディスプレイ・イメージを右へ移動させ、右目用のディスプレイ・イメージを左へ移動させる。１つの実施形態では、そのような移動は、幾何学および視覚の原理に従ってコントローラ１６により行われる。

[0036] 図４を続けて参照すると、５６において、ビューワーの頭の運動が検知される。１つの実施形態では、検知される運動は、直線加速度計により検知される線形加速を含む。別の実施形態では、検知される運動は、ジャイロスコープ型センサにより検知される回転を含む。従って、ビューワーの頭の何れの回転や傾斜も検知される。

[0037] ５８において、ディスプレイ・イメージは、マルチパス光学系を通じて反射されビューワーの瞳孔へ案内される。１つの実施形態では、図３に示すように、ディスプレイ・イメージは、イメージ形成器から、マルチパス光学系において９０度で反射されて、ビューワーの瞳孔へ案内される。６０において、外部イメージが、マルチパス光学系を透過してビューワーの瞳孔へ案内される。図３を更に参照すると、外部イメージは、マルチパス光学系を通じてビューワーの瞳孔へ直接的に案内される。従って、ディスプレイ・イメージと外部との双方が、マルチパス光学系からビューワーの瞳孔へ、ビューワーの瞳孔および網膜により定められる同じ光学軸に沿って案内される。

[0038] ６２において、ディスプレイ・イメージは、外部イメージと共に、表示システムの適応型発散光学系において調節可能に発散させられる。これらのイメージに適用される発散のレベルは、ディスプレイ・イメージを、それが投影されている無限遠距離の焦点面からターゲット焦点深度へ動かすレベルである。１つの実施形態では、ディスプレイ・イメージが移動させられるターゲット焦点深度は、ビューワーと外部シーンの背景サブジェクトとの間の距離に対応する。このように、ディスプレイ・イメージは、上記で説明した共通焦点面において焦点合わせされる。

[0039] ６４において、外部イメージは、第２のイメージを共通焦点面において焦点合わせするために、適応型収束光学系において調節可能に収束させられる。６２および６４において、適応型発散光学系および適応型収束光学系は一斉に作動させられ、それにより、ディスプレイ・イメージと外部イメージとの焦点が同時に合わされる。更に、適応型発散光学系および適応型収束光学系は一斉に作動させられ、それにより、ディスプレイ・イメージおよび外部イメージを調節可能に発散させることにより生じる外部イメージのバージェンスを、外部イメージを調節可能に収束させることにより逆にする。

[0040] １つの実施形態では、６２において外部イメージへ与えられた発散は、６４において完全に逆にされ、それにより、外部イメージへ正味のバージェンスは適用されない。別の実施形態では、バージェンスは完全にまでは逆にされない。それは、外部イメージに対してのビューワーの解像度に影響し得るビューワー自身の目の欠陥、例えば、近視、遠視、老視などを修正するためである。従って、６２および６４の動作は、ビューワーに目の欠陥があるとしても、ビューワーが外部イメージを解像することを可能とする適切な量の正味のバージェンスが外部イメージへ適用される、という結果になる。

[0041] ビューワーの目の欠陥を修正する構成を含む実施形態では、適切な修正レベルを決定するための様々な動作が行われる。１つの実施形態では、ヘッドマウント型ディスプレイ・システムのインターフェースが、ビューワーに対して、修正レベルを特定するための質問を行う。別の実施形態では、システムは更に自動化された手順を行い、その手順では、コントローラは、修正レベルを、近視の限界から遠視の限界まで漸進的に変化させる。ビューワーは、修正レベルが適切なものとなった点で、レンズを軽くたたくことにより、または他の適切な様式で、信号を送る。方法は、６４から戻る。

[0042] 上記のように、ここで説明した方法および機能は、図３で概略的に示したコントローラ１６を介して行われる。コントローラは、論理サブシステム６６およびメモリ・サブシステム６８を含む。コントローラは、論理サブシステムおよびメモリ・サブシステムと結合されて、ここで説明した方法、即ち、計算、処理、制御などの機能を行うように構成される。

[0043] より詳細には、メモリ・サブシステム６８は、論理サブシステム６６に様々な方法を行わせるための命令を保持する。そのため、論理サブシステムは、命令を実行するように構成された１以上の物理デバイスを含む。例えば、論理サブシステムは、１以上のプログラム、ルーチン、サブジェクト、コンポーネント、データ構造、および他の論理構造の一部である命令を実行するように構成される。そのような命令は、タスクを行うため、データ・タイプをインプリメントするため、１以上のデバイスの状態を変換するため、または望ましい結果に到達するために、実行される。論理サブシステムは、ソフトウェア命令を実行するように構成された１以上のプロセッサを含むことができる。更にまたは代替例として、論理サブシステムは、ハードウェア命令やファームウェア命令を実行するように構成された１以上のハードウェア論理マシンやファームウェア論理マシンを含むことができる。オプションとして、論理サブシステムは、幾つかの実施形態ではリモート位置に配される２以上のデバイスに分散しているコンポーネントを、含むことができる。

[0044] メモリ・サブシステム６８は１以上の物理的な非一時的デバイスを含むことができ、そのデバイスは、ここで説明する方法および機能を実施するために論理サブシステム６６により使用可能なデータおよび／または命令を保持するように構成される。この方法および機能が実施されると、メモリ・サブシステムの状態は変わる（例えば、異なるデータを保持するようになる）。メモリ・サブシステムは、取り外し可能媒体および／またはビルトイン・デバイスを含むことができる。メモリ・サブシステムは、とりわけ、光メモリ・デバイス、半導体メモリ・デバイス、および／または磁気メモリ・デバイスを含むことができる。メモリ・サブシステムは、揮発性、不揮発性、動的、静的、読み出し／書き込み、読み出し専用、ランダム・アクセス、シーケンシャル・アクセス、ロケーション・アドレサブル（location addressable）、ファイル・アドレサブル、およびコンテント（content）・アドレサブルという特性のうちの１以上のものを備えるデバイスを含むことができる。１つの実施形態では、論理サブシステムおよびメモリ・サブシステムは、特定応用向け集積回路（ＡＳＩＣ）やシステム・オン・チップと呼ばれているもののような、１以上の共通のデバイスに統合することができる。別の実施形態では、メモリ・サブシステムは、コンピュータ・システムにより読取可能な取り外し可能な媒体を含むことができ、この媒体は、ここで説明した方法および処理を実施するために使用可能なデータおよび／または命令を記憶および／または転送するために使用できる。そのような取り外し可能な媒体の例は、とりわけ、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ・ディスク、ＥＥＰＲＯＭ、および／またはフロッピー（登録商標）・ディスクを含む。

[0045] それに対して、幾つかの実施形態では、ここで説明された命令は、例えば、電磁信号、光信号などのような、少なくとも有限の期間にわたって物理デバイスに保持されない純粋な信号として、一時的な様式で伝搬させることができる。更に、この開示と関連するデータおよび／または他の形の情報は、純粋な信号により伝搬させることができる。

[0046] 「モジュール」や「エンジン」という用語は、１以上の特定の機能を行うように実装されるコントローラ１６の構成を説明するために用いられている。幾つかの場合、そのようなモジュールやエンジンの例として、メモリ・サブシステム６８に保持されている命令を実行する論理サブシステム６６が挙げられる。様々なモジュールおよび／またはエンジンの例としてのものを、同様のアプリケーション、コード・ブロック、サブジェクト、ルーチン、および／または機能から挙げられることが、理解されるであろう。同様に、幾つかの場合において、同じモジュールおよび／またはエンジンの例としてのものを、別のアプリケーション、コード・ブロック、サブジェクト、ルーチン、および／または機能から挙げられることも、理解されるであろう。

[0047] 図３に示すように、コントローラ１６は、様々な入力デバイス、およびディスプレイ１２のような様々な出力デバイスを含むことができる。ディスプレイ１２は、メモリ・サブシステム６８に保持されているデータの視覚表現を提供する。ここで説明された方法および処理は、メモリ・サブシステムに保持されるデータを変更し、従って、メモリ・サブシステムの状態を変える。同様に、ディスプレイの状態も変えられて、その基礎的なデータの変化を視覚的に表す。ディスプレイは、実質的に任意の技術を用いる１以上の表示デバイスを含むことができる。そのようなディスプレイは、共用のエンクロージャ（筺体筺）内で論理サブシステム６６および／またはメモリ・サブシステム６８と組み合わせることができ、また、ディスプレイは、周辺機器型の表示デバイスとすることもできる。

[0048] 最後に、ここで説明した物、システム、および方法は、この開示の実施形態であり、限定のための例ではなく、様々な変形形態や拡張形態も企図されていることが、理解されるであろう。従って、この開示は、ここで説明した物、システム、および方法の全ての新規であり且つ明白ではない組み合わせおよび副次的組み合わせ、およびそれらと等価の形態のものを含む。

Claims (17)

1. 電子的に制御された適応型発散光学系と電子的に制御された適応型収束光学系を有するシースルー・ディスプレイ・システムにおいて、見る人に対してディスプレイ・イメージと外部イメージとを提示する方法であって、前記外部イメージは、前記見る人の向かい側の景色のイメージであって背景サブジェクトを含み、前記方法は、
   前記ディスプレイ・イメージを形成するステップと、
   前記適応型収束光学系と前記適応型発散光学系との間で前記ディスプレイ・イメージと前記外部イメージを重ね合わせるステップと、
   前記適応型発散光学系を通り前記見る人の瞳孔へ通じる軸に沿って前記ディスプレイ・イメージと前記外部イメージとを案内するステップと、
   前記背景サブジェクトまでの距離を決定するステップと、
   前記背景サブジェクトまでの距離に応じたデータを受信するステップと、
   前記背景サブジェクトまでの距離に応じた前記データに基づいて前記ディスプレイ・イメージのターゲット焦点面を計算するステップと、
   前記外部イメージを前記適応型収束光学系において調節可能に収束させるステップと、
   前記ディスプレイ・イメージと前記外部イメージを前記適応型発散光学系において調節可能に発散させて、前記ターゲット焦点面で前記ディスプレイ・イメージの焦点が合うようにするステップと、
   を含む方法。
2. 請求項１に記載の方法であって、前記ディスプレイ・システムは、ヘッドマウント型ディスプレイ・システムであり、前記ディスプレイ・イメージを形成する前記ステップは、前記ディスプレイ・イメージを無限遠距離の焦点面へ投影するステップを含む、方法。
3. 請求項１に記載の方法であって、前記背景サブジェクトからの反射を検知するステップ、前記見る人の瞳孔の向きを検知するステップ、および前記見る人の頭の傾きを検知するステップのうちの１または複数を更に含む、方法。
4. 請求項２に記載の方法であって、前記ディスプレイ・イメージと前記外部イメージを調節可能に発散させる前記ステップは、前記ディスプレイ・イメージを前記無限遠距離の焦点面から前記ターゲット焦点面へ移動させるステップを含む、方法。
5. 請求項４に記載の方法であって、前記ターゲット焦点面は、前記見る人と前記見る人の向かい側の景色の前記背景サブジェクトとの間にある、方法。
6. 請求項１に記載の方法であって、前記適応型発散光学系および前記適応型収束光学系は、前記ディスプレイ・イメージと前記外部イメージの焦点が同時に合うように、一斉に作動する、方法。
7. 請求項１に記載の方法であって、前記適応型発散光学系および前記適応型収束光学系は、前記外部イメージを調節可能に収束させることによる前記外部イメージのバージェンスが前記ディスプレイ・イメージと前記外部イメージを調節可能に発散させることによって逆になるように、調和して作動する、方法。
8. 請求項７に記載の方法であって、前記バージェンスは、前記見る人に目の欠陥があるとしても前記見る人が前記外部イメージを解像することを可能とするように、不完全に逆にされる、方法。
9. 見る人に対してディスプレイ・イメージと外部イメージとを提示するためのシースルー・ディスプレイ・システムであって、前記外部イメージは、前記見る人の向かい側の景色のイメージであって背景サブジェクトを含み、前記システムは、
   前記見る人の瞳孔へ通じる軸に沿って前記ディスプレイ・イメージと前記外部イメージとを案内するように構成されたマルチパス光学系と、
   調節可能な光パワーを有し、前記マルチパス光学系と前記瞳孔との間に配され、前記ディスプレイ・イメージと前記外部イメージとを調節可能に発散させるように構成された適応型発散光学系と、
   調節可能な光パワーを有し、前記マルチパス光学系の前に配されて前記外部イメージを調節可能に収束させる適応型収束光学系と、
   前記背景サブジェクトまでの距離を決定する距離計と、
   前記適応型発散光学系の前記光パワーを電子的に調節して、前記背景サブジェクトまでの距離に応じた前記距離計の出力に基づいて位置を決められたターゲット焦点面において前記ディスプレイ・イメージの焦点を合わせるように構成されるとともに、前記適応型収束光学系の前記光パワーを電子的に調節して、前記適応型発散光学系によって生じる前記外部イメージのバージェンスの変化を逆にするように構成されたコントローラと、
   を備えるシステム。
10. 請求項９に記載のシステムであって、前記ディスプレイ・イメージを前記マルチパス光学系へ投影するように構成されたイメージ形成器を更に備える、システム。
11. 請求項９に記載のシステムであって、前記適応型発散光学系および前記適応型収束光学系のそれぞれは、電気光学的にチューン可能なレンズを含む、システム。
12. 請求項９に記載のシステムであって、前記適応型発散光学系および前記適応型収束光学系のそれぞれは、当該光学系の前記光パワーを変化させるように構成されたドライバに動作可能に結合され、前記コントローラは、それぞれのドライバに動作可能に結合される、システム。
13. 請求項９に記載のシステムであって、前記距離計は、前記背景サブジェクトからの反射を検知するコンポーネントを備える、システム。
14. 請求項９に記載のシステムであって、前記距離計は、前記見る人の瞳孔の向きを検知するコンポーネントを備える、システム。
15. 請求項９に記載のシステムであって、前記見る人の頭の動きを検知するように構成された直線加速度計およびジャイロスコープ型センサのうちの１または複数を更に備え、前記ターゲット焦点面は、前記頭の動きに基づいて位置を決定される、システム。
16. 見る人に対してディスプレイ・イメージと外部イメージとを提示する方法であって、前記外部イメージは、前記見る人の向かい側の景色のイメージであって背景サブジェクトを含み、前記外部イメージは、前記見る人によって装着されたヘッドマウント型ディスプレイ・システムを通じて見られるものであり、前記方法は、
    前記ヘッドマウント型ディスプレイ・システムのイメージ形成器において前記ディスプレイ・イメージを形成するステップと、
    前記ディスプレイ・イメージを、マルチパス光学系を通じて、前記見る人の瞳孔へ通じる軸に沿って反射させるステップであって、前記マルチパス光学系は、電気光学的にチューンされた収束レンズと電気光学的にチューンされた発散レンズとの間に配置される、ステップと、
    前記外部イメージを、前記マルチパス光学系を通じて、前記軸に沿って前記瞳孔へ向けて送るステップと、
    前記背景サブジェクトまでの距離を決定するステップと、
    前記背景サブジェクトまでの距離に応じたデータを受信するステップと、
    前記背景サブジェクトまでの距離に応じた前記データに基づいて前記ディスプレイ・イメージのターゲット焦点面を計算するステップと、
    一斉的に、前記外部イメージを前記電気光学的にチューンされた収束レンズにおいて収束させるとともに、前記ディスプレイ・イメージと前記外部イメージの両方を前記電気光学的にチューンされた発散レンズにおいて発散させて前記ターゲット焦点面で前記ディスプレイ・イメージの焦点が合うようにするステップと、
    を含む方法。
17. 請求項１６に記載の方法であって、前記ターゲット焦点面は、前記外部イメージの焦点面である、方法。

Images