JP3575622B2 - 正確な立体三次元画像を発生する装置および方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明はコンピュータ・グラフィックス装置の分野に関するものであり、更に詳しく言えば、本発明は頭に追従される表示装置における高解像力３Ｄ画像の発生に関するものである。
【０００２】
【従来の技術】
人の眼は、光トランスデューサとして機能する網膜へ結びつけられた光学系としてモデル化できる。人の眼は光線で満たされた物理的空間内に存在している。物理的空間内の、透明な表面と不透明な表面の間の境界、または屈折率が異なる透明な表面の間の境界であるあらゆる点に点光源が存在する。人の立体視は、物理的空間内の種々の場所に両眼を置くことにより達成される。
【０００３】
頭に追従する立体表示装置が、見る人が３Ｄ画像を知覚できるようにするために、人の眼と物理的空間内の光線との相互作用を真似ている。頭に追従する立体表示装置が見る人の頭と眼の物理的空間内の位置を検出し、頭と眼の位置を基にして仮想オブジェクトの立体画像を計算し、立体表示装置の上に立体画像を発生する。
頭に追従する立体表示装置は１度にただ２つの画像を処理して発生することを要する。その結果としてホログラフィック装置よりも処理が大幅に少なくなる。更に、一対の立体画像はホログラムと同じ外観を持つ。頭に追従する立体表示装置では、見る人の頭が傾いた時、または仮想オブジェクトの側面または上を見るために見る人の頭が動く時には、仮想オブジェクトは静止したままであるように見える。頭に追従する立体表示装置の詳細についてはプロシーディングス・オブ・エスピーアイイー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ）１９９２年２月号所載の「頭に追従する立体表示、技術および応用（Ｈｅａｄ−Ｔｒａｃｋｉｎｇ Ｓｔｅｒｅｏ Ｄｉｓｐｌａｙ，Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ）」と題するパレイ（Ｐａｌｅｙ，Ｗ．Ｂ．）の論文を参照されたい。
【０００４】
しかし、頭に追従する従来の立体表示装置は見る人の頭が動いても静止したままであるから、そのような立体表示装置において見る人が利用できる頭の動きの範囲は限られていた。立体表示装置で表示されている虚像の周囲を見る人の頭が動くにつれて、立体表示装置の表示表面に関連する見る人の頭の傾いた位置のために、虚像の一部が切り取られることになる。
【０００５】
更に、頭に追従する従来の立体表示装置は、実オブジェクトと仮想オブジェクトに対する自然の配置を見る人が知覚できるようにするために、仮想オブジェクトからの光を実オブジェクトから反射された光に混合することはできない。見る人が立体表示装置に向き合っている間にその見る人が立体画像を知覚したとすると、立体表示装置と見る人の頭の間に位置させられている物理的オブジェクトが立体表示装置からの光を阻止して虚像を遮断する。
【０００６】
【発明が解決しようとする課題】
後で説明するように、本発明の頭に追従する立体表示装置は見る人の頭の動かせる範囲を大きくできるようにするために、複雑な３Ｄ立体画像を発生する。更に、本発明の頭に追従する立体表示装置は、仮想オブジェクトからの光と実オブジェクトから反射された光を混合して、実オブジェクトと仮想オブジェクトに対する自然の配置を見る人が知覚できるようにする。
【０００７】
【課題を解決するための手段】
頭に追従される表示装置において高解像力３Ｄ画像を発生するための方法および装置を開示する。本発明の方法と装置は頭に追従する立体表示装置において見る人の頭の広い範囲の運動を可能にする。本発明の方法および装置は、見る人の頭の広い範囲の運動に対して、見る人が実オブジェクトに重畳された仮想オブジェクトを知覚することを可能にする。本発明の方法および装置は見る人の頭の動きを追従し、表示構成と立体視パイプラインを自動的に調整して、頭に追従する立体表示装置において見る人の頭の広い範囲の運動を可能にする。
【０００８】
本発明の方法と装置は、見る人が実オブジェクトと仮想オブジェクトを自然構成で知覚することを可能にもする。見る人は、三次元空間内で仮想オブジェクトの前方に位置させられている実オブジェクトを知覚できる。更に、見る人は、三次元空間内で実オブジェクトの前方に位置させられている仮想オブジェクトを知覚できる。本発明の方法と装置は実オブジェクトを仮想座標空間内で表現し、実オブジェクトから反射された光と仮想オブジェクトからの光を混合するために、実オブジェクトのためのｚバッファを発生する。
【０００９】
本発明の頭に追従する立体表示装置はベースハウジング内に配置される表示装置を採用する。その表示装置は、コンピュータで実現されるグラフィックス表現装置により表現される立体画像を発生する。反射鏡が立体画像を見る人へ送るように、その反射鏡が表示装置の表示表面の周囲を回転するために反射鏡が結合される。コンピュータへ結合されている追従装置が三次元空間内における見る人の頭の動きを検出する。見る人が動くにつれて立体画像をその見る人へ送るために、コンピュータはモータにより反射鏡の角度位置を制御する。見るマトリックスを調整して立体画像を反射鏡により反射させるために、画像表現装置は反射鏡の角度位置を用いる。
【００１０】
実オブジェクトからの光と仮想オブジェクトからの光を混合するために、コンピュータは三次元空間内の実オブジェクトの位置と寸法のデータベースを保持する。画像表現装置は実オブジェクトの三次元位置決定を示すｚバッファを発生する。実オブジェクトは無色で表現される。立体画像を見る人の眼へ送り、実オブジェクトから反射された光を見る人の眼へ送るために、半透明鏡が位置させられる。虚像により不明瞭にされている実オブジェクトの部分から反射された光が阻止されるように、実オブジェクトから反射された光の見る人の眼への伝送をＬＣＤアレイパネルが選択的に阻止する。
【００１１】
【実施例】
この明細書においては、見る人の頭の動く範囲を大きくすることを可能にし、実オブジェクトと仮想オブジェクトとの自然構成を見る人が知覚できるようにするために、複雑な３Ｄ立体画像を発生する方法および装置を開示する。説明のための以下の記述においては、本発明を完全に理解できるようにするために、特定の応用、特定の数、特定の装置および特定の構成について述べる。しかし、それらの特定の詳細なしに本発明を実施できることが当業者には明らかであろう。他の場合には、本発明を不必要にあいまいにしないようにするために、周知の装置は線図的な態様またはブロック線図の態様で示されている。
【００１２】
まず、本発明の教示に従ってグラフィックス画像を発生し、ユーザーの入力に応答する、コンピュータをベースとする装置の例が示されている図１を参照する。３つの主な部品で構成されているコンピュータ１０が示されている。それらの部品のうちの第１の部品は、適切に構成されたフォームの情報をコンピュータ１０の別の部分と通信し合うために用いられる入力／出力（Ｉ／Ｏ）回路１２である。それに加えて、コンピュータ１０はＩ／Ｏ回路１２へ結合される中央処理装置（ＣＰＵ）１４とメモリ１６も含む。それらの素子はほとんどの汎用コンピュータにおいて典型的に見出されるものである。コンピュータ１０は広い種類のコンピュータ装置を代表することを意図するものである。
【００１３】
コンピュータ１０へ付加的な記憶性能を提供するためにＩ／Ｏ回路１２へ結合されている磁気ディスク２０が示されている。周知のように、磁気ディスク２０はその他のコンピュータプログラム、キャラクタ、ルーチン等を記憶できる。それらはＣＰＵ１４によりアクセスおよび実行できる。データを記憶するための磁気テープドライブのような付加装置をコンピュータへ結合でき、かつ別のコンピュータ装置へ結合されるネットワークをコンピュータへ結合できる。
【００１４】
本発明の教示に従って予め処理された３Ｄ立体画像を分配するための付加記憶性能を提供するために、Ｉ／Ｏ回路１２へ結合されたＣＤ ＲＯＭ２０が示されている。また、Ｉ／Ｏ回路１２へ結合されたＬＣＤパネル制御器２８が示されている。ＬＣＤパネル制御器２８は、ＬＣＤパネル・アレイの画素の透明度を制御するために、コンピュータ１０からビットマップデータを受ける。
【００１５】
Ｉ／Ｏ回路１２へ結合されたモータ制御装置３０が示されている。このモータ制御回路３０はコンピュータ１０がサーボモータを制御できるようにするためのものである。あるいは、モータ制御回路３０はコンピュータ１０がステッピングモータを制御できるようにする。後で説明するように、モータ制御装置３０により制御されるサーボモータまたはステッピングモータは、虚像を発生するためにコンピュータ１０が回転反射鏡の位置決めを制御できるようにする。
【００１６】
本発明の教示によるＣＰＵ１４により発生された画像を表示するために用いられるラスタ表示装置２４が、Ｉ／Ｏ回路１２へ結合されているのが示されている。表示装置２４として広範囲のラスタ（または画素マップされた）表示装置を利用できる。ここで説明している実施例においては、表示装置２４は立体ＣＲＴを含む。後で詳しく説明するように、ＣＰＵ１４により表示装置２４を介して発生される表示画像は、反射鏡を介して見る人により知覚される。したがって、ＣＰＵ１４は画像を構成している画素の左右の位置を知覚するように表示画像を発生する。見る人が画像を正しく知覚できるようにするために反射鏡は左右の位置を再び逆にする。
【００１７】
データとコマンドをコンピュータ１０へ入力するために周知のように用いられるキーボード１８が、Ｉ／Ｏ回路１２へ結合されているのが示されている。シャッター制御される一対の立体眼鏡１２０がＩ／Ｏ回路１２へ結合されているのが示されている。このシャッター制御される立体眼鏡１２０には超音波を受けるための超音波受波器１２２が埋め込まれる。このシャッター制御される立体眼鏡にはシャッター制御されるレンズを制御するための赤外線制御されるスイッチも埋め込まれる。
【００１８】
３Ｄ６軸マウス１３０がＩ／Ｏ回路１２へ結合されているのが示されている。この３Ｄマウス１３０は、超音波を受けるための３個一組の超音波受波器１３２を含む。３Ｄマウス１３０およびシャッター制御される立体眼鏡１２０の３Ｄ位置が３Ｄ６軸超音波頭追従器１４０により検出される。一実施例においては、この頭追従器は立体ＣＲＴ２４へ装着される。３Ｄ６軸超音波頭追従器１４０には、超音波受波器１２２と１３２より受けられる超音波を発生する超音波送波器１４２が埋め込まれる。
【００１９】
次に、図１に示されているメモリ１６に含まれている主プログラムの１つの構成が示されている図２を参照する。とくに、表示装置１４の画素マップとして機能するフレーム・バッファ３６が示されている。このフレーム・バッファ３６は表示装置１４のためのビデオメモリを表す。フレーム・バッファ３６中の各記憶場所は、立体ＣＲＴ２４における佐眼画素または右眼画素に対応する。したがって、フレーム・バッファ３６は、立体ＣＲＴ２４における画素に対応する既知座標を持つ点の二次元アレイを構成する。ある画像を１つのバッファから表示している間に、別の画像を別のバッファからアクセスできるように、フレーム・バッファ３６は二重バッファとして構成することが好ましい。
【００２０】
メモリ１６は、この明細書において開示されるように、本発明の教示に従って諸機能を実行するＣＰＵ１０により実行される各種のプログラムも含む。また、メモリ１６は、コンピュータ装置においてその他の周知の機能およびオペレーションを制御または実行するための別のプログラムも含む。
【００２１】
一実施例においては、見る人はシャッター制御される立体眼鏡を掛け、３Ｄ６軸マウス１３０を操作できる。３Ｄ６軸マウス１３０とシャッター制御される立体眼鏡１２０の３Ｄ位置は３Ｄ６軸頭追従器１４０により検出される。超音波が超音波受波器１２２，１３２と超音波送波器の間を伝わる時間を用いて、３Ｄマウス１３０とシャッター制御される立体眼鏡１２０の３Ｄ位置を三角測量する。３Ｄマウス１３０は見る人により知覚される虚像を操作するために用いられる。
【００２２】
頭に追従する立体表示装置においては、立体視表示パイプラインが２つの４×４透視マトリックス（実効的には各眼に対して１つの単眼パイプライン）により指定される。それらのマトリックスは視野の全体的な物理的構成についての情報を暗黙理に含む。結果としての各マトリックスはねじれ成分を含む。
【００２３】
視野の物理的構成は３Ｄ空間内の表示面の位置と、見る人の眼の動的な位置とにより決定される。それらのパラメータが既知である場合には、ビューマトリックスはあるスケールファクター内で一意である。各眼に対するビューマトリックスは、見る人の眼に先端部があり、表示面内の表示ウィンドウの４つの隅により底部が定められるピラミッドに対応する。表示面が完全に平坦であると仮定するならば、前方クリッピング面と後方クリッピング面は表示面の平面に平行である。
【００２４】
この実施例においては、コンピュータ・グラフィックス・アプリケーションが物理的座標と仮想座標（ＶＣ）の間の関係をマトリックスＰにより指定する。マトリックスＰにより暗示される相対的な位置、相対的な向き、およびスケールは、仮想世界と物理的な世界をどのようにして重ね合わせるかを指定する。（このスケール・ファクターはｇとして示されている。）立体表示装置の物理的構成と見る人の眼の検出された実時間位置が、最終的な４×４のビューマトリックスに対して必要な情報の残りに寄与する。最終的な４×４のビューマトリックスは、コンピュータ１０において実現されるグラフィックス表現装置に対するパラメータとして用いられる。
【００２５】
本発明の教示を実現するために、立体ＣＲＴ２４はそれの表示面へ記録される物理的座標系を持つものとみなされる。この物理的座標系のことを以後表示プレート座標（ＤＰＣ）と呼ぶことにする。
【００２６】
次に、ＤＰＣ座標系の例が示されている図３を参照する。ＤＰＣの原点は立体ＣＲＴ２４の表示面の可視部分の左下隅にある。ｘ軸は右へ水平に延長する。ｙ軸は上へ垂直に延長する。ｚ軸は仮想表示面に対して垂直であって、正座標が見る人へ向かって出る。
【００２７】
仮想表示面５０上におけるウィンドウが、そのウィンドウの左下隅と右上隅をｚ＝０平面上の２個のＤＰＣ点ＬとＨとして指定することにより定められる。見る人の各眼はＤＰＣ空間内に別々の座標を持つ。１つの眼点の座標の例がＥで示されている。前方および後方のクリッピング平面がｚ軸に沿う距離ＦとＢにより与えられる。
【００２８】
ＤＰＣでの可視点を［−１＋１］［−１＋１］［−１＋１］の拡張された単位立方体へマップする、列ベクトル・マトリックス・フォーマットで表現される、１つの眼に対するビューマトリックスは次の通りである。
【００２９】
【数１】

【００３０】
上の式は立体ＣＲＴ２４のような表示装置、および投写表示パネルや立体ＬＣＤパネルへ適用される。見る人の眼の間の距離である眼間距離はビューマトリックスＰには直接表されていないことに注目すべきである。
【００３１】
頭に追従する表示装置においては、表示面における視差は必ずしも水平ではない。見る人が垂直に向けられている眼で表示を観察するならば、スクリーンにおける視差は完全に垂直である。スクリーンにおける視差の量は、与えられた頭距離およびオフセットに対しても一致しない。見る人の頭がスクリーンの一方の側へ３０度回されると、スクリーン表面における視差はスクリーンが正方形の表面であるときよりも小さい。
【００３２】
従来のコンピュータ・グラフィックスにおいては、見る投写点は「眼点（ｅｙｅｐｏｉｎｔ）」または「視点（ｖｉｅｗｐｏｉｎｔ）」と呼ばれ、見る人の眼に一致することを意図するものである。しかし、正確に表示するために、視点位置は生理学的に正確に識別せねばならない。一般的な光学用語においては、レンズ系の視点は第１の節点である。人の眼に対する第１の節点の識別について説明するために１９ 年 月 日に出願された「頭に追従する表示装置を用いる高解像力仮想現実装置のための方法および装置（Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｈｅａｄ Ｔｒａｃｋｅｄ Ｄｉｓｐｌａｙ）」という名称の関連する米国特許出願ｓｅｒｉａｌ ｎｏ．
を参照されたい。
【００３３】
眼の節点に対する正確な視点位置は、見る人の各眼の向けられた向きについての情報を獲得するために眼追従装置により達成される。その情報と頭の位置および眼の位置の組合わせを用いて、眼の第１の節点をＤＰＣ空間内に正確に配置できる。また、見る向きについての情報を用いて、網膜の窩部分に対応する表示面スペースの領域を識別するために使用でき、高い空間的精密さで表現できる値打ちがある。
【００３４】
あるいは、眼の第１の節点位置の不確定性による誤差を、見る人の視線が向けられるであろう向きを予測することにより最少にできる。見る人の視線が向けられるであろう向きは仮想表示面５０における立体ウィンドウの中心にできる。３Ｄマウス１３０が採用されると、最もきつい構度要求がマウスを仮想オブジェクトへ「接触すること」を反映する傾向があるから、見る人の視線は対話する虚像の「ホットスポット」の向きに向けられる傾向がある。見る人の視線の向きを３Ｄマウス１３０の先端部に選択することは、眼の回転による誤差が補償される。更に、コンピュータ１０において実行される画像表現ソフトウエアが、仮想表示面５０で表示される立体画像の「ホットスポット」に対するＤＰＣ座標を維持する。
【００３５】
本発明のここで説明している実施例は、ＤＰＣ空間内の見る人の頭のダイナミック位置と向きを獲得するために、超音波追従装置を採用する。しかし、本発明の方法は用いられる追従技術に依存しないことに注目すべきである。超音波追従装置１４０の位置から見る人の眼までの固定ベクトルを用いて、見る人の眼の回転中心を実時間で得るために、頭の位置と向きについてのデータが用いられる。
【００３６】
見る人の頭の眼間距離を、個々の距離の間で±２ｃｍだけ変化できる。ここで説明している実施例においては、与えられた見る人の眼間距離を考慮に入れるために、超音波追従装置１４０から見る人の眼までの固定ベクトルは見る人に固有である。固定ベクトルは見る人の頭への頭に追従する表示装置の位置合わせも考慮する。
【００３７】
コンピュータが発生した画像を見る人が三次元の物理的オブジェクトとして知覚するためには、表示フレーム繰り返し率を運動統合のために十分なものである必要がある。立体画像発生では、低いフレーム繰り返し率で表示されるオブジェクトが変形しかつねじれるように見える、誘導される立体運動という付加現象が存在する。それの詳細については、パーガモン・プレス（Ｐｅｒｇａｍｏｎ Ｐｒｅｓｓ）発行のＶｉｓｉｏｎ Ｒｅｓ．１９７４年第１４巻６０９〜６１３ページ所載の「誘導される立体運動（Ｉｎｄｕｃｅｄ Ｓｔｅｒｅｏ ｍｏｖｅｍｅｎｔ）」と題するタイラー（Ｔｙｌｅｒ Ｃ．Ｗ．）の論文を参照されたい。
【００３８】
図４ａは仮想オブジェクトの頭に追従する立体画像を発生するための回転反射鏡装置５１を示す。回転反射鏡装置５１は見る人が、仮想オブジェクトまたは複数の仮想オブジェクトの種々の透視図の周囲を動くこと、および知覚することを可能にする。円筒形ハウジング５８内に立体ＣＲＴ２４が埋め込まれる。この立体ＣＲＴ２４の中心は円筒形ハウジング５８の軸線にほぼ沿って配置される。立体ＣＲＴ２４の表示面５５が円筒形ハウジング５８の上端部を通って突き出る。回転台５６へ反射鏡５４が結合される。一実施例においては、反射鏡５４は立体ＣＲＴ２４の表示面５５に関して４５度の角度を成す。
【００３９】
一実施例においては、ステッピングモータ（図示せず）が回転台５６を円筒形ハウジング５８の中心軸を中心として回転させる。ステッピングモータはモータ制御装置３０へ結合される。モータ制御装置３０はコンピュータ１０から制御情報を受けるために結合される。コンピュータ１０はステッピングモータに回転台５６の角度位置を制御させることにより、反射鏡５４の角度位置を制御する。
【００４０】
図４ｂは仮想オブジェクト２１０の頭に追従する３Ｄ立体画像を発生するための回転反射鏡装置５１を示す。見る人２００はシャッター制御される眼鏡１２０を掛けている。シャッター制御される眼鏡１２０の３Ｄ位置が超音波追従装置１４０により検出される。超音波は伝わる距離が限られ、超音波追従装置１４０とシャッター制御される眼鏡１２０の間の視線経路を必要とするから、一実施例においては、この超音波追従装置１４０は回転台５６へ取り付けられる。別の実施例においては、範囲が拡張され、視線経路を必要としない追従装置が立体ＣＲＴ２４へ取り付けられる。
【００４１】
一実施例においては、コンピュータ１０は超音波送波器１４２とマイクロフォン１２２の間を超音波が伝わる時間を検出する。この伝播時間を基にしてｍｋオペレータ１０はシャッター制御される眼鏡１２０の３Ｄ位置を三角測量する。コンピュータ１０は、空気温度とその他の要因を与えられて音速を修正し、シャッター制御される眼鏡１２０の３Ｄ位置を三角測量する。
【００４２】
コンピュータ１０は、シャッター制御される眼鏡１２０の３Ｄ位置を追従することにより、見る人２００の頭の３Ｄ位置に追従する。見る人２００が回転歯車装置の周囲を動くにつれて、反射鏡５４が見る人に向き合う角度位置を維持するように、コンピュータ１０は反射鏡５４の回転角度を調整する。
【００４３】
コンピュータ１０とモータ制御装置３０は、回転台５６の動きを見る人２００の頭の大きい動きに制限する安定制御プロセスを実現する。一実施例においては、コンピュータ１０とモータ制御装置３０は、制御を安定させるためにダイナミック・カルマン瀘波を実現する。
【００４４】
見る人２００の動きに追従するためにコンピュータ１０が反射鏡５４の回転角を調整するにつれて、コンピュータ制御は反射鏡５４に短時間における見る人２００の頭の平均位置に追従させる。
【００４５】
コンピュータ１０で実現される画像表現装置は立体ＣＲＴ２４で立体画像を発生する。立体ＣＲＴ２４の表示面５５における立体画像は反射鏡５４により反射される。反射鏡５４は立体画像を、シャッター制御される眼鏡１２０を掛けている見る人２００へ向けて反射する。見る人２００は反射された立体画像を仮想オブジェクト２１０として知覚する。反射鏡５４が半透明鏡であれば、その仮想オブジェクト２１０は見る人２００にとっては透明であるように見える。反射鏡５４が中実反射鏡であれば、仮想オブジェクト２１０は見る人には中実であるようにみえる。
【００４６】
見る人２００にとっては、反射鏡５４の後ろに位置させられている立体ＣＲＴ２４の反射により仮想オブジェクト２１０が発生されたように見える。見る人２００の動きに追従するためにコンピュータ１０が反射鏡５４を回転させるにつれて、それに従って立体ＣＲＴ２４の反射がＤＰＣ空間内を動く。反射鏡５４が回転するにつれて立体ＣＲＴ２４の反射が垂直軸５７を中心として回転するように見える。
【００４７】
図４ｃ，図４ｄは、見る人２００の動きに追従するために反射鏡５４が回転するにつれて、立体ＣＲＴ２４の反射６０の変化する位置をを示す。回転台５６と、立体ＣＲＴ２４と、回転反射鏡５４とを含む回転反射鏡装置５１の平面図が示されている。また、反射鏡５４を介して見る人２００により知覚される立体ＣＲＴ２４の反射された表示面５０も示されている。
【００４８】
図４ｃは、回転反射鏡装置５１に関連する、見る人２００の例としての位置に対する立体ＣＲＴ２４の反射６０の位置を示す。図４ｄは、回転反射鏡装置５１に関連する、見る人２００の別の例としての位置に対する立体ＣＲＴ２４の反射６０の位置を示す。
【００４９】
コンピュータ１０は、回転台５６の回転角度から立体ＣＲＴ２４の反射６０の位置を決定する。コンピュータ１０は、立体ＣＲＴ２４の反射６０の表示面５５の位置に立体ＣＲＴ２４の表示面を位置させるために、見る人２００の眼に対応するビューマトリックスを調整する。したがって、仮想オブジェクトが仮想空間へマップさせられるにつれて、ＤＰＣ空間は立体ＣＲＴ２４の反射６０の表示面５０へ位置合わせさせられる。更に、コンピュータ１０は立体ＣＲＴ２４の表示面においては結合される立体画像の座標の上下反転を行って、反射鏡５４における立体画像の反射を補償する。
【００５０】
図５は、実オブジェクトに重ね合わされる頭に追従する３Ｄ立体画像を発生するための回転反射鏡の別の実施例を示す。図示の例においては、回転反射鏡装置は外科手術を受ける患者２３０の上に重ね合わされている虚像を見る人２００が知覚できるようにする。その虚像は、コンピュータ支援断層写真（ＣＡＴ）走査から得られる外科手術患者の３Ｄ画像である。
【００５１】
天井に装置されているトラック７４へ立体ＣＲＴ７０が回転可能に結合される。天井に装置されているトラック７４は、立体ＣＲＴ７０の位置を天井面に平行な２つの次元に沿って移動させることを可能にする。立体ＣＲＴ７０へ半透明鏡７２が装着される。一実施例においては、半透明鏡７２は立体ＣＲＴ７０の表示面に関して４５度の角度を成す。コンピュータ１０はステッピングモータ（図示せず）を作動させて、垂直軸７５により定められている軸線を中心として立体ＣＲＴ７０と反射鏡７２を回転させる。
【００５２】
見る人２２０はシャッター制御される立体眼鏡１２０を掛ける。超音波追従装置１４０はシャッター制御される眼鏡１２０の３Ｄ位置を検出する。一実施例においては、超音波追従装置１４０は立体ＣＲＴ７０へ装着される。コンピュータ１０は、シャッター制御される眼鏡１２０の３Ｄ位置を検出することにより、見る人２２０の頭の３Ｄ位置に追従する。見る人２２０が動くにつれて、反射鏡７２を見る人２２０に向き合った状態に維持させるために、コンピュータ１０はステッピングモータを作動させて立体ＣＲＴ７０の回転角度を調整する。
【００５３】
見る人２２０の動きに追従するために、立体ＣＲＴ７０および反射鏡７２の回転角度をコンピュータ１０が調整するにつれて、コンピュータにより調整される制御が、見る人２２０の頭の短時間平均位置を反射鏡７２に効果的に追従させる。
【００５４】
コンピュータ１０で実現される画像表現装置は立体ＣＲＴ７０に立体画像を発生させる。立体ＣＲＴ２４の表示面における立体画像は反射鏡７２により反射される。反射鏡７２は、シャッター制御される眼鏡１２０を掛けている見る人２２０へ向けて立体画像を反射させる。見る人２２０は反射された立体画像をＣＡＴ走査の虚像として知覚する。反射鏡７２は半透明鏡であるから、その虚像は見る人には透明であるように見える。
【００５５】
見る人２２０にとっては、ＣＡＴ走査の虚像は、反射鏡７２の反射により発生されるように見える。見る人２２０の動きに追従させるためにコンピュータ１０が立体ＣＲＴ７０と反射鏡７２を回転させるにつれて、立体ＣＲＴ７０の反射はそれに従ってＤＰＣ空間内を動く。
【００５６】
コンピュータ１０は、垂直軸７５を中心とする立体ＣＲＴ７０の回転角度と、その軸のｘ−ｙ運動とから立体ＣＲＴ７０の反射の３Ｄ位置を決定する。立体ＣＲＴ７０の反射の表示面の位置に立体ＣＲＴ７０の表示面を位置させるために、コンピュータ１０は見る人２２０の眼に対応するビューマトリックスを調整する。虚像が仮想空間内へマップさせられるにつれて、ＤＰＣ空間は立体ＣＲＴ７０の表示面へ位置合わせさせられる。更に、反射鏡７２における立体画像の反射を補償するために、コンピュータ１０は立体ＣＲＴ７０の表示面における立体画像の座標の上下反転を行う。
【００５７】
図６は、仮想オブジェクトと実オブジェクトの配置を見る人が知覚できるようにする頭に追従する立体表示装置を示す。立体ＣＲＴ２４で発生された立体画像が反射鏡３１０により反射されるように、立体ＣＲＴ２４は反転された位置に装置されている様子が示されている。反射鏡３１０は半透明鏡である。見る人３００はシャッター制御される立体眼鏡１２０を掛けている。超音波追従装置１４０（図示せず）が立体ＣＲＴ２４へ装着される。
【００５８】
見る人３００にとっては、立体ＣＲＴ２４における立体画像は、反射鏡３１０の背後に位置させられている立体ＣＲＴ２４の反射により発生されるように見える。その結果、立体ＣＲＴ２４の表示面を立体ＣＲＴ２４の反射の表示面の位置に位置させるために、コンピュータ１０は見る人３００の眼に対応してビューマトリックスを調整する。したがって、虚像が仮想空間へマップさせられるにつれて、ＤＰＣ空間は立体ＣＲＴ２４の反射の表示面の位置に位置合わせさせられる。また、反射鏡３１０における立体画像の反射を補償するために、コンピュータ１０は立体ＣＲＴ２４の表示面における立体画像の座標の上下反転を行う。
【００５９】
コンピュータ１０は、見る人３００の３Ｄ位置を検出するために超音波追従装置１４０を使用する。その後で、コンピュータ１０における画像表示装置は立体画像を立体ＣＲＴ２４上に発生して、仮想オブジェクトを半透明鏡３１０の背後に表示する。シャッター制御される立体眼鏡１２０を掛けている見る人３００は、半透明鏡３１０の背後に位置させられている１つまたは複数の虚像として反射された立体画像を知覚する。半透明鏡３１０は、それの背後に位置させられている実オブジェクト３３０も見る人３００に知覚させる。
【００６０】
実オブジェクト３３０の３Ｄジオメトリと、実オブジェクト３３０の物理的位置とを示す物理的オブジェクト・データベースを保持する。実オブジェクト３３０は物理的オブジェクト・データベースにおいては黒すなわち無色のオブジェクトとしてモデル化される。物理的オブジェクト３３０のためのｚバッファ値を発生するために、コンピュータ１０の画像表示装置は仮想空間内に物理的オブジェクト３３０を表示する。
【００６１】
物理的オブジェクトが、ＤＰＣ空間内で見る人３００の視点から仮想オブジェクトの前方に位置させられるものとすると、コンピュータ１０の画像表示装置のｚバッファが、実オブジェクトにより不明瞭にされる仮想オブジェクトの部分に対する立体ＣＲＴ２４から光を放出させない。このようにして、見る人３００は仮想オブジェクトを実オブジェクトの背後にあるものとして知覚する。
【００６２】
他方、物理的オブジェクトが、ＤＰＣ空間内で見る人３００の視点から仮想オブジェクトの前方に位置させられるものとすると、物理的オブジェクトの、仮想オブジェクトの背後にある部分を不明瞭にするためにＬＣＤアレイパネル３２０が採用される。そのＬＣＤアレイパネル３２０は半透明鏡３１０の上に位置させられる。コンピュータ１０はＬＣＤアレイパネル３２０を構成するＬＣＤ画素のアレイを制御する。コンピュータ１０は、半透明鏡３２０を通って見る人３００へ達する光をＬＣＤアレイパネル３２０に選択的に阻止させる。コンピュータ１０は、物理的オブジェクトのうち、仮想オブジェクトの背後にある部分をＬＣＤアレイパネル３２０に阻止させる。その結果、見る人３００は仮想オブジェクトを実オブジェクトの前方にあるものと知覚する。
【００６３】
図７は図６の頭に追従する立体表示装置により発生された仮想オブジェクトと実オブジェクトの配置を示す。仮想オブジェクト３５０と、実オブジェクト３６０と、仮想オブジェクト３７０とは見る人３００により知覚される。コンピュータ１０は立体ＣＲＴ２４上に立体画像を発生することにより仮想オブジェクト３５０と３７０を発生する。前記したようにそれらの立体画像は半透明鏡３１０により反射される。実オブジェクト３６０は見る人３００に関して半透明鏡３１０の背後に位置させられる。実オブジェクト３６０により反射された光は半透明鏡３１０を透過して、見る人３００により知覚される。コンピュータ１０は、実オブジェクト３６０から反射された光をＬＣＤアレイパネル３２０に選択的に阻止させる。
【００６４】
物理的オブジェクト・データベースは実オブジェクト３６０の３Ｄジオメトリを示し、かつ実オブジェクト３６０のＤＰＣ空間内の物理的位置を示す。実オブジェクト３６０は物理的オブジェクト・データベース内の黒いオブジェクトとしてモデル化される。物理的オブジェクト３６０に対するｚバッファ値を発生するために、コンピュータ１０の画像表示装置は物理的オブジェクト３６０を仮想空間内に表示する。
【００６５】
実オブジェクト３６０は見る人３００の視点から仮想オブジェクト３７０の前方に位置させられる。図示のように、コンピュータ１０の画像表示装置のｚバッファが、実オブジェクト３６０により不明瞭にされる仮想オブジェクト３７０の部分に対する立体ＣＲＴ２４から光を放出させない。このようにして、見る人３００は仮想オブジェクト３７０を実オブジェクト３６０の背後にあるものとして知覚する。
【００６６】
実オブジェクト３６０はＤＰＣ空間内で見る人３００の視点から仮想オブジェクト３５０の背後に位置させられる。図示のように、コンピュータ１０は、物理的オブジェクト３６０のうち、仮想オブジェクト３５０の背後にある部分に対応するＬＣＤアレイパネル３２０の画素に、物理的オブジェクト３６０からの光を選択的に阻止させる。立体ＣＲＴ２４における立体画像からの光は半透明鏡３１０により反射される。その結果、見る人３００は仮想オブジェクト３５０を実オブジェクト３６０の背後に位置させられているものと知覚する。
【００６７】
実オブジェクト３６０のモデルが正しい距離、正しい寸法、および正しい向きで、かつ完全に黒い色でＤＰＣ空間内に表示されているものとすると、反射鏡３１０の背後に位置させられている実オブジェクト３６０は仮想オブジェクト３７０の前方にあるように見える。実オブジェクト３６０をＤＰＣ空間内に表示すると、立体ＣＲＴ２４から（最低黒レベルを超えて）放出させない。その結果、見る人の視線の実オブジェクト３６０に対応する部分から来る変化する光だけが実オブジェクト３６０からの光である。
【００６８】
仮想オブジェクト３５０は実オブジェクト３６０の前方にあるように見えるが、透明なオブジェクトとして実オブジェクト３６０の画像を遮断できない。透明度の範囲は反射鏡３１０の構成によって制限される。仮想オブジェクト３５０は最高の輝度で表示される時に最低の透明度を示す。透明度は反射鏡３１０からの反射光と、その反射鏡を透過する光との割合に依存する。仮想オブジェクト３５０は、より低い輝度で表示される時に、特定の任意の反射鏡に対するより高い透明度を示す。
【００６９】
ＬＣＤアレイパネル３２０は、見る人３００により知覚される透過光の量対反射光の量をコンピュータ１０が制御することを可能にする。ＬＣＤアレイパネル３２０は半透明鏡３１０のうち、見る人３００から遠い側に位置させられる。ＬＣＤアレイパネル３２０は、実オブジェクト３６０から見る人３００へ直接送られる光の量を制御する。ＬＣＤアレイパネル３２０は、画素を基にして光の転移を制御する。
【００７０】
ＬＣＤアレイパネル３２０は光の転移を２つのモードで制御する。２進モードにおいては、実オブジェクト３６０からの光の全てを画素を基にして転移させ、または実オブジェクト３６０からの光の全てを画素を基にして転移させない。「アルファ」モードにおいては、実オブジェクト３６０からの光のある割合が転移される。転移させられる光の割合は画素当たり部分量へセットされる（ＬＣＤノダイナミズム範囲、更新率など）。２進モードはアルファモードの極端なものであって、制御値「アルファ」が０または１の値のみを取ることができるモードである。
【００７１】
２進モードにおいては、仮想オブジェクト３５０は実オブジェクト３６０を遮断できる。これを行うために、アルファ・フレーム・バッファ記憶ビットが、ＬＣＤアレイパネル３２０の各画素に対してコンピュータ１０により保持される。仮想オブジェクト３５０を表示する場合には、仮想オブジェクト３５０に対応するアルファ値が１へセットされる（すなわち、物理的オブジェクトの光がＬＣＤアレイパネル３２０を透過しない）。実オブジェクト３６０の「黒」モデルに対応するアルファ値は０へセットされる。
【００７２】
仮想オブジェクト３５０および実オブジェクト３６０に対してｚバッファリングがコンピュータ１０により行われると、各画素において最も近いオブジェクト型（実または仮想）が、アルファ・ビットを先に概略説明したように正しい値へセットする。アルファ画像がＬＣＤアレイパネル３２０で表示されて、適切な光弁作用を行わせる。ある態様の透明性が、「スクリーン−ドア（ｓｃｒｅｅｎ−ｄｏｏｒ）」透明性法により実オブジェクトと仮想オブジェクトに対して表示される。
【００７３】
アルファモードにおいては、ＬＣＤアレイパネル３２０の各画素を透過する光の量を制御することにより透明性が達成される。コンピュータ１０はフレーム・バッファ内の適切な部分アルファ値をセットしてＬＣＤアレイパネル３２０の透明性を制御する表示方法を実行する。アルファモードは、見る人３００が実オブジェクト３６０（中実または透明）の前方の透明な仮想オブジェクト３５０を知覚できるようにする。アルファモードは、見る人３００が仮想オブジェクト３５０（中実または透明）の前方の透明な実オブジェクト３５０（ガラスのような）を知覚できるようにもする。
【００７４】
αのために選択された値は、与えられたオブジェクトに対して一定にでき、または実オブジェクトの実光学特性、または仮想オブジェクトのシミュレートされた光学特性に従って計算される複雑な関数とすることができる。見る人３００が実拡大鏡を用いて拡大された仮想オブジェクトを知覚するような、複雑な作用を行うことができる。あるいは、コンピュータ１０が適切な光学的シミュレーションおよび作用を行うように、実オブジェクトをデジタル化して、コンピュータ１０へ転送できる。コンピュータ１０は物理的オブジェクトをドッペルゲンガー仮想オブジェクトで完全に置き換える。したがって、図６の装置においては、ある物理的オブジェクトは純粋な黒い仮想オブジェクトの片割れを有し、対応するアルファ値を１へ制御ゲートすることによりある物理的オブジェクトを黒くない仮想コピーで置き換えられる。
【図面の簡単な説明】
【図１】本発明の教示に従ってグラフィックス画像を発生し、ユーザー入力に応答するためのコンピュータを基にした装置を示す。
【図２】図１に示されているメモリに含まれている主プログラムと記憶域の配置を示す。
【図３】立体ＣＲＴの表示面の可視部分の左下隅に原点を持つ表示プレート座標系の例を示す。
【図４】見る人が動き回ることができるようにし、かつ仮想オブジェクトの種々の透視場面を知覚できるようにするために、仮想オブジェクトの頭に追従する立体画像を発生するための回転反射鏡装置のある状態における図である。
【図５】実オブジェクトに重ね合わされた頭に追従する３Ｄ立体画像を発生するための回転反射鏡装置の別の実施例を示す。
【図６】実オブジェクトが仮想オブジェクトを自然に不明瞭にし、仮想オブジェクトが実オブジェクトを自然に不明瞭にするように、見る人が仮想オブジェクトと実オブジェクトの配置を近くできるようにする頭に追従する立体表示装置を示す。
【図７】図６の頭に追従する立体表示装置により発生された仮想オブジェクトと実オブジェクトの配置を示す。
【符号の説明】
１０ コンピュータ
１２ Ｉ／Ｏ回路
１４ ＣＰＵ
１６ メモリ
２０ 磁気ディスク
２４ 表示装置
２８ ＬＣＤパネル制御装置
３０ モータ制御装置
３６ フレーム・バッファ
５１ 回転反射鏡装置
５４，３１０ 反射鏡
５５ 表示面
５６ 回転台
７０ 立体ＣＲＴ
７２，３１０ 半透明鏡
１２０ シャッター制御される眼鏡
１３２ 超音波受波器
１４０ 頭追従装置
１４２ 超音波送波器
３２０ ＬＣＤアレイパネル

Claims (6)

1. コンピュータ手段により表現される立体画像を発生するための表示面を有する表示装置と、
   上記表示装置の表示面の周囲を回転するように結合され立体画像を見る人へ送るように該立体画像を反射する反射器手段と、
   上記反射器手段が見る人の動きに追従するように、コンピュータ手段の制御の下に該反射器手段を上記表示面の周囲に沿って回転させることにより、上記立体画像を見る人へ連続して送る手段と、
   を備える立体三次元画像を発生する装置。
2. 請求項１記載の装置において、上記表示装置と反射器手段が見る人に追従し、上記立体画像を見る人へ送るように、該表示装置と反射器手段をコンピュータ手段の制御の下に二次元平面に沿って動かすための手段を備える装置。
3. 請求項１記載の装置において、
   上記立体画像はコンピュータ手段上の仮想座標空間に表示される仮想オブジェクトとして表現されるものであり、
   前記装置は、さらに、
   実オブジェクトをこの仮想座標空間に上記仮想オブジェクトとともに表示するために、上記反射器手段を半透明鏡で構成するとともにこの半透明鏡の背後に上記実オブジェクトを配置させた構成と、
   上記実オブジェクトの上記仮想座標空間における３次元位置決めを示すｚバッファを生成する構成と、
   上記実オブジェクトが上記仮想オブジェクトの前方に位置させられるものとした場合に、上記ｚバッファに基づき、上記前方に位置させられるものとした実オブジェクトにより隠される、上記表示装置の発生する立体画像の仮想オブジェクトの部分からの光を放出させないようにする手段と、
   上記実オブジェクトが上記仮想オブジェクトの後方に位置させられるものとした場合に、上記ｚバッファに基づき、上記後方に位置させられるものとした実オブジェクトの上記仮想オブジェクトに隠される部分からの光を阻止する手段と、
   を備えた立体三次元画像を発生する装置。
4. コンピュータ手段により表現される立体画像を表示装置の表示面に発生する過程と、
   上記表示装置の表示面の周囲を回転するように結合されている反射器手段から反射された立体画像を見る人へ送るように立体画像を該反射器手段で反射する過程と、
   上記反射器手段が見る人の動きに追従することにより上記立体画像を見る人へ連続して送るように、コンピュータ手段の制御の下に該反射器手段を上記表示面の周囲に沿って回転させる過程と、
   を備える立体三次元画像を発生する方法。
5. 請求項４記載の方法において、上記表示装置と反射器手段が見る人を追従し、上記立体画像を見る人へ送るように、該表示装置と反射器手段をコンピュータ手段の制御の下に二次元平面に沿って動かす過程を更に備える方法。
6. 請求項４記載の方法において、
   上記立体画像はコンピュータ手段上の仮想座標空間に表示される仮想オブジェクトとして表現されるものであり、
   前記コンピュータは、さらに、
   実オブジェクトをこの仮想座標空間に上記仮想オブジェクトとともに表示するために、上記反射器手段を半透明鏡で構成するとともにこの半透明鏡の背後に上記実オブジェクトを配置させた構成と、
   上記実オブジェクトの上記仮想座標空間における３次元位置決めを示すｚバッファを生成する構成と、
   上記実オブジェクトが上記仮想オブジェクトの前方に位置させられるものとした場合に 、上記ｚバッファに基づき、上記前方に位置させられるものとした実オブジェクトにより隠される、上記表示装置の発生する立体画像の仮想オブジェクトの部分からの光を放出させないようにする手段と、
   上記実オブジェクトが上記仮想オブジェクトの後方に位置させられるものとした場合に、上記ｚバッファに基づき、上記後方に位置させられるものとした実オブジェクトの上記仮想オブジェクトに隠される部分からの光を阻止する手段と、
   を備えた立体三次元画像を発生する方法。

Images