JP2006197036A - 立体画像表示装置および立体画像表示方法 - Google Patents

Abstract

【課題】 立体画像を表示するための２次元画像情報を従来よりも迅速且つ簡易な方法で得て、これを用いて観測者に立体画像を観測させることを可能にする。
【解決手段】 画像の観測点ないし撮像点から十分遠方の物体に関しては、物体座標系Ｒにおける２次元画像データだけを用意する。具体的には、移動前の観測者Ａの視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘ_c1，Ｙ_c1）と、移動後の観測者Ａ’の視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘ_c2，Ｙ_c2）との差分（Ｈ_x,Ｈ_y）だけ、画像の位置を移動させる。立体画像表示装置１は、画像の位置が移動させられた２次元画像データに基づき２次元画像を表示する。これにより、観測者は立体画像を観測することができる。
【選択図】 図４

Description

本発明は立体画像を表示するための技術に関する。

人間の目に立体的に見える画像（以下、立体画像という）を表示するために、従来から様々な技術が提案されている。典型的な立体画像の表示方法は、右眼用の画像と左眼用の画像とを短い周期で交互に表示し、これらの画像を表示面上に設けた偏光フィルターによって互いに直交する方向に偏光させるというものである。観測者が、左右に直交する方向の変更選択性を有する眼鏡を通してこの画像を観測すると、観測者の右眼には右眼用の画像のみが見えるし左眼には左眼用の画像のみが見えることになり、左右の画像で視差が発生し、この結果、観測者にとっては立体的な画像に見えることになる。さらに、例えば特許文献１には、観測者の視点の位置をセンサによって計測し、観測者の視線に応じた立体画像を生成して表示することで眼鏡を不要にした技術が開示されている。

上記のような従来技術においては、３次元画像データに基づいて、右眼用及び左眼用にそれぞれ２次元画像データを生成する処理に多大な時間を要してしまうという問題がある。特に観測者が移動したり或いは観測者が別の観測者に変わったりするなどして視点の位置が変わるたびに、３次元画像データから２次元画像データを即時に生成して表示しなければならないような場合もあるが、このような生成処理を迅速に実行することは容易ではない。
特開２００２−７７９４６号公報

本発明は、上述した背景の下になされたものであり、立体画像を表示するための画像データを従来よりも迅速且つ簡易な方法で得て、これを用いて観測者に立体画像を観測させることを可能にするものである。

上述の課題を解決するために、本発明は、画像データを入力する入力手段と、観測者の視点の位置が移動した量を検出する検出手段と、前記検出手段によって検出された視点位置の移動量に合わせて、前記入力手段によって入力された画像データが表す画像の位置を２次元平面上で平行移動させる画像処理手段と、前記画像処理手段によって画像の位置が移動させられた画像データに基づいて画像を表示する表示手段とを備える立体画像表示装置を提供する。この立体画像表示装置によれば、例えば風景画像のように撮像点ないし観測点から十分遠方にあるような物体の画像であれば、観測者の視点位置の移動量に合わせてその画像の位置を２次元平面上で平行移動させるという簡易な処理を経るだけで立体画像用の画像データを生成することができる。もちろん、生成した画像データのデータ量も従来技術に比べて少なくて済む。また、観測者の視点の位置が移動したことによる画像のずれも発生しない。

本発明の好ましい態様において、前記表示手段は、画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有し、前記画像処理手段は、移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させる。

また、本発明は、立体画像表示装置が、画像データを自装置に入力するステップと、前記立体画像表示装置が、観測者の視点の位置が移動した量を検出するステップと、前記立体画像表示装置が、検出された視点位置の移動量に合わせて、前記画像データが表す画像の位置を２次元平面上で平行移動させるステップと、前記立体画像表示装置において、画像の位置が移動させられた画像データに基づいた画像を表示するステップとを備える立体画像表示方法を提供する。

また、本発明は、画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有する立体画像表示装置が行う立体画像表示方法であって、画像データを自装置に入力するステップと、観測者の視点の位置が移動した量を検出するステップと、移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させるステップと、画像の位置が移動させられた画像データに基づいた画像を表示するステップとを備える立体画像表示方法を提供する。

以下、図面を参照して、本発明の最良の実施形態について説明する。
（１）装置構成
図１は、本発明の実施形態に係る立体画像表示装置１を上方から見た場合の断面図を表している。筐体１１の内部には、入力部１２と、画像処理部１３と、２次元情報投影機１４と、表示面１５とが設けられている。入力部１２は、例えばインターネットやＩＳＤＮ（Integrated Services Digital Network）網等の通信網２０に接続されている。入力部１２は、外部装置（図示略）から通信網２０経由で立体画像表示装置１宛てに送信されてくる画像データを受信すると、これを画像処理部１３に供給する。この画像データは、例えばデジタルカメラ等によって撮像された画像を表したものであり、撮像されると直ちに、デジタルカメラに接続された外部装置から通信網２０経由で立体画像表示装置１に送信されてくる。またこれ以外にも、画像データはＷＷＷサーバ装置等の外部装置にコンテンツとして予め蓄積されたものであってもよい。なお、図２に示すように、携帯電話機等のデータ通信の可能な移動局４０を入力部１２に接続し、移動体通信網３０経由で画像データを受信するように構成することも可能である。このようにすれば、固定通信網が整備されていないような山間部などで撮像された立体画像の画像データを立体画像表示装置１に送信することも可能となる。

立体画像表示装置１は、立体画像表示装置１の前に居る観測者Ａを撮像して画像認識等の処理を経ることで観測者の視点の位置を特定し、観測者が移動した場合にはその移動量（以下、視点移動量という）を検出する検出装置１７を備えている。ここで、撮像画像から観測者の視点の位置を特定するための画像処理に関しては既に周知の技術を利用すればよい。画像処理部１３は、検出装置１７によって検出された視点移動量に合わせて、入力部１２から供給される画像データが表す画像を２次元平面上で平行移動した２次元画像データに変換し、これを２次元情報投影機１４に供給する。２次元情報投影機１４は、例えば背面投影型の液晶プロジェクタ装置であり、画像処理部１３から供給された２次元画像データに基づいた２次元画像を、図中の点線矢印に示すように表示面１５の背面に向かって投影する。

表示面１５は、背面に投影された画像を表面側に透過する。筐体１１の観測者Ａに対向する正面側には、表示面１５の面積よりも小さい面積の観測パネル１６が設けられている。この観測パネル１６は、表示面１５から距離ｌだけ離れた位置に表示面１５と平行になるように設けられており、表示面１５から発せられた画像光を背面から観測面に透過する。観測者Ａは、立体画像用の眼鏡をかけた状態で、観測パネル１６を介して表示面１５上の画像を見ることになる。

（２）立体画像を表示する原理
次に、立体画像表示装置１が立体画像を表示する原理について説明する。
まず、観測者から見た場合の座標系（観測者座標系）と、立体表示される物体が存在する物体座標系との関係を考える。図３は、これら両座標系についての説明図であり、観測者Ａから観測した場合の観測者Ａ座標系Ｌと物体座標系Ｒとの関係を表している。また、図３には、観測者Ａが点線矢印に示すように図中右上方向に移動した場合を観測者Ａ’として、その移動後の視点の位置も図示している。観測者座標系は、観測者の視線に直交する面における２次元座標系である。図３では、観測者Ａが観測パネル１６のちょうど正面に相対するような位置に居るので、観測者Ａ座標系Ｌの座標面と観測パネル１６のパネル面とが一致することになる。

一方、物体座標系Ｒは、３次元空間中の任意の場所に原点とＸ，Ｙ，Ｚの座標軸とを設けた３次元座標系である。物体座標系Ｒにおける点（Ｘ，Ｙ，Ｚ）と、その点の像が観測される観測者座標系の点（Ｘ_c，Ｙ_c）との関係は、３行４列の行列Ｃによって表現することができる。すなわち、物体座標系Ｒにおける点を（Ｘ，Ｙ，Ｚ，１）、観測者座標系における点を（Ｘ_c，Ｙ_c，１）と表現すると、両者の関係は（i）式で表されることに
なる（Ｈ_cは媒介変数）。なお、この内容については「井口征士、佐藤宏介、３次元画像計測、昭晃堂、１９９０」に詳細に記載されている。

ここで、画像の撮像点から十分遠方に存在している物体（例えば遠方の風景等）については、図３において、
ｚ₁≒∞
ｚ₁’≒∞
Ｚ＝ｚ₁＋ｚ₂≒∞
Ｚ’＝ｚ’₁＋ｚ’₂≒∞
とみなすことができる。
なお、ｚ₁、ｚ₂、ｚ’₁、ｚ’₂は、それぞれ図３に示すような線分の長さを意味している。すなわち、ｚ₁は、観測者Ａの視点から表示面１５に表示された観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点と、表示面１５に表示された観測対象（点ｒ）との間の距離を意味している。また、ｚ₂は、観測者Ａの視点と、その観測者Ａの視点から観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点との間の距離を意味している。そして、ｚ’₁は、観測者Ａ’の視点から観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点と、観測対象（点ｒ）との間の距離を意味している。また、ｚ’₂は、観測者Ａ’の視点と、その観測者Ａ’の視点から観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点との間の距離を意味している。

この結果、Ｚ≒Ｚ’となり、物体座標系ＲにおいてはＺの影響を無視することができる。そのため、観測者Ａの視点の移動による物体座標系Ｒにおける回転については、次の（ii）式、（iii）式、（iv）式で表される一般的な３次元の回転公式に当てはめることがで
きる。

ここで、各軸周りの回転を考えると、既に説明したようにｚ₁≒∞，Ｚ≒ｚ₁であることより、物体座標系Ｒにおける奥行きＺをＺ≒∞とみなすことができる。そのため、θ≒０、α≒０、β≒０となり、物体座標系Ｒ上の各軸周りの回転は、その回転前に対してほとんど影響を及ぼさないといえる。すなわち、十分遠方に観測される風景等の物体に関しては、物体座標系Ｒの３次元画像情報へ変換しなくても問題ないことになる。例えば観測点（ないし撮像点）から数十メートル程度以上の距離であれば回転の影響をほとんど受けないと考えられるので、上記の「遠方」とは観測点（ないし撮像点）から数十メートル程度以上の距離であることばが望ましい。

そこで、本実施形態においては、画像データの供給源である外部装置が、画像の観測点ないし撮像点から十分遠方の物体に関しては、物体座標系Ｒにおける２次元画像データだけを用意し、３次元画像データを不要としている。これにより、外部装置による画像データの生成処理が簡易となり、その生成処理に要する処理時間も少なくて済むことになる。また、生成した画像データのデータ量も従来のように３次元画像データを変換して得られる２次元画像データの量に比べて少なくなる。

ただし、観測者座標系においては観測者の視点の位置が移動すると、それまでは観測者から見えなかった領域が見えてくるようになる。例えば、移動前の観測者Ａの視点からは図４の領域Ｆは観測することができないが、移動後の観測者Ａ’の視点からは領域Ｆを観測することができる。また、図４に示すように、物体座標系Ｒの（Ｘ，Ｙ）は、観測者Ａの視点からは観測者Ａ座標系Ｌにおける（Ｘ_c1，Ｙ_c1）の位置に観測されることになるが、観測者Ａ’の視点からは観測者Ａ’座標系Ｌ’における（Ｘ_b，Ｙ_b）の位置に観測されることになる。これを、観測面と一致する観測者Ａ座標系Ｌに置き換えると、（Ｘ_c2，Ｙ_c2）となる。つまり、観測者Ａ座標系Ｌ（すなわち観測面）においては、（Ｘ_c1，Ｙ_c1）に対して（Ｈ_x，Ｈ_y）のずれが生じる。なお、Ｈ_x，Ｈ_yはそれぞれ、ずれ量Ｈ＝（Ｈ_x ² ₊Ｈ_y ²）^1/2のＸ方向成分、Ｙ方向成分を意味している。図４は、Ｙ軸に平行な平面上の位置関係を図示したものであるから、ずれＨのＸ方向成分であるＨ_xのみを表記している。

上記のようなずれが生じるために、図５に示すように、物体座標系Ｒに見立てた２次元画像データの座標（Ｘ’，Ｙ’）を観測面（すなわち観測者Ａ座標系Ｌ）の座標（Ｘ_c，Ｙ_c）に変換する必要が生じる。そのためには、観測者の右眼および左眼の視点の位置を特定し、原画像データを右眼および左眼の各々の視点位置に対して右眼および左眼で観測できる独立した２枚の画像に展開して投影すればよい。

そこで、本実施形態においては、次のような画像処理を実行することで上記の問題を解決した。図５においてＺ≒∞とみなしたことにより、θ＝０（θ_x≒０、θ_y≒０：なおθ_x,θ_yは、それぞれθのＸ軸方向成分、Ｙ軸方向成分）となる。つまり、観測者Ａの視線の方向（図中の線分ｌａ）と、観測者Ａ’の視線の方向（図中の線分ｌｂ）とを平行とみなすことができる。ここで、観測者Ａの視点位置の移動量（図中点線矢印で示す移動ベクトルの観測面に平行な成分）の大きさをＳ_xとすると、線分ｌａと線分ｌｂとが平行だから、Ｓ_x≒Ｈ_xとなる。よって、物体座標系（Ｘ，Ｙ）を（Ｈ_x，Ｈ_y）だけ平行移動させればよいことになる。つまり、移動前の観測者Ａの視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘ_c1，Ｙ_c1）と、移動後の観測者Ａ’の視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘ_c2，Ｙ_c2）との間の距離Ｈ＝（Ｈ_x ² ₊Ｈ_y ²）^1/2だけ、画像の位置を移動させればよいというわけである。画像処理部１３は、観測者の視点移動量を検出すると、図４に示したような位置関係から、（Ｈ_x，Ｈ_y）を計算によって求めることができる。よって、画像処理部１３は、この（Ｈ_x，Ｈ_y）を用いて、物体座標系（Ｘ，Ｙ）に見立てた広域の２次元画像データ（観測面Ｌよりも広い領域に対応する画像データ）の座標位置（Ｘ’，Ｙ’）を観測者の視点位置に合わせて平行移動させればよい。

以上のようにして、画像処理部１３は、入力部１２から供給される２次元画像データが表す画像の位置を観測者の視点移動量に合わせて平行移動した画像データを生成し、これを２次元情報投影機１４に供給する。２次元情報投影機１４は、画像処理部１３から供給された２次元画像データに基づき２次元画像を表示面１５に向かって投影する。これにより、観測者は観測パネル１６を介して表示面１５を見ることで立体画像を観測することができる。

上述した実施形態によれば、観測者の視点の位置に合わせて画像の位置を平行移動するので、観測者の視点の位置に合わせた立体画像を表示することができる。また、本実施形態では２次元画像データを用いているので、従来の３次元画像データに比べて通信網２０上のデータ伝送量が少なくて済む。このことは特に移動体通信網３０経由で画像データを伝送するような場合に有利である。また、表示対象を遠方に観測される風景などに限定したことにより、動画像における前画像との差分データを大幅に削減することも可能となる。これによって、固定通信網が整備されていないような山間部などとの間で立体画像の画像データを送受信することもできる。

なお、上記の実施形態においては、説明を簡単にするため、１つの２次元画像を用いる場合について説明したが、奥行きの異なる複数の２次元画像からなる３次元画像を対象としてもよい。
また、観測者の視点の位置は、前述したように観測者を撮像した画像に基づいて特定するという方法もあるが、これ以外にも、例えば観測者が着席する座席の位置が予め分かっているのであれば、どの座席に観測者が着席しているかをその都度指定することで視点の位置を特定し、その移動量を求めるようにしてもよい。
また、上記の実施形態では、観測者の右眼と左眼とをそれぞれ観測者の視点の位置としていたが、これに限らず、例えば右眼と左眼とを結ぶ線分の中点を観測者の視点の位置としてもよい。このように視点の位置を１つに定めた場合には、観測者は立体画像用の眼鏡を装着しなくても立体的な画像を観測することも可能となる。

本発明の装置構成を示す図である。 本発明の別の装置構成を示す図である。 本発明の原理を説明するための図である。 本発明の原理を説明するための図である。 本発明の原理を説明するための図である。

符号の説明

１…立体画像表示装置、１１…筐体、１２…入力部、１３…画像処理部、１４…２次元情報投影機、１５…表示面、１６…観測パネル、１７…検出装置。

Claims (5)

1. 画像データを入力する入力手段と、
   観測者の視点の位置が移動した量を検出する検出手段と、
   前記検出手段によって検出された視点位置の移動量に合わせて、前記入力手段によって入力された画像データが表す画像の位置を２次元平面上で平行移動させる画像処理手段と、
   前記画像処理手段によって画像の位置が移動させられた画像データに基づいて画像を表示する表示手段と
   を備える立体画像表示装置。
2. 前記表示手段は、画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有し、
   前記画像処理手段は、移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させる請求項１記載の立体画像表示装置。
3. 移動体通信網経由でデータ通信を行う移動局を備え、
   前記入力手段は、前記移動局によって受信された画像データを受け取って前記画像処理手段に供給する請求項１に記載の立体画像表示装置。
4. 立体画像表示装置が、画像データを自装置に入力するステップと、
   前記立体画像表示装置が、観測者の視点の位置が移動した量を検出するステップと、
   前記立体画像表示装置が、検出された視点位置の移動量に合わせて、前記画像データが表す画像の位置を２次元平面上で平行移動させるステップと、
   前記立体画像表示装置において、画像の位置が移動させられた画像データに基づいた画像を表示するステップと
   を備える立体画像表示方法。
5. 画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有する立体画像表示装置が行う立体画像表示方法であって、
   画像データを自装置に入力するステップと、
   観測者の視点の位置が移動した量を検出するステップと、
   移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させるステップと、
   画像の位置が移動させられた画像データに基づいた画像を表示するステップと
   を備える立体画像表示方法。

Images