JP5236372B2 - 画像投影装置、その制御方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、画像を投影して表示する画像投影装置、その制御方法、プログラム及び情報記憶媒体に関する。

プロジェクタなどの投影手段を備えた画像投影装置がある。このような画像投影装置によれば、例えばコンピュータゲームのゲーム画像などを、ディスプレイ装置の画面に表示するだけでなく、室内の床や壁など、ユーザの周囲に投影することで、より臨場感のある画像を楽しむことができる（例えば特許文献１参照）。
特開２００５−１６８８９２号公報

上述したような画像投影装置を例えば一般家庭のリビングなどで利用する場合、床や壁などの投影面は必ずしも白色とは限らず、様々な地色の場合があり得る。そのため、投影面の地色と、ゲームキャラクタなど投影画像内の表示要素の色との関係によっては、画像内の表示要素が目立たなくなるなど、画像の視認性が悪くなることがある。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、床や壁などの投影面に画像を投影する場合に、視認性の悪化を避けることのできる画像投影装置、その制御方法、プログラム及び情報記憶媒体を提供することにある。

上記課題を解決するための本発明に係る画像投影装置は、画像を撮像する撮像手段と、画像を投影する投影手段と、を備える画像投影装置であって、前記撮像手段により撮像される撮像画像内の色を判別する色判別手段と、前記判別される撮像画像内の色に基づいて、当該撮像画像が撮像された位置に前記投影手段が投影する投影画像の内容を制御する投影画像制御手段と、を含むことを特徴とする。

また、上記画像投影装置において、前記投影画像制御手段は、前記判別される撮像画像内の色に基づいて、前記投影画像に含まれる表示要素の属性情報を決定し、当該決定した属性情報に従って前記表示要素を含む投影画像を生成することとしてもよい。

さらに、前記表示要素の属性情報は、当該表示要素の色であってもよい。

さらに、前記投影画像制御手段は、前記投影画像に含まれる複数の表示要素それぞれの色を、互いに異なる色になるよう決定することとしてもよい。

また、前記表示要素の属性情報は、当該表示要素の前記投影画像内における配置位置であってもよい。

また、上記画像投影装置において、前記色判別手段は、前記撮像画像内の各画素の色相値の統計値を算出することによって、前記撮像画像内の色を判別し、前記投影画像制御手段は、前記算出された統計値に基づいて、前記投影画像の内容を制御することとしてもよい。

さらに、前記投影画像制御手段は、前記投影画像に含まれる表示要素の色の色相値が、前記算出された統計値に基づいて決定される上限値及び下限値の間に含まれるように、当該表示要素の色を決定し、当該決定した属性情報に従って前記表示要素を含む投影画像を生成することとしてもよい。

また、本発明に係る画像投影装置の制御方法は、画像を撮像する撮像手段と、画像を投影する投影手段と、を備える画像投影装置の制御方法であって、前記撮像手段により撮像される撮像画像内の色を判別するステップと、前記判別される撮像画像内の色に基づいて、当該撮像画像が撮像された位置に前記投影手段が投影する投影画像の内容を制御するステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、画像を撮像する撮像手段と、画像を投影する投影手段と、を備える画像投影装置としてコンピュータを機能させるためのプログラムであって、前記撮像手段により撮像される撮像画像内の色を判別する色判別手段、及び前記判別される撮像画像内の色に基づいて、当該撮像画像が撮像された位置に前記投影手段が投影する投影画像の内容を制御する投影画像制御手段、として前記コンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。

以下、本発明の実施の形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る画像投影装置１の外観の一例を示す図である。同図に示されるように、画像投影装置１は、コンピュータ１０と、カメラ１２と、プロジェクタ１４と、アーム１６と、を含んで構成されている。

コンピュータ１０は、例えば家庭用ゲーム機の本体などであって、図２に示すように、制御部３０と、記憶部３２と、インタフェース部３４と、を含んで構成される。

制御部３０は、例えばＣＰＵ等であって、記憶部３２に記憶されているプログラムに従って各種の情報処理を実行する。記憶部３２は、例えばＲＡＭやＲＯＭ等のメモリ素子や、ハードディスク等であって、制御部３０によって実行されるプログラムや各種のデータを記憶する。また、記憶部３２は、制御部３０のワークメモリとしても機能する。

インタフェース部３４は、例えばＵＳＢ（Universal Serial Bus）規格などのインタフェースであって、カメラ１２やプロジェクタ１４と制御部３０との間のデータの送受信を中継する。具体的に、インタフェース部３４は、カメラ１２が撮像した撮像画像のデータをカメラ１２から受け入れる。また、制御部１１からの指示に従って、プロジェクタ１４に投影させる投影画像を示す映像信号をプロジェクタ１４に対して出力する。

カメラ１２は、周辺画像を撮像する撮像デバイスである。以下では、カメラ１２の撮像方向及び視野角によって決定される、カメラ１２によって撮像される範囲を撮像領域１８という。カメラ１２は、撮像領域１８内の様子を示す画像を撮像し、撮像画像をインタフェース部１３に対して入力する。

プロジェクタ１４は、画像を投影する投影デバイスである。以下では、プロジェクタ１４によって画像が投影される領域を投影面２０という。プロジェクタ１４は、インタフェース部１３を介して入力される映像信号に応じて投影面２０に画像を投影する。ユーザは、プロジェクタ１４によって投影面２０に投影された投影画像を閲覧する。

アーム１６は、カメラ１２及びプロジェクタ１４を支持している。さらに、このアーム１６は、アクチュエータ等の駆動部を備え、コンピュータ１０から入力される制御信号に従ってカメラ１２及びプロジェクタ１４の位置や向きを変化させることとしてもよい。こうすれば、プロジェクタ１４により画像を投影する際に、床や壁など、様々な場所を投影面２０として利用することができる。

また、カメラ１２及びプロジェクタ１４の全体の位置や向きだけでなく、プロジェクタ１４に対するカメラ１２単体の向きを変化させることのできるパンチルト機構が設けられてもよい。このパンチルト機構によって変化するプロジェクタ１４の投影方向に対するカメラ１２の撮像方向を特定することによって、コンピュータ１０は投影面２０と撮像領域１８との間の位置関係を特定することができる。

以下、本実施形態において画像投影装置１が実現する機能について、説明する。画像投影装置１は、図３に示すように、機能的に、撮像画像取得部４０と、色判別処理部４２と、投影画像制御部４４と、を含んで構成される。さらに、投影画像制御部４４は、表示要素制御部４４ａと、画像生成処理部４４ｂと、を含んで構成される。これらの機能は、制御部３０が記憶部３２に格納されたプログラムを実行することにより実現される。このプログラムは、例えば光ディスクやメモリカード等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。

撮像画像取得部４０は、カメラ１２による撮像画像を取得する。具体的に、撮像画像取得部４０は、例えばプロジェクタ１４による画像の投影を開始する前に、画像を投影する投影面２０の位置を決定し、撮像領域１８がこの投影面２０を含むようにアーム１６を制御してカメラ１２の撮像位置を変化させる。そして、この投影面２０を含む撮像領域１８をカメラ１２が撮像して得られる画像を、撮像画像として取得する。

色判別処理部４２は、撮像画像取得部４０が取得した撮像画像内の色を判別する。具体的に、例えば色判別処理部４２は、撮像画像内の各画素の色相値を算出する。そして、全画素の色相値の統計値を算出する。ここでは統計値の具体例として、平均値ｍと分散ｖとを算出することとする。この統計値が、撮像画像全体の色の特徴を示していることになる。

投影画像制御部４４は、色判別処理部４２によって判別される撮像画像内の色に基づいて、当該撮像画像が撮像された位置にプロジェクタ１４が投影する投影画像の内容を制御する。本実施形態では、具体的に、表示要素制御部４４ａが投影画像に含まれる表示要素の色や位置などの属性情報を決定し、画像生成処理部４４ｂが決定された属性情報に従って表示要素を描画して、投影画像を生成する。

表示要素制御部４４ａは、色判別処理部４２による判別結果に基づいて、プロジェクタ１４の投影画像に含まれる各表示要素の属性情報（表示要素の描画色や投影画像内における配置位置など）を決定する。ここで表示要素は、投影画像の一部又は全部を構成する要素であって、例えば投影画像がゲーム画面を示す画像の場合、キャラクタオブジェクトや背景オブジェクトなど、あるいはこれらのオブジェクトの一部分に貼り付けられるテクスチャなどである。なお、表示要素制御部４４ａによる制御対象となる表示要素は、一つであってもよいし、複数あってもよい。

ここで、表示要素制御部４４ａが実行する処理の具体例について、説明する。この例では、描画する対象となる表示要素のそれぞれについて、当該表示要素の色を示すデータを関連付けた配色テーブルが、記憶部３２に予め記憶されている。図４は、このような配色テーブルの内容の一例を示している。表示要素制御部４４ａは、この配色テーブルに記憶された各表示要素の色のうち、色判別処理部４２によって判別される色に関する所定の条件を満たさない色を、他の色に変更する。この場合の色に関する条件は、各表示要素の色の色相値が、例えば色判別処理部４２によって算出された統計値に基づいて算出される上限値Ｈhighと下限値Ｈlowとの間に含まれることである。色相値の上限値Ｈhigh及び下限値Ｈlowは、例えば以下の算出式により算出される。

この式において、ｍ、ｖはそれぞれ前述したように色判別処理部４２によって算出された平均値及び分散であり、Ａは所定の定数である。

このような算出式によって算出される上限値Ｈhigh及び下限値Ｈlowの間に含まれるように各表示要素の色を選択することによって、投影面の全体的な色に対して補色となるような色を表示要素の色として使用することを避けることができる。このような色は、投影された際に、投影面の背景色との関係で微妙な色の違いを識別しにくくなってしまうため、このような色の利用を避けることで、投影画像内の表示要素の視認性を向上させることができる。

また、表示要素制御部４４ａは、各表示要素について、予め定められた複数の候補色の中から、前述したような所定の条件を満たす色を選択し、配色テーブルに格納することとしてもよい。さらに、もし予め定められた候補色の中に前述した条件を満たす色がない場合には、定数Ａの値を大きくして再び上限値Ｈhigh及び下限値Ｈlowの計算を行い、条件を満たす候補色を決定してもよい。

画像生成処理部４４ｂは、表示要素制御部４４ａによって決定された各表示要素の属性情報に従って、プロジェクタ１４に投影させる投影画像を生成する。例えば表示要素制御部４４ａが投影画像に含まれる各表示要素の色を決定した場合、画像生成処理部４４ｂは、この決定された色で各表示要素を描画して、投影すべき画像を生成する。生成された画像はフレームバッファメモリに書き込まれ、映像信号に変換されてプロジェクタ１４に送信される。これによって、プロジェクタ１４は、投影面２０を含む撮像領域１８の色に応じて決定された色の表示要素を含む画像を、投影面２０に対して投影する。

以下、表示要素制御部４４ａが各表示要素の属性情報を決定する際の決定方法の別の例について、説明する。

表示要素制御部４４ａは、描画すべき複数の表示要素の色をそれぞれ独立に決定するのではなく、所定の条件を満たす範囲内においてなるべく異なる色になるように各表示要素の色を決定することとしてもよい。例えば４つのキャラクタオブジェクトＯ１、Ｏ２、Ｏ３及びＯ４それぞれの色を、それぞれのキャラクタオブジェクトについて予め定められた複数の候補色の中から選択する例について、説明する。ここで、キャラクタオブジェクトＯｎ（ｎ＝１，２，３，４）について予め定められた候補色のうち、その色相値が前述したような計算式によって計算された上限値Ｈhighと下限値Ｈlowの間に含まれる色を、Ｃｎ（１），Ｃｎ（２），・・・，Ｃｎ（ＮＵＭｎ）と表記する。ここでＮＵＭｎは、キャラクタオブジェクトＯｎについて前述の条件を満たす候補色の数を示している。

この例では、表示要素制御部４４ａは、キャラクタオブジェクトＯ１について条件を満たす候補色のグループ、キャラクタオブジェクトＯ２について条件を満たす候補色のグループ、キャラクタオブジェクトＯ３について条件を満たす候補色のグループ、及びキャラクタオブジェクトＯ４について条件を満たす候補色のグループの４つのグループのそれぞれから、一つずつ色を選択して得られる４つの色（Ｃ１（ｉ），Ｃ２（ｊ），Ｃ３（ｋ），Ｃ４（ｌ））（ｉ＝１，・・・，ＮＵＭ１，ｊ＝１，・・・，ＮＵＭ２，ｋ＝１，・・・，ＮＵＭ３，１＝１，・・・，ＮＵＭ４）の全ての可能な組み合わせについて、後述する評価値を算出する。そして、表示要素制御部４４ａは、算出される評価値が最も小さくなる組み合わせを、画像生成処理部４４ｂが描画処理に使用する各キャラクタオブジェクトの色として採用する。この場合の評価値Ｖａｌは、４つの色を色相値の順に並べ替えたときに、隣接する色同士の色相値の差の二乗の和である。すなわち、４つの色の色相値を、色相値の順にＨ（１）、Ｈ（２）、Ｈ（３）及びＨ（４）と表記すると、評価値Ｖａｌは下記の計算式で表される。

この評価値は、各色相値の偏り度合いを示している。

あるいは、表示要素制御部４４ａは、評価値Ｖａｌとして、４つの色の色相値の分散を算出してもよい。この例における評価値Ｖａｌは、４つの色の色相値の平均値ｈ_ｍｅａｎを用いて、下記の計算式により算出される。

この場合には、表示要素制御部４４ａは、４つの候補色のグループのそれぞれから一つずつ色を選択して得られる全ての可能な組み合わせのうち、評価値Ｖａｌが最も大きくなる組み合わせを、各キャラクタオブジェクトの色として採用する。

このようにして各キャラクタオブジェクトの色を決定することで、各キャラクタオブジェクトをユーザから見て識別しやすくすることができる。図５は、このようにして決定された各キャラクタオブジェクトの色の色相値の関係の一例を示している。なお、表示要素制御部４４ａは、キャラクタオブジェクトだけでなく、他の表示要素も含めて、それぞれの色が互いに異なるように各表示要素の色を選択してもよい。

また、色判別処理部４２は、撮像領域１８全体の色を判別するだけでなく、撮像領域１８を複数の部分領域に分割し、各部分領域の色を判別することとし、表示要素制御部４４ａは、この各部分領域の色に応じて各表示要素の属性情報を決定することとしてもよい。例えば床に敷かれたカーペットの境界をまたがった領域を投影面２０として使用する場合など、撮像領域１８全体の色を平均化して評価するのは好ましくない場合もあり得る。このような場合、例えば色判別処理部４２は、撮像画像内の画素の色の分布のピークや、分布の広がり度合いなどを解析することによって、撮像画像内に互いに異なる色からなる複数の領域が存在するか否かを判定する。そして、このような複数の部分領域が存在すると判定した場合には、撮像画像を複数の部分領域に分割して、この部分領域ごとに、前述したような色の判別処理を行う。

この例では、表示要素制御部４４ａは、各部分領域ごとに、色判別処理部４２によって判別された色に基づいて色相値の上限値Ｈhigh及び下限値Ｈlowを算出し、各表示要素の色として、全ての部分領域について上限値Ｈhighと下限値Ｈlowとの間に色相値が含まれるような色を選択する。こうすれば、互いに異なる色の複数の領域にまたがって画像を投影する場合に、どの領域でも識別しやすい態様で表示要素を表示させることができる。なお、複数の領域それぞれの色が互いに大きく異なるために、前述した条件を満たす色相値が存在しない場合や、あるいは所定値未満の範囲でしかこのような色相値が存在しない場合には、例えば定数Ａの値を大きくして再度各部分領域についての上限値Ｈhigh及び下限値Ｈlowを算出しなおしてもよい。あるいは、アーム１６を操作して、他の投影面２０を探すこととしてもよい。また、例えば背景オブジェクトなど、投影画像内において常に固定された位置に表示される表示要素については、当該オブジェクトが表示される部分領域の色だけに基づいて、その色を決定してもよい。

また、このように互いに異なる色の複数の領域にまたがって画像を投影する場合、表示要素制御部４４ａは、表示要素の色だけでなく、表示要素の画像内の配置位置を変更する制御を実行してもよい。例えば背景オブジェクトなど投影画像内において常に固定された位置に表示される表示要素であって、その配置位置を画像内のいくつかの候補位置の中から選択可能な表示要素については、これまで説明した色相値に関する条件を満足するような部分領域内の位置に表示されるよう、その配置位置を複数の候補位置の中から決定してもよい。こうすれば、その性質上色を大きく変化させることができないオブジェクトについても、視認性を悪化させないように投影画像内に含めることができる。

以上説明した本実施の形態によれば、画像投影装置１は、投影面２０の色に応じて投影画像の内容（例えば表示要素の色や位置など）を制御することで、投影される画像の視認性が悪化しないようにすることができる。

なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明においては、投影画像に含まれる各表示要素を対象として、その属性情報を制御することとしたが、画像投影装置１は、投影画像全体の内容を制御してもよい。例えば動画像を投影面２０に投影する場合、投影面２０の色に応じて、画像全体の色調を変化させるフィルタ処理を実行することによって、視認性のよい画像を投影することとしてもよい。

また、以上の説明においては、撮像画像内の画素の色相値を用いて、撮像画像の色を評価することとしたが、画像投影装置１は、これ以外のパラメタを用いて撮像画像内の色を判別することとしてもよい。また、各表示要素の色を決定する際の条件も、色相値が前述した計算式によって算出される上限値Ｈhighと下限値Ｈlowとの間に含まれることだけでなく、他の様々な条件を用いて決定されることとしてもよい。

本発明の実施の形態に係る画像投影装置の外観の一例を示す図である。 コンピュータの構成を示すブロック図である。 本実施形態に係る画像投影装置の機能例を示す機能ブロック図である。 配色テーブルの内容の一例を示す図である。 オブジェクトの色の色相値の関係を示す説明図である。

符号の説明

１ 画像投影装置、１０ コンピュータ、１２ カメラ、１４ プロジェクタ、１６ アーム、１８ 撮像領域、２０ 投影面、３０ 制御部、３２ 記憶部、３４ インタフェース部、４０ 撮像画像取得部、４２ 色判別処理部、４４ 投影画像制御部、４４ａ 表示要素制御部、４４ｂ 画像生成処理部。

Claims (4)

1. 画像を撮像する撮像手段と、画像を投影する投影手段と、を備える画像投影装置であって、
   前記撮像手段により撮像される撮像画像内の各画素の色相値の統計値を算出することによって、前記撮像画像内の色を判別する色判別手段と、
   前記撮像画像が撮像された位置に前記投影手段が投影する投影画像に含まれる複数の表示要素それぞれの色が、互いに異なり、かつ、当該色の色相値が、前記算出された色相値の統計値に基づいて決定される上限値及び下限値の間に含まれるように、当該表示要素の色を決定し、当該決定した表示要素の色に従って前記複数の表示要素を含む投影画像を生成する投影画像制御手段と、
   を含むことを特徴とする画像投影装置。
2. 画像を撮像する撮像手段と、画像を投影する投影手段と、を備える画像投影装置の制御方法であって、
   前記撮像手段により撮像される撮像画像内の各画素の色相値の統計値を算出することによって、前記撮像画像内の色を判別するステップと、
   前記撮像画像が撮像された位置に前記投影手段が投影する投影画像に含まれる複数の表示要素それぞれの色が、互いに異なり、かつ、当該色の色相値が、前記算出された色相値の統計値に基づいて決定される上限値及び下限値の間に含まれるように、当該表示要素の色を決定し、当該決定した表示要素の色に従って前記複数の表示要素を含む投影画像を生成するステップと、
   を含むことを特徴とする画像投影装置の制御方法。
3. 画像を撮像する撮像手段と、画像を投影する投影手段と、を備える画像投影装置としてコンピュータを機能させるためのプログラムであって、
   前記撮像手段により撮像される撮像画像内の各画素の色相値の統計値を算出することによって、前記撮像画像内の色を判別する色判別手段、及び
   前記撮像画像が撮像された位置に前記投影手段が投影する投影画像に含まれる複数の表示要素それぞれの色が、互いに異なり、かつ、当該色の色相値が、前記算出された色相値の統計値に基づいて決定される上限値及び下限値の間に含まれるように、当該表示要素の色を決定し、当該決定した表示要素の色に従って前記複数の表示要素を含む投影画像を生成する投影画像制御手段、
   として前記コンピュータを機能させるためのプログラム。
4. 請求項３記載のプログラムを格納したコンピュータ読み取り可能な情報記憶媒体。

Images