JP7010209B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、対応点検出の精度を向上させることができるようにした画像処理装置および方法に関する。

従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等に応じた投影画像の幾何補正を行う方法があった。このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があった。

例えば、コンテンツ等の画像を投影しながらその対応点を求める技術であるオンラインセンシングとして、投影画像にグレイコードを埋め込む方式（例えば、非特許文献１参照）が提案された。また、チェッカーパタンを用いてより少ない画像で対応点を求める方法も考えられた（例えば、非特許文献２参照）。

Imperceptible Structured Light, Ramesh Raskar, SIGGRAPH 98 Ramesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifton Forlines, "iLamps: Geometrically Aware and Self-Configuring Projectors",Appears in ACM SIGGRAPH 2003 Conference Proceedings, http://web.media.mit.edu/~raskar/Sig03/raskarILampsSiggraph03.pdf

しかしながら、グレイコードは原理的に整数画素精度の対応点しか取得することができず精度的には不十分であった。また、チェッカーパタンを用いる方法の場合、パタンの各部の識別が困難であり、対応点を検出することができる部分が少ない等、対応点検出の精度が低減するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、対応点検出の精度を向上させることができるようにするものである。

本技術の一側面の画像処理装置は、所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出する特徴点検出部と、単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出するドット検出部と、前記特徴点検出部により検出された特徴点を、前記ドット検出部により検出された、前記特徴点に対応するドットの時間方向の出現パタンに基づいて識別することにより、投影画像と撮像画像との対応点を検出する対応点検出部とを備える画像処理装置である。

前記対応点検出部は、前記ドット検出部により検出された、前記特徴点検出部により検出された特徴点と同じ位置または周辺に位置するドットの時間方向の出現パタンに基づいて前記特徴点を識別することができる。

前記特徴点を含む前記投影画像は、チェッカーパタンの投影画像であり、前記特徴点は、前記チェッカーパタンのコーナーであるようにすることができる。

前記特徴点検出部は、互いにパタンが反転している１対のチェッカーパタンのそれぞれの投影画像を撮像して得られる１対の撮像画像の差分画像を生成し、生成した前記差分画像に含まれる前記特徴点を検出することができる。

前記特徴点検出部は、前記差分画像を２値化して２値画像を生成し、生成した前記２値画像に含まれる前記特徴点を検出することができる。

前記特徴点検出部は、検出した前記特徴点の座標のマップ情報を生成することができる。

前記ドット検出部は、時間方向に順次投影される、各特徴点に対応するドットの時間方向の出現パタンが一意に定まるように前記ドットが配置された複数の前記ドットパタンのそれぞれの投影画像を撮像して得られる各撮像画像に含まれる前記ドットを検出することができる。

前記ドット検出部は、前記特徴点を含む所定の範囲内において、前記ドットを検出することができる。

前記ドット検出部は、前記ドットパタンを含まない投影画像を撮像して得られる撮像画像と、前記ドットパタンを含む投影画像を撮像して得られる撮像画像との差分画像を生成し、生成した前記差分画像に含まれる前記ドットを検出することができる。

前記ドット検出部は、前記差分画像を２値化して２値画像を生成し、生成した前記２値画像に含まれる前記ドットを検出することができる。

前記ドット検出部は、検出したドットの重心をさらに検出し、前記対応点検出部は、前記ドット検出部により検出された前記ドットの重心を用いて前記特徴点の位置を補正することができる。

前記ドット検出部は、時間方向に順次投影される、各特徴点に対応するドットの時間方向の出現パタンが一意に定まるように前記ドットが配置された複数の前記ドットパタンのそれぞれの投影画像を撮像して得られる各撮像画像に含まれる前記ドットおよびその重心を検出し、検出された、互いに同一の特徴点に対応するドットの重心を、時間方向に平均化することができる。

前記ドットパタンには、前記投影画像の外周部の特徴点に対応するドットの時間方向の出現頻度が、前記投影画像の前記外周部以外の特徴点に対応するドットの時間方向の出現頻度よりも高くなるようなパタンで、各ドットが配置されているようにすることができる。

前記特徴点は、所定のパタンの絵柄が繰り返されるパタン画像に含まれる所定の絵柄の部分であり、前記特徴点検出部は、前記パタン画像が他の画像に重畳された投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出するように構成され、前記ドット検出部は、前記ドットパタンが他の画像に重畳された投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出するように構成されるようにすることができる。

前記対応点検出部は、複数の投影部から投影された各投影画像と、各投影画像を複数の撮像部により撮像されて得られた各撮像画像との対応点を検出することができる。

前記対応点検出部により検出された前記対応点を用いて姿勢推定を行う姿勢推定部をさらに備えることができる。

前記姿勢推定部により推定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備えることができる。

投影画像を投影する投影部をさらに備えることができる。

投影画像を撮像して撮像画像を得る撮像部をさらに備えることができる。

本技術の一側面の画像処理方法は、所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出し、単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出し、検出された特徴点に対応する、検出されたドットの時間方向の出現パタンに基づいて、前記特徴点を識別することにより、投影画像と撮像画像との対応点を検出する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる特徴点が検出され、単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれるドットが検出され、検出された特徴点に対応する、検出されたドットの時間方向の出現パタンに基づいて、その特徴点が識別されることにより、投影画像と撮像画像との対応点が検出される。

本開示によれば、画像を処理することができる。特に、対応点検出の精度を向上させることができる。

幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 幾何補正の様子の例を示す図である。 対応点検出の様子の例を示す図である。 対応点検出の様子の例を示す図である。 グレイコードの例を示す図である。 チェッカーパタンの例を示す図である。 投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 コーナー検出部とドット重心検出部が実現する機能例を示す機能ブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 設定処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明する、図１６に続くフローチャートである。 チェッカーパタンの例を説明する図である。 特徴点の例を説明する図である。 ドットパタンの例を説明する図である。 ドットの割り当ての様子の例を説明する図である。 コーナー検出処理の流れの例を説明するフローチャートである。 重心検出処理の流れの例を説明するフローチャートである。 重心検出の様子の例を説明する図である。 投影撮像システムの他の構成例を示すブロック図である。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．対応点検出と幾何補正
２．第１の実施の形態（投影撮像システム）
３．第２の実施の形態（投影撮像システム・投影撮像装置）
４．その他

＜１．対応点検出と幾何補正＞
＜幾何補正＞
プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、例えば図１のＡのように、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、図１のＢの例のように、投影画像の歪みを低減し、見やすくすることができる。

また、図２の例のように、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、図２のＡのように、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、図２のＢのように、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各プロジェクタから投影された投影画像同士の位置関係が不適切であると、投影画像同士がずれて重畳されたり不要な隙間が生じたりして投影画像全体としての画質が低減するおそれがある。そのため、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ等の幾何補正も必要になる場合がある。

このように投影する画像に対して幾何補正を行うことにより、図３の例のように、複数のプロジェクタから曲面の投影面に対して画像を投影する場合であっても、１つの画像のように投影することができる。なお、図２のＢや図３の例のように、複数の投影画像を並べて大きな投影画像を形成する場合、隣接する投影画像の一部同士を重畳させる（オーバラップさせる）ことにより、その位置合わせをより容易にすることができる（例えば、図３）。

このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正を行う方法が考えられた。

その場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラの画素とプロジェクタの画素との対応関係を求める必要がある。例えば図２や図３のように複数のプロジェクタを用いる場合は、さらに、各投影画像同士の位置関係も求める必要がある。つまり、投影撮像装置間で、カメラの画素とプロジェクタの画素との対応関係も求める必要がある。

例えば、図４のように、投影部２１－１（プロジェクタ）と撮像部２２－１（カメラ）とを有する投影撮像装置２０－１と、投影部２１－２（プロジェクタ）と撮像部２２－２（カメラ）とを有する投影撮像装置２０－２とを協働させて画像を投影するとする。ここで、投影撮像装置２０－１と投影撮像装置２０－２とを互いに区別して説明する必要が無い場合、投影撮像装置２０と称する。また、投影部２１－１と投影部２１－２とを互いに区別して説明する必要が無い場合、投影部２１と称する。さらに、撮像部２２－１と撮像部２２－２とを互いに区別して説明する必要が無い場合、撮像部２２と称する。

図４に示されるように、投影撮像装置２０－１の投影部２１－１による投影面２３の投影領域（投影画像の範囲）は、P0L乃至P0Rの範囲である。また、投影撮像装置２０－２の投影部２１－２による投影面２３の投影領域は、P1L乃至P1Rの範囲である。つまり、両矢印２４で示される範囲（P1L乃至P0Rの範囲）が、互いの投影画像が重畳するオーバーラップ領域となる。

なお、投影撮像装置２０－１の撮像部２２－１による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C0L乃至C0Rの範囲である。また、投影撮像装置２０－２の撮像部２２－２による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C1L乃至C1Rの範囲である。

このようなシステムの場合、上述したように、投影画像同士の位置合わせを行うために、各投影撮像装置２０における投影部２１と撮像部２２との間の対応点を求めるだけでなく、投影撮像装置２０間において投影部２１と撮像部２２との間の対応点を求める必要がある。そこで、例えば、図５のように、投影部２１－１のある画素から照射された光（矢印２７）が、投影面２３のＸにおいて反射し、撮像部２２－２のどの画素により受光される（矢印２８）かが求められる。また、投影部２１－２と撮像部２２－１との間でも同様の画素対応関係が求められる。

このように、対応点を求めることができる全ての投影部２１と撮像部２２との間で対応点を求めることにより、幾何補正によって、オーバラップ領域（両矢印２４で示される範囲）の位置合わせを行うことができる。

＜オンラインセンシング＞
このような幾何補正の為の対応点検出は、映像の投影を開始する前に行うことが考えられるが、初期設置後、映像を投影している最中に温度や振動などの外乱の影響等により、この対応点がずれてしまうおそれがあった。対応点がずれると、幾何補正が不適切なものとなり、投影画像に歪みや位置ずれが生じてしまうおそれがあった。

このような場合、対応点検出をやり直す必要があるが、そのために映像の投影を中断することは、その映像を視ているユーザにとって好ましくない（満足度を低減させるおそれがあった）。そこで、映像の投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。

オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。

これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

＜ISL方式＞
ISL方式では、所定のパタンの画像である構造化光パタンが投影画に埋め込まれ、人間に知覚されないように投影される。そして、その構造化光パタンを用いて対応点の検出が行われる。

このようなISL方式に用いられる構造化光パタンとして、例えば、グレイコードを用いる方法がある。例えば、図６のＡに示されるような所定のパターン画像を時系列に切り替えながら投影して、各パターンを撮像する。そして、全てのパターンの撮像が完了したら撮像画像の各画素において、各撮像パターンの「１」(白)または「０」(黒)を検出して、図６のＢに示されるように、その「１」と「０」の変化パターンをデコードすることでプロジェクタ画素の位置を取得する。これにより画素の対応関係を取得することができる。

また、例えば、構造化光パタンとして図７に示されるようなチェッカーパタンを用いる方法がある。例えば、図７に示されるようなチェッカー１枚とチェッカーの４隅のうちどれかが欠けたパターン４枚とを投影し、パタンの投影順序と欠けた隅の情報の整合を取ることでチェッカーの各コーナーがプロジェクタのどの画素に対応するかを検出する。

しかしながら、グレイコードは原理的に整数画素精度の対応点しか取得することができず精度的には不十分であった。また、グレイコードを用いて、プロジェクタの各画素を識別するためには、ceil(log2(水平解像度))+ceil(log2(垂直解像度))枚という非常に多くのパターンを投影する必要があった。

また、チェッカーパタンを用いる方法は、グレイコードを用いる方法よりも少ない枚数で対応点を検出することができるものの、パタンの欠けた隅でしか対応点を求めることができないため、投影画像の歪み等にも弱い等、対応点検出精度が低く、十分な精度を得ることが困難になるおそれがあった。さらに、チェッカーパタンを用いる方法では、カメラから最低１つの欠けた隅が見えている必要があり、プロジェクタやカメラの設置自由度（位置や姿勢の自由度）が低減するおそれがあった。

＜ドットパタンによるチェッカーパタンのコーナー識別＞
そこで、所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる特徴点を検出し、単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれるドットを検出し、検出された特徴点に対応する、検出されたドットの時間方向の出現パタンに基づいて、その特徴点を識別することにより、投影画像と撮像画像との対応点を検出するようにする。

このようにすることにより、対応点検出の精度を向上させることができる。

＜２．第１の実施の形態＞
＜投影撮像システム＞
図８は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図８において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。

図８に示されるように、投影撮像システム１００は、制御装置１０１、並びに、投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎは、それぞれ、ケーブル１０３－１乃至ケーブル１０３－Ｎを介して制御装置１０１に接続されている。

以下において、投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。また、ケーブル１０３－１乃至ケーブル１０３－Ｎを互いに区別して説明する必要が無い場合、ケーブル１０３と称する。

制御装置１０１は、ケーブル１０３を介して各投影撮像装置１０２を制御する。例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影する画像を供給し、その画像を投影させる。また、例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影画像等の撮像を指示し、その撮像画像を取得する。さらに、例えば、制御装置１０１は、投影画像と撮像画像の対応点を検出する。また、例えば、制御装置１０１は、その求めた対応点に基づいて各投影撮像装置１０２の姿勢を推定したり、スクリーン（投影面）を再構成したり、各投影撮像装置１０２に投影させる画像に対して幾何補正を行ったりする。

例えば、制御装置１０１が、この幾何補正として、投影させる画像に対して、例えば、拡大、縮小、変形等の画像処理を行うようにしてもよい。また、例えば、制御装置１０１が、この幾何補正として、例えば、各投影撮像装置１０２の光学系に対して、投影方向や撮像方向等の制御等を行うようにしてもよい。もちろん、これらの両方が行われるようにしてもよい。

投影撮像装置１０２－１乃至投影撮像装置１０２－Ｎは、それぞれ、画像を投影する投影部１１１－１乃至投影部１１１－Ｎ、並びに、被写体を撮像する撮像部１１２－１乃至撮像部１１２－Ｎを有する。以下において、投影部１１１－１乃至投影部１１１－Ｎを互いに区別して説明する必要が無い場合、投影部１１１と称する。また、撮像部１１２－１乃至撮像部１１２－Ｎを互いに区別して説明する必要が無い場合、撮像部１１２と称する。

投影部１１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置１０２は、投影部１１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置１０２は、この投影部１１１を用いて、制御装置１０１から供給される画像を任意の投影面に投影することができる。

撮像部１１２は、所謂カメラの機能を有する。つまり、投影撮像装置１０２は、撮像部１１２を用いてカメラとして駆動することができる。例えば、投影撮像装置１０２は、この撮像部１１２を用いて、投影部１１１により画像が投影された投影面の撮像を行うことができる。なお、投影撮像装置１０２は、さらに、制御装置１０１との通信機能を有している。例えば、投影撮像装置１０２は、その通信機能を利用して、撮像部１１２により得られた撮像画像のデータを制御装置１０１に供給することができる。

投影撮像装置１０２の数は任意であり、単数でも複数でも良い。投影撮像装置１０２が複数の場合、各投影撮像装置１０２は、互いに独立に動作することもできるし、制御装置１０１の制御の下、互いに協働して動作し、図２や図３を参照して説明したような画像の投影を行うこともできる。各投影撮像装置１０２を協働させる場合の投影撮像システム１００は、所謂マルチプロジェクションシステムとして機能し、所謂プロジェクションマッピングを実現することができる。

なお、投影部１１１の、例えば、画像の投影方向や拡大率、投影画像の歪み補正等の、投影に関するパラメータを制御することができるようにしてもよい。また、この投影に関するパラメータの制御のために、例えば、投影部１１１が有する光学系の位置や姿勢、投影部１１１全体の位置や姿勢等を制御可能としてもよい。

また、撮像部１１２の、例えば、画像の撮像方向や画角、撮像画像の歪み補正等の、撮像に関するパラメータを制御することができるようにしてもよい。また、この撮像に関するパラメータの制御のために、例えば、撮像部１１２が有する光学系の位置や姿勢、撮像部１１２全体の位置や姿勢等を制御可能としてもよい。

さらに、このような投影部１１１の制御と撮像部１１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置１０２の位置や姿勢を制御可能としてもよい。なお、以上のような投影部１１１の制御、撮像部１１２の制御、投影撮像装置１０２の制御は、制御装置１０１が行うようにしてもよいし、例えば投影撮像装置１０２等、制御装置１０１以外の装置が行うようにしてもよい。

ケーブル１０３は、制御装置１０１と投影撮像装置１０２とを通信可能に接続する任意の通信規格の電気通信ケーブルである。つまり、このケーブル１０３は、制御装置１０１と投影撮像装置１０２との間の通信媒体となり得る。なお、投影撮像システム１００においては、制御装置１０１と投影撮像装置１０２とが互いに通信可能に接続されていればよく、例えば制御装置１０１と投影撮像装置１０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル１０３を省略することができる。

上述したように制御装置１０１は、投影画像と撮像画像との対応点を検出する。つまり、制御装置１０１は、各投影部１１１と各撮像部１１２との間で画素対応関係を求める。その際、制御装置１０１は、オンラインセンシングのISL方式により対応点検出を行う。その際、制御装置１０１は、本技術を適用した方法で対応点検出を行う。

＜制御装置＞
図９は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。

図９に示されるように、制御装置１０１は、CPU１２１、ROM１２２、RAM１２３、バス１２４、入出力インタフェース１３０、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５を有する。

CPU１２１、ROM１２２、RAM１２３は、バス１２４を介して相互に接続されている。バス１２４にはまた、入出力インタフェース１３０も接続されている。入出力インタフェース１３０には、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５が接続されている。

CPU１２１は、例えば、ROM１２２や記憶部１３３に記憶されているプログラム等をRAM１２３にロードして実行することにより、各種処理を行う。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

例えば、CPU１２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理を行うことができる。

入力部１３１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部１３２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。

記憶部１３３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部１３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部１３４による通信の通信方法や通信規格は任意である。例えば、通信部１３４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。

ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア１４１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU１２１やRAM１２３等に供給する。また、例えば、ドライブ１３５は、CPU１２１やRAM１２３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア１４１に書き込む。

＜制御装置の機能ブロック＞
図１０は、制御装置１０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図１０に示されるように、プログラムを実行することにより制御装置１０１は、チェッカーパタン投影撮像部１５１、コーナー検出部１５２、ドットパタン投影撮像部１５３、ドット重心検出部１５４、対応点デコード部１５５、姿勢推定部１５６、設定部１５７、投影制御部１５８、および撮像制御部１５９の機能を有する。

チェッカーパタン投影撮像部１５１は、チェッカーパタン画像の投影や撮像に関する処理を行う。コーナー検出部１５２は、チェッカーパタンのコーナー部分の検出に関する処理を行う。ドットパタン投影撮像部１５３は、ドットパタン画像の投影や撮像に関する処理を行う。ドット重心検出部１５４は、ドットの検出やそのドットの重心の検出に関する処理を行う。対応点デコード部１５５は、投影画像と撮像画像との対応点の検出に関する処理を行う。姿勢推定部１５６は、各投影撮像装置１０２（または各投影撮像装置１０２の投影部１１１および撮像部１１２）の姿勢推定等に関する処理を行う。設定部１５７は、幾何補正等に関するパラメータの設定に関する処理を行う。投影制御部１５８は、各投影部１１１の制御に関する処理を行う。撮像制御部１５９は、各撮像部１１２の制御に関する処理を行う。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

＜コーナー検出部およびドット重心検出部＞
図１０のコーナー検出部１５２は、図１１のＡにおいて機能ブロックとして示される機能を有する。つまり、コーナー検出部１５２は、例えば、差分画像生成部１６１、２値化部１６２、およびコーナー検出部１６３の機能を有する。

差分画像生成部１６１は、撮像画像同士の差分画像の生成に関する処理を行う。２値化部１６２は、差分画像を２値化した２値画像の生成に関する処理を行う。コーナー検出部１６３は、２値画像に含まれるコーナーの検出に関する処理を行う。

もちろん、コーナー検出部１５２がこれら以外の機能を有するようにしてもよい。

図１０のドット重心検出部１５４は、図１１のＢにおいて機能ブロックとして示される機能を有する。つまり、ドット重心検出部１５４は、差分画像生成部１７１、２値化部１７２、ドット検出部１７３、重心検出部１７４、および平均化処理部１７５の機能を有する。

差分画像生成部１７１は、撮像画像同士の差分画像の生成に関する処理を行う。２値化部１７２は、差分画像を２値化した２値画像の生成に関する処理を行う。ドット検出部１７３は、２値画像に含まれるドットの検出に関する処理を行う。重心検出部１７４は、ドットの重心の検出に関する処理を行う。平均化処理部１７５は、ドットの重心の位置の時間方向の平均化に関する処理を行う。

もちろん、ドット重心検出部１５４がこれら以外の機能を有するようにしてもよい。

なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。

＜投影撮像装置＞
図１２は、投影撮像装置１０２の主な構成例を示すブロック図である。図１２に示されるように、投影撮像装置１０２は、制御部２０１、投影部１１１、撮像部１１２、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。

制御部２０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部２０１は、例えば制御装置１０１の制御に基づいて、それらの処理を行う。

投影部１１１は、制御部２０１に制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、制御部２０１から供給される画像を投影撮像装置１０２の外部（例えば投影面等）に投影する。投影部１１１は、レーザ光を光源とし、MEMS（Micro Electro Mechanical Systems）ミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部１１１の光源は任意であり、レーザ光に限らず、例えばLED（Light Emitting Diode）やキセノン等であってもよい。

撮像部１１２は、制御部２０１に制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部２０１に供給する。例えば、撮像部１１２は、投影部１１１により投影面に投影された投影画像を撮像する。撮像部１１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。

入力部２１１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子、加速度センサ、光センサ、温度センサ等の各種センサ等であってもよい。出力部２１２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイ、スピーカ、出力端子等であってもよい。

記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。

通信部２１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。例えば、通信部２１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される制御装置１０１と通信を行うことができる。この通信部２１４による通信の通信方法や通信規格は任意である。例えば、通信部２１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。

ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア２２１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に記憶されている情報（プログラムやデータ等）を読み出し、その情報を制御部２０１等に供給する。また、例えば、ドライブ２１５は、制御部２０１等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア２２１に書き込む。

＜投影部＞
図１３は、投影部１１１の主な構成例を示すブロック図である。図１３に示されるように、投影部１１１は、ビデオプロセッサ２３１、レーザドライバ２３２、レーザ出力部２３３－１、レーザ出力部２３３－２、レーザ出力部２３３－３、ミラー２３４－１、ミラー２３４－２、ミラー２３４－３、MEMSドライバ２３５、および、MEMSミラー２３６を有する。

ビデオプロセッサ２３１は、制御部２０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ２３１は、その投影する画像をレーザドライバ２３２やMEMSドライバ２３５に供給する。

レーザドライバ２３２は、ビデオプロセッサ２３１から供給される画像を投影するように、レーザ出力部２３３－１乃至レーザ出力部２３３－３を制御する。レーザ出力部２３３－１乃至レーザ出力部２３３－３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ２３２は、ビデオプロセッサ２３１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部２３３－１乃至レーザ出力部２３３－３を互いに区別して説明する必要が無い場合、レーザ出力部２３３と称する。

ミラー２３４－１は、レーザ出力部２３３－１から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。ミラー２３４－２は、レーザ出力部２３３－２から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。ミラー２３４－３は、レーザ出力部２３３－３から出力されるレーザ光を反射し、MEMSミラー２３６に誘導する。なお、ミラー２３４－１乃至ミラー２３４－３を互いに区別して説明する必要が無い場合、ミラー２３４と称する。

MEMSドライバ２３５は、ビデオプロセッサ２３１から供給される画像を投影するように、MEMSミラー２３６のミラーの駆動を制御する。MEMSミラー２３６は、MEMSドライバ２３５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図１４の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面に照射される。これにより、ビデオプロセッサ２３１から供給される画像が投影面に投影される。

なお、図１３の例においては、レーザ出力部２３３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部２３３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部１１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置１０２（投影部１１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー２３４やMEMSミラー２３６の構成も任意であり、図１３の例に限定されない。もちろん、レーザ光の走査パタンは任意である。

＜設定処理の流れ＞
次に、このような構成の投影撮像システム１００において実行される処理について説明する。上述したように、投影撮像システム１００の制御装置１０１は、各投影撮像装置１０２を制御し、コンテンツ等の画像を投影する。その投影中の、所定のタイミングにおいて、または、指示を受ける等の所定のイベントの発生に基づいて、制御装置１０１は、幾何補正についての設定をやり直す、すなわち、幾何補正に関するパラメータの再設定を行う。制御装置１０１は、この幾何補正に関するパラメータの設定を、ISL方式のオンラインセンシングにより、コンテンツ等の画像を投影しながら行う。

このようにして画像投影中に幾何補正に関するパラメータが更新されると、制御装置１０１は、それ以降の画像を、その更新されたパラメータに基づいて幾何補正してから投影する。

このような幾何補正に関するパラメータの設定を行うために制御装置１０１において実行される設定処理の流れの例を、図１５のフローチャートを参照して説明する。

設定処理が開始されると、制御装置１０１のチェッカーパタン投影撮像部１５１乃至対応点デコード部１５５は、ステップＳ１０１において、投影制御部１５８および撮像制御部１５９を介して各投影撮像装置１０２を制御し、パタン画像の投影や撮像を行い、対応点の検出を行う。詳細については後述する。

ステップＳ１０２において、姿勢推定部１５６は、ステップＳ１０１において検出された対応点を用いて、各投影部１１１および各撮像部１１２（または各投影撮像装置１０２）の姿勢推定やスクリーン（投影面）再構成を行う。スクリーン再構成とは、投影面であるスクリーンの形状を設定する処理である。

ステップＳ１０３において、設定部１５７は、ステップＳ１０２において行われた姿勢推定やスクリーン再構成の処理結果に基づいて、必要に応じて、各投影部１１１から投影させる画像に対する幾何補正に関するパラメータを設定する。

ステップＳ１０３の処理が終了すると、設定処理が終了する。

＜対応点検出処理の流れ＞
次に、図１６および図１７のフローチャートを参照して、図１５のステップＳ１０１において実行される対応点検出処理の流れの例を説明する。

＜コーナーの検出に関する処理＞
対応点検出処理が開始されると、制御装置１０１は、まず、チェッカーパタン画像を投影し、その投影画像を撮像し、その撮像画像に含まれるチェッカーパタンのコーナーを特徴点として検出する。

チェッカーパタン画像とは、チェッカーパタンの画像である。チェッカーパタンとは、互いに異なる画素値（輝度若しくは色またはその両方）の複数の絵柄が並べられたパタン（模様）である。図１８にチェッカーパタン画像の例を示す。例えば、図１８に示されるチェッカーパタン画像３０１－１は、白の矩形と黒の矩形とが交互に行列状に配置されたチェッカーパタンの画像である。チェッカーパタンに含まれる矩形の数は任意であり、図１８の例に限定されない。矩形の配置は互いに異なる画素値の矩形が隣接するように並べられていればよく、行列状以外の並べ方で配置されていてもよい。各矩形の大きさや形状が統一されていなくてもよい。

チェッカーパタンのコーナーとは、このようなチェッカーパタンを構成する各絵柄の角（コーナーとも称する）の部分である。例えば図１８のチェッカーパタン画像３０１－１の場合、各矩形のコーナーがチェッカーパタンのコーナーとして検出される。このようなチェッカーパタンの場合、図１９に示される矩形３０２乃至矩形３０５のように、隣接する矩形のコーナーが同じ位置となることがある。そのようなときは、互いに同位置のコーナーが、まとめて１つのコーナー３０６として検出される。

なお、コーナーは、１枚のチェッカーパタン画像の投影画像の撮像画像から検出することもできるが、パタンが互いに反転している１対のチェッカーパタン画像の投影画像の撮像画像の差分画像から検出するようにしてもよい。例えば、図１８のチェッカーパタン画像３０１－２は、チェッカーパタン画像３０１－１のパタンを反転させた画像（すなわち、白の矩形の位置と黒の矩形の位置とを入れ替えたパタンの画像）である。このようなチェッカーパタン画像３０１－１の投影画像の撮像画像と、チェッカーパタン画像３０１－２の投影画像の撮像画像との差分画像を求め、その差分画像においてチェッカーパタンのコーナーを検出するようにしてもよい。

一般的に、このような差分画像の方が、チェッカーパタン画像３０１－１の投影画像の撮像画像や、チェッカーパタン画像３０１－２の投影画像の撮像画像と比べて、白の矩形と黒の矩形との輝度値の差がより顕著になるので、チェッカーパタンのS/N比が向上する。つまり、差分画像を用いる方が、各撮像画像を用いる場合よりも、チェッカーパタンのコーナーをより正確に検出することができる。

このような差分画像を得るために、制御装置１０１は、投影部１１１に、パタンが互いに反転している１対のチェッカーパタン画像のそれぞれを順次投影させる。図１８の例の場合、制御装置１０１は、チェッカーパタン画像３０１－１とチェッカーパタン画像３０１－２とを、互いに異なるタイミングにおいて投影させる。例えば、投影中のコンテンツが動画像の場合、制御装置１０１は、チェッカーパタン画像３０１－１とチェッカーパタン画像３０１－２とを、その動画像の互いに異なるフレームに重畳して投影させる。このようにすることにより、撮像部１１２において、各チェッカーパタン画像の投影画像の撮像画像を得ることができる。

チェッカーパタン画像の投影は、各投影部１１１において行われる。各投影部１１１は、つまり、制御装置１０１は、全ての投影部１１１に対して、用意された全てのチェッカーパタン画像を順次投影させる。

チェッカーパタン画像の投影画像は、各撮像部１１２により撮像される。つまり、制御装置１０１は、全ての撮像部１１２に対して、全ての投影部１１１により投影された全てのチェッカーパタン画像の投影画像を撮像させる。

以下に具体的な処理の流れの例を説明する。図１６のステップＳ１２１において、投影制御部１５８は、未処理の投影部１１１を処理対象（制御対象）として選択する。

ステップＳ１２２において、チェッカーパタン投影撮像部１５１は、未処理のチェッカーパタン画像を処理対象として選択する。

ステップＳ１２３において、投影制御部１５８は、ステップＳ１２１において選択された処理対象の投影部１１１を制御し、ステップＳ１２２において選択された処理対象のチェッカーパタン画像を投影させる。その際、投影制御部１５８は、処理対象チェッカーパタン画像を、投影中の動画像の任意のフレームの画像に重畳して処理対象の投影部１１１に供給し、その動画像の任意のフレームの画像に重畳された状態で投影させる。

ステップＳ１２４において、撮像制御部１５９は、未処理の撮像部１１２を処理対象（制御対象）として選択する。

ステップＳ１２５において、撮像制御部１５９は、ステップＳ１２４において選択された処理対象の撮像部１１２を制御し、ステップＳ１２３において投影された処理対象のチェッカーパタン画像の投影画像を撮像させる。そして、撮像制御部１５９は、その処理対象の撮像部１１２において得られた撮像画像を取得する。

上述したようにチェッカーパタン画像は、動画像の所定のフレームの画像に重畳されて投影されるので、この撮像画像には、チェッカーパタン画像および動画像の所定のフレームの画像の少なくとも一部が含まれる。

ステップＳ１２６において、撮像制御部１５９は、全ての撮像部１１２に処理対象のチェッカーパタン画像の投影画像を撮像させたか否かを判定する。未処理の撮像部１１２が存在すると判定された場合、処理はステップＳ１２４に戻る。また、ステップＳ１２６において、全ての撮像部１１２に撮像させたと判定された場合、処理はステップＳ１２７に進む。つまり、ステップＳ１２４乃至ステップＳ１２６の各処理が各撮像部１１２について実行される。なお、撮像範囲内に処理対象のチェッカーパタン画像の投影画像が含まれない撮像部１１２については、これらの処理を省略するようにしてもよい。

全ての撮像部１１２に処理対象のチェッカーパタン画像の投影画像を撮像させると、ステップＳ１２７において、チェッカーパタン投影撮像部１５１は、全てのチェッカーパタン画像を処理した（投影した）か否かを判定する。未処理のチェッカーパタン画像が存在すると判定された場合、処理はステップＳ１２２に戻る。また、ステップＳ１２７において、全てのチェッカーパタン画像が処理されたと判定された場合、処理はステップＳ１２８に進む。つまり、ステップＳ１２２乃至ステップＳ１２７の各処理が各チェッカーパタン画像について実行される。

全ての撮像部１１２に、全てのチェッカーパタン画像の投影画像を撮像させると、ステップＳ１２８において、コーナー検出部１５２は、ステップＳ１２５において得られた撮像画像に含まれるチェッカーパタンのコーナーを特徴点として検出する。

コーナーの検出方法は任意であるが、基本的には、周辺の画素値等に基づいて検出される。例えば、図１９の場合、コーナー３０６は、矩形３０２乃至矩形３０５の境界（エッジ）が交差する部分として検出される。

コーナーの検出についての処理の詳細は後述する。

ステップＳ１２９において、投影制御部１５８は、全ての投影部１１１にチェッカーパタン画像を投影させたか否かを判定する。未処理の投影部１１１が存在すると判定された場合、処理はステップＳ１２１に戻る。また、ステップＳ１２９において、全ての投影部１１１に全てのチェッカーパタン画像を投影させたと判定された場合、処理はステップＳ１３０に進む。つまり、ステップＳ１２１乃至ステップＳ１２９の各処理が各投影部１１１について実行される。

全ての投影部１１１に全てのチェッカーパタン画像の投影画像を投影させ、全ての撮像部１１２にその全ての投影画像を撮像させると、ステップＳ１３０において、コーナー検出部１５２は、以上のように検出されたコーナーの座標とそのコーナーにおけるパタン（例えば白と黒）を識別する閾値とのマップ情報を生成する。

ステップＳ１３０の処理が終了すると、処理は図１７に進む。

＜ドットの検出に関する処理＞
次に、制御装置１０１は、ドットパタン画像を投影し、その投影画像を撮像し、その撮像画像に含まれるドットを検出する。

ドットパタン画像とは、ドットパタンの画像である。ドットパタンとは、単数または複数のドットが所定の位置に配置されたパタン（模様）である。ドットは、例えば、単画素または複数の画素により形成される点または略円状の領域を示す絵柄である。所定の位置は、例えば、チェッカーパタンのコーナーと同じ位置またはコーナーの周辺（コーナー近傍）の位置である。以下において、コーナーと同位置またはコーナーの周辺に位置するドットを、そのコーナー（特徴点）に対応するドットとも称する。

ドットパタンは複数を１組として構成される。この１組を構成する各ドットパタンは、そのドットパタンを形成するドットの配置パタンが互いに異なる。つまり、各ドットパタンは、少なくとも一部のドットの位置が互いに異なる。なお、この１組を構成する各ドットパタンは、時系列に沿って（時間方向に）順次投影される。つまり、各ドットパタンが互いに異なるタイミングで投影される。そして、各ドットパタンのドットは、このように投影される場合に互いに同一のコーナーに対応するドットの時間方向の出現パタンが一意に定まるように配置されている。

図２０にドットパタン画像の例を示す。例えば、図２０の右側に示されるドットパタン画像３１１－１乃至ドットパタン画像３１１－３のそれぞれには、上述したチェッカーパタンの一部または全部のコーナー（特徴点）に対応するドット（白点）が配置されている。つまり、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３のそれぞれにおいて、ドットは、チェッカーパタンのいずれかのコーナーと同位置または周辺に形成されている。そして、このようなドットパタン画像３１１－１乃至ドットパタン画像３１１－３を時間方向に順次投影した場合に、各コーナーと同位置または周辺におけるドットの時間方向の出現パタンが、一意に定まるようになされている。

例えば、チェッカーパタンの所定の位置のコーナーＡと同位置または周辺においては、ドットが、ドットパタン画像３１１－１とドットパタン画像３１１－３に出現し、他の位置のコーナーＢと同位置または周辺においては、ドットが、ドットパタン画像３１１－２とドットパタン画像３１１－３に出現し、さらに他の位置のコーナーＣと同位置または周辺においては、ドットが、ドットパタン画像３１１－１とドットパタン画像３１１－２に出現するようになされている。このようなドットの時間方向の出現パタンが一意に定まるようになされていることにより、その出現パタンに基づいて、そのドットに対応するコーナーを識別することができる。

なお、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３において、各ドット（白点）は略同じ大きさで略同形状である。また、背景は一様な黒画像であり、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３で共通である。

撮像画像よりドットを検出する場合、１枚のドットパタン画像の投影画像の撮像画像（例えば図２０の場合、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３のそれぞれの投影画像の撮像画像）から検出することもできるが、これらの撮像画像と、ドットパタンを含まない画像の投影画像の撮像画像との差分画像から検出するようにしてもよい。

例えば、図２０の左側に示されるような、ドットパタンを含まないドットパタン画像３１１－０を、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３とは異なるタイミングにおいて投影し、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３のそれぞれの投影画像の撮像画像と、ドットパタン画像３１１－０の投影画像の撮像画像との差分画像を求め、その差分画像においてドットを検出するようにしてもよい。

このドットパタン画像３１１－０は、ドットパタンを含まないこと以外は、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３と同様の画像である。つまり、ドットパタン画像３１１－０は、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３の背景画像と同様の一様な黒画像により形成される。

一般的に、このような差分画像の方が、ドットパタン画像３１１－１乃至ドットパタン画像３１１－３のそれぞれの投影画像の撮像画像と比べて、ドットの部分とそれ以外の背景の部分との輝度値の差がより顕著になるので、ドットパタンのS/N比が向上する。つまり、差分画像を用いる方が、各撮像画像を用いる場合よりも、ドットをより正確に検出することができる。

ドットパタン画像の投影は、各投影部１１１において行われる。各投影部１１１は、つまり、制御装置１０１は、全ての投影部１１１に対して、用意された全てのドットパタン画像を順次投影させる。

ドットパタン画像の投影画像は、各撮像部１１２により撮像される。つまり、制御装置１０１は、全ての撮像部１１２に対して、全ての投影部１１１により投影された全てのドットパタン画像の投影画像を撮像させる。

以下に具体的な処理の流れの例を説明する。図１７のステップＳ１４１において、投影制御部１５８は、未処理の投影部１１１を処理対象（制御対象）として選択する。

ステップＳ１４２において、ドットパタン投影撮像部１５３は、未処理のドットパタン画像を処理対象として選択する。

ステップＳ１４３において、投影制御部１５８は、ステップＳ１４１において選択された処理対象の投影部１１１を制御し、ステップＳ１４２において選択された処理対象のドットパタン画像を投影させる。その際、投影制御部１５８は、処理対象ドットパタン画像を、投影中の動画像の任意のフレームの画像に重畳して処理対象の投影部１１１に供給し、その動画像の任意のフレームの画像に重畳された状態で投影させる。

ステップＳ１４４において、撮像制御部１５９は、未処理の撮像部１１２を処理対象（制御対象）として選択する。

ステップＳ１４５において、撮像制御部１５９は、ステップＳ１４４において選択された処理対象の撮像部１１２を制御し、ステップＳ１４３において投影された処理対象のドットパタン画像の投影画像を撮像させる。そして、撮像制御部１５９は、その処理対象の撮像部１１２において得られた撮像画像を取得する。

上述したようにドットパタン画像は、動画像の所定のフレームの画像に重畳されて投影されるので、この撮像画像には、ドットパタン画像および動画像の所定のフレームの画像の少なくとも一部が含まれる。

ステップＳ１４６において、撮像制御部１５９は、全ての撮像部１１２に処理対象のドットパタン画像の投影画像を撮像させたか否かを判定する。未処理の撮像部１１２が存在すると判定された場合、処理はステップＳ１４４に戻る。また、ステップＳ１４６において、全ての撮像部１１２に撮像させたと判定された場合、処理はステップＳ１４７に進む。つまり、ステップＳ１４４乃至ステップＳ１４６の各処理が各撮像部１１２について実行される。なお、撮像範囲内に処理対象のドットパタン画像の投影画像が含まれない撮像部１１２については、これらの処理を省略するようにしてもよい。

全ての撮像部１１２に処理対象のドットパタン画像の投影画像を撮像させると、ステップＳ１４７において、ドットパタン投影撮像部１５３は、全てのドットパタン画像を処理した（投影した）か否かを判定する。未処理のドットパタン画像が存在すると判定された場合、処理はステップＳ１４２に戻る。また、ステップＳ１４７において、全てのドットパタン画像が処理されたと判定された場合、処理はステップＳ１４８に進む。つまり、ステップＳ１４２乃至ステップＳ１４７の各処理が各ドットパタン画像について実行される。

全ての撮像部１１２に、全てのドットパタン画像の投影画像を撮像させると、ステップＳ１４８において、ドット重心検出部１５４は、ステップＳ１４５において得られた撮像画像に含まれるドットを検出する。なお、ドット重心検出部１５４が、検出したドットの重心をさらに検出するようにしてもよい。また、ドット重心検出部１５４が、コーナーに対応するドットの時間方向に平均化された重心を求めるようにしてもよい。

ドットの重心の検出についての処理の詳細は後述する。

ステップＳ１４９において、投影制御部１５８は、全ての投影部１１１にドットパタン画像を投影させたか否かを判定する。未処理の投影部１１１が存在すると判定された場合、処理はステップＳ１４１に戻る。また、ステップＳ１４９において、全ての投影部１１１に全てのドットパタン画像を投影させたと判定された場合、処理はステップＳ１５０に進む。つまり、ステップＳ１４１乃至ステップＳ１４９の各処理が各投影部１１１について実行される。

全ての投影部１１１に全てのドットパタン画像の投影画像を投影させ、全ての撮像部１１２にその全ての投影画像を撮像させると、ステップＳ１５０において、ドット重心検出部１５４は、各コーナーに対応するドットの時間方向の出現パタンを示すドット時系列データを生成する。

ステップＳ１５１において、対応点デコード部１５５は、ステップＳ１５０において得られたドット時系列データに含まれる各コーナーに対応するドットの時間方向の出現パタンをデコードして各コーナーを識別する。そして、対応点デコード部１５５は、識別したコーナーの位置に基づいて、投影画像と撮像画像との対応点を求める。対応点デコード部１５５は、この対応点を全ての投影画像と撮像画像との間で求める。つまり、対応点デコード部１５５は、各投影部１１１のどの画素が各撮像部１１２のどの画素に対応するかを求める。

ステップＳ１５１の処理が終了すると、対応点検出処理が終了し、処理は図１５に戻る。

以上のように、チェッカーパタンを用いて対応点の検出を行うことにより、制御装置１０１は、グレイコードを用いる場合よりも、少ないパタン画像で対応点を検出することができる。そのため、対応点検出の処理時間の増大を抑制することができる。

また、チェッカーパタンだけでなくドットパタンも利用するため、制御装置１０１は、チェッカーパタンの隅以外のコーナーも容易に識別することができ、対応点の検出精度の低減を抑制することができる。また、投影部１１１や撮像部１１２の設置自由度の低減を抑制することができる。

すなわち、対応点検出の精度を向上させることができる。

＜ドットを利用したコーナーの補正＞
なお、コーナーの位置を、ドットを用いて補正するようにしてもよい。例えば、コーナーの位置を、ステップＳ１４８において検出された、そのコーナーに対応するドットの重心に設定するようにしてもよい。また、例えば、コーナーの位置を、ステップＳ１４８において検出された、そのコーナーに対応するドットの時間方向に平均化された重心に設定するようにしてもよい。

一般的に、チェッカーパタンは、投影角度やスクリーン形状等に応じて形状変化し易く、それによってコーナーの検出精度が低減し易い。これに対してドットは小さく単純な絵柄であるため、投影角度やスクリーン形状等による形状変化が少ない。そのため、以上のようにドットパタンを用いてコーナー検出を行うことにより、環境による対応点検出の精度の低減を抑制することができ、よりロバストな対応点検出を実現することができる。

さらに、チェッカーパタンのみによる対応点検出では、画素以下の検出精度を出せず、三角測量の精度を十分に高くすることが困難であったが、上述したようにドットパタンを用いて対応点検出を行うことにより、サブピクセル精度で対応点を求めることができ、三角測量の精度を、より容易に十分なレベルにまで高精度化することができる。

また、上述したようにドットパタンを用いることにより、コーナーの識別と位置補正の両方を行うことができ、それらを異なるパタンで行う場合よりも、パタン数を低減させることができ、対応点検出の処理時間の増大を抑制することができる。

＜外周部の対応点検出＞
なお、チェッカーパタン画像の外周部に位置するコーナーは、外周部以外に位置するコーナーよりもその検出精度（検出した位置の正確性）が低減する可能性がある。例えば、図２１のＡに示されるチェッカーパタン画像３１２の場合、白丸で示されるコーナー３１３は、その周囲の４方向にエッジ（矩形の境界）が存在する。これに対して、黒丸で示されるコーナー３１４は、チェッカーパタン画像３１２の外周部に位置するため、エッジは周辺の１方向にしか存在しない。さらに、チェッカーパタン画像３１２外の領域は画素値が不確定の領域であるため、チェッカーパタン画像３１２の外周部の検出精度が低減する可能性がある。そのため、外周部のコーナー３１４の位置は、外周部以外のコーナー３１３に比べてその検出精度が低減する可能性がある。つまり、外周部は、非外周部に比べて対応点の検出精度が低減する可能性がある。

そこで、ドットパタン画像における、チェッカーパタン画像の外周部に位置するコーナーに対応するドットの時間方向の出現頻度が、チェッカーパタン画像の外周部以外に位置するコーナーに対応するドットの時間方向の出現頻度よりも多くなるようにしてもよい。つまり、チェッカーパタン画像の外周部に位置するコーナーに対して、ドットの出現頻度がより多い出現パタンを優先的に割り当てるようにしてもよい。

例えば図２１のＡに示されるチェッカーパタン画像３１２に対して４枚のドットパタンを投影するものとする。その際、コーナーＰ、コーナーＱ、コーナーＲ、コーナーＳに対して、図２１のＢに示される表のように、ドットの出現パタンを割り当てるようにしてもよい。図２１のＢにおいて、数字１乃至４の列が各ドットパタンを示しており、白丸がドットを示している。つまり、外周部のコーナー３１４であるコーナーＰやコーナーＱに対しては、ドットが３つずつ出現する出現パタンが割り当てられている。これに対して、非外周部のコーナー３１３であるコーナーＲやコーナーＳに対しては、ドットが１つのみ出現する出現パタンが割り当てられている。

一般的に、ドットの出現頻度が多いほど、ドットの時間方向に平均化された重心の位置の精度を向上させることができる。つまり、ドットの時間方向に平均化された重心を、より正確な位置に求めることができる。

したがって、チェッカーパタン画像の外周部に位置するコーナーに対応するドットの時間方向の出現頻度をより多くすることにより、上述したようにドットの時間方向に平均化された重心に基づいてコーナーの位置を補正する場合に、外周部のコーナーをより正しい位置に補正することができる。つまり、外周部の対応点の検出精度の低減を抑制することができ、位置によらず十分に高精度な対応点検出を行うことができる。

なお、一般的に、投影画像の外周部に近い対応点程その利用価値が高い。例えば、外周部に近い対応点は、画像全体の幾何補正に利用し易い。また、投影撮像システム１００のように複数の投影部１１１から投影を行うシステムの場合、投影画像の外周部に近い部分ほどオーバラップ領域となり易く、姿勢推定やスクリーン再構成のための対応点検出に利用され易い。換言するに、この場合、投影画像の中心に近い対応点は、そもそも検出され難く、外周部に近い対応点に比べて利用される可能性が低い。

したがって、非外周部においても、より外周部に近いコーナーに対して、ドットの出現頻度がより多い出現パタンを優先的に割り当てるようにしてもよい。このようにすることにより、より外周部に近い程、対応点の検出精度を向上させることができる。

＜コーナー検出処理の流れ＞
次に、図１６のステップＳ１２８において実行されるコーナー検出処理の流れの例を、図２２のフローチャートを参照して説明する。

コーナー検出処理が開始されると、差分画像生成部１６１は、ステップＳ１６１において、ステップＳ１２５において得られた１対のチェッカーパタンのそれぞれの投影画像を含む撮像画像同士の差分画像であるチェッカーパタン差分画像を生成する。例えば、図１８の場合、差分画像生成部１６１は、チェッカーパタン画像３０１－１を含む撮像画像と、チェッカーパタン画像３０１－２を含む撮像画像とのチェッカーパタン差分画像を生成する。

ステップＳ１６２において、２値化部１６２は、ステップＳ１６１において得られたチェッカーパタン差分画像を２値化し、２値化画像を得る。チェッカーパタン差分画像を２値化することにより矩形の境界がより顕著になるため、コーナー検出をより容易化することができる。

ステップＳ１６３において、コーナー検出部１６３は、ステップＳ１６２において得られた２値化画像においてコーナーを検出する。

ステップＳ１６３の処理が終了すると、処理は図１６に戻る。

＜重心検出処理の流れ＞
次に、図１７のステップＳ１４８において実行される重心検出処理の流れの例を、図２３のフローチャートを参照して説明する。

重心検出処理が開始されると、差分画像生成部１７１は、ステップＳ１８１において、ステップＳ１４５において得られた１組のドットパタン画像のそれぞれの投影画像を含む各撮像画像と、ドットパタンを含まない画像の投影画像を含む撮像画像との差分画像であるドットパタン差分画像を生成する。例えば、図２０の場合、差分画像生成部１７１は、ドットパタン画像３１１－０を含む撮像画像とドットパタン画像３１１－１を含む撮像画像とのドットパタン差分画像、ドットパタン画像３１１－０を含む撮像画像とドットパタン画像３１１－２を含む撮像画像とのドットパタン差分画像、および、ドットパタン画像３１１－０を含む撮像画像とドットパタン画像３１１－３を含む撮像画像とのドットパタン差分画像を生成する。

ステップＳ１８２において、２値化部１７２は、ステップＳ１８１において得られた各ドットパタン差分画像を２値化し、それぞれの２値化画像を得る。ドットパタン差分画像を２値化することによりドットがより顕著になるため、ドット検出をより容易化することができる。

ステップＳ１８３において、ドット検出部１７３は、ステップＳ１８２において得られた各２値化画像においてドットを検出する。その際、ドット検出部１７３は、ステップＳ１２８（図１６）において検出されたコーナー（特徴点）を含む所定の範囲内において、そのコーナーに対応するドットを検出するようにしてもよい。

例えば、図２４のＡに示されるように、互いに隣接する矩形３２１乃至矩形３２４のコーナーに対応するドット３３１を検出する場合、ドット検出部１７３が、そのコーナーを含む所定の範囲３２５内においてドットの検出を行うようにしてもよい。

ドットは各コーナーの位置に設定されるので、各コーナーに対応するドットは、そのコーナーの近傍に出現する。換言するに、コーナーから遠く離れた位置で検出されたドットは、誤検出である可能性が高い。したがって、各コーナーに対応するドットを、そのコーナーを含む所定の範囲内（例えば、そのコーナーを中心とする所定の範囲内）においてドットの検出を行うようにすることにより、ドットの誤検出を抑制し、そのコーナーに対応するドットをより正確に検出することができる。また、不要な領域におけるドットの検出を抑制することができ、不要な処理を低減させることができるので、処理時間や負荷の増大を抑制することができる。

ステップＳ１８４において、重心検出部１７４は、ステップＳ１８３において検出された各２値化画像の各ドットの重心を検出する。例えば図２４のＡに示されるように、ステップＳ１８３においてドット３３１が検出された場合、そのドット３３１から、その重心３４１を求める。この重心を用いてコーナーの位置を補正することにより、対応点検出をより正確に行うことができる。

ステップＳ１８５において、平均化処理部１７５は、ステップＳ１８４において検出された各ドットの重心座標を時間方向に平均化する。例えば、図２４のＢに示されるように、３枚の撮像画像のそれぞれにおいて、１のコーナーに対応するドットとして、ドット３３１－１乃至ドット３３１－３の３つのドットが検出されたとする。平均化処理部１７５は、これらのドット３３１－１乃至ドット３３１－３のそれぞれの重心の座標を時間方向に平均化する。このようにして得られたドットの時間方向に平均化された重心を用いてコーナーの位置を補正することにより、対応点検出をさらに正確に行うことができる。

ステップＳ１８５の処理が終了すると、処理は図１７に戻る。

以上のように各処理を実行することにより、制御装置１０１は、対応点検出の精度を向上させることができる。

＜３．第２の実施の形態＞
＜投影撮像システム、投影撮像装置の他の構成例＞
なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図２５のＡに示される投影撮像システム４００のように、制御装置１０１並びに各投影撮像装置１０２がネットワーク４０１を介して互いに接続されるようにしてもよい。

ネットワーク４０１は、任意の通信網である。ネットワーク４０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク４０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク４０１に含まれるようにしてもよい。

制御装置１０１並びに各投影撮像装置１０２は、このネットワーク４０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。

制御装置１０１並びに各投影撮像装置１０２は、ネットワーク４０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置１０１並びに各投影撮像装置１０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の投影撮像システム４００の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図２５のＢに示される投影撮像システム４１０のように、投影部１１１と撮像部１１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム４１０は、投影撮像装置１０２の代わりに、投影装置４１１－１乃至投影装置４１１－Ｎ（Ｎは任意の自然数）、並びに、撮像装置４１２－１乃至撮像装置４１２－Ｍ（Ｍは任意の自然数）を有する。投影装置４１１－１乃至投影装置４１１－Ｎは、それぞれ、投影部１１１（投影部１１１－１乃至投影部１１１－Ｎ）を有し、画像の投影を行う。撮像装置４１２－１乃至撮像装置４１２－Ｍは、それぞれ、撮像部１１２（撮像部１１２－１乃至撮像部１１２－Ｍ）を有し、投影面（投影部１１１が投影した投影画像）の撮像を行う。

投影装置４１１－１乃至投影装置４１１－Ｎを互いに区別して説明する必要が無い場合、投影装置４１１と称する。撮像装置４１２－１乃至撮像装置４１２－Ｍを互いに区別して説明する必要が無い場合、撮像装置４１２と称する。

各投影装置４１１並びに各撮像装置４１２は、それぞれ制御装置１０１と通信可能に接続されており、有線通信または無線通信またはその両方により制御装置１０１と通信を行う（情報を授受する）ことができる。なお、各投影装置４１１並びに各撮像装置４１２が、制御装置１０１を介して、他の投影装置４１１若しくは他の撮像装置４１２またはその両方と通信を行うことができるようにしてもよい。

また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図２５のＡの例のように、各装置が、ネットワーク４０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。

このような構成の投影撮像システム４１０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図２６のＡに示される投影撮像システム４２０のように、制御装置１０１を省略するようにしてもよい。図２６のＡに示されるように、投影撮像システム４２０は、投影撮像装置４２１－１乃至投影撮像装置４２１－Ｎ（Ｎは任意の自然数）を有する。投影撮像装置４２１－１乃至投影撮像装置４２１－Ｎを互いに区別して説明する必要が無い場合、投影撮像装置４２１と称する。各投影撮像装置４２１は、通信ケーブル４２２を介して互いに通信可能に接続されている。なお、各投影撮像装置４２１が無線通信によって互いに通信可能に接続されるようにしてもよい。

投影撮像装置４２１－１乃至投影撮像装置４２１－Ｎは、それぞれ、制御部４２３－１乃至制御部４２３－Ｎを有する。制御部４２３－１乃至制御部４２３－Ｎを互いに区別して説明する必要が無い場合、制御部４２３と称する。制御部４２３は、制御装置１０１と同様の機能を有し、同様の処理を行うことができる。

つまり、この投影撮像システム４２０の場合、上述した制御装置１０１において行われる処理が、投影撮像装置４２１（の制御部４２３）において実行される。なお、いずれかの投影撮像装置４２１（の制御部４２３）が、制御装置１０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置４２１（の制御部４２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。

このような構成の投影撮像システム４２０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図２６のＢに示されるように、投影撮像システム１００が１つの装置として構成されるようにしてもよい。図２６のＢに示される投影撮像装置４３０は、投影部１１１（投影部１１１－１乃至投影部１１１－Ｎ（Ｎは任意の自然数））、撮像部１１２（撮像部１１２－１乃至撮像部１１２－Ｍ（Ｍは任意の自然数））、並びに、制御部４２３を有する。

投影撮像装置４３０において、制御部４２３は、上述した制御装置１０１において行われる処理を実行することにより、各投影部１１１並びに各撮像部１１２を制御して対応点の検出等を行う。

したがって、このような構成の投影撮像装置４３０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

＜４．その他＞
＜本技術の適用例＞
上述した実施形態に係るシステムや装置は、任意のシステムや電子機器に応用され得る。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の画像処理システムや画像処理装置に適用することができる。

例えば、本技術は、鑑賞の用に供される画像を投影・撮像するシステムにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムや、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステム等にも適用することができる。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

例えば図９の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１４１により構成される。その場合、例えば、リムーバブルメディア１４１をドライブ１３５に装着することにより、そのリムーバブルメディア１４１に記憶されているこのプログラムを読み出させ、記憶部１３３にインストールさせることができる。

また例えば図１２の投影撮像装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２２１により構成される。その場合、例えば、リムーバブルメディア２２１をドライブ２１５に装着することにより、そのリムーバブルメディア２２１に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図９の制御装置１０１の場合、プログラムは、通信部１３４で受信し、記憶部１３３にインストールすることができる。また、例えば図１２の投影撮像装置１０２の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図９の制御装置１０１の場合、プログラムは、記憶部１３３やROM１２２等に予めインストールしておくこともできる。また、例えば図１２の投影撮像装置１０２の場合、プログラムは、記憶部２１３や制御部２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出する特徴点検出部と、
単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出するドット検出部と、
前記特徴点検出部により検出された特徴点を、前記ドット検出部により検出された、前記特徴点に対応するドットの時間方向の出現パタンに基づいて識別することにより、投影画像と撮像画像との対応点を検出する対応点検出部と
を備える画像処理装置。
（２） 前記対応点検出部は、前記ドット検出部により検出された、前記特徴点検出部により検出された特徴点と同じ位置または周辺に位置するドットの時間方向の出現パタンに基づいて前記特徴点を識別する
（１）に記載の画像処理装置。
（３） 前記特徴点を含む前記投影画像は、チェッカーパタンの投影画像であり、
前記特徴点は、前記チェッカーパタンのコーナーである
（１）または（２）に記載の画像処理装置。
（４） 前記特徴点検出部は、互いにパタンが反転している１対のチェッカーパタンのそれぞれの投影画像を撮像して得られる１対の撮像画像の差分画像を生成し、生成した前記差分画像に含まれる前記特徴点を検出する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記特徴点検出部は、前記差分画像を２値化して２値画像を生成し、生成した前記２値画像に含まれる前記特徴点を検出する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記特徴点検出部は、検出した前記特徴点の座標のマップ情報を生成する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記ドット検出部は、時間方向に順次投影される、各特徴点に対応するドットの時間方向の出現パタンが一意に定まるように前記ドットが配置された複数の前記ドットパタンのそれぞれの投影画像を撮像して得られる各撮像画像に含まれる前記ドットを検出する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記ドット検出部は、前記特徴点を含む所定の範囲内において、前記ドットを検出する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記ドット検出部は、前記ドットパタンを含まない投影画像を撮像して得られる撮像画像と、前記ドットパタンを含む投影画像を撮像して得られる撮像画像との差分画像を生成し、生成した前記差分画像に含まれる前記ドットを検出する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記ドット検出部は、前記差分画像を２値化して２値画像を生成し、生成した前記２値画像に含まれる前記ドットを検出する
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記ドット検出部は、検出したドットの重心をさらに検出し、
前記対応点検出部は、前記ドット検出部により検出された前記ドットの重心を用いて前記特徴点の位置を補正する
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記ドット検出部は、
時間方向に順次投影される、各特徴点に対応するドットの時間方向の出現パタンが一意に定まるように前記ドットが配置された複数の前記ドットパタンのそれぞれの投影画像を撮像して得られる各撮像画像に含まれる前記ドットおよびその重心を検出し、
検出された、互いに同一の特徴点に対応するドットの重心を、時間方向に平均化する
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記ドットパタンには、前記投影画像の外周部の特徴点に対応するドットの時間方向の出現頻度が、前記投影画像の前記外周部以外の特徴点に対応するドットの時間方向の出現頻度よりも高くなるようなパタンで、各ドットが配置されている
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記特徴点は、所定のパタンの絵柄が繰り返されるパタン画像に含まれる所定の絵柄の部分であり、
前記特徴点検出部は、前記パタン画像が他の画像に重畳された投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出するように構成され、
前記ドット検出部は、前記ドットパタンが他の画像に重畳された投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出するように構成される
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記対応点検出部は、複数の投影部から投影された各投影画像と、各投影画像を複数の撮像部により撮像されて得られた各撮像画像との対応点を検出する
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記対応点検出部により検出された前記対応点を用いて姿勢推定を行う姿勢推定部をさらに備える
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記姿勢推定部により推定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 投影画像を投影する投影部をさらに備える
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 投影画像を撮像して撮像画像を得る撮像部をさらに備える
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出し、
単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出し、
検出された特徴点に対応する、検出されたドットの時間方向の出現パタンに基づいて、前記特徴点を識別することにより、投影画像と撮像画像との対応点を検出する
画像処理方法。

１００ 投影撮像システム， １０１ 制御装置， １０２ 投影撮像装置， １１１ 投影部， １１２ 撮像部， １５１ チェッカーパタン投影撮像部， １５２ コーナー検出部， １５３ ドットパタン投影撮像部， １５４ ドット重心検出部， １５５ 対応点デコード部， １５６ 姿勢推定部， １５７ 設定部， １５８ 投影制御部， １５９ 撮像制御部， １６１ 差分画像生成部， １６２ ２値化部， １６３ コーナー検出部， １７１ 差分画像生成部， １７２ ２値化部， １７３ ドット検出部， １７４ 重心検出部， １７５ 平均化処理部， ２０１ 制御部， ４００ 投影撮像システム， ４０１ ネットワーク， ４１０ 投影撮像システム， ４１１ 投影装置， ４１２ 撮像装置， ４２０ 投影撮像システム， ４２１ 投影撮像装置， ４２３ 制御部， ４３０ 投影撮像装置

Claims (20)

1. 所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出する特徴点検出部と、
   単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出するドット検出部と、
   前記特徴点検出部により検出された特徴点を、前記ドット検出部により検出された、前記特徴点に対応するドットの時間方向の出現パタンに基づいて識別することにより、投影画像と撮像画像との対応点を検出する対応点検出部と
   を備える画像処理装置。
2. 前記対応点検出部は、前記ドット検出部により検出された、前記特徴点検出部により検出された特徴点と同じ位置または周辺に位置するドットの時間方向の出現パタンに基づいて前記特徴点を識別する
   請求項１に記載の画像処理装置。
3. 前記特徴点を含む前記投影画像は、チェッカーパタンの投影画像であり、
   前記特徴点は、前記チェッカーパタンのコーナーである
   請求項１に記載の画像処理装置。
4. 前記特徴点検出部は、互いにパタンが反転している１対のチェッカーパタンのそれぞれの投影画像を撮像して得られる１対の撮像画像の差分画像を生成し、生成した前記差分画像に含まれる前記特徴点を検出する
   請求項１に記載の画像処理装置。
5. 前記特徴点検出部は、前記差分画像を２値化して２値画像を生成し、生成した前記２値画像に含まれる前記特徴点を検出する
   請求項４に記載の画像処理装置。
6. 前記特徴点検出部は、検出した前記特徴点の座標のマップ情報を生成する
   請求項１に記載の画像処理装置。
7. 前記ドット検出部は、時間方向に順次投影される、各特徴点に対応するドットの時間方向の出現パタンが一意に定まるように前記ドットが配置された複数の前記ドットパタンのそれぞれの投影画像を撮像して得られる各撮像画像に含まれる前記ドットを検出する
   請求項１に記載の画像処理装置。
8. 前記ドット検出部は、前記特徴点を含む所定の範囲内において、前記ドットを検出する 請求項１に記載の画像処理装置。
9. 前記ドット検出部は、前記ドットパタンを含まない投影画像を撮像して得られる撮像画像と、前記ドットパタンを含む投影画像を撮像して得られる撮像画像との差分画像を生成し、生成した前記差分画像に含まれる前記ドットを検出する
   請求項１に記載の画像処理装置。
10. 前記ドット検出部は、前記差分画像を２値化して２値画像を生成し、生成した前記２値画像に含まれる前記ドットを検出する
    請求項９に記載の画像処理装置。
11. 前記ドット検出部は、検出したドットの重心をさらに検出し、
    前記対応点検出部は、前記ドット検出部により検出された前記ドットの重心を用いて前記特徴点の位置を補正する
    請求項１に記載の画像処理装置。
12. 前記ドット検出部は、
    時間方向に順次投影される、各特徴点に対応するドットの時間方向の出現パタンが一意に定まるように前記ドットが配置された複数の前記ドットパタンのそれぞれの投影画像を撮像して得られる各撮像画像に含まれる前記ドットおよびその重心を検出し、
    検出された、互いに同一の特徴点に対応するドットの重心を、時間方向に平均化する 請求項１１に記載の画像処理装置。
13. 前記ドットパタンには、前記投影画像の外周部の特徴点に対応するドットの時間方向の出現頻度が、前記投影画像の前記外周部以外の特徴点に対応するドットの時間方向の出現頻度よりも高くなるようなパタンで、各ドットが配置されている
    請求項１２に記載の画像処理装置。
14. 前記特徴点は、所定のパタンの絵柄が繰り返されるパタン画像に含まれる所定の絵柄の部分であり、
    前記特徴点検出部は、前記パタン画像が他の画像に重畳された投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出するように構成され、
    前記ドット検出部は、前記ドットパタンが他の画像に重畳された投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出するように構成される
    請求項１に記載の画像処理装置。
15. 前記対応点検出部は、複数の投影部から投影された各投影画像と、各投影画像を複数の撮像部により撮像されて得られた各撮像画像との対応点を検出する
    請求項１に記載の画像処理装置。
16. 前記対応点検出部により検出された前記対応点を用いて姿勢推定を行う姿勢推定部をさらに備える
    請求項１に記載の画像処理装置。
17. 前記姿勢推定部により推定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
    請求項１６に記載の画像処理装置。
18. 投影画像を投影する投影部をさらに備える
    請求項１に記載の画像処理装置。
19. 投影画像を撮像して撮像画像を得る撮像部をさらに備える
    請求項１に記載の画像処理装置。
20. 所定の特徴点を複数含む投影画像を撮像して得られる撮像画像に含まれる前記特徴点を検出し、
    単数または複数のドットからなるドットパタンを含む投影画像を撮像して得られる撮像画像に含まれる前記ドットを検出し、
    検出された特徴点に対応する、検出されたドットの時間方向の出現パタンに基づいて、前記特徴点を識別することにより、投影画像と撮像画像との対応点を検出する
    画像処理方法。

Images