JP2003331263A

JP2003331263A - カメラ画像−実空間座標対応付けマップ生成方法、カメラ画像−実空間座標対応付けマップ生成装置、プログラムおよび記録媒体

Info

Publication number: JP2003331263A
Application number: JP2002137164A
Authority: JP
Inventors: Taku Nishio; 西尾　　卓; Kouichi Katou; 晃市加藤; Masaya Murase; 雅哉村瀬
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2002-05-13
Filing date: 2002-05-13
Publication date: 2003-11-21

Abstract

(57)【要約】【課題】高速な計算により物体の位置を求め、よりリ
アルタイム処理に適したカメラ画像−実空間座標対応付
けマップ生成方法を提供する。【解決手段】対応付けを行う実空間の床面に正方形パ
ターンを配置し、前記正方形パターンの存在する位置の
実空間座標を決定し、前記配置された正方形パターンを
含む実空間を撮影し、前記撮影された撮影画像中の前記
正方形パターンの４つの頂点の画像座標を検出し、前記
頂点の画像座標を通る２直線の消失点の位置を計算し、
当該計算された前記消失点の数に基づき、撮影画像の全
画素について、それぞれ実空間座標が記述された対応マ
ップ画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ画像−実空
間座標対応付けマップ生成方法、カメラ画像−実空間座
標対応付けマップ生成装置、プログラムおよび記録媒体
に係わり、特に、監視映像中から移動物体（特に、人
間）の位置をリアルタイムに求めるために、カメラ画像
と実空間の対応関係を記述したカメラ画像−実空間座標
対応付けマップを生成する方法および装置に関する。

【０００２】

【従来の技術】従来の、カメラ画像−実空間座標対応付
け方法は、実空間中の正確な座標と、画像上での座標の
対応点を多数与え、カメラの設置位置、姿勢、焦点距離
等を予め測定した上で、画像中に映る物体の画像座標を
透視投影変換を用いて実空間座標へと変換して求めてい
た。（文献：コンピュータビジョン第三章新技術コミ
ュニケーションズ）

【０００３】

【発明が解決しようとする課題】しかしながら、前述し
たような、カメラのキャリブレーションを行うために
は、多数の対応点を与える必要があるため、手間がかか
り、非常に複雑な計算式を解く必要があった。また、与
える対応点の座標の誤差が、キャリブレーションに大き
く影響を及ぼすため、キャリブレーション作業が困難で
あった。さらに、画像から実空間座標を求めるための計
算コストが大きいという問題点もあった。

【０００４】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、高速な
計算により物体の位置を求め、よりリアルタイム処理に
適したカメラ画像−実空間座標対応付けマップ生成方法
を提供することにある。また、本発明の他の目的は、前
述のカメラ画像−実空間座標対応付けマップ生成方法を
実行するためのカメラ画像−実空間座標対応付けマップ
生成装置を提供することにある。また、本発明の他の目
的は、前述のカメラ画像−実空間座標対応付けマップ生
成方法をコンピュータに実行させるためのプログラムを
提供することにある。また、本発明の他の目的は、前述
のプログラムが記録された記録媒体を提供することにあ
る。本発明の前記ならびにその他の目的と新規な特徴
は、本明細書の記述及び添付図面によって明らかにす
る。

【０００５】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。即ち、本発明は、カメラ画像と実空
間の座標とを対応付けるカメラ画像−実空間座標対応付
けマップ生成方法であって、対応付けを行う実空間の床
面に基準パターンを配置し、前記基準パターンの存在す
る位置の実空間座標を決定し、前記配置された基準パタ
ーンを含む実空間を撮影し、前記撮影された撮影画像中
の前記基準パターンの特徴点の画像座標を検出し、前記
検出された特徴点の画像座標に基づき、撮影画像の全画
素について、それぞれ実空間座標が記述された対応マッ
プ画像を生成することを特徴とする。

【０００６】また、本発明は、カメラ画像と実空間の座
標とを対応付けるカメラ画像−実空間座標対応付けマッ
プ生成方法であって、対応付けを行う実空間の床面に正
方形パターンを配置し、前記正方形パターンの存在する
位置の実空間座標を決定し、前記配置された正方形パタ
ーンを含む実空間を撮影し、前記撮影された撮影画像中
の前記正方形パターンの４つの頂点の画像座標を検出
し、前記頂点の画像座標を通る２直線の消失点の位置を
計算し、当該計算された前記消失点の数に合わせて計算
方法を変更し、撮影画像の全画素について、それぞれ実
空間座標が記述された対応マップ画像を生成することを
特徴とする。

【０００７】本発明の好ましい実施の形態では、対応付
けを行う実空間の床面に前記基準パターンを複数配置
し、それぞれの基準パターン毎に複数の対応マップ画像
を生成し、撮影画像の全画素のそれぞれ実空間座標とし
て、前記各対応マップ画像の同位置の画素の実空間座標
の平均値が記述された対応マップ画像を生成することを
特徴とする。本発明の好ましい実施の形態では、撮影画
像中の前記基準パターンの特徴点の画像座標を複数回検
出し、その平均値を前記特徴点の画像座標とすることを
特徴とする。本発明の好ましい実施の形態では、撮影画
像の全画素について、それぞれ実空間座標が記述された
対応マップ画像を生成する際に、対応マップ画像中の全
画素について、対応マップ画像の中心点からの距離に応
じて、座標の信頼度を与えることを特徴とする。

【０００８】また、本発明は、カメラ画像と実空間座標
とを対応付けるカメラ画像−実空間座標対応付けマップ
生成装置であって、対応付けを行う実空間の床面に配置
され、予めパターンの存在する位置の実空間座標が決定
された基準パターン（例えば、正方形パターン）を含む
実空間を撮影するカメラと、前記撮影された撮影画像中
における、予め検出された前記パターンの特徴点（例え
ば、正方形パターンの４つの頂点）の画像座標に基づ
き、撮影画像の全画素について、それぞれ実空間座標が
記述された対応マップ画像を生成する生成手段とを備え
ることを特徴とする。

【０００９】従来の方法では、カメラのキャリブレーシ
ョンを行うために、多数の対応点の座標を与えなければ
ならないのに対して、本発明では、最低４つの対応点を
与えるのみでよく、対応付けの計算を簡略化することが
可能となる。また、従来の方法では、位置を透視投影変
換を用いて求めていたのに対して、本発明では、画像上
での物体の位置をマップ画像から参照するだけで実空間
上の位置を求めることが可能となる。

【００１０】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。なお、実施の形態を説明す
るための全図において、同一機能を有するものは同一符
号を付け、その繰り返しの説明は省略する。図１は、本
発明の実施の形態のカメラ画像−実空間座標対応付けマ
ップ生成装置のハードウェア構成を示す図である。本実
施の形態は、撮像用カメラ１と、画像蓄積＆計算用パー
ソナルコンピュータ（以下、ＰＣという。）２と、表示
用ディスプレイ３と、座標入力用デバイス４とで構成さ
れる。図２は、本発明の実施の形態のカメラ画像−実空
間座標対応付けマップ生成装置の概略構成を示す機能ブ
ロック図である。図２に示す画像取得部１０が、図１に
示すカメラ１に対応する。同様に、図２に示す座標入力
部１１が、図１に示す座標入力用デバイス４に、図２に
示す画像表示部１２が、図１に示す表示用ディスプレイ
３に、図２に示すマップ生成部１３が、図１に示す画像
蓄積＆計算用ＰＣ（２）に対応する。

【００１１】図３は、本実施の形態のカメラ画像−実空
間座標対応付けマップ生成方法を説明するためのフロー
チャートである。以下、カメラ画像−実空間対応マップ
の作り方と、そのマップを利用した物体位置の求め方に
ついて、図３に示すフローチャートに沿って説明する。
対応マップ生成の準備として、例えば、図４に示すよう
に、撮影対象となるエリアに仮想的な格子を設定する。
この格子に対して、図５に示すように、縦、横に番号を
振り、その格子番号を実空間座標とする。また、図６に
示すように、床面に対して横軸が水平となるような天井
の適当な位置にカメラを設置する。次に、例えば、図７
に示すように、格子のひとつに重なるように、頂点Ａ、
Ｂ、Ｃ、Ｄから成る正方形の基準パターンを設置する
（ステップ２０）。図７の場合は、基準パターンの座標
は（４，３）となる。実際は、撮影エリアに格子が引か
れておらず、基準パターンが置かれているだけなので、
図８に示すようになっている。この正方形パターンを含
むエリアを、撮像用カメラ１で撮影し（ステップ２
１）、表示用ディスプレイ３に表示する（ステップ２
２）。

【００１２】ステップ２１、ステップ２２により、例え
ば、図９のような画像が得られたとすると、画像の中心
を原点とする、図１０に示すようなＸＹ座標系における
４つの頂点の画像座標を手動で測定する（ステップ２
３）。この４つの頂点の画像座標に基づき、撮影画像の
各画素がどの場所を映しているのかを記述した対応マッ
プを作成する。具体的には、各画素毎に対応する実空間
座標（格子番号）を記述した縦横のサイズが撮影画像と
同じである対応マップ画像を作成する。まず、画像蓄積
＆計算用ＰＣ（２）に、撮影画像と縦横のサイズが同じ
で中身が空の対応マップ画像を用意する。この対応マッ
プ画像に対して、さきほど座標を求めた４点（Ａ，Ｂ，
Ｃ，Ｄ）をプロットし、消失点を計算する（ステップ２
４）。次に、消失点の数を判断し（ステップ２５）、そ
の消失点の数に応じて計算方法を変更して、対応マップ
画像を生成する（ステップ２６、ステップ２７、ステッ
プ２８）以下、ステップ２６〜ステップ２８における対
応マップ画像の生成方法を説明する。

【００１３】マップ作成Ａ（ステップ２６）図１１に示すように、頂点Ａと頂点Ｃとを通る直線ＡＣ
と、頂点Ｂと頂点Ｄとを通る直線ＢＤの交点Ｅ、並び
に、頂点Ａと頂点Ｂとを通る直線ＡＢと、頂点Ｃと頂点
Ｄとを通る直線ＣＤの交点Ｆの、２つの交点（Ｅ，Ｆ）
が存在する場合には、以下の方法で対応マップを生成す
る。この二つの交点（Ｅ，Ｆ）を、本明細書では消失点
と呼び、直線ＥＦは対応マップ画像と平行となる。先
ず、頂点Ａと頂点Ｃとを通る直線ＡＣと、頂点Ｂと頂点
Ｄとを通る直線ＢＤの交点Ｅ、並びに、頂点Ａと頂点Ｂ
とを通る直線ＡＢと、頂点Ｃと頂点Ｄとを通る直線ＣＤ
の交点Ｆを計算する。さらに、直線（ＡＦ，ＣＦ）と、
対応マップ画像下端との交点（Ｇ，Ｈ）をそれぞれ求
め、線分ＧＨの長さを求める。この線分ＧＨの長さを基
準にして、図１１に示すように、対応マップ画像下端上
の間隔が等間隔となるよう消失点Ｆから直線を引く。消
失点Ｅについても同様とする。これにより、図１２に示
すような対応マップ画像が得られる。この図１２に示す
対応マップ画像は、仮想的な格子を、撮像用カメラ１で
撮影した際の画像を意味している。ただし、量子化誤差
やレンズ歪の影響は考慮されていない。ここで、正方形
パターンの実空間座標は（４，３）であるので、マップ
上の対応するパターン内のすべての画素に（４，３）と
いう情報を格納する。また、頂点Ａ、頂点Ｂのどちら
が、実空間座標横軸の正方向側であるのか、頂点Ａ、頂
点Ｃのどちらが実空間座標縦軸の正方向側であるのかと
いう情報から他の格子の実空間座標が求められるので、
図１３に示すように、対応マップ画像上のすべての画素
の対応する実空間座標を記述する。以上の方法により、
撮像用カメラ１の設置位置、角度に係わらず、消失点が
２つ存在する場合には、対応マップ画像を作成すること
ができる。

【００１４】マップ作成Ｂ（ステップ２７）ある位置に設置された撮像用カメラ１で撮影された正方
形パターンにおいて、図１４に示すように、直線ＡＢと
直線ＣＤが平行になっており、消失点（Ｅ）がひとつし
か存在しない場合には、以下の方法で対応マップ画像を
生成する。まず、消失点が二つある場合と同様に、図１
５に示すように、消失点（Ｅ）から直線を引く。次に、
頂点Ａの画像上の座標が（ａ１，ａ２）、頂点Ｃの画像
上の座標が（ｃ１，ｃ２）であるとすると、図１６に示
す直線Ｌ１の画像上でのＹ座標は（（２＊ｃ１＊ａ２）
−（ａ１＊ｃ２））／（２＊ｃ１−ａ１）の計算式によ
り求めることができ、図１７に示すように平行線を引く
ことができる。同様に、図１６に示す直線Ｌ２の画像上
でのＹ座標は（（２＊ａ１＊ｃ２）−（ｃ１＊ａ２））
／（２＊ａ１−ｃ１）と求めることができ、図１７に示
すように平行線を引くことができる。このようにして得
られた対応マップ画像は、図１８に示すようになり、消
失点が２つの場合と同様に、各画素に対応する実空間座
標を記述してやれば対応マップ画像を作成することがで
きる。

【００１５】以下、図１６に示す直線Ｌ１の画像上での
Ｙ座標、および図１６に示す直線Ｌ２の画像上でのＹ座
標の計算方法を、図１９を用いて簡単に説明する。図１
９（ａ）は、撮像用カメラ１で床面を撮像している状態
を示す側面図、図１９（ｂ）は、図１６を再掲載して示
す図、図１９（ｃ）は、図１７を再掲載して示す図であ
る。今、床面Ａ、Ｃ、Ｋの画像上の座標を、Ａ（ａ１，
ａ２）、Ｃ（ｃ１，ｃ２）、Ｋ（ｋ１，ｋ２）、また、
実空間上の座標（カメラ座標系）を、Ａ（Ａｘ，Ａｙ，
Ａｚ）、Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）、Ｋ（Ｋｘ，Ｋｙ，Ｋ
ｚ）とする。ただし、Ａｘ＝Ｃｘ＝Ｋｘとする。また、
撮像用カメラ１の焦点距離をｆとすると、透視変換によ
り、下記（１）〜（６）が得られる。ａ１＝ｆ（Ａｘ／Ａｚ）・・・・・・・・（１）ａ２＝ｆ（Ａｙ／Ａｚ）・・・・・・・・（２）ｃ１＝ｆ（Ｃｘ／Ｃｚ）・・・・・・・・（３）ｃ２＝ｆ（Ｃｙ／Ｃｚ）・・・・・・・・（４）ｋ１＝ｆ（Ｋｘ／Ｋｚ）・・・・・・・・（５）ｋ２＝ｆ（Ｋｙ／Ｋｚ）・・・・・・・・（６）

【００１６】図１６に示す直線Ｌ１の画像上でのＹ座標
を求め方を説明する。図１９（ａ）により、下記
（７）、（８）式が得られる。Ｋｙ＝Ａｙ＋（Ａｙ−Ｃｙ）＝２＊Ａｙ−Ｃｙ・・・・・・・・（７）Ｋｚ＝Ａｚ＋（Ａｚ−Ｃｚ）＝２＊Ａｚ−Ｃｚ・・・・・・・・（８）（２）式より、下記（９）式が、また、（４）式より、
下記（１０）式が、さらに、（１）式より、下記（１
１）式が得られる。Ａｙ＝ａ２＊Ａｚ／ｆ・・・・・・・・（９）Ｃｙ＝ｃ２＊Ｃｚ／ｆ・・・・・・・・（１０）Ａｘ＝ｃ１＊Ａｚ／ｆ・・・・・・・・（１１）（３）式、（１１）式、およびＡｘ＝Ｃｘより、下記
（１２）式が得られる。Ｃｚ＝ｆ（Ｃｘ／ｃ１）＝（ａ１／ｃ１）＊Ａｚ・・・・・（１２）（６）〜（１０）式により、下記（１３）式が得られ
る。ｋ２＝ｆ（Ｋｙ／Ｋｚ）＝ｆ（（２＊Ａｚ−Ｃｙ）／（２＊Ａｚ−Ｃｚ）＝（２＊（ａ２＊Ａｚ）−（ｃ２＊Ｃｚ））／（２＊Ａｚ−Ｃｚ）・・・・・（１３）（１２）式より、下記（１４）式が得られる。ｋ２＝（２＊ａ２−ｃ２＊（ａ１／ｃ１））／（２−（ａ１／ｃ１））＝（２＊ｃ１＊ａ２−ａ１＊ｃ２）／（２＊ｃ１−ａ１）・・・・・（１４）図１６に示す直線Ｌ２の画像上でのＹ座標を求める際に
は、前記（７）、（８）を、下記（１７）式、（１８）
に置き換えて、前述と同様な計算を行う。Ｋｙ＝２＊Ｃｙ−Ａｙ・・・・・・・・（１７）Ｋｚ＝２＊Ｃｚ−Ａｚ・・・・・・・・（１８）これにより、Ｙ座標を求める計算式は、（（２＊ａ１＊
ｃ２）−（ｃ１＊ａ２））／（２＊ａ１−ｃ１）とな
る。

【００１７】マップ作成Ｃ（ステップ２８）例えば、真下に向けて設置された撮像用カメラ１で撮影
された正方形パターンは、図２０に示すように直線ＡＢ
とＣＤが平行で、直線ＡＣとＢＤも平行になっており消
失点が存在しない。この場合は、図２１に示すように、
平行線を等間隔に引き、正方形の格子を作ってやればよ
い。以上のように、計算方法は３種類あるため、消失点
の個数により計算方法の変更を行う。この作成されたカ
メラ画像−実空間対応マップを用いて、実際に物体の位
置を求める場合には、物体の画像上の位置に対応するマ
ップの値を参照する。例えば、ある撮像用カメラ１で撮
像された画像において、図２２の位置に物体があった場
合、その物体が実空間中のどこにあるかを求めるには、
その撮像用カメラ１で撮像された画像と対応する図２３
の対応マップを参照すればよい。この例では、図２３の
マップから同位置の座標を読み取り物体の位置は（５，
５）となる。このように、本実施の形態では、物体の位
置を求める際に、対応マップを参照するだけで済むた
め、位置を高速に求めることが可能である。

【００１８】なお、本実施の形態において、複数の位置
に配置した基準パターンを用いて複数の対応マップ画像
を生成し、各マップ画像の同位置の画素値についてそれ
ぞれ平均を求め、平均値を画素値として用いた平均マッ
プ画像を生成することで、４つの頂点座標の測定誤差を
減らすことができる。このとき、平均値については、四
捨五入または切り捨てなど方法により整数化してもよ
い。また、４つの頂点の画像座標を測定する際、複数回
測定を繰り返し、その平均値を頂点の画像座標とするこ
とによっても、測定誤差を減らすことができる。このと
き、平均値については、四捨五入または切り捨てなど方
法により整数化してもよい。さらに、通常撮像用カメラ
１で撮像した画像には、レンズによる歪みが生じるた
め、画素毎に信頼度を与えることにより、物体位置の精
度をある程度把握することができる。レンズ歪みは、画
像中心から離れるほど大きくなるため、例えば、１／√
（Ｘ ^２＋Ｙ^２）式により、信頼度を計算する。なお、
Ｘ，Ｙは、図１０に示すような、画像の中心点を原点と
したＸＹ座標系において、信頼度の測定を行う画素の座
標である。ここで、原点の信頼度は１とする。本実施の
形態のカメラ画像−実空間座標対応付けマップ生成方法
において、図３のステップ２２、ステップ２４〜ステッ
プ２８は、画像蓄積＆計算用パーソナルコンピュータ２
上で実行されるプログラムにより実行されるステップで
あり、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体、
あるいは、ネットワークを介したダウンロードにより供
給される。以上、本発明者によってなされた発明を、前
記実施の形態に基づき具体的に説明したが、本発明は、
前記実施の形態に限定されるものではなく、その要旨を
逸脱しない範囲において種々変更可能であることは勿論
である。

【００１９】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。本発明によれば、カメラ画像−実空間
の対応付けの準備のための作業時間が短縮でき、かつ、
高速に座標変換を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態のカメラ画像−実空間座標
対応付けマップ生成装置のハードウェア構成を示す図で
ある。

【図２】本発明の実施の形態のカメラ画像−実空間座標
対応付けマップ生成装置の概略構成を示す機能ブロック
図である。

【図３】本発明の実施の形態のカメラ画像−実空間座標
対応付けマップ生成方法を説明するためのフローチャー
トである。

【図４】対応付けを行う実空間を示す俯瞰図である。

【図５】対応付けを行う実空間の床面への座標割り当て
の一例を示す図である。

【図６】撮像用カメラの設置状態を示す図である。

【図７】対応付けを行う実空間の床面へ、正方形パター
ンを配置した一例を示す図である。（格子は仮想的に表
示）

【図８】図７に示す位置に、正方形パターンを配置した
場合における、実際の実空間の様子を示す図である。

【図９】撮像用カメラで撮像した画像で、消失点が２個
の場合の撮像画像の一例を示す図である。

【図１０】図９に示す撮像画像における座標軸設定の一
例を示す図である。

【図１１】消失点が２個の場合における、対応マップ生
成の途中経過を説明するための図である。

【図１２】消失点が２個の場合における、生成された対
応マップの正方形パターン部分に座標を与えた様子を示
す図である。

【図１３】消失点が２個の場合における、最終的に対応
マップ上のすべての画素に座標を与えた様子を示す図で
ある。

【図１４】撮像用カメラで撮像した画像で、消失点が１
個の場合の撮像画像の一例を示す図である。

【図１５】消失点が１個の場合における、対応マップ生
成の途中経過を説明するための図である。

【図１６】仮想的な格子が表示された実空間を示す俯瞰
図である。

【図１７】図１５に示す図面に平行線を加えた状態を示
す図である。

【図１８】消失点が１個の場合における、生成された対
応マップの正方形パターン部分に座標を与えた様子を示
す図である。

【図１９】図１６に示す直線Ｌ１の画像上でのＹ座標、
および図１６に示す直線Ｌ２の画像上でのＹ座標の計算
方法を説明するための図である。

【図２０】撮像用カメラで撮像した画像で、消失点が０
個の場合の撮像画像の一例を示す図である。

【図２１】消失点が０個の場合における、最終的に生成
された対応マップを示す図である。

【図２２】物体が存在する実空間の一例を示す図であ
る。

【図２３】対応マップ画像上に物体を投影した様子を示
す図である。

【符号の説明】

１…撮像用カメラ、２…画像蓄積＆計算用パーソナルコ
ンピュータ、３…表示用ディスプレイ、４…座標入力用
デバイス、１０…画像取得部、１１…座標入力部、１２
…画像表示部、１３…マップ生成部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者村瀬雅哉東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 2F065 AA03 AA04 BB02 BB05 BB15 CC16 DD06 FF04 FF61 JJ03 QQ00 QQ17 QQ26 QQ28 SS01 5B057 AA19 BA02 DA07 DB03 DB05 DB09 DC05 DC08 5C054 AA01 CA04 EA01 EA05 EA07 ED07 FC03 FC15 FE14 GB12 HA05 HA19

Claims

【特許請求の範囲】

【請求項１】カメラ画像と実空間の座標とを対応付け
るカメラ画像−実空間座標対応付けマップ生成方法であ
って、対応付けを行う実空間の床面に基準パターンを配置し、前記基準パターンの存在する位置の実空間座標を決定
し、前記配置された基準パターンを含む実空間を撮影し、前記撮影された撮影画像中の前記基準パターンの特徴点
の画像座標を検出し、前記検出された特徴点の画像座標に基づき、撮影画像の
全画素について、それぞれ実空間座標が記述された対応
マップ画像を生成することを特徴とするカメラ画像−実
空間座標対応付けマップ生成方法。
【請求項２】カメラ画像と実空間の座標とを対応付け
るカメラ画像−実空間座標対応付けマップ生成方法であ
って、対応付けを行う実空間の床面に正方形パターンを配置
し、前記正方形パターンの存在する位置の実空間座標を決定
し、前記配置された正方形パターンを含む実空間を撮影し、前記撮影された撮影画像中の前記正方形パターンの４つ
の頂点の画像座標を検出し、前記頂点の画像座標を通る２直線の消失点の位置を計算
し、当該計算された前記消失点の数に合わせて計算方法を変
更し、撮影画像の全画素について、それぞれ実空間座標
が記述された対応マップ画像を生成することを特徴とす
るカメラ画像−実空間座標対応付けマップ生成方法。
【請求項３】対応付けを行う実空間の床面に前記基準
パターンを複数配置し、それぞれの基準パターン毎に複数の対応マップ画像を生
成し、撮影画像の全画素のそれぞれ実空間座標として、前記各
対応マップ画像の同位置の画素の実空間座標の平均値が
記述された対応マップ画像を生成することを特徴とする
請求項１または請求項２に記載のカメラ画像−実空間座
標対応付けマップ生成方法。
【請求項４】撮影画像中の前記基準パターンの特徴点
の画像座標を複数回検出し、その平均値を前記特徴点の
画像座標とすることを特徴とする請求項１ないし請求項
３のいずれか１項に記載のカメラ画像−実空間座標対応
付けマップ生成方法。
【請求項５】撮影画像の全画素について、それぞれ実
空間座標が記述された対応マップ画像を生成する際に、
対応マップ画像中の全画素について、対応マップ画像の
中心点からの距離に応じて、座標の信頼度を与えること
を特徴とする請求項１ないし請求項４のいずれか１項に
記載のカメラ画像−実空間座標対応付けマップ生成方
法。
【請求項６】カメラ画像と実空間座標とを対応付ける
カメラ画像−実空間座標対応付けマップ生成装置であっ
て、対応付けを行う実空間の床面に配置され、予めパターン
の存在する位置の実空間座標が決定された基準パターン
を含む実空間を撮影するカメラと、前記撮影された撮影画像中における、予め検出された前
記パターンの特徴点の画像座標に基づき、撮影画像の全
画素について、それぞれ実空間座標が記述された対応マ
ップ画像を生成する生成手段とを備えることを特徴とす
るカメラ画像−実空間座標対応付けマップ生成装置。
【請求項７】前記基準パターンは、正方形パターンで
あり、前記特徴点は、前記正方形パターンの４つの頂点である
ことを特徴とする請求項６に記載のカメラ画像−実空間
座標対応付けマップ生成装置。
【請求項８】カメラ画像と実空間の座標とを対応付け
るカメラ画像−実空間座標対応付けマップ生成方法をコ
ンピュータに実行させるプログラムであって、前記プログラムは、対応付けを行う実空間の床面に配置
され、予めパターンの存在する位置の実空間座標が決定
された正方形パターンを含む実空間を、カメラで撮影し
た撮像画像を表示用ディスプレイに表示させる手順と、前記撮影された撮影画像中における、予め検出された前
記正方形パターンの頂点の画像座標を通る２直線の消失
点の位置を計算させる手順と、当該計算させた前記消失点の数に合わせて計算方法を変
更し、撮影画像の全画素について、それぞれ実空間座標
が記述された対応マップ画像を生成させる手順とを、コ
ンピュータに実行させることを特徴とするプログラム。
【請求項９】前記プログラムは、対応付けを行う実空
間の床面に複数配置された前記正方形パターン毎に、前
記各手順を実行させて、それぞれの基準パターン毎の複
数の対応マップ画像を生成させた後に、前記各対応マッ
プ画像の同位置の画素の実空間座標の平均値を計算させ
る手順と、撮影画像の全画素のそれぞれ実空間座標として、前記平
均値が記述された対応マップ画像を生成させる手順と
を、コンピュータに実行させることを特徴とする請求項
８に記載のプログラム。
【請求項１０】前記プログラムは、対応マップ画像中
の全画素について、対応マップ画像の中心点からの距離
に応じた座標の信頼度を計算させる手順を、コンピュー
タに実行させることを特徴とする請求項８または請求項
９に記載のプログラム。
【請求項１１】前記請求項８ないし請求項１０のいず
れか１項に記載されたプログラムが記録された記録媒
体。