WO2007108100A1

WO2007108100A1 - 画像情報処理装置、判定方法、及びコンピュータプログラム

Info

Publication number: WO2007108100A1
Application number: PCT/JP2006/305578
Authority: WO
Inventors: Akito Saito; Yuichiro Akatsuka; Takao Shibasaki; Yukihito Furuhashi
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-03-20
Filing date: 2006-03-20
Publication date: 2007-09-27
Anticipated expiration: 2008-09-20
Also published as: EP1998282A1; US20090010496A1; CN101401124A; EP1998282A4

Abstract

　画像入力部（１０）により画像情報を入力し、マーカ検出部（２１）によりその入力された画像情報の画像中においてマーカ（１００）を抽出し、位置及び姿勢検出部（２２）により、上記抽出されたマーカ（１００）の上記画像中における位置を検出し、複数の画像において各々抽出された標識間の異同を判定する。その際、位置及び姿勢検出部（２２）は、少なくとも選択的に適用される判定条件として、上記検出された当該各マーカ（１００）の位置に基づく判定条件を備える。

Description

明細書

画像情報処理装置、判定方法、及びコンピュータプログラム

技術分野

[0001] 本発明は、複数の画像間で各画像中に存在する標識の異同を判定する画像情報処理装置、判定方法、及びコンピュータプログラムに関する。

背景技術

[0002] 実世界中の対象物及び/又は既定の標識（マーカ）に対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。そのうち、対象物及び/又は既定のマーカの空間情報を利用して、情報を呈示する装置力 ^sある。

[0003] このような装置として、例えば、 USP6, 389, 182号公報には、以下のような技術が開示されている。すなわち、名刺上に印刷された 2次元コードをカメラで読み込み、コンピュータ内のプログラムで IDを解析する。そして、この IDに相当する人物の顔写真を、あた力も名刺上の 2次元コードの横にあるかのごとぐコンピュータ上のディスプレィに表示する。

[0004] し力、しながら、上記 USP6, 389， 182号公報に開示されているような技術では、同じデザインの標識（マーカ）が複数枚の画像中に存在すると、同一のマーカと認識してしまう。これは、それぞれのマーカの区別ができないという問題によるものである。発明の開示

[0005] 本発明は、上記の点に鑑みてなされたもので、複数の画像間で各画像中に存在する標識の異同を判定することが可能な画像情報処理装置、判定方法、及びコンビュータプログラムを提供することを目的とする。

[0006] 本発明の画像情報処理装置の一態様は、

画像情報を入力する画像情報入力手段と、

上記画像情報入力手段によって入力された画像情報の画像中において、標識を抽出する抽出手段と、

上記抽出手段で抽出された標識の上記画像中における位置を検出する位置検出手段と、

複数の画像において各々抽出された標識間の異同を判定する手段であり、少なくとも選択的に適用される判定条件として、上記位置検出手段によって検出された当該各標識の位置に基づく判定条件を具備する判定手段と、

を具備することを特徴とする。

[0007] また、本発明の複数の画像間で各画像中に存在する標識の異同を判定する方法の一態様は、

複数の画像を入力するステップと、

上記入力された各画像中において、標識を抽出するステップと、

上記抽出された標識の画像上の位置を検出するステップと、

少なくとも選択的に上記検出された上記標識の位置に基づく判定条件を適用して

、上記入力された複数の画像において各々抽出された画像標識間の異同を判定するステップと、

を具備することを特徴とする。

[0008] また、本発明のコンピュータプログラムの一態様は、コンピュータに複数の画像間で各画像中に存在する標識の異同を判定させるコンピュータプログラムであり、コンビュータに、

複数の画像を入力させ、

上記入力された各画像中において、標識を抽出させ、

上記抽出された標識の画像上の位置を検出させ、

少なくとも選択的に上記検出された上記標識の位置に基づく判定条件を適用して、上記入力された複数の画像において各々抽出された画像標識間の異同を判定させる、

ことを特徴とする。

図面の簡単な説明

[0009] [図 1]図 1は、本発明の一実施例に係る画像情報処理装置の構成を示す図である。

[図 2]図 2は、標識であるマーカの例を説明するための図である。

[図 3]図 3は、画像情報処理装置の動作を説明するためのフローチャートを示す図である。

[図 4]図 4は、図 3中のマーカ同定処理の詳細を説明するためのフローチャートを示す図である。

[図 5]図 5は、画像入力部で撮影しているマーカ力 S1個から 2個に増えた場合を説明するための第 1及び第 2の画像を示す図である。

[図 6]図 6は、画像入力部で撮影しているマーカが 2個から 1個に減った場合を説明するための第 1及び第 2の画像を示す図である。

[図 7]図 7は、同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合における第 1の画面を示す図である。

[図 8]図 8は、同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合における第 2の画面を示す図である。

[図 9]図 9は、同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合における第 3の画面を示す図である。

[図 10]図 10は、同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合における第 4の画面を示す図である。

[図 11]図 11は、同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合における第 5の画面を示す図である。

[図 12]図 12は、同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合における第 6の画面を示す図である。

[図 13]図 13は、マーカの構成の第 1の構成例を示す図である。

[図 14]図 14は、マーカの構成の第 2の構成例を示す図である。

[図 15]図 15は、マーカの構成の第 3の構成例を示す図である。

[図 16]図 16は、マーカの構成の第 4の構成例を示す図である。

発明を実施するための最良の形態

[0010] 以下、本発明を実施するための最良の形態を図面を参照して説明する。

[0011] 本発明の一実施例に係る画像情報処理装置は、図 1に示すような構成に、カメラである画像入力部 10と、パーソナルコンピュータ等で構成された制御部 20と、液晶ディスプレイ等の表示部 30とからなる。なお、これら画像入力部 10、制御部 20及び表示部 30を一体化した携帯型の装置として構成しても良いことは勿論である。また、制御部 20の機能の一部を、ネットワークを介してアクセス可能なサーバ上に構成することも可能である。

[0012] 上記画像入力部 10は、画像情報入力手段として機能する。上記画像入力部 10は、所定のパターンを持った標識であるマーカ 100を撮影する。そして、上記画像入力部 10は、この撮影により得られた画像情報を制御部 20に入力する。ここで、上記マ一力 100は、例えば、図 2に示すように、予め定められた形状 (本実施例では四角形 )の枠部 101と、その枠部 101の内部に記された文字を含む記号や意匠 102とから構成される。

[0013] 上記制御部 20は、マーカ検出部 21、位置及び姿勢検出部 22、マーカ情報格納部 23、関連情報生成部 24、関連情報格納部 25、及び重畳画像生成部 26を含む。ここで、上記マーカ検出部 21は、抽出手段として機能する。上記マーカ検出部 21は、上記画像入力部 10によって入力された画像情報の画像内から、上記枠部 101を検出することで上記標識としてのマーカ 100を検出する。そして、上記マーカ検出部 21は、その検出結果をマーカ情報として位置及び姿勢検出部 22に供給する。上記位置及び姿勢検出部 22は、位置検出手段、判定手段及び類似度評価手段として機能する。上記位置及び姿勢検出部 22は、上記マーカ検出部 21からのマーカ情報を用いて、マーカ情報格納部 23に格納されている情報から対応するマーカを同定する。これにより、上記位置及び姿勢検出部 22は、カメラ（画像入力部 10)の位置及び姿勢を検出する。そして、上記位置及び姿勢検出部 22は、この検出の結果を関連情報生成部 24に供給する。上記マーカ情報格納部 23には、マーカ 100のテンプレート画像やマーカ 100の配置されている位置及び姿勢情報等の、マーカ 100に関する情報が格納されている。上記関連情報生成部 24は、上記位置及び姿勢検出部 22 で検出した上記画像入力部 10の位置及び姿勢に応じて関連情報格納部 25から予め設定された情報を抽出して関連情報を生成する。そして、上記関連情報生成部 24 は、この生成した関連情報を重畳画像生成部 26に供給する。上記関連情報格納部 25には、モデル空間上に配置されたモデルの位置及び姿勢情報や形状情報、属性情報等の関連情報が格納されている。上記重畳画像生成部 26は、上記画像入力部 10からの画像情報と上記関連情報生成部 24で生成した関連情報とを重畳する。そして、上記重畳画像生成部 26は、この重畳により生成した重畳画像を、上記表示部 30に供給する。

[0014] また、上記表示部 30は、上記重畳画像生成部 26で生成された重畳画像を表示するものである。

[0015] 以上のような構成の画像情報処理装置の動作を、図 3のフローチャートを参照して、詳細に説明する。

[0016] まず、画像入力部 10は、画像を撮影し、得られた画像情報を第 1の画像情報としてマーカ検出部 21に入力する（ステップ S10)。マーカ検出部 21は、その入力された第 1の画像情報の画像内に含まれるマーカ 100の検出を行う（ステップ S12)。これは、まず、マーカ 100の枠部 101を検出することで、マーカ候補を検出する。この枠部 1 01の検出は、公知の画像処理手法であるので、その詳細説明は省略する。このとき、検出されるマーカ候補は一つに限られない。次に、その検出される各マーカ候補の枠部 101の四隅の画像内での座標を検出し、各枠部 101の内部を抽出してそれぞれァフィン変換を行う。そして、ァフィン変換後の各画像とマーカ情報格納部 23に予め登録してあるマーカのテンプレート画像 (例えば、「50」等の記号や意匠 102を持つマーカの画像）とのパターンマッチングをそれぞれ行う。その結果、マーカのテンプレート画像と一致する画像がなければ、マーカ 100が検出されなかったとして (ステツプ S14)、上記ステップ S10の画像入力ステップに戻る。

[0017] 一方、マーカのテンプレート画像と一致する画像があれば、マーカ検出部 21は、マ一力 100が検出されたとする（ステップ S14)。この場合、位置及び姿勢検出部 22は、上記マーカ検出部 21によって検出した当該マーカの枠部 101の四隅の座標から、その枠部 101の中心座標をそれぞれ求め、各マーカ 100の位置情報とする（ステツプ S16)。そして、検出した各マーカに IDを振る（ステップ S18)。さらに、各マーカの I Dと位置情報とを図示しない内部メモリに記憶する（ステップ S 20)。

[0018] その後、再び、画像入力部 10は、画像を撮影し、得られた画像情報を第 2の画像情報としてマーカ検出部 21に入力する（ステップ S22)。マーカ検出部 21は、上記ステツプ S12と同様にして、その入力された第 2の画像情報の画像内に含まれるマーカ 100の検出を行う（ステップ S24)。ここで、マーカ 100が検出されなかったならば（ステツプ S26)、上記ステップ S22の画像入力ステップに戻る。

[0019] 一方、マーカ 100が検出された場合には (ステップ S26)、位置及び姿勢検出部 22 は、上記ステップ S16と同様にして、各マーカ 100の位置情報を検出する（ステップ S 28)。そして更に、該位置及び姿勢検出部 22は、マーカ同定処理を実行する (ステツプ S30)。

[0020] このステップ S30のマーカ同定処理は、図 4に示すように、まず、上記第 1の画像から検出した各マーカ及び上記第 2の画像から検出した各マーカの、画像類似度を比較する（ステップ S301)。これは、第 1の画像のマーカ、第 2の画像のマーカの区別なぐ各マーカの類似度を比較するものである。ここで、同じ (類似の）マーカがなければ (ステップ S302)、第 1の画像から検出し記憶しているマーカの IDを全てクリアする (ステップ S303)。そして、第 2の画像から検出したマーカ全てに対して、新たに IDを振って（ステップ S304)、このマーカ同定処理を終了する。

[0021] これに対して、同じ (類似の）マーカがあるならば (ステップ S302)、同じ (類似の）マ一力同士を関連付ける（ステップ S305)。この関連付けは、（1)第 1の画像のマーカのみの関連付け、（2)第 2の画像のマーカのみの関連付け、（3)両方の画像のマー力が含まれる関連付け、の 3種類が可能である。次に、各関連付けられたマーカ同士の中で、互いの距離が近い順に、第 2の画像から検出したマーカを、第 1の画像から検出したマーカに対応付けていく（ステップ S306)。これは各関連付け毎に行うものであるが、当然、上記（3)の両方の画像のマーカが含まれる関連付けの場合のみ、対応付けされる。第 1画像のマーカと第 2画像のマーカとで数が異なれば、多い方から「余り」がでる。また、上記（1)の第 1の画像のマーカのみの関連付け及び（2)の第 2の画像のマーカのみの関連付けの場合は、全マーカ力「余り」となる。

[0022] 次に、各関連付けられたマーカ同士の中で、上記対応付けされた分について、第 1 の画像から検出したマーカの IDを第 2の画像から検出したマーカの IDに転記する（ステップ S307)。これは各関連付け毎に行うものであり、上記ステップ S307で対応付けられなかった「余り」は転記対象外となる。

[0023] そして、上記転記された IDを除き、第 1の画像から検出したマーカの IDを全てクリアする（ステップ S308)。即ち、第 2の画像には無い、第 1の画像だけのマーカは IDを全てクリアする。また、上記 IDが転記された以外の、第 2の画像から検出したマーカ全てに対して、新たに IDを振る (ステップ S309)。即ち、第 2の画像で新規に発生したマーカは、 IDを新規に振る。そして、このマーカ同定処理を終了する。

[0024] ここで、このマーカ同定処理までの動作を、具体例を用いて説明する。

[0025] まず、図 5により、画像入力部 10で撮影しているマーカが 1個から 2個に増えた場合を説明する。ここで、マーカ 100Cはマーカ 100Aと同一のマーカであり、マーカ 100 Bは新たに見えたマーカと想定する。また、これらマーカ 100A， 100B, 100Cは同一デザイン (記号や意匠 102が同一）のマーカである。

[0026] 即ち、上記ステップ S10乃至ステップ S20の処理により、第 1の画像 41でマーカ（マ一力 100A)が 1個検出される。このマーカは「50」の記号や意匠 102を持つマーカであり、（例えば、画像左上を（0, 0)とする座標において）その中心座標が（80, 80) , I Dは「1」と記憶される。また、上記ステップ S22乃至ステップ S28の処理により、第 2の画像 42で、マーカが 2個検出される。ここで、一方のマーカ 100Bは「50」の記号や意匠 102を持ち、中心座標は（10, 10)のマーカ、他方のマーカ 100Cは同じく「50」の記号や意匠 102を持ち、中心座標は（90, 90)のマーカであると検出される。

[0027] このような場合、同定処理においては、まず、上記ステップ S301 , S305, S306の処理により、第 1の画像 41で検出した IDが「1」のマーカ 100Aについて、現在の第 2 の画像 42で検出したマーカ 100B、マーカ 100Cの中で一番距離が近いマーカを探す。ここで、 ID「1」のマーカ 100Aの中心座標が（80, 80)なので、中心座標が（90, 90)のマーカ 100Cの方が中心座標が（10, 10)のマーカ 100Bに比べて距離が近レヽ。したがって、上記ステップ S306, S307の処理により、中心座標（90, 90)のマー力 100Cの IDを「1」にセットする。また、第 1の画像 41で検出したマーカ数は 1個なので、残りの中心座標（10， 10)のマーカ Bは、現第 2の画像 42で新規に検出したマー力と判断し、上記ステップ S309の処理により、 IDとして「2」をセットする。

[0028] 以上より、第 1の画像 41で中心座標（80, 80)で検出した「50」の記号や意匠 102 を持つマーカ 100Aは、現第 2の画像 42で中心座標（90， 90)で検出した「50」の記号や意匠 102を持つマーカ 100Cであると認識することが可能となる。また、現第 2の画像 42から中心座標（10, 10)で検出した同じく「50」の記号や意匠 102を持つマ一力 100Bは、新規検出マーカとして認識することが可能となる。

[0029] 次に、図 6により、画像入力部 10で撮影しているマーカが 2個から 1個に減った場合を説明する。ここで、マーカ 100Fはマーカ 100Eと同一のマーカ、マーカ 100Dは見えなくなったマーカであると想定する。

[0030] 即ち、上記ステップ S10乃至ステップ S20の処理により、第 1の画像 51でマーカが

2個検出される。一方のマーカ 100Dは「50」の記号や意匠 102を持ち、中心座標は (10, 10)で IDは「1」のマーカであると記憶される。他方のマーカ 100Eは同じく「50 」の記号や意匠 102を持ち、中心座標は（90, 90)で IDは「2」のマーカであると記憶される。また、上記ステップ S22乃至ステップ S28の処理により、第 2の画像 52で、マ一力（マーカ 100F)が 1個検出される。そのマーカは「50」の記号や意匠 102を持ち、その中心座標が（80, 80)のマーカであると検出される。

[0031] このような場合、同定処理においては、まず、上記ステップ S301 , S305, S306にて以下の処理を行う。すなわち、まず第 1の画像 51で検出した IDが「1」のマーカ 10 0Dについて、現在の第 2の画像 52で検出したマーカ 100Fとの距離を求める。次に第 1の画像 51で検出した ID力 S「2」のマーカ 100Eについて、現在の第 2の画像 52で検出したマーカ 100Fとの距離を求める。そして、マーカ 100Fは中心座標（80, 80) なので、中心座標（90, 90)のマーカ 100Eが一番距離が近いので、上記ステップ S 306, S307の処理 ίこより、マーカ 100Fの IDを「2」tこセットする。

[0032] また、第 1の画像 51で検出したマーカ数は 2個なので、残りの中心座標（10, 10) のマーカ 100Dは、次の第 2の画像 52で検出できなくなったマーカと判断し、上記ステツプ S308の処理により、 ID「1」をクリアする。

[0033] 以上より、前の第 1の画像 51で中心座標（90， 90)で検出した「50」の記号や意匠

102を持つマーカ 100Eは、次の第 2の画像 52で中心座標（80, 80)で検出した「50 」の記号や意匠 102を持つマーカ 100Fであると認識することが可能となる。また、第 1の画像 51で中心座標（10， 10)で検出した「50」の記号や意匠 102を持つマーカ 1 00Dは、検出できなくなったマーカとして認識することが可能となる。

[0034] 上記位置及び姿勢検出部 22は、以上のようなマーカ同定処理を実施して、第 2の画像における各マーカに IDを振ったならば、各マーカの IDと、上記ステップ S28で検出した各マーカの位置情報とを図示しない内部メモリに記憶する（ステップ S32)。

[0035] そして、位置及び姿勢検出部 22、更に、マーカ情報格納部 23から同定した各マー力の空間定位情報 (マーカの配置されている位置及び姿勢情報）を入手する。そして、画像内での当該マーカの枠部 101の四隅の位置からカメラ（画像入力部 10)の位置及び姿勢を検出する（ステップ S34)。なお、マーカからカメラの位置及び姿勢を求める方法は、列えば、 "A High Accurasy Realtime 3D Measuring Metho d of Marker for VR Interface by Monocular Vision" (3D Image Confer ence ' 96 Proceeding pp.167-172 , Akira Takahashi, Ikuo Ishii, Hideo M akino, Makoto Nakashizuka, 1996)に開示されているので、その詳細説明は省略する。

[0036] そして、関連情報生成部 24は、上記位置及び姿勢検出部 22で検出したカメラ（画像入力部 10)の位置及び姿勢に応じて関連情報格納部 25から予め設定された情報を抽出して関連情報を生成する (ステップ S36)。重畳画像生成部 26は、上記画像入力部 10からの画像とその関連情報生成部 24で生成した関連情報とを重畳して、表示部 30に重畳画像を表示する（ステップ S38)。

[0037] 以上のようにして、同じデザイン（同じ記号や意匠 102を持つ）のマーカ 100を同時に複数撮影した場合であっても、それぞれのマーカ 100を区別可能となる。また、複数の画像間で各画像中に存在するマーカ 100の異同を判定することが可能となる。

[0038] [適用例]

ここで、同一（同じ記号や意匠 102を持つ）のマーカ 100を複数使用する場合の一例として、本実施例を神経衰弱ゲームに応用した場合について説明する。

[0039] この神経衰弱ゲームは、最初に:!枚目のカードをめくり、次に 2枚目のカードをめくつたとき、 1枚目と 2枚目が同じカードであったならば、 1枚目のカードの関連情報として表示していたキャラクタが 2枚目のカードの位置に移動するものである。

[0040] 即ち、図 7は、マーカ 100を印刷したカード 200を裏返して置いてある状態を撮影した時の表示部 30の画面 31を示す図である。この場合、画面 31内には、カード 200 力 4枚ある力マーカ 100を認識してレヽなレ、為に何も表示されてレ、なレ、。 [0041] 図 8は、カード 200を 1枚裏返して置いた状態を撮影した時の画面 32を示している。このときの画面 32では、裏返したカード 200に印刷された「50」の記号や意匠 102 を持つマーカ 100が 1個検出される。それにより、その「50」の記号や意匠 102に対応した関連情報であるキャラクタ 60 (この場合は「車」）力その裏返したカード 200の位置及び姿勢に応じた位置及び姿勢で表示される。

[0042] 図 9は、もう一枚のカード 200を裏返して置いた状態を撮影した時の画面 33を示す図である。この画面 33では、同一の「50」の記号や意匠 102を持つマーカ 100が 2個検出される。従って、「50」の記号や意匠 102に対応した同一のキャラクタ 60 (この場合は「車」）力それぞれのカード 200の位置及び姿勢に応じて 2台表示される。

[0043] なお、勿論、神経衰弱ゲームであるから、他の記号や意匠 102を持つカードが 2枚目として裏返して置かれた状態を撮影する場合も多々ある。その場合には、その 2枚目のカードに印刷されたマーカの記号や意匠 102に対応するキャラクタ力 S、その 2枚目のカードの位置まで姿勢に応じて表示されることになる。

[0044] そして、図 9のように、マーカの記号や意匠 102が合致した場合には、絵合わせが成功である。従って、そのような場合には、そのことを呈示するために、図 9の画面 33 から、図 10乃至図 12に示すような画面 34乃至 36のように、表示を変遷させる。即ち、図 10の画面 34は、 1枚目に検出した「50」の記号や意匠 102を持つマーカ 100の位置から、 2枚目に検出した「50」の記号や意匠 102を持つマーカ 100に向かって、キャラクタ 60 (この場合は「車」 )が移動してレ、る様子を表示してレ、る。図 11の画面 35 は、そのキャラクタ 60 (この場合は「車」）の移動が完了し、一つの大きなキャラクタ 61 に表示を変更している。そして、図 12の画面 36では、そのキャラクタ 61に代えて、成功したことを示す文字 62を表示してレ、る。

[0045] このように、同一デザインのマーカを複数使用しても、それぞれのマーカを区別できる為に、例えば神経衰弱ゲームへの応用をはじめとして、種々の用途に応用することが可能となる。

[0046] 以上、一実施例に基づいて本発明を説明したが、本発明は上述した一実施例に限定されるものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 [0047] 例えば、上記一実施例では、制御部 20の各構成をハードウェアとして実現した場合を説明した力コンピュータプログラムの形態とし、それをコンピュータで実行することで同様の機能を実現するものであっても良レ、。例えば、制御部 20の各構成をコンピュータプログラムの形態とし、コンピュータが備えるプログラムメモリに予めそのコンピュータプログラムを記憶させておいても良レ、。また、例えば制御部 20の各構成をコンピュータプログラムの形態とし、 CD—ROM等の記録媒体によってそのコンビユータプログラムを提供し、該コンピュータプログラムをその記録媒体から読み込んでコンピュータが備えるプログラムメモリに記憶させても良レ、。更には、インターネットや LA N等のネットワークを介して外部の記録媒体に記録されたものをダウンロードして、プログラムメモリに記憶させたものであっても構わなレ、。

[0048] また、上記実施例では、第 1の画像と第 2の画像の 2画像を使用する場合についてのみ説明したが、 3画像以上を用いても良いし、動きの予測を適用することも可能である。

[0049] さらに、上記一実施例では図 2に示すように、上記マーカ 100は、予め定められた形状の枠部 101と、その枠部 101の内部に記された文字を含む記号や意匠 102とから構成されるとした。し力ながら、マーカ 100の構成は、このような構成に限定されなレ、。例えば以下に示すような 4つの構成例をはじめとして、種々の構成が考えられる。

[0050] (第 1の構成例）マーカ 100を、例えば図 13に示すように、意匠 102を円形、多角形、または自由曲線の枠部 101で囲った構成としても勿論良い（図 13に示す例では枠部 101は円形)。

[0051] (第 2の構成例）また、マーカ 100を、例えば図 14に示すように、枠部 101自体がその枠部 101内部の意匠 102の一部となる構成としても勿論良い。

[0052] (第 3の構成例）、マーカ 100を、例えば図 15に示すように、枠部自体を存在させず

、意匠 102のみで、他のマーカと区別可能な構成としても勿論良い。

(第 4の構成例）マーカ 100を、例えば図 16に示すように、意匠 102 (この例では人間の顔）の周辺に記号的なシンボル 102A (この例ではハート形状のマーク）を配置する構成としても勿論良い。 [0053] なお、マーカ 100を、図 13乃至図 15に示すような構成とする場合には、マーカ 100 の特定の為には、必ずしも上記ステップ S12及び上記ステップ S14における処理によるパターンマッチングの手法を用いなくても良い。すなわち、例えば画像入力部 10 力得られる画像情報から、画像的に特徴を持った点（以降、特徴点と呼ぶ）を抽出し、マーカ情報格納部 23に予め登録してあるマーカのテンプレート画像における各特徴点との類似度を評価することにより、画像情報に含まれるマーカ 100を特定することが可能となる。

[0054] マーカ 100の特定の為に、上記のように特徴点によるマッチング手法を採用した場合には、マーカ 100が互いに重なりあっていたり、マーカ 100の一部が欠けている画像情報であっても、マーカ 100を特定することが可能となる。すなわち、マーカ 100の特定の為に、上記のように特徴点によるマッチング手法を採用することは、実用上効果的である。

[0055] さらに、上記のような特徴点によるマッチング手法を、位置及び姿勢検出部 22によるマーカ 100の位置情報の算出（上記ステップ S16)に適用しても勿論よレ、。つまり、位置及び姿勢検出部 22は、マーカ 100の位置情報を、当該マーカ 100の枠部 101 の四隅の座標から求めるのではなぐ以下のように求めても良い。すなわち、上記画像情報内を占めるマーカ 100のピクセルの重心、マーカ 100の特徴点の重心、またはマーカ 100の特徴点のうち最も広がった複数の点に基づいて、マーカ 100の位置情報を算出しても勿論よい。ここで、上記"マーカ 100の特徴点のうち最も広がった複数の点"は、例えば、三点や四点であってもよいし、それ以上の個数の点であってもよレ、。さらには、マーカ 100の全ての特徴点を内包できるよう、動的に当該点の数を変化させてもょレ、勿論良レ、。

[0056] さらに、上記位置及び姿勢検出部 22で求める各マーカ 100の位置情報は、各マー力 100の上記画像情報内における位置だけでなぐ該位置における方向の情報を持ちうることは勿論である。ここで、上記方向の情報とは、例えばマーカ情報格納部 23 へのマーカ 100のテンプレート画像の登録時における上方向を基準の方向（基準軸 )とした場合に、上記画像情報内で特定したマーカ 100の上方向力上記基準軸からどれだけ回転している力、を示す情報である。なお、この回転は、二次元的な回転に限定されるものではなレ、。すなわち、例えばマーカ 100の台形歪からマーカの三次元的な姿勢を算出しても良い。そして、この算出は、公知の技術で可能である。このような算出により得られる、マーカ 100が持つ方向の情報は、三次元空間における姿勢情報とすることができる。なお、マーカ 100の台形歪は、図 2に示すような四角枠から求められるのは勿論、上述した特徴点によるマッチング手法によっても、当該特徴点の相対的な位置を考慮することで求めることができることは言うまでもない。

Claims

請求の範囲

[1] 画像情報を入力する画像情報入力手段（10)と、

上記画像情報入力手段（10)によって入力された画像情報の画像中において、標識（100)を抽出する抽出手段（21)と、

上記抽出手段（21)で抽出された標識（100)の上記画像中における位置を検出する位置検出手段 (22)と、

複数の画像において各々抽出された標識間の異同を判定する手段であり、少なくとも選択的に適用される判定条件として、上記位置検出手段（22)によって検出された当該各標識の位置に基づく判定条件を具備する判定手段 (22)と、

を具備することを特徴とする画像情報処理装置。

[2] 上記抽出手段 (21)で抽出された標識（100)間の類似度を評価する類似度評価手段（22)をさらに具備し、

上記判定手段（22)は、上記類似度評価手段（22)の評価結果だけでは上記標識 (100)間の異同の判定が出来ない場合に、上記位置検出手段（22)によって検出された当該各標識の位置情報に基づいてこの判定を行う、

ことを特徴とする請求項 1に記載の画像情報処理装置。

[3] 上記判定手段 (22)は、上記位置検出手段 (22)によって検出された当該各標識（ 100)の位置情報力導かれた当該各標識（100)間の距離が、最も近い標識（100) 同士を同一と判定することを特徴とする請求項 1に記載の画像情報処理装置。

[4] 複数の画像を入力するステップ（S10， S22)と、

上記入力された各画像中において、標識（100)を抽出するステップ（S 12， S24)と上記抽出された標識（100)の画像上の位置を検出するステップ (S16, S28)と、少なくとも選択的に上記検出された上記標識（100)の位置に基づく判定条件を適用して、上記入力された複数の画像にぉレ、て各々抽出された画像標識間の異同を判定するステップ（S30)と、

を具備することを特徴とする、複数の画像間で各画像中に存在する標識（100)の異同を判定する判定方法。

[5] 上記抽出された標識（100)間の類似度を評価するステップ (S301)をさらに具備し上記画像標識間の異同を判定するステップ (S30)は、上記類似度の評価結果だけでは上記標識（100)間の異同の判定が出来ない場合に、上記位置を検出するステツプ（S 16， S 28)によって検出された当該各標識（100)の位置情報に基づレ、てこの判定を行う、

ことを特徴とする請求項 4に記載の判定方法。

[6] 上記画像標識間の異同を判定するステップ（S30)は、上記位置を検出するステツプ（S16， S28)によって検出された当該各標識（100)の位置情報から導かれた当該各標識間の距離が、最も近い標識同士を同一と判定することを特徴とする請求項 4 に記載の判定方法。

[7] コンピュータに複数の画像間で各画像中に存在する標識（100)の異同を判定させるコンピュータプログラムであり、コンピュータに、

複数の画像を入力させ（S10, S22)、

上記入力された各画像中において、標識（100)を抽出させ（S12, S24)、上記抽出された標識（100)の画像上の位置を検出させ（S14, S26)、少なくとも選択的に上記検出された上記標識（100)の位置に基づく判定条件を適用して、上記入力された複数の画像にぉレ、て各々抽出された画像標識間の異同を判定させる（S30)、

ことを特徴とする、コンピュータプログラム。