WO2005038716A1

WO2005038716A1 - 画像照合システム及び画像照合方法

Info

Publication number: WO2005038716A1
Application number: PCT/JP2004/015612
Authority: WO
Inventors: Masahiko Hamanaka
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-10-21
Filing date: 2004-10-21
Publication date: 2005-04-28
Anticipated expiration: 2006-04-21
Also published as: EP1677250B9; CN1871622A; JPWO2005038716A1; KR100816607B1; KR20060058147A; EP1677250A1; EP2479726B9; EP2479726A1; EP2479726B1; US7715619B2; EP1677250B1; JP4556873B2; EP1677250A4; US20070031001A1; AU2004282790A1; CN1871622B

Abstract

　物体の３次元データを入力する３次元データ入力手段（１０）と、少なくとも１つの物体の参照画像を記憶する参照画像記憶部（３０）と、物体の姿勢の候補である姿勢候補を生成する姿勢候補決定手段（２０）と、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する比較画像生成手段（４０）と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段（５５）とを備える。これにより、物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合や検索ができる。また、物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至少数しか存在しない場合にも、高精度に照合や検索ができる。

Description

明細書

画像照合システム及び画像照合方法

技術分野

[0001] 本発明は、画像照合システム、画像照合方法及び画像照合用プログラムに関し、特に、物体の 3次元モデルを事前に登録することができず、システム内のデータべ一スゃネットワークにある各物体の参照画像が 1枚乃至少数しか存在せず、且つ、姿勢や照明等異なる条件で撮影されている場合にも高精度に照合'検索ができる画像照合システム、画像照合方法及び画像照合用プログラムに関するものである。

背景技術

[0002] 図 25は従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段 115と、画像変換手段 117と、画像照合手段 157と、参照画像記憶部 130と、標準 3次元物体モデル記憶部 135とから構成されている。

[0003] 参照画像記憶部 130には、物体を撮影した参照画像が予め記憶されている。標準 3次元物体モデル記憶部 135には、標準的な 3次元物体モデルが予め記憶されている。画像変換手段 117は画像入力手段 115より入力された入力画像と参照画像記憶部 130より得られる各参照画像の共通する部分領域に関して、標準 3次元物体モデル記憶部 135より得られる 3次元物体モデルを用いて、姿勢条件を同じにするように当該入力画像と当該参照画像の両方またはいずれかを変換し部分画像を生成する

[0004] 部分領域とは、例えば、目 '鼻'口のような特徴的な部分であり、予め各画像と 3次元物体モデルに対して特徴点を指定しておくことにより対応をとることができる。画像照合手段 157は画像変換手段 117より変換された入力画像と各参照画像の部分画像を比較し、それぞれ平均類似度を計算し、各物体で最も類似度の大きい参照画像を選出する (例えば、特開 2000-322577号公報 (特許文献 1)を参照)。

[0005] 図 26は他の従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段 115と、照明変動補正手段 122と、画像変換手段 118 と、画像照合手段 158と、参照画像記憶部 130と、標準 3次元物体モデル記憶部 13 5とから構成されている。

[0006] 参照画像記憶部 130には、物体を撮影した参照画像が予め記憶されて!、る。標準 3次元物体モデル記憶部 135には、標準的な 3次元物体モデルが予め記憶されている。照明変動補正手段 122は、標準 3次元物体モデル記憶部 135より得られる 3次元物体モデルを用いて、画像入力手段 115より入力された入力画像の照明条件 (表面反射率)を推定する。画像変換手段 118は参照画像の照明条件に合うように 3次元物体モデルを用いて入力画像を変換した画像を生成する。画像照合手段 158は画像変換手段 118より変換された入力画像と各参照画像を比較し、それぞれ類似度を計算し、各物体で最も類似度の大きい参照画像を選出する (例えば、特開 2002-02 4830号公報 (特許文献 2)を参照)。

[0007] 図 27は更に他の従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段 115と、参照 3次元物体モデル記憶部 137と、姿勢推定 ·照合手段 150とから構成されている。姿勢推定 ·照合手段 150は、姿勢候補決定手段 120と、比較画像生成手段 140と、画像照合手段 155とを含んでいる。

[0008] 参照 3次元物体モデル記憶部 137には、物体を計測して生成した参照 3次元物体モデルが予め記憶されている。姿勢推定'照合手段 150は、画像入力手段 115より得られる入力画像と、参照 3次元物体モデル記憶部 137より得られる参照 3次元物体モデルとの最小距離値 (もしくは最大類似度)を求め、当該最小距離値の最も小さいモデルを選出する。

[0009] より具体的には、姿勢候補決定手段 120は少なくとも 1つの姿勢候補を生成する。

次に、比較画像生成手段 140は、姿勢候補に応じて参照 3次元物体モデルを 2次元の画像に射影しつつ入力画像に近い比較画像を生成する。画像照合手段 155は、当該比較画像と当該入力画像との距離値を求め、各モデルに対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に入力画像と参照 3次元物体モデルとの最小距離値を求める。更に、当該最小距離値の最も小さいモデルを選出する（例えば、特開 2003— 058896号公報 (特許文献 3)を参照)。

発明の開示

発明が解決しょうとする課題 [0010] 特許文献 1、 2の画像照合システムでは、入力画像と参照画像の姿勢や照明条件が異なると、十分精度良く照合できな力つた。

[0011] その理由は、特許文献 1のものでは、画像に対して姿勢を推定し姿勢条件を合わせるように画像変換して、るが、画像に対して正確に姿勢を推定することは難し、ため、正しく画像を合わせることができないためである。また、観測する物体の 3次元形状とは異なる標準的な 3次元物体モデルを用いて画像変換しているため、形状が複雑な部分や姿勢条件が大きく異なった場合に画像変換による歪みが大きくなるためである。

[0012] また、特許文献 2のものでは、観測する物体の 3次元形状とは異なる標準的な 3次元物体モデルを用いて照明条件を推定し画像変換しているため、大まかには補正できても細部では誤った補正をしている場合があるためである。

[0013] 更に、特許文献 3のものでは、各物体の 3次元物体モデルが予め登録されていなかつたり、参照画像が少ない場合には、照合できな力つた。

[0014] その理由は、特許文献 3の技術は、予め 3次元物体モデルを登録し入力画像と照合するためである。また、予め 3次元物体モデルを登録するためには、照合する以前に各物体を 3次元形状計測装置で計測しておく必要があるが、通常困難な場合が多い。また、複数の画像から 3次元物体モデルを生成することも可能である力参照画像が少ないと 3次元物体モデルを生成することが困難なためであった。

課題を解決するための手段

[0015] 本発明は、上記従来の問題点に鑑みなされたもので、その目的は、各物体の参照画像が姿勢や照明等異なる条件で撮影されて、る場合にも、高精度な照合や検索を可能にすることにある。

[0016] また、本発明の他の目的は、各物体の 3次元物体モデルが予め得られない場合にも、高精度な照合や検索を可能にすることにある。

[0017] また、本発明の他の目的は、各物体の参照画像が 1枚乃至少数しか存在しない場合にも、高精度な照合や検索を可能にすることにある。

[0018] このような目的を達成するために、本発明に係る画像照合システムは、物体の 3次元データを入力する入力手段と、少なくとも 1つの物体の参照画像を記憶する参照画像記憶手段と、物体の姿勢の候補である姿勢候補を生成する姿勢候補生成手段と、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近、比較画像を生成する比較画像生成手段と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段とを備えることを特徴とする。

[0019] また、本発明に係る画像照合システムは、物体の 3次元データを入力するステップと、物体の姿勢の候補である姿勢候補を生成するステップと、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近い比較画像を生成するステップと、参照画像と比較画像との距離値及び類似度の!、ずれか一方に基づ、て照合を行うステップとを備えることを特徴とする。

[0020] また、本発明に係る画像照合用プログラムは、物体の 3次元データを入力する手順と、物体の姿勢の候補である姿勢候補を生成する手順と、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近ヽ比較画像を生成する手順と、参照画像と比較画像との距離値及び類似度の!、ずれか一方に基づ、て照合を行う手順とをコンピュータに実行させることを特徴とする。

発明の効果

[0021] 本発明の第 1の効果は、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合や検索ができることである。その理由は、物体の 3 次元データを計測し、各参照画像の姿勢や照明等の撮影条件に合った比較画像を生成し、当該比較画像と参照画像を比較することにより照合するためである。

[0022] また、第 2の効果は、各物体の 3次元物体モデルが予め得られな力つたり、参照画像が 1枚乃至少数しか存在しない場合にも、高精度に照合や検索ができることである。その理由は、照合時に物体の 3次元データを計測し、予め存在する参照画像に合つた比較画像を生成し、当該比較画像と参照画像を比較することにより照合するためである。

図面の簡単な説明

[0023] [図 1]図 1は、本発明による画像照合システムの第 1の実施例の構成を示- 図である。

[図 2]図 2は、第 1の実施例の画像照合手段の構成を示すブロック図である。図 3]図 3は、第 1の実施例の 1対 1照合における動作を示す流れ図である。

図 4]図 4は、第 1の実施例の 1対 N照合における動作を示す流れ図である _c 図 5]図 5は、第 1の実施例の参照画像の具体例を示す図である。

図 6]図 6は、第 1の実施例の 3次元データの具体例を示す図である。

図 7]図 7は、第 1の実施例の比較画像の具体例を示す図である。

図 8]図 8は、本発明の第 2の実施例の構成を示すプロック図である。

図 9]図 9は、第 2の実施例の 1対 N照合における動作を示す流れ図である _c 図 10 ']]図 10は、本発明の第 3の実施例の構成を示すブロック図である。

図 11: ]図 11は、第 3の実施例の画像照合手段の構成を示すブロック図である。図 12] ]図 12は、第 3の実施例の 1対 N照合における動作を示す流れ図である。図 13 ]図 13は、第 3の実施例の標準 3次元基準点の具体例を示す図である。図 14: ]図 14は、第 3の実施例の標準 3次元重み係数の具体例を示す図である。図 15 ]図 15は、第 3の実施例の参照重み係数の具体例を示す図である。

図 16: ]図 16は、第 3の実施例の入力 3次元基準点の具体例を示す図である。図 17: ]図 17は、第 3の実施例の 2次元重み係数の具体例を示す図である。

図 18: ]図 18は、本発明の第 4の実施例の構成を示すブロック図である。

図 19 ]図 19は、第 4の実施例の動作を示す流れ図である。

図 20 ']図 20は、第 4の実施例の動作を示す流れ図である。

図 21 ]図 21は、第 4の実施例の代表 3次元物体モデルの具体例を示す図である _c 図 22 ]図 22は、本発明の第 5の実施例の構成を示すブロック図である。

図 23 ]図 23は、第 5の実施例の動作を示す流れ図である。

図 24: ]図 24は、第 5の実施例の代表画像の具体例を示す図である。

図 25 ]図 25は、従来例の画像照合システムを示すブロック図である。

図 26 ]図 26は、他の従来例の画像照合システムを示すブロック図である。

図 27 ]図 27は、更に他の従来例の画像照合システムを示すブロック図である。発明を実施するための最良の形態

[0024] 以下、図面を参照し、本発明の実施例について詳細に説明する。

[00251 (第 1の実施例）図 1は本発明による画像照合システムの第 1の実施例を示すブロック図である。図 1 において、 10は物体の 3次元データを入力する 3次元データ入力手段、 30は参照画像記憶部、 50は姿勢推定 ·照合手段である。姿勢推定 ·照合手段 50は、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 55とを含んでいる。

[0026] これらの手段はそれぞれ概略次のように動作する。まず、参照画像記憶部 30には、少なくとも 1つの物体をそれぞれ撮影した参照画像が予め記憶されている。参照画像の姿勢や照明等の撮影条件は限定されない。また、参照画像記憶部 30は、システム内にあっても良いし、システム外にあってネットワークで接続して使用しても良い

[0027] 3次元データ入力手段 10は照合すべき物体 (又は検索すべき物体等）の 3次元データを入力する。 3次元データは、例えば、特開 2001— 12925号公報に記載された 3次元形状測定装置を用いたり、或いは特開平 9— 91436号公報に記載の多数の力メラで撮影された複数画像から 3次元形状を復元する装置を用いることにより生成することがでさる。

[0028] 姿勢推定'照合手段 50は、 3次元データ入力手段 10より入力された 3次元データと、参照画像記憶部 30より得られる参照画像との最小距離値 (もしくは最大類似度)を求める。より具体的には、姿勢候補決定手段 20は少なくとも 1つの物体の姿勢の候補である姿勢候補を生成する (物体の姿勢は物体の位置と向きで表される)。比較画像生成手段 40は、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近ヽ比較画像を生成する。

[0029] 画像照合手段 55は、図 2に示す演算部 55aと、選出部 55bと、照合部 55cとを含んでいる。画像照合手段 55は、演算部 55aにおいて当該比較画像と当該参照画像との距離値を求め、選出部 55bにおいて各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に 3次元データと参照画像との最小距離値を求める。更に、 1つの物体 (参照画像)との照合処理（1対 1照合)の場合には、照合部 55cにおいて当該最小距離値としきい値を比較して同一物体である力否かを判定する。即ち、しきい値以下であれば同一物体、しきい値以上の場合は同一物体ではないと判定する。また、複数の物体力も入力 3次元データに最も近 V、物体 (参照画像)を検索する処理（1対 N照合)の場合には、照合部 55cにおヽて当該最小距離値の最も小さい参照画像を選出する。なお、比較画像と参照画像との類似度を用いて判定する場合には、類似度がしきい値以上の場合に同一物体と判定し、しきい値以下の場合には同一物体ではないと判定する。

[0030] 次に、図 1及び図 3のフローチャートを参照して本実施例の 1対 1照合の場合の全体動作について詳細に説明する。ここで、入力 3次元データと参照画像 Rとを照合

k

する場合について説明する。

[0031] 図 3において、まず、 3次元データ入力手段 10により 3次元データを入力する (ステップ 100)。次に、姿勢候補決定手段 20において姿勢候補群 {e }を決定する (ステツプ 110)。次に、比較画像生成手段 40は姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像 Rに近い比較画像を生成する (ステップ 120)。画像照

k

合手段 55は当該比較画像と当該参照画像との距離値を求める (ステップ 130)。更に、距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に 3次元データと参照画像 Rとの最小距離値を求める (ステップ 140)。

k

[0032] ここで、予め決定した姿勢候補群の中から距離値の最も小さ!、姿勢候補を選択するとしたが、姿勢候補決定手段 20に戻って順次姿勢候補を変動させながら、距離値の最も小さい姿勢候補を探索しても良い。次に、姿勢推定，照合手段 50は最小距離値としきい値を比較して同一物体であるか否かを判定する (ステップ 155)。

[0033] 次に、図 1及び図 4のフローチャートを参照して本実施例の 1対 N照合の場合の全体動作について詳細に説明する。図 4において、まず、 3次元データ入力手段 10により 3次元データを入力する (ステップ 100)。次に、姿勢推定'照合手段 50は初めに参照画像の画像番号を k= lとする（ステップ 150)。その後、ステップ 110— 140の処理を行うが、これは、図 3のステップ 110— 140と同一処理である。

[0034] 次に、姿勢推定 ·照合手段 50は画像番号 kを 1増やし (ステップ 151)、画像番号 k と画像数 M (参照画像の数）との比較を行、 (ステップ 152)、画像番号 kが画像数 M 以下の場合には、ステップ 110に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ 152において画像番号 kが画像数 M以上になると、最小距離値の最も小さい参照画像 Rを照合結果とする (ステップ 153)。

k [0035] 次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。なお、ここでは照合対象として人物の顔を例に挙げて説明するが、本発明は他の物体の照合にも適用できることは勿論である。まず、図 5に示すように参照画像記憶部 30には、物体 kの参照画像 R (r)が記憶されている (rは画素または特徴のインデックス)。ここで

k

、各画像の姿勢条件は同じとは限らない (照明条件に関する違いは図示していない）。また、参照画像は各物体に 1枚としているが、複数枚あっても良い。

[0036] ここで、 1対 N照合の場合について説明する。まず、 3次元データ入力手段 10から図 6に示すような 3次元データが入力されたとする（図 4のステップ 100)。 3次元データは図 6に示すように物体表面の 3次元空間（X, y, z)内での形状 P (X, y, z)とテク

Q

スチヤ T (R, G, B)を情報として持っている。 Qは物体表面上の点のインデックスを

Q

表し、例えば、物体の重心を中心とした球体へ物体表面上の点を重心から射影した点 Q (s, t)の座標に対応している。照合の効率ィ匕のために、予め 3次元データ力も様々な照明条件による学習用 CG画像をコンピュータグラフィックスにより生成し、当該学習用 CG画像を主成分分析することにより基底画像群を求めておく。

[0037] 次に、姿勢推定 ·照合手段 50は初めに参照画像の画像番号を k= 1とする (ステツプ 150)。次に、姿勢候補決定手段 20において姿勢候補群 {e }を決定する (ステップ 110)。姿勢候補群は参照画像に関係なく予め設定しておいても良いが、例えば、参照画像及び 3次元データから目 ·鼻'口等の基準点を手動または自動で抽出し、特開 2001— 283229号公報に記載された物体の位置及び向きを計算する方法を用いることにより、おおよその姿勢を推定し、当該姿勢の近辺で姿勢候補群を生成することもできる。また、入力された 3次元データを用いるのではなぐ予め用意した代表 3 次元データ (モデル)を使用して参照画像と照合することにより、予めおおよその姿勢を推定し記憶してぉ、ても良、。

[0038] 次に、比較画像生成手段 40は姿勢候補 eに応じて 3次元データを 2次元の画像に射影しつつ参照画像 Rの照明条件に近、比較画像 G (r)を生成する (ステップ 120

k kj

)。ここで、参照画像の照明条件に近い比較画像を生成するためには、予め求めてお!ヽた基底画像群を各姿勢候補に基づヽて座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように線形和の係数を最小二乗法により求めることにより実現できる。参照画像 Rに対して生成した比較画像の例を図 7に示す（

1

濃淡情報は図示していない)。

[0039] 次に、画像照合手段 55は当該比較画像と当該参照画像との距離値を求める (ステップ 130)。例えば、ユークリッド距離を用いる場合には、

D =∑ {R (r)-G (r) }²

kj r k kj

により計算できる。類似度 Sを用いる場合には、例えば、

kj

S =exp (-D )

kj kj

により計算できる。この際、姿勢推定 ·照合手段 50は距離値の最も小さい比較画像を選出することにより最適な姿勢を推定すると共に、 3次元データと参照画像 Rとの最 k 小距離値 Dを、

k

最小距離値 D =minD

k j kj

により求める (ステップ 140)。図 7の場合、例えば、 G が選出される。

11

[0040] 次に、画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 Mとの比較を行う（ステップ 152)。この時、画像番号 kが画像数 M以下の場合には、ステップ 110に戻つて同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ 15 2で画像番号 kが画像数 M以上になると、最小距離値の最も小さい参照画像 Rを照 k 合結果とする (ステップ 153)。図 6の 3次元データの場合には、例えば、参照画像 R k に対する最小距離値が {20, 50, 25}と求まったとすると、図 5の参照画像 Rが最小

1 距離値の最も小さ、参照画像として選出される。

[0041] なお、本実施例では、比較画像と参照画像との距離値を求めるとしたが、距離値の代わりに類似度を用いても良い。類似度は一例として上述のような計算方法で求めることができる。類似度を用いる場合には、最大類似度が最も大きい参照画像を照合結果とする。

これは、以下の全ての実施例において同様である。

[0042] 本実施例では、物体の 3次元データを計測し、姿勢や照明条件を補正しながら 3次元データと参照画像を比較し照合するという構成であるため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合'検索ができる。また、照合時に物体の 3次元データを計測し、 3次元データと参照画像を比較し照合するという構成であるため、各物体の 3次元物体モデルが予め得られな力つたり、参照画像が 1枚乃至数枚しか存在しない場合にも、高精度に照合 '検索ができる。

[0043] (第 2の実施例）

図 8は本発明の第 2の実施例を示すブロック図である。図 8では図 1と同一部分は同一符号を付している。本実施例では、 3次元データ入力手段 10と、参照画像記憶部 30と、姿勢推定 ·照合手段 51と、参照補正係数記憶部 65とから構成されている。姿勢推定，照合手段 51は、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 55と、スコア補正手段 60とを含んでいる。図 1との違いは、スコア補正手段 60 、参照補正係数記憶部 65が追加されてヽる点である。

[0044] これらの手段はそれぞれ概略次のように動作する。まず、 3次元データ入力手段 10 と、参照画像記憶部 30と、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 55は、図 1に示す第 1の実施例のものと同一の処理を行う。

[0045] また、参照補正係数記憶部 65には、参照画像に対応して照合スコア (距離値や類似度)を補正するための係数が予め記憶されている。姿勢推定'照合手段 51は、 3次元データ入力手段 10より入力された 3次元データと、参照画像記憶部 30より得られる参照画像との最小距離値 (もしくは最大類似度)を求め、更に参照補正係数記憶部 65より得られる補正係数を用いて当該最小距離値を補正する。

[0046] より具体的には、姿勢候補決定手段 20は少なくとも 1つの姿勢候補を生成する。比較画像生成手段 40は、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近い比較画像を生成する。画像照合手段 55は当該比較画像と当該参照画像との距離値を求め、各参照画像に対して距離値の最も小さ!ヽ比較画像を選出することにより、最適な姿勢を推定すると共に 3次元データと参照画像との最小距離値を求める。

[0047] スコア補正手段 60は参照画像に対応した補正係数を用い、当該最小距離値を補正する。更に、 1つの物体 (参照画像)との照合処理（1対 1照合)の場合には、当該補正された最小距離としきい値を比較して、同一物体である力否かを判定する。また、複数の物体から入力 3次元データに最も近!、物体 (参照画像)を検索する処理（ 1 対 N照合)の場合には、当該補正された最小距離値の最も小さい参照画像を選出する。

[0048] 次に、図 8及び図 9のフローチャートを参照して本実施例の 1対 N照合の場合の全体動作について詳細に説明する。

[0049] 図 9において、まず、 3次元データ入力手段 10により 3次元データを入力する (ステップ 100)。次に、姿勢推定'照合手段 51は初めに参照画像の画像番号を k= lとする (ステップ 150)。また、第 1の実施例と同様の処理により姿勢候補決定手段 20、比較画像生成手段 40、画像照合手段 55は、最適な姿勢を推定すると共に 3次元データと参照画像 Rとの最小距離値を求める (ステップ 110— 140)。

k

[0050] 次ヽで、スコア補正手段 60は参照画像 Rに対応した補正係数を用い、当該最小

k

距離値を補正する (ステップ 160)。次に、姿勢推定 ·照合手段 51は画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 Mとの比較を行い (ステップ 152)、画像番号 kが画像数 M以下の場合には、ステップ 110に戻って同様の処理を行い、次の参照画像の最小距離値を計算し、その参照画像に対応する補正係数を用いて最小距離値の補正を行う。ステップ 152で画像番号 kが画像数 M以上になると、補正された最小距離値の最も小さい参照画像 Rを照合結果とする (ステップ 153)。

k

[0051] また、 1対 1照合の場合には、第 1の実施例と同様に図 9のステップ 100、 110、 120 、 130、 140、 160の処理を行い、その後、図 3のステップ 155の処理を行う。図 3のステツプ 155では、上述のように距離値としきい値とを比較して同一物体である力否かを判定する。

[0052] 次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第 1の実施例の説明と同様に参照画像記憶部 30には、図 5に示すような参照画像 R (r)が

k 記憶されている。また、参照補正係数記憶部 65には、表 1に示すような補正係数が記憶されている。補正係数 Aは、例えば、予め用意した代表 3次元データ (代表的な

k

3次元物体モデル) C (h= l, · ··, H)を使用して、第 1の実施例の画像照合システム h

により、各モデル Cと参照画像 Rとの最小距離値 D ^hを求め、当該最小距離値の平

h k k

均値 E =∑ D ^hZH (または最小距離値の小さい上位候補に関する平均値)を用い k h k

、 A =A/E (Aは予め設定された定数）により求める。例えば、 A= 20とし、各参照 k k

画像に対する最小距離値の平均値 Eが 0, 40, 20}となった場合には、補正係数

k Aは表 1のようになる。これは、例えば、参照画像 Rは撮影条件が悪く平均的に距離 k 1

値が大きくなる傾向があることを示している。

[0053] [表 1]

[0054] ここで、 3次元データ入力手段 10から図 6に示すような 3次元データを入力されたとする（図 9のステップ 100)。姿勢推定'照合手段 51は初めに参照画像の画像番号を k= lとする (ステップ 150)。次に、第 1の実施例と同じ処理により姿勢候補決定手段 20、比較画像生成手段 40、画像照合手段 55は、最適な姿勢を推定すると共に 3次元データと参照画像 Rとの最小距離値を求める (ステップ 110— 140)。

k

[0055] 次に、スコア補正手段 60は参照画像 Rに対応した補正係数を用いて、当該最小 k

距離値を補正する (ステップ 160)。例えば、補正係数 Aを用い、最小距離値 Dは D k k k

' =A Dにより補正できる。また、姿勢推定 ·照合手段 51は画像番号 kを 1増やし (ス k k

テツプ 151)、画像番号 kと画像数 Mとの比較を行う（ステップ 152)。この時、画像番号 kが画像数 M以下の場合には、ステップ 110に戻って同様の処理を行い、次の参照画像の最小距離値を計算し、且つ、同様に参照画像に対応する補正係数を用いて得られた最小距離値の補正を行う。最後に、ステップ 152で画像番号 kが画像数 M以上になると、補正された最小距離値の最も小さい参照画像 Rを照合結果とする（ k

ステップ 153)。例えば、参照画像 Rに対する最小距離値が {40, 60, 25}と求まつ k

たとし、表 1に示す補正係数を用いると、補正された最小距離値は { 16, 30, 25}となり、参照画像 R

1が最小距離値の最も小さい参照画像として選出される。

[0056] 本実施例では、物体の 3次元データを計測し、姿勢や照明条件を補正しながら 3次元データと参照画像を比較し照合するという構成であるため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合'検索ができる。また、照合時に物体の 3次元データを計測し、 3次元データと参照画像を比較し照合するという構成であるため、各物体の 3次元物体モデルが予め得られな力つたり、参照画像が 1枚乃至数枚しか存在しない場合にも、高精度に照合 '検索ができる。更に、参照画像の撮影条件に起因する照合スコア変動を補正して照合するため、各参照画像の撮影条件が異なったり画質の悪い参照画像が存在する場合にも、高精度に照合 '検索ができる。

[0057] なお、第 2の実施例では、補正係数 Aを記憶し、距離値に補正係数 Aをかけて補

k k

正したが、これに限るものではない。例えば、代表 3次元モデル Cと参照画像 Rとの

h k 最小距離値 D ^hを全て記憶しておいても良いし、また分布関数を仮定してその関数パ

k

ラメータを記憶しておいても良い。例えば、正規分布を仮定した場合、平均値 E

kと標準偏差 σ を記憶し、分布を標準正規分布に正規ィ匕するように D ' = (D— Ε ) Ζ σ に

k k k k k よりネ ΐ正することちでさる。

[0058] (第 3の実施例）

図 10は本発明の第 3の実施例を示すブロック図である。図 10では図 1と同一部分は同一符号を付している。本実施例では、 3次元データ入力手段 10と、参照画像記憶部 30と、姿勢推定 ·照合手段 52と、 3次元基準点抽出手段 12と、標準 3次元基準点記憶部 72と、標準 3次元重み係数記憶部 75と、参照重み係数記憶部 77とから構成されている。姿勢推定 ·照合手段 52は、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 56と、入力重み係数変換手段 70とを含んでいる。

[0059] これらの手段はそれぞれ概略次のように動作する。まず、 3次元データ入力手段 10 と、参照画像記憶部 30と、姿勢候補決定手段 20と、比較画像生成手段 40は、第 1 の実施例のものと同様の処理を行う。

[0060] 標準 3次元基準点記憶部 72には、標準 3次元物体モデルに対応した標準 3次元基準点が記憶されている。標準 3次元重み係数記憶部 75には、標準 3次元重み係数が記憶されている。参照重み係数記憶部 77には、参照画像に対応した重み係数が記憶されている。

3次元基準点抽出手段 12は、 3次元データ入力手段 10より得られる 3次元データに対して、手動または自動的に 3次元基準点を抽出する。

[0061] 姿勢推定'照合手段 52は、 3次元データ入力手段 10より得られる 3次元データと、参照画像記憶部 30より得られる参照画像との最小距離値 (もしくは最大類似度)を、入力重み係数変換手段 70より得られる入力データに対応した重み係数や、参照重み係数記憶部 77より得られる参照画像に対応した重み係数を使用して求める。

[0062] より具体的には、姿勢候補決定手段 20は少なくとも 1つの姿勢候補を生成する。比較画像生成手段 40は姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近!ヽ比較画像を生成する。入力重み係数変換手段 70は標準 3次元基準点記憶部 72より得られる標準 3次元基準点と 3次元基準点抽出手段 12より得られる 3次元データの 3次元基準点を用い、標準 3次元重み係数記憶部 75より得られる標準 3次元重み係数と 3次元データ入力手段 10より得られる 3次元データとの座標の対応を求め、更に姿勢候補決定手段 20より得られる姿勢候補に応じて標準 3次元重み係数を 2次元の重み係数に変換する。

[0063] 画像照合手段 56は、図 11に示す演算部 56aと、選出部 56bと、照合部 56cとを含んでいる。画像照合手段 56は、演算部 56aにおいて当該比較画像と当該参照画像との距離値を、入力重み係数変換手段 70より得られる入力 3次元データに対応した重み係数や、参照重み係数記憶部 77より得られる参照画像に対応した重み係数を使用して求め、選出部 56bにおいて各参照画像に対して、距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に 3次元データと参照画像との最小距離値を求める。更に、 1つの物体 (参照画像)との照合処理（1対 1照合)の場合には、照合部 56cにおいて当該最小距離としきい値を比較して同一物体であるか否かを判定する。また、複数の物体から入力 3次元データに最も近い物体 (参照画像)を検索する処理（1対 N照合)の場合には、照合部 56cにおいて当該最小距離値の最も小さ、参照画像を選出する。

[0064] 次に、図 10及び図 12のフローチャートを参照して本実施例の 1対 N照合の場合の全体動作について詳細に説明する。

[0065] 図 12において、まず、 3次元データ入力手段 10により 3次元データを入力する（ステツプ 100)。次に、 3次元基準点抽出手段 12は 3次元データに対して手動または自動的に 3次元基準点を抽出する (ステップ 170)。次に、姿勢推定'照合手段 52は初めに参照画像の画像番号を k= 1とする (ステップ 150)。姿勢候補決定手段 20にお V、て姿勢候補群 {e }を決定する (ステップ 110)。 [0066] 次に、比較画像生成手段 40は姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像 Rに近い比較画像を生成する (ステップ 120)。次に、入力重み係

k

数変換手段 70は標準 3次元基準点と 3次元データの 3次元基準点を用い、標準 3次元重み係数と 3次元データとの座標の対応を求め、姿勢候補に応じて標準 3次元重み係数を 2次元の重み係数に変換する (ステップ 180)。

[0067] 次に、画像照合手段 56は当該比較画像と当該参照画像との距離値を、入力重み係数変換手段 70より得られる入力 3次元データに対応した重み係数や、参照重み係数記憶部 77より得られる参照画像に対応した重み係数を使用して求め（ステップ 13 1)、更に、各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に 3次元データと参照画像との最小距離値を求める (ステップ 140)。また、姿勢推定'照合手段 52は画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 Mとの比較を行い (ステップ 152)、画像番号 kが画像数 M以下の場合には、ステップ 110に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、画像番号 kが画像数 M以上になると、最小距離値の最も小さい参照画像 Rを照合結果とする (ステップ 153)。

k

[0068] また、 1対 1照合の場合には、第 1の実施例と同様に図 12のステップ 100、 170、 11 0、 120、 180、 131、 140の処理を行い、その後、図 3のステップ 155の処理を行う。図 3のステップ 155では、上述のように距離値としきい値を比較して同一物体であるか否かを判定する。

[0069] 次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第 1の実施例の説明と同様に参照画像記憶部 30には、図 5に示すような参照画像 R (r)が

k 記憶されている。また、標準 3次元基準点記憶部 72には、図 13に示すような標準 3 次元物体モデルに対応した標準 3次元基準点 N^Q (iは基準点のインデックス）が記憶されている。 3次元基準点とは、位置合わせを行うための点であり、図 13の例では、例えば、左目中点、右目中点、鼻頂点、左口角点、右口角点の 5点を示している。

[0070] 3次元基準点は、予め手動で設定しても良いが、例えば、 2002年 9月、 FIT (情報科学技術フォーラム） 2002、ト 100、 199頁一 200頁、丸亀ら、「形状情報と色情報を併用した顔三次元データ力の特徴部位の抽出」に記載の顔特徴抽出方法を用いて自動的に設定しても良い。標準 3次元基準点は予め用意した学習用 3次元物体モデルの 3次元基準点の各点の平均座標、または学習用 3次元物体モデルを平均した標準 3次元物体モデル力も求めた 3次元基準点により求めることができる。

[0071] また、標準 3次元重み係数記憶部 75には、図 14に示すような標準 3次元重み係数

V ^Qが記憶されている。ここで、図 14の例では、例えば、黒い領域が V °= 1、白い領

Q Q

域が V °=0、斜線で示す領域は 0く V °< 1の値を持つとする。標準 3次元重み係

Q Q

数は予め用意した学習用 3次元物体モデルの 3次元重み係数を用い、各学習用 3次元物体モデルの 3次元基準点が標準 3次元基準点に一致するように 3次元重み係数の位置合わせを行ってから平均することにより求めることができる。

[0072] 基準点以外の各点の位置合わせは、基準点の対応を内挿または外挿して決めることにより、 3次元重み係数の座標値 {s, t}と標準 3次元重み係数の座標値 {s , t }の

0 0 変換式 s =Hs (s, t)、 t =Ht (s, t)を設定できる。学習用 3次元物体モデルの 3次

0 0

元重み係数は学習用 3次元物体モデルの物体を様々な条件で撮影した学習用画像を用いて予め学習できる。具体的には、第 1の実施例の画像照合システムを使用し、学習用 3次元物体モデルを入力の 3次元データとし、学習用画像を参照画像として最適姿勢を求めた際の 3次元データ力生成された比較画像と参照画像の各画素の誤差を求める。

[0073] 重み係数は照合における画素の重要度を表す量で、例えば、平均誤差の小さい画素は重みを大きく設定できる。 3次元重み係数は前記比較画像と 3次元物体モデルとの画素の対応に基づいて比較画像と参照画像の各画素の誤差を 3次元物体モデル上で平均して平均誤差を求めることにより設定できる。

[0074] また、参照重み係数記憶部 77には、図 15に示すような参照画像に対応した重み係数 U (r)が記憶されている。図 15の例では、例えば、黒い領域が U (r) = l、白い k k 領域が U (1：) =0、斜線で示す領域は0<1； (r) < lの値を持つとする。参照画像に k k

対応した重み係数は、例えば、顔領域以外の領域の重みを 0に設定したり、輝度値の大きい領域や小さい領域の重みを小さく設定する等し、予め手動または自動的に設定しておく。

[0075] ここで、 3次元データ入力手段 10から図 6に示すような 3次元データが入力されたとする（図 12のステップ 100)。 3次元基準点抽出手段 12は 3次元データに対して手動または自動的に 3次元基準点を抽出する (ステップ 170)。図 6の 3次元データに対して抽出した 3次元基準点の例を図 16に示す。

[0076] 次に、姿勢推定 ·照合手段 52は初めに参照画像の画像番号を k= 1とする (ステツプ 150)。姿勢候補決定手段 20において姿勢候補群 {e }を決定する (ステップ 110) 。次に、比較画像生成手段 40は、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像 Rに近い比較画像 G (r)を生成する (ステップ 120)。参照画像

k kj

Rに対して生成した比較画像の例を図 7に示す。

1

[0077] 次に、入力重み係数変換手段 70は標準 3次元基準点と 3次元データの 3次元基準点を用い、標準 3次元重み係数と 3次元データとの座標の対応を求め、姿勢候補に応じて標準 3次元重み係数 V ^Qを 2次元の重み係数 W (r)に変換する (ステップ 180

Q kj

) o図 7の比較画像に対応して生成された 2次元の重み係数の例を図 17に示す。

[0078] 次に、画像照合手段 56は当該比較画像と当該参照画像との距離値 D 'を、入力重 kj み係数変換手段 70より得られる入力データに対応した重み係数 W (r)や、参照重 kj

み係数記憶部 77より得られる参照画像に対応した重み係数 U (r)を使用して求め（ k

ステップ 131)、更に各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に 3次元データと参照画像との最小距離値を求める（ステップ 140)。

[0079] 例えば、重み付きユークリッド距離を用いる場合には、

D ' =∑ W (r) U (r) {R (r) G (r) }²

kj r kj k k kj

により計算する。ここで、重み係数 W (r)、 U (r)は、いずれかのみ使用しても良い。

kj k

次に、姿勢推定'照合手段 52は画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 Mとの比較を行い (ステップ 152)、画像番号 kが画像数 M以下の場合には、ステップ 110に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ 152で画像番号 kが画像数 M以上になると、最小距離値の最も小さ V、参照画像 Rを照合結果とする (ステップ 153)。

k

[0080] 本実施例では、物体の 3次元データを計測し、姿勢や照明条件を補正しながら 3次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合'検索ができる。また、照合時に物体の 3次元データを計測し、 3次元データと参照画像を比較し照合するため、各物体の 3次元物体モデルが予め得られな力つたり、参照画像が 1枚乃至数枚しか存在しない場合にも、高精度に照合'検索ができる。更に、部位による重み係数を使用した重み付け照合により画像照合するという構成であるため、更に高精度な照合'検索ができる。

[0081] なお、第 3の実施例では、標準 3次元重み係数 (及び標準 3次元基準点）は 1つと説明したが、複数あっても良い。この際、各参照画像に対応してどの標準 3次元重み係数を用いるかの情報を予め記憶しておく。また、標準 3次元重み係数は、学習用 3次元物体モデル力生成された比較画像と学習用画像との画素の誤差平均により求めるとした力これに限るものではない。更に、姿勢推定において重み係数を使用し、重み付け距離を計算すると説明したが、姿勢推定においては重み係数を用いない距離計算を使用し、最適姿勢を求めて力再度重み付け距離を計算しても良い。

[0082] (第 4の実施例）

図 18は本発明の第 4の実施例を示すブロック図である。図 18では第 1の実施例の図 1と同一部分は同一符号を付している。本実施例では、 3次元データ入力手段 10 と、参照画像記憶部 30と、姿勢推定 ·照合手段 53と、代表 3次元物体モデル記憶部 36と、 3次元照合手段 80と、グループ記憶部 85と、参照画像選出手段 82とから構成されている。更に、姿勢推定'照合手段 53は、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 55とを含んでいる。

[0083] これらの手段はそれぞれ概略次のように動作する。まず、 3次元データ入力手段 10 と、参照画像記憶部 30と、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 55は、図 1に示す第 1の実施例のものと同一の処理を行う。

[0084] また、代表 3次元物体モデル記憶部 36には、予め用意された代表的な 3次元物体モデルが記憶されている。グループ記憶部 85には、代表 3次元物体モデルと参照画像の関連情報 (代表 3次元物体モデルと参照画像とを対応付ける情報)が予め記憶されている。

[0085] 3次元照合手段 80は 3次元データ入力手段 10より得られる 3次元データと、代表 3 次元物体モデル記憶部 36より得られる各代表 3次元物体モデルとの照合を行 1ヽ、最も類似した代表 3次元物体モデルを選択する。参照画像選出手段 82は、グループ記憶部 85より得られる関連情報から、 3次元照合手段 80より得られる選択された代表 3次元物体モデルに対応する参照画像群を選出する。

[0086] 姿勢推定'照合手段 53は、 3次元データ入力手段 10より得られる 3次元データと、参照画像記憶部 30より得られる参照画像との最小距離値 (もしくは最大類似度)を求め、当該最小距離値の最も小さい参照画像を選出する。ここで、対象とする参照画像は参照画像選出手段 82より得られる参照画像群とする。

[0087] 次に、図 18、図 19及び図 20のフローチャートを参照して本実施例の全体の動作について詳細に説明する。まず、 3次元データ入力手段 10により 3次元データを入力する（図 19のステップ 100)。次に、 3次元照合手段 80は初めに代表 3次元物体モデルのモデル番号を h= lとする (ステップ 210)。次に、 3次元照合手段 80は 3次元データと各代表 3次元物体モデル Cとの類似度 Sを求める (ステップ 220)。次に、モ

h h

デル番号 hを 1増やし (ステップ 211)、モデル番号 hとモデル数 Hとの比較を行ヽ（ステツプ 212)、モデル番号 hがモデル数 H以下の場合には、ステップ 210に戻って同様の処理を行、、次の代表 3次元物体モデルとの類似度を計算する。

[0088] ステップ 212において全ての代表 3次元物体モデルとの照合が終わったら、類似度の最も大きいモデル Cを選択する (ステップ 221)。次に、参照画像選出手段 82はグ

h

ループ記憶部 85より得られる関連情報から、選択された代表 3次元物体モデルに対応する参照画像群を選出する（ステップ 230)。なお、図 19のステップ 230は図 20のステップ 150に続、ている。

[0089] 次に、姿勢推定'照合手段 53は初めに参照画像の画像番号を k= lとする（図 20 のステップ 150)。次に、参照画像 Rが選出された参照画像群 Lに含まれるか否かを

k

判断し (ステップ 240)、参照画像 Rが選出された参照画像群に含まれる場合には、

k

次のステップ 110に進み、含まれない場合には、ステップ 151に進む。

[0090] ステップ 110に進んだ場合には、第 1の実施例と同じ処理により姿勢候補決定手段 20、比較画像生成手段 40、画像照合手段 55は、最適な姿勢を推定すると共に 3次元データと参照画像 Rとの最小距離値を求める (ステップ 110— 140)。次に、姿勢

k 推定'照合手段 53は画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 Mとの比較を行い (ステップ 152)、画像番号 kが画像数 M以下の場合には、ステップ 24 0に戻って同様の処理を行う。最後に、画像番号 kが画像数 M以上になると、最小距離値の最も小さヽ参照画像 Rを照合結果とする (ステップ 153)。

k

[0091] 次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第 1の実施例の説明と同様に参照画像記憶部 30には、図 5に示すような参照画像 R (r)が

k 記憶されている。また、代表 3次元物体モデル記憶部 36には、図 21に示すような代表 3次元物体モデル Cが記憶されている。グループ記憶部 85には、表 2に示すよう

h

な代表 3次元物体モデルに対応して、当該代表 3次元物体モデルを使用して参照画像を照合した際の上位候補 (参照画像群)の画像番号が記憶されている。これは、各代表 3次元物体モデル Cを第 1の実施例の画像照合システムの入力とした際の照合

h

結果が、例えば、表 3のようになった場合、距離値 40以下の参照画像候補を残すと、表 2のようなリストが得られる。

[0092] [表 2]

[0093] [表 3]

[0094] ここで、 3次元データ入力手段 10から図 6に示すような 3次元データが入力されたとする（図 19のステップ 100)。 3次元照合手段 80は初めに代表 3次元物体モデルのモデル番号を h= lとする（ステップ 210)。次に、 3次元データと各代表 3次元物体モデル Cとの類似度 Sを求める (ステップ 220)。この 3次元データ同士を照合する手段 h h

としては、例えば、特開平 4 - 119475号公報に記載された三次元形状識別装置等の既存の技術を利用することができる。 [0095] 次に、モデル番号 hを 1増やし (ステップ 211)、モデル番号 hとモデル数 Hとの比較を行い（ステップ 212)、モデル番号 hがモデル数 H以下の場合には、ステップ 210に戻って同様の処理を行い、次の代表 3次元物体モデルとの類似度を計算する。ステップ 212において全ての代表 3次元物体モデルとの照合が終わったら、類似度の最も大きいモデル Cを選択する（ステップ 221)。

h

[0096] 例えば、モデル Cとの類似度が {0. 7, 0. 9}となったとすると、モデル Cが選択さ h 2 れる。次に、参照画像選出手段 82は表 2に示すグループ記憶部 85より得られるリストから、選択された代表 3次元物体モデル Cに対応する参照画像群 {R , R }を選出す

2 1 3 る（ステップ 230)。この後、図 20の処理に移行する。

[0097] 姿勢推定'照合手段 53は初めに参照画像の画像番号を k= lとする（図 20のステツプ 150)。次に、参照画像 Rが選出された参照画像群 Lに含まれるか否かを判断し（ k

ステップ 240)、参照画像 Rが選出された参照画像群に含まれる場合には、次のステ k

ップ 110に進み、含まれない場合にはステップ 151に進む。

[0098] ここでは、 R， Rの場合にはステップ 110に進み、 Rの場合にはステップ 151に進

1 3 2

む。ステップ 110に進んだ場合には、第 1の実施例と同様の処理を行うことにより姿勢候補決定手段 20、比較画像生成手段 40、画像照合手段 55は、最適な姿勢を推定すると共に 3次元データと参照画像 Rとの最小距離値を求める (ステップ 110— 140) k

。次に、姿勢推定'照合手段 53は画像番号 kを 1増やし (ステップ 151)、画像番号 k と画像数 Mとの比較を行い (ステップ 152)、画像番号 kが画像数 H以下の場合には、ステップ 240に戻って同様の処理を行う。ここでは、 R , Rの場合には最小距離値

1 3

が計算される。最後に、ステップ 152で画像番号 kが画像数 M以上になると、最小距離値の最も小さヽ参照画像 Rを照合結果とする (ステップ 153)。

k

[0099] 本実施例では、物体の 3次元データを計測し、姿勢や照明条件を補正しながら 3次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合'検索ができる。また、照合時に物体の 3次元データを計測し、 3次元データと参照画像を比較し照合するため、各物体の 3次元物体モデルが予め得られな力つたり、参照画像が 1枚乃至数枚しか存在しない場合にも、高精度に照合'検索ができる。更に、代表 3次元物体モデルとの照合により参照画像を選出するように構成されているため、高速な検索ができる。

[0100] なお、第 4の実施例では、選択する代表 3次元物体モデルは 1つと説明したが、複数選択しても良い。この場合、各代表 3次元物体モデルに対応する参照画像群の合併集合を参照画像群とする。

[0101] (第 5の実施例）

図 22は本発明の第 5の実施例の構成を示すブロック図である。図 22では図 1や図 18と同一部分は同一符号を付している。本実施例では、 3次元データ入力手段 10と、参照画像記憶部 30と、姿勢推定，照合手段 53と、代表画像記憶部 31と、第 2の姿勢推定，照合手段 (代表画像選択手段) 54と、グループ記憶部 86と、参照画像選出手段 82とから構成されている。姿勢推定 ·照合手段 50, 53は、姿勢候補決定手段 2 0と、比較画像生成手段 40と、画像照合手段 55とを含んでいる。

[0102] これらの手段はそれぞれ概略次のように動作する。まず、 3次元データ入力手段 10 と、参照画像記憶部 30と、姿勢候補決定手段 20と、比較画像生成手段 40と、画像照合手段 55は、図 1に示す第 1の実施例のものと同一の処理を行う。

[0103] また、代表画像記憶部 31には、予め用意された代表的な画像が記憶されて！、る。

これは、参照画像記憶部 30における参照画像の一部であっても良いし、当該参照画像の平均等により生成された新たな画像であっても良い。また、参照画像記憶部 30 における参照画像の一部である場合には、画像番号のみを記憶し、参照画像記憶部 30における参照画像を参照するようにしても良い。

[0104] グループ記憶部 86には、代表画像と参照画像の関連情報 (代表画像と参照画像とを対応付ける情報)が予め記憶されている。第 2の姿勢推定'照合手段 54は 3次元データ入力手段 10より得られる 3次元データと、代表画像記憶部 31より得られる各代表画像との照合を行い、最も類似した代表画像を選択する。参照画像選出手段 82 はグループ記憶部 86より得られる関連情報から、第 2の姿勢推定 ·照合手段 54より得られる選択された代表画像に対応する参照画像群を選出する。

[0105] 姿勢推定'照合手段 53は 3次元データ入力手段 10より得られる 3次元データと、参照画像記憶部 30より得られる参照画像との最小距離値 (もしくは最大類似度)を求め、当該最小距離値の最も小さい参照画像を選出する。ここで、対象とする参照画像は参照画像選出手段 82より得られる参照画像群とする。

[0106] 次に、図 22、図 23及び図 20のフローチャートを参照して本実施例の全体動作について詳細に説明する。まず、図 23に示すように 3次元データ入力手段 10により 3次元データを入力する（図 23のステップ 100)。第 2の姿勢推定'照合手段 54は初めに代表画像の画像番号を h= lとする (ステップ 215)。次に、 3次元データと各代表画像 R，との類似度 Sを求める (ステップ 225)。

h h

[0107] 次に、画像番号 hを 1増やし (ステップ 211)、画像番号 hと画像数 Hとの比較を行い

(ステップ 217)、画像番号 hが画像数 H以下の場合には、ステップ 225に戻って同様の処理を行い、次の代表画像との類似度を計算する。ステップ 217で全ての代表画像との照合が終わったら、類似度の最も大きい代表画像 R'を選択する (ステップ 22

h

6)。次に、参照画像選出手段 82はグループ記憶部 86より得られる関連情報から、選択された代表画像に対応する参照画像群を選出する (ステップ 235)。図 23のステップ 235 ίま図 20のステップ 150【こ続!、て!/、る。

[0108] 姿勢推定'照合手段 53は初めに参照画像の画像番号を k= lとする（図 20のステツプ 150)。次に、参照画像 Rが選出された参照画像群に含まれるかどうかを判断し（

k

ステップ 240)、参照画像 Rが選出された参照画像群に含まれる場合には、次のステ

k

ップ 110に進み、含まれな!/、場合にはステップ 151に進む。

[0109] ステップ 110に進んだ場合には、第 1の実施例と同じ処理により姿勢候補決定手段 20、比較画像生成手段 40、画像照合手段 55は、最適な姿勢を推定すると共に 3次元データと参照画像 Rとの最小距離値を求める (ステップ 110— 140)。次に、姿勢

k

推定'照合手段 53は、画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 M との比較を行い (ステップ 152)、画像番号 kが画像数 H以下の場合には、ステップ 24 0に戻って同様の処理を行い、次の参照画像との最小距離値を求める。最後に、ステップ 152で画像数 kが画像数 M以上になった場合には、最小距離値の最も小さ!/、参照画像 Rを照合結果とする (ステップ 153)。

k

[0110] 次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第 1の実施例の説明と同様に参照画像記憶部 30には、図 5に示すような参照画像 R (r)が

k 記憶されている。また、代表画像記憶部 31には、図 24に示すような代表画像 R'力 S 記憶されている。グループ記憶部 86には、表 4に示すような代表画像に対応して当該代表画像を使用し参照画像を照合した際の上位候補 (参照画像群)の画像番号が記憶されている。この照合には、上述の特許文献 1、 2等に記載の既存の画像照合システムを用いることができる。

[0111] [表 4]

[0112] ここで、 3次元データ入力手段 10から図 6に示すような 3次元データが入力されたとする（図 23のステップ 100)。第 2の姿勢推定'照合手段 54は初めに代表画像の画像番号を h= lとする (ステップ 215)。次に、 3次元データと各代表画像 R'との類似 h 度 Sを求める (ステップ 225)。次に、画像番号 hを 1増やし (ステップ 211)、画像番号 h

hと画像数 Hとの比較を行い (ステップ 217)、画像番号 hが画像数 H以下の場合には、ステップ 215に戻って同様の処理を行い、次の代表画像との類似度を計算する。

[0113] ステップ 217で全ての代表画像との照合が終わったら、類似度の最も大きい代表画像 R，を選択する (ステップ 226)。例えば、代表画像 R，との類似度が {0. 7, 0. 9}と h h

なったとすると、代表画像 R' が選択される。次に、参照画像選出手段 82は表 4に示

2

すグループ記憶部 86より得られるリストから、選択された代表画像 R' に対応する参

2

照画像群 {R , R }を選出する (ステップ 235)。この後、図 20の処理を行う。

1 3

[0114] 姿勢推定'照合手段 53は初めに参照画像の画像番号を k= lとする（図 20のステツプ 150)。次に、参照画像 Rが選出された参照画像群に含まれるかどうかを判断し（ k

ップ 110に進み、含まれない場合にはステップ 151に進む。

[0115] ここでは、 R， Rの場合にはステップ 110に進み、 Rの場合にはステップ 151に進

1 3 2

む。ステップ 110に進んだ場合には、第 1の実施例と同じ処理により姿勢候補決定手段 20、比較画像生成手段 40、画像照合手段 55は、最適な姿勢を推定すると共に 3 次元データと参照画像 Rとの最小距離値を求める (ステップ 110—ステップ 140)。次 k に、姿勢推定'照合手段 53は画像番号 kを 1増やし (ステップ 151)、画像番号 kと画像数 Mとの比較を行い (ステップ 152)、画像番号 kが画像数 M以下の場合には、ステツプ 240に戻って同様の処理を行う。ここでは、 R , Rの場合に最小距離値が計算

1 3

される。最後に、ステップ 152で画像番号 kが画像数 M以上になると、最小距離値の最も小さい参照画像 Rを照合結果とする (ステップ 153)。

k

[0116] なお、第 5の実施例では、選択する代表画像は 1つとしたが、複数選択しても良い。

この場合、各代表画像に対応する参照画像群の合併集合を参照画像群とする。

[0117] 本実施例では、物体の 3次元データを計測し、姿勢や照明条件を補正しながら 3次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合'検索ができる。また、照合時に物体の 3次元データを計測し、 3次元データと参照画像を比較し照合するため、各物体の 3次元物体モデルが予め得られな力つたり、参照画像が 1枚乃至数枚しか存在しない場合にも、高精度に照合'検索ができる。更に、代表画像との照合により参照画像を選出するため、高速な検索ができる。

[0118] なお、第 1一第 5の実施例では、 3次元データ（モデル）は物体表面の 3次元空間（X , y, z)内での形状とテクスチャを情報として持っているとしたが、同等の情報が得られればこれに限るものではない。例えば、ある方向力の物体表面への距離を画像として表現した距離画像と当該方向から撮影したテクスチャ画像等でも良い。

[0119] ここで、本発明の画像照合システムは、構成要素である各手段の機能をハードゥエァ的に実現できることは勿論として、上記第 1一第 5の実施例の各手段の機能を実行する画像照合プログラム (アプリケーション)をコンピュータ処理装置のメモリにロードしてコンピュータ処理装置を制御することで実現することができる。この画像照合プログラムは磁気ディスク、半導体メモリ、その他の記録媒体に格納し、その記録媒体からコンピュータ処理装置にロードし、コンピュータ処理装置の動作を制御することにより上述した各機能を実現する。

産業上の利用可能性

[0120] 本発明は、データベース力人の顔等の物体の画像を検索する画像照合システムや、画像照合システムをコンピュータで実現するためのプログラムと、つた用途に適用できる。

また、ネットワークやインターネット上に存在する人の顔等の物体の画像を検索するといった用途にも適用可能である。更に、身分証明写真等の画像とそれを保持する人物が同一人物であるかを判定するといつた用途にも好適に使用することが可能である。

Claims

請求の範囲

[1] 物体の 3次元データを入力する 3次元データ入力手段と、

少なくとも 1つの物体の参照画像を記憶する参照画像記憶手段と、

物体の姿勢の候補である姿勢候補を少なくとも 1つ生成する姿勢候補決定手段と、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近い比較画像を少なくとも 1つ生成する比較画像生成手段と、

参照画像と比較画像との距離値及び類似度の!、ずれか一方に基づ、て照合を行う画像照合手段と

を備えることを特徴とする画像照合システム。

[2] 請求項 1に記載の画像照合システムにお、て、

前記画像照合手段は、

参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段と、

距離値が最も小さ!ヽ最小距離値及び類似度が最も大き!ヽ最大類似度の!ヽずれか一方を選出する選出手段と、

最小距離値としき!、値との比較結果及び最大類似度としき!、値との比較結果の、ずれか一方に基づいて照合を行う照合手段と

を備えることを特徴とする画像照合システム。

[3] 請求項 1に記載の画像照合システムにお、て、

前記比較画像生成手段は、参照画像毎に参照画像に近!ヽ比較画像を生成し、前記画像照合手段は、

参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段と、

参照画像毎に距離値が最も小さヽ最小距離値及び類似度が最も大きヽ最大類似度の、ずれか一方を選出する選出手段と、

最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とする照合手段とを備えることを特徴とする画像照合システム。

[4] 請求項 1に記載の画像照合システムにお、て、

参照画像に対応する補正係数を記憶する参照補正係数記憶手段と、

補正係数を用いて最小距離値及び最大類似度の!、ずれか一方を補正する補正手段と

を更に備えることを特徴とする画像照合システム。

[5] 請求項 1に記載の画像照合システムにお、て、

参照画像に対応する重み係数を記憶する参照重み係数記憶手段を更に備え、前記画像照合手段は、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段を備えることを特徴とする画像照合システム。

[6] 請求項 1に記載の画像照合システムにお、て、

標準 3次元物体モデルに対応する標準 3次元基準点を記憶する標準 3次元基準点記憶手段と、

標準 3次元重み係数を記憶する標準 3次元重み係数記憶手段と、

入力された 3次元データから 3次元基準点を抽出する 3次元基準点抽出手段と、標準 3次元基準点と 3次元データの 3次元基準点を用いて標準 3次元重み係数と 3 次元データとの座標の対応を求め、姿勢候補に応じて標準 3次元重み係数を 2次元の重み係数に変換する入力重み係数手段とを更に備え、

前記画像照合手段は、変換された 2次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段を備えることを特徴とする画像照合システム。

[7] 請求項 1に記載の画像照合システムにお、て、

代表的な 3次元物体モデルを代表 3次元物体モデルとして記憶する代表 3次元物体モデル記憶手段と、

代表 3次元物体モデルと参照画像との関連情報を記憶するグループ記憶手段と、入力された 3次元データと代表 3次元物体モデルとの照合を行、、 3次元データに類似した代表 3次元物体モデルを選択する 3次元照合手段と、関連情報を参照し、選択された代表 3次元物体モデルに対応する参照画像を選出する参照画像選出手段とを更に備え、

前記画像照合手段は、選出された参照画像に関して、入力された 3次元データとの照合を行うことを特徴とする画像照合システム。

[8] 請求項 1に記載の画像照合システムにお、て、

代表的な画像を代表画像として記憶する代表画像記憶手段と、

代表画像と参照画像との関連情報を記憶するグループ記憶手段と、

入力された 3次元データと代表画像との照合を行い、 3次元データに類似した代表画像を選択する代表画像選択手段と、

関連情報を参照し、選択された代表画像に対応する参照画像を選出する参照画像選出手段とを更に備え、

[9] 請求項 4に記載の画像照合システムにお、て、

補正係数は、代表的な 3次元物体モデルと参照画像との距離値及び類似度のヽずれか一方に基づいて決定されることを特徴とする画像照合システム。

[10] 物体の 3次元データを入力するステップと、

物体の姿勢の候補である姿勢候補を少なくとも 1つ生成するステップと、姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近い比較画像を少なくとも 1つ生成するステップと、

参照画像と比較画像との距離値及び類似度の!、ずれか一方に基づ、て照合を行うステップと

を備えることを特徴とする画像照合方法。

[11] 請求項 10に記載の画像照合方法において、

前記照合を行うステップは、

参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップと距離値が最も小さ!/ヽ最小距離値及び類似度が最も大き!/ヽ最大類似度の!/ヽずれか一方を選出するステップと、

最小距離値としき!、値との比較結果及び最大類似度としき!、値との比較結果の、ずれか一方に基づ!/、て照合を行うステップと

を備えることを特徴とする画像照合方法。

[12] 請求項 10に記載の画像照合方法において、

前記比較画像を生成するステップは、参照画像毎に参照画像に近、比較画像を生成するステップを備え、

前記照合を行うステップは、

参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップと、

参照画像毎に距離値が最も小さヽ最小距離値及び類似度が最も大きヽ最大類似度の、ずれか一方を選出するステップと、

最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とするステツプと

を備えることを特徴とする画像照合方法。

[13] 請求項 10に記載の画像照合方法において、

参照画像に対応する補正係数を用いて最小距離値及び最大類似度の!ヽずれか一方を補正するステップを更に備えることを特徴とする画像照合方法。

[14] 請求項 10に記載の画像照合方法において、

前記照合を行うステップは、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップを備えることを特徴とする画像照合方法。

[15] 請求項 10に記載の画像照合方法において、

入力された 3次元データから 3次元基準点を抽出するステップと、

標準 3次元物体モデルに対応する標準 3次元基準点と 3次元データの 3次元基準点を用いて標準 3次元重み係数と 3次元データとの座標の対応を求め、姿勢候補に応じて標準 3次元重み係数を 2次元の重み係数に変換するステップとを更に備え、前記照合を行うステップは、変換された 2次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップを備えることを特徴とする画像照合方法。

[16] 請求項 10に記載の画像照合方法において、

入力された 3次元データと代表的な 3次元物体モデルである代表 3次元物体モデルとの照合を行、、 3次元データに類似した代表 3次元物体モデルを選択するステツプと、

代表 3次元物体モデルと参照画像との関連を示す情報を参照し、選択された代表 3次元物体モデルに対応する参照画像を選出するステップとを更に備え、

前記照合を行うステップは、選出された参照画像に関して、入力された 3次元データとの照合を行うステップを備えることを特徴とする画像照合方法。

[17] 請求項 10に記載の画像照合方法において、

入力された 3次元データと代表的な画像である代表画像との照合を行ヽ、 3次元データに類似した代表画像を選択するステップと、

代表画像と参照画像との関連を示す情報を参照し、選択された代表画像に対応する参照画像を選出するステップとを更に備え、

[18] 請求項 13に記載の画像照合方法において、

代表的な 3次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づいて補正係数を決定するステップを更に備えることを特徴とする画像照合方法。

[19] 物体の 3次元データを入力する手順と、

物体の姿勢の候補である姿勢候補を少なくとも 1つ生成する手順と、

姿勢候補に応じて 3次元データを 2次元の画像に射影しつつ参照画像に近い比較画像を少なくとも 1つ生成する手順と、

参照画像と比較画像との距離値及び類似度の!、ずれか一方に基づ、て照合を行う手順と

をコンピュータに実行させるためのプログラム。

[20] 請求項 19に記載のプログラムにおいて、

前記照合を行う手順の中で、

参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順と、距離値が最も小さ!ヽ最小距離値及び類似度が最も大き!ヽ最大類似度の!ヽずれか一方を選出する手順と、

最小距離値としき!、値との比較結果及び最大類似度としき!、値との比較結果の、ずれか一方に基づいて照合を行う手順と

をコンピュータに実行させるためのプログラム。

[21] 請求項 19に記載のプログラムにおいて、

前記比較画像を生成する手順の中で、参照画像毎に参照画像に近ヽ比較画像を生成する手順をコンピュータに実行させ、

前記照合を行う手順の中で、

参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順と、

参照画像毎に距離値が最も小さヽ最小距離値及び類似度が最も大きヽ最大類似度の、ずれか一方を選出する手順と、

最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とする手順と

をコンピュータに実行させるためのプログラム。

[22] 請求項 19に記載のプログラムにおいて、

参照画像に対応する補正係数を用いて最小距離値及び最大類似度の!ヽずれか一方をネ ΐ正する手川頁を更にコンピュータに実行させるためのプログラム。

[23] 請求項 19に記載のプログラムにおいて、

前記照合を行う手順の中で、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順をコンピュータに実行させるためのプログラム。

[24] 請求項 19に記載のプログラムにおいて、入力された 3次元データ力 3次元基準点を抽出する手順と、

標準 3次元物体モデルに対応する標準 3次元基準点と 3次元データの 3次元基準点を用いて標準 3次元重み係数と 3次元データとの座標の対応を求め、姿勢候補に応じて標準 3次元重み係数を 2次元の重み係数に変換する手順とを更にコンビユータに実行させ、

前記照合を行う手順の中で、変換された 2次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順をコンピュータに実行させるためのプログラム。

[25] 請求項 19に記載のプログラムにおいて、

入力された 3次元データと代表的な 3次元物体モデルである代表 3次元物体モデルとの照合を行ヽ、 3次元データに類似した代表 3次元物体モデルを選択する手順と、

代表 3次元物体モデルと参照画像との関連を示す情報を参照し、選択された代表 3次元物体モデルに対応する参照画像を選出する手順とを更にコンピュータに実行させ、

前記照合を行う手順の中で、選出された参照画像に関して、入力された 3次元データとの照合を行う手順をコンピュータに実行させるためのプログラム。

[26] 請求項 19に記載のプログラムにおいて、

入力された 3次元データと代表的な画像である代表画像との照合を行ヽ、 3次元データに類似した代表画像を選択する手順と、

代表画像と参照画像との関連を示す情報を参照し、選択された代表画像に対応する参照画像を選出する手順とを更にコンピュータに実行させ、

[27] 請求項 22に記載のプログラムにおいて、

代表的な 3次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づヽて補正係数を決定する手順を更にコンピュータに実行させるためのプログラム