JP4979480B2 - 顔認証装置 - Google Patents

Description

本発明は、顔部画像を用いて照合処理を行う顔認証装置に関するものである。

従来の顔認証装置は、複数の人物の顔画像を登録したデータベースを備えている。そして、照合されるべき顔画像が入力されると、入力された顔画像がデータベースの顔画像と照合される。ここでは、データベースに登録される顔画像を登録画像といい、照合されるべき顔画像を照合画像という。

ところで、監視カメラを備えた監視システムでは、監視機能の強化のために、上記のような顔認証装置を備えることが有用である。この場合、顔認証装置は、監視カメラの映像を使って照合処理を行うように構成される。

従来の監視カメラの映像を使う顔認証装置は、例えば、店舗での不法行為者の発見に用いられる。この場合、過去に補足された不法行為者の顔画像が、登録画像としてデータベースに蓄積される。そして、店舗の監視カメラで撮影された照合画像が、データベースの登録画像と照合される（例えば、特許文献１参照）。また、例えば、顔認証装置が住居施設に設けられる場合、居住者等の許可された人物の顔画像が登録画像としてデータベースに格納されて、監視カメラの映像と照合される。
特開２００５−１９６７１６号公報

しかしながら、従来の顔認証装置においては、監視カメラの映像を使う場合に、以下に説明するように、照合に適した顔画像を得ることが容易ではなく、そのために認証率が低下するという問題があった。

すなわち、顔認証の登録画像としては、いわゆる証明写真のように正面から撮影した顔画像が理想的である。従来技術のように過去に補足された不法行為者や不正利用者などからであれば、理想的な登録画像を入手できる。しかし、そのような理想的な登録画像を取得できるのは一般的とはいえない。むしろ、通常は、不正行為が発生し、その不正行為が事後的に確認され、それから蓄積された監視映像から不正行為者が特定される。したがって、登録画像としては、監視映像から得られた顔画像を使用せざるを得ない方が一般的と考えるべきである。この場合、監視カメラでは人物の顔を正面から撮影することは難しいので、登録画像として得られるのは、正面とは異なる向きの顔画像になってしまう。一方、照合画像も監視カメラの映像から取得されるので、正面とは異なる向きの顔画像になる。そして、登録画像と照合画像の向きが異なる結果、照合精度が低下する。

このように、従来は、監視カメラの映像を用いると、理想的な顔画像を入手することができず、そのために照合精度が低下してしまう。これに対して、監視カメラの映像を用いる場合でも、安定した照合精度を得られるようにすることが望まれる。

本発明は、従来の問題を解決するためになされたもので、監視カメラで撮影された顔部の画像を照合用の登録画像とする場合でも、照合精度を向上させることが可能な顔認証装置を提供することにある。

本発明にかかる顔認証装置は、画像から顔部を検出し、顔部の画像を登録画像として取得する登録画像取得部と、登録画像の顔部の撮影方向を検出し、検出された撮影方向を登録画像取得条件として設定する取得条件設定部と、複数の登録画像取得条件と登録画像とを関連付けて格納する登録データベースと、照合対象者の顔部を検出し、顔部の画像を照合画像として取得する照合画像取得部と、照合画像の顔部の撮影方向を推定し、推定された撮影方向を照合画像取得条件として設定する取得条件推定部と、照合画像取得条件に対応する登録画像取得条件に関連付けられた登録画像を、登録データベースから選択する登録画像選択部と、選択された登録画像と照合画像の類似度を算出することにより、登録画像と照合画像とを照合する照合処理部とを備える。

この構成によれば、画像から複数の登録画像を取得し、各登録画像の顔部の撮影方向を登録画像取得条件として、対応する登録画像と関連付け、この登録画像取得条件を基に、登録画像と照合画像とを照合することにより、登録画像と照合画像の撮影方向の相違が照合精度に及ぼす影響を低減して、監視カメラで撮影された顔部の画像を照合用の登録画像とする場合であっても、照合精度を向上できる。

本発明にかかる顔認証装置では、登録データベースは、登録画像の顔部の撮影方向に応じた重み付けを、登録画像取得条件とともに登録画像に関連付けて格納し、複数の照合画像に基づいて複数の照合結果が得られたときに、照合処理部は、それぞれの照合画像取得条件に対応する登録画像取得条件に関連付けられた重み付けに基づいて、複数の照合結果を調整し、顔部の撮影方向の顔部正面方向に対する相対角度が大きくなるほど、重み付けが小さく設定される。

この構成によれば、顔部の撮影方向による照合精度の相違に基づいた処理が行われる。そして、撮影方向が正面方向からずれるほど照合精度が低減することを考慮して、登録画像の顔部の撮影方向に応じた重み付けをして、重み付けに基づいて照合結果を調整することにより、照合精度を向上できる。

本発明にかかる顔認証装置は、登録データベースに欠落する撮影方向がある場合、欠落する撮影方向の登録画像を、登録データベースに格納されている登録画像に基づいて合成して、合成登録画像を生成する登録画像合成部を備え、登録データベースは、合成登録画像の顔部の撮影方向を登録画像取得条件として合成登録画像と関連付けて格納する。

この構成によれば、登録データベースに登録画像が欠落する場合でも、登録画像を合成することで合成登録画像を生成することができ、より多くの画像に基づいて照合処理を行うことにより、照合精度を向上できる。

本発明にかかる顔認証装置では、登録データベースは、登録画像と合成登録画像に応じた重み付けを、登録画像取得条件とともに登録画像に関連付けて格納し、複数の照合画像に基づいて複数の照合結果が得られたときに、照合処理部は、それぞれの照合画像取得条件に対応する登録画像取得条件に関連付けられた重み付けに基づいて、複数の照合結果を調整し、登録画像の重み付けと比較して合成登録画像の重み付けが小さく設定される。

この構成によれば、顔部の撮影方向による照合精度の相違に基づいた処理が行われる。そして、撮影方向が正面方向からずれるほど照合精度が低減することを考慮して、登録画像と合成登録画像に応じた重み付けをして、重み付けに基づいて照合結果を調整することにより、照合精度を向上できる。

本発明は、監視カメラで撮影された顔部の画像を照合用の登録画像とする場合であっても、安定して高い照合率を得ることができるという効果を有する顔認証装置を提供するものである。

（第１の実施の形態）
以下、本発明の実施の形態にかかる顔認証装置について、図面をと用いて説明する。
本発明の第１の実施の形態の顔認証装置を図１に示す。

図１において、顔認証装置１００は、登録部１、登録データベース２、照合部３、及び画像出力部４を備える。登録部１は、登録画像取得部５、及び取得条件設定部６を備える。また、照合部３は、照合画像取得部７、取得条件推定部８、登録画像選択部９、照合処理部１０、及び照合結果蓄積部１１を備える。照合処理部１０は、照合結果判定部３０を備える。

画像出力部４は、監視カメラにより撮影された画像または記録装置に格納された画像を、登録部１及び照合部３へ出力する。

登録画像取得部５は、画像出力部４により出力された画像から監視対象者の顔部を検出し、顔部の画像を登録画像として取得する。

取得条件設定部６は、登録画像取得部５により取得された登録画像の顔部の撮影方向を検出し、検出された撮影方向を登録画像取得条件として設定する。この場合、取得条件設定部６は、登録画像である顔部の画像情報に基づいて、三次元座標における監視対象者の顔部正面方向に対する顔部の撮影方向を検出する。顔部の撮影方向を検出する手法として、例えば、“J.Xiao, S.Baker, I.Matthews, and T.Kanade, “Real-time combined 2D+3D active appearance models”, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, volume II, pp.535-542, 2004.”に記載された手法がある。また、様々な角度の顔部のテンプレートとマッチングさせることにより、顔部に近似するテンプレートに基づいて撮影方向を検出してもよい。また、顔部の眼部及び鼻部の相対位置から撮影方向を検出してもよい。また、時間的に連続する顔部の画像を追跡することにより、顔部の動き方向を予測し、予測された動き方向に応じて撮影方向を検出してもよい。或いは、顔部が通路等の特定の方向を向いていることが期待できる場合、監視カメラの設置条件と顔部の空間位置に基づいて撮影方向を検出してもよい。また、オペレータによる目視で撮影方向が確認され、そして、撮影方向が入力され、入力情報が検出されてよい。

登録データベース２は、取得条件設定部６により設定された登録画像取得条件と登録画像取得部５により取得された登録画像とを関連付けて格納する。上記の例では、登録画像取得条件が、監視対象者の顔部正面方向に対する撮影方向の相対角度情報であり、この情報が登録画像と関連付けられて、登録データベース２に格納される。

このように、登録部１は、画像出力部４により出力された画像に基づいて、登録画像を登録データベース２に格納させる。登録部１は、画像出力部４から出力される画像に基づいて、同一の監視対象者の顔部を複数回検出し、顔部の複数の画像を登録画像として、登録データベース２に格納させてもよい。この場合、監視対象者の移動等により、複数の登録画像に対応する複数の異なる登録画像取得条件が得られ、これらの複数の登録画像取得条件が複数の登録画像に関連付けられて、登録データベース２に格納される。

次に、照合部３の構成について説明する。照合画像取得部７は、監視カメラにより撮影された照合対象者を、登録データベース２に格納された登録画像と照合するために、画像出力部４により出力された画像から照合対象者の顔部を検出し、照合対象者の顔部の画像を照合画像として取得する。

取得条件推定部８は、照合画像の顔部の撮影方向を推定し、推定された撮影方向を照合画像取得条件として設定する。この場合、取得条件推定部８は、照合画像の顔部の画像情報に基づいて、三次元座標における照合対象者の顔部の撮影方向を検出する。撮影方向を検出する手法としては、上述の取得条件設定部６の撮影方向検出手法を用いてよい。

登録画像選択部９は、取得条件推定部８により設定された照合画像取得条件を入力し、入力された照合画像取得条件に対応する登録画像取得条件に関連付けられた登録画像を、登録データベース２から選択する。上記の例では、登録画像及び照合画像の画像取得条件は、顔部正面方向に対する撮影方向の相対角度情報である。そこで、登録画像選択部９は、照合画像取得条件の相対角度と一致または近似する相対角度を有する登録画像取得条件を登録データベース２から選択し、選択された登録画像取得条件に関連付けられた登録画像を登録データベース２から読み出す。

照合処理部１０は、選択された登録画像と照合画像の類似度を算出することにより、登録画像と照合画像とを照合し、照合結果を出力する。顔部画像の照合には、例えば、特開２００１−１１８０６８号公報に記載されているパターン認識方法を適用できる。照合結果蓄積部１１は、照合処理部１０により算出された照合結果を格納する。

このように、照合部３は、画像出力部４により出力された画像に基づいて、照合画像を登録画像と照合し、照合結果を出力する。この場合、照合部３で追跡処理が行われて、同一の照合対象者の移動に伴って、複数の照合画像が得られ、複数の照合画像から複数の照合結果が得られてもよい。これら複数の照合結果は、照合結果蓄積部１１に蓄積される。そして、照合処理部１０の照合結果判定部３０が、照合結果蓄積部１１に蓄積された複数の照合結果を読み出し、最終的な照合結果を判定する。例えば、照合結果判定部３０は、複数の照合結果のうち、類似度が最も高い照合結果を最終的な照合結果として判定する。最終的な照合結果は、照合処理部１０から出力される。
次に、本実施の形態にかかる顔認証装置１００の動作について、フローチャートを用いて説明する。

まず、図２のフローチャートを用いて、図１の登録部１による登録処理について説明する。登録画像取得部５は、画像出力部４により出力されたデジタル画像から顔部を検出し、顔部の画像を登録画像として取得する（Ｓ１００）。例えば、図３に示すように、監視カメラ２０により撮影されたデジタル画像から、監視対象者２１の顔部２２を検出し、顔部２２の画像が登録画像として登録画像取得部５により取得される。

取得条件設定部６は、三次元座標における監視対象者の顔部正面方向に対する撮影方向を検出し、顔部正面方向に対する撮影方向の水平角度及び垂直角度を登録画像取得条件として設定する（Ｓ１０１）。例えば、図３に示すように、監視対象者２１の顔部２２の撮影方向Ｄ１が取得条件設定部６により検出され、顔部正面方向Ｄ２に対する撮影方向Ｄ１の相対角度を設定する。そして、図４に示すように、顔部正面方向に対する撮影方向の水平角度及び垂直角度の相対角度情報が、登録画像取得条件として設定される。例えば、図４の領域Ａ１は、顔部正面方向に対する撮影方向の水平角度及び垂直角度が０°付近にあるため、領域Ａ１の登録画像取得条件を有する登録画像は、顔部正面方向から撮影された顔部画像に相当する。また、領域Ａ２の登録画像取得条件を有する登録画像は、顔部右側面方向から撮影された顔部画像に相当し、領域Ａ３の登録画像取得条件を有する登録画像は、顔部左側面方向から撮影された顔部画像に相当する。また、領域Ａ４の登録画像取得条件を有する登録画像は、頭頂部方向から撮影された顔部画像に相当する。

登録データベース２は、図４に示すような相対角度情報を登録画像取得条件として登録画像と関連付けて格納する（Ｓ１０２）。

監視対象者の顔部の画像が、更に画像出力部４から登録部１へ出力されるか否か判定される（Ｓ１０３）。更なる画像が出力される場合は、ステップＳ１００へ戻り、ステップＳ１０１及びステップＳ１０３を経ることによって、登録データベース２は、複数の登録画像取得条件と登録画像とを関連付けて格納する。例えば、監視対象者の移動に伴って、複数の登録画像が得られる場合は、これら複数の登録画像が、複数の登録画像取得条件（相対角度情報）と関連付けられて、登録データベース２に格納される。

なお、ステップＳ１００〜Ｓ１０３の登録処理を継続して繰り返す必要はなく、所定の登録画像取得条件が得られる場合に、ステップＳ１００〜Ｓ１０３の処理を繰り返してもよい。例えば、図４に示す領域Ｆ１に対応する登録画像取得条件を予め設定し、設定された登録画像取得条件に対応する登録画像が得られた場合に、登録部１は、登録データベース２に登録画像を格納させてもよい。これにより、例えば顔部正面画像のような高い照合精度を得るための登録画像のみを登録データベース２に格納でき、不要な登録画像のデータ量を削減することができる。

また、複数の監視対象者の各々に関する登録画像が、登録データベース２に格納され、これらの登録画像が、照合部３により照合画像と照合されてもよい。

そして、ステップＳ１０３において、登録処理すべき他の画像がない場合は、登録部１は登録処理を終了する。

次に、図５のフローチャートを用いて、図１の照合部３による照合処理について説明する。まず、照合画像取得部７は、照合対象者が撮影されている画像から照合対象者の顔部を検出し、照合対象者の顔部の画像を照合画像として取得する（Ｓ２００）。

取得条件推定部８は、照合画像の顔部の画像情報に基づいて、三次元座標における照合対象者の顔部の撮影方向を推定し、顔部正面方向に対する撮影方向の水平角度及び垂直角度を照合画像取得条件として設定する（Ｓ２０１）。この場合、取得条件設定部６と同様の撮影方向検出手法を用いてよい。

次に、取得条件設定部８により設定された照合画像取得条件の相対角度と一致または近似する相対角度を有する登録画像取得条件が、登録データベース２から選択され、選択された登録画像取得条件に関連付けられた登録画像が、登録データベース２から読み出される（Ｓ２０２）。

照合処理部１０は、選択された登録画像と照合画像の類似度をスコアとして算出することにより、登録画像と照合画像とを照合し、照合結果を出力する（Ｓ２０３）。この場合、登録画像と照合画像の類似度が高いほど、スコアが高くなる。照合結果蓄積部１１は、照合処理部１０により算出された照合結果を格納する（Ｓ２０４）。

次に、照合部３では、照合対象者を追跡中であるか否かが判定される（Ｓ２０５）。照合画像取得部７が、照合対象者の顔部の画像を照合画像として更に取得する場合は、照合対象者を追跡中であると判定され、ステップＳ２００へ戻り、ステップＳ２０１乃至ステップＳ２０４を経ることによって、照合処理部１０は、複数の照合画像を登録画像と照合し、複数の照合結果が照合結果蓄積部１１に蓄積される。

そして、ステップＳ２０５において、照合対象者が監視カメラの撮影範囲から外れた場合等、照合対象者の追跡処理が終了した場合は、照合結果判定部３０は、照合結果蓄積部１１に格納された照合結果に基づいて、最終的な照合結果を確定する（Ｓ２０６）。例えば、照合結果判定部３０は、最も高いスコアを最終的な照合結果として確定する。

また、複数の照合対象者の各々に関する照合結果が照合結果蓄積部１１に蓄積され、照合結果判定部３０は、最も高いスコアを最終的な照合結果として確定し、照合処理部１０は、最終的な照合結果に対応する照合対象者の情報を、ディスプレイ等の表示部（図示せず）へ出力してもよい。

以上説明したように、本実施の形態によれば、画像から複数の登録画像を取得し、各登録画像の顔部の撮影方向を登録画像取得条件として、対応する登録画像と関連付け、この登録画像取得条件を基に、登録画像と照合画像とを照合することにより、登録画像と照合画像の撮影方向の相違が照合精度に及ぼす影響を低減して、監視カメラで撮影された顔部の画像を照合用の登録画像とする場合であっても、照合精度を向上できる。

なお、本実施の形態では、図４において、顔向きの限界を±４０°としているが、顔向きの推定の性能により、さらに大きな角度を顔向きの限界とすることも可能である。

（第２の実施の形態）
図６に示すように、本発明の第２の実施の形態にかかる顔認証装置２００は、登録部１に撮影方向重み付け設定部１２を備え、照合部３の照合処理部１０に照合結果調整部１３を備える点で、図１の第１の実施の形態にかかる顔認証装置１００と異なる。なお、第１の実施の形態と同様の構成については、同様の符号を付しており、同様の機能及び動作を担うため、説明を省略する。

撮影方向重み付け設定部１２は、登録画像の撮影方向に応じた重み付けを設定し、設定された重み付けを、登録画像取得条件とともに登録画像に関連付けて、登録データベース２に格納させる。

照合結果調整部１３は、複数の照合結果が得られた場合に、撮影方向重み付け設定部１２により設定された重み付けに基づいて、照合結果を調整する。例えば、照合結果調整部１３は、重み付けに基づいて、照合結果として算出された複数のスコアを加重平均する。この場合、複数の照合結果のうち、所定のスコア以上の高スコアの照合結果のみを用いて、スコアを加重平均してもよい。

次に、第２の実施の形態にかかる顔認証装置２００の動作について、フローチャートを用いて説明する。なお、第１の実施の形態にかかる顔認証装置１００と同様の動作については、説明を省略する。

図７のフローチャートに示すように、図６の登録部１による登録処理において、ステップＳ７０１で、顔部方向重み付け設定部１２は、取得条件設定部６により設定された登録画像取得条件に応じた重み付けを設定し、設定された重み付けを、登録画像取得条件とともに登録画像に関連付けて、登録データベース２に格納させる。この場合、顔部正面方向に対する撮影方向の相対角度が大きくなるほど、重み付けは小さくなるように、撮影方向重み付け設定部１２は、登録画像の撮影方向に応じた重み付けを設定する。例えば、図８に示すように、領域Ａ１の登録画像取得条件を有する登録画像は、顔部正面方向から撮影された顔部画像に相当するため、領域Ａ１の登録画像取得条件に関する重み付けは最大のＷ５となる。また、領域Ａ２の登録画像取得条件を有する登録画像は、顔部右側面方向から撮影された顔部画像に相当するため、領域Ａ２の登録画像取得条件に関する重み付けＷ４は、領域Ａ１の登録画像取得条件に関する重み付けＷ５に比べて小さく設定される。また、領域Ａ５の撮影方向の相対角度は最大となるため、領域Ａ５の登録画像取得条件に関する重み付けは最小のＷ１となる。

このように、撮影方向重み付け設定部１２は、顔部正面方向に対する撮影方向の相対角度が大きくなるほど重み付けは小さくなるように、登録画像の撮影方向に応じた重み付けを設定する。一般的に、顔部正面方向から撮影された顔部画像は、両眼部、鼻部、及び口部等の特徴点を多く含むため、顔部正面方向の顔部画像を用いて照合処理を行う場合には高い照合精度を得ることができることから、撮影方向重み付け設定部１２は、撮影方向が顔部正面方向に近いほど照合結果の重み付けが大きくなるように重み付けを設定する。

そして、ステップＳ１０２において、登録データベース２は、登録画像の顔部の撮影方向に応じた重み付け情報を、登録画像取得条件とともに登録画像に関連付けて格納する。

次に、図９のフローチャートを用いて、図６の照合部３による照合処理について説明する。ステップＳ２０５において、追跡処理が終了し、照合処理すべき他の画像がない場合は、ステップＳ９０１へ進む。

ステップＳ９０１において、照合結果調整部１３は、撮影方向重み付け設定部１２により設定された重み付けに基づいて、複数の照合結果を加重平均する。例えば、図８に示す領域Ａ１，Ａ２，Ａ５の登録画像取得条件を有する登録画像に基づいて照合処理を行う場合は、それぞれの照合結果に領域Ａ１，Ａ２，Ａ５の各重み付けＷ５，Ｗ４，Ｗ１を積算して加重平均を算出することにより、照合処理部１０は最終的な照合結果を確定する。

以上説明したように、本実施の形態によれば、顔部の撮影方向による照合精度の相違に基づいた処理が行われる。そして、撮影方向が正面方向からずれるほど照合精度が低減することを考慮して、登録画像の顔部の撮影方向に応じた重み付けをして、重み付けに基づいて照合結果を調整することにより、照合精度を向上できる。

（第３の実施の形態）
図１０に示すように、本発明の第３の実施の形態にかかる顔認証装置３００は、登録部１に登録画像合成部１４及び合成画像重み付け設定部１５を備える点で、第１及び第２の実施の形態にかかる顔認証装置１００，２００と異なり、照合部３の照合処理部１０に照合結果調整部１３を備える点で、第１の実施の形態にかかる顔認証装置１００と異なる。なお、第１及び第２の実施の形態と同様の構成については、同様の符号を付しており、同様の機能及び動作を担うため、説明を省略する。

登録画像合成部１４は、登録データベース２に欠落する撮影方向の登録画像がある場合、欠落する撮影方向の登録画像を、登録データベース２に格納されている登録画像に基づいて合成して、合成登録画像を生成し、合成登録画像の顔部の撮影方向を合成登録画像の登録画像取得条件として合成登録画像と関連付けて、登録データベース２に格納させる。

合成画像重み付け設定部１５は、登録画像と合成登録画像に応じた重み付けを設定し、設定された重み付けを、登録画像取得条件とともに登録画像に関連付けて、登録データベース２に格納させる。

照合結果調整部１３は、複数の照合結果が得られた場合に、合成画像重み付け設定部１５により設定された重み付けに基づいて、照合結果を調整する。例えば、照合結果調整部１３は、重み付けに基づいて、照合結果として算出された複数のスコアを加重平均する。この場合、複数の照合結果のうち、所定のスコア以上の高スコアの照合結果のみを用いて、スコアを加重平均してもよい。

次に、第３の実施の形態にかかる顔認証装置３００の動作について、フローチャートを用いて説明する。なお、第１及び第２の実施の形態にかかる顔認証装置１００，２００と同様の動作については、説明を省略する。

図１１のフローチャートに示すように、図１０の登録部１による登録処理において、ステップＳ１０３で、画像出力部４からの画像について登録処理すべき他の画像がない場合は、ステップＳ１１０１へ進む。

ステップＳ１１０１において、登録画像合成部１４は、登録データベース２に格納されている登録画像に基づいて、欠落する撮影方向の登録画像を合成して、合成登録画像を生成する。例えば、図１２に示すように、領域１及び領域３に対応する撮影方向の登録画像が登録データベース２に格納されており、領域６に対応する撮影方向の登録画像が登録データベース２から欠落している場合、登録画像合成部１４は、領域１及び領域３に対応する登録画像に基づいて、領域６に対応する合成登録画像を生成する。この場合、登録画像合成部１４は、補間処理等により合成登録画像を生成する。具体的には、登録画像合成部１４は、領域１の撮影方向から領域３の撮影方向へ変化する過程における顔部画像を推定して、合成登録画像を生成する。なお、取得すべき撮影方向の登録画像（要求撮影方向）を予め設定しておき、登録データベース２に要求撮影方向の登録画像が欠落する場合に、登録画像合成部１４は、欠落する顔部画像の合成登録画像を生成してもよい。

ステップＳ１０６において、合成画像重み付け設定部１５は、登録画像と合成登録画像に応じた重み付けを設定し、設定された重み付けを、登録画像取得条件とともに登録画像に関連付けて、登録データベース２に格納させる。この場合、合成登録画像の登録画像に対する重み付けが小さくなるように、合成画像重み付け設定部１５は、登録画像と合成登録画像に応じた重み付けを設定する。例えば、図１３に示すように、領域Ａ１及び領域Ａ３に対応する顔部画像は登録データベース２に格納されている登録画像であるため、領域Ａ１及び領域Ａ３の登録画像取得条件に関する重み付けはＷ７となる。一方、領域Ａ６に対応する顔部画像は、領域Ａ１及び領域Ａ３に対応する顔部画像に基づいて合成された合成登録画像であるため、領域Ａ６の登録画像取得条件に関する重み付けはＷ６となり、合成登録画像の重み付けＷ６は、登録画像の重み付けＷ７より小さく設定される。これは、一般的に、合成登録画像は、登録画像から推定される顔部画像であり、合成の過程で誤差を生じ易いため、合成登録画像を用いて照合処理を行う場合には照合精度が低下することから、合成画像重み付け設定部１５は、合成登録画像の重み付けを登録画像の重み付けより小さく設定する。

次に、図１０の照合部３による照合処理について説明する。本実施の形態にかかる顔認証装置３００の照合処理は、図９に示す第２の実施の形態にかかる顔認証装置２００の照合処理と同様である。

即ち、ステップＳ２０６において、照合結果調整部１３は、合成画像重み付け設定部１５により設定された重み付けに基づいて、複数の照合結果を加重平均する。例えば、図１３に示す領域Ａ１，Ａ３，Ａ６の登録画像取得条件を有する登録画像に基づいて照合処理を行う場合は、それぞれの照合結果に領域Ａ１，Ａ３，Ａ６の各重み付けＷ７，Ｗ７，Ｗ６を積算して加重平均を算出することにより、照合処理部１０は最終的な照合結果を確定する。

以上説明したように、本実施の形態によれば、登録データベースに登録画像が欠落する撮影方向がある場合でも、登録画像を合成することで合成登録画像を生成することができ、より多くの画像に基づいて照合処理を行うことにより、照合精度を向上できる。

また、本実施の形態によれば、顔部の撮影方向による照合精度の相違に基づいた処理が行われる。そして、撮影方向が正面方向からずれるほど照合精度が低減することを考慮して、登録画像と合成登録画像に応じた重み付けをして、重み付けに基づいて照合結果を調整することにより、照合精度を向上できる。

なお、変形例として、第２の実施の形態と第３の実施の形態とが組み合わされてよい。この場合、２種類の重み付け処理が行われてもよい。即ち、第２の実施の形態で説明した撮影方向に応じた重み付けと第３の実施の形態で説明した登録画像及び合成登録画像の重み付けとを用いて、照合結果の加重平均が算出されてもよい。

更なる変形例として、上記の２種類の重み付けを合成して、１種類の重み付けが設定されてもよい。この合成された重み付けは、撮影方向に応じて変化し、且つ、登録画像か合成登録画像かによって変化する。そして、この合成された重み付けを用いて、照合結果の荷重平均が算出されてもよい。このような構成も本発明の範囲に含まれる。

本発明にかかる顔認証装置は、監視カメラで撮影された顔部の画像を照合用の登録画像とする場合であっても、安定して高い照合率を得ることができるという効果を有し、顔部画像を用いて照合処理を行う顔認証装置等として有用である。

本発明の第１の実施の形態にかかる顔認証装置のブロック図 本発明の第１の実施の形態にかかる顔認証装置の登録処理のフローチャート 登録処理における登録画像取得処理及び登録画像取得条件設定処理を説明するための図 顔部正面方向に対する撮影方向の水平角度及び垂直角度の相対角度情報を説明するための図 本発明の第１の実施の形態にかかる顔認証装置の照合処理のフローチャート 本発明の第２の実施の形態にかかる顔認証装置のブロック図 本発明の第２の実施の形態にかかる顔認証装置の登録処理のフローチャート 登録画像の撮影方向に応じて設定された重み付けを説明するための図 本発明の第２の実施の形態にかかる顔認証装置の照合処理のフローチャート 本発明の第３の実施の形態にかかる顔認証装置のブロック図 本発明の第３の実施の形態にかかる顔認証装置の登録処理のフローチャート 登録データベースに格納された登録画像に基づいて、登録データベースに欠落する登録画像を合成することを説明するための図 登録画像と合成登録画像に応じて設定された重み付けを説明するための図

符号の説明

１ 登録部
２ 登録データベース
３ 照合部
４ 画像出力部
５ 登録画像取得部
６ 取得条件設定部
７ 照合画像取得部
８ 取得条件推定部
９ 登録画像選択部
１０ 照合処理部
１１ 照合結果蓄積部
１２ 撮影方向重み付け設定部
１３ 照合結果調整部
１４ 登録画像合成部
１５ 合成画像重み付け設定部
３０ 照合結果判定部
１００，２００，３００ 顔認証装置

Claims (4)

1. 画像から顔部を検出し、前記顔部の画像を登録画像として取得する登録画像取得部と、
   前記登録画像の前記顔部の撮影方向を検出し、検出された前記撮影方向を登録画像取得条件として設定する取得条件設定部と、
   複数の前記登録画像取得条件と前記登録画像とを関連付けて格納する登録データベースと、
   照合対象者の顔部を検出し、前記照合対象者の顔部の画像を照合画像として取得する照合画像取得部と、
   前記照合画像の前記顔部の撮影方向を推定し、推定された前記撮影方向を照合画像取得条件として設定する取得条件推定部と、
   前記照合画像取得条件に対応する前記登録画像取得条件に関連付けられた前記登録画像を、前記登録データベースから選択する登録画像選択部と、
   選択された前記登録画像と前記照合画像の類似度を算出することにより、前記登録画像と前記照合画像とを照合する照合処理部と、
   を備え、
   前記登録データベースは、前記登録画像の前記撮影方向に応じた重み付けを、前記登録画像取得条件とともに前記登録画像に関連付けて格納し、
   複数の前記照合画像に基づいて複数の前記照合結果が得られたときに、前記照合処理部は、それぞれの前記照合画像取得条件に対応する前記登録画像取得条件に関連付けられた前記重み付けに基づいて、前記複数の照合結果を調整し、
   前記撮影方向の顔部正面方向に対する相対角度が大きくなるほど、前記重み付けが小さく設定されることを特徴とする顔認証装置。
2. 前記登録データベースに欠落する前記撮影方向がある場合、前記欠落する撮影方向の登録画像を、前記登録データベースに格納されている前記登録画像に基づいて合成して、合成登録画像を生成する登録画像合成部を備え、
   前記登録データベースは、前記合成登録画像の前記顔部の撮影方向を前記登録画像取得条件として前記合成登録画像と関連付けて格納することを特徴とする請求項１に記載の顔認証装置。
3. 前記登録データベースは、前記登録画像と前記合成登録画像に応じた重み付けを、前記登録画像取得条件とともに前記登録画像に関連付けて格納し、
   複数の前記照合画像に基づいて複数の前記照合結果が得られたときに、前記照合処理部は、それぞれの前記照合画像取得条件に対応する前記登録画像取得条件に関連付けられた前記重み付けに基づいて、前記複数の照合結果を調整し、
   前記登録画像の重み付けと比較して前記合成登録画像の重み付けが小さく設定されることを特徴とする請求項２に記載の顔認証装置。
4. 画像から顔部を検出し、前記顔部の画像を登録画像として取得する登録画像取得ステップと、
   前記登録画像の前記顔部の撮影方向を検出し、検出された前記撮影方向を登録画像取得条件として設定する取得条件設定ステップと、
   複数の前記登録画像取得条件と前記登録画像とを関連付けて格納する登録ステップと、
   照合対象者の顔部を検出し、前記照合対象者の顔部の画像を照合画像として取得する照合画像取得ステップと、
   前記照合画像の前記顔部の撮影方向を推定し、推定された前記撮影方向を照合画像取得条件として設定する取得条件推定ステップと、
   前記照合画像取得条件に対応する前記登録画像取得条件に関連付けられた前記登録画像を、前記登録データベースから選択する登録画像選択ステップと、
   選択された前記登録画像と前記照合画像の類似度を算出することにより、前記登録画像と前記照合画像とを照合する照合処理ステップと、
   を含み、
   前記登録ステップでは、前記登録画像の前記撮影方向に応じた重み付けを、前記登録画像取得条件とともに前記登録画像に関連付けて格納し、
   複数の前記照合画像に基づいて複数の前記照合結果が得られたときに、前記照合処理ステップでは、それぞれの前記照合画像取得条件に対応する前記登録画像取得条件に関連付けられた前記重み付けに基づいて、前記複数の照合結果を調整し、
   前記撮影方向の顔部正面方向に対する相対角度が大きくなるほど、前記重み付けが小さく設定されることを特徴とする顔認証方法。

Images