JP5024067B2 - 顔認証システム、方法及びプログラム - Google Patents

Description

本発明は、人体の顔領域の三次元データに基づき認証データの登録処理及び照合処理等を行う顔認証システム、顔認証方法及び顔認証プログラムに関する。

従来、人体の顔領域の二次元画像データを利用して、個人認証を行う各種の方法が提案されている。例えば、認証対象者の顔領域を含む二次元画像を取得し、この画像と所定の顔テンプレートとのテンプレートマッチングを行って顔領域を特定した上で画像情報を予め登録しておき、認証時に取得された顔領域の画像と登録画像との特徴量同士を比較することで個人認証を行う方法が知られている。

さらに、二次元画像データに加えて顔領域の三次元データも取得し、これらデータを参照して個人認証を行う方法も提案されている（例えば特許文献１）。この方法によれば、顔領域の三次元的な特徴量を加えて認証処理を行うことができるので、一層的確で効率的な認証が実行可能となる。なお、顔領域の三次元データは、通常、非接触の光学式三次元形状測定装置が用いられる。

ところで、顔領域の三次元データを光学的に取得する際、顔の状態等に起因して三次元データが欠落する場合が多々ある。例えば、認証対象者が眼鏡をかけている場合、その領域については鏡面反射が生じるため、測定に適した反射光を受光できない。また髭が存在している領域では、表面形状が極めて複雑であるため光が散乱するので、やはり測定に適した反射光を受光できない。このような場合、三次元データの品質が悪化し、結果として認証精度が低下する。また、三次元データの取得には相応の時間を要するため、データ取得時に顔が動いてしまう場合もあり、この場合にも三次元データの品質が悪化する。

従って、認証データの登録時に取得された三次元データの品質を評価することが望ましい。これは、照合時に取得される三次元データについても同様である。しかしながら、従来、三次元データの品質を的確に評価する方法は提案されていない。例えば特許文献２には、眼鏡や髭を認証に際しての解析対象とすることが開示されているが、これは眼鏡や髭の存在自体を特徴量として利用するものであって、三次元データの品質を評価するものではない。
特開２００３−１６２７３０号公報

本発明は、上記に鑑みてなされたものであって、三次元データの登録時若しくは照合時に、そのデータの品質を的確に評価することができる顔認証システム、顔認証方法及び顔認証プログラムを提供することを目的とする。

本発明の一の局面に係る顔認証システムは、所定のデータ処理を実行可能なデータ処理手段と、光学的に取得された認証対象者の顔領域の三次元データを前記データ処理手段へ入力する第１データ入力手段と、前記データ処理手段へ入力される三次元データに対応した、認証対象者の顔領域の二次元画像データを前記データ処理手段へ入力する第２データ入力手段と、を備え、前記データ処理手段は、前記二次元画像データに基づき、前記三次元データの品質を評価して品質データを生成する品質評価手段と、前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行う認証処理手段と、を含むことを特徴とする（請求項１）。

この場合、前記二次元画像データは、前記三次元データの取得に同期して取得されることが望ましい（請求項２）。

この構成によれば、品質評価手段により、二次元画像データに基づき、三次元データの品質評価値である品質データが生成される。一般に三次元データは、格子状に並ぶ三次元点群データからなるが、このような三次元データ自体に基づき三次元データの品質評価を行うことは難しい。しかし、二次元画像データに基づけば顔領域の外観的特徴を把握することは比較的容易である。しかも、対応（同期）して取得された二次元画像データと三次元データとは、その相関性も求め易い。このことから、二次元画像データに基づき精度良く三次元データの品質を推定することができる。そして、品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行うようにすることで、精度の高い認証を行うことができる。

上記構成において、前記品質評価手段は、前記二次元画像データについて、次の（ａ）〜（ｃ）から選ばれる１又は複数の判定要素に基づき、前記品質データを生成することが望ましい（請求項３）。
（ａ）顔領域中に、眼鏡領域と判定される部位が存在するか否か
（ｂ）顔領域中に、髭領域と判定される部位が占める割合又は髭の性質
（ｃ）顔領域中に、ぶれ領域と判定される部位が占める割合又はぶれの程度

この構成によれば、三次元データの低品質化を招来する大きな要因である「眼鏡領域」、「髭領域」及び「ぶれ領域」の存在乃至は割合、程度に基づく品質データが生成されるので、三次元データの品質を的確に評価することができる。

また、上記構成において、前記第２データ入力手段が複数備えられ、これらから得られる複数の二次元画像データが顔領域の三次元データを求めるデータとして用いられるように構成することができる（請求項４）。

この構成によれば、三次元形状測定装置等を使用することなく、例えば２台のデジタルスチルカメラを用いて、簡易にシステムを構成することができる。

この場合、前記品質評価手段は、前記二次元画像データについて、次の（ｄ）〜（ｈ）から選ばれる１又は複数の判定要素に基づき、前記品質データを生成することが望ましい（請求項５）。
（ｄ）顔領域中に、眼鏡領域と判定される部位が存在するか否か
（ｅ）顔領域中に、髭領域と判定される部位が占める割合又は髭の性質
（ｆ）顔領域中に、ぶれ領域と判定される部位が占める割合又はぶれの程度
（ｇ）顔領域中に、低コントラスト領域と判定される部位が占める割合又は低コントラストの程度
（ｈ）顔領域画像のピントぼけの程度

複数の二次元画像データが顔領域の三次元データを求める方式を採る場合、コントラストやピントぼけの程度も三次元データの品質に大きな影響を与えることとなる。上述の「眼鏡領域」、「髭領域」及び「ぶれ領域」の存在乃至は割合、程度に加えて、これらに基づいて品質データが生成されるので、三次元データの品質を的確に評価することができる。

上記いずれかの構成において、前記ぶれ領域の判定に際し、前記第２データ入力手段により連続的に取得された複数の二次元画像データが使用されることが望ましい（請求項６）。この構成によれば、複数の二次元画像データを用いて、ぶれ領域を簡単に求めることができる。

上記いずれかの構成において、前記データ処理手段は、前記二次元画像データ中の局所領域と、これに対応する前記三次元データ中の局所領域とを対応付けるデータ投影手段をさらに備え、前記品質評価手段は、前記二次元画像データ中の局所領域ごとに前記品質データを生成することが望ましい（請求項７）。

この構成によれば、例えば二次元画像データ上で求められた「髭領域」及び「ぶれ領域」などの局所領域ごとに品質データを生成し、各々品質評価を行わせることが可能となり、きめ細かに三次元データの品質を導出することができる。

上記いずれかの構成において、前記データ処理手段は、前記品質データに基づいて、前記認証処理手段に前記登録処理若しくは照合処理を実行させるか否かを判定する判定手段を更に備えることが望ましい（請求項８）。

この構成によれば、三次元データの品質評価結果が所定の基準よりも低いものである場合に、判定手段に登録処理若しくは照合処理を実行させることは不適切と判定させることで、信頼性の低い三次元データの登録、或いは信頼性の低い三次元データに基づく照合を未然に回避させることができる。

上記構成において、前記データ処理手段は、前記局所領域ごとに得られた品質データに基づいて、前記局所領域ごとに、前記登録処理若しくは照合処理に当該局所領域に対応する三次元データを適用するか否かを決定する決定手段を更に備えることが望ましい（請求項９）。

この構成によれば、例えば品質が低い局所領域の三次元データについては、登録処理若しくは照合処理に使用しないといった扱いが執り行えるようになり、柔軟性を持ち、且つ高精度な認証処理を行えるシステムを構築することができる。

上記構成において、前記判定手段は、前記登録処理若しくは照合処理を実行させないと判定した場合に、所定の報知信号を生成して出力することが望ましい（請求項１０）。

この構成によれば、ユーザに対して例えば音声や画像情報にて、第１データ入力手段により取得された三次元データが不適切なものであったことを報知したり、再度の三次元データの計測を促したりすることができる。

上記構成において、前記品質データは、複数の判定要素から得られる一つの数値で表されるものとすることができる（請求項１１）。

本発明の他の局面に係る顔認証方法は、認証対象者の顔領域の三次元データを光学的に取得するステップと、取得された前記三次元データに対応した、認証対象者の顔領域の二次元画像データを取得するステップと、前記二次元画像データに基づき、前記三次元データの品質を評価するステップと、前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行うステップと、を含むことを特徴とする（請求項１２）。

本発明のさらに他の局面に係る顔認証方法は、認証対象者の顔領域の二次元画像データを異なる視線で光学的に複数取得するステップと、取得された複数の二次元画像データから認証対象者の顔領域の三次元データを求めるステップと、前記二次元画像データに基づき、求められた三次元データの品質を評価するステップと、前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行うステップと、を含むことを特徴とする（請求項１３）。

本発明の他の局面に係る顔認証プログラムは、データ処理手段及び記憶手段を備えるコンピュータに、顔認証のための処理を実行させるプログラムであって、前記データ処理手段に、前記記憶手段に一時的に記憶された、光学的に取得された認証対象者の顔領域の三次元データを読み出す処理と、前記記憶手段に一時的に記憶された、前記三次元データに対応した認証対象者の顔領域の二次元画像データを読み出す処理と、前記二次元画像データに基づき、前記三次元データの品質を評価して品質データを生成する処理と、前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データを前記記憶手段に登録する処理と、を実行させることを特徴とする（請求項１４）。

本発明のさらに他の局面に係る顔認証プログラムは、データ処理手段及び記憶手段を備えるコンピュータに、顔認証のための処理を実行させるプログラムであって、前記データ処理手段に、前記記憶手段に一時的に記憶された、光学的に取得された認証対象者の顔領域の三次元データを読み出す処理と、前記記憶手段に一時的に記憶された、前記三次元データに対応した認証対象者の顔領域の二次元画像データを読み出す処理と、前記二次元画像データに基づき、前記三次元データの品質を評価して品質データを生成する処理と、前記品質データが所定の要件を満たすものである場合に、前記記憶手段若しくは所定の記憶媒体に予め記憶された当該認証対象者の認証用三次元データを読み出す処理と、この認証用三次元データと、前記三次元データとを照合させる処理と、を実行させることを特徴とする（請求項１５）。

本発明の顔認証システム、顔認証方法及び顔認証プログラムによれば、品質評価手段により、二次元画像データに基づき、三次元データの品質評価値である品質データが生成されるので、眼鏡や髭、ぶれ等に起因する三次元データの欠落状態を簡単且つ的確に把握できる。従って、三次元データの登録時若しくは照合時に、そのデータの品質を的確に評価することができるので、精度が高い登録及び認証動作を行うことができる。

［実施形態１］
以下、図面に基づいて、本発明の実施形態につき説明する。図１は、本発明の実施形態に係る顔認証システムの概略構成を示すブロック図である。この顔認証システムは、認証対象者Ｈの認証データをＩＣカード７０へ書き込む処理（登録処理）を行うための登録機１０と、認証データが記録されたＩＣカード７０を読み取って認証対象者Ｈに対する照合処理を行うための照合機２０（２０ａ、２０ｂ、２０ｃ・・・）とを備えて成る。

当該顔認証システムの運用例を挙げると、登録機１０が管理局等のコアセンターに設置され、複数の照合機２０ａ、２０ｂ、２０ｃ・・・がアクセスポイントであるブランチセンターに分散配置される。認証対象者Ｈは、コアセンターにおいて登録機１０でＩＣカード７０に自身の認証データとなる顔の三次元データを登録する。そして、認証対象者Ｈは登録済みのＩＣカード７０を携帯し、アクセスを希望するポイントのブランチセンターに設置されている照合機２０に対して前記ＩＣカード７０を用いて照合処理を行い、アクセス許可を受けるというものである。

図２は、上記登録機１０（照合機２０）のハード構成の一例を示す構成図である。この登録機１０は、認証対象者Ｈの顔の三次元データ及び二次元画像データを取得して認証データをＩＣカード７０に書き込むものであって、顔の三次元データを入力する非接触型の三次元デジタイザ３０（第１データ入力手段）、二次元画像データを入力するデジタルカメラ４０（第２データ入力手段）、所定の登録処理を行うパーソナルコンピュータ５０（データ処理手段）、及びＩＣカード７０に対する認証データの書き込み処理を行うＩＣカードライタ６１を含んで構成されている。

三次元デジタイザ３０は、光切断法と呼ばれる方式を用いて認証対象者Ｈの顔領域の三次元データを入力するものである。この三次元デジタイザ３０は、所定の発光手段と受光手段とを含む光学ユニットが内蔵された略直方体形状のハウジングに、投光窓を備えた投光部３１と、受光窓を備えた受光部３２とが設けられてなる。投光部３１は、受光部３２の上側の、基線長に応じた所定距離だけ離れた位置に設けられている。

投光部３１からは、水平方向に拡がるレーザビームであるスリット光が射出される。このスリット光は、水平方向に所定の放射角度で拡がり（扇形）、垂直方向に幅を有する平面状の光である。スリット光は、認証対象者Ｈの顔に向けて照射され、その顔の表面で反射された反射光の一部が受光部３２に入射するようになっている。三次元デジタイザ３０は、レーザ光の投光角、反射光の受光角、及び投光点と受光点との間の基線長に基づき、三角測量の原理で反射点までの距離を求める。かかる距離情報に基づき、認証対象者Ｈの顔領域の三次元データが格子状の多点で取得される。

デジタルカメラ４０は、被写体光像を結像する撮像光学系、被写体光像を光電変換する撮像素子等を含み、認証対象者Ｈの顔領域についての二次元画像データを入力するためのものである。この二次元画像データと上記三次元データとは、略同一タイミングで取得される。すなわち、三次元デジタイザ３０による三次元データの計測動作と、デジタルカメラ４０による撮像動作とは、同期して行われる。これは、本実施形態では、二次元画像データに基づき三次元データの品質を評価するためである。また、後述するぶれ領域の特定（動きベクトルの算出）のために、二次元画像データは２枚連続して取得される。

パーソナルコンピュータ５０は、三次元デジタイザ３０により取得された三次元形状の測定データ、及びデジタルカメラ４０により取得された画像データを取り込んで、認証対象者Ｈについての所定の登録処理を行うための各種演算処理を行う。パーソナルコンピュータ５０は、液晶ディスプレイ等からなる表示部５１、キーボードやマウス等からなる操作部５２及びハードディスク装置等を備える本体部５３を備える。

なお、照合機２０も登録機１０と基本構成は略同一である。照合機２０の場合、ＩＣカードライタ６１に替えて、ＩＣカード７０に記録されている認証データを読み取るＩＣカードリーダ６２が用いられる。また、パーソナルコンピュータ５０は、所定の照合処理を行うために機能し（但し、その処理内容の要部は登録処理と略同一である）、さらに認証が失敗した場合に警告のビープ音を発生するスピーカＳＰが追加される。

図３は、パーソナルコンピュータ５０の本体部５３の概略構成を示すブロック図である。本体部５３には、認証対象者Ｈの顔領域の三次元データ及び二次元画像データを取得するために、三次元デジタイザ３０及びデジタルカメラ４０とのデータ通信を可能とするインターフェイス５４、前記三次元データ及び二次元画像データ、さらに演算処理や制御処理などのデータを一時的に格納するＲＡＭ（Random Access Memory）５５、種々の制御プログラム等を記憶するＲＯＭ（Read Only Memory）５６、及び各種の動作を制御するＣＰＵ（Central Processing Unit）５７が備えられている。

図４は、登録機１０における、ＲＡＭ５５へ一時的に格納されるデータに対応付けた、ＣＰＵ５７の機能構成を示す機能ブロック図である。ＣＰＵ５７は、ＲＯＭ５６に格納された制御プログラムを実行することにより、領域特定部５７１、データ投影部５８１（データ投影手段）、品質評価部５８２（品質評価手段）、判定部５８３（判定手段）、フラグ付与部５８４及び認証処理部５８５（認証処理手段）を具備するように機能する。

図５は、照合機２０における、ＲＡＭ５５へ一時的に格納されるデータに対応付けた、ＣＰＵ５７の機能構成を示す機能ブロック図である。照合機２０のＣＰＵ５７は、認証のための照合処理の機能も果たす認証処理部５８５Ａの他は、登録機１０と実質的に同一の機能構成を有する。以下、認証処理部５８５、５８５Ａを除いては、上記の各機能部を登録機１０及び照合機２０に共通のものとして説明する。

ＲＡＭ５５には、三次元デジタイザ３０から入力される認証対象者Ｈの顔部分を含む三次元形状の測定データに基づいて作成された例えば格子状に並んだ三次元点群で構成される三次元データを記憶する三次元データ記憶部５５１と、デジタルカメラ４０から入力される認証対象者Ｈの顔部分を含む二次元画像データを記憶する二次元画像データ記憶部５５２と、これらのデータの位置関係を相互に関連付ける相関情報を記憶する相関情報記憶部５５３とが含まれる。さらに、ＲＡＭ５５には、後述する固有顔テンプレート及び眼テンプレートを記憶するテンプレート記憶部５５４と、眼鏡領域の有無の判定に際して用いられる参照データ記憶部５５５が備えられている。

図６（ａ）、（ｂ）は、上記二次元画像データ記憶部５５２及び三次元データ記憶部５５１に一時的に記憶される、認証対象者Ｈの二次元画像データＤ１及び三次元データＤ２の一例を示す説明図である。ここでは、口髭（髭領域ｂ）を生やしている認証対象者Ｈを例示している。

二次元画像データＤ１の画像座標Ｐ（ｘ，ｙ）と、三次元データＤ２を構成する三次元点の三次元座標Ｑ（ｘ，ｙ，ｚ）とは、予め校正された同次投影行列により対応付けられている。例えば、図６（ａ）に示す鼻頭部の二次元画像データＤ１の画像座標Ｐ_１（ｘ_１１，ｙ_１１）と、図６（ｂ）に示す同じ鼻頭部の三次元データＤ２の三次元座標Ｑ_１（ｘ_１１，ｙ_１１，ｚ_１１）とが対応付けられており、データ相互の位置関係の関連付けが為されている。上記相関情報記憶部５５３に格納される相関情報は、このような対応付けに関するデータである。

領域特定部５７１は、三次元データＤ２の品質評価のために、二次元画像データＤ１上において認証対象者Ｈの各種領域を特定する処理を行う。この領域特定は、三次元データＤ２の品質に影響を与える部位を特定する意味を持つ。本実施形態では、認証対象者Ｈの顔の領域及び眼の領域を特定した上で、二次元画像データＤ１（三次元データＤ２）の取得時に生じた「ぶれ」が大きい領域、髭の領域を特定すると共に、眼鏡の領域の有無を検出する特定処理が行われる。

一般に、スリット光を照射して物体の三次元計測を行うこの種の三次元デジタイザ３０においては、眼の領域については正反射が生じるため、測定に適した反射光を受光できない場合が多い。また、髭が存在している領域では、その表面形状の複雑さに起因して光が散乱するので、やはり測定に適した反射光を受光できない。従って、図６（ｂ）に示すように、三次元データＤ２上の、眼領域ｅ，ｅに対応する領域８１、８２、髭領域ｂに対応する領域８３については、認証精度を向上させるために使用しないことが望ましい。さらに、三次元デジタイザ３０での計測時に、顔が振れたり、唇が動いたりした場合、その表面形状に応じた的確な反射光を受光できない。

このような点に鑑みて、領域特定部５７１はこれら領域を特定する処理を行うのであるが、かかる特定は三次元データＤ２上で直接行うのではなく、三次元データＤ２と同期して取得された二次元画像データＤ１上で行う。三次元データＤ２上で眼領域や髭領域等を特定するには複雑な演算が必要である。また、ぶれ領域は特定すること自体が困難である。これに対し、二次元画像データＤ１上では、以下に例示するような、比較的演算が簡単な手法を用いて領域特定を行うことができる。

領域特定部５７１は、機能的に、テンプレート照合部５７２、動きベクトル算出部５７３、眼鏡検出部５７４及びテクスチャ解析部５７５を備えている。

テンプレート照合部５７２は、図６（ａ）に示したような認証対象者Ｈの二次元画像から認証対象部となる顔領域ｆを特定する処理を行う。図７は、このような特定処理を模式的に示す図であって、図６（ａ）に示したような態様で取得されている二次元画像データＤ１に対し、固有顔テンプレートＴＰ１を照合する処理を行う。すなわち、固有顔テンプレートＴＰ１を認証対象者Ｈの二次元画像に対して位置をスライドさせつつ、テンプレートとの照合度（一致度合い）を検証する。そして、最も照合度の高い位置における固有顔テンプレートＴＰ１の領域を、認証対象者Ｈの顔領域ｆとして特定する。

なお、固有顔テンプレートＴＰ１は、眼、鼻、口の領域を囲む矩形状のテンプレートであって、多数人から採取された情報に基づき、眼、鼻、口等の配置や形状等が特定されたテンプレートである。かかる固有顔テンプレートＴＰ１についての情報は、ＲＡＭ５５のテンプレート記憶部５５４に予め格納される。テンプレート照合部５７２は、テンプレート記憶部５５４から固有顔テンプレートＴＰ１を読み出し、二次元画像データＤ１に対して照合する処理を行う。このようにして認証対象者Ｈの顔領域ｆを特定することで、認証には不向きな頭髪部分が除外されるようになる。

またテンプレート照合部５７２は、二次元画像について特定された顔領域ｆから、さらに眼領域ｅ，ｅを特定する処理を行う。図８は、このような特定処理を模式的に示す図である。この場合も上記と同様にして、顔領域ｆの二次元画像に対し眼テンプレートＴＰ２を照合する処理を行い、最も照合度の高い位置における眼テンプレートＴＰ２の領域を、認証対象者Ｈの眼領域ｅ，ｅとして特定する。テンプレート照合部５７２は、テンプレート記憶部５５４から眼テンプレートＴＰ２を読み出し、顔領域ｆの二次元画像データに対して照合する処理を行う。

動きベクトル算出部５７３は、ぶれ領域を特定するために、デジタルカメラ４０により連続的に撮像して得られた２枚の二次元画像データを二次元画像データ記憶部５５２から読み出し、２枚の二次元画像データの対応点の移動度合いに基づいて画像上の各部の動きベクトルを算出する処理を行う。図９は、かかる処理を模式的に示した図である。

図９（ａ）に示すように、時刻ｔ１１で取得された二次元画像データＤ１１について、例えば鼻頭部の画像座標Ｐ１１がエッジ処理等で特定されたものとする。次に、図９（ｂ）に示すように、時刻ｔ１１より僅かに後の時刻ｔ１２で取得された二次元画像データＤ１２について特定される鼻頭部が、画像座標Ｐ１２であったとする。動きベクトル算出部５７３は、このような画像座標Ｐ１１〜画像座標Ｐ１２の動きベクトルを算出することで、画像上の各点についてぶれ度合いを求め、動きベクトルが所定の閾値よりも大きい領域を、ぶれ領域ｍとして特定する。

図１０は、顔領域ｆの画像に対し、ぶれ領域ｍが特定されている状態を模式的に示す図である。ここでは、三次元データＤ２の計測時（つまり２枚の二次元画像データの撮像時）に、唇が動き、唇の周辺部位がぶれ領域ｍとして特定された例を示している。

眼鏡検出部５７４は、二次元画像データＤ１中に眼鏡領域が存在しているか否かを判定する処理を行う。図１１（ａ）、（ｂ）は、眼鏡をかけている認証対象者Ｈ’について取得された二次元画像データＤ１’及び三次元データＤ２’を示す説明図である。この場合、二次元画像データＤ１’上における眼鏡領域ｇに対応する三次元データＤ２’上の領域８４は、面積的にかなりの領域を占めるようになる。このような三次元データＤ２’に基づき認証を行うと、認証精度が低下してしまうことになる。従って、本実施形態では、眼鏡領域ｇが検出された場合、後述の判定部５８３において、登録処理及び照合処理を行わない旨の判定を下すように構成している。かかる判定のための情報を提供するため、眼鏡検出部５７４は、眼鏡領域ｇを検出するものである。

具体的には眼鏡検出部５７４は、多数のサンプル画像群のパターン学習法に基づき、顔領域ｆ中における眼鏡領域ｇの有無を検出する。ＲＡＭ５５の参照データ記憶部５５５には、眼鏡をかけている状態の多数のサンプル画像と、眼鏡をかけていない状態の多数のサンプル画像とから得られた、両者を区別するための特徴量の参照データが記録されている。眼鏡検出部５７４は、かかる参照データと、入力された二次元画像データＤ１とを照合させることで、眼鏡領域ｇの有無を判定する。

テクスチャ解析部５７５は、顔領域ｆの二次元画像データに対し、主に口髭のような髭領域ｂの同定を目的としてテクスチャ解析処理を行う。例えばテクスチャ解析部５７５は、ガボールフィルタエネルギーや輝度レベル共起行列等のテクスチャ解析を行い、その結果求められたテクスチャ特徴量のパラメータが所定値内である画素領域を、髭領域ｂとして特定する。さらに、前記テクスチャ特徴量に基づき、顔の輪郭外部分領域Ｓが顔領域ｆの二次元画像データに含まれている場合には、そのような輪郭外部分Ｓの領域も特定する。図１２は、顔領域ｆの画像に対し、髭領域ｂと、輪郭外部分領域Ｓとが特定されている状態を模式的に示す図である。

以上のような各部位の特定を行うことで、最終的に領域特定部５７１は、二次元画像データＤ１で顔領域ｆと、この顔領域ｆ内において眼領域ｅ，ｅ、髭領域ｂ及びぶれ領域ｍとを特定する。図１３は、これらの領域が特定されている状態を模式的に示す図である。これらの領域は、認証処理には適さない部位であり、結果として認証処理の際に用いられる判定領域ｄ（顔領域ｆのうち、眼領域ｅ，ｅ、髭領域ｂ及びぶれ領域ｍを除いた領域）も特定されることとなる。

データ投影部５８１は、領域特定部５７１において二次元画像データＤ１上で特定された顔領域ｆのうち、眼領域ｅ，ｅ、髭領域ｂ及びぶれ領域ｍ（局所領域）を、三次元データＤ２上の各領域（局所領域）に投影させる処理を行う。具体的にはデータ投影部５８１は、所定の座標変換行列を用い、三次元データＤ２の有効格子点（低反射やオクルージョン等により計測できなかった取得点を除く点）の三次元座標値を、二次元画像データＤ１の顔領域ｆ、眼領域ｅ，ｅ、髭領域ｂ及びぶれ領域ｍの画素座標値へ座標変換する処理を行う。これにより、三次元データＤ２上で、顔領域Ｆ、眼領域Ｅ，Ｅ、髭領域Ｂ及びぶれ領域Ｍが特定される。

品質評価部５８２は、上記のように各領域が特定された二次元画像データＤ１に基づき、三次元データＤ２の品質を評価（推定）して品質データを生成する。品質評価部５８２は、本実施形態では次のような品質データを生成する。
（ａ）眼鏡検出部５７４の出力に基づく、顔領域ｆ中に眼鏡領域ｇと判定された部位の「有」、「無」についての第１品質データ。
（ｂ）テクスチャ解析部５７５の出力に基づく、顔領域ｆの面積における、髭領域ｂと判定される部位が占める面積の割合についての第２品質データ。
（ｃ）動きベクトル算出部５７３の出力に基づく、顔領域ｆの面積における、ぶれ領域ｍと判定される部位が占める面積の割合についての第３品質データ。

判定部５８３は、前記第１〜第３品質データに基づいて、後記認証処理部５８５（５８５Ａ）に登録処理（若しくは照合処理）を実行させるか否かを判定する。判定部５８３は、第１品質データについて、眼鏡領域ｇが「有」とのデータが与えられた場合、上述の通り登録処理を実行しない旨の判定を行う。また、第２品質データについて、髭領域ｂの面積割合が所定の閾値よりも大きい場合、精度の良い認証が行いにくくなることから、登録処理を実行しない旨の判定を行う。さらに、第３品質データについて、ぶれ領域ｍの面積割合が所定の閾値よりも大きい場合、同様に精度の良い認証が行いにくくなることから、登録処理を実行しない旨の判定を行う。上記以外は、判定部５８３は、登録処理を実行する旨の判定を行う。なお、眼領域ｅ，ｅについては、すべての認証対象者Ｈに存在していると扱えることから、品質評価対象とはされない。

フラグ付与部５８４（決定手段）は、登録処理を実行すると判定された場合において、データ投影部５８１で特定された三次元データＤ２の眼領域Ｅ，Ｅ、髭領域Ｂ及びぶれ領域Ｍ内に座標点をもつ三次元データに、非使用フラグ（無効フラグ）を付帯させる。一方、フラグ付与部５８４は、眼領域Ｅ，Ｅ、髭領域Ｂ及びぶれ領域Ｍを除く顔領域Ｆ内に座標点をもつ三次元データに、使用フラグ（有効フラグ）を付帯させる。

なお、低反射やオクルージョン等により、三次元デジタイザ３０で計測できなかった座標点については、既に無効フラグが付帯された状態で三次元データ記憶部５５１に格納されている。従って、フラグ付与部５８４は、このような座標点については非使用フラグを改めて付与しない。かかるフラグ付与処理により、登録処理（若しくは照合処理）に適用される三次元データＤ２が制限される。

認証処理部５８５は、ユーザから操作部５２を介して与えられる操作信号を受けて、上記の動作を行うＣＰＵ５７内の各機能部を適時に動作させる全体制御を行う。そして、登録機１０の場合、判定部５８３が登録処理を「実行する」と判定したとき、ＩＣカードライタ６１に対し、ＩＣカード７０へ認証データを書き込ませる制御信号を与える。これを受けてＩＣカードライタ６１は、認証対象者Ｈの二次元画像データＤ１及び三次元データＤ２のテンプレートを、所定のフォーマットでＩＣカード７０へ書き込む。

一方、判定部５８３が登録処理を「実行しない」と判定したとき、これをユーザに報知するための報知信号を生成する。この報知信号は、例えば「もう一度顔画像の入力を行って下さい」などといったメッセージとして表示部５１へ表示される。この場合、三次元デジタイザ３０及びデジタルカメラ４０から今回入力された三次元データ及び二次元画像データは、ＩＣカード７０には書き込まれない。

また、照合機２０の場合、認証処理部５８５Ａは、判定部５８３が登録処理を「実行する」と判定したとき、ＩＣカードリーダ６２に対し、ＩＣカード７０の認証データを読み取らせる制御信号を与える。続いて、照合のために三次元デジタイザ３０及びデジタルカメラ４０から今回入力された三次元データ及び二次元画像データと、ＩＣカード７０に記録されている三次元データ及び二次元画像データのテンプレートとを照合する処理を実行する。この照合処理としては、例えば三次元画像及び二次元画像について、それぞれ固有顔パラメータをマルチモーダル照合する手法（例えば、Kevin W.Bowyer, Kyong Chang and Patrick Flynn,An Evaluation of Multimodal 2D+3D face Biometrics,IEEE Trans. on Pattern Analysis and Machine Intelligence, 27(4):619-624,April 2005に開示されているマルチモーダル照合）を採用することができる。

一方、判定部５８３が登録処理を「実行しない」と判定したとき、認証処理部５８５Ａは、これをユーザに報知するための報知信号を生成する。この報知信号は、例えば音声信号に変換され、再入力を促すビープ音としてスピーカＳＰから発せられる。この場合、認証処理は行われない。

次に、以上の通り構成された本実施形態に係る顔認証システムの動作について説明する。図１４は、当該顔認証システムの動作フローを示すフローチャートである。処理が開始されると、図２に示すように、三次元デジタイザ３０及びデジタルカメラ４０により、認証対象者Ｈについての二次元画像データ（以下、２Ｄデータ）及び三次元データ（以下、３Ｄデータ）が同期して取得され、これらデータがパーソナルコンピュータ５０の本体部５３へ入力される（ステップＳ１）。なお２Ｄデータについては、ぶれ領域ｍの検知のため、２枚連続して取得される。これら２Ｄデータ及び３Ｄデータは、ＲＡＭ５５へ一時的に格納される。

続いて、２Ｄデータが読み出され、テンプレート照合部５７２により、図７に示したように当該２Ｄデータに固有顔テンプレートＴＰ１を照合する処理が行われ、認証対象者Ｈの顔領域ｆが特定される（ステップＳ２）。また、動きベクトル算出部５７３により、２枚の２Ｄデータに基づき動きベクトルが算出される（ステップＳ３）。さらに、眼鏡検出部５７４により、顔領域ｆ中に眼鏡領域ｇが存在しているか否かが検出される（ステップＳ４）。

眼鏡検出部５７４が２Ｄデータ上で眼鏡領域ｇの存在を検出した場合（ステップＳ５でＹＥＳ）、かかる検出信号は直ちに品質評価部５８２へ出力される。品質評価部５８２は、直ちに眼鏡領域ｇ「有」との第１品質データを生成し、判定部５８３へ出力する。これを受けて判定部５８３は、登録時（登録機１０の場合）には、登録処理を実行させない判定を行い、認証処理部５８５を介して、表示部５１に２Ｄデータ及び３Ｄデータ再入力を促すプロンプト表示を行わせる（ステップＳ１５；図１５）。一方、照合時（照合機２０の場合）には、判定部５８３は照合処理を実行させない判定を行い、認証処理部５８５Ａを介して、スピーカＳＰを介して警告音を発生させ、ユーザに２Ｄデータ及び３Ｄデータの再入力を促す（ステップＳ２５；図１６）。

眼鏡検出部５７４が２Ｄデータ上で眼鏡領域ｇの存在を検出しなかった場合（ステップＳ５でＮＯ）、続いてテンプレート照合部５７２により、顔領域ｆの２Ｄデータに眼テンプレートＴＰ２を照合する処理が行われ、眼領域ｅ，ｅが特定される（ステップＳ６）。また、テクスチャ解析部５７５により、顔領域ｆの２Ｄデータにつきテクスチャ解析を行うことで、髭領域ｂが特定される（ステップＳ７）。さらに、動きベクトル算出部５７３により、ステップＳ３で算出された動きベクトルが所定の閾値よりも大きい領域が、ぶれ領域ｍとして特定される（ステップＳ８）。顔領域ｆ、髭領域ｂ及びぶれ領域ｍの特定結果は、品質評価部５８２に与えられる。

また、顔領域ｆ、眼領域ｅ，ｅ、髭領域ｂ及びぶれ領域ｍの特定結果は、データ投影部５８１にも与えられる。そして、データ投影部５８１により、２Ｄデータ上の前記各領域が三次元データＤ２上に投影され、三次元データＤ２上で、顔領域Ｆ、眼領域Ｅ、髭領域Ｂ及びぶれ領域Ｍが特定される（ステップＳ９）。

図１５は、認証データの登録時（登録機１０の場合）における、上記ステップＳ９以降の処理を示すフローチャートである。この場合、品質評価部５８２により、顔領域ｆの面積に対して、髭領域ｂが占める面積割合、及びぶれ領域ｍが占める面積割合がそれぞれ求められる（ステップＳ１１）。この面積割合についてのデータ（第２、第３品質データ）は、判定部５８３に与えられ、これらが所定の閾値よりも大きいか否かが判定される（ステップＳ１２）。

髭領域ｂ及びぶれ領域ｍの面積割合が所定の閾値以下である場合（ステップＳ１２でＹＥＳ）、三次元データＤ２の品質が良いと扱い、登録に向けた処理が行われる。すなわち、フラグ付与部５８４により、三次元データＤ２の眼領域Ｅ，Ｅ、髭領域Ｂ及びぶれ領域Ｍ内に座標点をもつ三次元データに、非使用フラグ（無効フラグ）を付帯する処理が行われる（ステップＳ１３）。しかる後、認証処理部５８５は、ＩＣカードライタ６１を介してＩＣカード７０へ、今回入力された２Ｄデータ及び３Ｄデータを認証データとして書き込ませる（ステップＳ１４）。

一方、髭領域ｂ及びぶれ領域ｍの面積割合が所定の閾値以上である場合（ステップＳ１２でＮＯ）、三次元データＤ２の品質が悪いと扱い、認証処理部５８５は、表示部５１に２Ｄデータ及び３Ｄデータ再入力を促すプロンプト表示（所定のメッセージ等の表示）を行わせる（ステップＳ１５）。その後、図１４のステップＳ１に戻って、処理が繰り返される。

図１６は、照合時（照合機２０の場合）における、上記ステップＳ９以降の処理を示すフローチャートである。この場合も、顔領域ｆの面積に対して、髭領域ｂが占める面積割合、及びぶれ領域ｍが占める面積割合がそれぞれ求められ（ステップＳ２１）、これらが所定の閾値よりも大きいか否かが判定される（ステップＳ２２）。

髭領域ｂ及びぶれ領域ｍの面積割合が所定の閾値以下である場合（ステップＳ２２でＹＥＳ）、三次元データＤ２の品質が良いと扱い、照合に向けた処理が行われる。すなわち、フラグ付与部５８４により、三次元データＤ２の眼領域Ｅ，Ｅ、髭領域Ｂ及びぶれ領域Ｍ内に座標点をもつ三次元データに、非使用フラグ（無効フラグ）を付帯する処理が行われる（ステップＳ２３）。しかる後、認証処理部５８５Ａは、ＩＣカードリーダ６２にＩＣカード７０の記録データを読み取らせ、その記録データと今回入力された２Ｄデータ及び３Ｄデータとを照合させる照合処理を実行する（ステップＳ２４）。

一方、髭領域ｂ及びぶれ領域ｍの面積割合が所定の閾値以上である場合（ステップＳ２２でＮＯ）、三次元データＤ２の品質が悪いと扱い、認証処理部５８５Ａは、スピーカＳＰを介して警告音を発生させ、ユーザに２Ｄデータ及び３Ｄデータの再入力を促す（ステップＳ２５）。その後、図１４のステップＳ１に戻って、処理が繰り返される。

以上説明した第１実施形態に係る顔認証システムによれば、品質評価部５８２により、二次元画像データＤ１に基づき、三次元データＤ２の品質評価がなされるので、眼鏡や髭、ぶれ等に起因する三次元データの欠落状態を簡単且つ的確に把握できる。従って、三次元データＤ２の登録時若しくは照合時に、そのデータの品質を的確に評価することができるので、精度が高い登録及び認証動作を行うことができる。

［実施形態２］
上記実施形態１では、第１データ入力手段として三次元デジタイザ３０、第２データ入力手段としてデジタルカメラ４０を用いる例を示したが、この実施形態２では、三次元デジタイザ３０を用いる代わりに、２台のデジタルカメラ４０Ａ、４０Ｂを用いる、多眼ステレオカメラ方式の実施形態を例示する。

図１７は、実施形態２に係る登録機１０Ａ（照合機２０Ａ）のハード構成を示す構成図である。ここでは、第１及び第２データ入力手段としての役割を果たし、視線を異ならせてステレオ配置された一対のデジタルカメラ４０Ａ、４０Ｂが用いられている。その他の構成は、図２に示したものと同じである。また、図１８は、パーソナルコンピュータ５０の本体部５３の概略構成を示すブロック図である。実施形態１とは若干異なる機能構成を有するＲＡＭ５５Ａ、ＣＰＵ５７Ａが備えられているが、構成は、図３に示したものと同じである。

デジタルカメラ４０Ａ、４０Ｂは認証対象者の顔画像を、相対位置を異ならせて撮像するためのものである。多眼ステレオカメラ方式では、デジタルカメラ４０Ａ、４０Ｂにて撮像された２枚の顔画像においてステレオ対応点を定め、かかるステレオ対応点とカメラの位置関係とから、視差を利用した三角測量の原理で三次元形状を求める。なお、図１７では図示を省略しているが、認証対象者の顔領域に積極的に特徴点（ステレオ対応点）を作成するために、例えば、レーザ光投影、スリット光投影、パターン光投影、ランダムパターン光投影等を行うことができる光源装置を付設することが望ましい。なお、目の領域などを除けば顔領域はテクスチャが乏しい画像になることから、対応点のミスマッチが生じないよう、ランダムパターン光を投影することが望ましい。

デジタルカメラ４０Ａ、４０Ｂのいずれか一方が主カメラとして定められ、主カメラについては、連続的に２枚の二次元画像データを取得させる。これは、実施形態１と同様に、ぶれ領域を求めるためである。他方のカメラについては、主カメラと同期して２枚の二次元画像データを取得させる。

図１９は、登録機１０Ａにおける、ＲＡＭ５５Ａへ一時的に格納されるデータに対応付けた、ＣＰＵ５７Ａの機能構成を示す機能ブロック図である。また、図２０は、照合機２０Ａにおける、ＲＡＭ５５へ一時的に格納されるデータに対応付けた、ＣＰＵ５７の機能構成を示す機能ブロック図である。図３、図４と同じ符号を付している部分は、同じ働きをする機能部であるので、ここでは説明を省略乃至は簡略化し、相違している機能部について詳述する。なお、図３及び図４の場合と同様に、上記の各機能部を登録機１０Ａ及び照合機２０Ａに共通のものとして説明する。

ＣＰＵ５７Ａには、実施形態１と異なる構成として、三次元データ算出部５９１及びピントぼけ算出部５９２が備えられ、また領域特定部５７１にコントラスト算出部５７６が備えられている。さらに、これらの機能部が備えられていることに対応して、実施形態１とは異なる動作を行う品質評価部５８２Ａ、判定部５８３Ａ及びフラグ付与部５８４Ａが備えられている。

三次元データ算出部５９１は、デジタルカメラ４０Ａ、４０Ｂにから入力され、二次元画像データ記憶部５５２に格納されている二次元画像データＤ１を読み出して、ステレオ対応点ごとに三次元座標（三次元データＤ２）を求める演算を行う。求められた三次元データＤ２は、ＲＡＭ５５Ａの三次元データ記憶部５５１Ａに一時的に格納されるが、この場合、三次元の座標点は、二次元の画素に対応したものとして算出されるので、二次元画像データＤ１の画像座標と三次元データＤ２の三次元座標とは、画素番号で対応付けられて記憶される。

ピントぼけ算出部５９２は、前記二次元画像データに基づき、当該二次元画像の全体的なピントぼけの程度を判定する。本実施形態では、二次元画像データＤ１から三次元データＤ２を算出するので、ピントぼけが存在していると正確な三次元座標を導出できず、認証精度が低下してしまうことになる。従って、本実施形態では、一定値以上のピントぼけが検出された場合、判定部５８３Ａにおいて、登録処理及び照合処理を行わない旨の判定を下すように構成している。かかる判定のための情報を提供するため、ピントぼけ算出部５９２は、眼鏡検出部５７４は、二次元画像の全体的なピントぼけの程度を検出する。ピントぼけの程度の算出方法としては、各種公知の手法を採用することができるが、例えば合焦画像に対するボケ関数の推定手法を用いることができる。

コントラスト算出部５７６は、二次元画像データＤ１中の低コントラスト領域の有無を判定すると共に、低コントラスト領域が存在する場合は、その領域を特定する。二次元画像データＤ１の取得時に、例えば照明条件が適正でなかったり、何らかの不具合で影が発生してしまったりした場合、本来の顔領域のコントラストが得られないケースが想定される。この場合も、三次元データＤ２の品質が低下するので、本実施形態ではコントラスト算出部５７６によりこのような低コントラスト領域ｃを特定させ、品質評価部５８２Ａに出力させるようにしている。

コントラスト算出部５７６は、各画素の輝度情報に基づき、低コントラスト領域ｃを特定する。例えば、局所的な領域における画素の輝度最大値をＩ_ｍａｘ、最小値をＩ_ｍｉｎとするとき、次式
（Ｉ_ｍａｘ・Ｉ_ｍｉｎ）／（Ｉ_ｍａｘ＋Ｉ_ｍｉｎ）
で得られる値が所定の閾値以下である画素群領域を、低コントラスト領域ｃとして特定する手法を用いることができる。

品質評価部５８２Ａは、実施形態１と同様にして特定される顔領域ｆ、眼鏡領域ｇ、髭領域ｂ及びぶれ領域ｍのほか、上述のピントぼけの程度と、低コントラスト領域ｃとが求められた二次元画像データＤ１に基づき、三次元データＤ２の品質を評価（推定）して品質データを生成する。すなわち品質評価部５８２Ａは、本実施形態では次のような品質データを生成する。
（ｄ）眼鏡検出部５７４の出力に基づく、顔領域ｆ中に眼鏡領域ｇと判定された部位の「有」、「無」についての第１品質データ。
（ｅ）テクスチャ解析部５７５の出力に基づく、顔領域ｆの面積における、髭領域ｂと判定される部位が占める面積の割合についての第２品質データ。
（ｆ）動きベクトル算出部５７３の出力に基づく、顔領域ｆの面積における、ぶれ領域ｍと判定される部位が占める面積の割合についての第３品質データ。
（ｇ）コントラスト算出部５７６の出力に基づく、顔領域ｆの面積における、低コントラスト領域ｃと判定される部位が占める面積の割合についての第４品質データ。
（ｈ）ピントぼけ算出部５９２の出力に基づく、顔領域ｆの画像に所定の閾値以上のピントぼけの「有」、「無」についての第５品質データ。

判定部５８３Ａは、前記第１〜第５品質データに基づいて、認証処理部５８５（５８５Ａ）に登録処理（若しくは照合処理）を実行させるか否かを判定する。第１品質データ〜第３品質データの判定については、実施形態１と同様である。第４品質データについて、低コントラスト領域ｃの面積割合が所定の閾値よりも大きい場合、精度の良い認証が行いにくくなることから、登録処理を実行しない旨の判定を行う。また、第５品質データについて、ピントぼけ「有」とのデータが与えられた場合、上述の通り登録処理を実行しない旨の判定を行う。

フラグ付与部５８４Ａは、登録処理を実行すると判定された場合において、先ず二次元画像データＤ１上で特定された顔領域ｆ、眼領域ｅ，ｅ、髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃに対応させて、三次元データＤ２上で顔領域Ｆ、眼領域Ｅ，Ｅ、髭領域Ｂ、ぶれ領域Ｍ及び低コントラスト領域Ｃを特定する。本実施形態では、データ投影を行うまでもなく、画素番号で領域を特定することができる。

次にフラグ付与部５８４Ａは、三次元データＤ２の眼領域Ｅ，Ｅ、髭領域Ｂ、ぶれ領域Ｍ及び低コントラスト領域Ｃ内に座標点をもつ三次元データに、非使用フラグ（無効フラグ）を付帯させる。一方、フラグ付与部５８４Ａは、眼領域Ｅ，Ｅ、髭領域Ｂ、ぶれ領域Ｍ及び低コントラスト領域Ｃを除く顔領域Ｆ内に座標点をもつ三次元データに、使用フラグ（有効フラグ）を付帯させる。

認証処理部５８５（５８５Ａ）は、ユーザから操作部５２を介して与えられる操作信号を受けて、上記の動作を行うＣＰＵ５７内の各機能部を適時に動作させる全体制御を行う。登録機１０Ａとしての認証処理部５８５の処理、照合機２０Ａとしての認証処理部５８５Ａの処理は、実施形態１と同様である。

次に、以上の通り構成された実施形態２に係る顔認証システムの動作について説明する。図２１は、当該顔認証システムの動作フローを示すフローチャートである。処理が開始されると、図１７に示すように、デジタルカメラ４０Ａ、４０Ｂにより、認証対象者Ｈについての二次元画像データ（以下、２Ｄデータ）が入力される。また、この２Ｄデータから、三次元データ算出部５９１により三次元データ（以下、３Ｄデータ）が求められる（ステップＳ３１）。なおデジタルカメラ４０Ａ、４０Ｂのいずれか一方については、ぶれ領域ｍの検知のため、２枚連続した撮像動作が行われる。これら２Ｄデータ及び３Ｄデータは、ＲＡＭ５５へ一時的に格納される。

続いて、２Ｄデータが読み出され、実施形態１と同様に、認証対象者Ｈの顔領域ｆが特定され（ステップＳ３２）、動きベクトルが算出され（ステップＳ３３）、顔領域ｆ中に眼鏡領域ｇが存在しているか否かが検出される（ステップＳ３４）。さらに、ピントぼけ算出部５９２により、二次元画像の全体的なピントぼけの程度が求められる（ステップＳ３５）。

眼鏡検出部５７４が２Ｄデータ上で眼鏡領域ｇの存在を検出した場合、若しくはピントぼけ算出部５９２が基準値を超えるピントぼけを検出した場合（ステップＳ３６でＹＥＳ）、かかる検出信号は直ちに品質評価部５８２Ａへ出力される。品質評価部５８２Ａは、直ちに眼鏡領域ｇ「有」との第１品質データ、及び／又はピントぼけ「有」との第５品質データを生成し、判定部５８３Ａへ出力する。これを受けて判定部５８３Ａは、登録時（登録機１０の場合）には、登録処理を実行させない判定を行い、認証処理部５８５を介して、表示部５１に２Ｄデータ及び３Ｄデータ再入力を促すプロンプト表示を行わせる（ステップＳ５５；図２２）。一方、照合時（照合機２０の場合）には、判定部５８３Ａは照合処理を実行させない判定を行い、認証処理部５８５Ａを介して、スピーカＳＰを介して警告音を発生させ、ユーザに２Ｄデータ及び３Ｄデータの再入力を促す（ステップＳ６５；図２３）。

眼鏡検出部５７４が眼鏡領域ｇの存在を検出しなかった場合、若しくはピントぼけ算出部５９２が基準値を超えるピントぼけを検出しなかった場合（ステップＳ３６でＮＯ）、実施形態１と同様に、眼領域ｅ，ｅが特定され（ステップＳ３７）、髭領域ｂが特定され（ステップＳ３８）、ぶれ領域ｍが特定される（ステップＳ３９）。さらに、コントラスト算出部５７６により、二次元画像データＤ１中の低コントラスト領域の有無を判定されると共に、低コントラスト領域ｃが特定される（ステップＳ４０）。顔領域ｆ、髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃの特定結果は、品質評価部５８２Ａに与えられる。

また、フラグ付与部５８４Ａにおいて、上記２Ｄデータ上の顔領域ｆ、眼領域ｅ，ｅ、髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃに対応して画素番号が確認され、三次元データＤ２上での、顔領域Ｆ、眼領域Ｅ、髭領域Ｂ、ぶれ領域Ｍ及び低コントラスト領域Ｃが特定される（ステップＳ４１）。

図２２は、認証データの登録時（登録機１０Ａの場合）における、上記ステップＳ４１以降の処理を示すフローチャートである。この場合、品質評価部５８２Ａにより、顔領域ｆの面積に対して、髭領域ｂが占める面積割合、ぶれ領域ｍが占める面積割合、及び低コントラスト領域ｃが占める面積割合がそれぞれ求められる（ステップＳ５１）。この面積割合についてのデータ（第２〜第４品質データ）は、判定部５８３Ａに与えられ、これらが所定の閾値よりも大きいか否かが判定される（ステップＳ５２）。

髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃの面積割合がいずれも所定の閾値以下である場合（ステップＳ５２でＹＥＳ）、三次元データＤ２の品質が良いと扱い、登録に向けた処理が行われる。すなわち、フラグ付与部５８４Ａにより、三次元データＤ２の眼領域Ｅ，Ｅ、髭領域Ｂ、ぶれ領域Ｍ及び低コントラスト領域Ｃ内に座標点をもつ三次元データに、非使用フラグ（無効フラグ）を付帯する処理が行われる（ステップＳ５３）。しかる後、認証処理部５８５は、ＩＣカードライタ６１を介してＩＣカード７０へ、今回入力された２Ｄデータ及び３Ｄデータを認証データとして書き込ませる（ステップＳ５４）。

一方、髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃの面積割合のいずれかが所定の閾値以上である場合（ステップＳ５２でＮＯ）、三次元データＤ２の品質が悪いと扱い、認証処理部５８５Ａは、表示部５１に２Ｄデータ及び３Ｄデータ再入力を促すプロンプト表示（所定のメッセージ等の表示）を行わせる（ステップＳ５５）。その後、図２１のステップＳ３１に戻って、処理が繰り返される。

図２３は、照合時（照合機２０Ａの場合）における、上記ステップＳ４１以降の処理を示すフローチャートである。この場合も、顔領域ｆの面積に対して、髭領域ｂが占める面積割合、ぶれ領域ｍが占める面積割合、及び低コントラスト領域ｃが占める面積割合がそれぞれ求められ（ステップＳ６１）、これらが所定の閾値よりも大きいか否かが判定される（ステップＳ６２）。

髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃの面積割合がいずれも所定の閾値以下である場合（ステップＳ６２でＹＥＳ）、三次元データＤ２の品質が良いと扱い、照合に向けた処理が行われる。すなわち、フラグ付与部５８４Ａにより、三次元データＤ２の眼領域Ｅ，Ｅ、髭領域Ｂ、ぶれ領域Ｍ及び低コントラスト領域Ｃ内に座標点をもつ三次元データに、非使用フラグ（無効フラグ）を付帯する処理が行われる（ステップＳ６３）。しかる後、認証処理部５８５Ａは、ＩＣカードリーダ６２にＩＣカード７０の記録データを読み取らせ、その記録データと今回入力された２Ｄデータ及び３Ｄデータとを照合させる照合処理を実行する（ステップＳ６４）。

一方、髭領域ｂ、ぶれ領域ｍ及び低コントラスト領域ｃの面積割合のいずれかが所定の閾値以上である場合（ステップＳ６２でＮＯ）、三次元データＤ２の品質が悪いと扱い、認証処理部５８５Ａは、スピーカＳＰを介して警告音を発生させ、ユーザに２Ｄデータ及び３Ｄデータの再入力を促す（ステップＳ６５）。その後、図２１のステップＳ３１に戻って、処理が繰り返される。

以上説明した実施形態２に係る顔認証システムによれば、多眼ステレオカメラ方式において、品質評価部５８２Ａにより、二次元画像データＤ１に基づき、三次元データＤ２の品質評価がなされるので、眼鏡や髭、ぶれ、低コントラスト、ピントぼけ等に起因する三次元データの欠落状態を簡単且つ的確に把握できる。従って、三次元データＤ２の登録時若しくは照合時に、そのデータの品質を的確に評価することができるので、精度が高い登録及び認証動作を行うことができる。

以上、本発明の実施形態につき説明したが、本発明はこれに限定されるものではない。例えば、下記に示すような変形実施形態を取ることができる。

［１］実施形態１では、登録機１０及び照合機２０の双方において、データ入力手段として三次元デジタイザ３０とデジタルカメラ４０とを用い、実施形態２では、登録機１０Ａ及び照合機２０Ａの双方において、データ入力手段として、一対のデジタルカメラ４０Ａ、４０Ｂを用いる例を示した。これに代えて、登録機（又は照合機）に三次元デジタイザを用いる一方で、照合機（又は登録機）に多眼ステレオカメラ方式を採用するようにしても良い。

［２］上記実施形態では、二次元画像データ上で眼領域ｅ，ｅを検出し、これに対応する三次元データの眼領域Ｅ，Ｅに非使用フラグを付帯させ、認証に用いない例を示した。これに代えて、眼領域ｅ，ｅを特に検出せず、判定領域ｄの中に含めるようにしても良い。

［３］上記実施形態では、眼鏡領域ｇが検出された場合は、登録処理及び照合処理を行わないようにする例を示した。これに代えて、眼鏡領域ｇもテクスチャ解析部等で領域特定するようにし、これに対応する三次元データの領域に非使用フラグを付帯させて登録処理及び照合処理を行わせるようにしても良い。

［４］上記判定部５８３Ａが、ＩＣカード７０への登録処理若しくは照合処理を実行させないと判定した場合に、デジタルカメラ４０及び三次元デジタイザ３０（デジタルカメラ４０Ａ、４０Ｂ）による二次元及び三次元データの取得条件の変更を促す具体的な情報（「正面を向いて撮影して下さい」などといったメッセージや、照明条件等の撮影条件の変更を促すメッセージ、撮影条件を選択させる選択肢等）を表示部５１へ表示させるようにしても良い。或いは、デジタルカメラ４０及び三次元デジタイザ３０の撮影条件等を自動的に変更させる制御信号を認証処理部５８５、５８５Ａが生成可能なように構成しても良い。この構成によれば、取得された二次元及び三次元データが不適切なものであった場合、これらデータの取得条件の変更を促す報知信号、若しくはデータの取得条件を変更させる制御信号を生成がされるので、ユーザに望ましい状態でのリトライを実行させることができる。

［５］上記実施形態では、ＩＣカード７０を認証対象者に携帯させる例を示した。このようなＩＣカード７０に替えて、登録機１０、１０Ａを介してセンターサーバに認証データを記録させ、前記センターサーバにインターネット等を介して照合機２０、２０Ａを接続しておき、照合時にセンターサーバに認証データを読み出して照合処理を行うようにしても良い。

［６］上記実施形態では、顔領域中に、髭領域、ぶれ領域及び低コントラスト領域と判定される部位が占める面積割合に基づき、三次元データの品質を評価する例を示した。これに代えて、或いはこれに加えて、髭の濃淡などの髭の性質、ぶれ度合い等のぶれの程度、コントラストの低下度合い等の低コントラストの程度を参照して、三次元データの品質を評価するようにしても良い。

［７］上記実施形態では、顔領域中に、髭領域、ぶれ領域及び低コントラスト領域と判定される部位が占める面積割合が、所定の閾値を超過する場合には、データ品質が悪いと判断して登録処理や照合処理の実施を取り止める例を示した。これに代えて、上記３つの領域を総合的に評価して上記の判断を行わせることもできる。例えば、髭領域、ぶれ領域及び低コントラスト領域の面積割合をそれぞれＡｂ、Ａｍ、Ａｃとするとき、総合品質評価を一つの数値Ｑとして、次式
Ｑ＝（Ａｂ）^ｍ＋（Ａｍ）^ｍ＋（Ａｃ）^ｍ
なお、ｍはべき乗を表す所定の数値である。
にて得た後、Ｑの値が所定の閾値を超過するか否かにより品質の良否を判定し、その後の登録処理や照合処理を実行させるか否かを判断させるようにしても良い。

［８］上述の顔認証システムが行う登録方法若しくは照合方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。若しくは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

本発明の実施形態１に係る顔認証システムの概略構成を示すブロック図である。 上記顔認証システムを構成する登録機（照合機）のハード構成の一例を示す構成図である。 パーソナルコンピュータの本体部の概略構成を示すブロック図である。 登録機のＣＰＵの機能構成を示す機能ブロック図である。 照合機のＣＰＵの機能構成を示す機能ブロック図である。 （ａ）、（ｂ）は、認証対象者Ｈの二次元画像データＤ１及び三次元データＤ２の一例を示す説明図である。 二次元画像から認証対象部となる顔領域を特定する処理を模式的に示す図である。 顔領域から、さらに眼の領域を特定する処理を模式的に示す図である。 （ａ）、（ｂ）画像上の各部の動きベクトルを算出する処理を模式的に示す図である。 顔領域から、ぶれ領域を特定する処理を模式的に示す図である。 （ａ）、（ｂ）は、眼鏡をかけている認証対象者Ｈ’の二次元画像データＤ１’及び三次元データＤ２’の一例を示す説明図である。 顔領域の画像に対し、口髭の領域と、輪郭外部分の領域とが特定されている状態を模式的に示す図である。 顔領域中の各領域が特定されている状態を模式的に示す図である。 実施形態１に係る顔認証システムの動作フローを示すフローチャートである。 認証データの登録時における、図１４のステップＳ９以降の処理を示すフローチャートである。 照合時における、図１４のステップＳ９以降の処理を示すフローチャートである。 実施形態２に係る顔認証システムを構成する登録機（照合機）のハード構成の一例を示す構成図である。 実施形態２のパーソナルコンピュータの本体部の概略構成を示すブロック図である。 登録機のＣＰＵの機能構成を示す機能ブロック図である。 照合機のＣＰＵの機能構成を示す機能ブロック図である。 実施形態２に係る顔認証システムの動作フローを示すフローチャートである。 認証データの登録時における、図２１のステップＳ４１以降の処理を示すフローチャートである。 照合時における、図２１のステップＳ４１以降の処理を示すフローチャートである。

符号の説明

１０、１０Ａ 登録機
２０、２０Ａ 照合機
３０ 三次元デジタイザ（第１データ入力手段）
４０ デジタルカメラ（第２データ入力手段）
４０Ａ、４０Ｂ デジタルカメラ（第１、第２データ入力手段）
５０ パーソナルコンピュータ（データ処理手段）
５１ 表示部
５２ 操作部
５３ 本体部
５５ ＲＡＭ
５５１ 三次元データ記憶部
５５２ 二次元画像データ記憶部
５７ ＣＰＵ
５７１ 領域特定部
５８１ データ投影部（データ投影手段）
５８２、５８２Ａ 品質評価部（品質評価手段）
５８３、５８３Ａ 判定部（判定手段）
５８４、５８４Ａ フラグ付与部（決定手段）
５８５、５８５Ａ 認証処理部（認証処理手段）
５７１ 品質評価部（品質評価手段）
６１ ＩＣカードライタ
６２ ＩＣカードリーダ
７０ ＩＣカード
Ｈ 認証対象者

Claims (15)

1. 所定のデータ処理を実行可能なデータ処理手段と、
   光学的に取得された認証対象者の顔領域の三次元データを前記データ処理手段へ入力する第１データ入力手段と、
   前記データ処理手段へ入力される三次元データに対応した、認証対象者の顔領域の二次元画像データを前記データ処理手段へ入力する第２データ入力手段と、を備え、
   前記データ処理手段は、
   前記二次元画像データに基づき、前記三次元データの品質を評価して品質データを生成する品質評価手段と、
   前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行う認証処理手段と、を含むことを特徴とする顔認証システム。
   
2. 前記二次元画像データは、前記三次元データの取得に同期して取得されることを特徴とする請求項１に記載の顔認証システム。
3. 前記品質評価手段は、前記二次元画像データについて、次の（ａ）〜（ｃ）から選ばれる１又は複数の判定要素に基づき、前記品質データを生成することを特徴とする請求項１に記載の顔認証システム。
   （ａ）顔領域中に、眼鏡領域と判定される部位が存在するか否か
   （ｂ）顔領域中に、髭領域と判定される部位が占める割合又は髭の性質
   （ｃ）顔領域中に、ぶれ領域と判定される部位が占める割合又はぶれの程度
4. 前記第２データ入力手段が複数備えられ、これらから得られる複数の二次元画像データが顔領域の三次元データを求めるデータとして用いられることを特徴とする請求項１に記載の顔認証システム。
5. 前記品質評価手段は、前記二次元画像データについて、次の（ｄ）〜（ｈ）から選ばれる１又は複数の判定要素に基づき、前記品質データを生成することを特徴とする請求項４に記載の顔認証システム。
   （ｄ）顔領域中に、眼鏡領域と判定される部位が存在するか否か
   （ｅ）顔領域中に、髭領域と判定される部位が占める割合又は髭の性質
   （ｆ）顔領域中に、ぶれ領域と判定される部位が占める割合又はぶれの程度
   （ｇ）顔領域中に、低コントラスト領域と判定される部位が占める割合又は低コントラストの程度
   （ｈ）顔領域画像のピントぼけの程度
6. 前記ぶれ領域の判定に際し、前記第２データ入力手段により連続的に取得された複数の二次元画像データが使用されることを特徴とする請求項３又は５に記載の顔認証システム。
7. 前記データ処理手段は、前記二次元画像データ中の局所領域と、これに対応する前記三次元データ中の局所領域とを対応付けるデータ投影手段をさらに備え、
   前記品質評価手段は、前記二次元画像データ中の局所領域ごとに前記品質データを生成することを特徴とする請求項１〜６のいずれかに記載の顔認証システム。
8. 前記データ処理手段は、前記品質データに基づいて、前記認証処理手段に前記登録処理若しくは照合処理を実行させるか否かを判定する判定手段を更に備えることを特徴とする請求項１〜７のいずれかに記載の顔認証システム。
9. 前記データ処理手段は、前記局所領域ごとに得られた品質データに基づいて、前記局所領域ごとに、前記登録処理若しくは照合処理に当該局所領域に対応する三次元データを適用するか否かを決定する決定手段を更に備えることを特徴とする請求項７に記載の顔認証システム。
10. 前記判定手段は、前記登録処理若しくは照合処理を実行させないと判定した場合に、所定の報知信号を生成して出力することを特徴とする請求項８に記載の顔認証システム。
11. 前記品質データは、複数の判定要素から得られる一つの数値で表されることを特徴とする請求項１に記載の顔認証システム。
12. 認証対象者の顔領域の三次元データを光学的に取得するステップと、
    取得された前記三次元データに対応した、認証対象者の顔領域の二次元画像データを取得するステップと、
    前記二次元画像データに基づき、前記三次元データの品質を評価するステップと、
    前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行うステップと、
    を含むことを特徴とする顔認証方法。
    
13. 認証対象者の顔領域の二次元画像データを異なる視線で光学的に複数取得するステップと、
    取得された複数の二次元画像データから認証対象者の顔領域の三次元データを求めるステップと、
    前記二次元画像データに基づき、求められた三次元データの品質を評価するステップと、
    前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データの登録処理若しくは照合処理を行うステップと、
    を含むことを特徴とする顔認証方法。
    
14. データ処理手段及び記憶手段を備えるコンピュータに、顔認証のための処理を実行させるプログラムであって、前記データ処理手段に、
    前記記憶手段に一時的に記憶された、光学的に取得された認証対象者の顔領域の三次元データを読み出す処理と、
    前記記憶手段に一時的に記憶された、前記三次元データに対応した認証対象者の顔領域の二次元画像データを読み出す処理と、
    前記二次元画像データに基づき、前記三次元データの品質を評価して品質データを生成する処理と、
    前記品質データが所定の要件を満たすものである場合に、前記三次元データに基づく認証データを前記記憶手段に登録する処理と、
    を実行させることを特徴とする顔認証プログラム。
    
15. データ処理手段及び記憶手段を備えるコンピュータに、顔認証のための処理を実行させるプログラムであって、前記データ処理手段に、
    前記記憶手段に一時的に記憶された、光学的に取得された認証対象者の顔領域の三次元データを読み出す処理と、
    前記記憶手段に一時的に記憶された、前記三次元データに対応した認証対象者の顔領域の二次元画像データを読み出す処理と、
    前記二次元画像データに基づき、前記三次元データの品質を評価して品質データを生成する処理と、
    前記品質データが所定の要件を満たすものである場合に、前記記憶手段若しくは所定の記憶媒体に予め記憶された当該認証対象者の認証用三次元データを読み出す処理と、
    この認証用三次元データと、前記三次元データとを照合させる処理と、
    を実行させることを特徴とする顔認証プログラム。
    

Images