JP2007156974A

JP2007156974A - 個人認証・識別システム

Info

Publication number: JP2007156974A
Application number: JP2005353576A
Authority: JP
Inventors: Tsuneo Kato; 恒夫加藤; Kenji Matsuo; 賢治松尾; Hisashi Kawai; 恒河井
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-12-07
Filing date: 2005-12-07
Publication date: 2007-06-21

Abstract

【課題】誤識別率の小さい、かつ顔写真や録音された本人の声で詐称できない顔画像と音声を統合した個人認証・識別装置を提供することにある。
【解決手段】撮像部１から出力されたユーザの顔画像と音声に分離される。顔画像照合部１４は、顔画像特徴量抽出部１２によって顔画像の静止画像から抽出された特徴量と、予め登録されている個人顔画像データ１５とを照合し、尤度αを出力する。一方、音声照合部２３は、音声特徴量抽出部２２によって音声から抽出された特徴量と、予め登録されている個人音声データ２４とを照合し、尤度βを出力する。尤度統合部４は、該尤度αとβを統合して統合尤度を出力し、認証・識別判定部６は該統合尤度を基にユーザの認証及び／又は識別判定をする。前記尤度α、βは、明るさ測定部１６からの顔画像の明るさ、背景雑音測定部２５からの背景雑音の大きさにより閾値を変えられる。
【選択図】図１

Description

この発明は個人認証・識別システムに関し、特に顔画像と音声とを統合することにより、高い精度で個人認証および識別できるようにした個人認証・識別システムに関する。

入退室管理や情報システムへのアクセス管理などに、生体情報（バイオメトリクス）を用いる認証方式が検討されている。個人の認証、識別に利用できる生体情報としては、指紋、顔、声、虹彩、網膜、手のひらの静脈などが上げられる。

従来の個人認証装置の一つとして、例えば下記の特許文献１に記されているものがある。この文献に記されている個人認証装置は、予め記憶された特定個人の顔画像と撮像された顔画像とを照合し、双方のパターンが近似していれば認証する画像識別部と、予め記憶された特定個人の音声と入力音声との波形を照合し、双方が近似していれば認証する音声識別部と、予め記憶されたキーワード又はＩＤ番号と、入力されたキーワード又はＩＤ番号とを照合し、双方が一致していれば認証するＩＤ認証部と、予め記憶された特定個人の指紋と入力された指紋とのパターンを照合し、双方が一致していれば認証する指紋認証部とのうちのいずれか２つ以上の組み合わせを用いて、個人認証するものであり、用いられた全てが認証された場合に、登録された個人であると認証するものである。
特開２０００−２５９８２８号公報

しかしながら、前記した先行技術では、前記画像識別部は、明るさや顔の角度が変化すると誤識別したり本人の顔写真により詐称できるという課題、また前記音声識別部は、背景雑音が大きいと誤識別したり録音された本人の声で詐称できるという課題があった。

本発明の目的は、前記した従来技術の課題を解決し、誤識別率の小さい、かつ顔写真や録音された本人の声で詐称できない顔画像と音声を統合した個人認証・識別装置を提供することにある。

前記した目的を達成するために、本発明は、顔画像と音声とを統合して行う個人認証・識別システムにおいて、ユーザの顔画像を少なくとも含む動画像を撮像する撮像部と、該動画像から音声と画像とを分離する音声・画像分離部と、予め個人の顔画像データを登録しておく個人顔画像登録データ部と、予め個人の音声データを登録しておく個人音声登録データ部と、前記音声・画像分離部で分離された顔画像の静止画像から、顔画像の特徴量を抽出する顔画像特徴量抽出部と、前記音声・画像分離部で分離された音声データから、音声の特徴量を抽出する音声特徴量抽出部と、前記顔画像特徴量抽出部で抽出された顔画像の特徴量から口唇の動きを検出する口唇動き検出部と、前記音声・画像分離部で分離された音声から音声区間を検出する音声区間検出部と、前記音声区間検出部で検出された音声データから、音声の特徴量を抽出する音声特徴量抽出部と、前記口唇動き検出部で検出された口唇の動きの時刻情報と、前記音声区間検出で検出された音声区間の時刻情報から口唇と音声の同期を検証する音声区間・口唇同期検証部と、前記顔画像特徴量抽出部で抽出された顔画像の特徴量と前記個人顔画像登録データ部に登録されている個人の顔画像データとを照合し、本人らしさを表す尤度αを出力する顔画像照合部と、前記音声特徴量抽出部で抽出された音声の特徴量と前記個人音声登録データ部に登録されている個人の音声データとを照合し、本人らしさを表す尤度βを出力する音声照合部と、前記顔画像照合部および音声照合部から通知された前記尤度αおよびβを組み合わせる尤度統合部と、該尤度統合部で統合された統合尤度を基にユーザを認証・識別する認証・識別判定部とを具備した点に特徴がある。

また、音声区間・口唇同期検出部で口唇の動きが検出されない場合、口唇の動きと音声区間の重なりがない場合、または音声区間と同時の口唇の動き区間の割合が閾値以下の場合に、前記認証・識別判定部が本人認証・識別処理を行わないようにした点に他の特徴がある。

本発明によれば、入退館管理システム、情報システムへのアクセス管理などにおいて、口唇の動きを加味した顔画像による認証・識別と音声による認証・識別の両方を用いるようにしたので、個別の認証・識別に比べて高い精度が得られる。

また、明るさに変化がある場所や、背景雑音が大きい場所などに使用しても、ユーザの認証・識別を高い精度で行うことができるようになる。このため、本発明の認証・識別システムを使用できる環境が広がる。

また、顔の動画像が動画像記録部に記録・保存できるので、心理的に詐称を抑制する効果がある。さらに、写真や、録音音声を用いた詐称がし難くなり、信頼性を高めることができる。

以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。

ビデオカメラ１は、入退室管理や情報システムへのアクセス管理などを行う場所、あるいは金融システムの金銭自動預金・支払機などの設置場所などに設けられている。個人認識・識別を行う場合には、ユーザに予め定められた指示、例えば「自分の名前を言って下さい。」という指示が出される。そして、ユーザが自分の名前を発声している様子が、ビデオカメラ１によって撮影される。

音声・画像分離部２は、ビデオカメラ１から出力される動画像データから顔の静止画像データと音声データを得る。そして、静止画像データは顔画像認証・識別部１０に、一方音声データは音声認証・識別部２０に送られる。また、該動画像データは、動画像記録部３に記録される。

該動画像記録部３は、図２に示されているように、一定時間以上動画像を記録したか否かの判断を行い（ステップＳ１）、この判断が肯定の場合には認証・識別判定部６に判定ＯＫ（ステップＳ２）、否定の場合には判定不可（ＮＧ）の信号ｐを出力する（ステップＳ３）。

前記顔画像認証・識別部１０は、顔静止画像取得部１１，顔画像特徴量抽出部１２，口唇動き検出部１３，顔画像照合部１４，個人顔画像登録データ１５および明るさ測定部１６から構成されている。また、前記音声認証・識別部２０は、音声区間検出部２１，音声特徴量抽出部２２，音声照合部２３，個人音声登録データ２４および背景雑音測定部２５から構成されている。

顔画像認証・識別部１０の顔静止画像取得部１１は、音声・画像分離部２から顔の静止画像を取得する。顔画像特徴量抽出部１２は、該顔の静止画像から特徴量を抽出し、顔画像照合部１４に送る。顔画像照合部１４は、予め登録されている個人顔画像登録データ１５と照合し、本人らしさを表すスコア（尤度）αを出力する。また、明るさ測定部１６は、顔の静止画像データの明るさを測定し、明るさに関するデータｑを尤度統合部４に出力する。

なお、該顔画像照合部１４は、図３に示すように、口唇動き検出部１３により口唇の動き検出期間と判定された場合（ステップＳ４が肯定）、及び／又は音声区間検出部２１により音声区間と判定された場合（ステップＳ５が肯定）には、顔画像照合を見合わせ（ステップＳ６）、これらの区間以外の区間の顔静止画像により顔画像照合を行う（ステップＳ７）。

この結果、顔画像照合部１４は、完全に静止している顔画像の特徴量を用いて照合処理をすることができるので、顔画像照合の精度は向上する。

一方、音声認証・識別部２０の音声区間検出部２１は、音声・画像分離部２から音声が入力されると、音声区間を検出し該音声区間の音声を音声特徴量抽出部２２に送る。該音声特徴量抽出部２２は、音声区間の音声特徴量を抽出し、音声照合部２３にて、予め登録されていた個人音声登録データ２４と照合を行い、本人らしさを表すスコア（尤度）βを出力する。

音声区間・口唇同期検証部５は、音声区間検出部２１からの音声区間（時間情報）と、口唇動き検出部１３からの口唇動き検出区間（時間情報）を入力として、２つの区間を比較し、認証・識別判定部６に対して図４に示すような制御を行う。まず、ステップＳ１１では、口唇の動きが検出されたか否かの判断を行う。この判断が肯定の場合にはステップＳ１２の判断を行い、否定の場合にはステップＳ１４に進む。前記ステップＳ１２では、音声区間のうち、口唇の動き検出区間と重なる時間の割合が閾値以上か否かの判断を行う。この判断が肯定の場合には、ステップＳ１３に進んで、認証・識別判定部６に対して、認証・識別可の信号ｔを送る。一方、ステップＳ１２が否定の時には、ステップＳ１４に進んで認証・識別不可（ＮＧ）の信号ｔを送る。

この結果、本人の顔写真では口唇の動きが検出されず、また録音された本人の声では口唇の動き検出＝音声区間にはならないあるいは口唇の動きと音声区間とが適合しなくなるので、本人の顔写真や録音された本人の声による詐称はできなくなる。

また、口唇の位置検出手段（図示せず）を追加して設けて、ユーザの口唇の位置を検出するようにすれば、マイク（図示せず）の位置に口元を近づけるように指示することができる。このようにすれば、ユーザの音声を正確に収集することができるようになる。

次に、尤度統合部４の動作を図５を参照して説明する。尤度統合部４は、認証・識別の判定に用いる本人らしさスコアを求めるために、顔画像認証・識別部１０からのスコアαと音声認証・識別部２０からのスコアβを組み合わせる（ステップＳ２１）。次に、明るさが不足しているか否かの判断をする（ステップＳ２２）。前記明るさ測定部１６からの明るさ情報ｑが明るさ不足を示す場合（ステップＳ２２が肯定）には、前記スコアαに対する予め定められている閾値Ｓaを所定値だけ小さくし、前記スコアβに対する予め定められている閾値Ｓbを所定値だけ大きくする（ステップＳ２３）。次いで、スコアα、βは、それぞれ小さくされたＳa、大きくされたＳbと比較され、スコアα≧Ｓaおよびスコアβ≧Ｓbが成立するか否かの判断がなされ（ステップＳ２４）、成立する場合には、閾値Ｓa，Ｓbを元の値に戻す（ステップＳ２５）。一方、不成立の場合には、統合尤度γを例えば０とする（ステップＳ３０）。

次に、前記背景雑音測定部２５からの背景雑音情報ｒが予め定められた値より大であるか否かの判断がなされ（ステップＳ２６）、大であれば、前記スコアαに対する前記閾値Ｓaを所定値だけ大きくし、前記スコアβに対する前記閾値Ｓbを所定値だけ小さくする（ステップＳ２７）。そして、スコアα、βは、それぞれ大きくされたＳa、小さくされたＳbと比較され、スコアα≧Ｓaおよびβ≧Ｓbが成立するか否かの判定がなされ（ステップＳ２８）、成立すればステップＳ２９に進んで統合尤度γ＝１，不成立であればステップＳ３０に進んで統合尤度γ＝０が認証・識別判定部６に出力される。ここに、γ＝１はＯＫ、γ＝０はＮＧを表す。

また、前記明るさ不足がなく（ステップＳ２２の判断が否定）、前記背景雑音が所定値より小さい（ステップＳ２６の判断が否定）場合には、ステップＳ２８に進んで、スコアαおよびβはそれぞれ元の大きさの閾値Ｓa、Ｓbと比較される。そして、ステップＳ２８の判断が肯定になればステップＳ２９に進み、逆に否定になればステップＳ３０に進む。

認証・識別判定部６は、個人認証の判定もしくは複数ユーザからの個人の識別を行う。図６に示すように、認証・識別判定部６は、ステップＳ３１において動画像記録部３からＮＧ入力ｐが届いているか否かの判断を行い、この判断が肯定の場合にはステップＳ３６に進んで前記統合尤度を破棄（γ＝０）する。この判断が否定の時にはステップＳ３２に進んで、前記音声区間・口唇同期検証部５からＮＧ入力ｔが届いているか否かの判断を行い、この判断が肯定の場合にはステップＳ３６に進んで前記統合尤度γを破棄（γ＝０）する。

次いで、ステップＳ３２が否定の時には、ステップＳ３３に進んで、個人認識を行うかまたは複数ユーザからの個人の識別を行うかの判断をする。前者の場合には、ステップＳ３４に進んで、前記統合尤度γが１であるか否かの判断がなされる。この判断が肯定の場合には、個人認識結果は有効であるとして、受理される。しかしながら、統合尤度γ＝０の場合には、ステップＳ３６に進む。次に、前記ステップＳ３３の判断が複数ユーザからの個人の識別の場合には、ステップＳ３７に進んで、複数ユーザの登録データとの照合結果を収集し、ステップＳ３８で最も統合尤度（スコア）の高いユーザを識別結果とする。

以上、本発明の好ましい一実施形態について説明したが、本発明はこれに限定されることなく、本発明の趣旨の範囲内で種々の変形ができることは明らかである。

本発明の一実施形態の構成を示すブロック図である。動画像記録部の機能を示すフローチャートである。顔画像照合部の機能を示すフローチャートである。音声区間・口唇同期検証部の機能を示すフローチャートである。尤度統合部の機能を示すフローチャートである。認証・識別判定部の機能を示すフローチャートである。

符号の説明

１・・・ビデオカメラ、２・・・音声・画像分離部、３・・・動画像記録部、４・・・尤度統合部、５・・・音声区間・口唇同期検証部、６・・・認証・識別判定部、１０・・・・顔画像認証・識別部、２０・・・音声認識・識別部。

Claims

顔画像と音声とを統合して行う個人認証・識別システムにおいて、
ユーザの顔画像を少なくとも含む動画像を撮像する撮像部と、
該動画像から音声と画像とを分離する音声・画像分離部と、
予め個人の顔画像データを登録しておく個人顔画像登録データ部と、
予め個人の音声データを登録しておく個人音声登録データ部と、
前記音声・画像分離部で分離された顔画像の静止画像から、顔画像の特徴量を抽出する顔画像特徴量抽出部と、
前記顔画像特徴量抽出部で抽出された顔画像の特徴量から口唇の動きを検出する口唇動き検出部と、
前記音声・画像分離部で分離された音声から音声区間を検出する音声区間検出部と、
前記音声区間検出部で検出された音声データから、音声の特徴量を抽出する音声特徴量抽出部と、
前記口唇動き検出部で検出された口唇の動きの時刻情報と、前記音声区間検出で検出された音声区間の時刻情報から口唇と音声の同期を検証する音声区間・口唇同期検証部と、
前記顔画像特徴量抽出部で抽出された顔画像の特徴量と前記個人顔画像登録データ部に登録されている個人の顔画像データとを照合し、本人らしさを表す尤度αを出力する顔画像照合部と、
前記音声特徴量抽出部で抽出された音声の特徴量と前記個人音声登録データ部に登録されている個人の音声データとを照合し、本人らしさを表す尤度βを出力する音声照合部と、
前記顔画像照合部および音声照合部から通知された前記尤度αおよびβを組み合わせる尤度統合部と、
該尤度統合部で統合された統合尤度を基にユーザを認証・識別する認証・識別判定部とを具備したことを特徴とする個人認証・識別システム。
請求項１に記載の個人認証・識別システムにおいて、
前記音声区間・口唇同期検出部で口唇の動きが検出されない場合、または口唇の動きと音声区間に重なりがない場合に、前記認証・識別判定部が本人認証・識別処理を行わないようにすることを特徴とする個人認証・識別システム。
請求項１に記載の個人認証・識別システムにおいて、
前記音声区間・口唇同期検出部で音声区間と同時の口唇の動き区間の割合が閾値以下の場合に、前記認証・識別判定部が本人認証・識別処理を行わないようにすることを特徴とする個人認証・識別システム。
請求項１に記載の個人認証・識別システムにおいて、
前記音声区間・口唇同期検出部で検出された口唇の動き区間および音声区間の顔画像を、顔画像照合部が照合対象から除外することを特徴とする個人認証・識別システム。
請求項１に記載の個人認証・識別システムにおいて、
さらに口唇の位置検出手段を具備し、
ユーザに口唇の位置修正を指示することを特徴とする個人認証・識別システム。
請求項１ないし５のいずれかに記載の個人認証・識別システムにおいて、
さらに顔の動画像を記録する動画像記録部を具備し、
記録された顔の動画像の時間が閾値以下の場合に、前記認証・識別判定部が本人認証・識別処理を行わないようにすることを特徴とする個人認証・識別システム。
請求項１に記載の個人認証・識別システムにおいて、
さらに、前記顔画像の静止画像の明るさを測定する明るさ測定部を具備し、
前記明るさ測定部が測定した明るさが閾値以下の場合には、前記認証・識別判定部が顔画像照合の尤度αに対する閾値を低くし、代わりに音声照合の尤度βに対する閾値を高くすることを特徴とする個人認証・識別システム。
請求項１ないし６のいずれかに記載の個人認証・識別システムにおいて、
さらに音声の背景雑音を測定する背景雑音測定部を具備し、
背景雑音測定部が測定した背景雑音レベルが閾値以上の場合には、前記認証・識別判定部が音声照合の尤度βに対する閾値を低くし、代わりに顔画像照合の尤度αに対する閾値を高くすることを特徴とする個人認証・識別システム。