JP2018165980A - 顔認証方法及び装置 - Google Patents

Abstract

【課題】 顔認証方法及び装置を提供する。【解決手段】 一実施形態に係る顔認証方法は、入力の顔が示された入力映像から顔領域を検出するステップと、マスキング領域に基づいて顔映像と基準映像を合成することによって合成映像を生成するステップと、顔映像と合成映像に基づいて入力の顔に対応する顔特徴を決定するステップと、決定された顔特徴に基づいて認証の成否を決定するステップとを含む。【選択図】 図２

Description

以下の説明は顔認証技術に関する。

生体認証技術のうちの１つである顔認証技術は、静画や動画に示された顔に基づいてユーザが正当なユーザであるか否かを決定する認証技術である。顔認証技術は、認証対象者を非接触式に確認することができるという長所を有する。

本発明の目的は、顔隠し要素の存在の有無に関わらず顔認証をより正確に行うことにある。

本発明の他の目的は、顔隠し要素の形態及び位置に対してロバストに顔認証を行うことにある。

一実施形態に係る顔認証方法は、入力の顔が示された入力映像から顔領域を検出するステップと、マスキング領域に基づいて、顔領域を示す顔映像と基準映像を合成することによって合成映像を生成するステップと、顔映像と合成映像に基づいて入力の顔に対応する顔特徴を決定するステップと、決定された顔特徴に基づいて認証の成否を決定するステップとを含む。

一実施形態に係る顔認証方法において、合成映像を生成するステップは、基準映像内のマスキング領域に対応する対応領域の映像情報と顔映像内のマスキング領域を除いた残り領域の映像情報とを合成することによって合成映像を生成し得る。

一実施形態に係る顔認証方法において、合成映像を生成するステップは、顔映像内の予め定義されたマスキング領域の映像情報を基準映像の映像情報に代替することによって合成映像を生成し得る。

一実施形態に係る顔認証方法において、合成映像を生成するステップは、顔領域から閉塞領域を検出し、閉塞領域のタイプを決定するステップと、顔映像内の閉塞領域のタイプに対応するマスキング領域を基準映像の映像情報に代替することによって合成映像を生成するステップとを含み得る。

一実施形態に係る顔認証方法において、顔特徴を決定するステップは、ニューラルネットワークモデル基盤の特徴抽出器を用いて顔映像と合成映像から顔特徴を取得するステップを含み得る。

一実施形態に係る顔認証方法において、顔特徴を決定するステップは、顔映像と基準映像との間の第１差分映像から第１顔特徴を決定するステップと、合成映像と基準映像との間の第２差分映像から第２顔特徴を決定するステップと、第１顔特徴及び第２顔特徴に基づいて入力の顔に対応する顔特徴を決定するステップとを含み得る。

一実施形態に係る顔認証方法は、顔映像内の閉塞領域が存在する可能性のある領域を他のデータに代替することによって合成映像を生成するステップと、ニューラルネットワークモデルを用いて顔映像及び合成映像から特徴を抽出するステップと、抽出された特徴と登録されたユーザの顔の特徴とを比較して認証の成否を決定するステップとを含む。

一実施形態に係る顔認証装置は、プロセッサを含み、プロセッサは、入力の顔が示された入力映像から顔領域を検出し、マスキング領域に基づいて顔領域を示す顔映像と基準映像を合成することによって合成映像を生成し、顔映像と合成映像に基づいて入力の顔に対応する顔特徴を決定し、決定された顔特徴に基づいて認証の成否を決定する。

一実施形態に係る顔認証装置において、プロセッサは、基準映像内のマスキング領域に対応する対応領域の映像情報と、顔映像内のマスキング領域を除いた残り領域の映像情報を合成することによって合成映像を生成し得る。

一実施形態に係るコンピューティング装置は、顔映像を取得するカメラと、顔映像内の閉塞領域が存在する可能性のある領域を他のデータに代替することによって合成映像を生成し、ニューラルネットワークモデルを用いて顔映像及び合成映像から特徴を抽出し、抽出された特徴と登録されたユーザの顔の特徴とを比較して認証の成否を決定するプロセッサとを含む。

一実施形態によると、顔隠し要素の存在の有無に関わらず顔認証をより正確に行うことができる。

一実施形態によると、顔隠し要素の形態及び位置に対してロバストに顔認証を行うことができる。

一実施形態に係る顔認証を説明するための図である。 一実施形態に係る顔認証方法を説明するためのフローチャートである。 一実施形態に係る合成映像の生成過程を説明するためのフローチャートである。 一実施形態に係る顔登録過程と顔認証過程の一例を説明するための図である。 一実施形態に係る顔登録過程と顔認証過程の一例を説明するための図である。 一実施形態に係る顔登録過程と顔認証過程の一例を説明するための図である。 一実施形態に係る顔登録過程と顔認証過程の一例を説明するための図である。 一実施形態に係る合成映像の一例を示す図である。 一実施形態に係る顔特徴を決定する過程の一例を説明するための図である。 一実施形態に係る顔特徴を決定する過程の一例を説明するための図である。 一実施形態に係る顔特徴を決定する過程の一例を説明するための図である。 一実施形態に係る顔特徴を決定する過程の一例を説明するための図である。 一実施形態に係る顔認証装置の構成を示す図である。 一実施形態に係るコンピューティング装置の構成を示す図である。 一実施形態に係る学習装置の構成を示す図である。

本明細書に開示されている本発明の概念による実施形態についての特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明する目的で例示されるものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明される実施形態に限定されることはない。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば第１構成要素を第２構成要素と命名することができ、同様に第２構成要素を第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その構成要素は、次の構成要素に直接的に連結されてもよく、あるいは中間に他の構成要素が存在することもあり得ることを理解されたい。一方、いずれかの構成要素が他の構成要素に「直接連結されて」いると言及される場合には、中間に他の構成要素が存在しないものとして理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「すぐ〜の間に」は、「〜に隣接する」と「〜に直接に隣接する」等のように解釈されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載される特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれを組み合わせたもの等の存在又は付加の可能性を予め排除するものではないことを理解しなければならない。

異なるように定義されない限り、本明細書で用いられるとき、技術的であるか又は科学的な用語を含む全ての用語は、本発明が属する技術分野の通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上の意味と同様の意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の構成要素を示す。

図１は、一実施形態に係る顔認証を説明するための図である。

顔認証は、認証を試みるユーザの顔に基づいて当該ユーザが有効なユーザであるか否かを判断する認証方法である。顔認証は、例えばユーザログイン、決済サービス又は出入り規制等において有効なユーザを認証するために用いられている。図１を参照すると、顔認証を行う装置である顔認証装置は、コンピューティング装置１２０に含まれて動作する。コンピューティング装置１２０は、例えばスマートフォン、ウェアラブル機器、タブレットコンピュータ、ネットブック、ラップトップ、デスクトップ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、セットトップボックス、家電機器、生体ドアロック、セキュリティ装置又は車両始動装置であり得る。

コンピューティング装置１２０は、顔認証によってコンピューティング装置１２０にアクセスしようとするユーザ１１０に対して認証過程を行う。例えばユーザ１１０がコンピューティング装置１２０のロック状態を解除しようとコンピューティング装置１２０に対して顔認証を試みると、コンピューティング装置１２０は、カメラ１３０のような映像取得装置を用いてユーザ１１０の顔映像を取得し、取得された顔映像を分析してコンピューティング装置１２０のロック状態を解除するか否かを決定する。このような例では、登録映像から抽出された特徴と認証映像から抽出された特徴との間の決定された類似度が所定の閾値を超える場合、ユーザは、コンピューティング装置１２０の有効なユーザであると決定され、コンピューティング装置１２０へのアクセスが許容され、コンピューティング装置１２０によって金融の取引又は支払いのような機能等を行うことができる。ユーザは、ディスプレイ１２５によって顔認証が成功したことが分かる。

一実施形態に係るコンピューティング装置１２０は、特徴抽出器を用いて顔映像から顔特徴を抽出し、抽出された顔特徴と顔登録過程で登録された登録特徴との間の比較結果に基づいて、顔認証の成否を決定する。特徴抽出器は、入力された情報に基づいて特徴情報（例えば特徴ベクトル値又は確率値）を出力するモデルであってよく、一例として、学習データによって学習されるニューラルネットワークモデルであってもよい。一実施形態におけるニューラルネットワークモデルは、単一のニューラルネットワークモデルであってもよい。顔認証が成功した場合、ユーザ１１０は、コンピューティング装置１２０のロック状態を成功裏に解除できる。反対に、顔認証が失敗した場合、ユーザ１１０はコンピューティング装置１２０のロック状態を解除できず、コンピューティング装置１２０は引き続きロック状態で動作する。

顔認証を行うために、ユーザ１１０は、カメラ１３０を用いて自身の顔を撮影する。ここで、図示した実施形態のように、ユーザ１１０がメガネ１１５を装着しているとき、メガネ１１５は、顔認証の正確な判断を困難にする妨害物になる。他の場合には、ユーザ１１０がサングラス、マスク又は帽子を装着しているとき、これらも顔認証の正確な判断を困難にする要因となる。メガネ１１５、サングラス、マスク又は帽子等によって顔が遮られる閉塞領域（ｏｃｃｌｕｓｉｏｎ ｒｅｇｉｏｎ）は、ユーザ１１０を識別するための固有な特徴を含まない。メガネ１１５、サングラス、マスク又は帽子等の装着の有無のみならず、これらの種類及び形態も顔認証の結果に影響を与える。

例えばユーザ１１０がメガネ１１５を装着していない状態で顔登録過程を行った後、ユーザ１１０がメガネ１１５を装着して顔認証を試みると、メガネ１１５の存在によって誤った拒否（ｆａｌｓｅ ｒｅｊｅｃｔｉｏｎ）が発生する可能性が存在する。メガネ１１５は、顔登録過程で登録特徴として反映されていないためである。反対に、ユーザ１１０がメガネ１１５を装着した状態で顔登録過程を行った後、ユーザ１１０がメガネ１１５をかけていない状態で顔認証を試みると、メガネ１１５の不存在により誤った拒否が発生する可能性がある。以下で説明する実施形態は、メガネ１１５等のような顔隠し要素に対してロバストな、あるいは顔隠し要素にそれほど敏感でない顔認証を行って顔認証の認識率を向上させるソリューションを提案する。

図２は、一実施形態に係る顔認証方法を説明するためのフローチャートである。

図２を参照すると、ステップＳ２１０において、顔認証装置は、入力映像を受信する。入力映像は顔認証装置に入力される映像であって、顔認証の対象となる入力の顔が示された映像である。入力映像は、例えばデジタルスチールカメラ、ビデオカメラのような映像取得装置によって取得される。

図面に図示されていないが、実施形態によっては、顔認証装置は、受信した入力映像に対して映像前処理を行ってもよい。映像前処理過程は、入力映像を顔認証にとってより適切な形態に処理する１つ以上の過程を含む。例えば前処理過程は、入力映像の大きさを調整する過程、入力映像を回転させる過程、入力映像に含まれるノイズを除去する過程、入力映像のコントラストを増加させる過程、入力映像に含まれるブラーを除去するぼけ除去（ｄｅｂｌｕｒｒｉｎｇ）過程、背景領域を除去する過程、入力映像に含まれる歪みを補正するワーピング過程、入力映像で特定領域をクロッピング（ｃｒｏｐｐｉｎｇ）する過程又は入力映像を２進化する過程等を含む。映像前処理が実行される場合、以下の「入力映像」とは「映像前処理が実行された入力映像」に代替される。

ステップＳ２２０において、顔認証装置は、入力映像から顔領域を検出する。例えば顔認証装置は、Ｈａａｒ基盤のカスケード・アダブースト分類器（Ｈａａｒ−ｂａｓｅｄ ｃａｓｃａｄｅ ａｄａｂｏｏｓｔ ｃｌａｓｓｉｆｉｅｒ）又はＶｉｏｌａ−Ｊｏｎｅｓ検出器等を用いて顔領域を検出し得る。ただし、実施形態の範囲はこれに限定されることなく、顔認証装置は様々な顔領域検出方式を用いて顔領域を検出し得る。

ステップＳ２３０において、顔認証装置は、マスキング領域に基づいて顔領域を示す顔映像と基準映像を合成することによって合成映像を生成する。マスキング領域は、基準映像の映像情報により代替される顔映像内の領域であって、顔映像に存在し得る顔隠し要素による影響を減らすために指定される領域である。一実施形態に係る顔認証装置は、基準映像内のマスキング領域に対応する対応領域の映像情報と、顔映像から当該マスキング領域を除いた残り領域の映像情報とを合成することによって合成映像を生成する。そのため、合成映像内のマスキング領域に該当する領域は基準映像の映像情報を示し、マスキング領域を除いた他の領域は顔映像の映像情報を示す。映像情報は、映像ピクセルのピクセル値（例えばカラー値又は明度値）を示す。このように、合成映像は、入力される顔映像と異なるデータを組み合わせること、例えば顔映像内の閉塞領域が存在する可能性のある領域を他のデータに代替することにより生成される。閉塞領域が存在する可能性のある領域は、例えばメガネ、サングラス、帽子又はマスクが存在する可能性のある領域である。顔認証装置は、顔映像に閉塞領域が実際に存在するか否かを判断することなく合成映像を生成する。

一実施形態に係るマスキング領域の位置及び形態は、顔認証の結果に対する影響を減少させようとする顔隠し要素（又は閉塞が存在する可能性のある領域）のタイプに応じて予め定義される。例えば顔認証におけるメガネ（又はサングラス）の影響を減少させる場合、顔領域から検出された目の位置に基づいてマスキング領域の位置が決定（メガネ又はサングラスが存在すると推定される位置に決定）され、当該マスキング領域はメガネ（又は、サングラス）と類似の形態を有する。異なる例として、顔認証におけるマスクの影響を減少させる場合、顔領域から検出された口や鼻の位置に基づいてマスキング領域の位置が決定（マスクが存在すると推定される位置に決定）され、当該マスキング領域はマスクと類似の形態を有する。更なる例として、顔認証における帽子の影響を減少させる場合、顔領域から検出された目や眉毛の位置に基づいてマスキング領域の位置が決定（帽子が存在すると推定される位置に決定）され、当該マスキング領域は、顔領域に現れる帽子の形態と類似の形態を有する。顔認証装置は、顔映像内の予め定義されたマスキング領域の映像情報を基準映像の映像情報に代替することによって合成映像を生成し得る。本実施形態では、顔領域内に顔隠し要素による閉塞領域が実際には存在しない場合であっても、検出された目、眉毛、鼻、口、あご、耳、髪、顔輪郭又は他の特徴に基づいて、予め定義されたマスキング領域を他のデータ、例えば基準映像の映像情報で代替することにより、合成映像を生成することができる。

実施形態に係るマスキング領域は、複数（例えばメガネに対応するマスキング領域と帽子に対応するマスキング領域）が存在してもよい。この場合、顔映像内のマスキング領域は、基準映像内の対応する対応領域の映像情報に代替される。

他の実施形態によると、マスキング領域の位置及び形態は、顔領域から検出された閉塞領域のタイプに応じて決定されてもよい。これについては、図３を参照して下記で詳しく説明する。

基準映像は、合成映像を生成するために用いられる予め定義された映像である。顔登録過程においても上記の基準映像が顔登録のための合成映像を生成するために用いられる。一実施形態に係る基準映像は、特徴抽出器を学習させるために用いられる学習映像に基づいて決定される。例えば基準映像は、学習映像の平均映像又は平均値映像であってもよい。平均映像は、学習映像の間で互いに対応する位置のピクセル値を平均することにより生成される。平均値映像は、学習映像に含まれる全体ピクセルのピクセル値を平均し、平均ピクセル値を全体ピクセルに割り当てることで生成される。平均映像では、各ピクセルの位置に応じてピクセル値が変わる形態が示されることもあるが、平均値映像では全体ピクセルが全て同じピクセル値を有するため、そのような形態は示されない。ただし、基準映像の例は上記の実施形態に限定されることなく、基準映像の形態は様々である。例えば基準映像は学習映像に関係なく全体領域で同じカラーを有する映像であってもよい。

ステップＳ２４０において、顔認証装置は、顔映像と合成映像に基づいて入力の顔に対応する顔特徴を決定する。顔認証装置は、ニューラルネットワークモデル基盤の特徴抽出器を用いて、顔映像と合成映像からユーザの顔に対応する特徴を抽出する。特徴抽出器は、入力情報に対応する特徴値を顔特徴として出力する。一実施形態では、顔映像と基準映像との間の第１差分映像の映像情報と、合成映像と基準映像との間の第２差分映像の映像情報が特徴抽出器に入力される。第１差分映像は、顔映像の各ピクセル値から基準映像の対応する位置のピクセル値を除外することによって生成され、第２差分映像は、合成映像の各ピクセル値から基準映像の対応する位置のピクセル値を除外することによって生成される。他の実施形態では、第１差分映像の映像情報と第２差分映像の映像情報が互いに異なる特徴抽出器に入力され、各特徴抽出器から出力された第１顔特徴と第２顔特徴に基づいて入力の顔に対応する顔特徴が決定される。特徴抽出器は、顔認証過程の前に予め学習される。特徴抽出器の学習については図９を参照して後で詳細に説明する。

ステップＳ２５０において、顔認証装置は、決定された顔特徴に基づいて認証の成否を決定する。顔認証装置は、ステップＳ２４０で決定された顔特徴と登録特徴（登録されたユーザの顔の特徴）との間の比較結果に基づいて認証の成否を決定する。顔認証装置は、決定された顔特徴と登録特徴との間の類似度を決定し、類似度に基づいて、入力の顔に示されたユーザが有効なユーザであるか否かを決定する。顔特徴と登録特徴との間の差が大きいほど類似度は小さくなり、当該の差が小さいほど類似度は大きくなる。一例として、顔認証装置は、類似度が閾値よりも大きい場合に認証が成功したものと決定し、類似度が閾値以下である場合には認証が失敗したものと決定する。

登録特徴は、顔登録過程で登録された有効なユーザについての顔特徴を示す。顔登録過程では、登録する顔が示される登録映像内の予め定義されたマスキング領域を、基準映像の映像情報に代替することにより合成映像が生成され、生成された合成映像と登録映像に基づいて登録特徴が決定される。登録特徴が決定される過程はステップＳ２２０〜ステップＳ２４０で顔特徴が決定される過程と同様である。顔登録過程では、単にステップＳ２２０〜ステップＳ２４０の「入力映像」が「登録映像」に変わるだけである。一実施形態に係る登録特徴は、マスキング領域の各タイプに対応する登録特徴を含む。例えばメガネ、サングラス、マスク及び帽子の各々のタイプに対応する登録特徴が存在する。

上記のように、マスキング領域に基づいて合成映像を生成し、合成映像と顔映像に基づいて顔認証を行うことによって、顔隠し要素による閉塞領域が顔認証の結果に及ぼす影響を減らすことができる。そのため、顔隠し要素の存在の有無及び顔隠し要素の形態／位置に応じて顔認証の正確度が低下することを防止できる。

図３は、一実施形態に係る合成映像の生成過程を説明するためのフローチャートである。

実施形態に係る顔認証装置は顔領域の閉塞領域の存在の有無を検出し、閉塞領域のタイプに対応するマスキング領域に基づいて顔映像と基準映像との間の合成映像を生成してもよい。この過程を以下に説明する。

図３を参照すると、ステップＳ３１０において、顔認証装置は、検出された顔領域から顔のランドマークを検出する。顔認証装置は、例えばＡＣＭ（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ）、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ）、ＳＤＭ（Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｓｃｅｎｔ Ｍｅｔｈｏｄ）又はニューラルネットワークモデル等に基づくランドマーク検出方式を用いて顔領域から顔のランドマークを検出する。顔のランドマークは、主な顔部位に対する特徴点として、例えば眉毛、目、鼻、口、あご、耳、髪又は顔の輪郭等を識別するための特徴点である。

ステップＳ３２０において、顔認証装置は、ランドマークの検出結果に基づいて顔領域から閉塞領域を検出し、閉塞領域のタイプを決定する。例えば顔領域で目の周辺領域（眉毛等）のランドマークが検出されない場合、閉塞領域のタイプはメガネであると決定される。また、目領域のランドマークが検出されない場合には閉塞領域のタイプはサングラスであり、口と口の周辺及び／又は鼻の先の領域のランドマークが検出されない場合には、閉塞領域のタイプはマスクであると決定されてもよい。あるいは、髪領域に対応するランドマークが検出されない場合、閉塞領域のタイプは帽子であると決定されてもよい。

顔領域内で閉塞領域が検出されない場合、図２を参照して説明したように、予め定義されたマスキング領域に基づいて合成映像が生成され得る。

ステップＳ３３０において、顔認証装置は、決定された閉塞領域のタイプに基づいて顔映像と基準映像との間の合成映像を生成する。顔認証装置は、顔映像内の閉塞領域のタイプに対応するマスキング領域を、基準映像の映像情報に代替することによって合成映像を生成する。例えば閉塞領域のタイプがメガネであると決定された場合、顔認証装置は、顔映像内のメガネに対応するマスキング領域を基準映像の映像情報に代替することにより合成映像を生成する。異なる例として、閉塞領域のタイプがマスクであると決定された場合、顔認証装置は、顔映像内のマスクに対応するマスキング領域を基準映像の映像情報に代替することにより合成映像を生成する。

図４Ａ〜図４Ｄは、一実施形態に係る顔登録過程と顔認証過程の一例を説明するための図である。

図４Ａを参照すると、顔登録過程４１０で登録されたユーザの顔の特徴が、閉塞領域を含まない顔映像に基づいて抽出され、顔認証過程４５０で顔認証のために抽出される特徴が、閉塞領域を含む顔映像に基づいて抽出される実施形態が示されている。例えば顔登録過程４１０ではユーザがメガネを装着していない状態で顔登録を行う一方、顔認証過程４５０ではユーザがメガネ４６２を装着した状態で顔認証を行う実施形態である。

顔登録過程４１０では有効なユーザの顔が登録される。一実施形態では、ユーザが顔登録のためにカメラを用いて自身の顔を撮影することにより、登録映像４２０が取得される。登録映像４２０から顔領域が検出され、検出された顔領域を示す顔映像４２５が取得される。実施形態によっては、顔映像４２５を取得するために映像クロッピング、アファイン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）又は映像スケーリング等のような映像の正規化過程が実行されてもよい。

その後、顔映像４２５に基づいて合成映像４３０が生成される。顔映像４２５のマスキング領域４３５に対応する領域の映像情報を、基準映像の映像情報に代替することにより合成映像４３０が生成される。合成映像４３０を生成する過程は図２のステップＳ２３０の処理過程と同様である。本図面は、マスキング領域４３５がメガネタイプとして定義される実施形態を示す。登録映像４２０に示されるように、ユーザがメガネを装着していなくても、予め定義されたメガネタイプのマスキング領域４３５に基づいて合成映像４３０が生成され得る。

顔映像４２５と合成映像４３０に基づいて登録特徴が決定４４０され、決定された登録特徴がデータベース等に格納４４５される。登録特徴は、ニューラルネットワークモデル基盤の特徴抽出器によって決定される。登録特徴を決定４４０する過程は、図２のステップＳ２４０の処理過程と同様である。ただし、図２に示すステップＳ２４０では、登録特徴と比較される顔特徴が決定されるのに対して、顔登録過程４１０では、有効なユーザの顔を登録するための登録特徴が決定される点において相違する。

顔認証過程４５０では、顔認証を試みたユーザが有効なユーザであるか否かの認証の成否が決定される。一実施形態では、ユーザが顔認証のためにカメラを用いて自身の顔を撮影することにより、認証対象が示される映像４６０が取得される。映像４６０から顔領域が検出され、検出された顔領域を示す顔映像４６５が取得される。実施形態によっては、顔映像４６５を取得するために映像の正規化過程が実行される。

その後、図２に示すステップＳ２３０の処理過程により合成映像４７０が生成される。顔映像４６５内のマスキング領域４７５に対応する領域の映像情報を、基準映像の映像情報に代替することによって合成映像４７０が生成される。合成映像４７０では、マスキング領域４７５によりメガネ４６２は示されない。

図２に示すステップＳ２４０の処理過程により、顔映像４６５と合成映像４７０に基づいて顔特徴が決定４８０される。ここで、顔特徴を決定するために特徴抽出器を用いてもよい。顔認証過程４５０においても、顔登録過程４１０で用いられた基準映像及び特徴抽出器が同様に用いられる。その後、顔特徴と顔登録過程４１０で登録された登録特徴との間の比較結果に基づいて認証の成否が判断４９０される。例えば顔特徴と登録特徴との間の類似度が閾値よりも大きい場合に認証が成功したものと決定され、類似度が閾値以下である場合には認証が失敗したものと決定される。

図４Ｂを参照すると、顔登録過程４１０においてユーザがメガネを装着していない状態で顔登録を行い、顔認証過程４５０においてもユーザがメガネを装着していない状態で顔認証を行う実施形態が示されている。顔認証過程４５０では、入力映像４６０に示されたユーザがメガネを装着しなくても、予め定義されたマスキング領域４７５に基づいて合成映像４７０が生成され、合成映像４７０と顔映像４６５に基づいて顔特徴が決定４８０される。

図４Ｃを参照すると、顔登録過程４１０において登録されたユーザの顔の特徴が、閉塞領域を含む顔映像に基づいて抽出され、顔認証過程４５０において顔認証のために抽出される特徴が、閉塞領域を含まない顔映像に基づいて抽出される実施形態が示されている。例えば顔登録過程４１０において、ユーザがメガネ４２２を装着した状態で顔登録を行う一方、顔認証過程４５０ではユーザがメガネを装着していない状態で顔認証を行う実施形態を示す。顔登録過程４１０において、顔映像４２５内のマスキング領域４３５に対応する領域の映像情報が基準映像の映像情報に代替されることにより、合成映像４３０が生成される。合成映像４３０では、マスキング領域４３５によりメガネ４２２が示されない。その後、合成映像４３０と顔映像４２５に基づいて登録特徴が決定４４０される。

図４Ｄを参照すると、顔登録過程４１０においてユーザがメガネ４２２を装着した状態で顔登録を行い、顔認証過程４５０においてもユーザがメガネ４６２を装着した状態で顔認証を行う実施形態が示されている。本実施形態では、顔登録過程４１０は図４Ｃに示す実施形態と同一であり、顔認証過程４５０は図４Ａに示す実施形態と同一である。顔登録過程４１０では、マスキング領域４３５によってメガネ４２２が遮られた合成映像４３０が生成され、顔認証過程４５０では、マスキング領域４７５によってメガネ４６２が遮られた合成映像４７０が生成される。合成映像４３０と顔映像４２５に基づいて登録特徴が決定４４０され、合成映像４７０と顔映像４６５に基づいて顔特徴４８０が決定される。

図５は、一実施形態に係る合成映像の一例を示す図である。

図５に示すように、マスキング領域のタイプに応じて合成映像の形態は様々である。映像５１０、５３０、５５０、５７０のように、顔認証（又は顔登録）の対象となる映像にはメガネ、サングラス、マスク又は帽子のような顔隠し要素による閉塞領域が存在し得る。各映像５１０、５３０、５５０、５７０から顔領域が検出され、検出された顔領域を示す顔映像５１５、５３５、５５５、５７５が取得される。顔映像５１５、５３５、５５５、５７５における閉塞領域のタイプに対応するマスキング領域５２５、５４５、５６５、５８５が決定され、決定されたマスキング領域５２５、５４５、５６５、５８５の映像情報が基準映像の対応領域の映像情報で代替されることにより、合成映像５２０、５４０、５６０、５８０が取得される。一例として、マスキング領域５２５、５４５、５６５、５８５の位置は、顔領域から検出される顔の主な部位（例えば目、鼻、口等）の位置に基づいて決定される。顔の主な部位の位置はランドマークの検出結果に基づいて決定される。図面に示されているように、合成映像５２０内のマスキング領域５２５はメガネの形態を有し、合成映像５４０内のマスキング領域５４５はサングラスの形態を有する。合成映像５６０内のマスキング領域５６５はマスクの形態を有し、合成映像５８０内のマスキング領域５８５は帽子の形態を有する。合成映像５２０、５４０、５６０、５８０のそれぞれは、顔映像５１５、５３５、５５５、５７５の映像情報と、マスキング領域５２５、５４５、５６５、５８５に割り当てられた基準映像の映像情報で構成される。

図６Ａ〜図６Ｄは、一実施形態に係る顔特徴を決定する過程の一例を説明するための図である。

図６Ａを参照すると、顔認証装置は、顔映像６１０内のマスキング領域６２５に基準映像６１５の映像情報を割り当てることによって合成映像６２０を生成する。基準映像６１５は、例えば特徴抽出器６３０を学習するために用いられた学習映像の平均映像、平均値映像又は全体領域で単一カラーを有する映像であり得る。顔映像６１０、合成映像６２０及び基準映像６１５に基づいて顔映像６１０に示された入力の顔の顔特徴が抽出される。ここで、顔映像６１０の映像情報と合成映像６２０の映像情報が互いに結合された後、その結合の結果が特徴抽出器６３０に入力される。例えば顔映像６１０と合成映像６２０で互いに対応する位置にあるピクセルのピクセル値が互いに加えられた結果が、特徴抽出器６３０に入力される。異なる例として、顔映像６１０の映像情報と合成映像６２０の映像情報が互いに連結された結果が特徴抽出器６３０に入力される。一実施形態に係る特徴抽出器６３０は、入力された映像情報から基準映像６１５の映像情報を除外することによってゼロ中心化されたデータ（ｚｅｒｏ−ｃｅｎｔｅｒｅｄ ｄａｔａ）を生成し、学習されたニューラルネットワークモデルの数学的モデルに基づいてゼロ中心化されたデータに対応する特徴情報を出力する。

図６Ｂを参照すると、一実施形態では、顔特徴を取得するための特徴抽出器は複数であってもよい。第１特徴抽出器６３５は、顔映像６１０と基準映像６１５との間の第１差分映像から第１顔特徴を抽出する。第２特徴抽出器６４０は、合成映像６２０と基準映像６１５との間の第２差分映像から第２顔特徴を抽出する。第１顔特徴と第２顔特徴との間の結合結果（合算又は連結）が入力の顔に対応する最終の顔特徴として決定される。例えば第１顔特徴と第２顔特徴を互いに合算するか又は連結した結果が最終の顔特徴になる。

第１特徴抽出器６３５と第２特徴抽出器６４０がそれぞれ、別個の１つ以上のニューラルネットワークレイヤによって実行される例では、これらの１つ以上のニューラルネットワークレイヤの各々から出力された特徴が、同一の次のニューラルネットワークレイヤに提供されてもよく、他の様々なケースもあり得る。

他の実施形態として、図６Ｃに示すように、第１顔特徴と第２顔特徴の結合結果は第３特徴抽出器６４５に入力され、第３特徴抽出器６４５から出力された結果が最終の顔特徴として決定される。図６Ｃに示された第１特徴抽出器６３５、第２特徴抽出器６４０及び第３特徴抽出器６４５は、図６Ｄに示すようにニューラルネットワークモデル基盤の特徴抽出器６５０として実現されてもよい。

図６Ｄを参照すると、特徴抽出器６５０の第１入力レイヤ６５５には、顔映像６１０と基準映像６１５との間の第１差分映像の映像情報が入力され、第２入力レイヤ６６０には、合成映像６２０と基準映像６１５との間の第２差分映像の映像情報が入力される。一実施形態では、第１入力レイヤ６５５及び第２入力レイヤ６６０は、畳込み演算によって特徴を抽出する畳込みレイヤであってもよい。特徴抽出器６５０のニューラルネットワークモデルが有する数学的モデルの演算過程により入力レイヤ６５５、６６０に入力された映像情報が処理される。ここで、図６Ｃに示す実施形態と同様に、第１差分映像に対応する特徴と第２差分映像に対応する特徴は、中間ステップで互いに結合される。特徴抽出器６５０の出力レイヤ６６５は、特徴抽出器６５０の入力に対応する出力として、顔特徴を出力する。図６Ｄに示された特徴抽出器６５０のレイヤ構造は、説明の便宜のために簡略化されたものであり、特徴抽出器６５０のレイヤ構造は、図示されるように限定されるものと解釈されることはない。

図７は、一実施形態に係る顔認証装置の構成を示す図である。

図７を参照すると、顔認証装置７００は、顔認証のための入力映像を受信する。顔認証装置７００は、入力映像から抽出された顔特徴とデータベース７３０に予め格納された登録特徴との間の比較結果に基づいて認証の成否を決定する。有効なユーザは、顔登録過程によって自身の顔を予め登録し、このように登録された顔に関する情報はデータベース７３０に格納される。

顔認証装置７００は、顔認証方法に関して本明細書に記述され、図示される１つ以上の動作を行うことができ、顔認証の結果をユーザに提供する。顔認証装置７００は、１つ以上のプロセッサ７１０及びメモリ７２０を含む。メモリ７２０はプロセッサ７１０に接続され、プロセッサ７１０によって実行可能な命令、プロセッサ７１０によって演算されるデータ又はプロセッサ７１０によって処理されたデータを格納する。メモリ７２０は、非一時的なコンピュータ読取可能記憶媒体、例えば高速ランダムアクセスメモリ及び／又は不揮発性コンピュータ読取可能記憶媒体（例えば１つ以上のディスク記憶装置、フラッシュメモリ装置又は他の不揮発性の半導体メモリ装置）を含む。

プロセッサ７１０は、図１〜図６を参照して説明された１つ以上の動作を実行するための命令を実行する。例えばプロセッサ７１０は、入力映像内の閉塞領域が存在する可能性のある領域を他のデータに代替することにより、合成映像を生成する。プロセッサ７１０は、入力映像から顔領域を検出し、マスキング領域に基づいて顔領域を示す顔映像と基準映像を合成することによって合成映像を生成する。例えばプロセッサ７１０は、基準映像内のマスキング領域に対応する対応領域の映像情報と、顔映像からマスキング領域を除いた残り領域の映像情報とを合成することにより合成映像を生成する。プロセッサ７１０は、顔映像と合成映像に基づいて入力の顔に対応する顔特徴を決定する。例えばプロセッサ７１０は、顔映像と基準映像との間の第１差分映像から第１顔特徴を抽出し、合成映像と基準映像との間の第２差分映像から第２顔特徴を抽出した後、第１顔特徴及び第２顔特徴に基づいて入力の顔に対応する顔特徴を決定する。プロセッサ７１０は、決定された顔特徴と登録特徴との間の類似度に基づいて認証の成否を決定する。

図８は、一実施形態に係るコンピューティング装置の構成を示す図である。

図８を参照すると、コンピューティング装置８００は、ユーザの顔が示された映像を取得し、取得された映像から抽出した顔特徴を、予め登録された登録特徴と比較する過程により顔認証過程を行う。コンピューティング装置８００は、図１に示すコンピューティング装置１２０に対応し、機能的に図７に示す顔認証装置７００の機能を含む。

コンピューティング装置８００は、プロセッサ８１０、メモリ８２０、カメラ８３０、記憶装置８４０、入力装置８５０、出力装置８６０及びネットワークインターフェース８７０を含む。プロセッサ８１０、メモリ８２０、カメラ８３０、記憶装置８４０、入力装置８５０、出力装置８６０及びネットワークインターフェース８７０は通信バス８８０によって通信する。

プロセッサ８１０は、コンピューティング装置８００内で実行するための機能及び命令を実行する。例えばプロセッサ８１０は、メモリ８２０又は記憶装置８４０に格納された命令を処理する。プロセッサ８１０は、図１〜図７を参照して前述した１つ以上の動作を行ってもよい。

メモリ８２０は、顔認証のための情報を格納する。メモリ８２０は、コンピュータ読取可能記憶媒体又はコンピュータ読取可能記憶装置を含む。メモリ８２０は、プロセッサ８１０によって実行するための命令を格納し、コンピューティング装置８００によってソフトウェア又はアプリケーションが実行される間に関連情報を格納する。

カメラ８３０は、静画、ビデオ映像又はこれらの全てをキャプチャする。カメラ８３０は、ユーザが顔認証を試みるために入力する顔領域をキャプチャする。

記憶装置８４０は、コンピュータ読取可能記憶媒体又はコンピュータ読取可能記憶装置を含む。記憶装置８４０は、顔登録過程で登録された情報（例えば登録特徴）を含むデータベースを格納する。一実施形態によると、記憶装置８４０は、メモリ８２０よりも多くの量の情報を格納し、情報を長期間格納する。例えば記憶装置８４０は、磁気ハードディスク、光ディスク、フラッシュメモリ、フロッピーディスク又はこの技術分野で公知の他の形態の不揮発性メモリを含み得る。

入力装置８５０は、触覚、ビデオ、オーディオ又はタッチ入力によってユーザから入力を受信する。例えば入力装置８５０は、キーボード、マウス、タッチスクリーン、マイクロホン又はユーザから入力を検出し、検出された入力をコンピューティング装置８００に伝達できる任意の他の装置を含む。

出力装置８６０は、視覚的、聴覚的又は触覚的なチャネルを介してユーザにコンピューティング装置８００の出力を提供する。出力装置８６０は、例えばディスプレイ、タッチスクリーン、スピーカ、振動発生装置又はユーザに出力を提供できる任意の他の装置を含み得る。ネットワークインターフェース８７０は、有線又は無線ネットワークを用いて外部装置と通信する。

図９は、一実施形態に係る学習装置の構成を示す図である。

図９を参照すると、学習装置９００は、顔認証で用いられる特徴抽出器９３０を学習させる装置である。一例として、特徴抽出器９３０は、入力値に対応する結果値を出力するニューラルネットワークモデルとして、学習映像と基準映像に基づいて学習され得る。ここで、基準映像は、本明細書で説明された顔登録過程及び顔認証過程で用いられた基準映像と同一である。

学習装置９００は、１つ以上のプロセッサ９１０及びメモリ９２０を含む。メモリ９２０はプロセッサ９１０に接続され、プロセッサ９１０によって実行可能な命令、プロセッサ９１０が演算するデータ又はプロセッサ９１０によって処理されたデータを格納する。

学習映像が学習装置９００に入力されると、プロセッサ９１０は学習映像から顔領域を検出し、マスキング領域に基づいて顔領域を示す顔映像と基準映像を合成することで合成映像を生成する。プロセッサ９１０は、顔登録及び顔認証過程と同様に、基準映像内のマスキング領域に対応する対応領域の映像情報と、顔映像内のマスキング領域を除いた残り領域の映像情報とを合成することにより、合成映像を生成する。プロセッサ９１０は、特徴抽出器９３０を用いて顔映像と合成映像から顔特徴を抽出する。この過程には、顔認証過程に説明された内容がそのまま適用されてもよい。特徴抽出器９３０の構造及び動作については、図６Ａ〜図６Ｄに示された実施形態がこれに適用される。プロセッサ９１０は、特徴抽出器９３０によって抽出された特徴と目的とする特徴との間の差に基づいた損失を算出し、算出された損失が減少するように特徴抽出器９３０を構成しているパラメータを調整する。

学習装置９００は、複数の学習映像それぞれに対して上記の過程を繰り返し行い、特徴抽出器９３０のパラメータを好ましい方向に調整し得る。学習が完了した特徴抽出器９３０は、顔登録及び顔認証過程で用いられる。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素又はハードウェア構成要素及とソフトウェア構成要素の組合せで具現される。例えば本実施形態で説明した装置及び構成要素は、例えばプロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータにアクセス、格納、操作、処理及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野の通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数の類型の処理要素を含むことが分かる。例えば処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令又はこれらのうちの１つ以上の組合せを含み、所望の通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、あるいは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散方式で格納されるか又は実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータ読取可能記憶媒体に格納されてもよい。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読取可能記憶媒体に記憶される。記憶媒体は、プログラム命令、データファイル、データ構造等を単独又は組合せで含む。記憶媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能記憶媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記憶媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリ等のようなプログラム命令を記憶して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタ等を用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように実施形態を、例として限定された図面によって説明したが、当技術分野の通常の知識を有する者であれば、上記に基づいて様々な技術的な修正及び変形を適用することができる。例えば説明された技術が説明された方法と異なる順序で実行されてよく、かつ／又は説明されたシステム、構造、装置、回路等の構成要素が説明された方法と異なる形態で結合又は組み合わされてもよく、他の構成要素又は均等物によって代替又は置換されても適切な結果を達成することができる。

７００：顔認証装置
７１０、８１０、９１０：プロセッサ
７２０、８２０、９２０：メモリ
７３０：データベース
８００：コンピューティング装置
８３０：カメラ
８４０：記憶装置
８５０：入力装置
８６０：出力装置
８７０：ネットワークインターフェース
９００：学習装置
９３０：特徴抽出器

Claims (30)

1. 入力の顔が示された入力映像から顔領域を検出するステップと、
   マスキング領域に基づいて前記顔領域を示す顔映像と基準映像を合成することによって合成映像を生成するステップと、
   前記顔映像と前記合成映像に基づいて前記入力の顔に対応する顔特徴を決定するステップと、
   前記決定された顔特徴に基づいて認証の成否を決定するステップと、
   を含む、顔認証方法。
2. 前記合成映像を生成するステップは、前記基準映像内の前記マスキング領域に対応する対応領域の映像情報と、前記顔映像内の前記マスキング領域を除いた残り領域の映像情報とを合成することによって前記合成映像を生成する、請求項１に記載の顔認証方法。
3. 前記合成映像を生成するステップは、前記顔映像内の予め定義されたマスキング領域の映像情報を前記基準映像の映像情報に代替することによって前記合成映像を生成する、請求項１に記載の顔認証方法。
4. 前記合成映像を生成するステップは、
   前記顔領域から閉塞領域を検出し、前記閉塞領域のタイプを決定するステップと、
   前記顔映像内の前記閉塞領域のタイプに対応するマスキング領域を前記基準映像の映像情報に代替することによって前記合成映像を生成するステップと、
   を含む、請求項１に記載の顔認証方法。
5. 前記閉塞領域のタイプを決定するステップは、
   前記顔領域から顔のランドマークを検出するステップと、
   前記ランドマークの検出結果に基づいて前記閉塞領域のタイプを決定するステップと、
   を含む、請求項４に記載の顔認証方法。
6. 前記マスキング領域は、メガネ、サングラス、マスク又は帽子の形態を有する、請求項１に記載の顔認証方法。
7. 前記顔特徴を決定するステップは、ニューラルネットワークモデル基盤の特徴抽出器を用いて前記顔映像と前記合成映像から前記顔特徴を取得するステップを含む、請求項１に記載の顔認証方法。
8. 前記特徴抽出器の第１入力レイヤに、前記顔映像と前記基準映像との間の第１差分映像の映像情報が入力され、
   前記特徴抽出器の第２入力レイヤに、前記合成映像と前記基準映像との間の第２差分映像の映像情報が入力され、
   前記特徴抽出器の出力レイヤは前記顔特徴を出力する、請求項７に記載の顔認証方法。
9. 前記顔特徴を決定するステップは、
   前記顔映像と前記基準映像との間の第１差分映像から第１顔特徴を決定するステップと、
   前記合成映像と前記基準映像との間の第２差分映像から第２顔特徴を決定するステップと、
   前記第１顔特徴及び前記第２顔特徴に基づいて前記入力の顔に対応する前記顔特徴を決定するステップと、
   を含む、請求項１に記載の顔認証方法。
10. 前記第１顔特徴は第１特徴抽出器によって決定され、
    前記第２顔特徴は第２特徴抽出器によって決定される、請求項９に記載の顔認証方法。
11. 前記基準映像は、前記特徴抽出器をトレーニングするために用いられる学習映像に基づいて決定された映像である、請求項７に記載の顔認証方法。
12. 前記基準映像は、全体領域で同じカラーを有する映像である、請求項１に記載の顔認証方法。
13. 前記認証の成否を決定するステップは、前記決定された顔特徴と登録特徴との間の比較結果に基づいて認証の成否を決定する、請求項１に記載の顔認証方法。
14. 前記登録特徴は、顔登録のための登録映像と、前記登録映像内の予め定義されたマスキング領域を基準映像の映像情報に代替することによって生成される合成映像とに基づいて決定される、請求項１３に記載の顔認証方法。
15. 前記登録特徴は、前記マスキング領域の各タイプに対応する登録特徴を含む、請求項１３に記載の顔認証方法。
16. 請求項１乃至請求項１５のうちのいずれか一項に記載の方法を実行するための命令を格納するコンピュータ読取可能記憶媒体。
17. プロセッサを含む顔認証装置であって、
    前記プロセッサは、
    入力の顔が示された入力映像から顔領域を検出し、
    マスキング領域に基づいて前記顔領域を示す顔映像と基準映像を合成することによって合成映像を生成し、
    前記顔映像と前記合成映像に基づいて前記入力の顔に対応する顔特徴を決定し、
    前記決定された顔特徴に基づいて認証の成否を決定する、顔認証装置。
18. 前記プロセッサは、前記基準映像内の前記マスキング領域に対応する対応領域の映像情報と、前記顔映像内の前記マスキング領域を除いた残り領域の映像情報とを合成することによって前記合成映像を生成する、請求項１７に記載の顔認証装置。
19. 前記プロセッサは、
    前記顔映像と前記基準映像との間の第１差分映像から第１顔特徴を決定し、
    前記合成映像と前記基準映像との間の第２差分映像から第２顔特徴を決定し、
    前記第１顔特徴及び前記第２顔特徴に基づいて前記入力の顔に対応する前記顔特徴を決定する、請求項１７に記載の顔認証装置。
20. 顔映像内の閉塞領域が存在する可能性のある領域を他のデータに代替することによって合成映像を生成するステップと、
    ニューラルネットワークモデルを用いて前記顔映像及び前記合成映像から特徴を抽出するステップと、
    前記抽出された特徴と登録されたユーザの顔の特徴とを比較して認証の成否を決定するステップと、
    を含む、顔認証方法。
21. 前記閉塞領域が存在する可能性のある領域は、メガネ、サングラス、帽子又はマスクが存在する可能性のある領域である、請求項２０に記載の顔認証方法。
22. 前記合成映像を生成するステップは、前記顔映像に閉塞領域が実際に存在するか否かを判断しない、請求項２０に記載の顔認証方法。
23. 前記ニューラルネットワークモデルは、単一ニューラルネットワークモデルである、請求項２０に記載の顔認証方法。
24. 前記顔映像は閉塞領域を含まず、前記登録されたユーザの顔の特徴は、閉塞領域を含む顔映像に基づいて抽出されたものである、請求項２０に記載の顔認証方法。
25. 前記顔映像は閉塞領域を含み、前記登録されたユーザの顔の特徴は、閉塞領域を含まない顔映像に基づいて抽出されたものである、請求項２０に記載の顔認証方法。
26. 顔映像を取得するカメラと、
    前記顔映像内の閉塞領域が存在する可能性のある領域を他のデータに代替することによって合成映像を生成し、ニューラルネットワークモデルを用いて前記顔映像及び前記合成映像から特徴を抽出し、前記抽出された特徴と登録されたユーザの顔の特徴とを比較して認証の成否を決定するプロセッサと、
    を含む、コンピューティング装置。
27. 前記閉塞領域が存在する可能性のある領域は、メガネ、サングラス、帽子又はマスクが存在する可能性のある領域である、請求項２６に記載のコンピューティング装置。
28. 前記プロセッサは、前記顔映像に閉塞領域が実際に存在するか否かを判断せずに前記合成映像を生成する、請求項２６に記載のコンピューティング装置。
29. 前記顔映像は閉塞領域を含まず、前記登録されたユーザの顔の特徴は、閉塞領域を含む顔映像に基づいて抽出されたものである、請求項２６に記載のコンピューティング装置。
30. 前記顔映像は閉塞領域を含み、前記登録されたユーザの顔の特徴は、閉塞領域を含まない顔映像に基づいて抽出されたものである、請求項２６に記載のコンピューティング装置。