JP7047848B2 - 顔三次元形状推定装置、顔三次元形状推定方法、及び、顔三次元形状推定プログラム - Google Patents

Description

本発明は、対象者の顔が写っている複数の画像フレームから、対象者の顔の三次元形状を推定する技術に関する。

二次元平面上のデータである画像フレームから、その画像フレームに写っている対象者の顔の三次元形状を推定する方法として、幾つかの方法が考えられる。その一例として、対象者の顔が写っている複数の画像フレーム（時系列に連続した複数の画像フレームや、複数の異なる視点から撮影された複数の画像フレーム等）を取得し、複数の画像フレーム間で対象者の顔の顔特徴点の対応付けを行い、その対応付けの結果を基に、対象者の顔の三次元形状を推定する方法が挙げられる。この方法では、複数の画像フレーム間で対象者の顔特徴点を対応付ける作業を必要としている。複数の画像フレーム間で、顔等の対象物体の特徴点を対応付ける関連技術としては、例えば、特許文献１～３が挙げられる。

特許文献１に記載された関連技術は、時系列画像内の特徴点を追跡するために、前画像フレームの特徴点と現画像フレームの特徴点との対応付けを行う。具体的には、特許文献１に記載された関連技術は、前画像フレームの特徴点を中心とした矩形領域と、現画像フレームの候補特徴点を中心とした矩形領域と、の類似性を計算し（マッチング処理を行い）、現画像フレームの候補特徴点のうち類似性が高い候補特徴点を、前画像フレームの特徴点と対応付ける。

また、特許文献２に記載された関連技術は、撮影された画像から時間的に隣接する画像フレームを抽出し、隣接する画像フレームの各々で顔領域を検出し、隣接する画像フレーム間で顔領域の各画素の対応付けを行っており、この対応付けに、オプティカルフローの算出方法を用いている。オプティカルフローは、あるフレームにおける画素が次の画像フレームでどの方向にどれくらい移動したかを表す二次元ベクトルである。特許文献２に記載された関連技術は、顔領域において各画素のオプティカルフローを算出し、算出したオプティカルフローを用いて隣接する画像フレーム間で顔領域の各画素を対応付ける。また、各画素の対応付けの誤差の影響を排除するため、オプティカルフローのはずれ値を除去する。

また、特許文献３に記載された関連技術は、特徴点について、ＢＲＩＥＦアルゴリズムによりＢＲＩＥＦ記述子を生成し、ＢＲＩＥＦ記述子を基に特徴点の対応付けを行う。ＢＲＩＥＦアルゴリズムでは、特徴点の周囲の点をランダムに２点抽出し、その明暗比較を行う処理を繰り返し、その結果を示すバイナリ系列で特徴点を記述したものをＢＲＩＥＦ記述子とする。

特開２００３－１１５０５２号公報 特許第５０８７０３７号公報 特開２０１５－２１０６７７号公報

上述のように、対象者の顔が写っている複数の画像フレームから、対象者の顔の三次元形状を推定するには、複数の画像フレーム間で対象者の顔の顔特徴点を対応付ける作業が必要になる。このとき、複数の画像フレーム間で間違った顔特徴点同士を対応付けてしまうと正確な三次元形状推定は困難となる。そのため、複数の画像フレーム間で顔特徴点を１対１に正確に対応させる必要がある。

しかし、特許文献１に記載された関連技術は、複数のフレーム間で特徴点を中心とした矩形領域のマッチングを行うため、前画像フレームの特徴点と現画像フレームの特徴点とが１対多又は多対一になる場合がある。この場合、複数の画像フレーム間で特徴点を１対１に対応させるには、類似度の計算、比較といった処理が必要になるため、複数の画像フレーム間で特徴点を対応付けする処理が煩雑になるという問題がある。

また、特許文献２に記載された関連技術は、顔領域において各画素のオプティカルフローを算出し、算出したオプティカルフローを用いて隣接する画像フレーム間で顔領域の各画素を対応付ける。しかし、オプティカルフローにははずれ値も含まれており、対応付けの誤差の影響を排除するには、このはずれ値を除去する処理が必要になるため、複数の画像フレーム間で特徴点を対応付けする処理が煩雑になるという問題がある。

また、特許文献３に記載された関連技術は、１つの画像フレームにおける特徴点の数を固定していないため、前画像フレームの特徴点の数と現画像フレームの特徴点の数とが一致するとは限らない。そのため、複数の画像フレーム間で特徴点が１対１に対応しない場合があるという問題がある。なお、特許文献１に記載された関連技術も、１つの画像フレームにおける特徴点の数を固定していないため、上述のように、前画像フレームの特徴点と現画像フレームの特徴点とが１対多又は多対一になる場合がある。

本発明の目的は、上述した課題を解決し、複数の画像フレーム間の顔の顔特徴点の対応付けを、より容易にかつより正確に行うことができる技術を提供することにある。

本発明の一態様によれば、顔三次元形状推定装置は、
対象者の顔が写っている複数の画像フレームを取得する顔画像取得部と、
前記対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得部と、
前記複数の画像フレームの各々の前記顔情報を基に、前記複数の画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定部と、を含む。

本発明の一態様によれば、顔三次元形状推定方法は、
顔三次元形状推定装置による顔三次元形状推定方法であって、
対象者の顔が写っている複数の画像フレームを取得する顔画像取得ステップと、
前記対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得ステップと、
前記複数の画像フレームの各々の前記顔情報を基に、前記複数の画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定ステップと、
を含む。

本発明の一態様によれば、非一時的なコンピュータ可読媒体は、
コンピュータに、
対象者の顔が写っている複数の画像フレームを取得する顔画像取得手順と、
前記対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得手順と、
前記複数の画像フレームの各々の前記顔情報を基に、前記複数の画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定手順と、
を実行させるための顔三次元形状推定プログラムを格納した非一時的なコンピュータ可読媒体である。

本発明によれば、複数の画像フレーム間の顔の顔特徴点の対応付けを、より容易にかつより正確に行うことができるという効果が得られる。

関連技術において、複数の画像フレーム間で顔特徴点を対応付ける方法の例を示す図である。 本発明において、複数の画像フレーム間で顔特徴点を対応付ける方法の例を示す図である。 実施の形態１に係る顔三次元形状推定装置の機能ブロック構成の例を示す機能ブロック図である。 実施の形態１，２に係る顔三次元形状推定装置を実現するコンピュータのハードウェア構成の例を示すハードウェア構成図である。 実施の形態１に係る顔三次元形状推定装置による顔三次元形状推定方法の例を示すフロー図である。 実施の形態２に係る顔三次元形状推定装置の機能ブロック構成の例を示す機能ブロック図である。 顔の三次元形状の推定結果の例を示す図である。 実施の形態２に係る顔三次元形状推定装置による顔三次元形状推定方法の例を示すフロー図である。

＜本発明の概要＞
まず、本発明の実施の形態を説明する前に、本発明の概要について説明する。
上述のように、対象者の顔が写っている複数の画像フレームから、対象者の顔の三次元形状を推定するには、複数の画像フレーム間で対象者の顔の顔特徴点を対応付ける作業が必要になる。このとき、複数の画像フレーム間で間違った顔特徴点同士を対応付けてしまうと正確な三次元形状推定は困難となる。そのため、複数の画像フレーム間で顔特徴点を１対１に正確に対応させる必要がある。

ここで、図１及び図２を参照して、本発明において、複数の画像フレーム間で顔特徴点を対応付ける方法を、関連技術と対比して説明する。図１は、関連技術において、複数の画像フレーム間で顔特徴点を対応付ける方法の例を示す図である。図２は、本発明において、複数の画像フレーム間で顔特徴点を対応付ける方法の例を示す図である。

特許文献１，３に記載された関連技術は、１つの画像フレームにおける特徴点の数を固定していない。そのため、図１に示されるように、画像フレーム１０２の顔特徴点１０１の数と、別の画像フレーム１０３の顔特徴点１０１の数と、が一致せず、画像フレーム１０２，１０３間で顔特徴点１０１を１対１に対応させることができない場合があるという問題がある。この場合、特許文献１に記載された関連技術は、画像フレーム１０２，１０３間で顔特徴点１０１を１対１に対応させるために、類似度の計算、比較といった処理を行う。そのため、画像フレーム１０２，１０３間で顔特徴点１０１を対応付けする処理が煩雑になるという問題がある。

また、特許文献２に記載された関連技術は、顔領域において各画素のオプティカルフローを算出し、算出したオプティカルフローを用いて隣接する画像フレーム間で顔領域の各画素を対応付ける。しかし、対応付けの誤差の影響を排除するには、オプティカルフローにははずれ値を除去する処理が必要になるため、複数の画像フレーム間で特徴点を対応付けする処理が煩雑になるという問題がある。

これに対して本発明は、図２に示されるように、対象者の顔の三次元形状を推定するために必要な所定個数（２以上の個数）の顔特徴点２０１が予め設定されている。ここでは、１０個の顔特徴点２０１（１．右目、２．左目、３．鼻、４．口中央、５．口角右側、６．口角左側、７．頬右側、８．頬左側、９．顎右側、１０．顎左側）が予め設定されている。そして、本発明は、画像フレーム２０２，２０３毎に、その画像フレーム上の対象者の顔の所定個数の顔特徴点２０１の各々の位置を示す顔情報（メタ情報）を取得することとする。

そのため、画像フレーム２０２，２０３の各々の顔情報を用いれば、例えば、画像フレーム２０２上ではどの位置が右目に相当し、画像フレーム２０３上ではどの位置が右目に相当するかを一意に特定できるため、画像フレーム２０２，２０３上の右目同士を一意に対応付けることができる。右目以外の顔特徴点も同様である。このとき、対応付けに煩雑な処理は必要とならない。従って、画像フレーム２０２，２０３間の顔特徴点２０１の対応付けを、より容易にかつより正確に行うことができる。

以下、本発明の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、各実施の形態で示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、これに限定されるものではない。

＜実施の形態１＞
まず、図３を参照して、本実施の形態１に係る顔三次元形状推定装置３００の機能ブロック構成について説明する。図３は、本実施の形態１に係る顔三次元形状推定装置３００の機能ブロック構成の例を示す機能ブロック図である。

図３に示されるように、本実施の形態１に係る顔三次元形状推定装置３００は、顔画像取得部３０１と、顔情報取得部３０２と、三次元形状推定部３０３と、を含む。

顔画像取得部３０１は、対象者の顔が写っている複数の画像フレームを取得し、取得した複数の画像フレームを顔情報取得部３０２に出力する。顔画像取得部３０１が取得する複数の画像フレームは、例えば、時系列に連続した複数の画像フレームや、複数の異なる視点から撮影された複数の画像フレーム等であり、動画でも良いし、静止画でも良い。顔画像取得部３０１は、例えば、デジタルカメラやデジタルビデオカメラ等の撮影装置で実現し、ユーザが撮影装置で撮影した画像フレームを取得するものでも良い。なお、ユーザ自身が対象者となっても良く、ユーザ以外の別人物が対象者となっても良い。

顔情報取得部３０２は、対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されている。例えば、顔情報取得部３０２には、１０個の顔特徴点（１．右目、２．左目、３．鼻、４．口中央、５．口角右側、６．口角左側、７．頬右側、８．頬左側、９．顎右側、１０．顎左側）が予め設定されている。

そして、顔情報取得部３０２は、顔画像取得部３０１により取得された複数の画像フレーム毎に、その画像フレーム上の対象者の顔の所定個数の顔特徴点の各々の位置を示す顔情報を取得する。顔情報の一例を表１に示す。

表１に示される顔情報は、ある画像フレームについて、予め設定された１０個の顔特徴点の各々の画像上のピクセル位置（ｘ，ｙ）を示す情報を含んでいる。顔情報取得部３０２は、顔画像取得部３０１により取得された複数の画像フレーム毎に、表１に示される顔情報を取得する。そして、顔情報取得部３０２は、複数の画像フレームの各々に顔情報を付加したものを、三次元形状推定部３０３に出力する。

三次元形状推定部３０３は、顔情報取得部３０２により取得された、複数の画像フレームの各々の顔情報を基に、顔画像取得部３０１により取得された複数の画像フレーム間で対象者の顔の所定個数の顔特徴点の各々の対応付けを行い、その対応付けの結果を基に、対象者の顔の三次元形状を推定する。

なお、三次元形状推定部３０３は、詳細には、複数の画像フレーム間での顔特徴点の対応付けの結果を基に、対象者の顔の動きを判断し、対象者の顔の動きを基に、対象者の顔の三次元形状を推定する。しかし、こうした推定方法は、周知であり、本発明の本質的な事項ではなく、任意の周知技術を利用することができる。

続いて、図４を参照して、本実施の形態１に係る顔三次元形状推定装置３００を実現するコンピュータ４００のハードウェア構成について説明する。図４は、本実施の形態１に係る顔三次元形状推定装置３００を実現するコンピュータ４００のハードウェア構成の例を示すハードウェア構成図である。コンピュータ４００は、例えば、携帯電話機、スマートフォン等の携帯型のコンピュータを想定している。

図４に示されるように、コンピュータ４００は、プロセッサ４０１、メモリ４０２、ストレージ４０３、入出力インタフェース（入出力Ｉ／Ｆ）４０４、及び通信インタフェース（通信Ｉ／Ｆ）４０５等を含む。プロセッサ４０１、メモリ４０２、ストレージ４０３、入出力インタフェース４０４、及び通信インタフェース４０５は、相互にデータを送受信するためのデータ伝送路で接続されている。

プロセッサ４０１は、例えばＣＰＵ（central processing unit）やＧＰＵ（graphics processing unit）等の演算処理装置である。メモリ４０２は、例えばＲＡＭ（random Access Memory）やＲＯＭ（read only memory）等のメモリである。ストレージ４０３は、例えばＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、又はメモリカード等の記憶装置である。

メモリ４０２又はストレージ４０３は、顔三次元形状推定装置３００の顔情報取得部３０２及び三次元形状推定部３０３の機能を実現するプログラムを記憶している。プロセッサ４０１は、これら各プログラムを実行することで、顔情報取得部３０２及び三次元形状推定部３０３の機能をそれぞれ実現する。ここで、プロセッサ４０１は、上記各プログラムを実行する際、これらのプログラムをメモリ４０２上に読み出してから実行しても良いし、メモリ４０２上に読み出さずに実行しても良い。

また、上記のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ４００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（compact disc read only memory）、ＣＤ－Ｒ（compact disc recordable）、ＣＤ－Ｒ／Ｗ（compact disc rewritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータ４００に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

入出力インタフェース４０４は、表示装置４０４１、撮影装置４０４２、及び入力装置４０４３等と接続される。表示装置４０４１は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、プロセッサ４０１により処理された描画データに対応する画面を表示する装置である。撮影装置４０４２は、デジタルカメラやデジタルビデオカメラ等のように、ユーザが対象者の顔等を撮影するための装置であり、顔画像取得部３０１の機能を実現する。入力装置４０４３は、ユーザの操作入力を受け付ける装置であり、例えば、キーボード及びタッチセンサ等である。表示装置４０４１及び入力装置４０４３は一体化され、タッチパネルとして実現されていても良い。

通信インタフェース４０５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース４０５は、有線ネットワーク又は無線ネットワークを介して外部装置と通信する。

なお、コンピュータ４００のハードウェア構成は、図４に示される構成に制限されない。

続いて、図５を参照して、本実施の形態１に係る顔三次元形状推定装置３００による顔三次元形状推定方法について説明する。図５は、本実施の形態１に係る顔三次元形状推定装置３００による顔三次元形状推定方法の例を示すフロー図である。

図５に示されるように、まず、顔画像取得部３０１は、対象者の顔が写っている複数の画像フレームを取得する（ステップＳ１０１）。

続いて、顔情報取得部３０２は、顔画像取得部３０１により取得された複数の画像フレーム毎に、その画像フレーム上の対象者の顔の所定個数の顔特徴点の各々の位置を示す顔情報を取得する（ステップＳ１０２）。

その後、三次元形状推定部３０３は、顔情報取得部３０２により取得された、複数の画像フレームの各々の顔情報を基に、顔画像取得部３０１により取得された複数の画像フレーム間で対象者の顔の所定個数の顔特徴点の各々の対応付けを行い、その対応付けの結果を基に、対象者の顔の三次元形状を推定する（ステップＳ１０３）。

上述したように本実施の形態１によれば、顔情報取得部３０２は、複数の画像フレーム毎に、その画像フレーム上の対象者の顔の所定個数の顔特徴点の各々の位置を示す顔情報を取得する。そのため、三次元形状推定部３０３は、複数の画像フレームの各々の顔情報を基に、複数の画像フレーム間で対象者の顔の所定個数の顔特徴点の各々を一意に対応付けることができる。このとき、対応付けに煩雑な処理は必要とならない。従って、複数の画像フレーム間の顔特徴点の対応付けを、より容易にかつより正確に行うことができる。

＜実施の形態２＞
本実施の形態２は、実施の形態１をより具体化したものである。
まず、図６を参照して、本実施の形態２に係る顔三次元形状推定装置５００の機能ブロック構成について説明する。図６は、本実施の形態２に係る顔三次元形状推定装置５００の機能ブロック構成の例を示す機能ブロック図である。

図６に示されるように、本実施の形態２に係る顔三次元形状推定装置５００は、実施の形態１に係る顔三次元形状推定装置３００と比較すると、顔画像取得部３０１、顔情報取得部３０２、及び三次元形状推定部３０３を、それぞれ、顔画像取得部５０１、顔情報取得部５０２、及び三次元形状推定部５０３に置き換えた点が異なる。

顔画像取得部５０１は、顔画像撮影部５０１１を含む。
顔画像撮影部５０１１は、ユーザが撮影装置で撮影した複数の画像フレームを取得し、取得した複数の画像フレームを顔情報取得部５０２に出力するもので、例えば、デジタルカメラやデジタルビデオカメラ等の撮影装置で実現される。ここでは、顔画像撮影部５０１１は、顔三次元形状推定装置５００又は対象者の顔を動かすことにより、顔画像撮影部５０１１と対象者の顔との相対位置を移動させながら動画撮影を行うことで、対象者の顔が写っており、異なる視点から撮影された複数の画像フレームを取得するものとする。ただし、複数の画像フレームは、時系列に連続した複数の画像フレームであっても良いし、動画ではなく、静止画であっても良い。また、ユーザ自身が対象者となっても良く、ユーザ以外の別人物が対象者となっても良い。

顔情報取得部５０２は、顔領域検出部５０２１、顔特徴点抽出部５０２２、及び品質判定部５０２３を含む。
顔領域検出部５０２１は、顔画像取得部５０１により取得された複数の画像フレーム毎に、その画像フレーム上の顔領域を検出する。そして、顔領域検出部５０２１は、複数の画像フレームの各々に顔領域の情報を付加したものを、顔特徴点抽出部５０２２に出力する。

顔特徴点抽出部５０２２は、対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されている。例えば、顔特徴点抽出部５０２２には、１０個の顔特徴点（１．右目、２．左目、３．鼻、４．口中央、５．口角右側、６．口角左側、７．頬右側、８．頬左側、９．顎右側、１０．顎左側）が予め設定されている。

そして、顔特徴点抽出部５０２２は、顔画像取得部５０１により取得された複数の画像フレーム毎に、顔領域検出部５０２１により検出された顔領域から、対象者の顔の所定個数の顔特徴点を抽出し、抽出した所定個数の顔特徴点の各々の位置を示す顔情報を取得する。顔情報の一例は上記の表１に示した通りである。

また、顔特徴点抽出部５０２２は、上記で抽出した対象者の顔の所定個数の顔特徴点の各々の品質値を計算する。例えば、顔特徴点抽出部５０２２は、顔特徴点が現れる目や鼻といった顔の部位及びその周囲を予め特徴ベクトル化したテンプレート特徴ベクトルを求めておき、画像フレームから抽出した顔特徴点について同様に特徴ベクトルを求める。そして、顔特徴点抽出部５０２２は、画像フレームから抽出した顔特徴点の特徴ベクトルとテンプレート特徴ベクトルとの類似度が高いほど品質値を高くする。例えば、顔特徴点抽出部５０２２は、特徴ベクトル間の距離をユークリッド距離で測定し、ユークリッド距離が近いほど類似度を高く（すなわち、品質値を高く）しても良い。なお、このように品質値を、特徴ベクトル間のユークリッド距離等に基づき計算する方法は一例であって、これに限定されない。そして、顔特徴点抽出部５０２２は、複数の画像フレームの各々に、顔情報とその画像フレーム上の所定個数の顔特徴点の各々の品質値とを付加したものを、品質判定部５０２３に出力する。

品質判定部５０２３は、顔画像取得部５０１により取得された複数の画像フレームの各々の品質を評価する。具体的には、品質判定部５０２３は、複数の画像フレーム毎に、顔特徴点抽出部５０２２により抽出された所定個数の顔特徴点の各々について、顔特徴点抽出部５０２２により計算された品質値が品質閾値以上であるか否かを判定する。そして、品質判定部５０２３は、画像フレーム上の所定個数の顔特徴点が全て品質閾値以上の品質値を持つ画像フレームを、高品質の画像フレームと判定し、その他の画像フレームは、後段の三次元形状推定部５０３で顔の三次元形状の推定に使用しないように棄却する。

また、品質判定部５０２３は、対象者の顔の三次元形状を推定するために必要な画像フレームの所定フレーム数（２以上のフレーム数）が予め設定されている。品質判定部５０２３は、顔画像取得部５０１により取得された複数の画像フレームのうち高品質と判定された画像フレームの数が予め設定された所定フレーム数に満たなければ、ユーザに画像フレームの撮影のリトライを促す。例えば、品質判定部５０２３は、ユーザに画像フレームの撮影のリトライを促すメッセージを、表示装置４０４１（図４）に表示する。そして、品質判定部５０２３は、所定フレーム数以上の高品質の複数の画像フレームの各々に、顔情報を付加したものを、三次元形状推定部５０３に出力する。

三次元形状推定部５０３は、三次元形状計算部５０３１及び三次元形状提示部５０３２を含む。
三次元形状計算部５０３１は、顔画像取得部５０１により取得された複数の画像フレームのうち、品質判定部５０２３により高品質と判定された画像フレーム及びその画像フレームについて顔特徴点抽出部５０２２により取得された顔情報のみを用いて、以下の処理を行う。すなわち、三次元形状計算部５０３１は、高品質と判定された画像フレームの各々の顔情報を基に、高品質と判定された画像フレーム間で対象者の顔の所定個数の顔特徴点の各々の対応付けを行い、その対応付けの結果を基に、顔画像撮影部５０１１の三次元位置を推定すると共に、対象者の顔の三次元形状を推定する。三次元形状計算部５０３１は、対象者の顔の三次元形状の推定結果を三次元形状提示部５０３２に出力する。

三次元形状提示部５０３２は、三次元形状計算部５０３１により推定された対象者の顔の三次元形状の推定結果をユーザに提示する。例えば、三次元形状提示部５０３２は、対象者の顔の三次元形状の推定結果を、表示装置４０４１（図４）に表示する。ユーザに提示する対象者の顔の三次元形状の一例を図７に示す。図７では、対象者の顔の三次元形状６０１は、より突出した領域を白、より奥まった領域を黒で表すことにより顔三次元形状を表現している。

本実施の形態２に係る顔三次元形状推定装置５００は、実施の形態１と同様に、図４に示されるハードウェア構成のコンピュータ４００で実現される。メモリ４０２又はストレージ４０３は、顔三次元形状推定装置５００の顔情報取得部５０２及び三次元形状推定部５０３の機能を実現するプログラムを記憶している。プロセッサ４０１は、これら各プログラムを実行することで、顔情報取得部５０２及び三次元形状推定部５０３の機能をそれぞれ実現する。プロセッサ４０１は、品質判定部５０２３及び三次元形状提示部５０３２の機能を実現するときは、表示装置４０４１を用いて表示を行えば良い。また、撮影装置４０４２は、顔画像取得部５０１の機能を実現する。

続いて、図８を参照して、本実施の形態２に係る顔三次元形状推定装置５００による顔三次元形状推定方法について説明する。図８は、本実施の形態２に係る顔三次元形状推定装置５００による顔三次元形状推定方法の例を示すフロー図である。なお、ここでは、対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点として、１０個の顔特徴点（１．右目、２．左目、３．鼻、４．口中央、５．口角右側、６．口角左側、７．頬右側、８．頬左側、９．顎右側、１０．顎左側）が予め設定されているものとする。また、対象者の顔の三次元形状を推定するために必要な画像フレームの所定フレーム数が５枚と予め設定されているものとする。また、対象者の顔を動画撮影する時間が３秒間と予め設定されているものとする。

図８に示されるように、まず、ユーザは、対象者の顔を左右に動かしながら顔画像撮影部５０１１によって対象者の顔を３秒間、動画撮影する。このとき、ユーザは、ユーザ自身が対象者である場合は、ユーザ自身の顔を撮影し、ユーザ以外の別人物が対象者である場合は、別人物の顔を撮影する。これにより、対象者の顔が写っている複数の画像フレームが撮影される（ステップＳ２０１）。ここでは、５枚の画像フレームを取得したとする。

続いて、顔領域検出部５０２１は、５枚の画像フレーム毎に、その画像フレーム上の顔領域を検出する（ステップＳ２０２）。顔領域の検出は、例えば、Ｈａａｒ－ｌｉｋｅ特徴量を用いて行う。Ｈａａｒ－ｌｉｋｅ特徴量を用いた顔領域の検出は、例えば、非特許文献１（P. Viola and M. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features,” Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 1, 2001, pp. 511-518.）に開示されている。

続いて、顔特徴点抽出部５０２２は、５枚の画像フレーム毎に、顔領域検出部５０２１により検出された顔領域から、対象者の顔の１０個の顔特徴点を抽出し、抽出した１０個数の顔特徴点の各々の位置を示す顔情報を取得する。その結果、５枚の画像フレームで合計５０個の顔特徴点が定められることになる。また、顔特徴点抽出部５０２２は、上記で抽出した対象者の顔の所定個数の顔特徴点の各々の品質値（例えば、上述した特徴ベクトル間のユークリッド距離等に基づく品質値）を計算する（ステップＳ２０３）。顔特徴点の抽出は、例えば、ＨＯＧ（Histogram of Oriented Gradient）特徴量を用いて行う。ＨＯＧ特徴量を用いた顔領域の検出は、例えば、非特許文献２（H.-C. Choi, D. Sibbing, and L. Kobbelt, “Nonparametric Facial Feature Localization Using Segment-Based Eigenfeatures,” Computational Intelligence and Neuroscience, vol. 2016, pp. 1-11, 2016）に開示されている。

例えば、ステップＳ２０３においては、顔特徴点抽出部５０２２は、分類器を用いて、１０個の顔特徴点を抽出する。この分類器は、例えば、顔領域に存在する１０個以上の顔特徴点（例えば、約１００個）の中から、最も右目らしい顔特徴点、最も左目らしい顔特徴点、・・・、最も顎左側らしい顔特徴点のように、１０個の顔特徴点を採択するものである。顔特徴点抽出部５０２２は、顔領域に存在する顔特徴点のうち抽出した１０個の顔特徴点以外の顔特徴点は棄却する。このとき、顔特徴点抽出部５０２２は、上述した品質値を基に、最も右目らしい顔特徴点等を判断しても良い。そのため、顔特徴点の品質値は、その顔特徴点を抽出する前に計算済みであっても良い。

続いて、品質判定部５０２３は、５枚の画像フレーム毎に、その画像フレーム上の１０個の顔特徴点の各々の品質値が品質閾値以上であるか否かを判定し、画像フレーム上の１０個の顔特徴点が全て品質閾値以上の品質値を持つ画像フレームを、高品質の画像フレームと判定する（ステップＳ２０４）。このとき、品質判定部５０２３は、高品質と判定されなかった画像フレームを棄却する。

このように本実施の形態２では、実際には所定個数の顔特徴点のいずれかが写っていないような画像フレームについては、顔特徴点抽出部５０２２が、その画像フレームから最もらしい顔特徴点を抽出するが、品質判定部５０２３が、顔特徴点の品質が低いと判定して、棄却されることになる。一方、ブレ、ボケ、白とび、黒つぶれ等があっても、所定個数の顔特徴点が明確に写っている画像フレームについては、顔特徴点抽出部５０２２が、所定個数の顔特徴点を抽出し、品質判定部５０２３が、顔特徴点を高品質と判定して、次段の顔の三次元形状の推定に使用されることになる。

続いて、品質判定部５０２３は、高品質の画像フレームが５枚以上あるか否かを判定する（ステップＳ２０５）。高品質の画像フレームが５枚未満であれば（ステップＳ２０５のＮｏ）、品質判定部５０２３は、ユーザに画像フレームの撮影のリトライを促す（ステップＳ２０６）。その後、ステップＳ２０１に戻る。

一方、高品質の画像フレームが５枚以上であれば（ステップＳ２０５のＹｅｓ）、ステップＳ２０７に進む。以下では、ステップＳ２０１で撮影された５枚の画像フレームが全て高品質であり、ステップＳ２０７に進んだものとする。

続いて、三次元形状計算部５０３１は、５枚の画像フレームの各々の顔情報を基に、５枚の画像フレーム間で対象者の顔の１０個の顔特徴点の各々の対応付けを行い、その対応付けの結果を基に、５枚の画像フレームがそれぞれ撮影されたときの顔画像撮影部５０１１の三次元位置を推定すると共に、対象者の顔の三次元形状を推定する（ステップＳ２０７）。顔画像撮影部５０１１の三次元位置と対象者の顔の三次元形状の推定は、例えば、バンドル調整法を用いて行う。バンドル調整法を用いたカメラの三次元位置と対象者の顔の三次元形状の推定は、例えば、非特許文献３（B. Triggs, A. Zisserman, and R. Szeliski, Eds., Bundle Adjustment - A Modern Synthesis, vol. 1883. Berlin, Heidelberg: Springer Berlin Heidelberg, 2000.）に開示されている。

バンドル調整法は、複数の画像フレーム内に含まれる対象物体の動きを基に、複数の画像フレームがそれぞれ撮影されたときのカメラの三次元位置と、対象物体の三次元形状を計算する手法である。

本例では、顔画像撮影部５０１１の位置が、空間位置（ｘ，ｙ，ｚ）と回転角度（θ，φ，ψ）の６パラメータで規定されるとすると、５枚の画像フレームで合計５×６＝３０パラメータが必要となる。これに加えて、１０個の顔特徴点の各々の三次元座標が、空間位置（ｘ，ｙ，ｚ）の３パラメータで規定されるとすると、合計１０×３＝３０パラメータが必要となる。従って、合計６０パラメータを決定することとなる。

パラメータを決定するためには、再投影誤差の最小化を行う。再投影誤差とは、三次元空間に位置する顔の顔特徴点を、各画像フレームが撮影されたときの顔画像撮影部５０１１のパラメータを用いて、各画像フレームが撮影されたときの顔画像撮影部５０１１が撮影した画面上に再投影したときの顔特徴点の二次元位置と、実際に撮影された画像フレーム上の顔特徴点の二次元位置との誤差であり、以下の式１で表される。

上記の式１において、ｃ_ｉは、ｉ番目の画像フレームが撮影されたときの顔画像撮影部５０１１のパラメータを並べたベクトル（ｉ＝１，２，３，４，５）であり、ｐ_ｊは、ｊ番目の顔特徴点の三次元座標を並べたベクトル（ｊ＝１，２，…，１０）であり、Ｃ，Ｐは、ｃ_ｉ，ｐ_ｊをそれぞれ並べた行列である。ｘ_ｉｊ，ｙ_ｉｊは、実際に撮影されたｉ番目の画像フレーム内の、ｊ番目の顔特徴点のｘ，ｙ座標をそれぞれ表している。ｆ_ｘ，ｆ_ｙは、三次元から二次元のｘ座標、ｙ座標にそれぞれに投影する際の投影関数である。ここで、顔画像撮影部５０１１の三次元位置であるｃ_ｉと、顔特徴点の三次元座標であるｐ_ｊを求めることが式１における目的である。当初、ｃ_ｉ，ｐ_ｊは未知なので再投影誤差は大きなものとなるが、再帰的に誤差を小さくすることで精度よく顔特徴点の三次元座標ｐ_ｊ、すなわち顔の三次元形状を計算することが可能となる。

その後、三次元形状提示部５０３２は、三次元形状計算部５０３１により計算された対象者の顔の三次元形状を、対象者の顔の三次元形状の推定結果としてユーザに提示する（ステップＳ２０８）。以上で処理が終了する。

上述したように本実施の形態２によれば、顔情報取得部５０２は、複数の画像フレーム毎に、その画像フレーム上の対象者の顔の所定個数の顔特徴点の各々の位置を示す顔情報を取得する。そのため、三次元形状推定部５０３は、複数の画像フレームの各々の顔情報を基に、複数の画像フレーム間で対象者の顔の所定個数の顔特徴点の各々を一意に対応付けることができる。このとき、対応付けに煩雑な処理は不要となる。従って、複数の画像フレーム間の顔特徴点の対応付けを、より容易にかつより正確に行うことができる。

また、本実施の形態２によれば、三次元形状推定部５０３は、画像フレームを撮影したときの手ブレや照明変動等の影響で画像フレームにブレ、ボケ、白とび、黒つぶれ等が発生していたとしても、所定個数の顔特徴点が抽出できていれば、複数の画像フレーム間の顔特徴点の対応付けを行うことができ、対象者の顔の三次元形状を推定することができる。従って、手ブレや照明変動等があった場合にも、対象者の顔の三次元形状の推定を安定して行うことができる。

また、本実施の形態２によれば、顔情報取得部５０２は、複数の画像フレーム毎に、その画像フレーム上の対象者の顔の所定個数の顔特徴点の各々の品質値を計算し、計算した品質値を基に高品質の画像フレームを判定する。そして、三次元形状推定部５０３は、複数の画像フレームのうち高品質と判定された画像フレームの各々の顔情報を基に、高品質と判定された画像フレーム間で対象者の顔の所定個数の顔特徴点の各々を対応付ける。従って、三次元形状推定部５０３は、高品質と判定されなかった画像フレームを除外して、対象者の顔の三次元形状の推定することができるため、推定精度の向上を図ることができる。

また、本実施の形態２によれば、顔情報取得部５０２は、複数の画像フレームのうち高品質と判定された画像フレームの数が予め設定された所定フレーム数に満たない場合、対象者の顔が写っている画像フレームの撮影のリトライをユーザに促す。従って、三次元形状推定部５０３は、所定フレーム数以上の画像フレームを用いて、対象者の顔の三次元形状を推定することができるため、画像フレームの数が少ないことに起因して、推定精度が低下することを回避することができる。

以上、実施の形態を参照して本発明を説明したが、本発明は上記によって限定されるものではない。本発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

例えば、上述の実施の形態２においては、顔特徴点抽出部５０２２が、顔特徴点の品質値を計算し、品質判定部５０２３が、顔特徴点の品質値が品質閾値以上であるか否かを判定していたが、これには限定されない。顔特徴点の品質値の計算も、品質判定部５０２３が行うこととしても良い。

また、上述の実施の形態２においては、顔情報取得部５０２において、対象者の顔の三次元形状を推定するために必要な顔特徴点及び画像フレーム数がそれぞれ１０個及び５枚に、対象者の顔を動画撮影する時間が３秒に、それぞれ予め設定されるものとしたが、これらの設定は、変更可能であっても良い。例えば、顔情報取得部５０２は、ユーザが入力装置４０４３（図４）を介して入力した値に、設定を変更すれば良い。例えば、ユーザは、対象者の顔の三次元形状の推定精度の向上を図りたい場合は、顔特徴点の個数や画像フレームのフレーム数を多くすることが考えられる。

また、上述の実施の形態２においては、対象者の顔を左右に動かしながら対象者の顔を動画撮影するが、このとき撮影した画像フレームには、所定個数の顔特徴点が写っている必要があり、そのためには、対象者の顔を大きく動かさないことが好適である。そのため、撮影時に、対象者の顔を軽く動かすことを促しても良い。この場合、顔画像取得部５０１は、例えば、対象者の顔を軽く動かすことを促すメッセージを、表示装置４０４１（図４）に表示すれば良い。

上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象者の顔が写っている複数の画像フレームを取得する顔画像取得部と、
前記対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得部と、
前記複数の画像フレームの各々の前記顔情報を基に、前記複数の画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定部と、
を含む顔三次元形状推定装置。
（付記２）
前記顔情報取得部は、
前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の品質値を計算し、
前記所定個数の顔特徴点が全て品質閾値以上の品質値を持つ画像フレームを、高品質の画像フレームと判定し、
前記三次元形状推定部は、
前記複数の画像フレームのうち高品質と判定された画像フレームの各々の前記顔情報を基に、前記複数の画像フレームのうち高品質と判定された画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する、
付記１に記載の顔三次元形状推定装置。
（付記３）
前記顔画像取得部は、
ユーザが撮影した画像フレームを取得する撮影装置であり、
前記顔情報取得部は、
前記複数の画像フレームのうち高品質と判定された画像フレームの数が予め設定された所定フレーム数に満たない場合、前記対象者の顔が写っている画像フレームの撮影のリトライをユーザに促す、
付記２に記載の顔三次元形状推定装置。
（付記４）
前記顔情報取得部は、
前記所定個数の顔特徴点の設定が変更可能である、
付記１から３のいずれか１項に記載の顔三次元形状推定装置。
（付記５）
前記顔情報取得部は、
前記画像フレームの前記所定フレーム数の設定が変更可能である、
付記３に記載の顔三次元形状推定装置。
（付記６）
顔三次元形状推定装置による顔三次元形状推定方法であって、
対象者の顔が写っている複数の画像フレームを取得する顔画像取得ステップと、
前記対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得ステップと、
前記複数の画像フレームの各々の前記顔情報を基に、前記複数の画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定ステップと、
を含む顔三次元形状推定方法。
（付記７）
前記顔情報取得ステップでは、
前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の品質値を計算し、
前記所定個数の顔特徴点が全て品質閾値以上の品質値を持つ画像フレームを、高品質の画像フレームと判定し、
前記三次元形状推定ステップでは、
前記複数の画像フレームのうち高品質と判定された画像フレームの各々の前記顔情報を基に、前記複数の画像フレームのうち高品質と判定された画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する、
付記６に記載の顔三次元形状推定方法。
（付記８）
前記顔画像取得ステップでは、
ユーザが撮影した画像フレームを取得し、
前記顔情報取得ステップでは、
前記複数の画像フレームのうち高品質と判定された画像フレームの数が予め設定された所定フレーム数に満たない場合、前記対象者の顔が写っている画像フレームの撮影のリトライをユーザに促す、
付記７に記載の顔三次元形状推定方法。
（付記９）
前記顔情報取得ステップでは、
前記所定個数の顔特徴点の設定が変更可能である、
付記６から８のいずれか１項に記載の顔三次元形状推定方法。
（付記１０）
前記顔情報取得ステップでは、
前記画像フレームの前記所定フレーム数の設定が変更可能である、
付記８に記載の顔三次元形状推定方法。
（付記１１）
コンピュータに、
対象者の顔が写っている複数の画像フレームを取得する顔画像取得手順と、
前記対象者の顔の三次元形状を推定するために必要な所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得手順と、
前記複数の画像フレームの各々の前記顔情報を基に、前記複数の画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定手順と、
を実行させるための顔三次元形状推定プログラムを格納した非一時的なコンピュータ可読媒体。
（付記１２）
前記顔情報取得手順では、
前記複数の画像フレーム毎に、当該画像フレーム上の前記対象者の顔の前記所定個数の顔特徴点の各々の品質値を計算し、
前記所定個数の顔特徴点が全て品質閾値以上の品質値を持つ画像フレームを、高品質の画像フレームと判定し、
前記三次元形状推定手順では、
前記複数の画像フレームのうち高品質と判定された画像フレームの各々の前記顔情報を基に、前記複数の画像フレームのうち高品質と判定された画像フレーム間で前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する、
付記１１に記載の非一時的なコンピュータ可読媒体。
（付記１３）
前記顔画像取得手順では、
ユーザが撮影した画像フレームを取得し、
前記顔情報取得手順では、
前記複数の画像フレームのうち高品質と判定された画像フレームの数が予め設定された所定フレーム数に満たない場合、前記対象者の顔が写っている画像フレームの撮影のリトライをユーザに促す、
付記１２に記載の非一時的なコンピュータ可読媒体。
（付記１４）
前記顔情報取得手順では、
前記所定個数の顔特徴点の設定が変更可能である、
付記１１から１３のいずれか１項に記載の非一時的なコンピュータ可読媒体。
（付記１５）
前記顔情報取得手順では、
前記画像フレームの前記所定フレーム数の設定が変更可能である、
付記１３に記載の非一時的なコンピュータ可読媒体。

この出願は、２０１７年１０月２０日に出願された日本出願特願２０１７－２０３６６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

２０１ 顔特徴点
２０２，２０３ 画像フレーム
３００ 顔三次元形状推定装置
３０１ 顔画像取得部
３０２ 顔情報取得部
３０３ 三次元形状推定部
４００ コンピュータ
４０１ プロセッサ
４０２ メモリ
４０３ ストレージ
４０４ 入出力インタフェース（入出力Ｉ／Ｆ）
４０４１ 表示装置
４０４２ 撮影装置
４０４３ 入力装置
４０５ 通信インタフェース（通信Ｉ／Ｆ）
５００ 顔三次元形状推定装置
５０１ 顔画像取得部
５０１１ 顔画像撮影部
５０２ 顔情報取得部
５０２１ 顔領域検出部
５０２２ 顔特徴点抽出部
５０２３ 品質判定部
５０３ 三次元形状推定部
５０３１ 三次元形状計算部
５０３２ 三次元形状提示部
６０１ 顔の三次元形状

Claims (7)

1. 対象者の顔が写っている複数の画像フレームを取得する顔画像取得部と、
   前記対象者の所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上における前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得部と、
   前記顔情報を基に、前記複数の画像フレーム間で前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定部と、
   を含み、
   前記三次元形状推定部は、
   前記複数の画像フレームのうち前記所定個数の顔特徴点が品質閾値以上の画像フレームの各々の前記顔情報を基に、前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する、
   顔三次元形状推定装置。
2. 前記顔画像取得部は、
   ユーザが撮影した画像フレームを取得する撮影装置であり、
   前記顔情報取得部は、
   前記複数の画像フレームのうち所定以上の品質値を持つ画像フレームの数が予め設定された所定フレーム数に満たない場合、前記対象者の顔が写っている画像フレームの撮影のリトライをユーザに促す、
   請求項１に記載の顔三次元形状推定装置。
3. 前記顔情報取得部は、
   前記所定個数の顔特徴点の設定が変更可能である、
   請求項１又は２に記載の顔三次元形状推定装置。
4. 前記顔情報取得部は、
   前記画像フレームの前記所定フレーム数の設定が変更可能である、
   請求項２に記載の顔三次元形状推定装置。
5. 顔三次元形状推定装置による顔三次元形状推定方法であって、
   対象者の顔が写っている複数の画像フレームを取得する顔画像取得ステップと、
   前記対象者の所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上における前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得ステップと、
   前記顔情報を基に、前記複数の画像フレーム間で前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定ステップと、
   を含み、
   前記三次元形状推定ステップでは、
   前記複数の画像フレームのうち前記所定個数の顔特徴点が品質閾値以上の画像フレームの各々の前記顔情報を基に、前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する、
   顔三次元形状推定方法。
6. 前記顔画像取得ステップでは、
   ユーザが撮影した画像フレームを取得し、
   前記顔情報取得ステップでは、
   前記複数の画像フレームのうち所定以上の品質値を持つ画像フレームの数が予め設定された所定フレーム数に満たない場合、前記対象者の顔が写っている画像フレームの撮影のリトライをユーザに促す、
   請求項５に記載の顔三次元形状推定方法。
7. コンピュータに、
   対象者の顔が写っている複数の画像フレームを取得する顔画像取得手順と、
   前記対象者の所定個数の顔特徴点が予め設定されており、前記複数の画像フレーム毎に、当該画像フレーム上における前記所定個数の顔特徴点の各々の位置を示す顔情報を取得する顔情報取得手順と、
   前記顔情報を基に、前記複数の画像フレーム間で前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する三次元形状推定手順と、
   を実行させるための顔三次元形状推定プログラムであって、
   前記三次元形状推定手順では、
   前記複数の画像フレームのうち前記所定個数の顔特徴点が品質閾値以上の画像フレームの各々の前記顔情報を基に、前記対象者の顔の前記所定個数の顔特徴点の各々の対応付けを行い、当該対応付けの結果を基に、前記対象者の顔の三次元形状を推定する、
   顔三次元形状推定プログラム。

Images