JP6128356B2 - メイクアップ支援装置およびメイクアップ支援方法 - Google Patents

Description

本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置およびメイクアップ支援方法に関する。

近年、顔のメイクアップの仕方（以下、単に「メイク」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクを選択することは、特にメイクについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

そこで、顔の特徴に合うメイクを選択し、選択されたメイクが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術（以下「従来技術」という）は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像を取得し、顔の特徴を抽出し、予め定められた選択基準に基づいて、顔の特徴に合うメイクを選択する。そして、従来技術は、取得した画像に、選択したメイクを顔に適用したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成し、表示する。

このような従来技術では、実際にメイクアップを行うことなく、シミュレーション画像生成の対象を顔の特徴に合うメイクに絞り込んで、メイクの良し悪しを判断することができる。すなわち、従来技術では、より少ない時間および手間で適切なメイクを選択することが可能となる。

特開２００１−３４６６２７号公報 特開２００７−１７５３８４号公報 特開２００３−４４８３７号公報 特開２００７−２５７１６５号公報

ところで、メイクの実施技術が不足しているユーザは、メイクのシミュレーション画像を提示されたとしてもそのメイクを再現することが困難であるため、メイクの実施技術の向上を必要とする。また、メイクアップを勉強している人は、通常、顔の特徴を判断する作業や適切なメイクを判断する作業を自ら行うことにより、メイクの選択技術を向上させたいと望む。

しかしながら、上述の従来技術では、このようなメイクの技術向上を含めたメイクアップの支援については、適切に行うことができない。

本発明の目的は、メイクの技術向上を含めたメイクアップの支援を適切に行うことができる、メイクアップ支援装置およびメイクアップ支援方法を提供することである。

本発明の一態様に係るメイクアップ支援装置は、メイクアップが施された顔を撮影した画像を取得する画像取得部と、前記画像から、前記メイクアップの仕方である実施メイクを取得する実施メイク取得部と、前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行うメイク評価部と、前記評価の結果を前記ユーザに提示する評価提示部と、どのように前記実施メイクを直せば前記参考メイクにより近いメイクになるかを提示するアドバイス情報提示部と、を有し、前記参考メイクは、複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンの中から、所定の選択基準に基づいて、前記メイク評価部により選択されたメイクパターンであり、前記選択基準は、前記複数の人により選択された時間の平均がより新しいメイクパターンが優先して前記メイク評価部により選択されるような選択基準、または、前記複数の人により選択された回数の増加速度がより高いメイクパターンが優先して前記メイク評価部により選択されるような選択基準である。

本発明の一態様に係るメイクアップ支援方法は、メイクアップが施された顔を撮影した画像を取得するステップと、前記画像から、前記メイクアップの仕方である実施メイクを取得するステップと、前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行うステップと、前記評価の結果を前記ユーザに提示するステップと、どのように前記実施メイクを直せば前記参考メイクにより近いメイクになるかについてのアドバイスを提示するステップと、を含み、前記参考メイクは、複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンの中から、所定の選択基準に基づいて、前記評価を行うステップで選択されたメイクパターンであり、前記選択基準は、前記複数の人により選択された時間の平均がより新しいメイクパターンが優先して前記評価を行うステップで選択されるような選択基準、または、前記複数の人により選択された回数の増加速度がより高いメイクパターンが優先して前記評価を行うステップで選択されるような選択基準である。

本発明によれば、メイクの技術向上を含めたメイクアップの支援を適切に行うことができる。

本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における参考メイク情報の一例を示す図 実施の形態２における化粧品情報の一例を示す 実施の形態２におけるメイク位置テーブルの一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２におけるノーメイク画像の一例を示す図 実施の形態２における顔の特徴点の配置の一例を示す図 実施の形態２におけるノーメイク顔部品情報の一例を示す図 実施の形態２におけるシミュレーション画像の一例を示す図 実施の形態２におけるメイク画像の一例を示す図 実施の形態２における実施メイク情報の一例を示す図 実施の形態２における評価結果画像の一例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図１において、メイクアップ支援装置１００は、画像取得部１２０、実施メイク取得部１７０、メイク評価部１８０、および評価提示部１９０を有する。

画像取得部１２０は、メイクアップが施された顔を撮影した画像を取得する。

実施メイク取得部１７０は、取得された画像から、上記メイクアップの仕方である実施メイクを取得する。

メイク評価部１８０は、上記メイクアップを行ったユーザが参考にすべき参考メイクと実施メイクとを比較して、実施メイクに対する評価を行う。

評価提示部１９０は、評価の結果をユーザに提示する。

メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、ユーザが行った実施メイクを参考メイクに基づいて評価し、評価結果をユーザに提示することができる。これにより、メイクアップ支援装置１００は、ユーザが行ったメイクに対する客観的な評価をユーザに提示することができるので、メイクの技術向上を含めたメイクアップの支援を適切に行うことができる。

（実施の形態２）
本発明の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルカメラおよびタッチパネル付きディスプレイを備えた装置に適用した例である。

＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。

「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔の印象を特徴付ける部分を指すものとする。

「顔部品ＩＤ」とは、顔部品の識別情報である。

「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。

「メイク」とは、メイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。

「参考メイク」とは、メイクアップの支援を受けるユーザが参考にすべきメイクである。

「参考メイク情報」とは、参考メイクを示す情報であり、１つの所定のパラメータの値または複数の所定のパラメータの値の組み合わせにより、参考メイクを定義する。

「実施メイク」とは、メイクアップの支援を受けるユーザが実際に行ったメイクである。

「実施メイク情報」とは、実施メイクを示す情報であり、参考メイク情報を定義するパラメータと同一のパラメータの値により、実施メイクを定義する。すなわち、実施メイク情報は、パラメータ毎に、その値を参考メイク情報の値と比較可能となっている。

「化粧品情報」とは、メイクを適用するための肌用化粧品に関する情報である。

「メイク種別」とは、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク（頬紅）」等、少なくとも顔部品との位置関係により区別されるメイクの種類である。

「化粧品ＩＤ」とは、肌用化粧品の識別情報であり、化粧品情報を特定可能な情報である。

＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。

図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図２において、メイクアップ支援装置１００は、撮影部１１０、画像取得部１２０、顔部品取得部１３０、参考メイク格納部１４０、メイク提示部１５０、メイク位置テーブル格納部１６０、実施メイク取得部１７０、メイク評価部１８０、評価提示部１９０、および表示部２００を有する。

撮影部１１０は、例えば、デジタルスチルカメラであり、画像の撮影を行う。

画像取得部１２０は、撮影部１１０を用いて、ノーメイクの顔（以下「ノーメイク顔」という）を撮影した画像（以下「ノーメイク画像」という）を取得し、顔部品取得部１３０およびメイク提示部１５０へ出力する。また、画像取得部１２０は、撮影部１１０を用いて、上述の顔に対してメイクアップが施された顔（以下「メイク顔」という）を撮影した画像（以下「メイク画像」という）を取得し、顔部品取得部１３０、実施メイク取得部１７０、および評価提示部１９０へ出力する。

画像取得部１２０は、例えば、ディスプレイに「メイクアップの対象となる顔を、ノーメイクの状態で撮影して下さい」というメッセージを表示する等、ユーザに対してノーメイク顔の撮影を促すことによって、ノーメイク画像の撮影を行う。また、画像取得部１２０は、例えば、ディスプレイに「メイクアップされた顔を撮影して下さい」というメッセージを表示する等、ユーザに対してメイク顔の撮影を促すことによって、メイク画像の撮影を行う。なお、本実施の形態において、ノーメイク画像およびメイク画像は、顔を正面から撮影した画像であるものとする。

顔部品取得部１３０は、入力されたノーメイク画像およびメイク画像のそれぞれから、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献３参照）。そして、顔部品取得部１３０は、ノーメイク画像から取得した顔部品の識別情報および領域を示す情報（以下「ノーメイク顔部品情報」という）を、メイク提示部１５０へ出力する。また、顔部品取得部１３０は、メイク画像から取得した顔部品の識別情報および領域を示す情報（以下「メイク顔部品情報」という）を、実施メイク取得部１７０へ出力する。

参考メイク格納部１４０は、参考メイク情報と、当該参考メイク情報が示す参考メイクの化粧品情報とを、予め格納する。参考メイク情報は、メイク提示部１５０およびメイク評価部１８０から参照可能となっている。化粧品情報は、メイク提示部１５０から参照可能となっている。

なお、顔全体に対するメイクのパターン（以下「メイクパターン」という）は、無数に存在する。本実施の形態では、予め選択された１つのメイクパターンについての参考メイク情報のみが、参考メイク格納部１４０に格納されているものとする。

参考メイク情報が示すメイクパターンは、例えば、以下のメイクパターンを採用することができる。

１つ目は、ユーザによって選択されたメイクパターンである。２つ目は、複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンのうち、選択回数がより多いメイクパターンが優先して選択されるような選択基準に基づいて、当該複数のメイクの中から選択されたメイクパターンである。３つ目は、複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンのうち、選択された時間の平均がより新しいメイクパターンが優先して選択されるような選択基準に基づいて、当該複数のメイクの中から選択されたメイクパターンである。４つ目は、複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンのうち、選択回数の増加速度がより高いメイクパターンが優先して選択されるような選択基準に基づいて、複数のメイクの中から選択された当該メイクパターンである。

流行のメイクは、より多くの人々に実際に実施されているメイクである場合が多い。したがって、２つ目〜４つ目のメイクパターンの場合、流行のメイクが参考メイクとなり、メイクアップ支援装置１００は、流行のメイクを規準としたメイク評価を行うことができる。

図３は、参考メイク格納部１４０が格納する参考メイク情報の一例を示す図である。

図３に示すように、参考メイク情報５１０は、例えば、メイクＩＤ５１１、メイク種別５１２、色５１３、濃度５１４、範囲５１５、および化粧品ＩＤ５１６を、対応付けて記述している。

メイク種別５１２は、ここでは簡略化して図示しているが、具体的には、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。色５１３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度５１４は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲５１５は、ここでは簡略化して図示しているが、具体的には、特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色５１３、濃度５１４、および範囲５１５の組は、少なくとも画像化に必要な情報を含む。すなわち、本実施の形態において、参考メイク情報５１０は、少なくとも、顔の画像から、当該顔にメイクアップを施したときの画像を生成するために必要な情報を、含むものとする。

なお、参考メイク情報５１０は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。

図４は、参考メイク格納部１４０が格納する化粧品情報の一例を示す図である。

図４に示すように、化粧品情報５２０は、化粧品ＩＤ５２１、会社ＩＤ５２２、および品番５２３を、対応付けて記述している。

化粧品ＩＤ５２１は、参考メイク情報５１０の化粧品ＩＤ５１６に対応している。会社ＩＤ５２２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番５２３は、肌用化粧品の品番である。

なお、図３および図４に示す参考メイク情報５１０および化粧品情報５２０は、１つのテーブルに統合されていてもよい。

図２のメイク提示部１５０は、参考メイク情報が示すメイクを、対応するノーメイク顔の顔部品の領域に対応付けて、ユーザに提示する。

より具体的には、メイク提示部１５０は、入力されたノーメイク画像および参考メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部２００に出力する。ここで、シミュレーション画像は、入力（撮影）されたノーメイク画像に、参考メイク情報が示す参考メイクのメイクアップを施したときの画像を、重畳して得られる画像である。

なお、画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）〜（３）で表される。ここで、ｒ_１、ｇ_１、ｂ_１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ_２、ｇ_２、ｂ_２は、メイクのＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
Ｒ ＝ ｒ_２×α＋ｒ_１×（１−α） ・・・（１）
Ｇ ＝ ｇ_２×α＋ｇ_１×（１−α） ・・・（２）
Ｂ ＝ ｂ_２×α＋ｂ_１×（１−α） ・・・（３）

また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップを施したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。

また、メイク提示部１５０は、化粧品情報を、更に提示する。より具体的には、メイク提示部１５０は、上記シミュレーション画像に、化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。

メイク位置テーブル格納部１６０は、メイク種別毎に、メイクの塗布範囲の顔部品の領域との間の位置関係を規定するメイク位置テーブルを、予め格納する。かかる位置関係は、言い換えると、後述の実施メイク取得１７０がメイク画像から実施メイクを抽出する際の、実施メイクの抽出基準である。メイク位置テーブルは、実施メイク取得部１７０から参照可能となっている。

図５は、メイク位置テーブルの一例を示す図である。

図５に示すように、メイク位置テーブル５３０は、顔部品ＩＤ５３１と領域５３２との組み合わせに対応付けて、メイク種別５３３を記述している。

例えば、「Ｐ２」という顔部品ＩＤ５３１と「Ｒ２」という領域５３２との組み合わせには、「Ｔ２」というメイク種別５３３が対応付けられている。これは、「Ｐ２」という顔部品ＩＤ５３１の領域に対する「Ｒ２」という領域５３２に適用されたメイクが、「Ｔ２」というメイク種別５３３であることを示す。

例えば、「Ｐ２」は、右目を示し、「Ｒ２」は、顔部品の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域を示しているものとする。そして、これらに対応する「Ｔ２」は、アイライナーを示しているものとする。この場合、右目の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域が存在する場合、当該領域がアイライナーの領域であるということを示す。

図２の実施メイク取得部１７０は、メイク画像から、顔部品毎に、メイク顔部品情報が示す顔部品の領域に基づいて、メイク顔に施された実施メイクを取得する。

より具体的には、実施メイク取得部１７０は、顔部品毎に、メイク位置テーブル５３０（図５参照）が規定する抽出基準に基づいて、メイクアップが施された領域の有無を検出する。そして、実施メイク取得部１７０は、メイクアップが施された領域が存在する場合、当該領域をメイクの塗布範囲として取得する。更に、実施メイク取得部１７０は、当該領域に施されたメイクアップの色および塗布濃度を、メイク画像から取得する。そして、実施メイク取得部１７０は、取得した実施メイクを示す実施メイク情報を、メイク評価部１８０へ出力する。メイクの取得の詳細については、後述する。

メイク評価部１８０は、参考メイク格納部１４０に格納された参考メイクと、入力された実施メイクとを比較して、実施メイクに対する評価（以下「メイク評価」という）を行う。

より具体的には、メイク評価部１８０は、実施メイクおよび参考メイクとの間の、上記パラメータ毎の値の差分に基づいて、実施メイクと参考メイクとの間の近似の度合いを示す評価値を求めることにより、メイク評価を行う。そして、メイク評価部１８０は、求めた評価値を、評価提示部１９０へ出力する。メイク評価の詳細については、後述する。

評価提示部１９０は、メイク評価の結果である評価値を、ユーザに提示する。

より具体的には、評価提示部１９０は、入力されたメイク画像および評価値に基づいて、評価結果を示す評価結果画像を生成し、生成した評価結果画像を、表示部２００に出力する。ここで、評価結果画像は、入力（撮影）されたメイク画像と、評価値を含む評価結果を示す情報（以下「評価結果情報」という）とを表示する画像である。

表示部２００は、例えば、ディスプレイであり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示（提示）する。また、表示部２００は、メイクアップ支援装置１００のユーザに対して、入力された評価結果画像を表示（提示）する。

なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

＜メイクの取得＞
画像からメイクを取得する手法としては、例えば、以下の手法を採用することができる。

実施メイク取得部１７０は、まず、顔部品の領域の配置から、耳や首等、メイク顔の肌の色に近似する色が表れている領域を特定する。実施メイク取得部１７０は、特定した領域の色と、顔部品の配置から推定される陰影の分布と、顔部品の種別（唇等）から推定される顔部品毎の色の分布等に基づいて、肌の色分布を推定する。実施メイク取得部１７０は、顔領域を細かく分割した分割領域毎に、推定される肌の色と、画像での実際の色との差分を算出する。そして、実施メイク取得部１７０は、算出した差分が所定の閾値以上である分割領域を、メイクアップが施された領域（以下「塗布分割領域」）と判定する。

実施メイク取得部１７０は、判定した塗布分割領域のうち、連続し、かつ、色が近似する複数の塗布分割領域が存在するとき、当該複数の塗布分割領域を、同一の種別のメイクアップが施された１つの領域（以下「連続塗布領域」という）として抽出する。実施メイク取得部１７０は、抽出した連続塗布領域毎に、メイク位置テーブル５３０が（図５参照）が規定する抽出基準のいずれかに合致するか否かを判定する。そして、実施メイク取得部１７０は、抽出基準に合致する連続塗布領域を、メイクの塗布範囲として取得し、当該領域の画像での色と、対応する領域について推定された肌の色とから、メイクの色および塗布濃度を取得する。

メイクの色および塗布濃度の取得は、例えば、上述のアルファブレンド処理と逆の処理を行うことにより、行われる。すなわち、上述のＲＧＢ値を画像の色、ｒ_１、ｇ_１、ｂ_１を肌の色とし、式（１）〜（３）を用いて、メイクの色に相当するｒ_２、ｇ_２、ｂ_２とメイクの濃度に相当するαとを算出する。但し、変数が４つであるのに対し、式は３つであるため、これら４つの変数のいずれか１つを仮定するか、複数の画像位置について演算を行い、最も確からしい値の組を求める必要がある。

＜メイク評価＞
メイク評価の手法としては、例えば、以下の手法を採用することができる。

メイク評価部１８０は、上述の複数のパラメータについて、パラメータ毎の参照メイク情報と実施メイク情報との間の値の差分の２乗和を、パラメータの種別に応じた重みづけを行った上で算出する。

すなわち、メイク評価部１８０は、メイク種別毎に、以下の式（４）〜（６）を用いて、部分誤差（距離）ｖを算出する。
ｖ_０ ＝ {（ｒ_ｒ−ｒ）^２＋（ｇ_ｒ−ｇ）^２＋（ｂ_ｒ−ｂ）^２}・ｗ_１
＋{（ｘ_１ｒ−ｘ_１）^２＋（ｙ_１ｒ−ｙ_１）^２…＋（ｘ_ｎr−ｘ_ｎ）^２＋（ｙ_ｎr−ｙ_ｎ）^２}・ｗ_２
＋{（ｄ_ｒ−ｄ）^２}・ｗ_３
…（４）
ｖ_ｒ＝（ｒ_ｒ ^２＋ｇ_ｒ ^２＋ｂ_ｒ ^２）・ｗ_１
＋（ｘ_１ｒ ^２＋ｙ_１ｒ ^２…＋ｘ_ｎｒ ^２＋ｙ_ｎｒ ^２）・ｗ_２
＋ｄ_ｒ ^２・ｗ_３
…（５）
ｖ ＝ ｖ_０／ｖ_ｒ …（６）

ここで、ｒ_r、ｇ_r、ｂ_rは、参考メイクのＲＧＢ値であり、ｒ、ｇ、ｂは、実施メイクのＲＧＢ値である。これらのＲＧＢ値は、例えば、メイクの塗布範囲における色の平均である。

また、ｘ_１r、ｙ_１r、…ｘ_ｎr、ｙ_ｎrは、参考メイクの塗布範囲を示す座標値群であり、ｘ_１、ｙ_１、…ｘ_ｎ、ｙ_ｎは、実施メイクの塗布範囲を示す座標値群である。これらの座標値群は、例えば、顔部品の特徴点および顔部品の領域の向きおよび大きさを基準として、メイク種別毎に設定される座標系における値である。座標値の個数ｎは、メイク種別毎に異なってもよい。

また、ｄ_ｒは、参考メイクの塗布濃度であり、ｄは、実施メイクの塗布濃度である。これらの塗布濃度は、例えば、メイクの塗布範囲における塗布濃度の平均である。

また、重みｗ_１、ｗ_２、ｗ_３は、色、塗布範囲、および塗布濃度の差異が評価値に及ぼすべき影響の度合いに応じて定められた値である。例えば、色の差異を重要視すべき場合には、重みｗ_１の値は大きな値が設定される。重みｗ_１、ｗ_２、ｗ_３は、メイク種別毎に異なってもよい。

そして、メイク評価部１８０は、メイク種別毎に算出した部分誤差ｖから、顔全体についての参考メイクに対する実施メイクの誤差（距離）のレベルを表す値として、全体誤差Ｖを、例えば、以下の式（７）を用いて算出する。ここでは、参考メイクが、アイシャドウ、チーク、および口紅の３つのメイク種別のメイクから成る場合を例示する。ｖ_ｅｙｅは、アイシャドウの部分誤差であり、ｖ_{ｃｈｅｅｋ}は、チークの部分誤差であり、ｖ_ｌｉｐは、口紅の部分誤差ｖである。
Ｖ ＝ ｖ_ｅｙｅ＋ｖ_{ｃｈｅｅｋ}＋ｖ_ｌｉｐ ・・・（７）

なお、メイク評価部１８０は、各部分誤差ｖにも、対応するメイク種別のメイクの差異が評価値に及ぼすべき影響の度合いに応じて定められた、重みを適用してもよい。

そして、メイク評価部１８０は、算出した全体誤差Ｖを、例えば、６段階の評価値に対応付けて予め定められた５つの閾値と比較することにより、全体誤差Ｖに対応する評価値を取得する。６段階の評価値は、例えば、実施メイクが参考メイクにより近似している順に、１００点、８０点、６０点、４０点、２０点、および０点である。

なお、メイク評価部１８０は、メイクアップを行う人（ターゲット）のレベルに合わせて、上述の閾値を複数パターン用意しておいてもよい。これにより、メイクアップ支援装置１００は、ターゲットのレベルに適した評価値を提示することができ、より高い点数を得る際の難易度を調整することが可能となる。

このような構成を有するメイクアップ支援装置１００は、ユーザが行った実施メイクを参考メイクに基づいて評価し、評価結果をユーザに提示することができる。

＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。

図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。

メイクアップ支援装置１００は、例えば、逐次、タッチパネル付きディスプレイを介して、ユーザから、参考メイク提示モードあるいは実施メイク評価モードでの動作の開始の指示を受け付ける。参考メイク提示モードは、ノーメイク顔に対する参考メイクのシミュレーション画像を表示するためのモードである。実施メイク評価モードは、メイク画像に対して参考メイクに基づいて評価を行い、評価結果を表示するためのモードである。

例えば、ユーザは、まず、参考メイク提示モードで参考メイクのシミュレーション画像を確認した後、当該参考メイクを参考にしてメイクアップを実施し、実施メイク評価モードを指定する。

まず、ステップＳ１１００において、画像取得部１２０は、ユーザ操作等により、参考メイクモードの開始が指示されたか否かを判断する。

画像取得部１２０は、参考メイクモードの開始が指示された場合(Ｓ１１００：ＹＥＳ)、ステップＳ１２００へ進む。また、画像取得部１２０は、参考メイクモードの開始が指示されていない場合(Ｓ１１００：ＮＯ)、後述のステップＳ１５００へ進む。

ステップＳ１２００において、画像取得部１２０は、撮影部１１０においてノーメイク顔を撮影し、ノーメイク画像を取得する。

図７は、図６のステップＳ１１００において取得される、ノーメイク画像の一例を示す図である。

図７に示すように、ノーメイク画像６１０は、ノーメイク顔の画像（以下「ノーメイク顔画像」という）６１１を含む。

そして、図６のステップＳ１３００において、顔部品取得部１３０は、ノーメイク画像６１０から、ノーメイク顔の顔部品を取得する。この際、顔部品取得部１３０は、例えば、ノーメイク画像６１０を解析することにより、ノーメイク画像６１０から顔の（顔部品の）特徴点を抽出する。そして、顔部品取得部１３０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部１３０は、取得した顔部品の領域から、ノーメイク顔部品情報を生成する。

図８は、図６のステップＳ１３００において抽出される、顔の特徴点の配置の一例を示す図である。

図８に示すように、ノーメイク顔画像６１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１〜第４の特徴点６２１〜６２４は、右目を構成する。したがって、顔部品取得部１３０は、第１〜第４の特徴点６２１〜６２４により囲まれる領域６２５を、右目の領域として取得する。

図９は、図６のステップＳ１３００において生成される、ノーメイク顔部品情報の一例を示す図である。

図９に示すように、ノーメイク顔部品情報６３０は、例えば、顔部品ＩＤ６３１毎に、領域６３２および人ＩＤ６３３を記述している。領域６３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ６３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。

そして、図６のステップＳ１４００において、メイク提示部１５０は、ノーメイク画像および参考メイク情報に基づいて、シミュレーション画像を生成し、表示部２００に表示させる。この際、メイク提示部１５０は、化粧品情報についても、表示部２００に表示させる。

図１０は、図６のステップＳ１４００において表示される、シミュレーション画像の一例を示す図である。

図１０に示すように、シミュレーション画像６４０は、ノーメイク顔画像６１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像６４１〜６４５を重畳した画像となっている。

また、シミュレーション画像６４０には、化粧品情報を示す情報表示エリア６４６が追加されている。すなわち、シミュレーション画像６４０には、参考メイク情報が示すメイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像６４０が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。

そして、ステップＳ１５００において、画像取得部１２０は、ユーザ操作等により、実施メイク評価モードの開始が指示されたか否かを判断する。

画像取得部１２０は、実施メイク評価モードの開始が指示された場合(Ｓ１５００：ＹＥＳ)、ステップＳ１６００へ進む。また、画像取得部１２０は、実施メイク評価モードの開始が指示されていない場合(Ｓ１５００：ＮＯ)、後述のステップＳ２１００へ進む。

ステップＳ１６００において、画像取得部１２０は、撮影部１１０においてメイク顔を撮影し、メイク画像を取得する。

図１１は、図６のステップＳ１６００において取得される、メイク画像の一例を示す図である。

図１１に示すように、例えば、メイク画像６５０に含まれるメイク顔の画像（以下「メイク顔画像」という）６５１における実施メイク６５２〜６５６は、図１０のシミュレーション画像６４０が示す参考メイクと異なっている。例えば、アイブロウ６５２は、参考メイクのアイブロウの画像６４１よりも幅が厚く、チーク６５５は、参考メイクのチークの画像６４４よりも下に位置し、口紅６５６は、参考メイクの口紅の画像６４５よりも濃い色となっている。

そして、図６のステップＳ１７００において、顔部品取得部１３０は、メイク画像６５０から、メイク顔の顔部品（顔の特徴点を含む）を取得し、顔部品の領域を取得する。そして、顔部品取得部１３０は、取得した顔部品の領域から、メイク顔部品情報を生成する。これらの処理は、ステップＳ１３００で説明した処理と同様である。また、メイク顔部品情報の構成は、ノーメイク顔部品情報の構成と同様である。

そして、ステップＳ１８００において、実施メイク取得部１７０は、メイク画像から、実施メイクを取得する。具体的には、実施メイク取得部１７０は、メイク位置テーブル格納部１６０に格納されたメイク位置テーブル５３０（図５参照）を参照して、メイク画像およびメイク顔部品情報から、顔部品毎にメイクを取得する。そして、実施メイク取得部１７０は、取得したメイクを示す実施メイク情報を、メイク評価部１８０へ出力する。

図１２は、図６のステップＳ１８００において出力される、実施メイク情報の一例を示す図である。

図１２に示すように、実施メイク情報６６０は、例えば、メイク種別６６１に対応付けて、色６６２、濃度６６３、および範囲６６４を記述している。メイク種別６６１は、参考メイク情報５１０（図３参照）のメイク種別５１２と対応している。また、色６６２、濃度６６３、および範囲６６４は、ここでは簡略化して図示しているが、具体的には、メイク種別６６１毎に、参考メイク情報５１０（図３参照）と同一のパラメータにより定義される。

例えば、実施メイク情報６６０において「Ｔ１」というメイク種別６６１に対応する範囲６６４は、「Ａ８」となっている。この「Ａ８」という範囲６６４は、参考メイク情報５１０において「Ｔ１」というメイク種別５１２に対応する「Ａ１」という範囲５１５と異なっている。これは、例えば、左目の領域に対するアイブロウの相対的な塗布範囲が、参考メイクと実施メイクとで異なっていることを示す。

そして、図６のステップＳ１９００において、メイク評価部１８０は、実施メイク情報を参考メイク情報と比較し、実施メイクを評価する。具体的には、メイク評価部１８０は、例えば上述の式（４）〜（７）を用いて評価値を決定し、評価結果情報を評価提示部１９０へ出力する。

そして、ステップＳ２０００において、評価提示部１９０は、評価結果情報およびメイク画像に基づいて、評価結果画像を生成し、表示部２００に表示させる。

図１３は、図６のステップＳ２０００において表示される、評価結果画像の一例を示す図である。

図１３に示すように、評価結果画像６７０は、メイク顔画像６５１と、評価結果情報を示す結果表示エリア６７１とを含む。結果表示エリア６７１には、例えば、「あなたのメイクは、６０点です！」という、上述の評価値を含むテキストが表示される。

そして、ステップＳ２１００において、画像取得部１２０は、ユーザ操作等により処理の終了を指示されたか否かを判断する。

画像取得部１２０は、処理の終了を指示されていない場合（Ｓ２１００：ＮＯ）、ステップＳ１１００へ戻る。また、画像取得部１２０は、処理の終了を指示された場合（Ｓ２１００：ＹＥＳ）、一連の処理を終了する。

このような動作により、メイクアップ支援装置１００は、参考メイク提示モード時に、参考メイクのシミュレーション画像をユーザに提示し、実施メイク評価モード時に、ユーザが実際に行ったメイクに対する評価をユーザに提示することができる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップ支援装置１００は、ユーザが行った実施メイクを参考メイクに基づいて評価し、評価結果をユーザに提示することができる。これにより、メイクアップ支援装置１００は、ユーザが行ったメイクに対する客観的な評価をユーザに提示することができるので、メイクの技術向上を含めたメイクアップの支援を適切に行うことができる。

＜他のメイク取得手法＞
なお、実施メイクの取得手法は、上述の例に限定されない。例えば、実施メイク取得部１７０は、メイクアップ支援装置１００以外の装置で撮影された画像を、ノーメイク画像あるいはメイク画像として取得してもよい。この場合、例えば、メイクアップ支援装置１００にインターネット等の公衆網に接続するための通信回路を設け、画像取得部１２０は、かかる通信回路を介して、必要な画像を取得すればよい。

また、実施メイク取得部１７０は、メイクのうち、色については、メイク画像における実際の色以外から取得してもよい。例えば、実施メイク取得部１７０は、メイクに用いた化粧品の化粧品ＩＤの入力を、タッチパネル付きディスプレイを介してユーザから受け付け、受け付けた化粧品ＩＤに対応する色を、予め用意されたテーブルから取得してもよい。

また、実施メイク取得部１７０は、ノーメイク顔の画像とメイク顔の画像との差分に基づいて、実施メイクを取得してもよい。

＜顔画像およびメイクのマッピング＞
また、本実施の形態では、ノーメイク画像およびメイク画像のいずれも、顔を正面から撮影した画像としたが、これに限定されない。例えば、画像取得部１２０は、顔を斜め方向から撮影した画像を取得した場合、顔画像を、公知の画像マッピング技術を適用して、顔の立体形状にマッピングし、顔を正面から見たときの画像を生成してもよい。なお、マッピングに使用する顔の立体形状は、標準的な顔の立体形状を用いてもよいし、ステレオ画像に基づいて当該ステレオ画像から取得された立体形状等を用いてもよい。

また、メイクアップ支援装置１００は、顔を正面以外の方向から撮影した画像を表示してもよい。例えば、顔部品取得部１３０は、顔の特徴点を基準として、画像における２次元座標系と、顔の立体形状における３次元座標系との間の対応付けを行う。そして、メイク提示部１５０および実施メイク取得部１７０は、参考メイクの画像化あるいは実施メイクの取得を、上記対応付けに基づいて行う。

また、メイクアップ支援装置１００は、参照メイクと実施メイクとの間の塗布範囲の差分として、ｚ軸における差分を加えた３次元的な差分を取得し、かかる差分を、メイク評価に用いてもよい。

＜メイクの除去＞
また、本実施の形態では、参考メイク提示モードにおいて、ノーメイク顔が撮影された画像を入力するものとしたが、これに限定されない。例えば、画像取得部１２０は、参考メイク提示モードにおいて入力された顔がメイクアップ顔であるとき、公知の画像処理技術を用いて（例えば、特許文献４参照）、メイク画像からノーメイク画像を生成してもよい。

＜参考メイクの選択＞
また、本実施の形態では、予め選択された１つのメイクパターンについての参考メイク情報のみが、参考メイク格納部１４０に格納されているものとしたが、これに限定されない。

例えば、複数のメイクパターンについて、各メイクパターンを示すメイク情報を用意しておき、メイク提示部１５０あるいはメイク評価部１８０が、所定の選択条件に基づいて、１つのメイクパターンを参考メイクに決定してもよい。この所定の選択条件としては、例えば、上述の選択基準に適合することを採用することができる。

また、例えば、複数のメイクパターンが顔特徴量のグループに対応付けられているとき、上記選択条件としては、ノーメイク顔あるいはメイク顔の顔特徴量との距離が最も近いグループに対応するメイクパターンあること等を採用することができる。ここで、顔特徴量とは、顔の特徴を示す所定のパラメータの値であり、例えば、顔の幅に対する顔の長さの比、両目の間の間隔に対する鼻の長さの比、および、顔の幅に対する目の幅の比等の、複数の値から成る多変量データである。

顔特徴量のグルーピングは、例えば、以下のようにして行われる。まず、メイクが行われた不特定多数の顔の顔特徴量のサンプルに対して、主成分分析を行う。そして、主成分分析結果を、主成分値が1σ以上であるか否か等を判定基準とする公知の主成分層別法により、グルーピングする。

また、例えば、複数のメイクパターンは、地域、メイクパターンの分類（大人っぽいメイク、可愛らしいメイク等）、年齢、その他の情報と対応付けられていてもよい。この場合、メイクアップ支援装置１００は、タッチパネル付きディスプレイ等を介してユーザから入力を受け付ける等して、かかる情報を取得し、対応するメイクパターンに絞り込むことにより、参考メイクに決定してもよい。

＜他の提示内容＞
また、メイクアップ支援装置１００は、参考メイク提示モードにおいて、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。

また、メイクアップ支援装置１００は、参考メイクの領域との対応付け、および、参考メイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでも参考メイクのメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。

また、メイクアップ支援装置１００は、メイク評価およびメイク評価の提示を、メイク種別毎、あるいは、色、塗布濃度、塗布範囲等の他の属性毎に、行ってもよい。メイクアップ支援装置１００は、評価結果画像において、メイクのうち、評価の高い部分や評価の低い部分を強調表示してもよい。

また、メイクアップ支援装置１００は、どのようにメイクを直せば参考メイクにより近いメイクになるかを示すアドバイス情報を、提示してもよい。例えば、メイクアップ支援装置１００は、「アイブロウが太過ぎます。口紅の色が濃過ぎます。」と表示する。

また、メイクアップ支援装置１００は、メイク画像に重畳して、評価結果やアドバイス情報を提示してもよい。この場合、各情報は、矢印記号等を用いて、評価あるいはアドバイスの対象となるメイク種別と対応付けられて提示されることが望ましい。

また、メイクアップ支援装置１００は、必ずしも、メイク種別毎に実施メイクを取得しなくてもよい。例えば、メイクアップ支援装置１００は、顔全体の色味についてのみ評価を行い、その評価結果を提示してもよい。このような評価は、例えば、メイクの全体的な色合い（寒色系、暖色系等）を評価する場合や、ファンデーションしか塗布されないことを前提としたメイクを評価する場合等に、好適である。

＜その他の構成の変形例＞
また、参考メイク情報の提示先は、必ずしも、シミュレーション画像の顔の主でなくてもよい。

また、参考メイク情報、化粧品情報、およびメイク位置テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記情報が格納されたネットワーク上のサーバにアクセスして、参考メイク情報、化粧品情報、および実施メイクの取得を行えばよい。

また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部１１０および表示部２００のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。

また、実施メイク取得部１７０は、外光を検出し、画像から、外光の影響を軽減した状態で、メイクの取得を行うようにしてもよい。

また、メイクの具体的内容は、上述の例に限定されない。例えば、評価の対象となる顔用メイクには、マスカラ、リップグロス等が含まれる。

本開示のメイクアップ支援装置は、メイクアップが施された顔を撮影した画像を取得する画像取得部と、前記画像から、前記メイクアップの仕方である実施メイクを取得する実施メイク取得部と、前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行うメイク評価部と、前記評価の結果を前記ユーザに提示する評価提示部と、を有する。

なお、上記メイクアップ支援装置において、前記実施メイクおよび前記参考メイクは、それぞれ、１つの所定のパラメータの値または複数の所定のパラメータの値の組み合わせにより定義され、前記メイク評価部は、前記実施メイクおよび前記参考メイクとの間の、前記所定のパラメータ毎の値の差分に基づいて、前記評価を行ってもよい。

また、上記メイクアップ支援装置において、前記メイク評価部は、前記値の差分に基づいて、前記実施メイクと前記参考メイクとの間の近似の度合いを示す評価値を算出し、前記評価提示部は、前記評価値を、前記ユーザに提示してもよい。

また、上記メイクアップ支援装置は、前記顔部品毎に、当該顔部品に対応する前記参考メイクを格納する参考メイク格納部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、を更に有し、前記実施メイク取得部は、前記顔部品毎に、前記顔部品の前記領域に基づいて、前記実施メイクを取得し、前記メイク評価部は、前記顔部品毎に、前記実施メイクと前記参考メイクとを比較してもよい。

また、上記メイクアップ支援装置において、前記実施メイクおよび前記参考メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記参考メイクを、対応する前記顔部品の領域に対応付けてユーザに提示するメイク提示部、を更に有してもよい。

本開示のメイクアップ支援方法は、メイクアップが施された顔を撮影した画像を取得するステップと、前記画像から、前記メイクアップの仕方である実施メイクを取得するステップと、前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行うステップと、前記評価の結果を前記ユーザに提示するステップと、を有する。

本開示のメイクアップ支援プログラムは、コンピュータに、メイクアップが施された顔を撮影した画像を取得する処理と、前記画像から、前記メイクアップの仕方である実施メイクを取得する処理と、前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行う処理と、前記評価の結果を前記ユーザに提示する処理と、を実行させる。

本発明は、メイクの技術向上を含めたメイクアップの支援を適切に行うことができる、メイクアップ支援装置およびメイクアップ支援方法として有用である。

１００ メイクアップ支援装置
１１０ 撮影部
１２０ 画像取得部
１３０ 顔部品取得部
１４０ 参考メイク格納部
１５０ メイク提示部
１６０ メイク位置テーブル格納部
１７０ 実施メイク取得部
１８０ メイク評価部
１９０ 評価提示部
２００ 表示部

Claims (4)

1. メイクアップが施された顔を撮影した画像を取得する画像取得部と、
   前記画像から、前記メイクアップの仕方である実施メイクを取得する実施メイク取得部と、
   前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行うメイク評価部と、
   前記評価の結果を前記ユーザに提示する評価提示部と、
   どのように前記実施メイクを直せば前記参考メイクにより近いメイクになるかを提示するアドバイス情報提示部と、を有し、
   前記参考メイクは、
   複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンの中から、所定の選択基準に基づいて、前記メイク評価部により選択されたメイクパターンであり、
   前記選択基準は、
   前記複数の人により選択された時間の平均がより新しいメイクパターンが優先して前記メイク評価部により選択されるような選択基準、または、前記複数の人により選択された回数の増加速度がより高いメイクパターンが優先して前記メイク評価部により選択されるような選択基準である、
   メイクアップ支援装置。
2. 前記メイク評価部は、
   前記アドバイス情報提示部のアドバイスに応じて前記ユーザが部分的に前記実施メイクを修正した場合にも、前記参考メイクと修正された前記実施メイクとを比較して評価する、
   請求項１に記載のメイクアップ支援装置。
3. メイクアップが施された顔を撮影した画像を取得するステップと、
   前記画像から、前記メイクアップの仕方である実施メイクを取得するステップと、
   前記メイクアップを行ったユーザが参考にすべき参考メイクと前記実施メイクとを比較して、前記実施メイクに対する評価を行うステップと、
   前記評価の結果を前記ユーザに提示するステップと、
   どのように前記実施メイクを直せば前記参考メイクにより近いメイクになるかについてのアドバイスを提示するステップと、を含み、
   前記参考メイクは、
   複数の人がメイクアップにおける実施の対象として選択した複数のメイクパターンの中から、所定の選択基準に基づいて、前記評価を行うステップで選択されたメイクパターンであり、
   前記選択基準は、
   前記複数の人により選択された時間の平均がより新しいメイクパターンが優先して前記評価を行うステップで選択されるような選択基準、または、前記複数の人により選択された回数の増加速度がより高いメイクパターンが優先して前記評価を行うステップで選択されるような選択基準である、
   メイクアップ支援方法。
4. 前記評価を行うステップは、
   提示された前記アドバイスに応じて前記ユーザが部分的に前記実施メイクを修正した場合にも、前記参考メイクと修正された前記実施メイクとを比較して評価する、
   請求項３に記載のメイクアップ支援方法。

Images