JP6008323B2 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

Description

本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。

近年、顔のメイクアップの仕方（以下、単に「メイク」という）の多様化が進んでいる。どのようなメイクが適切であるかは、流行やメイクアップを行う人の好みだけなく、メイクアップの対象となる顔の顔部品（目、眉、鼻、頬骨、唇、輪郭等）の大きさ、形状および配置などに応じて異なる。

したがって、適切なメイクを選択することは、特にメイクについての十分な知識を有さない人にとって、困難となってきている。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

そこで、メイクアップが行われたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術（以下「従来技術」という）は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像を取得する。また、従来技術は、取得した画像に対して、口紅やチーク（頬紅）等を顔に施したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成する。そして、従来技術は、生成したシミュレーション画像を、表示装置に表示させる。このような、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップは、以下、「顔用メイクアップ」という。

かかる従来技術では、実際にメイクアップを行うことなく、メイクの良し悪しを判断し、より少ない時間および手間で適切なメイクを選択することが可能となる。

特開２００１−３４６６２７号公報 特開２００３−４４８３７号公報 特開２００７−１３３５１８号公報

ところで、メイクアップには、上述の顔用メイクアップの他、目の下の隈を隠すためのコンシーラ等がある。このような、肌の状態を部分的に補正して審美性の向上を図るメイクアップは、以下、「肌補正用メイクアップ」という。また、顔に対して行う化粧には、メイクアップの他、いわゆる基礎化粧がある。基礎化粧は、化粧水や美容液等の塗布等により、肌に対して手入れを行うことである。

顔の印象は、顔用メイクアップの仕方（以下「顔用メイク」という）だけでなく、肌補正用メイクアップの仕方（以下「肌補正用メイク」という）や基礎化粧の仕方（以下、「スキンケア」という）によっても異なる。また、顔用メイクの効果は、肌補正用メイクやスキンケアによって異なる場合が多い。例えば、目の下の隈がコンシーラによって隠れている場合には、顔の印象は若くなるため、若者向けのメイクがより映えるようになる。また、適切なスキンケアが行われずに肌状態が良好でない場合には、化粧の乗りが悪くなるため、実際のメイクがシミュレーション画像と大きく異なったものに成り得る。

したがって、不適切な肌補正用メイクまたはスキンケアが行われている場合、あるいは、必要な肌補正用メイクまたはスキンケアが行われていない場合、ユーザは、顔用メイクの適不適についての判断を誤ってしまうことがある。一方で、多くのユーザは、顔の各部分の肌状態の十分な把握、あるいは、肌補正用メイクおよびスキンケアについての十分な知識を有さない。したがって、従来技術では、肌状態が良好でない顔について、メイクアップの支援を適切に行うことができないおそれがある。

本発明の目的は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。

本発明のメイクアップ支援装置は、顔を撮影した画像を取得する画像取得部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、前記顔の肌状態を取得する肌状態取得部と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するメイク提示部と、を有する。

本発明のメイクアップ支援方法は、顔を撮影した画像を取得するステップと、前記画像から、顔部品の領域を取得するステップと、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、前記顔の肌状態を取得するステップと、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択するステップと、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するステップと、を有する。

本発明のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像を取得する処理と、前記画像から、顔部品の領域を取得する処理と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、前記顔の肌状態を取得する処理と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する処理と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示する処理と、を実行させる。

本発明によれば、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。

本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における顔用メイクＩＤテーブルの一例を示す図 実施の形態２における顔用メイクテーブルの一例を示す図 実施の形態２における顔用化粧品テーブルの一例を示す図 実施の形態２における肌補正用メイクＩＤテーブルの一例を示す図 実施の形態２における肌補正用メイクテーブルの一例を示す図 実施の形態２における肌補正用化粧品テーブルの一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２における画像の一例を示す図 実施の形態２における顔の特徴点の配置の一例を示す図 実施の形態２における顔部品情報の一例を示す図 実施の形態２における肌状態情報の一例を示す図 実施の形態２におけるシミュレーション画像の一例を示す図 実施の形態２におけるスキンケア選択用の肌状態情報の一例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図１において、メイクアップ支援装置１００は、画像取得部２２０、顔部品取得部２３０、顔用メイク選択部２５０、肌状態取得部２６０、肌補正用メイク選択部２８０、およびメイク提示部２９０を有する。

画像取得部２２０は、顔を撮影した画像を取得する。

顔部品取得部２３０は、撮影された画像から、顔の顔部品の領域を取得する。

顔用メイク選択部２５０は、顔部品毎に、顔用メイクを選択する。ここで、顔用メイクとは、顔用メイクアップの仕方（種類）である。

肌状態取得部２６０は、顔の肌状態を取得する。

肌補正用メイク選択部２８０は、取得された肌状態に基づいて、肌補正用メイク／スキンケアを選択する。すなわち、肌補正用メイク選択部２８０は、肌補正用メイクおよびスキンケアの少なくとも一方について、肌状態に基づいた選択を行う。ここで、肌補正用メイクとは、肌補正用メイクアップの仕方（種類）である。また、スキンケアとは、基礎化粧の仕方（種類）である。

メイク提示部２９０は、ユーザに対して、選択された顔用メイクを対応する顔部品の領域に対応付けて提示すると共に、選択された肌補正用メイク／スキンケアを提示する。

メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、ユーザに対して、顔用メイクを対応する領域に対応付けて提示するだけでなく、肌状態に基づいて選択された肌補正用メイク／スキンケアを提示することができる。すなわち、メイクアップ支援装置１００は、適切な肌補正用メイク／スキンケアを、適切な顔用メイクのシミュレーション画像と併せて提示することができる。したがって、メイクアップ支援装置１００は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。

（実施の形態２）
本発明の実施の形態２は、本発明の具体的態様の一例であり、本発明を、デジタルビデオカメラとタッチパネル付きディスプレイとを同一面側に備えた装置に適用した例である。

＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。

「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、部分的な肌の状態以外で顔の印象を特徴付ける部分を指すものとする。

「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。

「顔部品特徴量」とは、顔の特徴を示す所定のパラメータの値である。ここでは、顔の幅に対する顔の長さの比、両目の間の間隔に対する鼻の長さの比、および、顔の幅に対する目の幅の比等の、複数の値から成る多変量データであるものとする。

「分割顔領域」とは、顔の顔領域を分割した領域を指すものとする。

「肌状態」とは、しみ（班）の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも１つを含むものとする。

「肌状態特徴量」とは、肌状態の特徴を示す所定のパラメータの値である。ここでは、目の隈の状態の強度、および、しみの状態の強度等の、複数の値から成る多変量データであるものとする。ここで、強度とは、例えば、顔領域の肌の色の平均値との差分の大きさである。なお、肌状態特徴量は、顔における相対位置に関する値を含んでもよい。

「要肌補正領域」とは、肌状態が肌補正用メイクを適用すべき所定のレベルに達している分割顔領域であるものとする。

「顔用メイク」とは、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。

「肌補正用メイク」は、肌の状態を部分的に補正して審美性の向上を図るメイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。

「スキンケア」は、肌の状態を整えるための基礎化粧の仕方（種類）を示し、基礎化粧品の種類、１回当たりの塗布量、塗布範囲、塗布頻度、塗布する時間帯、塗布の仕方等を含むものとする。

＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。

図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。メイクアップ支援装置は、例えば、カメラ付きタッチパネル端末である。

図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、顔部品取得部２３０、顔用メイクテーブル格納部２４０、顔用メイク選択部２５０、肌状態取得部２６０、肌補正用メイクテーブル格納部２７０、肌補正用メイク選択部２８０、メイク提示部２９０、および表示部３００を有する。

撮影部２１０は、例えば上述のデジタルビデオカメラであり、メイクアップ支援装置１００のユーザの顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。

画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像を、顔部品取得部２３０、肌状態取得部２６０、およびメイク提示部２９０へ出力する。

顔部品取得部２３０は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、顔部品取得部２３０は、取得した顔部品の識別情報および領域を示す情報（以下「顔部品情報」という）を、顔用メイク選択部２５０へ出力する。

顔用メイクテーブル格納部２４０は、顔用メイクテーブルを格納している。顔用メイクテーブルは、画像から取得され得る顔部品特徴量と、その顔部品特徴量を有する顔に適切な顔用メイクとを、予め対応付けて登録したテーブルである。顔用メイクテーブルは、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新される。

本実施の形態では、予め、過去にメイクアップ技術者によって顔用メイクが行われた不特定多数の顔の顔用特徴量のサンプルに対して、主成分分析が行われているものとする。そして、主成分分析結果は、主成分値が1σ以上であるか否か等を判定基準とする公知の主成分層別法により、予めグルーピングされているものとする。そして、顔用メイクテーブルには、顔用特徴量のグループ毎に、そのグループにする顔に対して過去に行われた顔用メイクが、登録されているものとする。

また、顔用メイクテーブルには、顔用メイク毎に、その顔用メイクを適用するのに必要な肌用化粧品に関する情報（以下「化粧品情報」という）が、更に登録されているものとする。

顔用メイク選択部２５０は、顔の顔部品特徴量を取得し、顔用メイクテーブルを参照して、顔部品毎に、顔用メイクを選択する。なお、顔用メイク選択部２５０は、顔部品特徴量を、顔部品取得部２３０から入力された顔部品情報から取得してもよいし、画像取得部２２０が取得した画像を解析することにより画像から取得してもよい。そして、顔用メイク選択部２５０は、選択した顔用メイクを示す情報（以下「顔用メイク情報」という）を、メイク提示部２９０へ出力する。

なお、上述の通り、顔用メイクテーブルには、顔用特徴量のグループ毎に、顔用メイクが登録されている。したがって、顔用メイク選択部２５０は、顔から取得された顔部品特徴量が、顔用メイクテーブルに登録されたグループのいずれに属するかを判定し、判定されたグループに対応する顔用メイクを選択する。この判定は、例えば、取得された顔部品特徴量と各グループの代表値（セントロイド）との距離を算出することにより行われる。

また、顔用メイク選択部２５０は、顔用メイクテーブルから、取得した顔用メイクの化粧品情報を取得する。そして、顔用メイク選択部２５０は、取得した化粧品情報を、顔用メイクと対応付けて、メイク提示部２９０へ出力する。

肌状態取得部２６０は、顔の分割顔領域毎に、肌状態を取得する。肌状態の取得は、例えば、顔部品取得部２３０が取得した顔部品の領域に基づいて、画像から肌領域を取得し、取得した肌領域の画像を解析することにより行われる（例えば、特許文献３参照）。肌状態取得部２６０は、取得した各分割顔領域の肌状態を数値化し、得られた数値を上記所定のレベルを示す値と比較することにより、要肌補正領域を検出する。そして、肌状態取得部２６０は、検出した要肌補正領域およびその肌状態を示す情報（以下「肌状態情報」という）を、肌補正用メイク選択部２８０へ出力する。

肌補正用メイクテーブル格納部２７０は、肌補正用メイクテーブルを格納している。肌補正用メイクテーブルは、画像から取得され得る肌状態特徴量と、その肌状態特徴量を有する肌部分に適切な肌補正用メイクとを予め対応付けて登録したテーブルである。肌補正用メイクテーブルは、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新される。

本実施の形態では、予め、過去にメイクアップ技術者によって肌補正用メイクが行われた不特定多数の肌部分から得られた肌状態特徴量のサンプルに対して、最近隣法あるいは最遠隣法等による公知のクラスタ分析が行われているものとする。そして、肌状態特徴量のサンプルは、クラスタ分析結果により、グルーピングされて登録されているものとする。そして、肌補正用メイクテーブルには、肌状態特徴量のグループ毎に、そのグループにする肌部分に対して過去に行われた肌補正用メイクが、登録されているものとする。

また、肌補正用メイクテーブルには、肌補正用メイク毎に、その肌補正用メイクを適用するのに必要な肌用化粧品の化粧品情報が、更に登録されているものとする。

肌補正用メイク選択部２８０は、分割顔領域のうち要肌補正領域を対象として、その肌状態特徴量を取得する。そして、肌補正用メイク選択部２８０は、肌補正用メイクテーブルを参照して、要肌補正領域毎に、肌補正用メイクを選択する。なお、肌補正用メイク選択部２８０は、肌状態特徴量を、肌状態取得部２６０から入力された肌状態情報から取得してもよいし、画像取得部２２０が取得した画像を解析することにより画像から取得してもよい。そして、肌補正用メイク選択部２８０は、選択した肌補正用メイクを示す情報（以下「肌補正用メイク情報」という）を、メイク提示部２９０へ出力する。

なお、上述の通り、肌補正用メイクテーブルには、肌状態特徴量のグループ毎に、肌補正用メイクが登録されている。したがって、肌補正用メイク選択部２８０は、分割顔領域から取得された肌状態特徴量が、グループ肌補正用メイクテーブルに登録されたグループのうちいずれに属するかを判定し、判定されたグループに対応する肌補正用メイクを、選択する。この判定は、例えば、取得された肌状態特徴量と各グループの代表値（セントロイド）との距離を算出することにより行われる。

また、肌補正用メイク選択部２８０は、肌補正用メイクテーブルから、取得した肌補正用メイクの化粧品情報を取得する。そして、肌補正用メイク選択部２８０は、取得した化粧品情報を、肌補正用メイクと対応付けて、メイク提示部２９０へ出力する。

メイク提示部２９０は、選択された顔用メイクおよび肌補正用メイクを、対応する顔部品の領域および分割顔領域に対応付けてユーザに提示する。より具体的には、メイク提示部２９０は、入力された画像、顔用メイク情報、および肌補正用メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部３００に出力する。ここで、シミュレーション画像は、入力（撮影）された画像に、顔に対して選択された顔用メイクおよび肌補正用メイクを適用したときの画像を、重畳して得られる画像である。

なお、画像の重畳は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）〜（３）で表される。ここで、ｒ_１、ｇ_１、ｂ_１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ_２、ｇ_２、ｂ_２は、メイクの画像の対応する領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
Ｒ ＝ ｒ_１×α＋ｒ_２×（１−α） ・・・（１）
Ｇ ＝ ｇ_１×α＋ｇ_２×（１−α） ・・・（２）
Ｂ ＝ ｂ_１×α＋ｂ_２×（１−α） ・・・（３）

また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクを適用したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。

また、メイク提示部２９０は、画像取得部２２０から取得した映像を構成する画像毎に、順次、一旦選択された顔用メイクおよび肌補正用メイクを用いて、シミュレーション画像を生成して表示部３００に出力する（表示させる）。すなわち、メイク提示部２９０は、１つの映像に対して、一旦選択されたメイクを維持して提示する。

また、メイク提示部２９０は、選択された顔用メイクおよび肌補正用メイクを適用するのに必要な肌用化粧品に関する情報（化粧品情報）を、更に提示する。より具体的には、メイク提示部２９０は、上記シミュレーション画像に、入力された化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。

表示部３００は、例えば、タッチパネル付きディスプレイのディスプレイ部分であり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示（提示）する。

なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

以上のような構成により、メイクアップ支援装置１００は、顔用メイクを対応する領域に対応付けて提示することに加え、肌状態に基づいて選択された肌補正用メイクを、当該メイクが必要な領域に対応付けてユーザに提示することができる。

すなわち、メイクアップ支援装置１００は、適切な肌補正用メイクを含めたメイクのシミュレーション画像を提示することができる。したがって、メイクアップ支援装置１００は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。

＜テーブルの構成＞
次に、顔用メイクテーブルおよび肌補正用メイクテーブルの例について説明する。

顔用メイクテーブルは、例えば、顔用メイクＩＤテーブル、顔用メイクテーブル、および顔用化粧品テーブルから構成される。

図３は、顔用メイクＩＤテーブルの一例を示す図である。

図３に示すように、顔用メイクＩＤテーブル４１０は、例えば、顔部品特徴量のグループ４１１毎に、顔用メイクＩＤ４１２を記述している。ここで、「顔用メイクＩＤ」とは、１つの顔に対して一度に行われる１つまたは複数の顔用メイクのパターンを識別する情報である。

例えば、「ＦＧ１」という顔部品特徴量のグループ４１１には、「ＦＭ１」という顔部品メイクＩＤが対応付けられている。したがって、顔用メイク選択部２５０は、顔から取得された顔部品特徴量が、「ＦＧ１」という顔部品特徴量のグループ４１１に属する場合、「ＦＭ１」という顔部品メイクＩＤ４１２を取得する。

図４は、顔用メイクテーブルの一例を示す図である。

図４に示すように、顔用メイクテーブル４２０は、例えば、顔部品メイクＩＤ４２１毎に、対応するメイク種別４２２を記述している。顔部品メイクＩＤ４２１は、顔用メイクＩＤテーブル４１０の顔用メイクＩＤ４１２と対応している。メイク種別４２２は、ここでは簡略化して図示しているが、具体的には、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。

そして、顔用メイクテーブル４２０は、顔部品メイクＩＤ４２１とメイク種別４２２との組み合わせ毎に、色４２３、濃度４２４、範囲４２５、および化粧品ＩＤ４２６を記述している。色４２３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度４２４は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲４２５は、ここでは簡略化して図示しているが、具体的には、特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色４２３、濃度４２４、および範囲４２５の組は、少なくとも画像化に必要な情報を含む。

なお、顔用メイクテーブル４２０は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。

例えば、「ＦＭ１」というメイクＩＤ４２１には、「Ｔ１」〜「Ｔ４」というメイク種別４２２が対応付けられている。また、例えば、「ＦＭ１」というメイクＩＤ４２１と「Ｔ１」というメイク種別４２２との組み合わせに対しては、「Ｃ１」という色４２３、「Ｄ１」という濃度、「Ａ１」という範囲、および「Ｉ１」という化粧品ＩＤ４２６が、対応付けられている。したがって、顔用メイク選択部２５０は、取得された顔用メイクＩＤ４２１（４１２）が「ＦＭ１」である場合、「Ｔ１」というメイク種別４２２に対応して、「Ｃ１、Ｄ１、Ａ１」を、顔用メイク情報として取得する。

また、顔用メイク選択部２５０は、取得された顔用メイクＩＤ４１２（４２１）が「ＦＭ１」である場合、「Ｉ１」という化粧品ＩＤ４２６を取得する。

更に、顔用メイク選択部２５０は、同様に、「Ｔ２」〜「Ｔ４」というメイク種別４２２に対応する顔用メイク情報および化粧品ＩＤ４２６を取得する。

図５は、顔用化粧品テーブルの一例を示す図である。

図５に示すように、顔用化粧品テーブル４３０は、化粧品ＩＤ４３１毎に、会社ＩＤ４３２および品番４３３を記述している。化粧品ＩＤ４３１は、顔用メイクテーブル４２０の化粧品ＩＤ４２６に対応している。会社ＩＤ４３２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番４３３は、肌用化粧品の品番である。

例えば、「Ｉ１」という化粧品ＩＤ４３１には、「Ｂ１」という会社ＩＤ４３２および「ｂ１１」という品番４３３が対応付けられている。したがって、顔用メイク選択部２５０は、取得された化粧品ＩＤ４３１（４２６）が「Ｉ１」である場合、「Ｂ１」という会社ＩＤ４３２および「ｂ１１」という品番４３３を、顔用メイクの化粧品情報として取得する。

なお、図３〜図５に示す顔用メイクＩＤテーブル４１０、顔用メイクテーブル４２０、および顔用化粧品テーブル４３０は、１つのテーブルに統合されていてもよい。

肌補正用メイクテーブルは、例えば、肌補正用メイクＩＤテーブル、肌補正用メイクテーブル、および肌補正用化粧品テーブルから構成される。

図６は、肌補正用メイクＩＤテーブルの一例を示す図である。

図６に示すように、肌補正用メイクＩＤテーブル４６０は、例えば、肌状態特徴量のグループ４６１毎に、肌補正用メイクＩＤ４６２を記述している。ここで、「肌補正用メイクＩＤ」とは、１つの分割顔領域に対して一度に行われる１つまたは複数の肌補正用メイクのパターンを識別する情報である。

例えば、「ＳＧ２」という肌状態特徴量のグループ４６１には、「ＳＭ２」という肌補正用メイクＩＤ４６２が対応付けられている。したがって、肌補正用メイク選択部２５０は、分割顔領域から取得された肌状態特徴量が、「ＳＧ２」という肌状態特徴量のグループ４６１に属する場合、「ＳＭ２」という肌補正用メイクＩＤ４６２を取得する。

図７は、肌補正用メイクテーブルの一例を示す図である。

図７に示すように、肌補正用メイクテーブル４７０は、例えば、肌補正用メイクＩＤ４７１毎に、対応するメイク種別４７２を記述している。肌補正用メイクＩＤ４７１は、肌補正用メイクＩＤテーブル４６０の肌補正用メイクＩＤ４６２と対応している。そして、肌補正用メイクテーブル４７０は肌補正用メイクＩＤ４７１とメイク種別４７２との組み合わせ毎に、色４７３、濃度４７４、範囲４７５、および化粧品ＩＤ４７６を記述している。

例えば、「ＳＭ２」というメイクＩＤ４７１には、「Ｔ６」というメイク種別４７２が対応付けられている。また、例えば、「ＳＭ２」というメイクＩＤ４７１と「Ｔ６」というメイク種別４７２との組み合わせに対しては、「Ｃ４」という色４７３、「Ｄ３」という濃度、「Ａ５」という範囲、および「Ｉ５」という化粧品ＩＤ４７６が、対応付けられている。したがって、肌補正用メイク選択部２５０は、取得された肌補正用メイクＩＤ４７１（４６２）が「ＳＭ２」である場合、「Ｔ６」というメイク種別４７２に対応して、「Ｃ４、Ｄ３、Ａ５」を、肌補正用メイク情報として取得する。

また、肌補正用メイク選択部２５０は、取得された肌補正用メイクＩＤ４６２（４７１）が「ＳＭ２」である場合、「Ｉ５」という化粧品ＩＤ４７６を取得する。

図８は、肌補正用化粧品テーブルの一例を示す図である。

図８に示すように、肌補正用化粧品テーブル４８０は、化粧品ＩＤ４８１毎に、会社ＩＤ４８２および品番４８３を記述している。化粧品ＩＤ４８１は、肌補正用メイクテーブル４７０の化粧品ＩＤ４７６に対応している。

例えば、「Ｉ５」という化粧品ＩＤ４８１には、「Ｂ３」という会社ＩＤ４８２および「ｂ３２」という品番４８３が対応付けられている。したがって、肌補正用メイク選択部２５０は、取得された化粧品ＩＤ４８１（４７６）が「Ｉ５」である場合、「Ｂ３」という会社ＩＤ４８２および「ｂ３２」という品番４８３を、肌補正用メイクの化粧品情報として取得する。

なお、図６〜図８に示す肌補正用メイクＩＤテーブル４６０、肌補正用メイクテーブル４７０、および肌補正用化粧品テーブル４８０は、１つのテーブルに統合されていてもよい。

また、図５に示す顔用化粧品テーブル４３０および図８に示す肌補正用化粧品テーブル４８０は、１つのテーブルに統合されていてもよい。

また、顔用メイクと肌補正用メイクとの間では、ファンデーション等、同一の化粧品が用いられ得る。更に、アイシャドウによって目元の傷痕を隠し得る場合等、顔用メイクと肌補正用メイクとの間では、メイクそのものが同一と成り得る。

＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。

図９は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔を撮影し、画像取得部２２０は、撮影された映像を構成する画像を取得する。

図１０は、図９のステップＳ１１００において取得される、画像の一例を示す図である。

図１０に示すように、画像５１０は、ユーザの顔の画像（以下「顔画像」という）５１１を含む。ユーザは、メイクアップをしていない状態であり、図１０に示すように、例えば、両目の下に隈５１２、５１３を有し、額にしみ５１４を有しているものとする。

そして、図９のステップＳ１２００において、顔部品取得部２３０は、画像５１０から、顔部品を取得する。この際、顔部品取得部２３０は、例えば、画像５１０を解析することにより、画像５１０から顔の（顔部品の）特徴点を抽出する。そして、顔部品取得部２３０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部２３０は、取得した顔部品の領域から、顔部品情報を生成する。

図１１は、図９のステップＳ１２００において抽出される、顔の特徴点の配置の一例を示す図である。

図１１に示すように、顔画像５１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１〜第４の特徴点５２１〜５２４は、右目を構成する。したがって、顔部品取得部２３０は、第１〜第４の特徴点５２１〜５２４により囲まれる領域５２５を、右目の領域として取得する。

図１２は、図９のステップＳ１２００において生成される、顔部品情報の一例を示す図である。

図１２に示すように、顔部品情報５３０は、例えば、顔部品ＩＤ５３１毎に、領域５３２および人ＩＤ５３３を記述している。顔部品ＩＤ５３１は、左目、上唇等の、顔部品の識別情報である。領域５３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ５３３は、人の識別情報である。人ＩＤ５３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。

そして、図９のステップＳ１３００において、顔用メイク選択部２５０は、顔部品特徴量を取得し、顔用メイクを選択する。顔部品特徴量は、上述の通り、顔の特徴を示す所定のパラメータについての多変量データである。顔用メイク選択部２５０は、例えば、画像５１０（図１０参照）から、顔の特徴点群（図１１参照）から、もしくは、顔部品情報（図１２参照）から、顔部品特徴量を取得する。そして、顔用メイク選択部２５０は、取得した顔部品特徴量に対応する顔用メイク情報および化粧品情報を、顔用メイクテーブル（図３〜図５参照）から取得する。

そして、ステップＳ１４００において、肌状態取得部２６０は、分割顔領域毎に、肌状態を取得する。この際、肌状態取得部２６０は、例えば、顔部品取得部２３０が抽出した顔の特徴点（図１１参照）を結ぶ線により、顔の領域を多数の分割顔領域に分割する。そして、肌状態取得部２６０は、分割顔領域毎に、画像を解析して、要肌補正領域であるか否かを判断する。

要肌補正用メイク領域であるか否かの条件は、例えば、顔領域の肌の色の平均値との差分を示す値が所定の閾値よりも高い部分を有し、かつ、顔面積に対する当該部分の面積の比が所定の閾値以上であることである。

そして、肌状態取得部２６０は、要肌補正領域毎に、肌状態情報を生成する。なお、肌状態取得部２６０は、連続する要肌補正領域を、１つの要肌補正領域として扱ってもよい。

図１３は、図９のステップＳ１４００において生成される、肌状態情報の一例を示す図である。

図１３に示すように、肌状態情報５４０は、例えば、領域ＩＤ５４１毎に、領域５４２、色差分５４３、面積比５４４、および人ＩＤ５４５を記述している。

領域ＩＤ５４１は、要肌補正領域の識別情報である。領域５４２は、画像における要肌補正領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。色差分５４３は、例えば、色が顔領域の肌の色と大きく異なる部分の、顔領域の肌の色の平均値との差分であり、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値およびＨＳＶ値等である。面積比５４４は、ここでは簡略化して図示しているが、具体的には、色が顔領域の肌の色と大きく異なる部分の面積の、顔面積に対する比等である。人ＩＤ５４５は、人の識別情報であり、顔部品情報５３０の人ＩＤ５３３（図１２参照）に対応している。

そして、図９のステップＳ１５００において、肌補正用メイク選択部２８０は、肌状態特徴量を取得し、肌補正用メイクを選択する。肌状態特徴量は、上述の通り、肌状態の特徴を示す所定のパラメータについての多変量データである。肌補正用メイク選択部２８０は、例えば、肌状態情報（図１３参照）から、肌状態特徴量を取得する。そして、肌補正用メイク選択部２８０は、取得した肌状態特徴量に対応する肌補正用メイク情報および化粧品情報を、肌補正用メイクテーブル（図６〜図８参照）から取得する。

そして、ステップＳ１６００において、メイク提示部２９０は、顔用メイク情報および肌補正用メイク情報に基づいて、シミュレーション画像を生成し、表示部３００に表示させる。この際、メイク提示部２９０は、化粧品情報についても、表示部３００に表示させる。

図１４は、図９のステップＳ１６００において生成される、シミュレーション画像の一例を示す図である。

図１４に示すように、シミュレーション画像５５０は、顔画像５１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像５５１〜５５５を重畳した画像となっている。

更に、図１４に示すように、シミュレーション画像５５０は、顔画像５１１に、しみ用のコンシーラおよび隈用のコンシーラといった、肌補正用メイクの画像５５６、５５７を重畳した画像となっている。この結果、元の画像５１１に映し出されていた隈５１２、５１３やしみ５１４（図１０参照）が隠れた状態となっている。

すなわち、シミュレーション画像５５０は、適切な肌補正用メイクと、適切な顔用メイクとの両方が仮想的に適用された状態を、表示する。

また、シミュレーション画像５５０には、化粧品情報を示す情報表示エリア５５８が追加されている。すなわち、シミュレーション画像５５０には、選択された顔用メイクおよび肌補正用メイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像５５０が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。

そして、ステップＳ１７００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１７００：ＹＥＳ）、ステップＳ１１００へ戻り、次の画像に処理を移す。また画像取得部２２０は、映像の入力が終了した場合（Ｓ１７００：ＮＯ）、一連の処理を終了する。

以上のような動作により、メイクアップ支援装置１００は、映像に追従して、顔用メイクおよび肌補正用メイクの両方を、対応する領域に対応付けて、ユーザに提示することができる。したがって、ユーザは、顔の向きや表情を変化させながら、メイクアップの効果を確認することができ、あたかも実際にメイクアップを行った状態を鏡に映して見ているかのような体験をすることができる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップ支援装置１００は、顔用メイクを対応する領域に対応付けて提示するだけでなく、肌状態に基づいた肌補正用メイクを、当該メイクが必要な領域に対応付けて提示することができる。これにより、メイクアップ支援装置１００は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。

＜スキンケアの提示＞
なお、上述の実施の形態では、メイクアップ自体のみに着目したメイクアップの支援について説明したが、メイクアップの効果は、顔の肌のスキンケアの状態に依存する場合が多い。スキンケアとは、ここでは、肌状態の改善を目的として行う行動を指し、例えば、肌状態を改善させるために肌に施す手入れの仕方、および、体内から肌状態を改善させる（インナービューティを向上させる）行動を含む。前者としては、例えば、化粧水の塗布、マッサージ等が挙げられる。後者としては、例えば、サプリメントの摂取、自然食品摂取、ヨガ等の運動等が挙げられる。

したがって、メイクアップ支援装置１００は、肌補正用メイク選択部２８０において、肌状態に基づいて、顔毎に、スキンケアを更に選択し、メイク提示部２９０において、この選択されたスキンケアを、顔に対応付けて更に提示してもよい。ただし、この場合は、顔全体の肌状態を総合的に解析して、適切なスキンケアを選択する必要がある。すなわち、スキンケア選択のための肌状態情報は、上述の、肌補正用メイク選択のための肌状態情報とは、異なる場合がある。

また、メイクアップ支援装置１００は、顔部品あるいは分割顔領域毎に、スキンケアの選択および提示を行ってもよい。この場合、メイクアップ支援装置１００は、対応する領域に対応付けて、スキンケアの提示を行うことが望ましい。

また、メイクアップ支援装置１００は、例えばスチーマー、美顔器などのスキンケア機器と接続され、メイク提示部２９０において、上記スキンケア機器の使用方法等の機器情報を、ユーザに提示してもよい。この場合、メイク提示部２９０は、例えば、接続された機器と通信を行い、当該機器から機器情報を取得してもよいし、当該機器から識別情報のみ取得してインターネットから対応する機器情報を取得してもよい。なお、メイク提示部２９０は、上記スキンケア機器の使用方法を、ユーザの肌状態に基づいて、ユーザ毎に異なった内容で提示してもよい。

図１５は、肌状態取得部２６０がスキンケア選択のために取得すべき、肌状態情報の一例を示す図である。

図１５に示すように、スキンケア選択用の肌状態情報５６０は、例えば、肌項目５６１毎に、色５６２、位置５６３、形状５６４、個数５６５、面積５６６、伝導度５６７、および反射率５６８を記述している。

肌項目５６１は、しみ、くすみ等、スキンケアが必要とされる肌状態の種別を示す。色５６２は、例えば、ＲＧＢ値あるいはＨＳＶ値である。これは、絶対値でもよいし、上述の通り、顔全体の肌色の平均値に対する差分であってもよい。

位置５６３は、画像における肌項目５６１に該当する領域の範囲を示す情報であり、画像上に設定された座標系の座標値リストである。なお、かかる座標系は、上述の顔の特徴点からの相対座標値のリストであってもよい。

形状は、肌項目５６１に該当する領域の範囲の形状を示す情報であり、例えば、半径（長軸径および短軸径）、長さ、枝分かれの本数、あるいは深さ等である。

個数５６５は、例えば、肌項目５６１に該当する個々の領域の数（本数）である。

面積５６６は、例えば、肌項目５６１に該当する領域の面積［ｍｍ^２］、あるいは、かかる領域の指定範囲（例えば顔領域）に対する面積比［％］である。

伝導度５６７は、例えば、インピーダンス［Ω］あるいは肌からの蒸散量［ｍｇ／ｓｅｃ］である。

反射率５６８は、例えば、光の反射率［％］である。

肌補正用メイク選択部２８０は、例えば、顔全体の肌状態の特徴量を、スキンケア選択用の肌状態情報５６０から取得する。また、メイクアップ支援装置１００は、例えば、スキンケア選択用の肌状態情報５６０の成分として、取得され得る顔全体の肌状態の特徴量とスキンケアとを予め対応付けて登録したテーブルを、格納している。そして、肌補正用メイク選択部２８０は、かかるテーブルを参照して、取得した特徴量に対応するスキンケアを取得し、当該スキンケアを示す情報を、メイク提示部２９０へ出力する。メイク提示部２９０は、例えば、かかるスキンケアを示す情報を、シミュレーション画像と一緒に、または別に、表示部３００に表示させる。

このように、メイクアップ支援装置１００は、適切なスキンケアをユーザに更に提示することにより、スキンケアの段階からメイクアップを総合的に支援することができる。

なお、メイクアップ支援装置１００は、肌補正用メイクあるいはスキンケアを提示する際に、検出した肌状態を示す情報を併せて提示してもよい。この場合、メイクアップ支援装置１００は、肌状態を示す情報を、肌状態の良し悪しを直感的に把握することが可能な数値により、提示することが望ましい。

例えば、メイクアップ支援装置１００は、人の平均的な肌状態を５０、非常に悪い肌状態を０、非常に良い肌状態を１００に設定し、検出可能な各肌状態を０−１００の範囲内で割り振る。そして、メイクアップ支援装置１００は、この割り振りにおいて肌状態に対応する値を、肌状態を示す値の範囲が０−１００であることと併せて、ユーザに提示する。これにより、ユーザは、提示された値が５０から上下どちらの方向にどの程度離れているかに応じて、自己のスキンケアの良し悪しを直感的に把握することができる。

＜メイクの選択肢＞
また、本実施の形態に係るメイクアップ支援装置１００は、顔部品特徴量および肌状態特徴量から１つのメイクを選択したが、これに限定されない。例えば、メイクアップ支援装置１００は、複数のメイクを選択肢として提示し、選択されたメイクを、メイク提示部２９０による提示の対象としてもよい。

この場合、例えば、メイクアップ支援装置１００は、顔用メイク選択部２５０において、複数の顔用メイクを選択し、選択した複数の顔用メイクの識別情報を、表示部３００に表示させる。そして、メイクアップ支援装置１００は、タッチパネル付きディスプレイに対する操作等を介してユーザにより選択された顔用メイクの顔用メイク情報を、顔用メイク選択部２５０からメイク提示部２９０へと出力される。

特に、顔用メイクテーブルでは、顔部品特徴量の各グループに複数の顔用メイクが対応付けられており、それら複数の顔用メイクに市場での人気順等の優先度が設定されているとする。この場合、メイクアップ支援装置１００は、顔用メイク選択部２５０において、例えば、優先度が１位から３位までの顔用メイクを、選択肢として提示する。これにより、ユーザは、流行に合った顔用メイクを選択することができる。

また、この場合、メイクアップ支援装置１００は、任意のタイミングで、提示の対象となるメイクの切り替えを、ユーザから受け付けることが望ましい。これにより、ユーザは、複数のメイクの中から、適切かつユーザの好みに合ったメイクを、迅速に判断することができる。

＜他のメイクの選択手法＞
また、メイクアップ支援装置１００は、顔部品特徴量および肌状態特徴量以外のパラメータに基づいて、提示の対象となるメイクを選択してもよい。例えば、メイクアップ支援装置１００は、インターネット上の不特定多数のユーザの評価等、外部での評価が高いメイクを、優先的に選択してもよい。

また、メイクアップ支援装置１００は、人の属性を考慮して、メイクを選択してもよい。例えば、メイクアップ支援装置１００は、過去にメイクアップ技術者によって施されたメイクアップのメイクの中から、ユーザと年齢層や居住地域が一致する人に対して適用されたメイクを、優先的に選択する。この場合、顔用メイクテーブルおよび肌補正用メイクテーブルに登録されるメイク、および、撮影される画像に対して、人ＩＤ、職業、年齢等の、人の属性に関する情報が設定される必要がある。これにより、人の属性に応じて適切なメイクが異なる場合に、より適切なメイクを優先的に提示することが可能となる。

＜化粧品情報の応用＞
また、メイクアップ支援装置１００は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置１００は、ユーザがメイクに対する決定操作を行ったとき、インターネットを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。

＜他の提示内容＞
また、メイクアップ支援装置１００は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。

また、メイクアップ支援装置１００は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」、「両目の下の幅１ｃｍの範囲に、Ｂ２社の品番７８のコンシーラを、薄目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。

＜他の提示手法＞
また、メイクアップ支援装置１００は、シミュレーション画像以外の手法で、顔用メイクおよび肌補正用メイクの提示を行ってもよい。

例えば、メイクアップ支援装置１００は、肌用化粧品の化粧剤を所定の薄膜（紙状媒体）に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。

そして、メイクアップ支援装置１００は、メイク提示部２９０において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、顔用メイクおよび肌補正用メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。

これにより、メイクアップ支援装置１００は、顔用メイクおよび肌補正用メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。

ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、所望のメイクを行うことができる。

＜その他の構成の変形例＞
また、顔用メイクテーブルおよび肌補正用メイクテーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、顔用メイクおよび肌補正用メイクを選択すればよい。

また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部３００のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。

また、肌状態取得部２６０は、画像からではなく、肌に接触させて肌状態を検出するセンサ機器のセンサ情報、肌には接触させずに肌情報を取得する非接触方式のセンサ機器のセンサ情報（例えば肌表面の温度情報等）から、肌情報を取得してもよい。また、肌情報取得部２６０は、ユーザがタッチパネル付きディスプレイに対する等の操作により入力した情報から、肌状態を取得してもよい。

また、肌状態取得部２６０は、紫外線光を顔に当てたときの画像等、シミュレーション画像に用いる画像とは別の画像から、肌状態情報を取得してもよい。

また、肌状態取得部２６０は、外光を検出し、画像から、外光の影響を軽減した状態で、顔部品特徴量や肌状態特徴量の取得を行うようにしてもよい。

また、メイクの具体的内容は、上述の例に限定されない。例えば、提示の対象となる顔用メイクには、マスカラ、リップグロス等が含まれる。また、提示の対象となる肌補正用メイクには、ハイライト等が含まれる。

本開示のメイクアップ支援装置は、顔を撮影した画像を取得する画像取得部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、前記顔の肌状態を取得する肌状態取得部と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するメイク提示部と、を有する。

なお、上記メイクアップ支援装置において、前記肌状態取得部は、前記顔の顔領域を分割した分割顔領域毎に、肌状態を取得し、前記肌補正用メイク選択部は、前記分割顔領域毎に取得された前記肌状態に基づいて、前記分割顔領域毎に、前記肌補正用メイクを選択し、前記メイク提示部は、前記肌補正用メイクを、対応する前記分割顔領域に対応付けて提示してもよい。

また、上記メイクアップ支援装置において、前記メイク提示部は、前記画像に、前記顔に対して前記顔用メイクおよび前記肌補正用メイクを適用したときの前記前記顔用メイクおよび前記肌補正用メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。

また、上記メイクアップ支援装置において、前記肌状態取得部は、肌状態が前記肌補正用メイクを適用すべき所定のレベルに達している前記分割顔領域である、要肌補正領域を検出し、前記肌補正用メイク選択部は、前記要肌補正領域を、前記肌補正用メイクの選択の対象としてもよい。

また、上記メイクアップ支援装置は、前記ユーザの顔の映像を撮影する撮影部と、前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記メイク提示部は、前記映像に対して一旦選択された前記顔用メイクおよび前記肌補正用メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させてもよい。

また、上記メイクアップ支援装置において、前記顔用メイク選択部は、前記顔の顔部品特徴量を取得し、取得され得る顔部品特徴量と顔用メイクとを予め対応付けて登録した顔用メイクテーブルを参照して、前記顔用メイクを選択し、前記肌補正用メイク選択部は、前記分割顔領域毎に肌特徴量を取得し、取得され得る肌特徴量と肌補正用メイクとを予め対応付けて登録した肌補正用メイクテーブルを参照して、前記顔用メイクを選択してもよい。

また、上記メイクアップ支援装置において、前記肌状態は、しみ（班）の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも１つを含んでもよい。

また、上記メイクアップ支援装置において、前記顔用メイクおよび前記肌補正用メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記メイク提示部は、選択された前記顔用メイクおよび前記肌補正用メイクを適用するのに必要な化粧品に関する情報を、更に提示してもよい。

また、メイクアップ支援装置１００は、撮影される顔を照明する照明部を新たに備えてもよい。この照明部は、調光機能を有し、ユーザの指示によりユーザが希望する環境光（オフィスの蛍光灯、キャンドル光、バーの照明、自然光等）を再現可能であることが望ましい。これにより、メイクアップ支援装置１００は、ユーザが、実際に希望する環境光の下でのメイクの見栄えを確認しながら、メイクシミュレーションすることを可能にする。

本開示のメイクアップ支援方法は、顔を撮影した画像を取得するステップと、前記画像から、顔部品の領域を取得するステップと、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、前記顔の肌状態を取得するステップと、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択するステップと、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するステップと、を有する。

本開示のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像を取得する処理と、前記画像から、顔部品の領域を取得する処理と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、前記顔の肌状態を取得する処理と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する処理と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示する処理と、を実行させる。

本発明は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができるメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。

１００ メイクアップ支援装置
２１０ 撮影部
２２０ 画像取得部
２３０ 顔部品取得部
２４０ 顔用メイクテーブル格納部
２５０ 顔用メイク選択部
２６０ 肌状態取得部
２７０ 肌補正用メイクテーブル格納部
２８０ 肌補正用メイク選択部
２９０ メイク提示部
３００ 表示部

Claims (10)

1. 顔を撮影した画像を取得する画像取得部と、
   前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、
   前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、
   前記顔の肌状態を取得する肌状態取得部と、
   前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、
   ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するメイク提示部と、を有する、
   メイクアップ支援装置。
2. 前記肌状態取得部は、
   前記顔の顔領域を分割した分割顔領域毎に、肌状態を取得し、
   前記肌補正用メイク選択部は、
   前記分割顔領域毎に取得された前記肌状態に基づいて、前記分割顔領域毎に、前記肌補正用メイクを選択し、
   前記メイク提示部は、前記肌補正用メイクを、対応する前記分割顔領域に対応付けて提示する、
   請求項１に記載のメイクアップ支援装置。
3. 前記メイク提示部は、
   前記画像に、前記顔に対して前記顔用メイクおよび前記肌補正用メイクを適用したときの前記顔用メイクおよび前記肌補正用メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
   請求項２に記載のメイクアップ支援装置。
4. 前記肌状態取得部は、
   肌状態が前記肌補正用メイクを適用すべき所定のレベルに達している前記分割顔領域である、要肌補正領域を検出し、
   前記肌補正用メイク選択部は、
   前記要肌補正領域を、前記肌補正用メイクの選択の対象とする、
   請求項２に記載のメイクアップ支援装置。
5. 前記ユーザの顔の映像を撮影する撮影部と、
   前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、
   前記画像取得部は、
   前記映像を構成する画像を取得し、
   前記メイク提示部は、
   前記映像に対して一旦選択された前記顔用メイクおよび前記肌補正用メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させる、
   請求項３に記載のメイクアップ支援装置。
6. 前記顔用メイク選択部は、
   前記顔の顔部品特徴量を取得し、取得され得る顔部品特徴量と顔用メイクとを予め対応付けて登録した顔用メイクテーブルを参照して、前記顔用メイクを選択し、
   前記肌補正用メイク選択部は、
   前記分割顔領域毎に肌特徴量を取得し、取得され得る肌特徴量と肌補正用メイクとを予め対応付けて登録した肌補正用メイクテーブルを参照して、前記肌補正用メイクを選択する、
   請求項２に記載のメイクアップ支援装置。
7. 前記肌状態は、しみ（班）の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも１つを含む、
   請求項２に記載のメイクアップ支援装置。
8. 前記顔用メイクおよび前記肌補正用メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、
   前記メイク提示部は、
   選択された前記顔用メイクおよび前記肌補正用メイクを適用するのに必要な化粧品に関する情報を、更に提示する、
   請求項２に記載のメイクアップ支援装置。
9. 顔を撮影した画像を取得するステップと、
   前記画像から、顔部品の領域を取得するステップと、
   前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、
   前記顔の肌状態を取得するステップと、
   前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択するステップと、
   ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するステップと、を有する、
   メイクアップ支援方法。
10. コンピュータに、
    顔を撮影した画像を取得する処理と、
    前記画像から、顔部品の領域を取得する処理と、
    前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、
    前記顔の肌状態を取得する処理と、
    前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する処理と、
    ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示する処理と、を実行させる、
    メイクアップ支援プログラム。

Images