WO2014118842A1 - 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム - Google Patents

Abstract

【課題】利用者の顔をより目標顔画像に近づけるための美容手法を的確に抽出することが可能な、美容支援装置を提供すること。 【解決手段】被化粧者の顔画像を撮像する撮像部２と、目標顔画像を入力する入力部２０と、前記被化粧者の顔画像に対して、互いに異なるメイクアップ手法を適用した複数の合成顔画像を生成する合成顔画像生成部１２と、前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定部２２と、前記類似度判定部２２によって類似度が高いと判断された前記合成顔画像に適用したメイクアップ手法を抽出するメイクアップ手法抽出部２４とで構成する。

Description

美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム

　本発明は、被化粧者などの利用者に対して、美容方法に関するアドバイスを行う美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラムに関するものである。

　近年、化粧品の種類や用途が多岐にわたっている。化粧品そのものは従来の販売システムである対面販売に加え、スーパーマーケット、コンビニ等によって大量に販売されており、被化粧者は様々な化粧品をより簡易かつ大量に入手可能になっている。このような多品種の化粧品に対して、被化粧者は化粧品に添付される製品情報やファッション雑誌やインターネット等から化粧品やメイクアップ手法に関する情報を入手し、自らが化粧を施す際に活用している。しかし、このような情報のみでは、実際に施した化粧が被化粧者の目標とするイメージに近いものか否かを適切に判断することはできない。

　これに対して、例えば特許文献１には、被化粧者が要望する顔を撮影したサンプル画像から化粧方法を特定し、その特定した化粧方法を被化粧者の顔画像に適用することで手本化粧顔画像を生成し、化粧の手順ごとに被化粧者の顔画像と手本化粧顔画像との評価を行い、評価結果に基づいて化粧アドバイスを提示する技術が開示されている。

　また、特許文献２には、顔画像から２つの独立な特徴量（顔を構成する目や鼻といった顔パーツの配置が遠心的か求心的か、および顔パーツの形状が曲線的か直線的かの指標）を抽出し、２次元の評価軸上にプロットされた評価軸上の４つの象限に応じて、顔を特徴別または印象別に分類する技術が開示されている。

特許第３４０８５２４号公報 特許第３６１４７８３号公報

　特許文献１に開示された技術では、被化粧者の顔と、化粧の目標とするサンプル画像に写った顔画像（以降、「目標顔画像」と呼称する）の全体的な形態や、顔を構成する目や鼻といったパーツ（以降、「顔パーツ」と呼称する）の形態、相対的な位置関係が似ている場合（極端な例としては一卵性双生児のような場合）は、目標顔画像から特定された化粧方法を施すことで結果として被化粧者の顔は目標顔画像に近づくものと考えられる。しかしながら、被化粧者と目標顔画像との形態が異なる場合、通常は、同一の化粧を施しても両者の印象は同一とならないことが多い。即ち、人の感性に基づく評価が行われていないために、形状的、測色的に全く同じ化粧を施しても、両者の雰囲気が異なってしまう（人の感覚として両者の類似度が低い）という課題があった。しかも、雰囲気が異なる程度を直観的に把握することは困難であり、その結果、被化粧者は目標顔画像に備わった例えば「キュート」といった感覚的な特性を得ようとする場合、試行錯誤を繰り返す必要があった。

　また、特許文献１では、目標顔画像からメイクアップ手法を特定できることが前提となっている。しかしながら、前述のごとく化粧品の種類は多岐にわたっており、画像情報のみからメイクアップ手法を特定することは事実上困難であるという課題があった。

　一方、特許文献２に開示された技術では、被化粧者を特徴別または印象別に分類するものの、単に化粧の方向性を確認するに留まっている。このような化粧の方向性に関する情報は、被化粧者の顔の形態に応じて様々なメイクアップ手法を自在に適用できる美容師等には有用だと思われる。しかしながら、一般の被化粧者に対して「より女性らしく見せるためには、顔パーツの配置を求心的にし、各パーツの形状を曲線的にすればよい」との情報を与えたとしても、例えば「女性らしく見せる」といった感性的な項目が、化粧によって達成されたのか否か、しかもどの程度達成されたのか等を把握することは困難であるという課題があった。

　また、特許文献２では、顔の特徴を４つの象限に分類し、象限ごとに人に与える印象を規定した結果、各象限に包含される印象は非常に幅広いものとなっている。このため、特許文献２の技術を機械学習に応用して、各象限が持つ印象を化粧に対する評価項目として学習させたとしても、この学習には被化粧者にとって不必要な評価項目まで包含されてしまう。具体的には、例えば被化粧者が「キュート」という評価項目について化粧結果を評価したいと思っても、「キュート」が含まれる象限の中には「素朴」のような実質的に異なる評価項目が含まれる。従って、機械学習の結果、類似と判断される顔画像であっても、被化粧者の感覚では類似しない、即ち、学習結果と被化粧者の認識との間に乖離が生じるという課題があった。

　本発明は、このような従来技術の課題を解決するべく案出されたものであり、その主な目的は、利用者の顔をより目標顔画像に近づけるための美容手法を的確に抽出するとともに、利用者の顔画像と目標顔画像との差異を、人の感覚に基づく評価項目のランク値として表示し、利用者が美容手法を施した結果、目標顔画像にどの程度近づいたかを直観的に認識することが可能な、美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラムを提供することにある。

　本発明は、利用者の顔画像を撮像する撮像手段と、目標顔画像を入力する入力手段と、前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法を抽出する美容手法抽出手段と、で構成した美容支援装置である。

　これによって、利用者の顔画像に対して互いに異なる美容手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より的確な美容手法を提供することが可能となる。

　また、本発明は、利用者の顔画像を撮像する撮像手段と、目標顔画像を入力する入力手段と、前記利用者の顔画像に対して、互いに異なるメイクアップ手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、前記利用者の顔画像と前記目標顔画像とに対して、所定の評価項目についてランク値を出力する評価手段と、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用されたメイクアップ手法および前記ランク値を表示する表示手段と、を備える美容支援装置である。

　これによって、利用者の顔画像に対して互いに異なるメイクアップ手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より目標顔画像に近づくメイクアップ手法を提供するとともに、かつ利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目として具体的な数値で表示することが可能となる。

　また、本発明は、前記類似度判定手段は、前記目標顔画像と前記複数の合成顔画像とから所定の特徴量を抽出する特徴量抽出手段と、前記特徴量を、人の感性に基づくそれぞれ異なる評価項目に対応付けられた部分空間に射影する射影手段と、を備え、前記目標顔画像と前記合成顔画像とから得た前記特徴量を、前記部分空間に射影した座標間のユークリッド距離に基づき、前記部分空間における類似度を判定し、更に、それぞれ異なる評価項目に対応付けられた前記部分空間における類似度に基づき、前記目標顔画像と前記合成顔画像との類似度を判定するようにしたものである。

　これによって、人の感性に基づく評価項目が類似度の判定に用いられるため、利用者の顔と目標顔画像の形態が異なるような場合であっても、的確に類似度を判定することが可能となる。

　また、本発明は、前記評価手段は、前記目標顔画像と前記複数の合成顔画像とから所定の特徴量を抽出する特徴量抽出手段と、前記特徴量を、人の感性に基づくそれぞれ異なる評価項目に対応付けられた部分空間に射影する射影手段と、前記複数の部分空間において、前記射影手段によって射影された前記特徴量の座標に基づき、前記所定の評価項目毎に前記ランク値を推定するランク推定手段と、を有するものである。

　これによって、人の感性に基づくそれぞれ異なる評価項目がランク値として判定されるため、利用者の顔画像と目標顔画像との間で、例えば「キュート」といった感性的な項目について数値として評価することが可能となる。

　また、本発明は、前記撮像手段は、所定のタイミングで前記利用者の顔画像を繰り返し撮像して更新し、前記評価手段は、更新された前記利用者の顔画像について前記ランク値を出力し、前記表示手段は、更新された前記利用者の顔画像と前記ランク値とを表示するようにしたものである。

　これによって、利用者が美容手法を進めるにつれ、利用者の顔画像とランク値とが更新され、目標顔画像に対して現在の美容手法の状況がどの程度進行しているかを、直観的に判断することが可能となる。

　また、本発明は、前記表示手段は、前記所定の評価項目に対応する軸を有するレーダーチャート上に、前記ランク値を表示するようにしたものである。

　これによって、複数の評価項目について、利用者の顔画像と目標顔画像とのランク値を同時に表示することで、より直観的に両者の関係を把握することが可能となる。

　また、本発明は、前記利用者の顔画像から、年齢または性別の少なくとも一方を推定する属性推定手段を更に備え、前記類似度判定手段は、前記属性推定手段の推定結果に従って、前記特徴量を射影する前記部分空間を決定するように構成したものである。

　これによって、属性推定手段で推定された年齢、性別の違いに基づいて人の感性に基づく評価項目が選択されるため、利用者にとって有用な評価項目のみを用いた類似度の判定が可能となる。

　また、本発明は、前記所定の特徴量を、Ｎ次元ベクトルとし、前記部分空間を、前記Ｎ次元より小さい次元数の空間としたものである。

　これによって、より次元数の小さい部分空間では、次元数Ｎの特徴量空間の中から有用な軸のみが取捨選択され、特定の評価項目についての判別能力（分解能）が事実上向上するため、実質的に類似度の精度を向上させることが可能となる。

　また、本発明は、前記互いに異なる美容手法を記憶するメイクアップ手法記憶部を備え、前記メイクアップ手法記憶部は、追記型のデータベースで構成されているものである。

　これによって、最新の流行や季節を反映した化粧品情報に基づいて合成顔画像の生成が可能になる。

　また、本発明は、前記合成顔画像生成手段によって生成された複数の合成顔画像を記憶する合成顔画像記憶部を備え、前記合成顔画像生成手段は、前記メイクアップ手法記憶部の内容が更新されたときに、画像合成の際のベースとなる基本顔画像に対して更新されたメイクアップ手法を適用して前記合成顔画像を生成し、前記合成顔画像記憶部に記憶するようにしたものである。

　これによって、最新の流行や季節を反映した化粧品情報に基づいて合成顔画像の生成が可能になるとともに、同一の被化粧者が異なる目標顔画像との間で類似度を判定したいような場合に、一旦作成した合成顔画像を再利用することが可能となる。

　また、本発明は、利用者の顔画像を撮像する撮像手段と、目標顔画像を入力する入力手段と、美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベースと、前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法を前記データベースから抽出する美容手法抽出手段と、を有する美容支援システムである。

　これによって、利用者の顔画像に対して互いに異なる美容手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より的確な美容手法を提供することが可能となる。

　また、本発明は、利用者の顔画像を撮像する撮像手段、および目標顔画像を入力する入力手段を備える情報端末と、美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベース、前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段、および前記目標顔画像に対する前記複数の合成顔画像の類似度を判定する類似度判定手段を備えるサーバと、を含み、前記情報端末は、ネットワークを介して前記サーバに前記利用者の顔画像および前記目標顔画像を送信し、前記サーバから、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法を取得する美容支援システムである。

　これによって、利用者はスマートフォン、タブレット端末等の情報端末からサーバにアクセスすることで、的確な美容手法に関する情報を簡易に受け取ることが可能となる。

　また、本発明は、利用者の顔画像を撮像する撮像手段と、目標顔画像を入力する入力手段と、美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベースと、前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、前記利用者の顔画像および前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価手段と、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法と前記ランク値とを表示する表示手段と、を備える美容支援システムである。

　これによって、利用者の顔画像に対して互いに異なるメイクアップ手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より目標顔画像に近づくメイクアップ手法を提供するとともに、かつ利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目として具体的な数値で表示することが可能となる。

　また、本発明は、利用者の顔画像を撮像する撮像手段、および目標顔画像を入力する入力手段を備える情報端末と、美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベース、前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段、前記目標顔画像に対する前記複数の合成顔画像の類似度を判定する類似度判定手段、および前記利用者の顔画像および前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価手段を備えるサーバと、を含み、前記情報端末は、ネットワークを介して前記サーバに前記利用者の顔画像および前記目標顔画像を送信し、前記サーバから、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法と前記ランク値とを取得して、これらを表示する美容支援システムである。

　これによって、利用者はスマートフォン、タブレット端末等の情報端末からサーバにアクセスすることで、的確な美容手法に関する情報およびランク値を受け取って、これを情報端末に表示することが可能となる。

　また、本発明は、利用者の顔画像を撮像し、目標顔画像を入力し、前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、前記目標顔画像と前記複数の合成顔画像との類似度を判定し、前記類似度が高いと判断された前記合成顔画像に適用した美容手法を抽出する美容支援方法である。

　これによって、利用者の顔画像に対して互いに異なる美容手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より的確な美容手法を提供することが可能となる。

　また、本発明は、利用者の顔画像を撮像し、目標顔画像を入力し、前記利用者の顔画像に対して、互いに異なるメイクアップ手法を適用した複数の合成顔画像を生成し、前記目標顔画像と前記複数の合成顔画像との類似度を判定し、前記利用者の顔画像と前記目標顔画像とに対して、所定の評価項目についてランク値を出力し、前記類似度が高いと判断された前記合成顔画像に適用されたメイクアップ手法、および前記ランク値を表示する美容支援方法である。

　これによって、利用者の顔画像に対して互いに異なるメイクアップ手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より目標顔画像に近づくメイクアップ手法を提供するとともに、かつ利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目として具体的な数値で表示することが可能となる。

　また、本発明は、利用者の顔画像と目標顔画像とを入力し、前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、前記目標顔画像と前記複数の合成顔画像との類似度を判定し、前記類似度が高いと判断された前記合成顔画像に適用した美容手法を抽出する美容支援プログラムである。

　これによって、美容支援プログラムを実装した専用機、クライアントサーバシステムの端末、スマートフォン、タブレット端末等において、利用者の顔画像に対して、互いに異なる美容手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より的確な美容手法を提供することが可能となる。

　また、本発明は、利用者の顔画像と目標顔画像とを入力し、前記利用者の顔画像に対して、互いに異なるメイクアップ手法を適用した複数の合成顔画像を生成し、前記目標顔画像と前記複数の合成顔画像との類似度を判定し、前記利用者の顔画像と前記目標顔画像とに対して、所定の評価項目についてランク値を出力し、前記類似度が高いと判断された前記合成顔画像に適用されたメイクアップ手法、および前記ランク値を表示する美容支援プログラムである。

　これによって、美容支援プログラムを実装した専用機、クライアントサーバシステムの端末、スマートフォン、タブレット端末等において、利用者の顔画像に対して互いに異なるメイクアップ手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より目標顔画像に近づくメイクアップ手法を提供するとともに、かつ利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目として具体的な数値で表示することが可能となる。

　本発明によれば、利用者の顔画像に対して互いに異なるメイクアップ手法を適用した合成顔画像と目標顔画像との類似度に基づいて、より目標顔画像に近づくメイクアップ手法を提供するとともに、かつ利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目として具体的な数値で表示することが可能となる。

本発明の第１実施形態に係る美容支援装置の構成を示すブロック構成図 本発明の第１実施形態に係る美容支援装置において類似度を判定する過程を説明するフローチャート 本発明の第１実施形態に係る美容支援装置において類似度を判定する過程を説明するフローチャート 合成顔画像を生成する際の画像処理対象を説明する説明図 本発明の第１実施形態に係る美容支援装置において合成顔画像を生成する過程を説明する説明図 本発明の第１実施形態に係る美容支援装置において特徴量を特徴量空間にプロットする過程を説明する説明図 本発明の第１実施形態に係る美容支援装置において特徴量を部分空間に射影する過程を説明する説明図 人の感性に基づく評価項目の内容（感覚的な特性）を示す表 美容支援装置において被化粧者にランク値を表示する過程を説明するフローチャート （ａ）～（ｃ）は、人の感性に基づく評価項目に対応する部分空間と回帰モデルとの関係を示す説明図、（ｄ）は、各評価項目についてのランク値をレーダーチャートに表示した状態を説明する説明図 表示部における表示内容の例を説明する説明図 本発明の第２実施形態に係る美容支援装置において類似度を判定する過程を説明するフローチャート 本発明の第３実施形態に係る美容支援装置の構成を示すブロック構成図 本発明の第４実施形態に係る美容支援装置の構成を示すブロック構成図

（第１実施形態）
　図１は、本発明の第１実施形態に係る美容支援装置１の構成を示すブロック構成図である。以降、図１を用いて第１実施形態の美容支援装置１について、まずは構成および機能について説明する。なお、本実施形態では、利用者として自ら化粧を施す被化粧者が本装置を利用する場合を例に説明するが、化粧以外の美容手法においても、同様の構成を採用することができる。

　図１において、美容支援装置１は、撮像部（撮像手段）２と目標顔画像入力部（入力手段）２０と画像処理部３と記憶部４と表示部（表示手段）５とユーザインタフェース６とで構成されている。

　撮像部２は、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成された撮像素子を備えており、例えば１５ｆｐｓ（Frames Per Second）の周期で画像を撮像して画像データを出力する。撮像部２で撮像された画像データに対して、例えば撮像部２に内蔵された画像処理回路（図示せず）は、前処理としてデモザイク、色補正、ホワイトバランス補正、γ補正等の公知の画像処理を施す。

　その後、前処理後の画像データに対し、記憶部４に格納されているデータを参照して、画像処理部３によって種々の処理が実行される。なお、画像処理の対象となる画像データは、画像処理部３の各構成要素で所定の処理を施された後、図示しないメモリに一旦格納して、次の構成要素を起動するようにしてもよいし、各構成要素がパイプラインとして動作するようにハードウェアやソフトウェアを構成してもよい。

　なお、図１において表示部５は２つ記載されているが、これは記載上の制約からであり実際は１つとされている。

　記憶部４には、データベースとして、属性推定モデル記憶部４ａ、評価項目記憶部４ｂ、メイクアップ手法記憶部４ｃ、合成顔画像記憶部４ｄ、射影行列／回帰モデル記憶部４ｅが構築されている。なお、射影行列／回帰モデル記憶部４ｅに記憶されている射影行列と回帰モデルとはそれぞれ異なるデータである。

　この中でメイクアップ手法記憶部４ｃおよび合成顔画像記憶部４ｄは追記型である点で他のデータベースとは異なる。その他は、使用するデータを予め記憶した読み取り専用のデータベースである。後に説明するように、合成顔画像は、合成顔画像生成部（合成顔画像生成手段）１２がメイクアップ手法記憶部４ｃに格納されたデータを参照することで生成され、この生成された合成顔画像が合成顔画像記憶部４ｄに記憶される。合成顔画像を生成するモードによっては被化粧者の合成顔画像のデータ量が大きくなる場合がある。

　また、後述するように合成顔画像と目標顔画像との間で類似度の判定が行われ、最適なメイクアップ手法が得られた際、合成顔画像を消去してもよいが、一旦生成された合成顔画像を後に流用するようにしてもよい。つまり、同一の被化粧者が他の目標顔画像との類似度を判定するような場合は、生成した合成顔画像を保存しておけば、その都度、合成顔画像を生成する必要がなくなる。

　これらのことから、合成顔画像記憶部４ｄのデータ容量は他のデータベースと比較して大きくしておく必要がある。そこで、合成顔画像記憶部４ｄは、いわゆる大容量記憶装置であるハードディスクドライブや、装置構成上、複数の被化粧者のデータを取り扱うような場合は、ハードディスクドライブを複数台で構成して信頼性やデータ転送の高速化を図ったＲＡＩＤ（Redundant Arrays of Inexpensive Disks）で構成するとよい。

　なお、以降の説明では、合成顔画像記憶部４ｄには、画像データとして合成顔画像格納されているものとするが、これに替えて、後に説明する特徴量抽出部２５によって抽出された特徴量を格納してもよい。

　以降、画像処理部３の構成について説明する。第１実施形態に係る美容支援装置１の画像処理部３の機能を端的に説明すると、撮像部２で撮像された画像に含まれる被化粧者の顔画像に対して、合成顔画像生成部１２で種々のメイクアップ手法を適用（即ち、シミュレーション）した画像（以降、「合成顔画像」と呼称する）を生成し、類似度判定部２２で目標顔画像との類似度を判定し、メイクアップ手法抽出部２４で最も類似度が高い合成顔画像の生成に使用したメイクアップ手法を抽出し、このメイクアップ手法を表示部５に表示する。以降、詳細に説明する。

　顔検出部１０では撮像部２で撮像された画像から顔画像を検出し、顔画像が含まれる場合はこれを切り出して顔パーツ検出部１１に出力する。顔パーツ検出部１１は、顔画像から目、鼻、口といった顔パーツを検出する。

　顔検出部１０で切り出された顔画像は属性推定部（属性推定手段）２７にも送出される。属性推定部２７では、属性推定モデル記憶部４ａに記憶されている属性推定モデルに基づき顔画像から年齢、性別、人種等の属性を推定する。その推定結果は評価項目決定部２８に送られる。そして、評価項目決定部２８は推定結果に基づいて、評価項目記憶部４ｂに記憶している「人の感性に基づくそれぞれ異なる評価項目」から類似度を判定する際に用いる評価項目を決定する。なお、以降の説明においては「人の感性に基づくそれぞれ異なる評価項目」を「人の感性に基づく評価項目」または単に「評価項目」と呼称する。

　目標顔画像入力部２０は被化粧者が化粧に先んじて「化粧によってこういう顔にしたい」という目標顔画像を入力するものである。この目標顔画像は、被化粧者が第３者の顔をディジタルカメラ等で撮影して可搬性記憶媒体等を経由して取り込んでもよく、インターネットで女優等の顔写真を検索した画像であってもよく、撮像部２によって直接撮影した動画をキャプチャしたものであってもよい。このように第１実施形態の美容支援装置１は、画像の入力源としてあらゆるソースを許容するため、目標顔画像入力部２０に取り込まれた時点の画像には、上述した類似度の判定に全く寄与せず、最初から除外しておくべき部分も含まれる。そこで、目標顔画像入力部２０によって取り込まれた画像は、顔検出部２１に送られて顔検出を行って顔部分のみが抽出される。なお、図１では顔検出部２１は顔検出部１０と別に設けられているが、これらは１つとして構成しても構わない。

　次に、類似度判定部（類似度判定手段）２２の構成について説明する。類似度判定部２２は、特徴量抽出部（特徴量抽出手段）２５と部分空間射影部（射影手段）２６とユークリッド距離計算部２９とで構成されており、上述した、合成顔画像記憶部４ｄに格納された合成顔画像並びに顔検出部２１で切り出された目標顔画像は、類似度判定部２２の特徴量抽出部２５に入力される。

　特徴量抽出部２５は、入力された合成顔画像からＧａｂｏｒ特徴またはＬＢＰ（Local Binary Pattern）といった局所的特徴量を抽出する。また、特徴量抽出部２５は、目標顔画像についても同様にして局所的特徴量を抽出する。このようにして抽出された特徴量は、通常、高次元（Ｎ次元）ベクトルを構成する。

　特徴量抽出部２５で抽出された特徴量は、部分空間射影部２６で所定の部分空間に射影される。ここでいう部分空間とは、特徴量が構成するＮ次元ベクトルよりも次元が小さいベクトル空間であり、第１実施形態では、上述した人の感性に基づく評価項目と直接対応したベクトル空間である。この部分空間を用いることで、部分空間における合成顔画像と目標顔画像との類似度や、合成顔画像や目標顔画像のランク値（点数）を個別に求めることができる。部分空間の作成方法等については後に説明する。

　また、部分空間射影部２６は、属性推定部２７によって推定された性別・年齢等に基づいて評価項目決定部２８が決定した評価項目に対応する部分空間に、合成顔画像および目標顔画像の特徴量を射影する。この結果、部分空間における合成顔画像および目標顔画像の座標値が決定される。なお、射影は特徴量を構成するＮ次元ベクトルのうち、これより少ない次元のベクトルを生成する操作であり、例えば射影後の次元数をＮ１とした場合、Ｎ次元ベクトルに対して、Ｎ１×Ｎのマトリクスサイズを有する行列を掛けることに相当する。

　ユークリッド距離計算部２９は、部分空間に射影された合成顔画像および目標顔画像の座標値に基づいて、座標間の距離を計算する。そして、メイクアップ手法抽出部（メイクアップ手法抽出手段）２４はユークリッド距離計算部２９の出力に基づいて、複数のメイクアップ手法のうち最も目標顔画像に近い合成顔画像が得られる手法を選択し、表示部５に表示する。

　次に、評価部（評価手段）４０の構成について説明する。評価部４０は、特徴量抽出部２５と部分空間射影部２６とランク推定部（ランク推定手段）４１とで構成される。特徴量抽出部２５および部分空間射影部２６は既に説明したものと同一であるので説明を省略する。ランク推定部４１は射影行列／回帰モデル記憶部４ｅにアクセスし、合成顔画像または目標顔画像の特徴量に基づき、評価項目回帰モデルを用いて各評価項目におけるこれらのランク値を取得し、表示部５に表示する。

　次に、全体制御部７について説明する。美容支援装置１は、上述した各構成要素の動作を制御するハードウェアとして、図示しない演算装置としてのＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro-Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ワークメモリ、プログラムメモリ、これらの構成要素間でデータをやり取りするパラレル／シリアルバス等の公知の構成を備えている。

　なお、図１に示す機能ブロックの全てをハードウェアによって構成する必要はなく、適宜、上述した演算装置等とこれを動作させるソフトウェアを実装してもよいし、更に、以下に示す構成要素の全てを、一般的なカメラ付きノートＰＣ（Personal Computer）、スマートフォンやタブレット端末等に実装してもよい。

　また、美容支援装置１にはユーザインタフェース６が設けられている。ユーザインタフェース６は具体的にはキーボード、マウス、タッチパネルといった入力デバイスで構成され、被化粧者はユーザインタフェース６を操作することで、全体制御部７を介して美容支援装置１に指示を与える。この指示の具体例としては、例えば目標顔画像入力部２０における画像の選択指示が挙げられる。

　図２、図３は、本発明の第１実施形態に係る美容支援装置１において類似度を判定する過程を説明するフローチャートである。以降、図２、図３に図１を併用して、第１実施形態の美容支援装置１の動作と、美容支援装置１で用いられる画像処理アルゴリズムについて説明する。なお、説明に際して、重要なポイントについては、都度図面を追加して説明を行う。

　図２、図３に示すフローチャートはＰ１，Ｐ２，Ｐ３の３つのプログラムモジュールで構成されているが、ＴＭ１，ＴＭ２，ＴＭ３は同期点を示している。即ち、プログラムＰ２は少なくもプログラムＰ１のステップがＴＭ１に到達するまでに実行されていればよく、プログラムＰ３は少なくともプログラムＰ１のステップが最初にＴＭ３に到達するまでに実行されていればよい。なお、プログラムＰ３は、結合子ＡでプログラムＰ１と結合されている。

　まずプログラムＰ１の処理から説明する。まず、撮像部２で被化粧者の顔が含まれた画像を撮像する（ステップＳＴ１０１）。動画で撮影したものを、ユーザインタフェース６を用いてキャプチャしてもよいし、始めから静止画として撮影してもよい。

　撮像された画像データは上述の前処理を施された後、顔検出部１０によって顔検出を行ない、顔検出が成功した否かを判断する（ステップＳＴ１０２）。

　顔検出の一般的な手法として、統計的学習に基づくパターン認識技術を用いることができる。この技術では、識別器のパラメータはあらかじめ与えた学習用サンプルを元に決定される。識別器として、例えばニューラルネットワークや、サポートベクターマシン、ベイズ推定等を用いた手法が知られている。これらの手法は、通常、入力画像から識別に用いる特徴量を抽出する特徴選択技術と、抽出した特徴量を入力として対象物であるか否かを判定する識別器を構築する識別器構築技術と、構築した識別器を使って、画像ウィンドウ内に顔が存在するか否かを判定する技術とから構成される。

　顔の存在の有無を判定する技術として、例えば、４方向面特徴と線形判別分析とを用いる方法が知られている。この技術では、画像内の肌色情報や動き情報により設定した探索領域に対して４方向面特徴を用いたテンプレートにより入力画像の走査探索を行い、線形判別分析によって顔および頭部のパターンに識別される領域を検出する。

　ここで、４方向面特徴とは、脳の視覚野を工学的に模した特徴量で、エッジの形状変動に対してロバストであり、また計算コストが低いといった特徴がある。４方向面特徴は各画素のエッジ勾配を４つの方向面にわり当てて表現したもので、いわゆるＧａｂｏｒ特徴を簡略化したような特徴として知られている。

　また、線形判別分析とは、判別対象である２つ以上のクラスタに関して、クラス内分散を最小に、クラス間分散を最大にするような射影行列を求める手法である。そして、入力された特徴量を、線形判別分析で得た写像行列により判別空間へ投影し、判別クラスの平均ベクトルとの距離が最小となるクラスを識別結果とする方法全般をいう。一般にこれらの顔認識技術では、認識の信頼度を算出することができるから、出力された信頼度の値を所定の閾値と比較することで、顔検出が成功したか否かを判定すればよい。

　顔検出が成功していれば（ステップＳＴ１０２でＹｅｓ）ステップＳＴ１０４に進み、成功していなければ（ステップＳＴ１０２でＮｏ）撮像部２における電荷蓄積時間やフレームレートといったパラメータ調整や、顔検出の閾値調整を行い（ステップＳＴ１０３）、再度被化粧者を撮影する（ステップＳＴ１０１）。もちろん再度の撮像が不要であれば（例えば、画像のコントラスト調整やγ値によって修正が可能な場合）、前処理の段階で画像を修正して顔検出を実行してもよい。また、信頼度と合わせて顔認識が失敗した原因を特定するコードを出力し、これを参照してパラメータ調整を行うことで、顔認識に適した画像を少ない試行回数で撮影することができる。

　さて、ステップＳＴ１０２で顔検出が成功したとしても、顔が含まれる顔枠の枠サイズ、顔枠内での顔の向きや顔の位置は様々であり、この状態で他の顔画像との類似性を評価することはできない。よって、所定の顔枠内に顔が収まるように正規化する必要がある。この手法として、例えば、検出された顔枠に対して目の検出を行い、目の位置を元にして顔画像にアフィン変換を施して顔を正規化する手法、あるいは、検出された顔枠に対してＡＡＭ（Active Shape Model）を適用し、顔枠にアフィン変換を施して顔を正規化する手法、が知られている。これらの処理を施すことにより、検出された顔枠は全てサイズが統一され（例えば１００×１００画素）、顔枠の中心に顔が存在するように正規化される。

　このようにして撮像部２で撮影した画像から顔検出を行った後、顔パーツ検出部１１で目、鼻、口といった顔パーツ位置の検出を行い、顔パーツ位置の検出が成功したか否かを判断する（ステップＳＴ１０４）。顔パーツ検出部１１では、例えば、四方向面特徴と弛緩整合法とにより人物の違いや顔の向きに依存性を少なくして目、鼻、口といった顔パーツの検出を行うことができる。

　第１実施形態に応用可能な他の技術として、Ｈａａｒ－ｌｉｋｅ特徴を用いて顔と各顔パーツとを検出する手法が知られている。その際、まず、顔パーツの中で最も検出の容易な鼻を基準として、相対的位置関係から各顔パーツの候補領域を推定する。さらに、その候補領域近傍にてＨＯＧ（Histogram of Oriented Gradient）特徴量を用いたテンプレートマッチングを行い、顔パーツ位置を微調整するようにしてもよい。なお、ＨＯＧ特徴量とは予め規定した局所領域（セル）の輝度の勾配方向をヒストグラム化する手法をいい、幾何学的変換がなされた場合でも特徴量を抽出しやすく、また照明の変動についてもロバストであるとされている。

　顔パーツ判定においても検出の信頼度を算出できるため、信頼度を所定の閾値と比較することで顔パーツ検出が成功したか否かを判定できる。顔パーツ検出が成功していれば（ステップＳＴ１０４でＹｅｓ）ステップＳＴ１０６へと進み、失敗していれば（ステップＳＴ１０４でＮｏ）撮像に関するパラメータ調整を行い（ステップＳＴ１０５）、再度被化粧者を撮影する（ステップＳＴ１０１）。なお、ステップＳＴ１０５の処理はステップＳＴ１０３と同様であるため、詳細な説明は省略する。

　次に合成顔画像生成部１２は、メイクアップ手法記憶部４ｃにアクセスして画像調整パラメータを読み込み（ステップＳＴ１０６）、その後、合成顔画像を生成する（ステップＳＴ１０７）。

　図４は、合成顔画像を生成する際の画像処理対象を説明する説明図である。以降、図４に図１を併用して画像処理対象および画像合成の際に用いる画像調整パラメータの内容について詳細に説明する。

　図４において、ＡＲ１～ＡＲ６はそれぞれ化粧が施される対象部位（範囲）を示している。具体的にはＡＲ１は顔全体を、ＡＲ２はアイブロウを書く範囲を、ＡＲ３はアイシャドウを付す範囲を、ＡＲ４はアイラインを書く範囲を、ＡＲ５はチークを入れる範囲を、ＡＲ６はリップを塗る範囲をそれぞれ示している。このうち、ＡＲ２～ＡＲ５は本来なら顔の左右に現れるが、その一方を省略して描いている。

　合成顔画像は、これらの対象部位のそれぞれに化粧が施された状態をシミュレーションして生成されるが、第１実施形態では簡易モードと詳細モードとの２つに区分して、施される化粧の内容を設定している。

　簡易モードでは、ＡＲ１には２色の化粧品（ファンデーション）のうちいずれか（その色をＦＡＣ１，ＦＡＣ２とする）が使用される。ＡＲ２には３色の化粧品のうちいずれか（その色をＥＢＣ１～ＥＢＣ３とする）が使用される。ＡＲ３には３色の化粧品のうちいずれか（その色をＥＳＣ１～ＥＳＣ３とする）が使用される。ＡＲ４には２色の化粧品のうちいずれか（その色をＥＬＣ１，ＥＬＣ２とする）が使用される。ＡＲ５には４色の化粧品のうちいずれか（その色をＣＥＣ１～ＣＥＣ４とする）が使用される。ＡＲ６には４色の化粧品のうちいずれか（その色をＬＰＣ１～ＬＰＣ４とする）が使用される。これらを組み合わせたメイクアップ手法は、２×３×３×２×４×４＝５７６通り存在する。なお、以降の説明において、ＦＡＣ１やＬＰＣ１といった色を表す表記を単に「色記号」と呼称する。

　一方の詳細モードでは、ＡＲ１には６色の化粧品のいずれか（色記号はＦＡＣ１～ＦＡＣ６）が使用される。ＡＲ２には３色の化粧品のうちいずれか（色記号はＥＢＣ１～ＥＢＣ３）が使用され、ＡＲ２中に細い、標準、太い、の３種類のいずれかでアイブロウが描かれる。ＡＲ３には１８色の化粧品のうちいずれか（色記号はＥＳＣ１～ＥＳＣ１８）が使用され、ＡＲ３中に細い、標準、太い、の３種類のいずれかでアイシャドウが付される。ＡＲ４には２色のうちいずれか（色記号はＥＬＣ１，ＥＬＣ２）が使用される。ＡＲ５には４色のうちいずれか（色記号はＣＥＣ１～ＣＥＣ４）が、頬上・頬下・頬全体の３つの位置のいずれかで使用される。ＡＲ６には８色のうちいずれか（色記号はＬＰ１～ＬＰ８）が使用される。これらを組み合わせたメイクアップ手法は、６×（３×３）×（１８×３）×２×（４×３）×８＝５５９８７２通り存在する。

　メイクアップ手法記憶部４ｃには、１つのメイクアップ手法に対応した画像調整パラメータとして、色記号、色記号に対応した具体的な化粧品名、これらの化粧品を使って化粧を施した際の肌の色の変化（正確には、輝度、彩度、色相変化）に関する情報（色変化情報）、およびＡＲ２に書かれるアイブロウ等の形状情報（細い、標準、太いに対応した画像データ）、化粧の手順等が記憶されている。

　更に、上述の色変化情報には、撮像部２で撮像した被化粧者の顔画像の肌色の輝度、彩度、色相に応じて、シミュレーションとしての化粧の効果を加減する色調整因子が含まれる。色調整因子は例えばＬ^＊ａ^＊ｂ^＊表色系における修正率として導入されており、これは例えばファンデーションの色に近い肌の色を持つ人に同色のファンデーションを付しても、効果が小さい場合等を考慮したものである。また、化粧とは、技術的には肌の上に紛体または液体を塗布等する行為であるから、例えば、電子写真記録技術分野での特定の色成分（肌色）を有する記録媒体上に特定顔料ないし染料を含む紛体トナーあるいは液体インクを重畳させた場合の層状モデルを援用することで、化粧による輝度（濃度）、色相、彩度変化の予測精度を向上させることができる。

　また、上述の形状情報には、顔パーツの大きさに応じたスケーリング調整因子が含まれる。この調整因子は、例えば別途検出された顔画像から目の水平方向の大きさに基づいて、アイラインやアイブロウの水平方向サイズ、傾斜等を調整するものである。

　図５は、本発明の第１実施形態に係る美容支援装置１において合成顔画像を生成する過程を説明する説明図である。以降、図１、図２、図５を用いて説明を続ける。合成顔画像生成部１２は、データベースであるメイクアップ手法記憶部４ｃから色変化情報、形状情報、色調整因子、スケーリング調整因子、化粧の手順といった画像調整パラメータを取得し、顔パーツ検出部１１によって検出された各顔パーツの位置を参照して、被化粧者の顔画像と画像調整パラメータの値に基づいて、合成顔画像を生成する（ステップＳＴ１０７）。そして、この処理は、上述したＡＲ１～ＡＲ６の全ての組み合わせについて、即ち、簡易モードであれば５７６通り、詳細モードであれば５５９８７２通りの合成顔画像を生成するまで実行される（ステップＳＴ１０８でＹｅｓ）。そして、生成された合成顔画像は合成顔画像記憶部４ｄに保存される。

　より具体的には、図５に示すように、例えば合成顔画像１ではＡＲ１に対してＦＡＣ１を、ＡＲ２に対してＥＢＣ２を、ＡＲ３に対してＥＳＣ１を、ＡＲ４に対してＥＬＣ２を、ＡＲ５に対してＣＥＣ２を、ＡＲ６に対してＬＰＣ３を適用して合成顔画像を生成する。更に、これをＡＲ１～ＡＲ６の全ての組み合わせについて実行して、合成顔画像１～合成顔画像Ｍ（簡易モードではＭ＝５７６）までを生成する。

　なお、以降の説明では「メイクアップ手法」というときは、１つの合成顔画像を生成した際に、ＡＲ１～ＡＲ６に対して施されたメイクアップの組み合わせパターンを意味する。即ち、合成顔画像のそれぞれは、互いに異なるメイクアップ手法に対応したものとなる。

　図６は、本発明の第１実施形態に係る美容支援装置１において特徴量を特徴量空間にプロットする過程を説明する説明図である。

　以降、図１、図２、図６を用いて説明を続ける。次に特徴量抽出部２５は、合成顔画像記憶部４ｄに一旦格納された被化粧者の合成顔画像を取り出し、特徴量抽出を行って特徴量空間にプロットする（ステップＳＴ１０９）。

　第１実施形態では、特徴量としてＧａｂｏｒ特徴量、あるいはＬＢＰ（Local Binary Pattern）を用いている。Ｇａｂｏｒ特徴量はｓｉｎ／ｃｏｓ関数をガウス関数で局在化したＧａｂｏｒフィルタによって抽出される。即ち、画像データに対してＧａｂｏｒフィルタを畳み込み演算することで、エッジおよびそのエッジの輝度値（強度）を抽出することができる。この特徴量は局所的な特徴を抽出することから照明変動の影響を受けにくいとされている。

　また、ＬＢＰ特徴量とは、注目画素とその周囲８画素との輝度値の比較を行って得たビット列を特徴量としたものである。この特徴量に基づいて局所領域に存在するエッジを抽出することができる。このＬＢＰも照明変動の影響を受けにくく、更に計算コストが小さい手法として知られている。また、ＬＢＰはビット列、即ち数値であるから、画像に対してＬＢＰの数値を抽出しておき、その数値をランク、その出現頻度を度数とするヒストグラムを特徴量として用いてもよい。具体的には、合成顔画像を複数のブロックに分割し、各ブロック内でＬＢＰ特徴量のヒストグラムを生成し、それらを連結させたベクトルを最終的なＬＢＰ特徴量ベクトルとして使用すればよい。

　このように、Ｇａｂｏｒ特徴量やＬＢＰ特徴量は、元々エッジが存在しなかった場所にエッジが現れた場合（アイシャドー、アイライン、チーク等）、その変化を抽出することができる。特に、Ｇａｂｏｒ特徴量は、元々エッジが存在した箇所のエッジを更に際立たせた場合（アイライン、リップ等）やファンデーションで顔全体の輝度値が変化した場合であっても、その変化を抽出することができる。

　これらの操作により各々の画像は輝度ベクトルから特徴量ベクトルに変換され、図６に示す特徴量空間にプロットされる。なお、特徴量空間は後に説明する人の感性に基づく評価項目を反映するものではない。しかしながら、特徴量空間は上述した特徴量を介して全体的な見た目を表すものであり「見た目の空間」ともいえるものである。従って、特徴量空間において２つの画像から抽出した特徴量をプロットした座標が近接しているということは、２つの画像の見た目が似ていることに他ならない。

　なお、第１実施形態では合成顔画像を上述したように１００×１００画素に正規化し、この正規化画像からＧａｂｏｒ特徴量、あるいはＬＢＰ特徴量を得ている。

　図７は、本発明の第１実施形態に係る美容支援装置１において特徴量を部分空間に射影する過程を説明する説明図であり、図８は、人の感性に基づく評価項目の内容（感覚的な特性）を示す表である。

　以降、図２、図７、図８を用いて説明を続ける。ステップＳＴ１１０では、上述の特徴量ベクトルを、人の感性に基づく評価項目に対応した部分空間に射影する。

　ここで図８に示すように、第１実施形態では、例えば、～２０歳の女性については「女性らしさ」「キュート」「子供っぽさ」が評価項目として設定される。そして、２０歳～３０歳の女性については、「女性らしさ」「キュート」「ギャル」「小悪魔」「セクシー」の５つが評価項目として設定される。

　以降、図７に示す「女性らしさ」や「キュート」等に対応する部分空間の作成方法について詳細に説明する。まず、評価項目である「キュート」等に対応する部分空間を統計的学習手法により予め求めておく。例えば、「キュート」の部分空間を生成する場合、予めＭ個の学習用顔画像に対して上述したＧａｂｏｒ特徴量、あるいはＬＢＰ特徴量を抽出し、その一方で人の主観により「キュート」の値ｙ（ラベル情報。例えば１～１０のようなランク値であり、数値が大きいほど「キュート」の度合いが大きいことを意味する）を付与しておく。

　ここで前述した特徴量と同一の特徴量ベクトルをＭ個の学習用顔画像から抽出しておけば、学習ベクトル・ラベルのセット（数１）が得られる。

ここで特徴量ベクトルｘの次元数をＮとする。

　一般に特徴量ベクトルｘは高次元のベクトルとなるため、次元数Ｎの中から有用な軸のみを取捨選択する操作（次元削減）が必要となる。特徴量ベクトルｘがラベル情報を持たない場合、主成分分析（ＰＣＡ：Principle Component Analysis）が一般的に広く用いられるが、上述したように特徴量ベクトルｘが「キュート」値ｙのようにラベル情報を持つ場合、フィッシャー線形判別分析（ＦＤＡ : Fisher Discriminant Analysis）、局所フィッシャー線形判別分析（ＬＦＤＡ : Local Fisher Discriminant Analysis）などが有用である。

　ここで線形判別分析とは、ラベル情報を元にして特徴量ベクトルｘをクラスタリングし、各クラスタのクラス内の分散が小さく、かつクラス間の分散が大きくなるような低次元空間に射影する手法である。この低次元空間を次元数Ｎの空間の部分空間と呼ぶ。

　ベクトル・ラベルのセット（数１）から線形判別分析を用いて射影行列Ｗを算出し、この射影行列Ｗを予め記憶部４の射影行列／回帰モデル記憶部４ｅに格納する。この操作は全ての評価項目について実行される。即ち、射影行列Ｗは人の感性に基づく評価項目の個数だけ生成される。そして、この射影行列ＷはステップＳＴ１１０において、合成顔画像から得た特徴量を各評価項目に対応する部分空間に射影する際に使用される。特徴量を部分空間に射影することで、特徴量は部分空間の座標にプロットされる。

　以上、プログラムＰ１についてステップＳＴ１０１～ステップＳＴ１１０まで説明したが、以降、説明の便宜から図３に示すプログラムＰ３の処理について説明する。プログラムＰ３は目標顔画像を入力して、その特徴量を取得する処理を行う。

　プログラムＰ３では、イメージセンサを有する図示しない撮像部を用いて、目標顔画像を取得すると想定しており、まず撮像部としての目標顔画像入力部２０から目標顔画像を入力する（ステップＳＴ３０１）。次に、入力された画像から顔を検出して顔検出が成功したか否かを判断する（ステップＳＴ３０２）。顔検出が成功していなければ（ステップＳＴ３０２でＮｏ）、パラメータ調整を行って（ステップＳＴ３０３）、再度目標顔画像の撮影を行う（ステップＳＴ３０１）。なお、ステップＳＴ３０１～ステップＳＴ３０３の過程はプログラムＰ１のステップＳＴ１０１～ステップＳＴ１０３と同様であり、例えば、これらのステップで説明したパラメータ調整を行うとよい。

　次に取得した目標顔画像を図示しないメモリに保存し（ステップＳＴ３０４）、目標顔画像について特徴量を抽出し、これを保存する（ステップＳＴ３０５）。そしてこの特徴量をベクトルとして取扱い、既に説明した評価項目に対応する部分空間に射影し、これを保存する（ステップＳＴ３０６）。ただし、ＳＴ３０６を実行する際には、評価項目が定まっている必要があるため、ＳＴ３０６の実行はプログラムＰ２のＳＴ２０４で評価項目が決定されるのを待って行われる。ここで抽出する特徴量および評価項目、部分空間についてはプログラムＰ１のステップＳＴ１０９、ステップＳＴ１１０で説明したものと全く同じであるので説明を省略する。以上によってプログラムＰ３の処理が終了し、処理は結合子ＡでプログラムＰ１に引き継がれる。

　なお、上述したように、目標顔画像の入力源はあらゆるソースが許容されており、個々の目標顔画像は撮像時の照明条件が異なる場合が多いと考えられる。これに対して、第１実施形態で使用しているＧａｂｏｒ特徴量やＬＢＰ特徴量は局所的統計量であることから、照明の影響を小さくすることができる。

　以降、図２のプログラムＰ１に戻って、ステップＳＴ１１１以降の処理について説明する。なお、説明に際して図７を参照する。

　上述したステップＳＴ３０５によって、目標顔画像の特徴量空間における座標（即ち、特徴量ベクトルそのもの）が取得され、ステップＳＴ３０６によって、目標顔画像の特徴量ベクトルを各評価項目に対応した部分空間に射影（プロット）した座標が取得されている。

　ステップＳＴ１１１では、評価項目の１つである例えば「キュート」の部分空間について、ユークリッド距離計算部２９は、被化粧者の１枚の合成顔画像の特徴量ベクトルを部分空間に射影したベクトルＰおよび目標顔画像の特徴量ベクトルを部分空間に射影したベクトルＱを取り出し、これらのユークリッド距離ｄ（Ｐ，Ｑ）を（数２）を用いて計算する。

　なお、（数２）において、ｎは部分空間の次元数、ｙ_ｉはベクトルＰの第ｉ軸の値、ｘ_ｉはベクトルＱの第ｉ軸の値を示す。

　即ち、図７に示すように、「キュート」の部分空間において、合成顔画像１の座標位置と目標顔画像の座標位置との距離を計算する。距離が近いほど２つの画像は「キュート」部分空間で類似することになる。そして、ステップＳＴ１１１では、各評価項目、即ち「女性らしさ」、「セクシー」、「小悪魔」といった他の評価項目に対応した部分空間においても同様にして合成顔画像１と目標顔画像との座標間距離を求める。この処理によって、１つの合成顔画像について予め定めておいた複数の評価項目について類似度が算出される。

　なお、類似度はユークリッド距離をそのまま用いてもよく、この場合は両者が類似するほど類似度の値は小さくなる。ただし、このように取り扱うと人の感覚とは逆となるため、例えばユークリッド距離＝０のときに類似度が１００となるような数値変換を行っておくと、人の感覚との整合性を図ることができる。なお、以降の説明においても、ユークリッド距離が小さい場合を類似度が高いと表現する。

　このようにして、全ての評価項目についての類似度が算出されるが、合成顔画像と目標顔画像との「総合的な類似度」については、例えば各評価項目の類似度の平均値を用いることができる。即ち、第１実施形態では、画像間の類似を人の感性に基づく評価項目のそれぞれについて行い、各評価項目の類似度を総合して類似度を判定している。

　次に、ステップＳＴ１１２では、全ての合成顔画像について上記の処理が完了しているかを評価し、完了していなければ（ステップＳＴ１１２でＮｏ）ステップＳＴ１０９に戻って、合成顔画像記憶部４ｄから次の合成顔画像を取得して上述の処理を繰り返す。これによって全ての評価項目について、全ての合成顔画像と目標顔画像との類似度が計算される。全ての合成顔画像について類似度（総合的な類似度）の計算が完了している場合（ステップＳＴ１１２でＹｅｓ）は、メイクアップ手法抽出部２４は、目標顔画像に対して総合的な類似度が最も高くなる合成顔画像を生成する際に用いたメイクアップ手法（以降、「最適なメイクアップ手法」と呼称する）を特定し、メイクアップ手法記憶部４ｃにアクセスしてメイクアップ手法の具体的内容（使用する化粧品、化粧の手順等）を取り出し、これを所定のメモリ領域に保存する（ステップＳＴ１１３）。以上で、プログラムＰ１の処理が終了する。

　以降、プログラムＰ２の処理について説明する。第１実施形態において、上述した人の感性に基づく評価項目は、被化粧者の性別と年齢とを推定した結果に基づいて決定される。

　プログラムＰ２は、少なくともプログラムＰ１において顔検出が成功した（ステップＳＴ１０２でＹｅｓ）タイミング以降に起動される。なお、被化粧者の顔画像は既に正規化されているものとする。まず、被化粧者の顔画像から特徴量を抽出する（ステップＳＴ２０１）。性別、年齢は、例えば目や口、顔の輪郭、しわ等に着目して推定することができ、特徴量として例えば４方向面特徴を利用することができる。

　次に、属性推定モデル記憶部４ａにアクセスして属性推定モデルを読み込む（ステップＳＴ２０２）。以降、属性推定モデルの作成方法について説明するが、簡単のために性別の推定に関してのみ説明する。まず、「性別」に対応する属性推定モデルを統計的学習手法により予め求めておく。「性別」の属性推定モデルを学習する場合、先に部分空間の作成方法として説明したように、予めＭ個の学習用顔画像に対して既に説明したＧａｂｏｒ特徴量、あるいはＬＢＰ特徴量等を抽出し、その一方で人の主観により「性別」、即ち「男性」または「女性」を示す値ｙ（ラベル情報）を付与しておく。

　その後、入力ｘに対する出力ｙ（性別）の属性判定モデルを学習する。学習方法として、例えば線形判別分析、ＳＶＭ（Support Vector Machine）、ＡｄａＢｏｏｓｔなどが知られている。

　なお、属性推定モデルの学習に用いる顔データベースとして、例えば、ＮＩＳＴ（National Institute of Standards and Technology）や、ＦＥＲＥＴ（The Facial Recognition Technology）が知られている。特に日本人女性の顔を推定の対象とする場合はＪＡＦＦＥ（Japanese Female Facial Expression）顔データベースを利用することができる。

　次に、年齢、性別推定を実行する（ステップＳＴ２０３）。具体的には、検出された被化粧者の顔画像から抽出した特徴量（特徴量ベクトル）を用いて属性推定モデルにアクセスすることで、年齢、性別が直接的に出力される。なお、一般的には、属性推定モデルは関数の一種であり、属性推定モデルが定義する空間の座標には「性別」「年齢」等の値が対応づけられている。これにより、特徴量ベクトルを属性推定モデルに入力することで、直ちに性別、年齢を得ることができる。

　そして、属性推定モデルをアクセスして得た年齢、性別に基づいて、評価項目記憶部４ｂがアクセスされ、類似度判定等に用いる評価項目が決定され、所定のメモリ領域に保存される（ステップＳＴ２０４）。なお、ユーザインタフェース６を用いて、被化粧者が類似度判定に使用する評価項目を任意に定められるようにしてもよく、また、後述するランク値を出力する評価項目を任意に選択可能としてもよい。以上で、プログラムＰ２の処理が終了する。そして、保存された評価項目は、既に説明したステップＳＴ１１０で参照されて、これに対応した部分空間において類似度の算出が行われる。

　なお、以上説明した属性推定モデルは、入力された顔画像から人の性別と年齢とを推定するものであるが、これに加えて、例えば人種（コーカソイド、モンゴロイド、ネグロイド）を判別させるようにしてもよい。そして、このような人種の属性に応じて評価項目を決定してもよい。

　さて、これまでの説明では、被化粧者の顔画像に様々なメイクアップ手法を適用した合成顔画像と、目標顔画像との類似度を判定するための構成およびプロセスについて説明した。一方、被化粧者にとっては類似度とは別に、例えば「キュート」といった評価項目についての目標顔画像のランク値と化粧前のランク値、そして化粧を進めていく被化粧者のランク値とがリアルタイムに判定できると使い勝手が向上する。

　図９は、美容支援装置１において被化粧者にランク値を表示する過程を説明するフローチャートである。このフローチャートに示されるプログラムＰ４は、例えば図２を用いて説明したプログラムＰ１が終了した時点で起動されてもよいし、被化粧者が任意に起動してもよい。

　以降、図９と図１とを用いて各評価項目に対してランク値、メイクアップ手法、目標顔画像、被化粧者の顔画像をリアルタイムに表示する過程について説明する。なお、ランク値は評価部４０によって付与される。

　まず、プログラムＰ１のステップＳＴ１１３で保存した、最適なメイクアップ手法の具体的内容を取り出す（ステップＳＴ４０１）。次に、プログラムＰ２のステップＳＴ２０４で保存した評価項目、あるいは被化粧者が任意に選択した評価項目を読み込む（ステップＳＴ４０２）。次に、射影行列／回帰モデル記憶部４ｅにアクセスして、予め射影行列／回帰モデル記憶部４ｅに記憶しておいた各評価項目の回帰モデルを読み込む（ステップＳＴ４０３）。

　以降、回帰モデルの作成方法について説明する。まず、図８に示す各評価項目（「女性らしさ」、「セクシー」、「キュート」等）に対応する部分空間における回帰モデルを統計的学習手法により予め求めておく。例えば、「キュート」の回帰モデルを学習する場合、先に部分空間の作成方法として説明したように、予めＭ個の学習用顔画像に対して既に説明したＧａｂｏｒ特徴量、あるいはＬＢＰ特徴量等を抽出し、その一方で人の主観により「キュート」の値ｙ（ラベル情報）を付与しておく。

　その後、評価項目「キュート」の射影行列Ｊを上述した線形判別分析で求めた後、特徴量ベクトルを射影した後の低次元空間において、入力ｘに対する出力y（ランク値）の回帰モデルを学習する。学習方法として、例えば線形回帰、ベイズ線形回帰、ＳＶＲ（Support Vector Regression）などが知られている。このように、回帰モデルを用いることで、未知の特徴量ベクトルが入力された場合にランク値を推定することが可能となる。なお、第１実施形態では回帰モデルの他に、例えばニューラルネットワーク等を用いてランク値を推定するようにしてもよい。

　被化粧者の顔画像に基づいて、特徴量抽出部２５で特徴量（特徴量ベクトル）を抽出し、部分空間射影部２６で射影行列Ｊを掛け合わせることで射影ベクトルが生成され、この射影ベクトル（座標）を用いてランク推定部４１で回帰モデルをアクセスすることで、入力した特徴量に対応した、例えば「キュート」のランク値が直接的に出力される。なお、一般的には、回帰モデルは関数の一種であり、回帰モデルが定義する空間の座標には「キュート」等の各評価項目のランク値が対応づけられている。これにより、特徴量ベクトルに各回帰モデルに対応した射影行列Ｊを掛け合わせ、回帰モデルに入力することで、直ちに評価項目についてのランク値を得ることができる。このような構成では部分空間射影部２６がランク推定部４１を包含することとなり、これらを合わせていわば回帰モデル射影部として機能する。

　次に、既に説明したプログラムＰ３のステップＳＴ３０４で保存しておいた、目標顔画像を読み込む（ステップＳＴ４０４）。次に、プログラムＰ３のステップＳＴ３０５で保存しておいた、目標顔画像の特徴量を読み込む（ステップＳＴ４０５）。次に、読み込んだ特徴量を、部分空間射影部２６によって各評価項目の回帰モデルに入力することで（ステップＳＴ４０６）、評価項目ごとにランク値が得られる。なお、この過程におけるデータパスは図１に示されていないが、具体的には全体制御部７が図示しないメモリから目標顔画像の特徴量を読み込んで、これを直接的に部分空間射影部２６に渡すことで実行される。

　次に、ステップＳＴ４０４で読み込んだ目標顔画像と、ステップＳＴ４０１で読み込んだ最適なメイクアップ手法の具体的内容とを表示部５に表示する（ステップＳＴ４０７）。

　次に、ステップＳＴ４０６で求めた目標顔画像（正確には、その特徴量）に対する各評価項目のランク値を、表示部５に表示したレーダーチャート上にプロットする（ステップＳＴ４０８）。

　次に、化粧を行おうとしている被化粧者を撮像部２で撮影する（ステップＳＴ４０９）。

　次に、既にステップＳＴ１０２で説明したのと同様に、顔検出部１０で被化粧者の顔を検出し、顔検出が成功したか否かを判定する（ステップＳＴ４１０）。顔判定が失敗していれば（ステップＳＴ４１０でＮｏ）撮像パラメータを調整して（ステップＳＴ４１１）再度被化粧者を撮影する（ステップＳＴ４０９）。一方、顔検出が成功していれば、次に、特徴量抽出部２５で被化粧者の顔画像の特徴量を抽出する（ステップＳＴ４１２）。抽出される特徴量については、既にプログラムＰ１のステップＳＴ１０９と同じであるため説明を省略する。なお、連続フレーム間で顔領域を追跡（トラッキング）してもよい。

　次に、部分空間射影部２６は、得られた特徴量を特徴量ベクトルとして評価項目毎に作成しておいた射影行列Ｊと掛け合わせて、回帰モデルに入力する（ステップＳＴ４１３）。これを評価すべき評価項目全てに行うことで、全ての評価項目について被化粧者の現在の（例えば、化粧中の）ランク値が抽出される。

　次に、ステップＳＴ４０９で得た被化粧者の顔画像を表示部５に表示する（ステップＳＴ４１４）。

　次に、ステップＳＴ４１３で得た各評価項目のランク値を、表示部５に表示したレーダーチャート上にプロットする（ステップＳＴ４１５）。

　ステップＳＴ４１５が終了すると、所定のインターバル期間を置いた後、ステップＳＴ４０９に戻って、再度被化粧者の顔画像の撮影が行われる。なお、上述したステップＳＴ４０９～ステップＳＴ４１５は無限ループを構成するが、インターバル期間の間にユーザインタフェース６のキー入力等を検出した場合に当該ループから離脱するように構成してもよい。このループにより、撮像部２は、所定のタイミングで被化粧者の顔画像を繰り返し撮像して更新し、評価部４０は、更新された被化粧者の顔画像についてランク値を出力し、表示部５は、更新された被化粧者の顔画像とランク値とをリアルタイムに表示する。

　図１０（ａ）～（ｃ）は、人の感性に基づく評価項目に対応する部分空間と回帰モデルとの関係を示す説明図、（ｄ）は、各評価項目についてのランク値をレーダーチャートに表示した状態を説明する説明図である。

　図１０（ａ）は、評価項目「女性らしさ」の部分空間と、この部分空間内に学習された「女性らしさ」回帰モデルとの関係を、同（ｂ）は評価項目「セクシー」の部分空間と、この部分空間内に学習された「セクシー」回帰モデルとの関係を、同（ｃ）は、評価項目「ギャル」の部分空間と、この部分空間内で学習された「ギャル」回帰モデルとの関係を示している。図１０（ａ）～（ｃ）は、ランク値を表す座標軸の他に３軸を示しているが、部分空間は多次元空間であり、一般的に座標軸の数（次元数）は膨大である。そして、各図において、回帰モデルは曲線で表現されているが、実際は多次元空間に存在する超平面、あるいは超曲面である。

　以降、簡単のために図１０（ａ）について説明を行う。ここで、曲線上に付した２点は黒丸が目標顔画像の特徴量を「女性らしさ」部分空間に射影した座標であり、この座標におけるランク値が９点であることを示している。一方のハッチ入り丸は被化粧者の顔画像の特徴量を同様に射影した座標であり、この座標におけるランク値が５点であることを示している。図１０（ｂ），（ｃ）も同様である。即ち、各部分空間において、ランク値の軸を参照することで目標顔画像および被化粧者顔画像のランク値が定まっている。

　これを図１０（ｄ）に示すようなレーダーチャート上にプロットする。レーダーチャートは中心ほどランクが低く、外側ほどランクが高く設定され、中心から外向きに設けられた５つの軸がそれぞれ評価項目を示している。図１０（ｄ）では、各評価項目において目標顔画像のランク値を結んだものを二点鎖線で示し、被化粧者の顔画像のランク値を結んだものを一点鎖線で示している。

　上述したプログラムＰ４のステップＳＴ４０９～ステップＳＴ４１５で説明したように、被化粧者の顔画像は周期的に撮影されて、その都度各評価項目におけるランク値が判定されるから、被化粧者が化粧を進めて、被化粧者の顔画像が目標顔画像に類似していくほど、図１０（ｄ）のレーダーチャートの各評価項目の値が大きく（または小さく）なり、理想的には目標顔画像の略同等の範囲を占めるようになる。このレーダーチャートで特徴的な事項は、たとえ化粧の手本となる目標顔画像であっても、各評価項目のランク値は最大の値を採るとは限らず、あくまでも回帰モデルで決定される値だということである。これは、各評価項目について、有限な学習を限度として絶対基準を定めていることに他ならない。

　これによって、被化粧者は自分が好みとするメイクアップの方向性がどのような特性を持っているのか（即ち、レーダーチャート上の分布がどの評価項目に偏っているか）を直観的に理解することができる。また、被化粧者は各評価項目におけるランク値が全体的に高いものを選ぶ場合もあれば、その日の気分でより「キュート」や「女性らしい」といった感覚的なイメージの化粧を施したい場合も多いと考えられる。このように、被化粧者が理想とする化粧は様々な事由によって変化するものであるが、本発明はこのような被化粧者の幅広い要求に十分に対応することが可能である。

　図１１は、表示部５における表示内容の例を説明する説明図である。図１１に示すように、第１実施形態では、表示部５には、既に説明したステップＳＴ４０４で取得した目標顔画像と、ステップＳＴ４０９で撮影された被化粧者の顔画像と、ステップＳＴ４０１で取得した最適なメイクアップ手法とが表示され、ステップＳＴ４０６及およびステップＳＴ４１３で特徴量を回帰モデルに入力することで得たランク値がレーダーチャート上にプロットされる。ここで、メイクアップ手法については、上述した色記号だけでなくその色記号の色を実現するための化粧品名を表示してもよく、また合成顔画像を詳細モードで作成した場合は、これと併せてアイブロウやアイシャドウの形状を表示してもよい。

　そして、プログラムＰ４で説明したように、被化粧者の顔画像の撮影は周期的に繰り返され、更新された顔画像に基づいてレーダーチャート上にプロットされるランク値がリアルタイムに刻々と変化する。

　さて、以上説明したプログラムＰ１～プログラムＰ４は、例えばアプリケーションソフトウェアとして頒布され、スマートフォンやタブレット端末等の情報端末に実装されたハードウェア上で動作させることが可能である。図１に示す各構成要素は、例えばスマートフォンにおいては、撮像部２が内蔵カメラ、表示部５が有機ＥＬや液晶で構成された表示パネル、目標顔画像入力部２０が内蔵カメラまたは可搬性記憶媒体等を装着するインタフェース、画像処理部３がＣＰＵおよび周辺システム、記憶部４がＳＳＤ（Solid State Drive）やハードディスクドライブ等の大容量記憶装置に対応する。

（第２実施形態）
　図１２は、本発明の第２実施形態に係る美容支援装置１において類似度を判定する過程を説明するフローチャートである。第１実施形態において、プログラムＰ２はステップＳＴ１０９とステップＳＴ１１０との間に設けられた同期点ＴＭ１までに処理を完了するように制御されている。一方、第２実施形態においては、プログラムＰ２はステップＳＴ１０４とステップＳＴ１０６との間に設けられた同期点ＴＭ２までに処理を完了するように制御されることが大きな特徴となっている。

　既に説明したように、プログラムＰ２は被化粧者の性別や年齢等の属性を推定することで評価項目を決定する。第２実施形態では、合成顔画像を生成する前に評価項目の決定を行う。このプロセスを採用することで、合成顔画像の生成に際して、属性推定の結果を反映させることが可能となる。上述したように、属性推定においては例えば人種を推定することが可能であるから、推定された人種に応じてメイクアップ手法記憶部４ｃから異なる化粧品の群に基づくメイクアップ手法を選択することができ、より的確な合成顔画像の生成が可能となる。もちろん、合成顔画像の生成に際して、人種のみならず性別や年齢に応じて異なるメイクアップ手法が選択されるように構成することも可能である。

（第３実施形態）
　図１３は、本発明の第３実施形態に係る美容支援装置１の構成を示すブロック構成図である。第１実施形態において、合成顔画像の生成に利用されるメイクアップ手法を記憶するメイクアップ手法記憶部４ｃ、合成顔画像記憶部４ｄ、射影行列／回帰モデル記憶部４ｅ、合成顔画像生成部１２、類似度判定部２２、ランク推定部４１、メイクアップ手法抽出部２４は、いずれも美容支援装置１に設けられていた。一方、第３実施形態においては、上述の構成要素を美容支援装置１の外部に配置したことが大きな特徴となっている。

　図１３において、美容支援装置１はインタフェース４２を備え、これを介してインターネット等の外部ネットワーク１００にアクセス可能に構成されている。この外部ネットワーク１００にはサーバ４５が（一般に、美容支援装置１とは異なる場所に）インタフェース４３を介して接続されている。即ち、図１３はいわゆるクラウドを利用した美容支援システムの構成を示している。このシステムでは、第１実施形態で説明した画像処理部３の主要構成要素がサーバ４５に設けられる。

　サーバ４５は、データベースとしてメイクアップ手法記憶部４ｃと合成顔画像記憶部４ｄと射影行列／回帰モデル記憶部４ｅとを備える。更に、サーバ４５は、類似度判定部２２を構成する特徴量抽出部２５と部分空間射影部２６とユークリッド距離計算部２９と、これらの構成要素に付随してランク推定部４１、メイクアップ手法抽出部２４とを備える。そして、ランク推定部４１が出力するランク値およびメイクアップ手法抽出部２４が出力する「最適なメイクアップ手法」は、サーバ４５のインタフェース４３、外部ネットワーク１００、インタフェース４２を経由して美容支援装置１に取り込まれ、これらは表示部５に表示される。これらの構成要素は制御部４８によって、その動作全般を制御される。もちろん、これらの全ての構成要素をコンピュータシステムとしてのサーバをそのまま利用して実現してもよい。

　図１３に示すデータパスは、インタフェース４２と外部ネットワーク１００とインタフェース４３とを経由することで一旦集約されるものの、画像データや画像処理後のデータや様々なパラメータ等は、図１に示す構成と同様に各構成要素間を渡されていく。

　第１実施形態において説明したように、合成顔画像は簡易モードまたは詳細モードの２つの設定で生成される。特に詳細モードにおいては、合成される顔画像の数は例えば５５９８７２通りと多数となる。そして、生成される合成顔画像そのものは、新たなメイクアップ手法が追加、削除、修正されない限り（つまり、メイクアップ手法に影響を与える化粧品が販売されたりしない限り）、不変のものである。このように、生成された合成顔画像が格納される合成顔画像記憶部４ｄは、通常は参照用（読み取り専用）のデータベースとしての性格を有している。

　しかしながら、実際問題として化粧品には流行性があり、また季節によっても使用される化粧品は変化するため、制御部４８は外部ネットワーク１００を介して新たな化粧品情報を逐次入手し、この化粧品情報に基づいて複数のメイクアップ手法を再構築するとともに、メイクアップ手法記憶部４ｃの内容を更新する。

　ここで、合成顔画像記憶部４ｄには複数のメイクアップ手法をシミュレートされた合成顔画像の他に、画像合成の際のベースとなる基本顔画像（いずれのメイクアップ手法も施されていない被化粧者の顔画像）も記憶されている。そこで、制御部４８は、市場において化粧品が更新されると、外部ネットワーク１００を介して被化粧者の意向を確認した上で、基本顔画像に更新されたメイクアップ手法を適用して新たに合成顔画像を生成し、これを合成顔画像記憶部４ｄに格納する。即ち、メイクアップ手法記憶部４ｃおよび合成顔画像記憶部４ｄは追記型のデータベースを構成する。このようにすることで、同一の被化粧者が異なる目標顔画像との間で類似度を判定したいような場合に、改めて合成顔画像を生成する必要がなくなる。なお、合成顔画像に代えて抽出した特徴量を記憶するようにしてもよい。

　もちろん、合成顔画像記憶部４ｄを常に空の状態としておき、被化粧者が美容支援装置を使用するときのみ、合成顔画像記憶部４ｄに被験者の合成顔画像を保存してもよい。そして、類似度判定に基づいて最適なメイクアップ手法を決定した後、合成顔画像記憶部４ｄに保持していた合成顔画像を全て破棄するようにしてもよい。このようにすることで、合成顔画像記憶部４ｄは動的に運用されるため、合成顔画像記憶部４ｄの記憶容量を小さくすることができる。

　このように、第３実施形態では、画像処理演算を実行するサーバ４５を、美容支援装置１と切り離したことで、処理がネットワーク上で分散され、データベース破壊等のリスクが分散されると共に、処理負担の大きい演算をクラウド側で実行することが可能となり、クラウドコンピューティングによるサービスの提供が可能となる。

　以上説明したように、第３実施形態によって、被化粧者は常に最新の化粧品を活用して、目標顔画像に近づく化粧を行うことが可能となる。また、美容支援装置１の外部にこのようなデータベースおよび画像処理演算を実行する主体を構築しておくことで、被化粧者は例えばスマートフォンやタブレット端末といった情報端末を有していれば、外部ネットワーク１００を介してサーバ４５に接続することで美容支援のサービスを享受することができる。

（第４実施形態）
　図１４は、本発明の第４実施形態に係る美容支援装置１の構成を示すブロック構成図である。第１実施形態において、互いに異なるメイクアップ手法によって生成される合成顔画像と目標顔画像との類似度は、両者から抽出した特徴量を、人の感性に基づく評価項目に対応した部分空間に射影し、部分空間におけるユークリッド距離に基づいて求めていた。そして、被化粧者の顔画像と目標顔画像とから抽出した特徴量を部分空間射影部２６で各評価項目の回帰モデルに入力することで、各評価項目のランク値を求めていた。第４実施形態においては、このうち合成顔画像と目標顔画像との類似度を、特徴量空間において計算するように構成したことが大きな特徴となっている。

　撮像部２で撮影された被化粧者の顔画像と、互いに異なるメイクアップ手法から合成顔画像を生成し、この合成顔画像に基づいて特徴量を取得する過程、また目標顔画像入力部２０で入力された目標顔画像に基づいて特徴量を取得する過程は、第１実施形態と同様であるので説明を省略する。

　第１実施形態で説明したように、合成顔画像および目標顔画像から抽出される特徴量は多次元ベクトルを表している。従って、特徴量抽出部２５で抽出したこれらの特徴量を、部分空間射影部２６を介さずに直接ユークリッド距離計算部２９に渡し、（数２）を用いて両特徴量のユークリッド距離を求めることができる。これによって図３に示す「見た目の空間」において、合成顔画像と目標顔画像との類似度が算出される。これを全ての合成顔画像に対して行って、メイクアップ手法抽出部２４において、最もユークリッド距離が小さくなる合成顔画像を生成したメイクアップ手法を抽出する。

　このように第４実施形態では、個々の評価項目とは無関係に全体の見えに基づき類似度が判定されることになるが、例えば被化粧者が多数の評価項目を選択したような場合と比較して計算コストを低減することが可能となる。従って、使用する評価項目の数に応じて、特徴量空間と部分空間とのいずれを類似度計算に使用するかを定めておくとよい。

　そして、この場合であっても、被化粧者の顔画像と目標顔画像とに基づくランク値の推定は、部分空間射影部２６とランク推定部４１とによって独立して行われるため、美容支援装置１の使用に際して特に制約が生じることもない。

　以上、第１実施形態～第４実施形態として本発明に係る美容支援装置、美容支援システム、美容支援方法、美容支援プログラムについて説明した。これらの説明において、類似度を算出する対象としては、互いに異なるメイクアップ手法を適用した合成顔画像と目標顔画像とを例示し、ランク値を算出する対象としては、被化粧者の顔画像（化粧中の顔画像）と目標顔画像とを例示したが、本発明は顔に対して施されるメイクアップの分野のみならず、例えばヘアアレンジ、美容整形といった分野にも応用することが可能である。

　本発明に係る美容支援装置、美容支援システム、美容支援方法、美容支援プログラムは、被化粧者が化粧を施すにあたって最適なメイクアップ手法を的確に抽出することができることから、美容支援を行う専用機、美容支援を行うための端末機器とサーバ、美容支援プログラムが実装されるコンピュータ、スマートフォン、タブレット端末等に好適に利用することができる。

１　　　美容支援装置
２　　　撮像部（撮像手段）
３　　　画像処理部
４　　　記憶部
４ａ　　属性推定モデル記憶部
４ｂ　　評価項目記憶部
４ｃ　　メイクアップ手法記憶部
４ｄ　　合成顔画像記憶部
４ｅ　　射影行列／回帰モデル記憶部
５　　　表示部（表示手段）
６　　　ユーザインタフェース
７　　　全体制御部
１０　　顔検出部
１１　　顔パーツ検出部
１２　　合成顔画像生成部（合成顔画像生成手段）
２０　　目標顔画像入力部（入力手段）
２１　　顔検出部
２２　　類似度判定部（類似度判定手段）
２４　　メイクアップ手法抽出部（メイクアップ手法抽出手段）
２５　　特徴量抽出部（特徴量抽出手段）
２６　　部分空間射影部（射影手段）
２７　　属性推定部（属性推定手段）
２８　　評価項目決定部
２９　　ユークリッド距離計算部
４０　　評価部（評価手段）
４１　　ランク推定部（ランク推定手段）
４５　　サーバ

Claims (18)

1. 　利用者の顔画像を撮像する撮像手段と、
   　目標顔画像を入力する入力手段と、
   　前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、
   　前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、
   　前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法を抽出する美容手法抽出手段と、を有することを特徴とする美容支援装置。
2. 　利用者の顔画像を撮像する撮像手段と、
   　目標顔画像を入力する入力手段と、
   　前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、
   　前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、
   　前記利用者の顔画像と前記目標顔画像とに対して、所定の評価項目についてランク値を出力する評価手段と、
   　前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用された美容手法および前記ランク値を表示する表示手段と、を備えることを特徴とする美容支援装置。
3. 　前記類似度判定手段は、
   　前記目標顔画像と前記複数の合成顔画像とから所定の特徴量を抽出する特徴量抽出手段と、
   　前記特徴量を、人の感性に基づくそれぞれ異なる評価項目に対応付けられた部分空間に射影する射影手段と、を備え、
   　前記目標顔画像と前記合成顔画像とから得た前記特徴量を、前記部分空間に射影した座標間のユークリッド距離に基づき、前記部分空間における類似度を判定し、更に、それぞれ異なる評価項目に対応付けられた前記部分空間における類似度に基づき、前記目標顔画像と前記合成顔画像との類似度を判定することを特徴とする請求項１または請求項２に記載の美容支援装置。
4. 　前記評価手段は、
   　前記目標顔画像と前記複数の合成顔画像とから所定の特徴量を抽出する特徴量抽出手段と、
   　前記特徴量を、人の感性に基づくそれぞれ異なる評価項目に対応付けられた部分空間に射影する射影手段と、
   　前記複数の部分空間において、前記射影手段によって射影された前記特徴量の座標に基づき、前記所定の評価項目毎に前記ランク値を推定するランク推定手段と、を有することを特徴とする請求項２に記載の美容支援装置。
5. 　前記撮像手段は、所定のタイミングで前記利用者の顔画像を繰り返し撮像して更新し、
   　前記評価手段は、更新された前記利用者の顔画像について前記ランク値を出力し、
   　前記表示手段は、更新された前記利用者の顔画像と前記ランク値とを表示することを特徴とする請求項２または請求項４に記載の美容支援装置。
6. 　前記表示手段は、
   　前記所定の評価項目に対応する軸を有するレーダーチャート上に、前記ランク値を表示することを特徴とする請求項５に記載の美容支援装置。
7. 　前記利用者の顔画像から、年齢または性別の少なくとも一方を推定する属性推定手段を更に備え、
   　前記類似度判定手段は、前記属性推定手段の推定結果に従って、前記特徴量を射影する前記部分空間を決定することを特徴とする請求項３または請求項４に記載の美容支援装置。
8. 　前記所定の特徴量を、Ｎ次元ベクトルとし、
   　前記部分空間を、前記Ｎ次元より小さい次元数の空間としたことを特徴とする請求項３、請求項４、請求項７のいずれか１項に記載の美容支援装置。
9. 　前記互いに異なる美容手法を記憶するメイクアップ手法記憶部を備え、
   　前記メイクアップ手法記憶部は、追記型のデータベースで構成されていることを特徴とする請求項１ないし請求項８のいずれか１項に記載の美容支援装置。
10. 　前記合成顔画像生成手段によって生成された複数の合成顔画像を記憶する合成顔画像記憶部を備え、
    　前記合成顔画像生成手段は、前記メイクアップ手法記憶部の内容が更新されたときに、画像合成の際のベースとなる基本顔画像に対して更新されたメイクアップ手法を適用して前記合成顔画像を生成し、前記合成顔画像記憶部に記憶することを特徴とする請求項９に記載の美容支援装置。
11. 　利用者の顔画像を撮像する撮像手段と、
    　目標顔画像を入力する入力手段と、
    　美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベースと、
    　前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、
    　前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、
    　前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法を前記データベースから抽出する美容手法抽出手段と、を有することを特徴とする美容支援システム。
12. 　利用者の顔画像を撮像する撮像手段、および目標顔画像を入力する入力手段を備える情報端末と、
    　美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベース、前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段、および前記目標顔画像に対する前記複数の合成顔画像の類似度を判定する類似度判定手段を備えるサーバと、を含み、
    　前記情報端末は、ネットワークを介して前記サーバに前記利用者の顔画像および前記目標顔画像を送信し、前記サーバから、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法を取得することを特徴とする美容支援システム。
13. 　利用者の顔画像を撮像する撮像手段と、
    　目標顔画像を入力する入力手段と、
    　美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベースと、
    　前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、
    　前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、
    　前記利用者の顔画像および前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価手段と、
    　前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法と前記ランク値とを表示する表示手段と、を備えることを特徴とする美容支援システム。
14. 　利用者の顔画像を撮像する撮像手段、および目標顔画像を入力する入力手段を備える情報端末と、
    　美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベース、前記データベースにアクセスして前記美容手法および前記画像調整パラメータを取得するとともに、前記画像調整パラメータを参照して、前記利用者の顔画像に対して互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段、前記目標顔画像に対する前記複数の合成顔画像の類似度を判定する類似度判定手段、および前記利用者の顔画像および前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価手段を備えるサーバと、を含み、
    　前記情報端末は、ネットワークを介して前記サーバに前記利用者の顔画像および前記目標顔画像を送信し、前記サーバから、前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法と前記ランク値とを取得して、これらを表示することを特徴とする美容支援システム。
15. 　利用者の顔画像を撮像し、
    　目標顔画像を入力し、
    　前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、
    　前記目標顔画像と前記複数の合成顔画像との類似度を判定し、
    　前記類似度が高いと判断された前記合成顔画像に適用した美容手法を抽出することを特徴とする美容支援方法。
16. 　利用者の顔画像を撮像し、
    　目標顔画像を入力し、
    　前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、
    　前記目標顔画像と前記複数の合成顔画像との類似度を判定し、
    　前記利用者の顔画像と前記目標顔画像とに対して、所定の評価項目についてランク値を出力し、
    　前記類似度が高いと判断された前記合成顔画像に適用された美容手法、および前記ランク値を表示することを特徴とする美容支援方法。
17. 　利用者の顔画像と目標顔画像とを入力し、
    　前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、
    　前記目標顔画像と前記複数の合成顔画像との類似度を判定し、
    　前記類似度が高いと判断された前記合成顔画像に適用した美容手法を抽出することを特徴とする美容支援プログラム。
18. 　利用者の顔画像と目標顔画像とを入力し、
    　前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、
    　前記目標顔画像と前記複数の合成顔画像との類似度を判定し、
    　前記利用者の顔画像と前記目標顔画像とに対して、所定の評価項目についてランク値を出力し、
    　前記類似度が高いと判断された前記合成顔画像に適用された美容手法、および前記ランク値を表示することを特徴とする美容支援プログラム。

Images