JP6912611B1 - メガネ、推奨化粧品提示制御システム及び推奨化粧品提示制御方法 - Google Patents

Abstract

【課題】特殊な制御照明環境や特殊な撮影機材を必要とすることなく、ユーザの顔の色情報を手軽且つ正確に取得するための技術を提供すること。【解決手段】メガネ１０は、装着したユーザを撮影した第１の画像データ（メガネあり顔画像）、及び、当該メガネを装着しないユーザを撮影した第２の画像データ（メガネなし顔画像）、に基づいて、コンピュータシステムがユーザの顔の各位置の色を判定する際に用いるメガネである。また、メガネ１０は、位置判定用のマーカ１３を予め定められた位置に有し、予め定められた色（色パターン１４）が予め定められた位置に配色されている。コンピュータシステムが、マーカ１３及び配色を用いて、第１の画像データ及び第２の画像データからユーザの顔の各位置の色を判定する。【選択図】図３

Description

本発明は、メガネの装着者の顔の色をコンピュータシステムが判定する際に用いるメガネ等に関する。

化粧をする者、特に日常的に化粧をする者にとっては、自分に合った化粧品或いは希望する化粧を実現するための化粧品選びは日々のことであり、重要である。ユーザは、自らが蓄積した化粧に関する知識、インターネット等から得た情報、店頭の化粧品売り場の売場員から聞いたアドバイス、等を参考にして化粧品を選択・購入することが多い。化粧品を選択するためのコンピュータシステムの技術としては、データベースに登録されている化粧品の中から、ユーザの肌の色に基づいて推奨化粧品を提示する推奨システム（例えば、特許文献１を参照）の技術が知られている。

特開２０１９−１９５６１９号公報

しかしながら、コンピュータシステムが推奨化粧品を提示するためには、如何にしてユーザの肌の正しい色情報を得るかが重要となる。特許文献１の技術では、ユーザの肌の色を取得するために、特殊な制御照明環境や特殊な撮影機材を用意してユーザを撮影する必要がある。一般ユーザにとっては、例えば、自宅でメークを落とした時に自身のスマートフォンを使って簡単に撮影をすることで推奨化粧品の提示サービスを自身１人で利用したいという要望があるであろうが、特許文献１の技術で実現することは甚だ困難である。

本発明が解決しようとする課題は、特殊な制御照明環境や特殊な撮影機材を必要とすることなく、ユーザの顔の色情報を手軽且つ正確に取得するための技術を提供すること、である。

上記した課題を解決するための第１の発明は、メガネを装着したユーザを撮影した第１の画像データ、及び、前記メガネを装着しない前記ユーザを撮影した第２の画像データ、に基づいて、コンピュータシステムが前記ユーザの顔の各位置の色を判定する際に用いる前記メガネであって、位置判定用のマーカ（例えば、図３のマーカ１３（１３ａ，１３ｂ，…））を予め定められた位置に有し、予め定められた色（例えば、色パターン１４の色）が予め定められた位置に配色されており、前記コンピュータシステムが、前記マーカ及び前記配色を用いて、前記第１の画像データ及び前記第２の画像データから前記ユーザの顔の各位置の色を判定する、メガネである。

ここで言う「メガネ」は、レンズの無い、いわゆる伊達メガネでもよい。
第１の発明のメガネは、ユーザの顔の各位置の色を判定するための予め定められた色（色パターン：色判定のための基準色）と、当該色がメガネの何処に配色されているかの相対位置を判定のためのマーカと、を有している。
ユーザがこのメガネを掛けた状態の第１の画像データでは、色判定の対象である顔と色判定の基準となる色パターンとが隣り合っている。また、第１の画像データにおける環境光の状態と、第２の画像データにおける環境光の状態とは、厳密には同じとは言えないケースもあり得るが、前者と後者との間にあるのはユーザがメガネを外すわずかな動作だけであり、第１の画像データの撮影からそのまま連続的な段取りで第２の画像データの撮影が可能であり、両者の環境光の状態はほとんど同じと言える。

従って、ユーザが自宅でスマートフォンのカメラで自顔を撮影するような撮影環境であっても、メガネを外す前後の環境光の当たり具合はほぼ同じであり、「色パターンが写った部分から読み取られる色でキャリブレーションを行い、顔が写った部分から顔の色情報を読み取る」ことで、正確な色の読み取りが可能になる。つまり、特殊な制御照明環境や特殊な撮影機材を必要とすることなく、ユーザの顔の色情報を手軽且つ正確に取得することができる。

第２の発明は、前記マーカを有し、前記配色が施されたフレーム（例えば、図３のフレーム１２）を備えた、第１の発明のメガネである。

ここで言う「フレーム」は、一般に使用されるメガネの“フレーム”の意味であり、レンズ以外の構造物を指す。一般的なメガネで言えば、リム、ブリッジ、智、鼻当てパッド、パッドアーム、ヒンジ、テンプル、モダン、ヒンジの代わりとなるベルト、ベルト装着部、などが該当する。

第２の発明によれば、第１の発明のマーカおよび配色が施されたフレームを有するメガネを構成することができる。このことは、レンズ無しのメガネとしても本発明が成立することをも意味する。

第３の発明は、メガネと、コンピュータシステムと、を具備した推奨化粧品提示制御システムであって、前記メガネは、位置判定用のマーカ（例えば、図３のマーカ１３（１３ａ，１３ｂ，…））を予め定められた位置に有し、予め定められた色が予め定められた位置に配色されており、前記コンピュータシステムは、前記メガネを装着したユーザを撮影した第１の画像データ（例えば、図１７のメガネあり動画データ７１０、メガネあり正面顔画像データ７１２、メガネあり非正面顔画像データ７１４）及び、前記メガネを装着しない前記ユーザを撮影した第２の画像データ（例えば、図１７のメガネなし動画データ７３０、メガネなし正面顔画像データ７３２、メガネなし非正面顔画像データ７３４）を取得する画像取得手段（例えば、図１のサーバシステム１１００、図１４のサーバ処理部２００ｓ、推奨化粧品提示制御部２１０、画像取得制御部２１２、図１７の進行管理データ７００、図１９のステップＳ３０〜Ｓ４０）と、
前記マーカ及び前記配色を用いて、前記第１の画像データ及び前記第２の画像データから前記ユーザの顔の各位置の色を判定する判定手段（例えば、図１のサーバシステム１１００、図１４のサーバ処理部２００ｓ、推奨化粧品提示制御部２１０、顔関連色判定部２１４、図１０の提示用基礎データ７４０、顔色情報７６０、図２０のステップＳ７０）と、
所定の化粧品データベースのなかから前記ユーザに推奨する化粧品をカテゴリー別に、前記判定手段の判定結果に基づいて選択して提示する制御を行う提示制御手段（例えば、図１のサーバシステム１１００、図１４のサーバ処理部２００ｓ、推奨化粧品提示制御部２１０、提示制御部２３０、図２０のステップＳ１１０）と、を備えた、推奨化粧品提示制御システムである。

ここで言う「コンピュータシステム」とは、単数のコンピュータは勿論、複数のコンピュータが連携して実現されるものでもよい。
第３の発明によれば、第１の発明と同様の効果を奏するシステムとして、特殊な制御照明環境や特殊な撮影機材を必要とすることなく、ユーザの顔の色情報を手軽且つ正確に取得するシステムであって、ユーザの顔の各位置の色を用いて推奨化粧品をユーザに提示するシステムを実現できる。

第４の発明は、前記メガネが、前記マーカを有し、前記配色が施されたフレーム、を備えた、第３の発明の推奨化粧品提示制御システムである。

第４の発明によれば、第２の発明と同様の効果を奏する。

第５の発明は、前記第１の画像データは、前記メガネを装着した前記ユーザを顔の向きを変えて撮影したデータであり、前記判定手段は、前記第１の画像データに含まれる前記ユーザの顔の向きが異なる画像に基づいて、前記フレームの撮影画像部分に対する第１テカリ対処処理を行う手段（例えば、図１４の第１テカリ対処処理部２２０、図６のステップＳ４０）、を有し、前記第１テカリ対処処理後の前記フレームの撮影画像部分の色と、前記フレームの前記配色との色の違いを用いて、前記ユーザの顔の各位置の色を判定する、第４の発明の推奨化粧品提示制御システム、である。

ここで言う「テカリ」とは、物体の表面に光が当たると、物体表面の屈折や反射、拡散によって、物体表面に局所的に生じる相対的な高輝度領域や、輝度のバラツキが撮影画像中に生じることを言う。ハイライト、写り込みなどと呼ばれる現象がこれに該当する。テカリが生じると、その物体本来の色を正しく読み取る事ができなくなる。ユーザが自宅でスマートフォンのカメラで自身の顔を撮影するような撮影環境では、環境光の偏りがあるケースが多く、テカリが発生し易い。一方で、テカリは、撮影アングルを変えると、発生の有無、発生位置、テカリの度合が変化する。

第５の発明によれば、第１の画像データを顔の向きを変えた複数のデータとし、第１テカリ処理を実行することで、推奨化粧品提示制御システムは、１枚目の第１の画像データで、ある場所にテカリが生じている場合でも、当該場所にテカリが生じていない別の第１の画像データから当該場所の色を読み取りできるようになる。

第６の発明は、前記第２の画像データが、前記メガネを装着していない前記ユーザを顔の向きを変えて撮影したデータであり、前記判定手段は、前記第２の画像データに含まれる前記ユーザの顔の向きが異なる画像に基づいて、前記ユーザの顔の各撮影画像部分に対する第２テカリ対処処理を行う手段（例えば、図１４の第２テカリ対処処理部２２２、図９のステップＳ７０）、を有する、第４又は第５の発明の推奨化粧品提示制御システムである。

テカリは、ユーザの肌でも生じる。
第６の発明によれば、第２の画像データを顔の向きを変えた複数のデータとし、第２テカリ処理を実行することで、推奨化粧品提示制御システムは、１枚目の第２の画像データで、ある顔の部位にてテカリが生じている場合でも、当該部位にテカリが生じていない別の第２の画像データから当該部位の色を読み取りできるようになる。

第７の発明は、前記判定手段が、更に、前記ユーザの髪の色を判定し（例えば、図１１の顔色情報７６０、色読取結果データ７６１の位置ＩＤ７６２「髪」）、前記提示制御手段は、前記判定手段により判定された髪の色に基づいて化粧品を選択して提示する制御を行う（例えば、図２０のステップＳ９２）、第３〜第６の何れかの発明の推奨化粧品提示制御システム、である。

第７の発明によれば、推奨化粧品提示制御システムは、髪の色と顔の部位の色との両方とを考慮して化粧品を選択・提示できるようになる。

第８の発明は、前記提示制御手段が、モデル毎に、当該モデルに適用された化粧品の情報を対応付けて記憶したモデルデータベース（例えば、図１２のモデルデータベース５４０）のなかから、前記判定手段の判定結果と所定の適合条件を満たすモデルを選択し（図２０のステップＳ９４）、当該モデルに対応付けられた化粧品を提示する制御を行う（図２０のステップＳ９６〜ステップＳ１０２）、第３〜第７の何れかの発明の推奨化粧品提示制御システムである。

また、第９の発明は、前記モデルデータベースが、前記モデルが化粧前の状態で前記画像取得手段による画像データの取得及び前記判定手段による判定が行われた結果である、当該判定結果のデータ（以下「化粧前モデルデータ」という；例えば、図１２の顔特徴量５４３，顔色情報５４４，素顔画像データ５４５）を、当該モデルと対応付けて記憶しており、前記提示制御手段は、前記化粧前モデルデータが、前記ユーザに関する前記判定手段の判定結果と前記適合条件を満たすモデルを選択し、当該モデルに対応付けられた化粧品を提示する制御を行う、第８の発明の推奨化粧品提示制御システム、である。

第８又は第９の発明によれば、推奨化粧品提示制御システムは、化粧が施された人物すなわちモデルと、その化粧に使用されている化粧品の情報とを登録したモデルデータベースから、顔の部位の色がユーザのそれと適合するモデルの化粧に係る化粧品を選択して提示することができる。実際の人（モデル）にお手本となってもらい、そのモデルの化粧に使用された化粧品の組み合わせをもとに化粧品を選択・提示することで、ユーザにとって分かり易くなる。つまり、ユーザにとっての利便性を向上できる。

第１０の発明は、前記判定手段が、撮影画像中の前記マーカの位置に基づいて前記ユーザの顔及び顔パーツに係る大きさ、形状、位置に関する顔特徴量を判定する顔特徴量判定手段（例えば、図１４の顔特徴量判定部２１８、図９のステップＳ７３、図１０の顔特徴量７５０）、を有し、前記モデルデータベースは、前記モデルの顔特徴量のデータを、当該モデルと対応付けて記憶しており、前記提示制御手段は、前記モデルの顔特徴量のデータが、前記顔特徴量判定手段の判定結果と前記適合条件を満たすモデルを選択し、当該モデルに対応付けられた化粧品を提示する制御を行う、第８又は第９の推奨化粧品提示制御システム、である。

第１０の発明によれば、推奨化粧品提示制御システムは、ユーザと顔立ちの似ているモデルの化粧に使用された化粧品を提示できるようになる。ユーザにとってみれば、提示された化粧品で、化粧後に自分がどのような見栄えを得られるか分かり易くなる。つまり、ユーザにとっての利便性を更に向上できる。

第１１の発明は、コンピュータシステムが、メガネを装着したユーザを撮影した撮影画像を用いて前記ユーザに推奨する化粧品を提示する制御を行うための推奨化粧品提示制御方法であって、前記メガネは、位置判定用のマーカを予め定められた位置に有し、予め定められた色が予め定められた位置に配色されており、前記メガネを装着した前記ユーザを撮影した第１の画像データ、及び、前記メガネを装着しない前記ユーザを撮影した第２の画像データを取得する画像取得ステップ（例えば、図１９のステップＳ３０〜Ｓ４０）と、
前記マーカ及び前記配色を用いて、前記第１の画像データ及び前記第２の画像データから前記ユーザの顔の各位置の色を判定する判定ステップ（例えば、図２０のステップＳ７０）と、
所定の化粧品データベースのなかから前記ユーザに推奨する化粧品をカテゴリー別に、前記判定ステップでの判定結果に基づいて選択して提示する制御を行う提示制御ステップ（例えば、図２０のステップＳ１００〜ステップＳ１１０）と、
を含む推奨化粧品提示制御方法である。

第１１の発明によれば、コンピュータに、第３の発明と同様の効果が得られる制御を実行させることができる。

推奨化粧品提示制御システムの構成例を示す図。 ユーザ端末の構成例を示す正面図。 メガネの正面図。 メガネ登録データのデータ構成例を示す図。 推奨化粧品提示サービスについて説明するための図（その１）。 推奨化粧品提示サービスについて説明するための図（その２）。 メガネ色読取結果データのデータ構成例を示す図。 テカリ判定について説明するための図。 推奨化粧品提示サービスについて説明するための図（その３）。 提示用基礎データのデータ構成例を示す図。 「読取色基準推奨」について説明するための図。 「モデル基準推奨」について説明するための図。 提示画面の表示例を示す図。 第１実施形態におけるサーバシステムの機能構成例を示す機能ブロック図。 第１実施形態におけるサーバ記憶部が記憶するプログラムやデータの例を示す図。 ユーザ管理データのデータ構成例を示す図。 進行管理データのデータ構成例を示す図。 第１実施形態におけるユーザ端末の機能構成例を示す機能ブロック図。 推奨化粧品提示サービスに係るサーバシステム及びユーザ端末における処理の流れを説明するためのフローチャート。 図１９より続くフローチャート。 第２実施形態におけるユーザ端末の機能構成例を示す機能ブロック図。 第２実施形態における推奨化粧品提示サービスに係るサーバシステム及びユーザ端末の処理の流れを説明するためのフローチャート。 図２２より続くフローチャート。 メガネの変形例を示す図。 メガネ登録データの変形例を示す図。 提示再現用データの利用の一例を示すフローチャート。

以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。

〔第１実施形態〕
図１は、推奨化粧品提示制御システムの構成例を示す図である。
推奨化粧品提示制御システム１０００は、ネットワーク９を介して相互にデータ通信が可能なサーバシステム１１００とユーザ端末１５００とを含む。そして、推奨化粧品提示制御システム１０００は、ユーザ端末１５００とメガネ１０とを使用するユーザ２に向けて、（１）メイクアップ化粧品（以下、単に「化粧品」と言う。）をユーザに提示する推奨化粧品提示サービスと、（２）提示された化粧品をオンライン購入するオンラインショッピングサービスと、（３）ＳＮＳ（Social Network Service）と、を提供するコンピュータシステムである。勿論、推奨化粧品提示制御システム１０００は、付加的にその他のサービスの提供を行ってもよい。

ネットワーク９は、データ通信が可能な通信路を意味する。すなわち、ネットワーク９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local Area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。

サーバシステム１１００は、例えば、本体装置１１０１と、キーボード１１０６と、タッチパネル１１０８と、ストレージ１１４０とを有し、本体装置１１０１には制御基板１１５０を搭載する。

制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、通信装置１１５３が搭載されている。なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。

そして、サーバシステム１１００は、制御基板１１５０が所定のプログラム及びデータに基づいて演算処理することにより、推奨化粧品提示サービスと、オンラインショッピングサービスと、ＳＮＳと、を提供する機能を実現する。その中には、それらのサービスの提供に係り、ユーザ端末１５００にて実行可能なプログラムや、プログラムの実行に必要となる各種データの提供も含まれる。

なお、図１では、ユーザ端末１５００を１台のみ描いているが、実際のシステム運用においては、同時に複数のユーザ端末１５００がサーバシステム１１００にアクセス可能である。

また、サーバシステム１１００を、１台のサーバ装置であるかのように描いているが、複数の装置で実現する構成であってもよい。例えば、サーバシステム１１００は各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。また、サーバシステム１１００を構成するハードウェアの設置場所は問わない。離れた場所に設置された独立した複数のサーバを、ネットワーク９を介してデータ通信させることで、全体としてサーバシステム１１００として機能させる構成であっても良い。

図２は、ユーザ端末１５００の構成例を示す正面図である。
ユーザ端末１５００は、登録手続を経たユーザが、本実施形態の推奨化粧品提示制御システム１０００を利用するために使用するコンピュータシステムであって、ネットワーク９を介してサーバシステム１１００にアクセスできる電子装置（電子機器）である。なお、ユーザ端末１５００は、いわゆるスマートフォンに分類されるが、コンピュータであれば、スマートウォッチなどのウェアラブルコンピュータや、携帯型ゲーム装置、タブレット型コンピュータ、パソコン、などでもよい。スマートフォンと、当該スマートフォンに通信接続されたスマートウォッチとの組み合わせといった複数の電子機器が有機的に結びついて１つの機能を果たす場合には、これらの複数の電子機器をもって一つのユーザ端末１５００とみなすことができる。

ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、内蔵バッテリー１５０９と、スピーカ１５１０と、マイク１５１２と、カメラ１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、推奨化粧品提示制御システム１０００の利用対価等の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。

カメラ１５２０は、イメージセンサモジュールで実現できる。

制御基板１５５０は、（１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、（２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、（３）ネットワーク９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、（４）インターフェース回路１５５７、などを搭載する。

インターフェース回路１５５７には、（１）タッチパネル１５０６のドライバ回路、方向入力キー１５０２及びボタンスイッチ１５０４からの信号を受信する回路、（２）スピーカ１５１０へ音声信号を出力する出力アンプ回路、（３）マイク１５１２で集音した音声の信号を生成する入力信号生成回路、（４）カメラ１５２０で撮影された画像の画像データを入力する回路、（５）メモリカード読取装置１５４２への信号入出力回路、などが含まれている。

制御基板１５５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、制御基板１５５０の一部又は全部をＡＳＩＣやＦＰＧＡ、ＳｏＣにて構成してもよい。そして、制御基板１５５０は、ユーザ端末としての機能を実現させるためのプログラムや各種データをＩＣメモリ１５５２に記憶する。

なお、本実施形態では、ユーザ端末１５００はプログラムや各種の設定データをサーバシステム１１００からダウンロードする構成としているが、別途入手したメモリカード１５４０などの記憶媒体から読み出す構成としても良い。

図３は、メガネ１０の正面図である。なお、テンプルやモダンはリムに隠れて見えていないが存在する。
メガネ１０は、透光部１１と、フレーム１２と、を有する。
透光部１１は、レンズや視力調整力のない透光材又は単なる空間である。単なる空間とする場合には、メガネ１０は、レンズの無いいわゆる伊達メガネとなる。
フレーム１２は、透光部１１の外周部を形成する部分である。一般的な二枚レンズ構成の視力調整用メガネの構成でいうところのリム・ブリッジ・智・鼻パッドに該当する部位が、フレーム１２に該当する。リムレスメガネの形態を取る場合には、透光部１１の外周部をフレーム１２と見なすことができる。

フレーム１２は、正面に少なくとも２つのマーカ１３（１３ａ，１３ｂ，…）を有する。図３の例では、フレーム１２の上部左右両端部にそれぞれ第１マーカ１３ａと第２マーカ１３ｂとを有する。また、フレーム１２は、ブリッジの左右それぞれに第３マーカ１３ｃと第４マーカ１３ｄとを有し、鼻パッド部の左右それぞれに第５マーカ１３ｅと第６マーカ１３ｆとを有する。

マーカ１３（１３ａ，１３ｂ，…）は、画像認識によって個別に認識される固有の文様と所定サイズを有しており、所定の幾何的位置関係でフレーム１２へ塗装や印刷によって設けられている。又は、マーカ１３はシールとして貼り付けて実現される。

マーカ１３は、メガネ１０を撮影した画像を画像認識する際の位置や距離などの幾何的位置関係を判定するための基準点とされる。また、メガネ１０の向きや姿勢を判定するための基準点とされる。
例えば、第１マーカ１３ａから第６マーカ１３ｆのサイズ及び相互の実距離は所定値に定まっているので、撮影された画像に写っているマーカ１３のサイズと、マーカ間の画像座標系距離とから、幾何的にカメラ光軸（撮影された画像の奥行き方向）に対するメガネ１０の傾きや、カメラからメガネ１０までの距離、メガネ１０と画像に写っている物体の寸法を求めることができる。また、撮影された画像に写っているマーカ１３の大きさや歪み、マーカ１３同士の位置関係によって、メガネ１０の傾きを知ることができる。

フレーム１２は、複数の色パターン１４を有し、予め定められた色が予め定められた位置に配色されている。
具体的には、フレーム１２は、素材としては黒色のセルフレームであり、リムに沿って複数の略矩形領域に区分けして複数の色パターン１４を形成しているが、区分けの位置関係や形状は予め定められている。色パターン１４の着色は、例えば印刷やシールの貼り付けにより実現することができる。色樹脂の一体成形によって実現してもよい。因みに図３の例では、色の違いをハッチングパターンの違いで表現している。

メガネ１０は、図３で示すデザインの他に、複数種類用意することができ、その種類は、マーカ１３の組合せで判別できるようになっている。そして、ユーザ２は、好みのデザインのメガネ１０を使用することができる。

図４は、メガネ登録データ５３０のデータ構成例を示す図である。
メガネ登録データ５３０は、メガネ１０の種類毎に用意され当該種類のメガネ１０に紐付けられる各種情報を格納し、サーバシステム１１００にて記憶されている。メガネ登録データ５３０は、固有のメガネ種類５３１と、マーカ定義データ５３２と、配色設定データ５３３と、を含む。勿論、これら以外のデータも適宜含めることができる。

マーカ定義データ５３２は、当該登録データに紐付けられるメガネ１０のマーカの種類と相対的な位置関係とを定義するデータを格納する。具体的には、マーカ１３別に、当該マーカを画像認識するためのいわゆる辞書データの役割を示すデータ（図４中ではマークそのもので描いている）と、撮影された画像の画像座標系における位置座標値とを、対応付けて格納している。マーカ１３は、位置判定用の基準であり且つメガネの種類判定用の情報を兼ねているので、マーカ定義データ５３２は、位置判定及び種類判定用のデータであるとも言える。

なお、撮影された画像の画像座標系の設定は適宜可能であるが、例えば次のように設定することができる。すなわち、第１マーカ１３ａ→第３マーカ１３ｃ→第４マーカ１３ｄ→第２マーカ１３ｂが直線状に配置されているものとして、これら４つのマーカを通る直線が、撮影された画像の画像座標系のＸ軸（図４中のＸｆ）と平行であるとする。そして、画像座標系のＸ軸（Ｘｆ）から第５マーカ１３ｅ、第６マーカ１３ｆの有る側を画像座標系のＹ軸（図４中のＹｆ）とし、これら２軸による右手座標系として画像座標系のＺ軸を設定する。

配色設定データ５３３は、色パターン１４別に、色パターン名５３４と、画像座標系における相対位置座標５３５と、当該色パターンの色を定義する設定値５３６（ＲＧＢ値）と、を対応づけて格納する。設定値５３６が示す色が、カラーキャリブレーション用の基準色となる。

次に、推奨化粧品提示サービスについて説明する。
当該サービスは、ユーザ端末１５００で撮影されたユーザ２の顔画像から自動的にユーザ２の顔の各位置の色を読み取り（色を判定し）、化粧品を自動検索して当該ユーザへ提示するサービスである。

ユーザ２が、ユーザ端末１５００にて所定の推奨化粧品提示サービスの開始操作を入力すると、図５に示すように、ユーザ端末１５００にてフレーム確認用画面Ｗ５が表示される。

ユーザ端末１５００は、フレーム確認用画面Ｗ５が表示されている間、カメラ１５２０で撮影している画像データを、サーバシステム１１００へ送信し続ける。サーバシステム１１００は、当該画像データに対して画像認識処理を行って顔部分とマーカ１３とを検出する。そして、サーバシステム１１００は、検出結果から撮影フレームの適正判定をする。具体的には、全てのマーカ１３と、所定の顔部分（例えば、髪・両眉・両目・鼻・口・両耳）とが認識されれば、適正な撮影フレームであると判定する。

もし、マーカや顔部分に認識不足があれば、サーバシステム１１００は、ユーザ端末１５００とユーザ２との間の距離を調整するように促すか、ズームを調整するように促す適正化案内をユーザ端末１５００にて表示させる。そして、サーバシステム１１００は、適正な撮影フレームであれると判定したならば、ユーザ端末１５００にて所定の完了通知を表示させて、第１画像データの取得に関する処理（図５中、第１画像撮影ステップ）を実行する。

第１画像データの取得に関する処理は、図６に示すように、カラーキャリブレーションに必要とされるメガネ１０をつけたユーザ２の画像の取得・保存に係る各種処理を含む。
具体的には、ユーザ端末１５００にて第１画像撮影用画面Ｗ６ａ，Ｗ６ｂが表示される。第１画像撮影用画面Ｗ６ａ，Ｗ６ｂでは、ユーザ２に向けて、メガネ１０を掛けた状態でユーザ端末１５００に向かって左右に首振りするように、またメガネ１０を掛けた状態でユーザ端末１５００に向かって上下に首振りするように促し、所定のカウントダウンの後にその様子を動画撮影する。撮影された「メガネあり動画」が、カラーキャリブレーション用の素材となる。

「メガネあり動画」が撮影されたならば、サーバシステム１１００は、第１テカリ対処処理を実行する（ステップＳ４０）。同処理において、サーバシステム１１００は、「メガネあり動画」から「メガネありの正面顔画像」をキャプチャし（ステップＳ４２）、キャプチャした顔画像から各色パターン１４の色を読み取る（ステップＳ４４）。各色パターン１４の読み取りは、当該画像に写っているマーカ１３からメガネ種類５３１を判定し、当該種類の配色設定データ５３３の相対位置座標５３５が示すピクセルの色を判定することで実現される。

読み取った結果は、例えば図７に示すような、メガネ色読取結果データ７２０としてサーバシステム１１００に保存される。メガネ色読取結果データ７２０は、色パターン名７２１毎に、読み取った色の情報である読取値７２２と、読取完了フラグ７２３と、を対応づけて格納する。

読取完了フラグ７２３は、カラーキャリブレーション用の基準色として適当な読み取りができた場合に「１」に設定される。ここで言う「カラーキャリブレーション用の基準色として適当」とする判定は、その色パターン１４にテカリ４が発生しているか否かに応じて判定する。

ここで言う「テカリ」とは、物体の表面に光が当たると、物体表面の屈折や反射、拡散によって、物体表面に局所的に生じる相対的な高輝度領域や輝度のバラツキを言う。ハイライト、写り込みなどと呼ばれる現象がこれに該当する。テカリ４が生じると、その物体本来の色を正しく読み取る事ができなくなる。ユーザが自宅でスマートフォンのカメラで自身の顔を撮影するような撮影環境では、環境光の偏りがあるケースが多く、テカリ４が発生し易い。一方で、テカリ４は、撮影アングルを変えると、発生の有無、発生位置、テカリ４の度合が変化する。

具体的には、図８に示すように、サーバシステム１１００は、全ての色パターン１４の色を読み取ると、各色パターン１４の設定値５３６（図４参照）と読取値７２２（図７参照）とのＲＧＢ各成分の輝度差ΔＲ・ΔＧ・ΔＢを求め、それらを各軸成分とする３軸座標系にプロットする（グラフ中の白丸がプロットを表す）。

テカリ４が生じている色パターン１４の輝度差は、テカリが生じていない他の色パターン１４（適正色読取群７）のそれよりも、高い輝度差となるように有意差が生まれる。よって、テカリ４が生じて正しく色を読み取れない色パターン１４を識別できる。或いは、輝度差に適当な色読取適正範囲６を設定しておいて、当該範囲内に輝度差ΔＲ・ΔＧ・ΔＢが収まらない色パターン１４を、テカリ４が発生していると判定するとしてもよい。

図６に戻って、「メガネありの正面顔画像」からの色の読み取りが完了したならば、サーバシステム１１００は、別アングルの顔画像を動画からキャプチャする必要があるか判定する（ステップＳ４６）。当該判定は、例えば「メガネありの正面顔画像」から所定数の色パターン１４の読み取りができたか、又は全ての色パターン１４の読み取りができたで判定する。

もし、当該判定が肯定の場合（ステップＳ４６のＹＥＳ）、サーバシステム１１００は「メガネあり動画」から別アングルの静止画（非正面顔画像）をキャプチャし（ステップＳ４８）、正しく色が読み取られていない色パターン１４の色を読み取る（ステップＳ４４）。

もし、別アングルの顔画像を動画からキャプチャする必要が無ければ（ステップＳ４６のＮＯ）、つまり十分カラーキャリブレーション用の基準色として色パターン１４の色読取ができていれば、サーバシステム１１００は、第１テカリ対処処理を抜け、色パターン１４の読取値７２２をそれぞれの設定値５３６と一致又は必要十分に近似させるカラーキャリブレーション用の色補正値を色補正設定として決定する。図６の例では、色補正設定を一組のＲＧＢ値として設定する例を示しているが、色補正設定は一組の値を画像全域に適用する場合に限らない。例えば、顔の部位別や、顔に設定される領域別（例えば、顔を正面からみて左・中央・右など）に色補正値を設定してもよい。

そして、色補正設定が決まったならば、サーバシステム１１００は、第２画像データの取得に関する処理（図６中、第２画像撮影ステップ）を実行する。

図９は、第２画像データの取得に関する処理を説明するための図である。
当該処理は、メガネ１０をつけていないユーザ２の画像の取得・保存に係る処理である。具体的には、ユーザ端末１５００にて第２画像撮影用画面Ｗ９ａ，Ｗ９ｂが表示される。第２画像撮影用画面Ｗ９ａ，Ｗ９ｂでは、ユーザ２に向けて、メガネ１０を掛けずにユーザ端末１５００に向かって左右に首振りするように、またメガネ１０を掛けずにユーザ端末１５００に向かって上下に首振りするように促し、所定のカウントダウンの後にその様子を動画撮影する。撮影された「メガネなし動画」が、ユーザ２の顔の各位置の色を読み取る（色を判定する）ための素材となる。

「メガネなし動画」が撮影されたならば、サーバシステム１１００は、第２テカリ対処処理を実行する（ステップＳ７０）。同処理において、サーバシステム１１００は、「メガネなし動画」から「メガネなしの正面顔画像」をキャプチャする（ステップＳ７１）。そして、サーバシステム１１００は、ユーザ２の顔特徴量を算出し（ステップＳ７３）、顔の所定部位それぞれについて色を読み取る（ステップＳ７５）。

色を読み取る位置は、顔特徴点から予め決められた相対位置或いは当該相対位置を中心とした所定範囲とする。また、色の読み取りに際しては、先に設定した色補正設定を適用する。具体的には、読み取り対象の画像に色補正設定を施した後に色を読み取る、或いは読み取った色に色補正設定を施す。

メガネをしていないユーザの顔画像（第２の画像データ）から読み取った情報は、例えば図１０に示すような提示用基礎データ７４０として保存される。提示用基礎データ７４０は、固有の基礎データＩＤ７４１と、ユーザアカウント７４３と、顔特徴量７５０と、顔色情報７６０と、を含む。勿論、これら以外のデータも適宜含めることができる。

顔特徴量７５０は、ユーザ２の「顔のつくり」「顔立ち」を分類し類似性を判定するための情報である。例えば、顔特徴量７５０として、顔パーツの特徴点を所定順にリスト化した特徴点座標リスト７５１、特徴点間ベクトルリスト７５２、特徴点三角形特徴リスト７５３、顔３次元モデル７５４、などを用いることができる。これらのデータから、必要に応じてユーザ２の顔及び顔パーツに係る大きさ、形状、顔パーツの顔全体における位置関係、相対比率、などを知ることができる。どの情報を顔特徴量７５０として用いるかは、分類や顔の類似性を判定用として採用するアルゴリズムに応じて適宜選択可能である。

顔色情報７６０は、キャプチャされたユーザ２の顔画像から読み取った顔の色情報を格納する。例えば、読み取った位置ＩＤ７６２と、当該位置から読み取った色（判定された色）である読取色７６３と、読取完了フラグ７６４と、を含む。

読取完了フラグ７６４は、初期値が「０（読取未完の意）」であり、当該位置にテカリが生じていない状態で色の読取（色の判定）が行われると「１（読取完了の意）」に設定される。顔の各位置の色読取におけるテカリは、局所的な輝度の立ち上がりで囲まれた領域として認識できる。

例えば、色を読み取る位置を含む周囲所定範囲の肌の輝度で、ラプラシアンヒストグラムを作成し、当該位置が輝度の立ち上がり領域に含まれていれば、そこにはテカリが生じており、正しい色が読み取れないと判断し、読取完了フラグ７６４は現状の「０」を維持する。テカリが生じていなければ、読み取った色は正しいと推測されるので読取完了フラグ７６４を「１」にする。勿論、テカリの認識はこれ以外の考え方で検出するとしてもよい。

図９に戻って、サーバシステム１１００は、別アングルの顔画像をメガネなし動画からキャプチャする必要があるか判定する（ステップＳ７７）。当該判定は、例えば「メガネなしの正面顔画像」から読み取るべき全ての顔の部位において、テカリなしで色の読み取りができたかで判定する。

もし、当該判定が肯定の場合（ステップＳ７７のＹＥＳ）、サーバシステム１１００は「メガネなし動画」から別アングルの静止画をキャプチャし（ステップＳ７９）、新たにキャプチャした顔画像から正しく色が読み取られていない顔の位置の色を読み取る（ステップＳ７５）。
もし、別アングルの顔画像を動画からキャプチャする必要が無ければ、サーバシステム１１００は、第２テカリ対処処理を抜け、ユーザが望む化粧例の選択に係る処理（図９中、化粧例選択ステップ）に進む。

化粧品の選択は、複数のカテゴリー（例えば、ファンデーション、コンシーラ、チーク、口紅、…）に及ぶが、どのカテゴリーまで必要とするかはユーザによる。また、日常的な化粧では、ファンデーションは使用者の肌の色に合っていることが好適とされるが、演出的な化粧では、必ずしもそうとは言えず、意図的に肌とは異なる色が望まし場合もある。また、ファンデーションの色は同じでも、最終的にどのような化粧を目指すかによって、選ぶべき口紅やチーク、アイシャドウなど選ぶべき色は変わる。また、ユーザによっては、お気に入りのメーカ、お気に入りのモデルや芸能人を真似た化粧がしたいケースもある。

そこで、推奨化粧品提示サービスでは、顔の部位の色に合わせることを主たる目的とした「読取色基準推奨」と、ユーザが選択した顔モデルへの化粧例を基準とする「モデル基準推奨」と、の２通りの推奨形態を採用する。ユーザが望む化粧例の選択に係る処理は、後者のための処理である。

図１１は、「読取色基準推奨」について説明するための図である。
サーバシステム１１００は、「読取色基準推奨」を決定するためにはユーザ２に好み等の選択を求めない。サーバシステム１１００は、化粧品のカテゴリー別に、（１）そのカテゴリーの化粧品が施される顔の各位置の色に、類似色の化粧品を化粧品データベース５１０から第１推奨として選択し、（２）類似色よりも明るめになる明側類似色の化粧品を化粧品データベース５１０から第２推奨として選択し、（３）類似色よりも暗めの暗側類似色の化粧品を化粧品データベース５１０から第３推奨として選択し、それらを「読取色基準推奨」の化粧品として提示する。

ここで言う、「類似色」は、必ずしも最も類似している色に限らず、ある程度の許容幅に含まれる類似色を含むとしてもよい。従って、近似する所定範囲の色とすることもできる。また、「明側類似色」及び「暗側類似色」は、所与の明度差で段階的に設定しても良いし、色の類似を明度差で化粧品を検索・ソートした後に、類似色に近い順に所定数を選択するとしてもよい。

類似色・明側類似色・暗側類似色は、そのカテゴリーに予め対応付けられている塗布顔部位に対応する読取色７６３に基づいて決定する。塗布顔部位が複数の色読取位置に及ぶ場合には、該当する顔位置の読取色７６３の統計値（例えば、平均値、最頻度値、など）を求めてこれを用いる。勿論、別途決定アルゴリズムを用意してそれに従うとしてもよい。なお、塗布顔部位は、特徴点三角形で定義し、特徴点三角形輝度統計値リスト７６５を参照して、類似色・明側類似色・暗側類似色を決定するとしてもよい。

化粧品データベース５１０は、サーバシステム１１００により管理されている。化粧品データベース５１０は、化粧品の種別に化粧品登録データ５１１を有している。一つの化粧品登録データ５１１には、品番、カテゴリー、メーカ、製品名、色情報、などの各種情報が格納されている。

「読取色基準推奨」を決定するには、そのカテゴリーの化粧品を、メーカを問わず抽出し、それらの色情報と、類似色・明側類似色・暗側類似色との類似検索によって第１推奨、第２推奨、第３推奨の化粧品を選択する。

選択結果は、読取色基準推奨化粧品リスト７７１として、サーバシステム１１００で記憶される。具体的には、読取色基準推奨化粧品リスト７７１にて、カテゴリー７７２別に参照位置ＩＤ７７３と、第１推奨から第３推奨の各リスト（符号７７４、７７５、…）とが対応づけて格納される。参照位置ＩＤ７７３は、当該カテゴリーの化粧品を選択する際に、顔のどの位置の読取色を参照し、登録されているどの化粧品の色と類似判定するべきかを示しており、予め定められているものとする。

図１２は、「モデル基準推奨」について説明するための図である。
サーバシステム１１００は、複数の顔モデル登録データ５４１を有したモデルデータベース５４０を記憶・管理している。顔モデル登録データ５４１は、実際に化粧を施した人物（顔モデル）の登録データであって、顔モデル毎に作成されている。

一つの顔モデル登録データ５４１は、固有の顔モデルＩＤ５４２と、顔特徴量５４３と、顔色情報５４４と、未化粧の素顔のメガネなし顔画像である素顔画像データ５４５と、単数又は複数の化粧例登録データ５５０と、を含む。勿論、顔モデル登録データ５４１には、これら以外のデータも適宜含めることができる。

顔特徴量５４３及び顔色情報５４４は、顔モデルが化粧前の状態でメガネなしの顔画像（第１の画像データ）の取得、及び顔の各位置の色の読取（色の判定）が行われた結果であり、「化粧前モデルデータ」ともいうべきデータである。
つまり、顔特徴量５４３及び顔色情報５４４は、ユーザ２について求められた提示用基礎データ７４０（図１０参照）の顔特徴量７５０及び顔色情報７６０と同様のデータ構成を有し、類似検索時に参照される。

化粧例登録データ５５０は、顔モデルに施された化粧のタイプ別に用意され、当該化粧に関する各種情報を格納する。一つの化粧例登録データ５５０は、固有の化粧例ＩＤ５５１と、当該化粧のテーマや分類のための単語を登録した化粧テーマタグ５５２と、当該化粧が施された顔画像である化粧画像データ５５３と、当該化粧に使用された化粧品の識別情報（例えば、品番、名称など）を格納する使用化粧品リスト５５４と、当該化粧に使用された化粧用具やアイテム（例えば、特殊なメークアップブラシや、つけまつげ、など）の識別情報を格納する使用用具リスト５５５と、を含む。勿論、化粧例登録データ５５０には、これら以外のデータも適宜含めることができる。

サーバシステム１１００は、「モデル基準推奨」に係り推奨化粧品を選択する際、先ず、ユーザ２と顔のつくりや顔の部位の色が類似している顔モデルを検索する。
具体的には、サーバシステム１１００は、顔モデル毎に、顔特徴量５４３及び顔色情報５４４と、ユーザ２の提示用基礎データ７４０の顔特徴量７５０及び顔色情報７６０と、を比較して類似検索する。検索でヒットすることとする顔モデル数は適宜設定可能である。

そして、サーバシステム１１００は、ユーザ端末１５００にてユーザ２に顔モデルに施された化粧例のなかから好みの化粧を選択させる。
具体的には、サーバシステム１１００は、ユーザ端末１５００にて好み選択画面Ｗ１２を表示せ、当該画面にて単数又は複数の選択操作アイコン２０を表示させる。各選択操作アイコン２０は、それぞれ類似検索した顔モデルの化粧例登録データ５５０と１対１に対応づけられており、そのアイコン画像には化粧画像データ５５３が用いられる。なお、選択操作アイコン２０は、対応する化粧画像データ５５３を、ユーザ端末１５００にて大きく表示させる拡大表示操作アイコンを兼ねていても良い。

サーバシステム１１００は、ユーザ端末１５００からユーザ２による選択操作アイコン２０の操作情報を取得すると、例えば図１３に示すように、ユーザ端末１５００にて提示画面Ｗ１３を表示させる。

提示画面Ｗ１３には、「読取色基準推奨」と「モデル基準推奨」それぞれに対応づけられるタブ２２（２２ａ，２２ｂ）が用意されており、ユーザ２はタブ２２をタッチして選択操作することで、推奨される化粧品の基準を切り換えることができる。そして、その時選択されているタブ２２に対応する基準推奨の結果が、推奨表示部２４にて、化粧品のカテゴリー別に分類され、化粧品毎の化粧品アイコン２６（２６ａ，２６ｂ，…）で表示される。そして、化粧品アイコン２６は、対応する化粧品の詳細情報及び購入手続を開始させる操作アイコンを兼ねている。

具体的には、サーバシステム１１００は、「読取色基準推奨」のタブ２２ａが選択されている場合には、読取色基準推奨化粧品リスト７７１（図１１参照）の第１推奨リスト７７４等の化粧品を推奨表示部２４にて提示する。
「モデル基準推奨」のタブ２２ｂが選択されている場合には、好み選択画面Ｗ１２（図１２参照）においてユーザ２が選択した好みの顔モデルの化粧例の使用化粧品リスト５５４の化粧品を推奨表示部２４にて提示する。勿論、化粧例の使用用具リスト５５５の用具も一緒に提示するとしてもよい。

次に、こうした推奨化粧品提示サービスを実現するための機能構成について説明する。
図１４は、サーバシステム１１００の機能構成例を示す機能ブロック図である。サーバシステム１１００は、操作入力部１００ｓと、サーバ処理部２００ｓと、音出力部３９０ｓと、画像表示部３９２ｓと、通信部３９４ｓと、サーバ記憶部５００ｓとを備える。

操作入力部１００ｓは、サーバの管理のための各種操作を入力するための手段である。図１のキーボード１１０６がこれに該当する。

サーバ処理部２００ｓは、例えばＣＰＵやＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等の演算回路となるプロセッサの他、ＩＣメモリなどの電子部品によって実現され、操作入力部１００ｓやサーバ記憶部５００ｓを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００ｓからの操作入力信号、ユーザ端末１５００などから受信したデータ、等に基づいて各種の演算処理を実行して、サーバシステム１１００の動作を統合的に制御する。

そして、サーバ処理部２００ｓは、ユーザ管理部２０２と、ＳＮＳに係る制御を担うＳＮＳ管理部２０４と、オンラインショッピング管理部２０６と、推奨化粧品提示制御部２１０と、計時部２８０ｓと、音生成部２９０ｓと、画像生成部２９２ｓと、通信制御部２９４ｓとを含む。勿論、これら以外の機能部も適宜含めることができる。

ユーザ管理部２０２は、ユーザ登録手続きに係る処理及びユーザアカウントに紐付けられる各種情報の記憶管理を行う。具体的には、ユーザ管理部２０２は、（１）登録ユーザへの固有のユーザアカウントの付与、（２）ユーザアカウント別に個人情報を登録管理する登録情報管理、（３）ＳＮＳの利用に係る情報（例えば、フレンド登録など）の管理、（４）オンラインショッピングでのアイテム等の購入履歴の管理、（５）オンラインショッピングで使用する電子決済用情報の管理、などを行う。勿論、これら以外のアカウントに紐付けられる他のデータの管理機能も適宜含めることができる。

ここで言う「電子決済用情報」とは、推奨化粧品提示制御システム１０００が提供するサービスに対する対価を電子決済で支払うために使用される情報である。例えば、クレジットカードやプレイペイドカード番、会員カードを用いた電子決済を採用する構成では、カード番号、暗証番号などがこれに該当する。また、予めユーザが購入手続して登録する仮想通貨や仮想アイテム、ポイントを消費することで決済する構成を採用するのであれば、その仮想通貨や仮想アイテム、ポイントの残高がこれに該当する。

オンラインショッピング管理部２０６は、化粧品や化粧用品を始めとする様々な品のオンラインショッピングに関する制御を担う。

推奨化粧品提示制御部２１０は、推奨化粧品提示サービスに係る各種制御を行う。具体的には、推奨化粧品提示制御部２１０は、画像取得制御部２１２と、顔関連色判定部２１４と、提示制御部２３０と、を有する。

画像取得制御部２１２は、メガネ１０を装着したユーザ２を撮影した第１の画像データ、及び、メガネ１０を装着しないユーザを撮影した第２の画像データを取得する制御を行う。ユーザ端末１５００から、メガネあり動画（図６参照）とメガネなし動画（図９参照）のデータを取得するための制御がこれに該当する。

顔関連色判定部２１４は、マーカ１３及び色パターン１４による配色を用いて、第１の画像データ及び第２の画像データからユーザの顔の各位置の色を判定する制御を行う。顔の各位置の色の読み取りが、これに該当する（図９のステップＳ７５参照）。
そして、顔関連色判定部２１４は、顔認識制御部２１６と、第１テカリ対処処理部２２０と、第２テカリ対処処理部２２２と、を含む。

顔認識制御部２１６は、画像内に写っている顔パーツを認識する制御を行う。また、顔認識制御部２１６は、顔特徴量判定部２１８を有し、撮影画像中のメガネ１０のマーカ１３の位置に基づいてユーザ２の顔及び顔パーツに係る大きさ、形状、位置に関する顔特徴量を判定する。

第１テカリ対処処理部２２０は、第１の画像データに含まれるユーザの顔の向きが異なる画像に基づいて、メガネ１０のフレーム１２の撮影画像部分に対する第１テカリ対処処理を行う（図６参照）。顔関連色判定部２１４は、第１テカリ対処処理後のフレームの撮影画像部分の色と、フレーム１２の配色との色の違いを用いて、ユーザの顔の各位置の色を判定する。

第２テカリ対処処理部２２２は、第２の画像データに含まれるユーザの顔の向きが異なる画像に基づいて、ユーザの顔の各撮影画像部分に対する第２テカリ対処処理を行う（図９参照）。

提示制御部２３０は、所定の化粧品データベース５１０（図１１参照）のなかからユーザに推奨する化粧品をカテゴリー別に、顔関連色判定部２１４の判定結果に基づいて選択して提示する制御を行う。顔関連色判定部２１４は、顔の各位置の色の一つとして髪の色を判定するので、提示制御部２３０は、顔関連色判定部２１４により判定された髪の色に基づいて化粧品を選択して提示する制御を行うとも言える。

また、提示制御部２３０は、モデル毎に、当該モデルに適用された化粧品の情報を対応付けて記憶したモデルデータベース５４０（図１２参照）のなかから、顔関連色判定部２１４の判定結果と所定の適合条件を満たすモデルを選択し、当該モデルに対応付けられた化粧品を提示する制御を行う。ここで言う「適合条件を満たすモデル」の選択には、図１２に係り、顔特徴量と顔色情報とがユーザのそれと類似するモデルを検索する類似検索が該当する。

計時部２８０ｓは、システムクロックを利用して現在日時や制限時間等の計時を行う。

音生成部２９０ｓは、音声データの生成やデコードをするＩＣやソフトウェアの実行により実現され、サーバシステム１１００のシステム管理や各サービス提供時の操作音や効果音、ＢＧＭなどの音声データを生成或いはデコードする。そして、システム管理に関する音声信号は音出力部３９０ｓへ出力する。

音出力部３９０ｓは、音声信号を放音する。図１の例では本体装置やタッチパネル１１０８が備えるスピーカ（不図示）がこれに該当する。

画像生成部２９２ｓは、画像の生成、画像の合成、画像表示部３９２ｓにそれらを表示させる画像信号の出力を行う。本実施形態では、サーバシステム１１００のシステム管理に関する画像や、ユーザ端末１５００にて推奨化粧品提示サービス等の各種サービスに係る画面（又はそれらを表示させるためのデータ）などを生成する機能の一部を担う。

画像表示部３９２ｓは、フラットパネルディスプレイや、ヘッドマウントディスプレイ、プロジェクターなど、画像を表示させる装置で実現される。図１の例では、タッチパネル１１０８がこれに該当する。

通信制御部２９４ｓは、データ通信に係るデータ処理を実行し、通信部３９４ｓを介して外部装置とのデータのやりとりを実現する。

通信部３９４ｓは、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１の例では通信装置１１５３が該当する。

サーバ記憶部５００ｓは、サーバ処理部２００ｓにサーバシステム１１００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部２００ｓの作業領域として用いられ、サーバ処理部２００ｓが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図１の例では本体装置が搭載するＩＣメモリ１１５２やハードディスクなどの記憶媒体、及びストレージ１１４０がこれに該当する。

図１５は、本実施形態におけるサーバ記憶部５００ｓが記憶するプログラムやデータの例を示す図である。本実施形態におけるサーバ記憶部５００ｓは、サーバプログラム５０１と、配信用クライアントプログラム５０３と、ＳＮＳ管理データ５０６と、オンラインショッピング管理データ５０９と、化粧品データベース５１０（図１１参照）と、色読取位置定義データ５２０と、メガネ登録データ５３０（図４参照）と、モデルデータベース５４０（図１２参照）と、を記憶する。

また、サーバ記憶部５００ｓは、逐次生成・管理されるデータとして、ユーザ管理データ６００と、進行管理データ７００と、現在日時８００と、を記憶する。サーバ記憶部５００ｓは、その他のプログラムやデータ（例えばタイマや、カウンタ、各種フラグなど）も適宜記憶する。

サーバプログラム５０１は、サーバ処理部２００ｓが読み出して実行することで、ユーザ管理部２０２、ＳＮＳ管理部２０４、オンラインショッピング管理部２０６、推奨化粧品提示制御部２１０、としての機能を実現させるためのプログラムである。
配信用クライアントプログラム５０３は、ユーザ端末１５００へ提供されるクライアントプログラムのオリジナルである。

色読取位置定義データ５２０は、ユーザ２の顔画像の何処の色を読み取るか（色を判定するか）を指定するデータであって、読取位置毎に用意される。一つの色読取位置定義データ５２０は、固有の読取位置ＩＤと、位置定義データとを対応づけて格納する。位置定義データは、単数又は複数の顔特徴点を基準とする相対位置座標又は相対位置座標の範囲で定義される。範囲で定義する場合には、当該範囲の色情報から当該範囲を代表する色をどのように決定するか（例えば、平均値を取る、最頻度値を取る、など）を指定するデータも適宜色読取位置定義データ５２０に格納する。

ユーザ管理データ６００は、所定の登録手続をしたユーザ毎に用意され、当該ユーザに係る各種データを格納する。１つのユーザ管理データ６００は、例えば図１６に示すように、固有のユーザアカウント６０１と、ＳＮＳのフレンドリスト６０３と、電子決済用媒体情報６０５と、オンラインショッピング購入履歴データ６０７と、提示再現用データ６１０と、を含む。勿論、これら以外のデータも適宜含めることができる。

提示再現用データ６１０は、過去に提供された推奨化粧品提示サービスの結果を再現可能とするための各種データを格納する。推奨化粧品提示サービス毎に追加される。
具体的には、提示再現用データ６１０は、提示日時６１１と、色補正設定データ６１２と、メガネなし正面顔画像データ６１３と、提示用基礎データ６１４と、読取色基準推奨化粧品リスト６１５と、ユーザ選択化粧例ＩＤ６１６と、モデル基準推奨化粧品リスト６１７と、を含む。色補正設定データ６１２〜モデル基準推奨化粧品リスト６１７のデータは、それぞれ進行管理データ７００に含まれる同名のデータの写しである。

図１５に戻って、進行管理データ７００は、推奨化粧品提示サービスの進行管理に係る各種データを格納する。具体的には、例えば図１７に示すように、固有のサービスＩＤ７０１と、提示先のユーザ２を示すユーザアカウント７０３と、顔認識制御に係る各種データを格納する顔認識制御用データ７０５と、メガネあり動画データ７１０と、メガネあり正面顔画像データ７１２と、メガネあり非正面顔画像データ７１４と、メガネ色読取結果データ７２０（図７参照）と、色補正設定データ７２８（図６，８参照）と、メガネなし動画データ７３０と、メガネなし正面顔画像データ７３２と、メガネなし非正面顔画像データ７３４と、提示用基礎データ７４０（図１０参照）と、推奨化粧品選択制御データ７７０と、を含む。勿論、これら以外のデータも適宜含めることができる。

推奨化粧品選択制御データ７７０は、提示する推奨化粧品の選択過程に係る各種データを格納する。具体的には、推奨化粧品選択制御データ７７０は、読取色基準推奨化粧品リスト７７１（読み取った顔色情報７６０を基準に類似検索された化粧品データベース５１０の化粧品のリスト）と、類似顔モデルＩＤ７７６と、ユーザ選択化粧例ＩＤ７７７（好み選択画面Ｗ１２で選択された化粧例のＩＤ）と、モデル基準推奨化粧品リスト７７８と、を含む。

図１８は、ユーザ端末１５００の機能構成例を示す機能ブロック図である。ユーザ端末１５００は、操作入力部１００と、撮影部１２０と、端末処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、端末記憶部５００と、を備える。

操作入力部１００は、ユーザによってなされた各種の操作入力に応じた操作入力信号を端末処理部２００に出力する。図２の方向入力キー１５０２や、ボタンスイッチ１５０４、タッチパネル１５０６、などがこれに該当する。

撮影部１２０は、外部の様子を撮影し、その画像データを生成して端末処理部２００へ出力する。図２のカメラ１５２０すなわちイメージセンサモジュールがこれに該当する。

端末処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や端末記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号、サーバシステム１１００から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末１５００の動作を制御する。図２の制御基板１５５０がこれに該当する。

そして、本実施形態における端末処理部２００は、ユーザ端末演算部２６０と、計時部２８０と、音生成部２９０と、通信制御部２９４と、を有する。

ユーザ端末演算部２６０は、ユーザ端末１５００をサーバシステム１１００と通信するクライアント装置としての機能を実現させる制御を行う。具体的には、ユーザ端末演算部２６０は、操作信号送信制御部２６１と、表示制御部２６２と、を含む。

操作信号送信制御部２６１は、操作入力部１００へなされた操作に応じて、各種データやリクエストをサーバシステム１１００へ送信するための処理を実行する。

表示制御部２６２は、サーバシステム１１００から受信した各種データ等に基づいてサービスに係る各種画面等を表示するための制御を行う。そして、それらの画像を表示させるための画像信号の生成出力などを画像表示部３９２へ出力する。

画像表示部３９２は、表示制御部２６２から入力される画像信号に基づいて各種画像を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。

なお、ユーザに提供される各種サービスに係る画面の画像をサーバシステム１１００にて生成する構成とするが、ユーザ端末１５００で生成する構成も可能である。その場合、表示制御部２６２は、例えば３ＤＣＧを生成するための仮想３次元空間に配置されたオブジェクトの制御など、画面を生成するための各種制御、画像合成処理などを実行することとなる。

計時部２８０は、システムクロックを利用して現在日時や制限時間等の計時を行う。

音生成部２９０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）や、音声合成ＩＣなどのプロセッサ、音声ファイルを再生可能なオーディオコーデック等によって実現され、楽曲や効果音、各種操作音の音信号を生成し、音出力部３９０に出力する。

音出力部３９０は、音生成部２９０から入力される音信号に基づいて音出力（放音）する装置によって実現される。図２のスピーカ１５１０がこれに該当する。

通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。

通信部３９４は、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。

端末記憶部５００は、端末処理部２００に所与の機能を実現させるためのプログラムや、各種データ等を記憶する。また、端末処理部２００の作業領域として用いられ、端末処理部２００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図２の制御基板１５５０が搭載するＩＣメモリ１５５２やメモリカード１５４０がこれに該当する。オンラインストレージを利用する構成も可能である。

具体的には、端末記憶部５００は、端末処理部２００をユーザ端末演算部２６０として機能させるためのクライアントプログラム５０２と、操作入力データ６９０と、現在日時８００と、を記録する。勿論、これら以外のデータも適宜記憶できる。

図１９と図２０は、推奨化粧品提示サービスに係るサーバシステム１１００及びユーザ端末１５００における処理の流れを説明するためのフローチャートである。ここで説明する処理の流れは、クライアントプログラム５０２が実行されているユーザ端末１５００が、サーバプログラム５０１が実行されているサーバシステム１１００へ通信接続することで実現される。ユーザ２がユーザ端末１５００を操作すると、操作入力はサーバシステム１１００へ送信される。

図１９に示すように、ユーザ端末１５００とサーバシステム１１００は、ログイン手続の処理を行う（ステップＳ２，Ｓ４）
ログインの後、ユーザ端末１５００は、所定の「推奨化粧品提示サービス開始操作」の入力を検出すると、サーバシステム１１００へ当該サービスのリクエストを送信する（ステップＳ６）。

サーバシステム１１００は、当該リクエストを受信すると、推奨化粧品提示サービスの進行管理処理を開始する（ステップＳ８）。これに伴い、進行管理データ７００が作成される（図１７参照）。そして、サーバシステム１１００は、ユーザ端末１５００へ撮影開始リクエストを送信する（ステップＳ１０）。

ユーザ端末１５００は、撮影開始リクエストを受信すると、フレーム確認ステップを実行する（ステップＳ２０）。これにより、ユーザ端末１５００にてフレーム確認用画面Ｗ５が表示され、カメラ１５２０で撮影された画像のデータが、サーバシステム１１００へ送信されるようになる（図５参照）。

サーバシステム１１００は、ユーザ端末１５００で撮影されている画像から、メガネ１０のマーカ１３の検出や顔パーツの検出を行って、撮影フレームの適正チェックを行う（ステップＳ２２）。必要に応じて、サーバシステム１１００とユーザ端末１５００との間で、撮影フレームを適正化するための案内表示制御と表示とが行われる（ステップＳ２４，Ｓ２６）。そして、撮影フレームが適正であると判断されると、サーバシステム１１００は、ユーザ端末１５００へ適正チェックの完了通知を行う（ステップＳ２８）。

当該完了通知は移行指示を兼ねており、ユーザ端末１５００は、第１画像撮影ステップ、すなわちメガネあり動画の撮影処理を開始する（ステップＳ３０）。ユーザ端末１５００では、第１画像撮影用画面Ｗ６ａ，Ｗ６ｂが表示され（図６参照）、撮影された「メガネあり動画」のデータはサーバシステム１１００へ送信される。

サーバシステム１１００、メガネあり動画データ７１０（図１７参照）を保存し（ステップＳ３２）、第１テカリ対処処理を実行する（ステップＳ４０；図６参照）。当該処理の中で、メガネ１０の各色パターン１４の色が読み取られ、サーバシステム１１００は、カラーキャリブレーション用の色補正値を決定し（ステップＳ６０）、ユーザ端末１５００へ所定の移行指示を送信する（ステップＳ６２）。

当該移行指示を受信すると、ユーザ端末１５００は、第２画像撮影ステップすなわちメガネなし動画の撮影処理を開始する（ステップＳ６４）。ユーザ端末１５００では、第２画像撮影用画面Ｗ９ａ，Ｗ９ｂが表示され（図９参照）、撮影された「メガネなし動画」のデータはサーバシステム１１００へ送信される。

図２０に移って、サーバシステム１１００は、メガネなし動画データ７３０（図１７参照）を保存し（ステップＳ６６）、第２テカリ対処処理を実行する（ステップＳ７０；図９参照）。そして、サーバシステム１１００は、第２テカリ対処処理で得たユーザ２の顔特徴量７５０や顔色情報７６０といった情報を提示用基礎データ７４０として保存し（ステップＳ９０；図１０参照）。

次いで、サーバシステム１１００は、推奨化粧品の選択に係る処理を実行する（ステップＳ９２〜ステップＳ１０２）。
具体的には、サーバシステム１１００は、読取色基準推奨の化粧品を選択し（ステップＳ９２；図１１参照）、その結果を読取色基準推奨化粧品リスト７７１として保存する。
次いで、サーバシステム１１００は、ユーザ２の顔と類似する顔モデルを選択し、選択結果を、類似顔モデルＩＤ７７６として保存する（ステップＳ９４）。
そして、サーバシステム１１００は、ユーザ端末１５００へ所定の移行指示と、顔モデルの化粧画像データ５５３（図１２参照）を提供する（ステップＳ９６）。

当該移行指示を受信したユーザ端末１５００は、化粧例選択ステップの処理を実行し、好み選択画面Ｗ１２を表示し、ユーザ２による選択結果をサーバシステム１１００へ送信する（ステップＳ１００）。

サーバシステム１１００は、受信したユーザ選択の結果に対応する化粧例の使用化粧品リスト５５４（図１２参照）をもって、モデル基準推奨の推奨化粧品を決定し、モデル基準推奨化粧品リスト７７８として保存する（ステップＳ１０２；図１７参照）。
そして、サーバシステム１１００は、所定の移行指示と推奨化粧品の画像とをユーザ端末１５００へ送信し（ステップＳ１０４）、ユーザ２のユーザ管理データ６００に新たな提示再現用データ６１０を追加する（ステップＳ１０６）。

一方、ステップＳ１０４の移行指示等を受信したユーザ端末１５００は、提示画面Ｗ１３（図１３参照）を表示して、ユーザ２へ推奨化粧品を提示する（ステップＳ１１０）。提示画面Ｗ１３の化粧品サムネイル画像２６ｃは、対応する化粧品の詳細情報及び購入手続を開始させる操作アイコンを兼ねているので、ユーザ端末１５００は、化粧品サムネイル画像２６ｃへのタッチ操作を検出すると、当該サムネイル画像に対応する化粧品の情報提供及び購入手続のリクエストをサーバシステム１１００へ送信する（ステップＳ１１２）。

サーバシステム１１００は、購入手続のリクエストを受信すると、リクエストされた化粧品をオンラインショッピングサービスを利用して購入するための処理を実行する（ステップＳ１１４）。

以上、本実施形態によれば、メガネ１０を用いることで、カラーキャリブレーション用の基準色と、色を読み取る対象物とが、同じ画像内にしかも近距離に写るので、例えばユーザが自宅でスマートフォンのカメラで自顔を撮影するような撮影環境であっても、ユーザの顔の色情報を手軽且つ正確に取得することが可能になる。

カラーキャリブレーションを第１の画像データ（メガネあり動画及びこれからキャプチャされる画像）で行い、第２の画像データ（メガネ動画及びこれからキャプチャされた画像）で顔の色を読み取る（色を判定する）２段階構成としていることで、メガネに隠れて見えない部分の色の読み取りも可能になるし、メガネの印影の影響を受けない読取が可能になる。

実際の運用場面においては、厳密には、第１の画像データにおける環境光の状態と、第２の画像データにおける環境光の状態とが同じとは言えないケースもあり得るが、前者と後者との間にあるのはユーザがメガネを外すわずかな動作だけであり、第１の画像データの撮影からそのまま連続的な段取りで第２の画像データの撮影が可能であり、両者の環境光の状態はほとんど同じと言える。

ユーザからすると、インターネットとスマートフォンを利用して、ユーザが自宅などに居ながらにして自分に合った化粧品の推奨を受けて、居ながらにして推奨された化粧品を購入することも可能になる。よって、従来よりも利便性に優れた推奨化粧品を推奨するシステムを実現できる。

〔第２実施形態〕
次に、第２実施形態について説明する。第２実施形態と第１実施形態とを比較すると、第１実施形態では、推奨化粧品提示制御部２１０の機能をサーバシステム１１００にて実現しているが、第２実施形態ではこれらをユーザ端末１５００にて実現している点が異なる。なお、以降では、主に第１実施形態との差異について述べることとし、第１実施形態と同様の構成要素については、第１実施形態と同じ符号を付与して重複する説明は省略する。

図２１は、本実施形態におけるユーザ端末１５００Ｂの機能構成例を示す機能ブロック図である。本実施形態のユーザ端末１５００Ｂは、第１実施形態のユーザ端末演算部２６０に推奨化粧品提示制御部２１０を含む。

これに対応して、特に図示しないが、本実施形態のサーバシステム１１００の機能構成からは、推奨化粧品提示制御部２１０が省略されている。また、本実施形態のクライアントプログラム５０２Ｂは、端末処理部２００に推奨化粧品提示制御部２１０としての機能を実現させる要素を含んでいる。そして、端末記憶部５００には、進行管理データ７００が記憶される。

図２２と図２３は、第１実施形態の図１９と図２０に相当するフローチャートである。
これらの図に示すように、推奨化粧品提示制御部２１０に係るステップは、主にユーザ端末１５００Ｂにて実行される。但し、データベース及び各種定義データは、本実施形態でもサーバシステム１１００にて記憶・管理されており、ユーザ端末１５００Ｂは、それらの参照が必要な時は適宜参照リクエストをサーバシステム１１００へ送信し、サーバシステム１１００はその都度、参照対応処理を実行する（例えば、ステップＳ３６、Ｓ８８）。

参照対応処理では、サーバシステム１１００は、参照リクエストされた情報の提供をユーザ端末１５００Ｂへ送信・提供する。具体的には、本実施形態のステップＳ３４に対応して、サーバシステム１１００は、参照対応処理としてメガネ登録データ５３０をユーザ端末１５００Ｂへ送信する（ステップＳ３６）。また、本実施形態のステップＳ７０に対応して、サーバシステム１１００は、色読取位置定義データ５２０をユーザ端末１５００Ｂへ送信する（ステップＳ８８）。

読取色基準推奨の化粧品の選択は、ユーザ端末１５００Ｂが提示用基礎データ７４０をサーバシステムに選択リクエストともに送信すると（ステップＳ９１）、サーバシステム１１００が読取色基準推奨の化粧品を選択して（ステップＳ９２）、選択結果をユーザ端末１５００Ｂへ提供する（ステップＳ９３）。

図２３に移って、ユーザ端末１５００は、サーバシステム１１００から推奨化粧品の画像の提供を受けると、提示再現用データ６１０（図１６参照）のコピー元データをサーバシステム１１００へ送信する（ステップＳ１０５）。サーバシステム１１００は、受信したデータに基づいて提示再現用データ６１０を追加する（ステップＳ１０６）。

本実施形態によれば、第１実施形態と同様の効果を得ることができる。

〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。

（変形例その１）
例えば、第１実施形態では、推奨化粧品提示制御部２１０の機能を全てサーバシステム１１００にて実現し、第２実施形態では同機能を全てユーザ端末１５００Ｂにて実現する例を示したが、その中間の構成も可能である。すなわち、推奨化粧品提示制御部２１０の機能をサーバシステム１１００とユーザ端末１５００とで分担させる構成も可能である。

（変形例その２）
また、上記実施形態では、読取色基準推奨及びモデル基準推奨の化粧品の選択方法は、メガネ１０の種類に係わらず同じであったが、メガネ１０の種類に応じて、読取色基準推奨及びモデル基準推奨の化粧品の選択に特別な条件を付加する構成も可能である。

例えば、図２４のメガネ１０Ｂは、化粧品メーカと推奨化粧品提示制御システム１０００の運営者とのコラボレーションにより作成された専用のハーフリムタイプ（或いはブロータイプ）のデザインを有する。

そして、メガネ１０Ｂに対応するメガネ登録データ５３０には、図２５に示すように、読取色基準推奨化粧品制限設定データ５３７と、モデル基準推奨化粧品制限設定データ５３８とを含める。読取色基準推奨化粧品制限設定データ５３７としては、コラボレーション先の化粧品メーカ名、コラボレーション先の化粧品メーカの化粧品のシリーズ名、コラボレーション先の化粧品メーカの製品のリスト、を設定する。モデル基準推奨化粧品制限設定データ５３８としては、コラボレーション先の化粧品メーカが用意した顔モデル登録データ５４１の顔モデルＩＤ５４２のリスト（図１２参照）とする。

そして、読取色基準推奨の化粧品の選択ステップ（例えば、図２０のステップＳ９２）では、メガネ１０Ｂを使用している場合には、化粧品データベース５１０に登録されている化粧品のうち、読取色基準推奨化粧品制限設定データ５３７が示す内容に適合する化粧品を抽出し、その中から選択する。更には、メガネ１０Ｂを使用していない場合には、反対に読取色基準推奨化粧品制限設定データ５３７が示す内容に適合する化粧品を除外したなかから、推奨化粧品を選択するとしてもよい。

同様に、顔モデルの選択ステップ（例えば、図２０のステップＳ９４）では、メガネ１０Ｂを使用している場合には、モデル基準推奨化粧品制限設定データ５３８が示す内容に適合する顔モデルを抽出し、その中から類似する顔モデルを選択する。更には、メガネ１０Ｂを使用していない場合には、反対にモデル基準推奨化粧品制限設定データ５３８が示す内容に適合する顔モデルを除外したなかから、顔モデルを選択するとしてもよい。

つまり、ある特定のメガネ１０Ｂを使用した場合に、そのメガネのコラボレーション先のメーカの化粧品群の中から推奨化粧品が選択されるような構成を追加したり、メガネ１０Ｂを使用した場合に限って、ユーザ２が限定の化粧例の中から好みの化粧例を選択することで推奨化粧品が選ばれるような構成も可能である。

（変形例その３）
また、ユーザ管理データ６００の提示再現用データ６１０（図１６参照）は、当該データに対応づけられているユーザが、サーバシステム１１００が提供する他のサービスの利用時に参照可能な構成とすることができる。

例えば、サーバシステム１１００が、メイクシミュレーションサービスを提供する場合、サーバ処理部２００ｓが、メイクシミュレーションに係る制御を実行するメイクシミュレーション管理部を担い、推奨化粧品提示サービスで推奨された化粧品を、提示を受けたユーザに用いた場合のシミュレーション画像を生成しユーザに提示する。

そして、サーバシステム１１００は、シミュレーション画像を生成する際には、メガネなし正面顔画像データ６１３（図１６参照）に、読取色基準推奨化粧品リスト６１５及びモデル基準推奨化粧品リスト６１７の化粧品の色を合成して生成する。その際、サーバシステム１１００が、色補正設定データ６１２を用いて、メガネなし正面顔画像データ６１３と読取色基準推奨化粧品リスト６１５及びモデル基準推奨化粧品リスト６１７の化粧品の色とを何れかに合わせてカラーキャリブレーションするとしてもよい。当該構成によれば、正しい化粧品の色でシミュレーション画像を生成できる。

（変形例その４）
また例えば、図２６に示すように、提示再現用データ６１０の利用をオーナユーザに限らず、当該オーナユーザのフレンドユーザも利用可能とすることができる。

具体的には、第１実施形態をベースにして例示すると、ユーザ端末１５００が、所定の再提示操作入力を検出すると（ステップＳ１５０）、所定の再提示リクエストをサーバシステム１１００へ送信する（ステップＳ１５２）。サーバシステム１１００は、当該リクエストを受信すると、リクエストしたユーザと、当該ユーザのフレンドユーザ（フレンドリスト６０３に登録されているユーザ；図１６参照）とのそれぞれの提示再現用データ６１０を検索可能に提供する（ステップＳ１５４）。

ユーザ端末１５００は、提示再現用データ６１０とユーザアカウントとのセットを取得すると、それらのうちどの提示を再現するかを選択可能にユーザに提示し（ステップＳ１５６）、選択された提示再現用データ６１０に基づいて、提示画面Ｗ１３（図１３参照）で推奨化粧品を再提示する（ステップＳ１５８）。

提示画面Ｗ１３の化粧品サムネイル画像２６ｃが、対応する化粧品の詳細情報及び購入手続を開始させる操作アイコンを兼ねているのは、第１実施形態と同様である。
従って、ユーザが、再提示された化粧品サムネイル画像２６ｃへのタッチ操作を検出すると、ユーザ端末１５００は、当該サムネイル画像に対応する化粧品の情報提供及び購入手続のリクエストをサーバシステム１１００へ送信し（ステップＳ１６０）、サーバシステム１１００は、購入手続のリクエストを受信すると、リクエストされた化粧品をオンラインショッピングサービスを利用して購入するための処理を実行する（ステップＳ１６２）。

当該構成によれば、提示再現用データ６１０のオーナユーザのフレンドユーザが、当該オーナユーザへの推奨化粧品をプレゼントとして購入することも可能になる。

（変形例その５）
また、上記実施形態では、顔の各位置の色を「メガネなし顔画像」から読み取る（判定する）構成としている。これは、メガネ１０で隠れる部位が無いように、またメガネ１０の影や光の反射が色の読み取りに影響を与える可能性を除去するためである。しかし、色を読み取る位置を、こうした懸念が生じない位置に限定する場合にはこの限りでは無い。その場合、「メガネなし動画」の取得、当該動画からの「メガネなし顔画像」のキャプチャ、そして「メガネなし顔画像」からの色の読み取りといった、第２の画像データに係る構成要素を省略することができる。

（変形例その６）
また、上記実施形態を、化粧品販売店での店頭販売のシステムとして用いることができる。具体的には、上記実施形態ではユーザ端末１５００をユーザが有するスマートフォンとして例示したが、ユーザ端末１５００と同様の機能を有する店舗据え置きの情報端末（例えば、大型スマートフォンを化粧鏡のようにして用いるいわゆる「スマートミラー」など）とする。そして、サーバシステム１１００が、化粧品を販売する店舗毎の在庫情報を管理する在庫データベースを記憶管理する在庫管理サーバを兼ね、推奨化粧品を選択する際に、化粧品データベース５１０からの選択とは別に、在庫データベースにおいて「在庫あり」商品の中から選択して提示する、としてもよい。

また、上記実施形態を店頭販売のシステムとして用いる場合、カメラを有する店舗据え置きのメイン情報端末と、店舗スタッフが身につけるサブ情報端末との二つで上記実施形態におけるユーザ端末１５００を構成するとしてもよい。そして、お客さまであるユーザの「メガネあり画像」「メガネなし画像」は、メイン情報端末で撮影し、推奨化粧品の提示はサブ情報端末にて行う構成とすることができる。この場合、店舗スタッフに推奨化粧品、しかも在庫のある商品を提示できるので販売促進効果に優れる。

なお、店舗間での客先情報の管理は、サーバシステム１１００にて一元管理されることになるので、店舗据え置きの情報端末で、お客さまであるユーザの「メガネあり画像」から顔認証して、当該ユーザのユーザ管理データ６００を読み出すことで、店舗が異なっても過去のデータを利用したり、同様のサービスが受けられるようにできる。因みに、顔認証用の辞書データとしては、提示用基礎データ６１４や、メガネなし正面顔画像データ６１３を利用できる（図１６参照）。勿論、ユーザ管理データ６００を読み出すための顔認証は、ユーザ別にユーザ登録カードを発行し、当該カードによる認証で代替してもよい。

２…ユーザ
４…テカリ
１０…メガネ
１２…フレーム
１３…マーカ
１４…色パターン
２００ｓ…サーバ処理部
２１０…推奨化粧品提示制御部
２１２…画像取得制御部
２１４…顔関連色判定部
２１６…顔認識制御部
２１８…顔特徴量判定部
２２０…第１テカリ対処処理部
２２２…第２テカリ対処処理部
２３０…提示制御部
５００ｓ…サーバ記憶部
５０１…サーバプログラム
５０２…クライアントプログラム
５１０…化粧品データベース
５２０…色読取位置定義データ
５３０…メガネ登録データ
５３２…マーカ定義データ
５３３…配色設定データ
５３４…色パターン名
５４０…モデルデータベース
５４１…顔モデル登録データ
５４３…顔特徴量
５４４…顔色情報
５４５…素顔画像データ
５５０…化粧例登録データ
５５２…化粧テーマタグ
５５３…化粧画像データ
５５４…使用化粧品リスト
６００…ユーザ管理データ
７０１…サービスＩＤ
７１０…メガネあり動画データ
７２０…メガネ色読取結果データ
７２８…色補正設定データ
７３０…メガネなし動画データ
７４０…提示用基礎データ
７５０…顔特徴量
７６０…顔色情報
７６１…色読取結果データ
７７０…推奨化粧品選択制御データ
７７１…読取色基準推奨化粧品リスト
７７４…モデル基準推奨化粧品リスト
７７６…類似顔モデルＩＤ
７７８…モデル基準推奨化粧品リスト
１０００…推奨化粧品提示制御システム
１１００…サーバシステム
１５００…ユーザ端末
１５２０…カメラ

Claims (11)

1. メガネを装着したユーザを撮影した第１の画像データ、及び、前記メガネを装着しない前記ユーザを撮影した第２の画像データ、に基づいて、コンピュータシステムが前記ユーザの顔の各位置の色を判定する際に用いる前記メガネであって、
   前記第１の画像データ及び前記第２の画像データは、それぞれ、前記ユーザの顔の向きが異なる画像を含み、
   フレーム正面の左端部及び右端部に位置判定用のマーカを有し、予め定められた色が予め定められた位置に配色されたフレームを備え、
   前記コンピュータシステムが、前記マーカ及び前記配色を用いて、前記第１の画像データ及び前記第２の画像データから前記ユーザの顔の各位置の色を判定する、
   メガネ。
2. 前記フレームには、予め定められた異なる色が前記フレーム正面の予め定められた異なる位置に離散的に配色されている、
   請求項１に記載のメガネ。
3. メガネと、コンピュータシステムと、を具備した推奨化粧品提示制御システムであって、
   前記メガネは、
   位置判定用のマーカを予め定められた位置に有し、予め定められた色が予め定められた位置に配色されており、
   前記コンピュータシステムは、
   前記メガネを装着したユーザを撮影した第１の画像データ、及び、前記メガネを装着しない前記ユーザを撮影した第２の画像データを取得する画像取得手段と、
   前記マーカ及び前記配色を用いて、前記第１の画像データ及び前記第２の画像データから前記ユーザの顔の各位置の色を判定する判定手段と、
   所定の化粧品データベースのなかから前記ユーザに推奨する化粧品をカテゴリー別に、前記判定手段の判定結果に基づいて選択して提示する制御を行う提示制御手段と、
   を備えた、
   推奨化粧品提示制御システム。
4. 前記メガネは、
   前記マーカを有し、前記配色が施されたフレーム、
   を備えた、
   請求項３に記載の推奨化粧品提示制御システム。
5. 前記第１の画像データは、前記メガネを装着した前記ユーザを顔の向きを変えて撮影したデータであり、
   前記判定手段は、
   前記第１の画像データに含まれる前記ユーザの顔の向きが異なる画像に基づいて、前記フレームの撮影画像部分に対する第１テカリ対処処理を行う手段、
   を有し、前記第１テカリ対処処理後の前記フレームの撮影画像部分の色と、前記フレームの前記配色との色の違いを用いて、前記ユーザの顔の各位置の色を判定する、
   請求項４に記載の推奨化粧品提示制御システム。
6. 前記第２の画像データは、前記メガネを装着していない前記ユーザを顔の向きを変えて撮影したデータであり、
   前記判定手段は、
   前記第２の画像データに含まれる前記ユーザの顔の向きが異なる画像に基づいて、前記ユーザの顔の各撮影画像部分に対する第２テカリ対処処理を行う手段、
   を有する、
   請求項４又は５に記載の推奨化粧品提示制御システム。
7. 前記判定手段は、更に、前記ユーザの髪の色を判定し、
   前記提示制御手段は、前記判定手段により判定された髪の色に基づいて化粧品を選択して提示する制御を行う、
   請求項３〜６の何れか一項に記載の推奨化粧品提示制御システム。
8. 前記提示制御手段は、モデル毎に、当該モデルに適用された化粧品の情報を対応付けて記憶したモデルデータベースのなかから、前記判定手段の判定結果と所定の適合条件を満たすモデルを選択し、当該モデルに対応付けられた化粧品を提示する制御を行う、
   請求項３〜７の何れか一項に記載の推奨化粧品提示制御システム。
9. 前記モデルデータベースは、前記モデルが化粧前の状態で前記画像取得手段による画像データの取得及び前記判定手段による判定が行われた結果である、当該判定結果のデータ（以下「化粧前モデルデータ」という）を、当該モデルと対応付けて記憶しており、
   前記提示制御手段は、前記化粧前モデルデータが、前記ユーザに関する前記判定手段の判定結果と前記適合条件を満たすモデルを選択し、当該モデルに対応付けられた化粧品を提示する制御を行う、
   請求項８に記載の推奨化粧品提示制御システム
10. 前記判定手段は、
    撮影画像中の前記マーカの位置に基づいて前記ユーザの顔及び顔パーツに係る大きさ、形状、位置に関する顔特徴量を判定する顔特徴量判定手段、
    を有し、
    前記モデルデータベースは、前記モデルの顔特徴量のデータを、当該モデルと対応付けて記憶しており、
    前記提示制御手段は、前記モデルの顔特徴量のデータが、前記顔特徴量判定手段の判定結果と前記適合条件を満たすモデルを選択し、当該モデルに対応付けられた化粧品を提示する制御を行う、
    請求項８又は９に記載の推奨化粧品提示制御システム。
11. コンピュータシステムが、メガネを装着したユーザを撮影した撮影画像を用いて前記ユーザに推奨する化粧品を提示する制御を行うための推奨化粧品提示制御方法であって、
    前記メガネは、位置判定用のマーカを予め定められた位置に有し、予め定められた色が予め定められた位置に配色されており、
    前記メガネを装着した前記ユーザを撮影した第１の画像データ、及び、前記メガネを装着しない前記ユーザを撮影した第２の画像データを取得する画像取得ステップと、
    前記マーカ及び前記配色を用いて、前記第１の画像データ及び前記第２の画像データから前記ユーザの顔の各位置の色を判定する判定ステップと、
    所定の化粧品データベースのなかから前記ユーザに推奨する化粧品をカテゴリー別に、前記判定ステップでの判定結果に基づいて選択して提示する制御を行う提示制御ステップと、
    を含む推奨化粧品提示制御方法。
    

Images