JP6450871B2 - 表面状態撮影表示システム - Google Patents

Description

本発明は、例えば、経時的に変化する可能性のある表面として、肌の表面、各種植物（野菜、果物を含む）の葉、実、茎、幹、根等の表面、動物の特定部位の表面、経時劣化する無機物の表面等の経時的に状態が変化する表面を時間経過に基づいて順次撮影し、撮影された画像データやその分析結果等を閲覧可能に管理するための表面状態撮影表示システムおよび表面状態撮影表示方法に関する。

一般に、スキンケア用の化粧品や美容器具（スキンケア装置：ケアエステ装置）の販売において、例えば、肌の状態を知るために、肌用カメラを用いて肌を拡大して撮影し、肌の状態を把握してから、肌の状態に対応するスキンケア用の化粧品、洗顔用品等やスキンケア用の器具を販売することが行われている。

この場合に、肌用カメラが設置され、かつ、撮影された画像データから肌の状態を判定でき、肌の状態からスキンケア方法をアドバイスできる店員がいる店舗に行く必要があった。しかし、店舗まで行くのが煩わしかったり、店舗に行って上述のようなサービスを受けた後に商品の購入を勧められるのが煩わしかったりすることから、定期的に肌の状態を撮影するようなことがし難かった。

そこで、携帯電話、スマートフォン、タブレット等の無線電話回線やその他の無線通信回線を介してインターネットにアクセス可能な携帯無線端末に、周辺機器として肌用のデジタルカメラを接続したり、例えば、携帯無線端末の内蔵デジタルカメラに、肌撮影用のコンバージョンレンズを備えたレンズモジュールを装着したりして、ユーザーが自分で肌の撮影ができるようにすることが提案されている。

さらに、携帯無線端末を使って、撮影された画像データを、肌の画像データから肌の状態を分析してくれる業者のサーバーに送信することにより、化粧品販売の店舗に行かなくても肌の状態を分析することができるシステムが提案されている（例えば、特許文献１〜５参照）。この場合に、測定データを受け取ったサーバーでは、例えば、測定結果の分析を自動で行ったり、測定データを表示させてオペレータに分析結果を入力させたりすることになる。

この場合に肌用のデジタルカメラや肌用のレンズモジュールの購入等が必要になるが、このような肌測定用システムを用いることにより、ユーザーに大きな負担をかけることなく、定期的に肌測定を行うことが可能になる。

また、肌以外であっても、例えば、農作物になる植物の葉や実の表面の状態変化を測定したり記録したりすることや、壁等の構造物の表面の長期的な劣化の状態を測定したり記録したりすることに上述の肌撮影用カメラを応用することが可能である。

この場合に、例えば、農家で、農作物の表面状態の変化を測定する場合や、一般家庭で、家庭菜園の野菜や、観葉植物の表面状態の変化を撮影して記録する場合に、大きな設備投資を必要とせず、低コストに撮影および記録が可能になる。

特開２００５−１４８７９７号公報 特開２００４−３５４２０７号公報 特開２００５−５６１６５号公報 特開２００２−１５０６８号公報 特開２００２−３６６６５１号公報

ところで、肌状態の測定を行う場合に、例えば、顔の同じ位置を定期的に撮影して分析することにより、肌状態の変化を記憶して、記憶された結果から肌状態が良くなっているのか、悪くなっているのか、変わらないのかを判断することが可能になる。
例えば、スキンケア用品等を用いることにより、悪化していた肌の状態が良好な状態になるか否か等の判断が可能になる。また、シミなどが濃くなったり、広くなったりしないか、逆にシミが薄くなったり、狭くなったりしないかを判定可能になる。

ここで、例えば、顔の肌は、大きく曲がっている曲面なので、広い範囲を一様に拡大した状態に撮影することが難しく、基本的に狭い範囲を撮影することになる。この場合に、ユーザーは、例えば、毎日１回または２回程度肌を撮影するような場合であっても、前に撮影した場所と同じ場所を撮影することが困難であり、さらに、撮影間隔が長くなると、同じ場所を撮影することが困難になる。また、複数箇所を定期的に撮影している場合も、各箇所の位置があやふやになりがちである。

比較的、明確なシミがある場合は、鏡でシミの位置を確認しながら撮影することが可能であるが、それでも、撮影毎に撮影位置が多少ずれることになる。したがって、定期的に順次撮影された肌画像からシミの色や形状の変化を読み取ることは可能な場合もあると思われるが、それでも、シミが近接して複数存在する場合に、撮影範囲によっては、どのシミの画像か分からない可能性がある。また、肌のキメの状態などは、部分的に悪化した部分があるような場合に、悪化した部分が写っている場合と写っていない場合とで、肌状態の時間経過に伴う変化なのか、撮影位置が異なることによる変化なのかを判断できない。したがって、肌を定期的に撮影しても、時間経過に伴う肌のキメやシミの状態の変化を把握することが難しい。

また、定期的に撮影された肌の画像データを記憶しておく場合に、この画像データを動画またはスライドショーとして表示することにより、例えば、肌の状態が改善していく様子を見られる可能性ある。これによって、ユーザーの興味を引き付けて、ユーザーの増加を図れる可能性がある。また、ユーザーに定期的に肌を撮影することを促すことができる。

しかし、撮影された画像は、毎回の撮影毎に撮影位置が上下左右にずれており、比較的に撮影位置が揃っている場合でも、上下左右への振れが大きく、動画として見ることは不可能であり、スライドショーとしても、毎回撮影位置にずれがあることから、スライドの前後の繋がりが分かりづらく、肌の状態の変化が確認できるとは限らない。また、撮影位置が揃っていない場合には、前のスライドと後のスライドとで重なった部分が無い場合があり、例えば、肌の荒れた箇所と、肌の良好の箇所とが混ざった状態で表示されることにより、肌の状態の変化を確認することが困難になる。

肌ではなく、植物やその他を撮影する場合も、基本的にカメラを三脚等に固定して撮影する場合以外は、上述の肌の撮影の場合と同様の問題が発生することになる。

本発明は、前記事情に鑑みてなされたものであり、対象となる表面を継続して定期的に撮影した場合に、撮影された画像データを有効に利用可能とするとともに、動画やスライドショーとして表示可能にできる表面状態撮影表示システムおよび表面状態撮影表示方法を提供することを目的とする。

本発明の表面状態撮影表示システムは、撮影位置を固定することなく、撮影対象となる表面を撮影して画像データを生成する撮影手段と、
期間をあけて前記撮影手段によって複数回撮影されることにより、撮影対象となる前記表面上の撮影位置がずれた複数の前記画像データと、当該画像データの撮影順序に関するデータを記憶する画像記憶手段と、
前記画像記憶手段に記憶されている複数の前記画像データの表示画面上の表示位置を決定する画像表示位置決定手段と、
前記画像記憶手段に記憶されている前記画像データを、前記画像データの撮影順序に関するデータに基づき撮影順序順に、前記画像表示位置決定手段により決定された前記表示画面上の表示位置に表示する画像表示手段とを備え、
前記画像表示位置決定手段は、前記画像表示手段により複数の前記画像データを撮影順序順に表示する際に、前記表示画面上の同じ位置に、複数の前記画像データに撮影されている前記表面上の略同じ位置が配置されるように前記画像データの表示位置を決定することを特徴とする。

本発明の前記構成において、前記画像表示位置決定手段は、互いに比較される前記画像データに略一致する画像領域が有る場合に、前記画像領域に基づいて、複数の前記画像データの一つの前記座標系における位置を決定することが好ましい。

また、本発明の前記構成において、前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する前記画像領域が有るか否かを判定する重なり検知手段を備え
前記画像表示位置決定手段は、互いに略一致する前記画像領域がある場合に、一方の前記画像データを基準とする前記座標系を設定し、この一方の前記画像データと互いに略一致する前記画像領域を重ねた状態の他方の前記画像データの前記座標系における位置を決定し、
前記重なり検知手段は、前記画像表示位置決定手段により既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
前記画像表示位置決定手段は、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、
前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系の位置を決定することが好ましい。

本発明の表面状態撮影表示方法は、撮影位置を固定することなく、撮影対象となる表面を撮影して画像データを生成する撮影手段と、
期間をあけて前記撮影手段によって複数回撮影されることにより、撮影対象となる前記表面上の撮影位置がずれた複数の前記画像データと、当該画像データの撮影順序に関するデータを記憶する画像記憶手段と、
前記画像記憶手段に記憶されている複数の前記画像データの表示画面上の表示位置を決定する画像表示位置決定手段と、
前記画像記憶手段に記憶されている前記画像データを、前記画像データの撮影順序に関するデータに基づき撮影順序順に、前記画像表示位置決定手段により決定された前記表示画面上の表示位置に表示する画像表示手段とを備える表面状態撮影表示システムにおける表面状態撮影表示方法であって、
前記画像表示位置決定手段は、前記画像表示手段により複数の前記画像データを撮影順序順に表示する際に、前記表示画面上の同じ位置に、複数の前記画像データに撮影されている前記表面上の略同じ位置が配置されるように前記画像データの表示位置を決定することを特徴とする

本発明の前記構成において、前記画像表示位置決定手段は、互いに比較される前記画像データに略一致する画像領域が有る場合に、前記画像領域に基づいて、複数の前記画像データの一つの前記座標系における位置を決定することが好ましい。

また、本発明の前記構成において、前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する前記画像領域が有るか否かを判定する重なり検知手段を備え
前記画像表示位置決定手段は、互いに略一致する前記画像領域がある場合に、一方の前記画像データを基準とする前記座標系を設定し、この一方の前記画像データと互いに略一致する前記画像領域を重ねた状態の他方の前記画像データの前記座標系における位置を決定し、
前記重なり検知手段は、前記画像表示位置決定手段により既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
前記画像表示位置決定手段は、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、
前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系の位置を決定することが好ましい。

このような構成によれば、撮影された画像の重なり状態から撮影された各画像の相対位置を決定することにより、例えば、撮影対象となる表面を肌の表面とした場合に、肌が荒れた部分と荒れていない部分とが別々に取られた画像なのか、時間経過により肌が荒れた部分が荒れてない状態となったのかを判別することが可能になる。

したがって、定期的に肌を撮影するような場合に、撮影位置が多少ばらついても時間経過による肌状態の変化を判定することが可能になる。すなわち、何かしらの手段により肌の同じ位置を毎回撮影可能にしなくとも、肌が撮影された画像データにそれぞれ位置のずれがあっても、各画像データのうちの位置が決定されたデータにより、これら画像データが配置される範囲内において、肌の状態の分布をある程度把握することが可能であり、肌状態の変化が画像データの撮影範囲の位置の違いによるのか、時間経過によるのかを判別することができる。

これにより、無理に肌の撮影範囲を同じにするような機構を設けなくとも、例えば、意識してなるべく同じ位置を撮影するようにすることによって、肌の状態の時間経過による変化を容易に知ることが可能になる。

また、対象となる表面が肌の表面以外であっても、同様にカメラを三脚等に固定しなくとも、意識してなるべく同じ位置を撮影するようにすることによって、表面の状態が時間経過によって変化しているのか、位置によって変化しているのかが分かり、表面の状態の時間経過による変化を容易に知ることが可能になる。なお、肌以外の対象物としては、例えば、各種植物の表面、特に葉や実の表面等があるとともに、無機物の表面であってもよく、成長、病気、劣化等により、表面の状態が経時変化するものを対象とすることができる。

また、画像記憶手段は、１つの装置である必要はなく、撮影された画像を一時的に保存するバッファのような一時画像記憶手段と、この画像記憶手段に一時的に記憶された画像を移動して記憶する画像記憶手段とから構成されるようなものであってもよい。この場合に、撮影されるとともに既に位置が決定している画像と比較される前の画像データを一時画像記憶手段に記憶するものとしてもよい。さらに、一時画像記憶手段に、位置が決定している画像データと比較しても位置が決定しなかった画像データを記憶するものとしてもよい。

また、本発明の前記表面状態撮影表示システムにおいて、前記重なり検知手段は、前記画像データ同士に互いに略一致する前記画像領域が有るか否かを判定する際に、前記画像データの前記撮影手段に撮影された対象物の種類に対応する特徴点の位置を抽出し、前記画像データ毎の前記特徴点の配置パターンを比較して、前記特徴点の配置パターンが略一致する部分が有る場合に、互いに略一致する前記画像領域が有ると判定することが好ましい。

また、本発明の前記表面状態撮影表示方法において、前記重なり検知手段は、前記画像データ同士に互いに略一致する前記画像領域が有るか否かを判定する際に、前記画像データの前記撮影手段に撮影された対象物の種類に対応する特徴点の位置を抽出し、前記画像データ毎の前記特徴点の配置パターンを比較して、前記特徴点の配置パターンが略一致する部分が有る場合に、互いに略一致する前記画像領域が有ると判定することが好ましい。

このような構成によれば、各画像データにおける特徴点の位置を抽出して、特徴点の配置パターンを認識することにより、画像データ同士に重なる部分が有るか否かを容易に認識させることができる。なお、特徴点は、対象となる表面のほぼいずれにも存在し、画像データから認識可能であることが好ましい。例えば、対象となる表面を肌とした場合に、毛穴の中心を特徴点とすることが考えられる。また、植物の葉の場合に、葉脈の分岐点を特徴点とすることが可能である。

なお、撮影する葉が複数の葉の中から特定可能であれば、葉脈を構成する太い主脈と細い側脈のうちの主に主脈の分岐点から葉の表面の位置を特定できる可能性があり、厚い葉で側脈が表面から見え難いような葉にも対応可能である。また、実の表面に、模様や凹凸があれば、それから特徴点を決めることができる。無機物においても、例えば、大理石等の色に変化があるようなものにおいて、特徴点を決めることが可能である。

また、本発明の前記表面状態撮影表示システムにおいて、前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
前記重なり検知手段により前記画像データから抽出される前記特徴点が前記肌表面上の各毛穴の所定部位であることが好ましい。

また、本発明の前記表面状態撮影表示方法において、前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
前記重なり検知手段により前記画像データから抽出される前記特徴点が前記肌表面上の各毛穴の所定部位であることが好ましい。

このような構成によれば、画像として比較対象となる特徴部分が乏しい肌画像であっても、毛穴を特徴部分として抽出することにより、各毛穴の配置から２つの肌画像を比較して、互いに略同じ画像となる部分を探すことが可能になり、各画像データの重なりを判定可能になる。なお、所定部位とは、例えば、毛穴の中心位置、重心位置、画像上の右端位置、左端位置、上端位置、下端位置等のいずれか設定された位置である。ここでは、特徴点の位置が例えば座標系の座標で設定されるため、撮影された特徴点を含む部分（毛穴）に面積がある場合に、所定の位置を特徴点とする。

また、基本的に、例えば、顔の肌を見た場合に、鼻、目、耳、口等を除けばどこを撮影してもあまり特徴がない画像となり、位置をずらして複数の画像を撮影した場合に、各画像のどの部分が重なっているかを判定し辛いが、毛穴の配置により、各画像のどの部分が重なるかを比較的容易に判定することができる。但し、たとえば、場所によって多少の変化があるが、肌に毛穴が略一様に配置されているとともに、健康な毛穴は、毛が無い場合に閉じており、認識が難しい。そこで、肌の毛穴から生えている毛を認識し、毛は先端側が細く毛穴側が太い形状となっていることから、毛の太い方の端部を毛穴と見なして、この毛穴の所定位置を特徴点としてもよい。この場合に、毛が生えて認識される毛穴と、￥毛がなく認識されない毛穴とから肌の場所によって毛穴の配置パターンが異なることになる。

また、本発明の前記表面状態撮影表示システムにおいて、前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
前記重なり検知手段により前記画像データから抽出される前記特徴点が前記肌表面上の所定サイズ以下の各シミの所定部位であることが好ましい。

また、本発明の前記表面状態撮影表示方法において、前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
前記重なり検知手段により前記画像データから抽出される前記特徴点が前記肌表面上の所定サイズ以下の各シミの所定部位であることが好ましい。

このような構成によれば、画像として比較対象となる特徴部分が乏しい肌画像であっても、特徴点としてのシミの配置パターンから各画像データの重なりを判定可能になる。
ここで、所定サイズ以下のシミとは、主に毛穴の部分に形成される小さなシミであり、毛穴の部分にメラニンが滞留したものである。したがって、上述のように毛穴を特徴点とした場合に、例えば、上述のように毛の肌側の端部から毛穴を認識する方法に対して、所定サイズ以下のシミを毛穴として認識する方法に代えたり、組み合わせたりすることが可能である。組み合わせる場合には、例えば、特徴点を毛だけの点と、シミだけの点と、毛とシミの両方点等に分けて配置パターンを比較することも可能である。

また、本発明の前記表面状態撮影表示システムにおいて、前記画像表示位置決定手段は、複数の前記画像データそれぞれの表示位置を１つの座標系における位置として決定し、
前記画像表示手段は、前記表示画面上に前記座標系が設定され、前記座標系の位置が決定している各画像データを前記座標系の位置に配置して前記撮影順序順に表示することが好ましい。

また、本発明の前記構成において、前記画像表示手段は、前記画像データを前記撮影順序順に最前面に表示し、最前面に表示される当該画像データより前に表示された前記画像データの最前面に表示される当該画像データと重ならない部分を表示した状態に保持することが好ましい。

また、本発明の前記構成において、前記画像表示手段は、前記画像データを前記撮影順序順に表示する際に、当該画像データを表示する表示範囲には、表示された当該画像データが有る部分と、当該画像データが無い部分を含み、当該画像データが無い部分に、表示された当該画像データより前記撮影順序が前または後の前記画像データがある場合に、前記撮影順序が前または後の前記画像データから補間された画像データを生成し、前記表示範囲に表示された前記画像データの無い部分に補間された前記画像データを表示することが好ましい。

また、本発明の前記表面状態撮影表示方法において、前記画像表示位置決定手段は、複数の前記画像データそれぞれの表示位置を１つの座標系における位置として決定し、
前記画像表示手段は、前記表示画面上に前記座標系が設定され、前記座標系の位置が決定している各画像データを前記座標系の位置に配置して前記撮影順序順に表示することが好ましい。

また、本発明の前記構成において、前記画像表示手段は、前記画像データを前記撮影順序順に最前面に表示し、最前面に表示される当該画像データより前に表示された前記画像データの最前面に表示される当該画像データと重ならない部分を表示した状態に保持することが好ましい。

また、本発明の前記構成において、前記画像表示手段は、前記画像データを前記撮影順序順に表示する際に、当該画像データを表示する表示範囲には、表示された当該画像データが有る部分と、当該画像データが無い部分を含み、当該画像データが無い部分に、表示された当該画像データより前記撮影順序が前または後の前記画像データがある場合に、前記撮影順序が前または後の前記画像データから補間された画像データを生成し、前記表示範囲に表示された前記画像データの無い部分に補間された前記画像データを表示することが好ましい。

このような構成によれば、画像データを撮影順にそのまま動画やスライドショーとして表示した場合に、各画像データの位置がずれることにより、酷い手振れに近い表示となるが、各画像データをその座標位置に配置して順次画像データを表示することにより、酷い手振れ状態の表示とはならず、十分に肌の変化を認識可能な表示とすることができる。なお、表示方法として、撮影順が前の肌画像に少なくとも一部が重なって撮影順が後の肌画像が表示される場合に、撮影順が前の肌画像の重なる部分は消去されて撮影順が後の肌画像が表示されるが、撮影順が前の肌画像の重ならない部分は、そのまま肌画像が表示された状態となることが好ましい。

この場合に、１つの表示画面中に撮影時期の異なる肌画像が同時に表示された状態となるが、表示される肌画像数が多くなれば、撮影時期が古い肌画像には、多くの新しい肌画像が重なることにより、ほとんど表示される部分がなくなり、表示される肌画像が切り替わることになる。また、順次撮影時期が後になる肌画像が表示されていく際に、その肌画像の周囲には、表示された肌画像より撮影時期が前の肌画像の表示が残っていることになり、新たに表示された肌画像とその周囲の前から表示されている肌画像を比較することで、肌状態の経時変化を認識することが容易になる。

なお、肌画像の肌の撮影範囲より広い肌の範囲を表示可能とした状態で、実際に表示される肌の範囲を絞り込む表示範囲規制手段を設けてもよい。この場合に、撮影された肌画像が最も多く表示可能な表示範囲を設定することが好ましい。また、この際の表示範囲が、肌画像の撮影範囲より狭い範囲となってもよい。

また、順次画像データを設定した表示範囲に表示する場合に、各表示範囲全体の画像データ（以下、表示用画像データと称する）は、例えば、画像データの有る部分と無い部分とから構成されることになる。この際に、画像データの有る部分は、その画像データと表示画像データとが重なる範囲を表示し、画像データが無い部分は、表示される画像データより撮影順が前の画像データと、後の画像データとから補間される補間画像データを作成し、表示用画像データの画像データが無い部分にこの補間画像データを配置するものとしてもよい。

この場合に、各表示用画像データは、補間画像データの部分と撮影された画像データの部分とからなることになる。また、一度表示用画像データが作成された後は、例えば、直前の表示用画像データを、表示する画像データより前の画像データとして補間のための画像データとして利用することができる。この場合に、直前の補間処理部分を含む表示用画像データと表示すべき画像データより後の画像データを用いて補間画像データを作成することが可能になり、補間処理を容易にすることができる。

本発明の表面状態撮影表示システムおよび表面状態撮影表示方法によれば、肌状態の経時的な変化を把握するために、できるだけ肌の同じ範囲をできるだけ定期的に撮影して肌状態の変化を把握する際に、撮影された各肌画像に撮影された肌の範囲に位置ずれがあっても、各肌画像の相対位置を把握することにより、同じ肌の位置の経時変化をより明確に把握することが可能になる。

本発明の実施の形態の表面状態撮影表示システムを示す概略ブロック図である。 コンバージョンレンズの一例を示す概略図である。 前記表面状態撮影表示システムを示すブロック図である。 前記表面状態撮影表示システムのデータ管理サーバーを示すブロック図である。 前記データ管理サーバーのユーザーデータ用データベースを説明するための図である。 前記データ管理サーバーの測定データ用データベースを説明するための図である。 前記表面状態撮影表示システムにおける継続的肌撮影方法を説明するための図である。 前記表面状態撮影表示システムにおける継続的肌撮影方法を説明するための図である。 写っている毛穴の配置パターンから２つの画像データが重なっていることを説明するための図である。 画像データのスライドショーとしての表示方法を説明するための図である。 （ａ）および（ｂ）は、画像データのスライドショーとしての別の表示方法を説明するための図である。 前記表面状態撮影表示システムにおける登録撮影ポイント追加・変更処理を説明するためのフローチャートである。 前記表面状態撮影表示システムにおける画像中心の位置座標決定処理を説明するためのフローチャートである。 前記表面状態撮影表示システムにおける画像中心の位置座標決定処理における未定義画像の位置決定処理を説明するためのフローチャートである。 前記表面状態撮影表示システムにおける画像データの表示処理方法を説明するための図である。 前記表面状態撮影表示システムにおける画像データの別の表示処理方法を説明するための図である。 表示処理において表示される表示用画面データを補間により作成する表示用画面データの作成処理を説明するための図である。 画像データのスライドショー表示を行うスマートフォンの画面構成を説明するための図である。

以下、図面を参照しながら本発明の実施の形態について説明する。
この実施の形態の表面状態（肌状態）測定分析情報管理システムおよび表面状態（肌状態）測定分析情報管理方法は、表面状態撮影表示システムの会員である肌状態測定装置のユーザーに、肌状態測定装置の測定データから自分の肌状態の分析結果を得られるサービスを低コスト（例えば無料もしくは比較的安価な会費）で提供することにより、ユーザーに自分の肌の状態を認識してもらうものである。

この際に、低コストに肌の状態が分かるようにすることにより、肌状態測定装置の販売数を増加させるとともに、ユーザーに頻繁に肌状態の測定を行うことを促し、それらの測定データから分析結果を取得させ、多くのユーザーから頻繁に測定データを収集するものである。この場合に、化粧品を含むスキンケア用品やスキンケア装置を使ってもらい、肌の状態が改善するのをユーザーに把握してもらうことにより、スキンケア用品やスキンケア装置の販売を促進する。

また、多くの肌状態の測定データを収集した場合には、収集したデータを化粧品のメーカーや販売会社（化粧品会社）に有料で各種スキンケア用品の開発に利用してもらうことが可能になる。この際に測定データだけではなく、ユーザーの使用しているスキンケア用品やスキンケア装置、さらに、ユーザーの大まかな年齢や居住地域や年収や職業などの付帯データをつけることによって、測定データに付加価値をつけて、より有効に測定データを利用してもらうことができる。これにより、肌状態測定装置等を購入してくれるユーザーだけではなく、上述の測定データを利用してくれる化粧品会社等のデータの二次利用者から利益を得られるようにすることができる。

図１に示すように、この実施の形態の表面状態撮影表示システムは、肌状態測定装置１が接続可能なユーザークライアントとしてのスマートフォン３と、スマートフォン３とインターネット４（ネットワーク）を介して接続可能なデータ管理サーバー５と、契約者クライアント６としての化粧品会社等の提携会社のコンピュータシステムとを備えるものである。

スマートフォン３は、内蔵デジタルカメラと、デジタルカメラに撮影された画像データ２２（図９、図１０に図示）やその他のデータやアプリケーション等を記憶する記憶手段（ストレージ装置）としてのフラッシュメモリと、画像等を表示するディスプレイと、ＯＳやアプリケーションが実行される制御部とを備える。後述するようにディスプレイは、撮影されて記憶された画像データ２２を動画またはスライドショーとして表示する。

肌状態測定装置１は、例えば、スマートフォン３あるいはＰＣ等のユーザークライアントにＵＳＢ接続あるいは無線接続される肌用カメラ（肌撮影手段）であってもよい。肌用カメラは、図示しない撮像レンズと照明用ＬＥＤからなる光学系を有し、この光学系から得られる画像を検知するセンサ部１１と、制御部１２と、ＵＳＢ（ユニバーサル・シリアル・バス）インターフェース１３とを備える。照明用ＬＥＤは、例えば、２色の光を出射可能になっており、肌色光（白色より黄色が強い光）と、白色光を切り替えて照射可能になっている。肌色光を照射すると肌の状態が明瞭に撮影可能になり、肌のキメ（肌理）の状態の分析が容易になる。

また、白色光で照明した場合に、上述の肌色光より相対的に青の光が強くなり、シミが認識し易い画像データ２２を得ることができる。
この肌用カメラとしての肌状態測定装置１では、キメモードとシミモードを切り替えて撮影が可能になっており、モードを切り替える切換スイッチが設けられている。肌用カメラによる測定データとしての撮像データに関連して、キメモードかシミモードを示すデータをスマートフォン３に出力するようになっている。

なお、シミの撮影用の白色光のＬＥＤ側には、偏光方向が直交する２枚の偏光板を用い、キメの撮影用の肌色のＬＥＤでは、偏光板（第１偏光板）を用いない構成となっている。２枚の偏光方向が直交する偏光板を用いることにより、照明光を偏光するとともに、肌で反射された照明光を再び偏光板を通して撮影することにより、肌表面の反射光を低減して、シミがある肌表層部内を反射した反射光が主に撮影される状態とすることができる。また、肌色の分析は、色補正することにより、例えば、肌色光のＬＥＤを用いるものとしてもよい。

なお、肌状態測定装置１としての肌用カメラとスマートフォン３とのデータ通信は、ＵＳＢに限られるものではなく、その他の有線のシリアルまたはパラレル通信や、無線のＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉやＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を用いてもよい。

また、肌状態測定装置１としては、上述の肌用カメラ以外に例えば経表皮水分蒸散量を測定する周知の蒸散計であってもよいし、肌のメラニン量を計測するメラニン計であってもよい。
また、直接肌の状態を測定する装置ではないが、環境測定センサとして紫外線（ＵＶ）を測定する装置（ＵＶチェッカ）をスマートフォン３に接続可能にしてもよい。なお、肌に対する紫外線の影響を見る上では、ＵＶチェッカは、メラニン生成にかかわるＵＶ−Ａと、炎症を引き起こすＵＶ−Ｂを別々に独立した数値データとして、それぞれ連続的に出力可能になっていることが好ましい。

また、肌状態測定装置１が、肌を撮影するための肌用カメラである場合に、スマートフォン３に内蔵されるデジタルカメラを用いるものとしてもよい。この場合にスマートフォン３のデジタルカメラを用いて肌を撮影するためのコンバージョンレンズと、照明用の上述のＬＥＤおよび偏光板、ＬＥＤの点灯を制御する制御部とを備えたレンズモジュールを用いる。この場合に、撮影された画像データ２２は、スマートフォン３に記憶されることになるので、スマートフォン３とレンズモジュールとがデータ通信を行う必要がないが、例えば、上述の制御部との通信により、ＬＥＤの点灯をスマートフォン３側から制御するものとしてもよい。

このようなコンバージョンレンズを備えるスマートフォン３の１例を、図２に示す。
この例では、スマートフォン３と、スマートフォン３のカメラ７２に装着されて肌を拡大して接写するための２枚のレンズ８１ａ，８１ｂからなるコンバージョンレンズ８１および撮影の照明用のＬＥＤ８２を有するレンズモジュール８０とを備える。

スマートフォン３は、被写体を撮影するカメラ７２、カメラ７２で撮影された画像データや、その他のデータを記憶するフラッシュメモリ７４と、カメラ７２やフラッシュメモリ７４や、スマートフォン３の各種電子部品を制御する制御部７３とを備える。

レンズモジュール８０は、上述のコンバージョンレンズ８１およびＬＥＤ８２と、ＬＥＤ８２を駆動するＬＥＤ駆動回路８４と、これらを収容する筐体８０ａとを備える。筐体８０ａ内で、コンバージョンレンズ８１の二枚のレンズ８１ａ，８１ｂは、バレル９０ａに支持され、カメラ７２のマスターレンズ（図示略）の前に、カメラ７２のマスターレンズの光軸と二枚のレンズ８１ａ、８１ｂの光軸とを略合わせるように配置される。

また、筐体８０ａは、バレル９０ａの前側（被写体側）にレンズ筐体９０を備える。レンズ筐体９０は、先端面が被写体としての肌の撮影時に肌に当接する当接部９０ｂとされ、当接部９０ｂが肌に当接した状態で外光を遮るようになっている。また、当接部９０ｂには、開口部８０ｃが形成され、肌の開口部８０ｃに臨む部分が撮影されるようになっている。

バレル９０ａは、レンズ８１ａおよびレンズ８１ｂからなるコンバージョンレンズ８１を支持した状態で、筐体８０ａ内のレンズ筐体９０の基端側（カメラ７２に装着される側）に固定されている。また、筐体８０ａ内には、レンズ筐体９０の当接部９０ｂの開口部８０ｃに向けて撮影用の照明光を照射するＬＥＤ８２およびこのＬＥＤ８２を駆動するＬＥＤ駆動回路８４を備えた回路基板８３が支持されている。

また、回路基板８３には、例えば、１つのＬＥＤ８２が備えられるが、例えば、複数のＬＥＤ８２がそれぞれ異なる位置から肌を照明するように設けられていてもよい。また、レンズモジュール８０は、ＬＥＤ８２、ＬＥＤ駆動回路８４等に電力を供給する電池を備えた電源回路８８と、電源スイッチ（図示略）を備える。
上記形態は、スマートフォンとコンバージョンレンズの組合わせの例であるが、光学系の高機能化によって、前記コンバージョンレンズの機能をスマートフォン内部に取り込んだ形態も可能である。

また、照明として、専用のＬＥＤを用いるのではなく、太陽光や室内灯等の外光を用いる場合に、例えば、透明な鏡筒とこの鏡筒にセットされるコンバージョンレンズからなるレンズモジュールを用いるものとしてもよい。この場合に電力を必要とするＬＥＤ等の構成がないので、最低限肌に当てる鏡筒と、鏡筒に設けられるレンズとがあればよい。

前記ユーザークライアントは、基本的にスマートフォン３であるが、例えば、ノートパソコンや、タブレット型（パッド型）パソコンの等のプログラムに基づいて処理を行う汎用演算処理装置（例えばＣＰＵ）を備えた装置である。ユーザークライアントとしては、無線電話回線やその他の無線通信回線により、ネットワークとしてのインターネット４に接続可能で携帯可能な機器が好ましい。

ユーザークライアントとしてのスマートフォン３は、例えば、無線通信として携帯用の無線電話回線を使用できるとともに、無線ＬＡＮ（ＷｉＦｉ）を使用できるようになっており、これらの無線通信を用いてネットワークとしてのインターネット４に接続可能になっており、無線携帯端末（無線携帯クライアント）となっている。

また、スマートフォン３では、例えば、ダウンロードしてインストールしたアプリケーション（以下、専用アプリ５ｊ（図３に図示）と略す）を実行可能になっており、この実施の形態では、専用アプリ５ｊとして肌状態測定用アプリをデータ管理サーバー５からスマートフォン３にダウンロードするようになっている。

スマートフォン３で実行される専用アプリ５ｊの機能は、図７に示すように、４つの機能を有する。すなわち、診断エステ、ケアエステ、生活エステ、メイクエステの４つの機能である。診断エステは、ＵＳＢインターフェース１３を介してスマートフォン３に接続される各種の測定装置（センサ）を用いて各種の測定が可能になっている。各測定装置は、専用アプリ５ｊが入力されたスマートフォン３のＵＳＢ端子に接続することにより利用可能になる。また、各種類の測定装置を付け替えることにより、それぞれの異なるセンサによる測定が可能であり、主に肌の状態を測定することができる。この各種測定装置が、上述の肌状態測定装置１となる。
また、各種測定装置の測定結果をデータ管理サーバー５に送信して記憶しておくことができるとともに、測定結果から肌の状態を分析してもらうようなことも可能となっている。

ケアエステでは、各種スキンケア装置をスマートフォン３に接続して使用できるようになっている。スマートフォン３と接続することで、使用履歴を残すことができ、スマートフォン３をデータ管理サーバー５とデータ通信可能な状態とすることにより、各種スキンケア装置の制御も可能になる。

生活エステは、診断エステが主に肌を対象にしていたのに対して、普段の生活を対象にしており、紫外線量をチェックしたり、口臭をチェックしたりする機器をスマートフォン３のＵＳＢ端子に接続できるようになっている。メイクエステは、主に、メイク等に関する情報提供を行うものである。

なお、図７は、スマートフォン３の表示手段としての表示画面３ａ、３ｂ、３ｃを示すものであり、後述のように、表示画面３ａはメインメニューを示し、表示画面３ｂはメインメニューから選択された診断エステメニューを示し、表示画面３ｃは、診断エステメニューから選択された肌診断メニューを示すものである。なお、肌診断メニューのＢＭＩとは、Ｂｏｄｙ・Ｍａｓｓ・Ｉｎｄｅｘの略であり、体重（ｋｇ）÷身長（ｍ）÷身長（ｍ）で算出され、肥満の度合いを示すものである。また、美白は、肌画像から判定されるものであり、肌弾力、肌水分、肌油分は、それぞれの測定用センサを備えた肌状態測定装置１で測定されるものである。

スマートフォン３の制御部３２（演算処理装置）で実行される肌状態測定用の専用アプリ５ｊは、上述のように肌状態測定装置１としてのスマートフォン３のデジタルカメラ３１およびレンズモジュール用いて撮像された画像データ２２（肌画像データ）をフラッシュメモリに記憶し、かつ、インターネット４上のデータ管理サーバー５に出力する。また、データ管理サーバー５から送信される例えば測定データを分析した結果になる分析結果データを受信してスマートフォン３のディスプレイに表示する分析結果表示手段としての機能を有する。

また、上述の専用アプリ５ｊは、データ管理サーバー５の運営者が管理する表面状態撮影表示システムを利用する会員（ユーザ）となるためのユーザデータ（個人情報）の入力である会員登録や、ユーザーデータのうちの個人を特定可能な所定の個人情報を含まない付帯データの入力であるアンケートへの応答を行うようになっている。

また、専用アプリ５ｊは、後述のようにデータ管理サーバー５に記憶されている上述の各ユーザーデータ、測定データ、測定データに対する分析結果データを閲覧できるように要求することが可能になっている。
また、専用アプリ５ｊは、要求したデータがデータ管理サーバー５から受信した場合に、これらデータをディスプレイに表示する機能を有する。

データ管理サーバー５は、図１に示すように、基本的に上述のユーザーデータを記憶するためのユーザーデータ用データベース５１と、肌状態測定装置１による測定データを記憶するための測定データ用データベース５２と、測定データから分析結果を取得するためのデータ分析用データベース５３と契約者用データベース５４とを備える。

データ管理サーバー５は、より詳細には図３および図４に示すように、サーバーとして機能するためのＣＰＵ等を有する制御部５ｋを備える。この制御部５ｋでは、各種処理が行われるようになっており、後述するように、撮影された画像データ２２同士を比較して肌上の位置が重なる部分が有るか否かを認識させる重なり検知手段としての機能と、肌上の位置が重なる部分がある画像データ２２それぞれの相対位置を決定する画像表示位置決定手段としての機能を有する。

また、データ管理サーバー５では、ユーザーデータ用データベース５１が複数に分けられており、ユーザーデータ用データベース５１として、顧客（ユーザ）個人情報管理データベース５ａ、使用化粧品履歴データベース５ｄ、お手入れカルテデータベース５ｏを備える。

また、データ管理サーバー５は、測定データ用データベース５２として、肌履歴データベース（肌画像記憶手段）５ｂ、撮影ポイントデータベース５ｃ、詳細診断結果データベース５ｅを備える。

また、データ管理サーバー５は、データ分析用データベース５３として肌基準値データベース５ｇを備える。また、また、データ管理サーバー５は、契約者用データベース５４として、データ二次利用者アクセス権管理データベース５ｈを備える。このデータ二次利用者アクセス権管理データベース５ｈは、利用者（契約者、例えば、化粧品会社等のスキンケア用日の開発を行っている会社）の顧客ＩＤ、利用者ユーザーＩＤおよび利用者パスワードが設定されており、これによりデータ二次利用者の認証が可能になる。

また、データ二次利用者アクセス権管理データベース５ｈには、利用者ＩＤに関連付けて利用者検索レベルおよび利用者アクセスレベルのデータと、課金情報が登録されている。なお、課金情報は、データ二次利用者がデータの検索や、アクセス可能なデータの取得を行った場合の課金のデータであり、課金情報に基づいてデータの利用料金が利用者に請求される。また、利用料金は、検索レベルおよびアクセルレベルによって異なるものとなっており、検索可能なキーワード（検索項目）が多いほど利用料金が高くなり、アクセルレベルが高いほど利用料金が高くなる。なお、検索レベルにより検索可能な項目が制限され、アクセスレベルによりアクセス可能なデータが制限されており、レベルが高くなるほど、制限が少なくなる。

また、データ管理サーバー５は、上述のデータベース５１〜５４以外に、複数のスマートフォン３で、１つの肌状態測定装置１を使いまわして利用できるように、同じ製品シリアルＮｏ．の装置を管理する機器情報データベース５ｉを備える。なお、製品シリアルＮｏ．は、所定のアルゴリズムにより識別可能に生成される文字列である。この文字列としてのシリアルＮｏ．により、この表面状態撮影表示システムで用いることが可能な肌状態測定装置１で有るか否かを判別可能で、かつ、各肌状態測定装置１で異なるユニークな文字列である。

機器情報データベース５ｉにおいては、上述の各肌状態測定装置１の製品シリアルＮｏ．と、顧客ＩＤとを対応づけたものである。上述のようにシリアルＮｏ，の認証が行われて、各肌状態測定装置１が認証された場合に、各装置が接続されたスマートフォン３に対応する顧客ＩＤに関連付けて認証されたシリアルＮｏが登録される。この場合に、例えば、一つの肌状態測定装置１を３人まで、すなわち、３台のスマートフォン３まで共有して使用可能となっている。

また、データ管理サーバー５は、上述のデータベース５１〜５４以外に、肌用カメラ（画像データ２２）を校正するための校正用データベース５ｍと、市販されている各種化粧品が登録されている登録化粧品データベース５ｐとを備える。

校正用データベース５ｍには、例えば、表１２に示すように、肌用カメラで、所定条件での撮像として、テストチャートの画像データ２２から、明るさのランク、３色の色合いの校正ランクとが関連付けて登録されている。

登録化粧品データベース５ｐは、市販されている化粧品のデータが登録されたものであり、後述の化粧品カテゴリー、メーカー名、ブランド名（商品名）、容量、商品コード（ＪＡＮコード）等が記憶されるとともに、価格、成分、推奨使用量（ｍｌ／１回）その他、メーカーにより公開されている製品データが登録されている。

図５のユーザーデータ用データベース５１の顧客個人情報管理データベース５ａに示すように、顧客個人情報管理データベース５ａは、スマートフォン３を用いてユーザーが入力したデータとして、顧客ＩＤ、個人ユーザーＩＤ、個人パスワード、氏名、生年月日、年齢、性別、住所１（国）、住所２（都道府県）、住所３（市町村（区））、住所４（番地（マンション名部屋番号））、メールアドレス、課金情報（クレジットカード情報等）が記憶される。

なお、顧客ＩＤは、個人のユーザーＩＤに対応して、データ管理サーバー５側で付されるＩＤであり、個人ユーザーＩＤは、ユーザーが他のユーザーの個人ユーザーＩＤと重ならないことを条件に設定するＩＤである。また、個人パスワードは、個人ユーザーＩＤと合わせてユーザーの認証に用いられる。なお、各ユーザーに１対１で対応するＩＤとして、顧客ＩＤと個人ユーザーＩＤとの２つを使用しているが、これらを１つのＩＤで兼用するものとしてもよいし、ユーザーのＩＤとして、顧客ＩＤだけを用いるものとしてもよいし、ユーザーＩＤとして個人ユーザーＩＤを用いるものとしてもよい。

但し、この実施の形態では、各データベースでユーザーに関連するデータが記憶されている場合には、全て顧客ＩＤで管理されており、各ユーザーに関連するデータがそれぞれ記憶されている各データベースを顧客ＩＤで検索することで、各ユーザーに関連するデータを全て検索して取得できるようになっている。したがって、顧客個人情報管理データベース５ａにおいても、顧客ＩＤ毎に関連付けて各ユーザーのデータが登録されている。なお、上述のように顧客ＩＤを個人ユーザーＩＤに代えてもよい。

また、顧客個人情報管理データベース５ａには、図５に示すように、さらに、スマートフォン３に接続された肌状態測定装置１から入力される製品シリアルＮｏ．が記憶されるようになっている。なお、製品シリアルＮｏ．は、データ管理サーバー５で認証された後に記憶されるようになっており、製品シリアルＮｏ．が顧客個人情報管理データベース５ａに登録されている場合には、製品シリアルＮｏ．の認証を行わない。

図５に示すように、使用化粧品履歴データベース５ｄには、顧客ＩＤに関連付けてスキンケア用品（化粧品）の履歴データが化粧品カテゴリー（種類）毎に登録されている。なお、この履歴のデータは、ユーザーが購入した化粧品を登録するものであり、スマートフォン３を介してユーザーが購入した化粧品（使用する化粧品）の商品コードが登録される。この商品コードが化粧品を特定可能な化粧品特定情報となる。なお、ここでは、商品コードとして、バーコードで用いられていれるＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コードが用いられた例を示している。

使用化粧品履歴データベース５ｄでは、表５ｄ１に示すように、履歴データにおける各化粧品のカテゴリー（種類）を示す番号と、商品コードと、使用開始日と使用終了日が登録される。

表５ｄ１は、一例として、化粧品カテゴリーが洗顔料の場合を示すもので、洗顔料の商品カテゴリーのコードナンバーとして１が登録され、商品コードに使用開始日、使用終了日が紐付けされて記憶される。なお、使用中の場合（使用終了を入力していない場合）には、使用終了日は登録されていない。

この場合に、スマートフォン３の表示では、化粧品の情報が登録される登録化粧品データベース５ｐに登録されたデータに基づいて、各化粧品カテゴリーに対応して化粧品の商品名（＋メーカ名等）がプルダウンメニュー等で一覧表示され、その中から使用開始する化粧品を選択するものとしてもよい。それにより、登録化粧品データベース５ｐの化粧品名に関連付けられた商品コードが、使用化粧品履歴データベース５ｄに登録されるとともに、入力日が使用開始日として登録される。同様にスマートフォン３の専用アプリ５ｊから使用終了した化粧品がある場合にユーザーに入力するように指示するものとしてもよい。

この場合は、使用開始した化粧品の商品名等のデータをプルダウンメニュー等で一覧表示し、使用終了した化粧品の商品名等をユーザーが選択するものとしてもよい。この場合も選択された化粧品の商品コードが入力されるとともに入力日が使用終了日として登録される。なお、使用化粧品の入力方法としては、バーコードを入力したり、キーワード検索で登録化粧品データベース５ｐを検索して抽出された化粧品のデータを入力したりするものとしてもよい。

また、使用終了日については、新規に同一カテゴリーの化粧品が使用化粧品履歴データベース５ｄに登録された場合に、ユーザーに登録済みの同一カテゴリーの化粧品を使用終了したか否かを問合せ、その回答に基づき当該化粧品の使用終了日を登録するようにしてもよい。あるいは、登録化粧品データベース５ｐに、化粧品毎に化粧品の容量（ｍｌ）と推奨使用量（ｍｌ／回）とが登録されており、データ管理サーバー５またはスマートフォン３で、使用開始日から１日の化粧品の使用回数に推奨使用量を乗算した値を毎日加算（積算）していくとともに、化粧品の容量と比較し、毎日加算された値が容量を超えた場合や、容量の９０％等の容量の所定割合を超えた場合に、専用アプリ５ｊがユーザーの使用している化粧品がなくなっていないか、もしくは残量が少なくなっていないかを通知し、ユーザーに使用終了したか否かを問合せ、その回答に基づき使用終了日を登録するようにしてもよい。

また、この際には、残り少なくなった化粧品を買うように促すメッセージを表示したり、化粧品の通販サイトの残り少なくなった商品のページのＵＲＬを、当該ページをリンクした状態に表示したりしてもよい。
また、今まで使っていた化粧品がなくなるか、残り少なくなったことに対応して、残り少ない化粧品と同じカテゴリーの別の化粧品を紹介する表示を行うものとしてもよい。この際は、当該化粧品のメーカーや販売会社の当該化粧品のウェブページのＵＲＬを、当該ページをリンクした状態に表示してもよい。

化粧品カテゴリーは、図５の表５ｄ２に示すように、例えば、洗顔料、メイク落とし、化粧水、乳液、クリーム、美容液、美白液、その他等であり、これらの各カテゴリーに対して、上述のカテゴリーナンバが対応づけられている。なお、化粧品カテゴリーは、一例であり、異なるカテゴリーの分け方を行ってもよい。

お手入れカルテデータベース５ｏは、図５に示すようにユーザーの顧客ＩＤに関連付けて、例えば、ユーザーが任意で毎日、朝と夜に使用した化粧品を登録するものである。上述の使用化粧品履歴データベース５ｄでは、化粧品の使用開始日と使用終了日が登録されるが、お手入れカルテデータベース５ｏでは、毎日、朝と夜に使用した化粧品を登録可能になっている。後述するスケジューラー機能の下で、使用した化粧品のデータが入力され、データ管理サーバー５に送信されるようになっている。
これにより、お手入れカルテデータベース５ｏには、顧客ＩＤと、日付と時間帯として朝または夜と、使用化粧品データとして、例えば、上述の商品コードが登録される。

例えば、図５の表５ｏ１に示すように、お手入れカルテデータベース５ｏにおいては、日付と朝または夜という時間帯と、使用した化粧品の商品コードが登録される。この商品コードは、使用化粧品履歴データベース５ｄに登録された化粧品がスマートフォン画面上に表示され、表示された化粧品から実際に使用した化粧品を選択入力することができる。

図６に示す測定データ用データベース５２の肌履歴データベース５ｂには、顧客ＩＤと、データ入力日時とデータＮｏ．に関連づけて、各肌状態測定装置１から入力される測定データ（入力肌画像、入力蒸散計データ、入力メラニン計データ）が登録される。また、この測定データに関連付けられて、分析結果記憶手段として各簡易診断（分析）結果のデータが登録される。なお、例えば、３０分以内等の所定の時間範囲内で、複数種の肌状態測定装置１から測定データが入力された場合には、総合簡易診断が行われ、この総合簡易診断の結果のデータが登録される。さらに、測定データに対して詳細診断が行われた場合には、詳細診断の結果が通知された後に、詳細診断結果データベース５ｅに顧客ＩＤと測定日時に関連付けて詳細診断の結果のデータが登録され、肌履歴データベース５ｂには、詳細診断結果データベース５ｅへの当該書込データの格納アドレスが登録される。
なお、本明細書における診断という文言は、医療行為に限定されるものではなく、非医療行為も含み、各種分析等を含む広い意味で用いられている。

なお、簡易診断は、例えば、予め蓄積された測定データと診断結果データとしての肌状態のランクをあらかじめ対応づけて肌基準値データベース５ｇに登録しておき、肌基準値データベース５ｇに測定結果としての測定データに対して、肌基準値データベース５ｇの測定データから近似する測定データを選択し、当該測定データに関連付けられたランクを簡易診断結果として出力するようになっている。この処理は、肌状態分析手段としてのデータ管理サーバー５の簡易診断プログラム５ｆにより行われる。また、肌用カメラのように、測定データが画像データ２２の場合には、測定データとしての画像データ２２を２値化し、周知の画像認識により認識された２値化された画像データ２２のパターンに基づいて、肌の状態を分析する。

なお、肌用カメラを用いた場合には、入力肌画像としては、表５ｂ１に示すように、肌色光のＬＥＤ照明で撮影したキメ診断用画像と、白色光のＬＥＤ照明で撮影したシミ診断用画像と、自然光に近いＬＥＤ照明を用いて撮像した肌画像または上述の白色光または肌色光のＬＥＤで撮影する際にホワイトバランス（例えばオートホワイトバランス）により色を再現した肌画像がある。肌画像は、例えば、肌の色（日焼けやくすみ等による色の違い）の判定で用いられる。なお、この実施の形態では、肌の色の判定は、簡易診断では行われず、詳細診断で行われる。前記３種類の肌画像に対しては、それぞれ画質データが登録されるようになっており、各スマートフォン３に異なるカメラの画質相違に対応できるようになっている。
なお、この画質データに各撮影時の色補正用のデータも登録することにより、画質の校正用データが登録される校正用データベース５ｍを省略することも可能である。

画質データは、スマートフォン３の内蔵デジタルカメラを用いた場合の各スマートフォン３の機種の違いよる画質の違いを補正するためのものである。例えば、キメ診断用画像、シミ診断用画像、肌画像等の撮影に、スマートフォン３に内蔵されたデジタルカメラ３１を用いた場合に、スマートフォン３の機種によって画質が異なるものとなるので、各スマートフォン３の機種毎の画質データを専用アプリ５ｊが肌履歴データベース５ｂに送信するようになっている。ここで、画質データは、例えば、解像度である。解像度としては、例えば、撮像素子の有効画素数であってもよいし、撮影された画像データ２２の画素数であってもよい。

また、デジタルカメラの撮像素子のサイズと画素数であってもよい。診断・分析時には、各画像を予め定められた診断・分析項目の画質データに変換して診断・分析を行う。たとえば、肌診断の対象とする画質データに対して肌画像が低解像度の場合は補間や超解像技術により高解像化を行い診断分析し、逆に高い場合には画素を間引きするなどして低解像化して、診断分析を行う。

また、肌履歴データベース５ｂへの登録画像について、キメ診断用画像、シミ診断用画像、肌画像ごとに予め画質を決定しておき、ユーザーからの画像送出時に、スマートフォン３の専用アプリ５ｊあるいはデータ管理サーバー５のプログラムで定められた画質に変換して肌履歴データベース５ｂに登録するようにしてもよい。この場合は、肌履歴データベース５ｂの項目として画質データは必須ではなくなる。

また、肌履歴データベース５ｂには、データ入力日時におけるスマートフォン３に内蔵されたＧＰＳにより測定された位置情報（測定地点）がＧＰＳデータとして登録されるようになっている。また、上述のＧＰＳの測定地点における天気情報（気象データ）を天気情報サイトから取得して登録するようになっている。なお、データ入力日時は、肌の各測定を行った日時であるが、簡易診断結果が記憶された日時でもよい。各項目のデータは、肌の測定を行うことにより、自動的に入力される。

測定条件フラグは、例えば、ＧＰＳデータが通常の測定地点から遠い場合、例えば、前回までの複数回の測定において、同じ県や同じ市で測定が連続して行われていたのに対して、所定距離以上離れた測定地点から肌の測定データが入力された場合に、当該測定地点で測定された測定データや簡易診断結果に対してフラグ（測定条件フラグ）を設定するようになっている。なお、測定地点の他に天気情報における気温や湿度が所定範囲または入力日時における測定地点での平均気温や平均湿度との差が所定範囲を超えるような場合に測定データや簡易診断結果にフラグを設定してもよい。

このフラグが設定された測定データや簡易診断結果は、各データの平均を求めるなどの統計処理を行う場合に除外され、例えば、フラグが設定されたデータは、統計処理を行う
際の母集団に含まれないようになっている。すなわち、いつもいる場所とは遠く離れた場所にいる場合や、気象条件が大幅に異なる場合には、環境条件が大幅に異なる場合があることから測定結果が異常値になる可能性があり、統計結果に異常値が影響してしまうのを防止するために、統計処理の母集団からフラグが設定されたデータを除外するようになっている。

肌画像簡易診断結果（表５ｂ２）には、上述のように求められるキメ、シミ、シワの簡易診断結果としての点数（ランク）や偏差値が登録される。また、これらキメ、シミ、シワの診断結果や、肌画像における色（乾燥や肌荒れによる赤さなど）や、アトピーによる湿疹の有無や、乾燥によるキメの乱れから肌タイプが選択されるようになっている。なお、肌タイプは、詳細診断でも決定されるようになっている。

また、詳細診断は、測定データを例えば提携企業としての化粧品会社サーバー（化粧品会社Ａサーバー６１、化粧品会社Ｂサーバー６１）で行われるものであり、化粧品会社サーバーが肌状態分析手段になる。基本的には、簡易診断と同様に、測定データと分析結果データを関連付けた詳細診断システム６２に含まれるデータベースから、肌状態測定装置１で得られた測定データに近似する測定データを選択し、当該測定データに関連付けられた分析結果データを出力するものである。ただし、詳細診断では、例えば、登録されている測定データ数および分析結果データが簡易診断の場合より多く、詳細診断用のデータベースにさらに細かく分類された状態となっており、簡易診断より詳細な分析結果を得られるようになっている。また、詳細診断用に各化粧品会社独自のアルゴリズムで、データベースに登録された測定データを選択して、それに対応する分析結果を得られるようになっていてもよい。なお、肌の色を除く画像データ２２の分析に際しては、例えば、所定の閾値を境に２値化し、白と黒の面積比や白や黒のパターン等により肌状態を分析する。

化粧品会社サーバーは、上述の詳細診断結果に基づいて、ユーザーに推奨する化粧品を決定する推奨化粧品決定部６３と、詳細診断結果に基づいて、肌のケア方法や、肌のケアに有効なケア用品等をアドバイスするためのアドバイスの内容を決定するアドバイス決定部６４を備える。

詳細診断結果データベース５ｅは、上述の詳細診断の結果を顧客ＩＤに関連づけて登録するものであり、詳細診断が行われた日である診断日時（詳細診断を頼んだ測定データの測定日時を含んでもよい）と詳細診断結果のデータが登録される。また、詳細診断の結果に対応して選択されるアドバイスのデータや、推奨化粧品（スキンケア用品）のデータが登録されている。

ところで、この表面状態撮影表示システムおよび表面状態撮影表示方法では、肌画像を用いた分析においては、定期的に撮影を行って肌画像を取得することにより、肌状態の経時変化を知ることが可能になる。経時変化の表示方法としては、撮影画像を動画やスライドショーとして出力するのが効果的である。しかし、これを実現するには、肌用カメラや、スマートフォン３のデジタルカメラに上述のレンズモジュールを取り付けて肌を略定期的に撮影する場合に、撮影毎に同じ範囲を撮影することが必要であるが困難である。

例えば、スマートフォン３の内蔵デジタルカメラにコンバージョンレンズを取り付けて撮影する場合には、撮影時に自分でスマートフォン３のディスプレイを見ることが困難であり、例えば、鏡を使ってスマートフォン３のディスプレイを見ることにより、肌状の位置を特定することが難しい。

すなわち、肌には、肌上の位置の基準となるような特徴的な部分がなく、たとえ、肌の撮影位置が良く見える状態でも、前回撮影した場所と同じ場所を撮影しているか否かの判断ができない可能性が高い。但し、シミを撮影する場合には、シミを基準として、毎回略同じ位置を撮影できる可能性が高くなるが、それでも、毎回同じ位置を撮影することは難しい。

また、スマートフォン３にＵＳＢインターフェース１３等で肌用カメラを接続する場合には、ＵＳＢケーブルを用いてスマートフォン３に対して肌用カメラを動かせることから、スマートフォン３のディスプレイを直接見ながら肌上の撮影位置を決めることができるが、上述のように明確な目標となる特徴部分がないと、毎回同じ位置を定期的に撮影することが難しい。上述のようにスマートフォン３に肌レンズを直接取り付ける方式では、より同一部分の撮影が困難である。

また、撮影毎に肌上の撮影位置が大きくずれると、肌の状態の変化が時間の経過による変化なのか、位置の違いによる変化なのかが分かり難くなる。この実施の形態では、このような問題を解決する方法として、撮影ポイントを設定し、当該撮影ポイントを順次撮影した場合に、撮影された画像データ２２の相対位置を算出することにより、画像上の肌の状態違いが時間経過によるものか、位置の違いによるものかを把握することを可能として、肌状態の分析の精度を高めるとともに、画像データ２２を撮影順でスライドショー（動画）として表示する場合に、各画像データ２２の相対位置に基づいて表示することにより、各スライド（フレーム）の画面上の各箇所に同じ肌の位置が表示されようにしている。すなわち、各スライドにおいて、同じ毛穴（図９、図１０に図示）２０は、どのスライドにおいても同じ位置に表示されるようにしている。

上述の撮影対象となる肌の撮影ポイントが決められるとともに、当該撮影ポイントで複数の画像が順次撮影される場合に、撮影された各画像データ２２の相対位置を算出する処理と、この相対位置に基づいて画像データ２２の表示を行う処理の概要を以下に説明する。

この表面状態撮影表示システムにおいては、定期的に被写体を撮影する際に、まず、被写体を顔の肌とした場合に、顔全体の画像上で肌上の撮影範囲の中心を示す撮影ポイントを設定し、撮影時等において、例えば、図８のスマートフォン３の表示画面３ｅ，３ｆ，３ｇに示すように、撮影ポイント（図面上においえ撮影枚数としての数値を囲む丸）を顔全体の画像上で確認できるようにしている。なお、顔の画像は、実際のユーザーの顔を撮影した実画像であってもよいし、実画像に基づきイラスト化した絵であってもよい。あるいは、顔の画像が絵の場合は、顔の絵を予め複数種類記憶しておき、複数種の顔の絵から使用する絵を選択できるようにしてもよい。

撮影ポイントは、顔の画像の例えば２つの目尻を結ぶ線分の中央となる点を顔全体座標系の原点位置として、ＸＹ座標系や極座標系で各撮影ポイントの位置を示せるようになっている。ここでは、例えば、極座標系を用い、目尻を結ぶ線分を座標の角度（偏角）の基準としている。なお、この顔全体座標系は、顔の画像上に撮影ポイントを表示するためのものである。

ユーザーが上述の顔画像上で撮影ポイントをタッチ等により設定すると、顔全体座標系上の座標が算出されて記憶される。ユーザーが決められた撮影ポイントを撮影する際には、顔画像上に上述の座標に基づいて表示された顔全体座標系上の撮影ポイントを指定して撮影する。
したがって、ユーザーは撮影時に撮影ポイントを顔画像上で確認することになり、撮影時に撮影箇所が撮影ポイントとかけ離れた位置となるのを抑制することができる。

撮影された画像データ２２においては、画像データ２２上の中心位置を原点とする極座標系を設定し、画像データ２２に写っている毛穴２０の位置を算出する。なお、直交座標系を用いるとともに画像データ２２の画像の形状が矩形の場合には、原点を画像の左端の下端としてもよい。

撮影ポイントを設定した後に最初に撮影した画像データ２２の上述の各毛穴２０の座標位置を次に同じ撮影ポイントを指定して撮影される画像データ２２の毛穴２０の配置パターンとの比較用の毛穴データとして記憶する。次に撮影された画像データ２２が入力されると、同様に画像データ２２上の中心を原点とする極座標系における各毛穴２０の座標が算出され、これら座標が登録された毛穴座標テーブルが作成される。

なお、この段階では、毛穴データと、毛穴座標テーブルは、それぞれの画像データ２２の中心を原点とする毛穴２０の座標のテーブルであるが、毛穴座標テーブルが１つの画像データ２２の毛穴２０の座標であるのに対して、毛穴データは、中心位置が決定した画像データ２２の毛穴２０の座標が順次追加登録されるようになっている。

基本的には、図９に示すように最初に撮影された画像データ２２（符号２１ａを中心とする画像）と、次に撮影された画像データ２２（符号２１ｂを中心とする画像）とは、矢印２４に示すずれがあっても、一部の領域が重なる可能性が高い。これにより、比較する２つの画像データ２２の毛穴２０の配置パターンには、略一致する部分が生じる。この毛穴２０の配置パターンが一致する部分が２つの画像データ２２で重なる部分である。この場合に、最初に撮影された画像データ２２を基準画像とし、この基準画像の中心を原点とする撮影ポイント座標系を設定する。なお、最初に撮影された画像データ２２と次に撮影された画像データ２２とで毛穴２０の配置パターンが一致する部分がない場合については、後述する。

このように基準画像となった画像データ２２に重なった画像データ２２の毛穴２０の座標は、上述の撮影ポイント座標系の座標に変換され、毛穴データに登録された毛穴２０の座標と重ならない毛穴２０の座標が毛穴データに追加される。また、撮影ポイント座標系における画像データ２２の中心位置２１ｂの座標（画像中心の位置座標）が求められ、画像データ２２の位置が決定される。それ以降は、撮影された画像データ２２が入力される度に、毛穴座標テーブルを求め、毛穴データと比較し、毛穴２０の配置パターンが一致する部分があれば、上述のように毛穴座標テーブルの座標を変換するとともに毛穴データに変換された毛穴２０の座標を追加登録するとともに、画像データ２２の中心位置の撮影ポイント座標系における座標を決定する。

なお、ここでは、画像データ２２における画像の外形を円としたが矩形としてもよい。また、一度、毛穴座標テーブルに毛穴データと毛穴２０の配置パターンが一致する部分がないと判定された画像データ２２であっても、毛穴データに毛穴２０の座標が追加登録されることにより、追加登録された毛穴データに基づいて毛穴２０の配置パターンが一致する部分が生じる可能性がある、したがって、毛穴データに毛穴２０の座標が追加登録される度に、毛穴データにおける毛穴２０の配置パターンと一致する毛穴２０の配置パターンが無かった画像データ２２の毛穴座標テーブルと毛穴データとを比較する。この際に、毛穴２０の配置パターンが一致する部分があれば、その画像データ２２の毛穴２０の座標を上述のように座標変換して毛穴データに追加登録するとともに、その画像データ２２の画像中心の位置座標を決定する。

このようにすれば、同じ撮影ポイントで撮影された画像データ２２で、毛穴データと毛穴２０の配置パターンが一致する部分がある画像データ２２は、相対位置が決定されることになる。すなわち、図１０に示すように、各画像データ２２は、毛穴データにおける毛穴２０の配置と、毛穴２０の配置が一致する部分があれば、撮影ポイント座標系における位置が決まることになる。これにより、各画像データ２２の撮影日時と、各画像データ２２の相対位置としての画像中心の位置座標が分かることになり、肌状態の分析に際して、明らかに異なる位置の肌状態を略同じ位置の肌状態と勘違いするようなことを防止して、肌状態をより精度高く判定することができる。

スライドショーの表示に際しては、例えば、符号２６で示される矩形の範囲を、画像データ２２を表示する表示画面の位置とした場合に、この表示画面に上述の撮影ポイント座標系を設定し、各画像データ２２をその画像中心が撮影ポイント座標系の対応する座標に表示させることができる。この場合に、同じ毛穴２０は、異なる画像データ２２においても、略同じ位置に表示されることになる。この場合に各スライドに画像の欠けた部分があるが、１度表示された画像は、上書きされるまで残すようにすることにより、画像の欠けた部分に前の画像データ２２が表示され、見やすい画面表示になる。
この場合に、例えば、カメラを三脚等に固定し、微速度撮影を行った後に、早回し再生したような画像になる。なお、各スライドの画像の欠けた部分を前後の画像データ２２に基づいて補間するものとしてもよい。

次に、上述のような同じ撮影ポイントで複数の画像を撮影するとともに再生する処理に用いられる各データと各データベースとの関係を説明する。まず、ユーザーごとに登録可能な最大の撮影ポイントの数（最大登録撮影ポイント数）は、図５に示すように、顧客個人情報管理データベース５ａに入会の際に登録される。なお、ユーザーが登録可能な撮影ポイントは、例えば、無料会員と有料会員等のように、会員の種類によって、変更できる設定となっており、例えば、無料会員は、撮影ポイントを１つだけ設定でき、有料会員は、撮影ポイントを３つ設定できるようにしてもよい。また、撮影ポイントの数によって、それぞれ異なる課金が発生するようにしてもよい。撮影ポイントの数は、任意に設定可能であり、各種条件によって、ユーザーが利用可能な撮影ポイントの数を決定するものとしてもよい。

撮影ポイントを決めて撮影された画像データ２２は、図６に示すように、肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録される。なお、画像データ２２には、キメ診断用画像、シミ診断用画像、肌画像があり、画像データ２２の位置を求める際には、これら画像データ２２の種類のいずれを用いるものとしてもよいが、例えば、肌画像を用いるものとする。なお、１つの撮影ポイントでの撮影時に、上述のキメ、シミ、肌の３種類の画像データ２２が撮影されるので、１つの種類の画像データ２２の位置（画像中心の位置座標）が決まれば他の種類の画像データ２２の画像中心の位置座標も決まることになる。

上述の顔全体座標系における撮影ポイントの座標は、図６の表５ｂ１に示すように肌履歴データベース５ｂの入力肌画像の項目に撮影ポイント（中心座標）として、各画像に対応して登録され、各画像データ２２がどの撮影ポイントを撮影したか検索可能になっている。
また、各撮影ポイントを目標として撮影された各画像データ２２の中心位置を同一の撮影ポイントの他の画像データ２２（肌画像データ）との関連性から求めるようになっており、この各画像データ２２の中心位置が「画像中心の位置座標」として、肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録されるようになっている。これにより同じ撮影ポイントで順次撮影された画像データ２２の相対位置が分かることになる。

ここで、「画像中心の位置座標」の座標系は顔全体座標系ではなく、当該撮影ポイントについて基準画像が決定した際に基準画像の中心を原点とした上述の撮影ポイント座標系となっている。極座標を利用するのであれば、基準画像の水平を角度の基準とすることができる。また、各画像データ２２の位置を決定する場合に、必ずしも、撮影順に位置が決定するとは限らないものとなっている。そこで、画像中心の位置座標が決定した画像データ２２に対して位置決定フラグをオンとするようになっており、未だ画像中心の位置座標の決まらない画像データ２２では位置決定フラグがオフのままになっている。この位置決定フラグは、肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録される。なお、同じ撮影ポイントを撮影した画像データ２２には、上下左右の位置ずれの他に回転方向の位置ずれもあるので、基本的に基準画像における水平が座標の角度（偏角）の基準となり、その他の画像データ２２は、毛穴データと毛穴２０の配置パターンが一致する領域に基づいて画像データ２２の角度が決まる。

撮影ポイントデータベース５ｃには、顧客ＩＤに関連づけて、撮影ポイントの登録数（登録撮影ポイント数）が記憶される。この撮影ポイントの登録数は、上述の最大値ではなく、最大値の範囲内でユーザーが既に登録した撮影ポイントの数であり、０から最大値までのいずれかの値である。

撮影ポイントデータベース５ｃでは、顧客ＩＤに関連付けられて、登録された各撮影ポイントに対応して、撮影ポイントの中心座標が、顔全体座標系の座標として登録される。
また、撮影ポイントデータベース５ｃでは、撮影ポイントの中心座標（顔全体座標系）に関連付けられて、登録（撮影）された画像データの枚数と、撮影ポイントを登録した日付と、基準画像のデータＮｏ．と、上述の毛穴データが登録されている。基準画像のデータＮｏ．とは、各測定データの測定時に各測定データとしての画像データ２２毎に付けられて肌履歴データベース５ｂに登録されているデータＮｏ．のうちの基準画像となった画像データ２２のデータＮｏ．である。

毛穴データは、毛穴座標テーブルと同様の座標のテーブルであり、当該撮影ポイントの撮影ポイント座標系における各画像データ２２の各毛穴２０の位置を示す座標が、図６の表５ｂ４に示すように、極座標の動径（ｒｎ）と偏角（θｎ）で登録される。なお、上述のように画像データ２２同士で配置パターンが一致する毛穴２０は同じ毛穴２０として座標が登録される。

次に、撮影ポイントの登録に係わる登録撮影ポイントの追加・変更処理を、図７および図８と図１２のフローチャートを参照して説明する。登録撮影ポイントの追加・変更処理はスマートフォン３で行われる処理であるが、スマートフォン３における登録撮影ポイントの追加・変更処理に基づいて、追加または変更された撮影ポイントの中心座標は、データ管理サーバー５に送信され、データ管理サーバー５が、追加または変更された撮影ポイントの中心座標が撮影ポイントデータベース５ｃに新に登録される。なお、撮影ポイントの変更では、撮影ポイントの追加と撮影ポイントの消去を合わせ行うことにより、消去された撮影ポイントに代えて追加された撮影ポイントが登録される。

図７に示すように、スマートフォン３において、専用アプリ５ｊを起動させて、表示画面３ａに示すメインメニューを表示させると、選択肢に肌状態測定装置１による測定を行うための選択肢として診断エステが選択可能になる。診断エステを選択して、表示画面３ｂに示す診断エステメニューを表示させる。診断エステメニューでは、肌状態測定装置１を使用する肌診断が選択可能であり、肌診断を選択すると、表示画面３ｃに示す肌診断メニューが表示され、肌状態測定装置１として、肌診断カメラ（肌用カメラ）が選択可能になり、肌診断用カメラを選択すると、図８の表示画面３ｄに示す撮影の種類メニューが表示され、撮影の種類が選択可能になる。

撮影の種類には，ここでは、２種類あり、継続肌撮影と、ピンポイント撮影とを選択可能となっている。継続肌撮影は、肌上に撮影ポイントを設定して、設定された撮影ポイントを定期的に撮影するものである。また、ピンポイント撮影では、継続的な撮影は行われず、撮影された肌画像について簡易診断を受けるためのものである。なお、簡易診断は、継続肌撮影の場合も行われる。ピンポイント撮影では、肌の気になる部分を試しに撮影して、簡易診断を受けるものである。また、ユーザーの知り合いに試しに肌の簡易診断を受けてもらうような場合にも利用可能である。

スマートフォン３においては、撮影の種類のメニューにおいて継続肌撮影が選択されたか否かが判定される。（ステップＳ１）。
継続肌撮影が選択されず、ピンポイント撮影を選んだ場合には、次に、肌用カメラで肌を撮影して、撮影された画像データ２２をデータ管理サーバー５に送信して、画像データ２２による簡易診断を受けることになる。

継続肌撮影が選択された場合には、撮影ポイントデータベース５ｃのデータをデータ管理サーバー５からダウンロードし、撮影ポイントデータベース５ｃに既に登録された撮影ポイントがある場合に、撮影ポイントデータベース５ｃの登録された撮影ポイントの中心座標と、その撮影ポイントで撮影された画像枚数と、その撮影ポイントの登録日に基づいて、図８の表示画面３ｅに示すように、顔の画像上に撮影ポイントと、撮影ポイントの登録日と、撮影ポイントでの撮影枚数を表示し、かつ、登録撮影ポイントの追加・変更ボタンを表示する。すなわち、表示画面３ｅを作成して表示する（ステップＳ２）。なお、撮影ポイントが登録されていない場合には、撮影ポイントなしの顔の画像が表示されるが、ステップＳ５に移行するものとしてもよい。

なお、上述のように顔の画像上には、２つの目尻を結ぶ線分の中央の点を原点とする極座標系（顔全体座標系）が設定されており、撮影ポイントデータベース５ｃには、撮影ポイントとして顔全体座標系の極座標が記憶されている。

表示された撮影ポイントの１つがタッチされたか否かを判定する（ステップＳ３）。
表示された撮影ポイントがタッチされない場合に、登録撮影ポイントの追加・変更ボタンがタッチされたか否かを判定する（ステップＳ４）。
表示された撮影ポイントがタッチされた場合には、この処理を終了し、図８の表示画面３ｇを表示する。表示画面３ｇでは、顔の画像上にタッチされた撮影ポイントだけが表示され、この撮影ポイントを撮影するように促され、撮影処理に移行する。登録撮影ポイントの追加・変更ボタンがタッチされた場合には、図８の表示画面３ｆを表示する（ステップＳ５）。

表示画面３ｆは、基本的に表示画面３ｅと同じ画像に、新規撮影ポイントの入力を促す表示が表示される。新規撮影ポイントの入力として、ユーザーが表示画面３ｅ上の顔の画像上をタッチしたか否かが判定される（ステップＳ６）。
タッチされた場合には、タッチされた位置の上述の顔の画像上の座標系の位置（顔全体座標系）を求める（ステップＳ７）。
また、現状の撮影ポイントの登録数が設定された上限値、例えば、３つか否かを判定し（ステップＳ８）、３つより少ない場合、すなわち、新たに撮影ポイントを登録可能な場合には、ダウンロードした撮影ポイントデータベース５ｃにおいて、新たな撮影ポイントの項目を設定し、当該撮影ポイントの項目に、撮影ポイントの中心座標と、今日の日付を登録日として登録し、撮影された肌画像の枚数を０とする（ステップＳ９）。
また、書き換えられた撮影ポイントデータベース５ｃをデータ管理サーバー５に送信するとともに、書き換えられた撮影ポイントデータベース５ｃに基づく表示画面３ｅを作成して表示し（ステップＳ１０）、ステップＳ３に戻る。なお、データ管理サーバー５では、撮影ポイントデータベース５ｃを受信した撮影ポイントデータベース５ｃに置き換えるように更新する。

現状の撮影ポイントの登録数が設定された上限値の場合には、新たに撮影ポイントを増加できないので、削除する撮影ポイントを指示するか、撮影ポイントの入力をキャンセルするのかをユーザーに入力させる表示画面を表示する（ステップＳ１１）。
ユーザーは、表示画面３ｆと同様の表示画面に表示されたキャンセルボタンをタッチするか、削除する撮影ポインとをタッチして指示する。

スマートフォン３では、削除する撮影ポイントがタッチされたか否かを判定する（ステップＳ１２）。
撮影ポイントがタッチされない場合には、キャンセルボタンがタッチされたか否かを判定する（ステップＳ１３）。
キャンセルボタンがタッチされた場合は、新たな撮影ポイントが表示されていない元の表示画面３ｅを表示してステップＳ３に戻る。

撮影ポイントがタッチされた場合には、タッチされた撮影ポイントの座標や、例えば、１〜３の撮影ポイントの番号に基づいて、データ管理サーバー５からダウンロードした撮影ポイントデータベース５ｃからタッチされた撮影ポイントの項目のデータを削除し（ステップＳ１４）、ステップＳ９に移行し、先にタッチされたポイントを新たな撮影ポイントとして、上述のように撮影ポイントデータベース５ｃに登録し、データ管理サーバー５に送信する。
この処理では、ステップＳ３で、最終的に今回撮影する撮影ポイントがタッチされた場合に上述のように処理を終了して撮影処理に移行する。

撮影処理では、例えば、上述の肌のキメの撮影と、肌のシミの撮影と、肌の色の撮影が行われ、撮影された画像データ２２は、スマートフォン３からデータ管理サーバー５に送信される。

この際には、スマートフォン３からデータ管理サーバー５に、撮影された各画像データ２２（キメ診断画像、シミ診断画像、肌画像）とともに、顧客ＩＤ、データ入力日時（撮影日時）、ＧＰＳデータ（測定地点）、各画像データ２２の画質データ（例えば、撮影したカメラの解像度）と、撮影ポイントの座標、位置決定フラグ（オフ）が送信される。

これらのデータを受信したデータ管理サーバー５では、これらのデータを顧客ＩＤに関連付けて肌履歴データベース５ｂに登録する。なお、この際には、画像中心の位置座標は決定されておらず、登録されない。位置決定フラグはオフのままとなっている。また、各画像データ２２に基づいて簡易診断処理を行い、簡易診断結果をスマートフォン３に送信し、スマートフォン３のディスプレイに表示させる。また、簡易診断結果は、肌履歴データベース５ｂの肌画像簡易診断結果に登録される。

スマートフォン３においては、肌の撮影後、簡易診断結果が表示されて一連の処理を終了した状態となり、例えば、専用アプリ５ｊで、簡易診断結果が表示された状態で、専用アプリ５ｊの他の項目の表示画面に移行するか、専用アプリ５ｊを終了することになる。

一方、データ管理サーバー５では、継続肌撮影に基づく画像データ２２が登録された際には、上述の簡易診断結果のスマートフォン３への送信が終了した後に、画像中心の位置座標決定処理が行われる。
以下に、図１３および図１４に示すフローチャートを参照して、データ管理サーバー５で行われる画像中心の位置座標決定処理を説明する。

上述のようにスマートフォン３から受信して肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録され肌（キメ、シミ、色）の画像データ２２を用い、画像認識により毛穴２０の位置を分析し、例えば、画像データ２２の画像の中心を原点とする極座標系における各毛穴２０の座標を求め、これらの毛穴２０の座標が登録された毛穴座標テーブルを作成する（ステップＳ２１）。

例えば、撮影された画像データ２２は、スマートフォン３からデータ管理サーバー５に送信され、データ管理サーバー５において、受信した画像データ２２を用いて、簡易診断が行われる。その後に画像データ２２上の毛穴２０の位置が検出される。毛穴２０の位置の検出は、毛穴２０より認識が容易な肌上の毛（産毛）を検出することにより行われる。認識された毛の端部は、先端側が細く、毛穴２０側である基端側で太くなる。

そこで、認識された毛の太い側の端部を毛穴２０として認識するようになっている。なお、毛が生えていない状態で正常な閉じた状態の毛穴２０は、認識が難しくなるので、ここでは、毛が生えた毛穴２０の毛の基端部を認識し、これを毛穴２０としている。

なお、毛が生えていなくとも開いた状態の毛穴２０は閉じた毛穴２０に比較して認識し易く、開いた毛穴２０を認識（認識できる毛穴２０だけを認識）して、毛の生えた毛穴２０と同様に座標上の位置を決定するものとしてもよい。なお、肌上の毛穴２０の配列は、略規則的であり、全ての毛穴２０を認識させて位置を記憶させた場合に、画像上の特徴点と成り難くなる虞もあり、毛の生えた毛穴２０や開いた毛穴２０だけを認識させることにより、毛穴２０の配置パターンに違いが生じ易く、毛穴２０のパターンから各肌画像が重なる部分を特定し易くなる。所定の径以下の大きさで部分的に色素が沈着している部分（周囲の色に対して色が濃くなっている部分）の中心を毛穴２０と認識するようにしてもよい。また、毛穴２０部分にメラニンが滞留して小さなシミが生じる場合があり、所定サイズ以下のシミを毛穴２０と認識するものとしてもよい。

次に、選択された撮影ポイントにおける一度目の撮影か否かが判定される（ステップＳ２２）。すなわち、撮影ポイントデータベース５ｃおける選択された撮影ポイントの画像枚数が１か否かが判定される。

一度目の撮影の場合には、毛穴座標テーフルを撮影ポイントデータベース５ｃの対応する撮影ポイントの毛穴データに登録する（ステップＳ２３）。この際に、位置決定フラグはオフのままとする。毛穴データは、各画像データ２２の位置を特定するために使用される毛穴２０の座標テーブルである。毛穴データにおける各毛穴２０の座標は、上述の基準画像の中心位置を原点とする撮影ポイント座標系の座標である。但し、ここでは、基準画像が決定されておらず、かつ、位置が決定された画像データ２２が無い状態であり、仮に一度目の撮影の画像データ２２の中心を原点とする座標系の毛穴２０の座標が登録された毛穴座標テーブルを毛穴データとして、撮影ポイントデータベース５ｃの対応する撮影ポイントに登録する。一度目の撮影の場合には、毛穴データと比較する毛穴座標テーブルがないので処理を終了する。

ステップＳ２２において、選択された撮影ポイントにおける一度目の撮影ではないと判定された場合、すなわち、撮影ポイントデータベース５ｃおける選択された撮影ポイントの画像枚数が２以上の場合に、作成された毛穴座標テーブルの毛穴２０の配置パターンと、毛穴データの毛穴２０の配置パターンに一致する部分が有るか否かが判定される（ステップＳ２４）。この際には、所定の画像認識アルゴリズムにより、２つの画像データ２２中に毛穴２０の配置パターンが略一致する部分が有るか否かが判定される。

例えば、毛穴データと、毛穴座標テーブルとで、毛穴２０の配置パターンが類似する部分があるか判定し、これら２つの画像データ２２には、肌上の同じ範囲を撮影した部分（肌画像同士が重なる部分（同じとなる部分））があると判断する。この判定には、肌カメラの皮膚への押圧力の相違に基づく皮膚表面の膨れによる毛穴座標の変化、撮影環境の相違による認識できる毛穴２０の変化なども考慮して、許容値以上の一致率で同一配置パターンの存在を判断する。

次に、比較された毛穴データと、毛穴座標テーブルに毛穴２０の配置パターンが一致する領域が有ったか否かを判定する（ステップＳ２５）。毛穴データと、毛穴座標テーブルに毛穴２０の配置パターンが一致する領域が無い場合に、既に基準画像が決定しているか否かを判定する（ステップＳ２６）。この際には、撮影ポイントデータベース５ｃの撮影ポイントの基準画像の項目を参照して判断するが、撮影ポイントに対応する画像データ２２において、位置決定フラグがオンとなっている画像データ２２が有るか否かを判定してもよい。基準画像が決定していない場合には、ステップＳ２３に移行し、作成された毛穴座標テーブルを毛穴データとして撮影ポイントデータベース５ｃに登録する。この際には、前の毛穴データを消して、毛穴データを更新記憶する。

すなわち、先に撮影された画像データ２２の毛穴座標データである毛穴データと、次に撮影された画像データ２２の毛穴座標データとで毛穴パターンが一致する領域が見つかるまで、画像データ２２を受信するたびに、作成された毛穴座標デーブルを毛穴データとして更新記憶する。この際には、未だ画像データ２２の相対位置が決まっていないので、対応する位置決定フラグはオフのままとして処理を終了する。

ステップＳ２６で既に基準画像が決定していると判定された場合に、この画像データ２２に対応する肌履歴データベース５ｂの入力肌画像の項目の位置決定フラグをオフのままとして（ステップＳ２７）、ステップＳ３３へジャンプし、未定義画像の位置決定処理へ移行する。

ステップＳ２５で、比較された毛穴データと、毛穴座標テーブルに毛穴２０の配置パターンが一致する領域が有った場合には、既に基準画像が決定しているか否かを判定する（ステップＳ２８）。この判定方法は前述の通りである。基準画像データ２２が決定していない場合には、今回受信されて毛穴座標データが作成された当該撮影ポイントでのＮ番目の画像データの前に受信して毛穴データが登録されているＮ―１番目の画像データ２２を基準画像とし、当該撮影ポイントでのＮ−１枚目の画像に対応するデータＮｏ．を対応する撮影ポイントデータベース５ｃの撮影ポイントの基準画像の項目に登録する。（ステップＳ２９）。この際には、一つ前に撮影したＮ−１番目の画像データ２２の位置決定フラグをオンとするとともに、毛穴データで用いられる毛穴２０の座標の座標系としての撮影ポイント座標系の原点を基準画像に決定された画像データ２２の画像中心に決定する。

なお、この際に記憶されている毛穴データは、Ｎ−１番目の画像データ２２の中心を原点とする毛穴座標テーブルにおける座標系の座標と同じデータであり、毛穴データはそのままの状態となる。

ステップＳ２８で基準画像が決定していると判定された場合、または、ステップＳ２９の処理が行われた場合に、毛穴データと毛穴２０の配置パターンが一致する領域を有する今回の撮影画像であるＮ番目の画像データ２２の画像中心の座標を撮影ポイント座標系の座標に変換する。撮影ポイント座標系におけるこのＮ番目の画像データ２２の画像中心の座標を肌履歴データベース５ｂの入力肌画像（表５ｂ１）に登録する。さらに、肌履歴データベース５ｂの入力肌画像（表５ｂ１）の位置決定フラグをオンとする（ステップＳ３０）。これによりキメ、シミ、肌のＮ番目の画像データ２２の画像中心の撮影ポイント座標系における位置が決定されたことになる。

次に、上述のように画像中心が決定されたＮ番目の画像データ２２の各毛穴２０の座標を撮影ポイント座標径の座標系（基準画像の中心を原点とする）に変換する（ステップＳ３１）。すなわち、作成された毛穴座標テーブルの座標の座標系の原点である画像データ２２の画像中心を、撮影ポイント座標系の画像中心の座標とするように座標変換を行う。これにより、画像データ２２上の各毛穴２０の座標が毛穴データにおける毛穴２０の座標と同じ撮影ポイント座標系の座標になる。

次に、上述のように撮影ポイント座標系の座標に変換されたＮ番目の画像データ２２の毛穴２０の座標を毛穴データに追加登録する（ステップＳ３２）。この際には、上述のように毛穴データの毛穴２０と配置パターンが一致した毛穴２０の座標は、既に、毛穴データに登録されていることになるので、配置パターンが一致しなかった毛穴２０の座標を毛穴データに追加登録する。

次に、未定義画像の位置決定処理（ステップＳ３３以降の処理）を行う。肌履歴データベース５ｂの入力肌画像（表５ｂ１）の位置決定フラグがオフとなっている画像データ２２を全て選択する（ステップＳ３３）。次に選択された位置決定フラグがオフとなっている各画像データに以下の処理を行う。この処理は、位置決定フラグがオフとなっている画像データ毎にループ処理として行われ、位置決定フラグがオフとなっている画像データ１つずつに同じ処理が行われる。

ここでは、位置決定フラグがオフの画像データの数をｎとし、１~ｎ番目までの画像データにそれぞれ処理をする。また、ｉ＝１~ｎとし、ｉ番目の画像データを順次処理するループ処理を開始する（ステップＳ３４）。なお、位置決定フラグがオフの画像データがない場合には処理を終了する。

これらの選択された画像データ２２のうちのｉ番目の画像データ２２に対応する毛穴座標テーブルを作成し、撮影ポイントデータベース５ｃに記録されている当該撮影ポイントの毛穴データと比較する（ステップＳ３５）。ここでは、上述の毛穴データの追加登録により、毛穴データにおける毛穴２０の座標が増えており、今まで毛穴データと毛穴２０の配置パターンが一致する領域がなかった画像データの毛穴座標テーブルであっても、毛穴データと毛穴２０の配置パターンが一致する領域がある可能性が生じることになる。

比較の結果、毛穴データと、毛穴２０の配置パターンが一致する領域がある毛穴座標テーブルが有るか否か（毛穴の配置パターンが部分的に一致するか否か）を判定し（ステップＳ３６）、有った場合に、この毛穴座標テーブルに対応する画像データ２２の画像中心の撮影ポイント座標系における座標を求め、肌履歴データベース５ｂに登録するとともに、肌履歴データベース５ｂの位置決定フラグをオンとする（ステップＳ３７）。

次いで、ｉ番目の画像データの毛穴の座標テーブルを、基準画像の座標系、すなわち、撮影ポイント座標系に変換する。すなわち、毛穴データにおける各毛穴の位置の座標と同じ座標系に変換する（ステップＳ３８）。変換されたｉ番目の画像データ２２の毛穴座標テーブルの座標を撮影ポイントデータベース５ｃの対応する撮影ポイントの項目の毛穴データに追加登録する（ステップＳ３９）。ｉに１加算してステップＳ３４からのループ処理を繰り返す（ステップＳ４０）。但し、ｉ＝ｎとなってから、ステップＳ３５からステップＳ３９までの処理が行われた場合に、処理を終了する。

なお、この処理は、スマートフォン３ではなく、データ管理サーバー５側で行われるため、スマートフォン側の処理とは別にバックグラウンドで実行可能である。従って、互いに重なる領域がある２つ以上の画像データ２２が見つかるまで、ユーザーのスマートフォン３を介して撮影された画像データ２２が入力するたび、既に記憶されているとともに位置が決定していない全ての画像データ２２に対応する毛穴座標テーブルと、新たに入力された画像データ２２の毛穴座標テーブルを比較するものとしてもよい。

このように、毛穴データに基づいて、互いに重なる部分を有する画像データ２２が見つかった場合に、これらの画像データ２２上の毛穴２０を同じ座標系上の位置で表すことが可能になる。座標系としては、上述の撮影ポイント座標系が用いられ、各画像の画像中心の位置が座標として決定される。また、毛穴２０の座標は、撮影ポイント座標系の座標に変換されて統一されて、毛穴データに登録される。この座標変換は、肌カメラの皮膚への押圧力の相違に基づく皮膚表面の膨れによる毛穴座標の変化を考慮して変換する。具体的には、画像の中心を基準に画像が拡大・縮小しているものとして、例えば、極座標であれば動径ｒに倍率を乗算する処理を行う。

このように互いの相対位置が特定された画像データ２２においては、位置の違いによる肌状態の違いを把握することができる。例えば、位置の情報がない画像データ２２の場合に、部分的な肌荒れが写っている画像データ２２と、位置ずれにより肌荒れが写っていない画像データ２２が発生する虞がある。

この場合に、肌荒れが急に発生したように見えたり、肌荒れが急に治ったりしたように見える可能性があり、肌状態の経時的な変化が極めて分かり辛い状態になる。
それに対して、この実施の形態では、各画像データ２２が示す肌の位置の違いを把握できるので、例えば、一部の画像データ２２にしか肌荒れが写っていない場合に、肌荒れが写っている画像データ２２だけから、肌荒れの経時的な変化を観察することが可能になる。したがって、肌荒れが写っていない画像データ２２を見て、肌荒れが良好になったと判断するようなミスを減らすことが可能になる。すなわち、肌状態の経時変化をより精度高く判定することが可能になる。

この場合に契約者クライアント６としての化粧品会社等の提携会社のコンピュータシステムにデータを提供する場合に、提携会社で使用し易いデータが提供されることになり、提携会社が欲しがるデータを提供することが可能になる。これにより、提携会社としての契約を増やしたり、有料となるデータの使用量が拡大されたりする可能性がある。

また、画像データ２２を詳細診断する場合に、肌荒れが消えたり発生したりを繰り返すような表示とならず、肌の状態をある程度長い期間で観察した結果を詳細に分析することが可能になり、より詳細な肌診断を可能にする。

また、これらの履歴として登録された画像データ２２をスマートフォン３のディスプレイに表示することが可能になるが、この場合も、表示画面上に撮影ポイン用座標系を設定し、この座標系上で、各画像データ２２の画像中心の座標位置が肌履歴データベース５ｂに登録された画像中心の座標位置となるように表示される。

次に、上述の画像データ２２をスマートフォン３の表示画面に表示させるための肌画像の表示処理を図１５のフローチャートと、図１０を参照して説明する。
図１０では、表示すべき画像データ２２が撮影ポイント座標系の座標上に表示されている。すなわち、位置決定フラグがオンとなった画像データ２２の画像中心の座標に基づいて、撮影ポイント座標上に各画像データ２２を配置した状態である。位置決定フラグがオフの画像データ２２は、表示されない。各画像データ２２は、登録順にスライドショーとして表示されるが、表示される画像データ２２は、図１０に示すように撮影ポイント座標系上に設定された画面表示対象範囲（表示範囲２６：スマートフォン３のディスプレイに対応）の部分が表示される。

言い換えれば、撮影ポイント座標上に表示範囲２６が設定されることにより、表示範囲２６における各画素の位置は、撮影ポイント座標の座標で表すことが可能になり、表示範囲２６に撮影ポイント座標が設定されている状態となる。
この表示範囲２６内に配置される画像データ２２が登録順に画像中心の座標位置に対応してスライドショーとして表示される。

この際には、図１５のフローチャートに示すように、画像データ２２を表示させる撮影ポイントと、全ての画像データ２２のうちの表示せせる画像データ２２の登録日の期間と、スライドショーとして表示させる際の画像データ２２の表示間隔を入力する（ステップＳ４１）。例えば、撮影ポイントが３つある場合に、そのうちの１つの撮影ポイントを選択して入力する。また、表示する画像データ２２の登録日の期間を、去年の１月１日から今年の１月１日等や、今日までの一年分等のように入力する。これにより、指定された期間内に登録された画像データ２２が表示の対称となる。

また、スライドショーの表示間隔は、各画像データ２２を順次表示する際に、前の画像データ２２を表示してから、次の画像データ２２を表示するまでの間隔であり、この間隔を短くしていくと、動画のような表示となる。

表示対象となる画像データ２２から画面表示対象範囲（座標）としての表示範囲２６を決定する（ステップＳ４２）。例えば、表示対象となる画像データ２２として位置が決定している画像データ２２の画像中心の座標位置に基づいて表示範囲２６を設定する。この場合に画像中心が最も密集している範囲や、画像データ２２が最も多く重なっている部分を含む範囲を表示範囲２６とする。なお、表示範囲２６内における各画像データ２２の表示倍率を設定できるようにしてもよい。
次に、撮影ポイント座標上において、各画像データ２２の画像中心が、その画像中心の座標上に配置されるように、登録順に画像データ２２を上書きして表示していく（ステップＳ４３）。

なお、画像データ２２は、その一部の領域が表示範囲２６と重なっていれば、画像中心が表示範囲２６に入っていなくとも表示される。なお、この処理は、例えば、スマートフォン３で行われるが、スマートフォン３でステップＳ４１の入力処理を行った後に、入力されたデータをデータ管理サーバー５に送り、データ管理サーバー５において表示範囲２６内の表示用のデータを作成した後に、作成された表示用のデータをスマートフォン３に送信して、スマートフォン３で表示用データをディスプレイに表示するものとしてもよい。

この場合に、撮影された実際の肌上の相対位置に基づいて、撮影順（登録順）に画像データ２２が表示されていくことになる。したがって、表示画面の同じ座標位置には、基本的に肌上の同じ座標位置（相対座標）の画像データ２２が表示されることになるので、表示中に例えばホクロが画面上を上下左右に動き回るような状態とはならず、ホクロは表示画面上の略同じ位置に略停止した状態で表示されることになる。したがって、一部時間経過に対応せずに、古い画像が残って表示される虞があるが、肌状態の変化が早回しで見られることになる。
図１８は、前記図１５のフローチャートに基づきスマートフォン３の表示画面に肌画像を時系列で表示している途中のスマートフォン３の表示画面を示す。図１８において、表示画面には、肌画像の表示領域とその上方に日時と点数の表示領域が存在する。日時と点数の表示領域には、肌画像の表示領域に上書きしている画像データに対応する撮影日時と肌画像簡易診断結果のキメ点数あるいはシミ点数が表示される。

次に、図１６および図１７のフローチャートと、図１１を参照して、別の画像データ２２の表示処理方法を説明する。上述の表示処理方法では、各スライド（フレーム）として画像データ２２が表示されるが、各スライドの画像データ２２以外の部分は、前のスライドを書き換えることなく表示させる。すなわち、各スライドの画像データ２２以外の部分は、透明になった状態として扱われ、１つのスライドの画像データ２２がない部分には、前の表示が書き換えられずに表示されたままとなる。

それに対して、この表示方法では、各スライドに、画像データ２２の有る領域は、画像データ２２が配置され、画像データ２２が無い領域は、前後の画像データ２２から画像データ２２を補間により作成して配置される。したがって、この場合には、各スライドは、画像データ２２と補間された画像データとからなる。

表示処理においては、ステップＳ５１が上述のステップＳ４１と同様に行われ、ステップＳ５２が上述のステップＳ４２と同様に行われる。次に、入力された登録日の期間内にある位置が決定している画像データ２２それぞれに対応してスマートフォン３のディスプレイに表示させるスライド（フレーム）としての画面データを該当する画像データと、その前後の画像データにより補間された画像データとから作成する（ステップＳ５３）。なお、画面データを作成する処理は、後述する。

次に、上述の入力された表示間隔で作成された画面データを当該画面データに含まれる画像データの登録日の古い順に表示していく（ステップＳ５４）。この場合には、上述の表示処理のように古い画像データがいつまでも表示されるような虞はなく、表示画面上に表示される各スライドに画像データがない部分がないので、より見やすいスライドショー（動画の表示）となる。なお、表示処理は、スマートフォン３で行われるが、画面データを作成する処理は、データ管理サーバー５で行われ、作成された画面データがスマートフォン３に送信される。

図１７のフローチャートと図１１（ａ），（ｂ）に示すように、Ｎ番目の画像データ２２を含むＮ番目の画面データ４１を作成する際に画面データ４１の画像データ２２がない非撮影領域を認識して決定する（ステップＳ６１）。実際には、撮影ポイント座標が設定されたスライド（画面データ４１）上に中心位置の座標に対応して画像データ２２を配置し、配置された画像データ２２以外の領域を非撮影領域とする。なお、ここでは、Ｎ−１番目の画面データ４０は、既に作成されているものとする。なお、Ｎ−１番目の画面データ４０の作成方法は、Ｎ番目の画面データの作成方法と同様であり、画像データ２２の登録順に従って、順次画像データ２２に基づいて画面データ４０，４１，４２が作成されることになる。

次に、画面データ４１のうちのＮ番目の画像データ２２ａが無い非撮影領域の補間に際しては、既に作成されたＮ―１番目の画面データ４０と、Ｎ＋１番目以降の画像データ２２のうちの非撮影領域と重なる画像データ２２ｂ，２２ｃを用いる。なお、ここで、画像データ２２ｂ，２２ｃは、例えば、Ｎ＋１番目の画像データ２２ｂと、Ｎ＋２番目の画像データ２２ｃであるが、それより後の画像データ２２となる可能性もある。すなわち、Ｎ―１番目の画面データ４０と、Ｎ＋１番目以降の画像データ２２のうちの非撮影領域と重なる画像データ２２ｂ，２２ｃとからＮ番目の画面データ４１とを用いた補間処理により、非撮影領域の画像を作成し（ステップＳ６２）、Ｎ番目の画面データ４１をＮ番目の画像データ２２ａと補間された画像データ２２とを合成して作成する（ステップＳ６３）。なお、補間処理には、周知のアルゴリズムを用いることができる。

Ｎ番目の画面データ４１が作成された後には、Ｎ＋１番目の画面データ４２を作成することになるので、Ｎ＋１盤面をＮ番目とし（ステップＳ６４）、未だ未処理の画像データ２２がある場合に（ステップＳ６５）、ステップＳ６１に戻る。なお、上述のように選択された期間に登録された画像データ２２に対応する画面データ４０，４１，４２を作成した場合に、画面データ４０，４１，４２を作成する処理を終了する。

この表示処理方法においても、図１８に示すように、スマートフォン３の表示画面には肌画像の表示領域とその上方に日時と点数の表示領域を設け、肌画像の表示領域に表示中の画面データに対応する画像データの撮影日時と肌画像簡易診断結果のキメ点数あるいはシミ点数が表示されるようにしてもよい。
なお、この実施の形態では、画像データ２２の肌上の位置が重なる部分の画像認識上の特徴部分として、毛穴２０の座標位置を用いたが、これに加えて、毛穴２０の形状を画像認識上の特徴として用いるものとしてもよい。例えば、毛穴２０の形状として、毛穴２０の面積や、毛穴２０の径を特徴部分とし、毛穴２０の配置を見る際に例えば、大きい毛穴２０と、小さい毛穴２０とに分けて、小さい毛穴２０と大きい毛穴２０との位置が一致した場合には、位置が一致したと認めないものとしてもよい。これにより、毛穴２０の配置パターンが似通っているために、実際には肌上の位置が重なっていないのに、重なっていると誤認識される割合を減らすことが可能になる。

また、画像データ２２同士の重なる領域を見つけるための画像認識上の特徴部分として、シミの形状を用いるものとしてもよい。この場合には、例えば、シミの画像データ２２において、閾値を決めて、色の薄い部分と色の濃い部分とに２値化してシミの形状が容易に認識できる状態、すなわちシミの形状を抽出した状態とし、２つの画像データ２２において、色の薄い部分同士または色の濃い部分同士の形状を比較し、形状が近似する部分がある場合に、一致する領域があると判定し、２つの画像データ２２の相対位置を決定するものとしてもよい。

また、肌カメラを肌上の同じ位置に配置した状態で、シミ画像、キメ画像、肌画像の撮影を行う場合に、肌画像で毛穴２０の配置により画像データ２２の画像中心の位置座標を求めた場合に、この画像中心の位置座標を肌画像と同じ位置で撮影されたキメ画像やシミ画像に適用するものとしてもよい。また、キメ画像やシミ画像を用いて、毛穴２０の配置により画像データ２２の画像中心の位置座標を求めてもよい。また、同様にシミの形状を画像認識の特徴部分として、シミ画像の画像中心の位置座標を求めた場合に、この画像中心の位置座標をシミ画像と同じ位置で撮影されたキメ画像や肌画像に適用してもよい。この明細書では、簡易診断・詳細診断の文言が用いられているがこれらの文言は、医者による診断に限らず、広い意味での判定をも含む概念である。

１ 肌状態測定装置（肌用カメラ、スマートフォン＋レンズモジュール：肌撮影手段）
３ スマートフォン（肌画像表示手段）
５ データ管理サーバー
５ｂ 肌履歴データベース（肌画像記憶手段）
５ｋ 制御部（重なり検知手段、画像表示位置決定手段）
２０ 毛穴
２２ 画像データ

Claims (1)

1. 撮影対象となる表面の撮影ポイントを設定し、撮影位置を固定することなく、前記撮影ポイントを撮影して画像データを生成する撮影手段と、
   期間をあけて前記撮影手段によって複数回撮影されることにより、前記表面上の撮影位置がずれた複数の前記画像データを記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている複数の前記画像データそれぞれの、１つの座標系における位置を決定する画像位置決定手段と、
   前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する画像領域が有るか否かを判定する重なり検知手段と、を備え、
   前記重なり検知手段は、前記画像位置決定手段により既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
   前記画像位置決定手段は、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系における位置を決定し、前記撮影ポイントを特定することを特徴とする表面状態撮影表示システム。

Images