WO2004110264A1

WO2004110264A1 - 肌の評価方法および画像のシミュレーション方法

Info

Publication number: WO2004110264A1
Application number: PCT/JP2003/015775
Authority: WO
Inventors: Makoto Fujii; Emina Horikoshi; Takao Someya; Yuko Misaki; Ichiro Sasaki
Original assignee: Kose Corp
Current assignee: Kose Corp
Priority date: 2003-06-11
Filing date: 2003-12-10
Publication date: 2004-12-23
Anticipated expiration: 2005-12-11
Also published as: US7336810B2; TW200428231A; AU2003289004A1; US20070092160A1; TWI328173B

Abstract

顔面等の対象を撮像し、得られたデジタル画像データから各ピクセルの鏡面反射光成分のデータを取り出し、これを利用して肌のつや、肌の美しさを評価する方法およびシミュレーション画像を得る方法が開示されている。　これらの方法によれば、従来、主観的にしか評価できなかった肌につやや美しさを客観的に評価することが可能となり、新しい皮膚化粧料の開発等において、有用である。また、偏光光源および偏光フィルターを装着可能なデジタルカメラ等と所定の計算あるいは解析式を組み込んだコンピュータを利用することにより、容易に顧客の肌のつやや美しさを評価でき、被験者の皮膚状態改善後あるいは化粧後の顔の状態のシミュレーションを行うことができるので、デパート等の化粧品売り場や化粧品店、薬局等での化粧品の販促等にも有用である。

Description

明細書肌の評価方法および画像のシミュレーション方法技術分野

本発明は、画像解析を利用する肌の評価方法に関し、更に詳細には、肌のつやや美しさを客観的に評価することのできる肌の評価方法並びに特定の条件で撮像した 2つのデジタル画像から、画像解析を利用して質感の異なる種々のシミュレーシヨン画像を得ることのできるシミュレーション方法に関する。背景技術

美しい肌は、女性にとって一つの大きな願望であり、そのために肌の健康状態を良好に保ち、肌をより美しく、また豊かなつやを維持するために、基礎化粧品やメーキャップ化粧品が広く使用されている。

このような健康状態を良好に保つことにより、または適切な化粧品を使用することによリ肌がどの程度美しくなつたか、あるいはどの程度のつやがあるかを何らかの方法により評価することが求められている。特に、デパー卜の化粧品売り場や、薬局、化粧品店の店頭において、簡単に被験者の肌の美しさやつやの程度を評価する方法が強く求められている。

従来、肌の美しさは、例えば、一対比較などにより、視覚的に官能評価を行うことにより評価されていたが、この場合には対比する対象が必須である。これに対し、具体的に対比すべきものがない状態で、肌の美しさを何らかの物理的手段で表現することは困難であつた。また、肌表面のつやも、肌の健康状態、美しさ、もしくは化粧後の仕上がりを表現する上で非常に重要な要素である。そのため肌に適切なつやを与えることは、基礎化粧品、もしくはメーキャップ化粧品の重要な目的のひとつである。このような効果を持つ化粧品を開発するためには、「肌のつや」が、どのような肌の光沢の状態を指しているのか、客観的に測定する必要がある。

しかし、肌のつやは、物質としての皮膚の性質に加えて、皮脂、化粧膜、また皮膚表面の形状などの影響をうけ、「てかり」と判断され、悪い印象を与える場合があり、肌のつやを光沢度のような 1次元の値でのみ評価することは問題がある。

従来、肌の「てかリ」や「脂浮き」を判断、評価する方法としては、皮膚表面の明暗を強調した状態で撮像して画像データを得、これから一定の閾値以上の明のピクセルと、それ以外の暗のピクセルを区分し、明のピクセルの数と、これが占める面積割合を求める方法が知られている（特許第 3 2 3 6 7 3 1号参照）。しかしながら、この方法は結局、光沢を測定するものであり、しかも閾値の決め方によって結果が変わりうるものであって、客観的に肌のつやあるいは美しさを評価できるものとは言い難いものであった。

更に、顔などの肌の健康状態やその美しさや化粧後の仕上がり状態は多くの女性にとって大きな関心事であるから、自分の肌の健康状態、例えば肌荒れを改善することにより、あるいは、ある化粧料を使用することにより、自分の肌全体の外観がどのように変わるかについても詳しく知りたいところであるが、これは、実際に肌の健康状態を改善し、また、実際に化粧料を使用しなければわからないことであった。

これに対し、変化の状態をモデルで示した写真等を用いて、手軽に肌の健康状態を改善した場合の外観や、化粧料を使用した場合の外観を示すことも行われているが、これはあくまでも他人の顔でのことであり、使用者自身の場合の変化の状態を示すものとはいえなかった。

上記した事情から、肌のつやや肌の美しさを客観的に測定でき、肉眼観察と同様な評価を与えることのできる評価方法の提供が求められていた。

また、デパートの化粧品売り場や、薬局、化粧品店の店頭で、簡単に人の顔等の対象物について、そのキメ等の粗さを変化させることにより、対象物の外観の変化をシミュレーションする方法の提供が求められていた。発明の開示

本発明者らは、上記問題を解決するべく鋭意検討を行っていたところ、好ましい肌の光沢は、物理的な光沢度と、肌の質感により決まることに気付いた。そして、光沢度と質感を表す「見かけの粗さ」を、一つのデジタルカラー画像から画像解析によって求めることができ、これによリ飢のつやを客観的に示すことができることを見出し、本発明を完成した。

また、一定の偏光照明下で撮像した画像に含まれる成分のうち、形状、質感を示す鏡面反射光成分の、特に表面の細かい形状（質感）を示す高周波数成分の分散の値は、肌の美しさについて視覚的に行った官能試験の結果と高い相関関係があり、この相関関係を利用すれば、比較対照がなくても客観的に肌の美しさを評価できることを見出し、本発明を完成した。

更に、偏光照明下でデジタル的に撮像された画像と、同じく偏光照明下でこの偏光照明と直交する偏光面を有するフィルタ一を通してデジタル的に撮像された画像とから、外観色成分を示す内部反射光成分と、形状、質感を示す鏡面反射光成分を分離できることを見出し、これらに多重解像度解析等の種々操作を加えた後再合成し、更に内部反射光成分と合成することにより、画像の色彩、形状には何ら変化を与えることなく、対象物の質感のみを変化させたシミュレーション像が得られることを見出し、本発明を完成した。

すなわち本発明の第 1の目的は、次の工程（A 1 ) ないし（A5) 、

(A 1 ) 被験者の肌を撮像してデジタル画像データを得る工程、

(A 2) デジタル画像デ一夕から各ピクセルの鏡面反射光成分のデータを取り出す工程、

(A3) 鏡面反射光成分のデータから各ピクセルの明るさの平均値を求め、物理的な光沢度とする工程、

(A4) 鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分毎のデータに分離し、このデータ中から肌のきめを表現する中周波数成分の複数のデータを選び、選んだデータを合成して再構成画像データとし、この再構成画像データの各ピクセル成分のデータを 2乗し、平均値を求め、肌表面の見かけの粗さとする工程、

(A5) 前記の物理的な光沢度と肌表面の見かけの粗さにより、肌のつや状態を表現する工程

を含む肌のつやの評価方法を提供することである。

また本発明の第 2の目的は、次の工程（B 1 ) ないし（B 7) 、

(B 1 ) 偏光照明の下で対象肌を撮像してデジタル画像データを得る工程、 (B 2) 偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象肌を撮像してデジタル画像データを得る工程、 (B 3) 工程（ΒΊ ) および（Β 2) で得たデジタル画像データから、鏡面反射光成分のデータを取リ出す工程、

(Β 4) 工程（Β 3) で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離し、複数の高周波数成分データを選ぶ工程、

(Β 5) 選び出した複数の高周波数成分を合成して再構成画像データとするェ程、

(Β 6) 再構成画像データについて、各ピクセル成分の分散を求める工程、 (Β 7) 上記（Β 6) で得られた分散の値の平均値と肌の美しさを関連づける工程

を含むことを特徴とする肌の美しさの評価方法を提供することである。

更に、本発明の第 3の目的は、次の工程（C 1 ) ないし（C7) 、

(C 1 ) 偏光照明の下で対象物を撮像してデジタル画像データを得る工程、 (C2) 偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、

(C 3) 工程（C 1 ) および（C2) で得たデジタル画像データから、鏡面反射光成分のデータと内部反射光成分のデータを取り出す工程、

(C4) 工程（C3) で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離する工程、

(C5) 分離された複数の異なる周波数成分のデータのうち、所望のものについて、データの変更操作を行う工程、

(C 6) 変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成分を合成して再構成画像データとする工程、

( C 7 ) 上記（C 6 ) で得られた再構成画像データと、上記（C 3 ) で得た内部反射光成分データを合成して、対象物のシミュレーション画像を得るェ程

を含むことを特徴とする画像のシミュレーション方法を提供することである。図面の簡単な説明

図 1は、ウェーブレツ卜変換およびウェーブレツ卜逆変換の手順を示す図面である。

図 2は、解析に使用したサンプル画像の例を示す図面（写真）である。

図 3は、サンプル画像から求めた鏡面反射光強度のデータを画像化した図面 (写真）である。

図 4は、画像上の一直線上における明るさの変化を多重解像度解析した状況を示す図面である。

図 5は、鏡面反射光強度データを多重解像度解析したデータを画像化した図面 (写真）である。

図 6は、再構成データを画像化した図面（写真）である。

図 7は、肌表面の見かけの粗さと官能評価による心理光沢度との相関を示す図卤である。

図 8は、物理光沢度と見かけの粗さで肌のつやを表現した図面である。

図 9は、サンプル画像を、鏡面反射光成分のみで再構成した図面（写真）である。

図 1 0は、サンプル画像上の一直線上における明るさの変化を多重解像度解析した状況を示す図面である。

図 1 1は、多重解像度解析で 8つに分離された鏡面反射光データを示す図面 (写真）である。

図 1 2は、実施例 5のパネラーの顔を示す図面（写真）である。

図 1 3は、実施例 5の「平均分散値」と肌の美しさとの相関関係を示す図面である。

図 1 4は、 8つに分離された鏡面反射光データに対する変更操作を示す図面である。

図 1 5は、変更後の鏡面反射光データを再構成し、さらに内部反射光成分と合成することにより得られる各画像を示す図面（写真）である。発明を実施するための最良の形態

本発明方法を実施するには、まず、被検対象の肌画像を撮像し、デジタル画像データを得ることが必要である。

この撮像は、一般的なデジタルカメラを用いて行うことができ、 R G B値等の形でデジタル画像データが得られるものであればその画素数等については特に制約はない。

本発明のうち、工程（A 1 ) ないし（A 5 ) を含む肌のつやの評価方法（以下、「第 1発明」という）は、次のような原理により実施されるものである。

まず、上記のようにデジタルカメラの撮像等により得られたデジタル画像デー夕中には、鏡面反射光成分と内部反射光成分が存在するが、一般に鏡面反射光の色は、光源色と同じ色であり、内部反射光の色は、物体に固有の色になるとされている。この現象は 2色反射モデルといわれるが、本発明では、このモデルを利用して、デジタル画像データ中から、各ピクセルの鏡面反射光成分のデータを取リ出す。

すなわち、 2色反射モデルによると、デジタル画像のピクセルデータである各ピクセルの測定値 i (R，G， B) は、肌色単位ベクトル k B (B r，B g， B b) と、光源色単位べク卜ル k S (S r， S g， S b)を用い、下記式（1 ) のように表すことができる。式中、は鏡面反射光強度、 i Bは内部反射光強度である。

行列をもちいて画像データすベての測定値について表現すると式（2) のように表現できる。

しかし、 Iは n X 3の行列、 I _SBは n X 2の行列、 K_SBは 2 X 3の行列であり、 K_SBが正方行列ではないため、 I _SBは一意に定まらない。そこで、ムーア—ペンローズ (Moor-Penrose)型一般逆行列 K_SB+をもちいて反射光強度行列 I _SBを式（3) で推定する。

!_SB = ^SB (3) このようにすることにより、各ピクセルごとの鏡面反射光成分のデータを求めることができる。そして、この鏡面反射光成分のデ一夕の各ピクセルの明るさの平均値を求め、これを物理的な光沢度とし、肌のつや評価の第 1の要素とする。次に、上記のようにして得られた鏡面反射光成分のデータを多重解像度解析により、複数の異なる周波数成分に分け、それぞれのデータを得る。

すなわち、分離した鏡面反射光成分のデータには、顔の骨格や、肉付き、毛穴や小じわ、といった表面形状や、表面に分布する皮脂の影響が含まれている。つまり、鏡面反射光成分のデータはさまざまなスケールの変動成分の合成と考えられる。この変動成分中から、質感に様々な影響をあたえると考えられる、毛穴や小じわなどの肌表面の微細な形状に由来する成分を分離する。

この変動成分の分離は、画像データを、他の画像の線形結合に分解し、元の画像データの特徴を吟味する多重解像度解析により行われる。より、具体的には、画像データである鏡面反射光成分のデータを 2次元高速ウエーブレツ卜変換によって、より低周波数の関数で近似した近似画像と、元の画像との誤差である高周波成分の誤差画像に分解する。そして、近似画像をさらにウエーブレツ卜変換をもちいて分解することで、元画像の低周波成分から高周波成分を示す画像を得ることができる。そして、低周波成分から高周波成分に分解した画像を適宜合成することにより、元画像を再構成することが可能である。この画像の分解、再構成は、例えば、 2ないし 1 0次（N = 2〜1 0 ) のドビッシー（Daubech i es) ゥエーブレットを用いて行うことができる。

このウェーブレツ卜変換およびウェーブレツ卜逆変換の手順を、説明のため、少ないレベルで記載すれば図 1に示す通りである。

すなわち、元の画像データから、ウェーブレツ卜変換で、 3つの高周波画像デ一夕と 1つの低周波画像データを得、このうちの 3つの高周波画像データをゥェーブレツ卜逆変換し、レベル 1の画像データ（最も高い周波数のデータ）とする。次いで、上で得られた低周波画像を再度ウエーブレツ卜変換し、新たな 3つの高周波画像と 1つの低周波画像を得る。このうちの 3つの高周波画像を 2回ゥエーブレット逆変換し、レベル 2の画像デ一夕（2番目に高い周波数のデータ）とする。更に、上記低周波画像についてウェーブレツ卜変換を行い、得られた 3つの高周波画像を 3回ウェーブレツ卜逆変換し、レベル 3の画像データ（3番目に高い周波数のデータ）とする。図 1ではこれ以上記載していないが、上記手順を順次繰リ返すことにより、高周波から低周波に到る複数の画像データを得ることができる。一方、 3回目のウェーブレツ卜変換の結果得られた低周波画像データは、 3回ウェーブレツ卜逆変換し、レベル 3 Fの画像データとする。このウェーブレット変換およびウェーブレツ卜逆変換は、例えば、参考文献（「ウェーブレツ卜変換の基礎と応用 Ma themat i caで学ぶ J 斉藤兆古著朝倉書店）に記載の方法に基づいて簡単に行うことができる。

これらの画像データのうちから、毛穴や小じわなどを反映すると考えられる中周波数成分の複数の画像データを取り出し、これらのデータを合成して再構成画像データとする。そして、この再構成画像データの各ピクセル成分のデータを 2 乗し、平均値を求め、これを肌表面の見かけの粗さとし、肌のつや.評価の第 2の要素とする。

このようにして得られた物理的な光沢度と、肌表面の見かけの粗さを元に、肌のつや状態を表現する。表現方法としては、種々の方法が考えられるが、例えば、 X Y平面上にプロッ卜して示しても良いし、ある方程式にこの数値を代入し、例えば、肌の光沢度指数等として算出されるようにしても良い。

上記の原理に基づく、肌のつやの評価方法の具体的手法として、第 1発明の各工程、すなわち、次の工程（A 1 ) ないし（A 5 ) 、

( A 1 ) 被験者の肌を撮像してデジタル画像データを得る工程、

( A 2 ) デジタル画像データから各ピクセルの鏡面反射光成分のデータを取り出す工程、

( A 3 ) 鏡面反射光成分のデータから各ピクセルの明るさの平均値を求め、物一 1〗一理的な光沢度とする工程、

( A 4 ) 鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分毎のデータに分離し、このデータ中から肌のきめを表現する中周波数成分の複数のデータを選び、選んだデータを合成して再構成画像データとし、この再構成画像データの各ピクセル成分のデータを 2乗し、平均値を求め、肌表面の見かけの粗さとする工程、

( A 5 ) 前記の物理的な光沢度と肌表面の見かけの粗さにより、肌のつや状態を表現する工程

が必要となるのである。

また、工程（B 1 ) ないし（B 7 ) を含む肌の美しさの評価方法（以下「第 2 発明」という）について説明すれば、次のとおりである。

第 2発明を実施するには、まず、偏光照明下で、対象物を撮像し、デジタル画像データを得ることが必要である。この撮像は、同じ対象物について、偏光照明の偏光面に対し直交する偏光面を有する偏光フィルタ一（以下、「偏光フィルタ -J という）をかけたときと、かけないときの 2回行うことが必要である。この撮像について用いる機器等については、前記したとおりである。

得られたデジタル画像データのうち、工程（B 1 ) の偏光フィルタ一を用いない場合のものの中には、鏡面反射光成分と内部反射光成分が存在する。これに対し、工程（B 2 ) の偏光フィルターを用いた場合のデジタル画像データ中には、内部反射光成分のみが存在する。これら成分のうち、鏡面反射光は、光源と同じ光であり、内部反射光は、物体に固有の色になるとされている。この現象は 2色反射モデルといわれる。本発明では、このモデルを利用して、 2つの撮像デジ夕ル画像データ中から、まず、各ピクセルの鏡面反射光成分と内部反射光成分を分離する。

すなわち、まず偏光光源 Sの下で撮影したデジタル画像 Iの座標 X， yにおける値を I (x， y) とする。一方、，偏光光源 Sの下で、偏光フィルター Pを通して撮影したデジタル画像 I pの座標 X， yにおける値を I p (x， y) とする。そして、 2色反射モデルによると、デジタル画像のピクセルデータである各ピクセルの測定値 I (x， y) は、内部反射光単位ベクトル k_B (x， y) と、照射光単位べクトル k_sを用い、下記式（4)のように表すことができる。式中、 i _s (x， y) は鏡面反射光強度、 i _B (x, y) は内部反射光強度である。

I (X, y) = i s (x， y) ks+ i _B (^x， y) k_B x, y, (4) また、 l_P (x， y) は下記式（5) で示されるが、偏光照射と直交する偏光フィルターを用いるので、 i _sが 0となり、結局、式（6) のように表される。

I p (x, y) = i s (x, y) ks+ i _BP (x, y) k_BP 、x， y; (⁵)

= i BP (x, y k_BP (x, y) (6) さらに、 k_BP (x， y) は単位ベクトルであるので k_BP ( , y) = I p (x， y) / i _BP

= I _P (x， y) / I I p (x, y) I (7) で求められる。

ここにおいて、 k_BP (x， y) は偏光フィルター pを通したときの内部反射光ベクトルであり、近似的に k_B (x， y) =k_BP (x， y) とすると、

I (x, y) = i s (x， y) ks+ i _B (x, y) k_B (x, y)

(8)

となる。

上記式（8) を行列

I_SB (x, y) と K (x, y) を用いて、行列式で表現すると、次式が成立する。 I (x, y) = I _SB (x, y) K (x, y) そして、更にムーアペンローズ（M o o r— P e n r o s e) 型一般逆行列 K (X, y) +

を用いて反射光強度行列

I SB (χ> y)

を推定すると次式になる。

I_SB (x, y) = I (x, y) K (x, y) ⁺ (9)

上記式（9) より、 i _s (x， y) と、 i _B (x， y) が求まるので

鏡面反射光強度 I _s (x， y) は、

I s (χ， y) = i s (x， y) ks

内部反射光強度 I _B (χ， y) は、

I B (χ， y) = i B (x, y) k_BP

で求められる。

このような原理で、工程（B 1 ) と工程（B 2) のデジタル画像から、各ピクセルごとの鏡面反射光成分のデータを分離することができる。この工程は、一般的には、前記デジタル画像 I とデジタル画像 I _Bをそれぞれコンピュータに読み込んだ後、上記式に従って処理することにより行うことができる。次に、上記の工程（B 3 ) で得られた鏡面反射光成分のデータを多重解像度解析によリ、複数の異なる周波数成分のデータに分離する。

すなわち、分離した鏡面反射光成分のデータには、形状を示す成分と、質感を示す成分が混在しているので、例えば対象肌の全体の立体感（形状）を示す低周波数成分から、対象肌表面の細かい形状（質感）を示す高周波数成分までに分離する。より具体的に、例えば、顔について考えると、鏡面反射成分には、顔の骨格や、肉付き、毛穴や小じわ、といった表面形状や、表面に分布する皮脂の影響が含まれているので、顔立ち等の顔全体の立体感を表す画像成分（低周波数成分）と、毛穴など皮膚表面の微細な形状を示す画像成分（高周波数成分）の間で適当な数に分離する。

この変動成分の分離は、鏡面反射光成分デ一夕を、他の画像の線形結合に分解し、元の画像データの特徴を吟味する多重解像度解析により行われる。より、具体的には、鏡面反射光成分のデータを 2次元高速ウェーブレツ卜変換によって、より低周波数の関数で近似した近似画像と、元の画像との誤差である高周波数成分の誤差画像に分解する。そして、近似画像をさらにウェーブレツ卜変換をもちいて分解することで、元画像の低周波数成分から高周波数成分を示す画像を得ることができる。そして、低周波数成分から高周波数成分に分解した画像を適宜合成することにより、元画像を再構成することが可能である。この画像の分解、再構成は、例えば、 2ないし 1 0次（N = 2〜1 0 ) のドビッシ一（Dau bech i es) ウエーブレツ卜を用いて行うことができる。

このウエーブレツ卜変換およびウェーブレツ卜逆変換の手順は、第 1発明の説明において記載したとおりである。

上記のようにして分離された複数の異なる周波数成分のデータから、肌の美しさに関連する複数の高周波数成分データを選ぶ。この高周波数成分の選択は、例えば、鏡面反射光成分を 8に分けた場合は、毛穴や小じわといった表面形状を再構成することができる領域として、周波数の高い方から 3ないし 4を選択すればよい。

このようにして選択された高周波数成分は、これらを合成することにより再構成画像データとすることができる。次いで、この再構成画像データの全ピクセルの値について分散の値を計算する。この分散の値は、周知の方法により得ることができる。

得られた分散の値について平均を取った後、この値を予め実験的に求められていた肌の美しさのランクと平均分散値の関係式等に代入することによって、被験者の肌の美しさを評価することが可能となる。

更に、工程（C 1 ) ないし（C 7 ) を含む画像のシミュレーション方法（以下「第 3発明」という）について説明すれば、次のとおりである。

第 3発明を実施するには、第 2発明と同様、まず、偏光照明下で、対象物を撮像し、デジタル画像データを得ることが必要である。この撮像および使用機器等も、第 2発明におけるのと同様である。

同じ対象物について、偏光照明の偏光面に対し直交する偏光面を有する偏光フィルター（以下、「偏光フィルター」という）をかけたときと、かけないときの 2 回行うことが必要である。

得られたデジタル画像データのうち、工程（C 1 ) の偏光フィルターを用いない場合のものの中には、鏡面反射光成分と内部反射光成分が存在する。これに対し、工程（2 ) の偏光フィルタ一を用いた場合のデジタル画像データ中には、内部反射光成分のみが存在する。これら成分のうち、鏡面反射光は、光源と同じ光であり、内部反射光は、物体に固有の色になるとされている。この現象は 2色反射モデルといわれる。本発明では、このモデルを利用して、 2つの撮像デジタル画像データ中から、まず、各ピクセルの鏡面反射光成分と内部反射光成分を分離する。

各ピクセルの鏡面反射光成分（反射光強度； l _s ( x， y ) ) と内部反射光成分（内部反射光強度； I _B ( x， y ) ) の分離の原理は、第 2発明において記載したのと同じである。

このような原理で、工程（C 1 ) と工程（C 2 ) のデジタル画像から、各ピクセルごとの鏡面反射光成分のデータを分離することができる。この工程は、一般的には、前記デジタル画像 Iとデジタル画像 I _Bをそれぞれコンピュータに読み込んだ後、前記式に従って処理することにより行うことができる。

次に、上記の工程（C 3 ) で得られた鏡面反射光成分のデータを多重解像度解析により、複数の異なる周波数成分に分け、それぞれのデータを得る。

分離した鏡面反射光成分のデータを、対象（例えば肌）の全体の立体感（形状）を示す低周波数成分から、対象表面の細かい形状（質感）を示す高周波数成分までに適当な数にまで分離する分離方法、更に分離した低周波数成分から高周波数成分の画像を適宜合成し、画像を再構成する方法等は、発明 2において記載したのと同様である。

本発明の第 3発明の特徴は、上記のようにして分離された複数の異なる周波成分のデータを、工程（C 5 ) のように、シミュレーションの目的に従い、そのいくつかのものについて、データの変更操作を行ない画像を変更する点である。このデータの変更操作としては、例えば、一定の数字をかけることにより、その周波成分を強調する操作や、一定の数字で割ることにより、その周波数成分を弱め 03 015775

17 る等が挙げられる。これらめ操作を複数の周波数データについて行うときは、同一の操作であっても、また異なる操作であっても良い。この操作においては、例えば、高周波成分データについて一定の数字をかける操作を行えば、質感を強めることができるし、逆に、一定の数字で割る操作を行えば、最終的に柔らかな外観を得ることができる。

上記工程（C 5 ) で、変更操作を行った周波数成分のデータは、変更操作を行わなかった周波数成分と合成し、再構成画像データとされる。この再構成画像デ —夕は、基本的には対象物の鏡面反射光成分による画像であるが、その一部が修正されたものである。例えば、顔の画像について、高周波成分データを一定の数字で割った周波数成分を使用した場合は、顔立ち等の形状は、鏡面反射光成分による画像と同一であるが、肌表面の微細な凹凸を抑えたソフ卜な画像となる。かくして得られる再構成画像データは、工程（C 3 ) で得られたデジタル画像データ（内部反射光成分）と更に合成することにより、色情報をも含んだシミュレーシヨン画像となる。このシミュレーション画像は、本来のデジタル画像のいくつかの周波数成分を変更したものであるため、この周波数成分が強調ないしは減弱されたものとなる。

従って、例えば、実際の肌の状態を撮像したものから、高周波数成分を減弱するように変更し、これを変更しない低周波成分および内部反射光成分と合成することにより、肌荒れ等を直した後のシミュレーション画像や、化粧を行った後のシミュレ一ション画像が得られる。

そして、その減弱割合として、実際の肌荒れの改善前後や、化粧前後の試験結果から得たものを用いれば、極めて正確性の高いシミュレーション画像が得られる。 5

- i a -

作用

本発明の第 1発明は、肌のつやの評価に、光沢の他に質感を示す値として「肌表面の見かけの粗さ」という概念を持ち込んだ点に特徴を有するものである。このような概念を持ち込んだので、第 1発明によれば、光沢を測定した場合は同じとされる肌であっても、「てかり」や「脂浮き」等がある場合と、本来の好ましい肌のつやのある状態を区別することが可能となるのである。

また、本発明の第 2発明は、 2種の撮像した画像から画像中に含まれる鏡面反射光成分を取り出し、更にそのうちの高周波数成分を選択してこれらを合成したデータの分散の平均値から被験者の肌の美しさを評価するというものである。そしてこの第 2発明では、撮像から評価に至るまでの間に恣意的な要素が含まれないため、客観的な肌の美しさの評価が可能となるものである。

更に、本発明の第 3発明は、 2種の撮像した画像から画像中に含まれる成分を分離し、それらの成分を強調ないしは減弱することができるので、簡単に種々のシミュレーション画像を得ることができる。

実施例

以下、実施例を挙げ、本発明を更に詳しく説明するが、本発明はこれら実施例に何ら制約されるものではない。実施例 1

肌の物理的な光沢度と肌表面の見かけの粗さの算出：

同一人物について、額部分のファンデーションの塗布状態を変えることで、光沢感の異なる 6種類のサンプルを作成した。サンプルを人工太陽照明のもとで、 03 015775

19 デジタルカメラで撮影し、解析に用いるサンプル画像データ（5 1 2 X 5 1 2ピクセル， 2 4ビッ卜フルカラー）とした。解析に使用したサンプル画像の一つを図 2に示す。

これらの画像について、 2色反射モデルに基づき、各ピクセルの測定値 i ( R， G，B ) および測定された光源色単位ベクトル k _s ( S r， S g， S b )を用い、厶ーァ—ペンローズ（Moo r-Pen ros e)型一般逆行列 K _SB+を利用して反射光強度行列 l _SBを求めた。各ピクセルについて順次鏡面反射光強度を求め、この明るさの平均値を物理的な光沢度とした。なお、図 2から求めた鏡面反射光強度のデータを画像化したものが図 3である。図 3の画像には、肌表面の形状を反映した陰影が強調されており、この解析後においても、質感の情報は損なわれていないことがわかる。

一方、上記鏡面反射光強度のデータから、質感を表す成分を分離するために、ウェーブレツ卜変換およびウェーブレツ卜逆変換を用いて多重解像度解析を行つた。上記変換および逆変換において、画像サイズは 2 5 6ピクセル X 2 5 6ピクセルとし、 N = 4のドビッシ一ウエーブレツ卜を用いた。画像上の一直線上における明るさの変化を多重解像度解析した状況を図 4に、鏡面反射光強度データをレベル 8まで多重解像度解析したデータを画像化したものを図 5に示す。レべル 8 Fは低周波数の関数で図 3を近似した近似画像である。レベル 1から 8の画像は、近似画像と図 2の鏡面反射光画像との誤差成分を表す誤差画像である。レベル 1がもっとも高周波成分の誤差画像を示し、レベルが大きくなるにしたがつて、低周波成分の誤差画像を示す。すべてのレベルの画像を合計することで、図 3の鏡面反射光画像を再構成することができる。

図 5から、より肌表面の陰影の特徴がよく現れているレベル 3〜 6の中周波数 15775

20 成分のみを合成して再構成データとした。この再構成データを画像したものを図

6に示す。この画像は、図 3に示した鏡面反射光画像から肌表面の微細な陰影を特徴的に分離したものであり、肌表面が粗い場合や、化粧膜や皮脂などの影響で見た目が粗く見える場合に、この画像の成分の陰影が強調される性質を持っている。そこで、この再構成データの各ピクセル成分のデータを 2乗し、平均値を求め、これを「見かけの粗さ」とし、質感を表す指標とした。実施例 2

肌表面の見かけの粗さと官能評価による心理光沢度との相関：

実施例 1で使用した 6つのサンプル画像を、 6名のパネルに見てもらい、一対比較の中屋の変法により心理光沢度を数値化した。その心理光沢度の高いものから順に、 A、 B、 C、 D、 E、 Fとした。

この数字と、上記実施例 1でもとめた「見かけの粗さ」の値をプロットしたところ、図 7が得られ、これらの数字は極めて相関が高いことが示された。

このことから、実施例 1でもとめた「見かけの粗さ J の値は、心理光沢度を反映するものとして利用できることがわかった。実施例 3

肌のつやの評価：

実施例 1で使用した 6つのサンプル画像を、最も心理光沢度が低かったサンプル画像 Fを基準として「物理光沢度」と、「見かけの粗さ」をプロットし、図 8 を得た。

この図において、 Γ物理光沢度」は、光沢の量を示し、「見かけの粗さ」は光 2003/015775

21 沢の質を示すものであると理解でき、画像間での光沢の相対的な位置関係を把握することができる。そして、例えば、図 8において、横軸方向は、光沢の質を意味し、縦軸方向は光沢の量を意味するので、この図中で現在の肌のつや状態を把握した後、好ましいつや状態の方向を与えるファンデーション等を選択することでよリ化粧効果を上げることが可能となる。実施例 4

画像のサンプリングの方法：

反射面に対して垂直な偏光照明の元で、デジタルカメラを用い、ヒ卜の顔面全体を撮影し、画像データ（5 1 2 X5 1 2ピクセル、 24ビットフルカラー）とした。

一方、おなじ偏光照明の元で、この偏光面に直交する偏光面を有するフィルタ —をかけ、同じデジタルカメラで同じヒ卜の顔面全体を撮影し、偏光画像データ (5 1 2 X5 1 2ピクセル、 24ビッ卜フルカラー）とした。

これらの画像について、 2色反射モデルに基づき、画像データの各ピクセルの測定値 I (x， y) および偏光画像データの各ピクセルの測定値 I _P (x， y) を求めた。また、測定された光源色単位べク卜ル k_s、偏光画像データの各ピクセルの単位ベクトル k_B (x， y ) を用い、ムーアペンローズ（Moor-Penrose) 型一般逆行列 K (x， y) +を利用し、 I (X, y) および I _P (x， y) から反射光強度行列 l _SB (x， y) をもとめた。この反射光強度行列から鏡面反射光成分のみを再構成した図を図 9に示す。この図において、 x、 yは画像 Iの座標を示す。図の画像には顔の形状を反映した陰影が強調されており、質感の情報は損なわれていないことがわかる。 3 015775

22 一方、上記鏡面反射光強度のデータから、ウェーブレット変換およびウェーブレツ卜逆変換を繰り返すことにより多重解像度解析を行った。上記変換および逆変換において、画像サイズは 5 1 2ピクセル X 5 1 2ピクセルとし、 N = 4のドビッシ一ウェーブレツ卜を用いた。画像の一直線上における明るさの変化を多重解像度解析した状況を図 1 0に、レベル 8まで多重解像度解析した鏡面反射光デ一夕を画像化したものを図 1 1に示す。（レベル 8 Fは最も低周波数の関数のみで図 2を近似したものである。）レベル 1から 8の画像は近似画像と図 9の鏡面反射光画像との誤差成分を示す誤差画像である。レベル 1がもっとも高周波数成分の誤差画像を示し、レベルが大きくなるにしたがって、低周波数成分の誤差画像を示す。全てのレベルの画像を合計することで、図 9の鏡面反射光画像を再構成することができる。

図 1 1から、より肌表面の陰影の特徴が現れているレベル 1〜4の高周波数成分のみを合成して、再構成データとした。この再構成データの各ピクセル成分のデータを 2乗し、平均値を求め、これを「平均分散値」とした。実施例 5 .

「平均分散値」と肌の美しさとの相関：

図 1 2に示す 6人のパネル（ 2 0代〜 3 0代男女、 P 1〜 P 6 ) の素顔を、実施例 1の方法にょリデジタル撮像し、実施例 4の方法で処理計算して各人の「平均分散値」を求めた。

一方、上記 6人のパネルの画像（図 1 2 ) について、 9人の評価者が中屋の変法によリー対比較し、肌の美しさを数値化した。得られた「肌の美しさ」の数値と、「平均分散値」の値をプロットしたところ、これらの間に極めて高い逆相関があることが示された（図 1 3) 。

このことから、実施例 4で求めた「平均分散値」の値は、肌の美しさを反映するものとして利用できることがわかった。従って、この「平均分散値」を求めることにより、対照を設けずに肌の相対的な美しさを把握することが可能となる。実施例 6

画像のシミュレーションの方法：

実施例 4と同様にして、偏光照明下でヒ卜の顔面全体を、フィルターを用いない場合と、偏光面に直交する偏光面を有するフィルターをかけた場合について、それぞれ撮像した。

これらの画像について、実施例 4と同様に 2色反射モデルに基づき、画像デー夕の各ピクセルの測定値 I (x， y) および偏光画像データの各ピクセルの測定値 I _P (x， y) を求めた。また、測定された光源色単位ベクトル k_s、偏光画像データの各ピクセルの単位ベクトル k_B (x， y ) を用い、ムーアペンローズ (Moor-Penrose) 型一般逆行列 K (x, y) +を利用し、 I (x， y ) および I _P (x， y) から反射光強度行列 I _SB (x， y) をもとめた。この反射光強度行列から鏡面反射光成分のみを再構成した図は実施例 4の図 9と同じである。この図の画像には顔の形状を反映した陰影が強調されており、質感の情報は損なわれていないことがわかる。

一方、上記鏡面反射光強度のデータから、実施例 4と同様にして、ウエーブレッ卜変換およびウェーブレツ卜逆変換を繰り返すことにより多重解像度解析を行ない、質感を表す成分を分離した。

5 1 2ピクセル X 5 1 2ピクセルの画像ピクセル、 N = 4のドビッシ一ゥエーブレツ卜を用いた場合の、画像の一直線上における明るさの変化を多重解像度解祈した状況は、実施例 4の図 1 0と、レベル 8まで多重解像度解析した鏡面反射光データを画像化したものは実施例 4の図 1 1 と同じである。（レベル 8 Fは最も低周波数の関数のみで図 9を近似したものである。）レベル 1から 8の画像は近似画像と図 9の鏡面反射光画像との誤差成分を示す誤差画像である。レベル 1 がもっとも高周波成分の誤差画像を示し、レベルが大きくなるにしたがって、低周波成分の誤差画像を示す。全てのレベルの画像を合計することで、図 9の鏡面反射光画像を再構成することができる。

図 1 1より、顔表面の毛穴やにきびなどの微細な特徴が良く表れているレベル 1 ~ 4 (高周波数成分）と、レベル 5〜8の成分（低周波数成分）に分け、これらの成分について、図〗 4に示すように増減したのちに、鏡面反射光画像を再構成し、さらに内部反射光画像を加えることで、撮影したデジタル画像とは異なる質感を持つシミュレーション画像（図 1 5 ) を作成することができた。産業上の利用可能性

本発明の第 1発明は、これまで曖昧であった肌のつやを光沢の量と質で明確に表現することができるものであり、肌につやを与えるという効能を評価する上で有用なものである。従って、新しい皮膚化粧料の開発等において、有利に利用でさる。

また、本発明の第 2発明によれば、これまで曖昧であった肌の美しさを、数値によって明確に表現することができ、肌の美しさを評価する上で有用なもので、例えば、新しい皮膚化粧料の開発等において、有利に利用できる。

更に、本発明の第 3発明によれば、少ない撮像数でありながら、異なる質感等を有するシミュレ一ション画像を簡単に得ることができる。

更にまた、本発明は、偏光光源および偏光フィルタ一を装着可能なデジタル力メラ等と所定の計算あるいは解析式を組み込んだコンピュータを利用することにより、容易に顧客の肌のつやや美しさを評価でき、更に被験者の皮膚状態改善後あるいは化粧後の顔の状態のシミュレーションを行うことができるので、デバ一卜等の化粧品売り場や化粧品店、薬局等での化粧品の販促等にも利用できる。

Claims

請求の範囲 1 · 次の工程（A 1 ) ないし（A 5) 、

(A 2) デジタル画像データから各ピクセルの鏡面反射光成分のデータを取り出す工程、

(A4) 鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分毎のデータに分離し、このデータ中から肌のきめを表現する中周波数成分の複数のデータを選び、選んだデータを合成して再構成画像デー夕とし、この再構成画像データの各ピクセル成分のデータを 2乗し、平均値を求め、肌表面の見かけの粗さとする工程、

を含む肌のつやの評価方法。

2. 2色反射モデルを用いてデジタル画像データから鏡面反射光成分のデータを取り出す請求項第 1項記載の肌のつやの評価方法。

3. ウェーブレツ卜変換と、ウエーブレツ卜逆変換を繰り返すことにより、鏡面反射光成分を複数の異なる周波数成分毎のデータに分離する請求項第 1項または第 2項記載の肌のつやの評価方法。

4. 次の工程（B ないし（B 7) 、

(B 1 ) 偏光照明の下で対象肌を撮像してデジタル画像データを得る工程、 (B 2) 偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象肌を撮像してデジタル画像データを得る工程、

(B 3) 工程（B 1 ) および（B 2) で得たデジタル画像データから、鏡面反射光成分のデータを取リ出す工程、

(B 4) 工程（B 3) で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離し、複数の高周波数成分データを選ぶ工程、

(B 5) 選び出した複数の高周波数成分を合成して再構成画像データとするェ程、

(B 6) 再構成画像データについて、各ピクセル成分の分散を求める工程、 (B 7) 上記（B 6) で得られた分散の値の平均値と肌の美しさを関連づける工程

を含むことを特徴とする肌の美しさの評価方法。

5. 工程（B 3) における鏡面反射光成分のデータの取り出しを、 2色反射モデルおよびムーア一ペンローズ（Moor- Penrose) 型一般逆行列を用いて行う請求項第 4項記載の肌の美しさの評価方法。

6. 工程（B 4) における多重解像度解析を、ウェーブレツ卜変換と、ゥエープレツ卜逆変換を繰り返すことにより、鏡面反射光成分を複数の異なる周波数成分毎のデータに分離することによリ行う請求項第 4項または第 5項記載の肌の美しさの評価方法。

7. 次の工程（C 1 ) ないし（C7) 、

(C 1 ) 偏光照明の下で対象物を撮像してデジタル画像データを得る工程、 (C2) 偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルタ一をかけて同じ対象物を撮像してデジタル画像データを得る工程、

(C3) 工程（C 1 ) および（C2) で得たデジタル画像データから、鏡面反射光成分のデータと内部反射光成分のデータを取り出す工程、

(C4) 工程（C 3) で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離する工程、

(C 5) 分離された複数の異なる周波数成分のデータのうち、所望のものについて、データの変更操作を行う工程、

(C 6) 変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成分を合成して再構成画像デー夕とする工程、

(C7) 上記（C 6) で得られた再構成画像データと、上記（C 3) で得た内部反射光成分デー夕を合成して、対象物のシミュレ一ション画像を得るェ程

を含むことを特徴とする画像のシミュレーション方法。

8. 工程（C 3) における鏡面反射光成分のデータの取り出しを、 2色反射モデルおよびムーア一ペンローズ（Moor-Penrose) 型一般逆行列を用いて行う請求項第 7項記載の画像のシミュレーション方法。

9. 工程（C4) における多重解像度解析を、ウエーブレツ卜変換と、ゥエーブレツ卜逆変換を繰り返すことにより、鏡面反射光成分を複数の異なる周波数成分毎のデータに分離することにより行う請求項第 7項または第 8項記載の画像のシミュレーション方法。

1 0. 対象物が人間の顔面である請求項第 7項ないし第 9項の何れかの項記載の画像のシミュレーション方法。

1 1. 次の工程（C 1 ) ないし（C 3) 、

(C Ί ) 偏光照明の下で対象物を撮像してデジタル画像データを得る工程、 (C 2) 偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、

(C 3) 上記（C 1 ) および（C2) のデジタル画像データから、鏡面反射光成分を取り出す工程、

を含むことを特徴とするデジタル画像中から鏡面反射光成分デ一夕を分離する方法。

1 2. 工程（C 3) における鏡面反射光成分のデータの取り出しを、 2色反射モデルおよび厶一ァ—ペンローズ（Moor-Penrose) 型一般逆行列を用いて行う請求項第 1 1項記載の鏡面反射光成分データを分離する方法。