JP6004481B2 - カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム - Google Patents

Description

カラー画像に対する画像処理に関し、特に、撮影機器を用いて実際に撮影されたカラー画像を補正して画像中の物体の質感を向上させる画像処理を行うカラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラムに関する。

カラー画像撮影装置によって撮影されたカラー画像を高画質化する手法として、カラー画像中の特定対象物（例えば、肌の色、草木の緑、青空など）の色を、その対象物の記憶色に近づける手法が各種提案されている。このような手法を用いることで好ましい色を再現することが可能になる。

例えば、特許文献１には、カラー画像の色補正に関する技術が開示されている。特許文献１に記載された自動色補正方法では、画像中の対象物領域から代表色を抽出し、その代表色をあらかじめ設定された補正の中心色と比較してＲＧＢ補正パラメータを決定する。そして、画像中の画素と中心色との距離に応じて補正パラメータの適用強度をコントロールすることで、各画素を補正する。

具体的には、特許文献１に記載された方法では、各画素の色情報であるＲＧＢ値から各画素の色相、彩度、明度を計算する。そして、色空間における各画素の色と補正の中心色との距離を計算し、その距離に応じて補正強度を調整する。このようにして、対象物の色を重点的に補正する。

なお、この手法においては、ＲＧＢ色空間で補正パラメータの加減算に基づく色補正が行われる。例えば、顔の肌色の場合、ＲＧＢの補正量は、画素毎に補正の中心色との距離に応じて計算される。顔領域を全体的に明るくする場合には、顔領域のほぼ全領域の各画素のＲＧＢ値に対して、補正の中心色との上記距離に応じた補正パラメータが加減算される。

特許文献２には、入力画像中の顔領域を検出する技術が開示されている。特許文献２に記載された目検出方法は、目を単独で評価した場合には特徴不足のために他の部分と判別できなかった場合にも、両目のなす特徴を基にした両目ペア評価値を用いることによって目と他の部分とを判別する。

他にも、カラー画像の補正処理に関連する技術が、特許文献３〜５に記載されている。特許文献３には、分光色の画像データを色補正する際、分光色を元の次元よりも低次元の色空間に変換し、低次元色空間内で色補正を行ったあと、低次元の分光色から適切な次元の分光色を生成する色補正装置および方法が開示されている。

特許文献４には、基準白色が異なる表色系間で、色の見え方を一致させながら元色空間を目的色空間の色へ変換させる色変換方法が開示されている。具体的には、特許文献４に記載された色変換方法では、元色空間の基準白色である元基準白色の色温度から元基準白色の分光分布特性を復元する。また、目的色空間の基準白色である目的基準白色の色温度から目的基準白色の分光分布特性を復元する。そして、任意の色における三刺激値と、元基準白色の光分布特性と、人間の等色関数とを利用して、元色空間における任意の色の表面反射率を復元する。さらに、復元された表面反射率と、復元された目的基準白色の分光分布特性と、人間の等色関数とに基づいて、目的色空間における色である三刺激値を求める。

特許文献５には、さまざまな照明環境下で撮影された自然画像における重要被写体に対し、自動的に良好な色補正を行う技術が開示されている。具体的には、特許文献５に記載された色補正方法では、特定対象物の体表色を抽出し、抽出された代表色に最適な色補正パラメータを設定する。このパラメータを用いて特定色相にのみ作用する色補正変換を行う。このような変換を行うことで、様々な照明環境下で撮影された自然画像における重要被写体に対して自動的に色補正を施すことが可能になる。

また、特許文献６には、顔の皮膚反射モデルを生成して、そのモデルを顔画像のレンダリングに適用する技術が記載されている。特許文献６に記載された方法では、まず、顔を３Ｄスキャナでスキャンした３次元形状を取得する。この際、異なる視点から異なる照明方向で照らした複数の顔画像を取得する。そして、これらの表面スキャンデータと画像データとを用いて、全反射率と法線マップを推定する。また、全反射率は、表面下散乱と（鏡面）表面反射率の２つの成分に分離され、これらをもとに拡散反射率を推定する。さらに、光ファイバスペクトロメータを用いて表面下反射率をスキャンし、透光性マップを求める。この拡散反射率から求められるアルベドマップと、透光性マップとをもとに顔の皮膚反射モデルを形成する。

他にも、特許文献７には、２色性反射モデルが適用できる画像処理の対象とする領域が指定されると、その領域の画素値を、Ｋｌｉｎｋｅｒによる方法で表面反射光成分と拡散反射光光成分とに分離する画像処理装置が記載されている。特許文献８には、陰影除去の要求に応じて、３次元情報を利用して入力画像の陰影を除去する陰影除去装置が記載されている。特許文献９には、逆光で撮影された画像の階調補正を行う際、高解像の写真画像データを低周波成分と高周波成分に分離し、低周波成分を階調補正の処理マスクとして使用する画像処理装置が記載されている。また、特許文献１０には、ユーザが手動で影の部分を指定することで、原画像の光成分を、拡散反射光成分、鏡面反射光成分および周囲光成分に分離し、分離した鏡面反射光成分を変換後、各光成分を再合成する２次元カラー画像の材質感変換方法が記載されている。

さらに、非特許文献１には、一般化学習ベクトル量子化を用いた顔検出手法が記載されている。また、非特許文献２には、一般化学習ベクトル量子化を用いた、Ｉｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせた顔検出方法が記載されている。

また、顔の三次元形状を得るための方法として、特許文献６に記載されている３Ｄスキャナを使用する方法の他、２次元の顔画像から３次元形状（３次元情報）の顔情報に復元する方法も知られている（例えば、非特許文献３）。

なお、特許文献１〜２に記載された事項および非特許文献１〜３に記載された事項については、本発明の実施形態中で適宜引用する。

特許第３２６４２７３号公報 特開２００３−３１７０８４号公報 特開２００４−４５１８９号公報 特開平１０−２２９４９９号公報 特開２００１−９２９５６号公報 特開２００６−２７７７４８号公報 特開２００１−５２１４４号公報 特開２００２−１５３１１号公報 特開２００７−２０８８４６号公報 特開平４−２８９９７８号公報

細井 利憲，鈴木 哲明，佐藤 敦著、「一般化学習ベクトル量子化による顔検出」、ＦＩＴ２００２、Ｉ−３０、２００２年９月 田島譲二著、「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」、丸善株式会社、平成８年９月３０日、ｐ．３３−３９ 石山 塁著、「一般３Ｄ顔モデルを用いた姿勢変換による非正面顔画像の照合」、電子情報通信学会、２００７年総合大会、Ｄ−１２−０８５、２００７年、ｐ．２０１

特許文献１に記載された色補正方法のように、カラー画像データのＲＧＢや、色相、彩度、明度といった色の３属性を用いる方法では、本来の物体の質感が低下してしまう場合がある。その理由は、画像中のある対象物の色を明るく補正する際、通常、もともと高い画素値を持っている色成分（例えば、この成分を赤とする）については飽和する現象が起こり、それ以外の色成分（例えば、他の成分である緑や青）については補正パラメータが加減算される現象が起こる。対象物の領域全体にこの処理が行われると、対象物の領域における色情報又は画素値の分散が小さくなり、対象物の領域における見かけの質感が低下してしまう。

また、特許文献６では、顔画像のレンダリングに人間の皮膚反射モデルを適用することが提案されている。しかし、特許文献６に記載された方法では、顔画像の３次元情報を得るために３Ｄスキャナと、特別な測定装置である光ファイバスペクトロメータを必要とする。入力画像のみを利用するような一般的なカラー画像処理装置で行う色補正にこの方法を適用することは困難である。

上記問題を解決するため、非特許文献３に記載されているように、顔画像の３次元情報を得る方法として、２次元顔画像から３次元顔画像への復元技術を用いることも可能である。しかし、一般的なカラー画像処理で色補正を行う場合、非特許文献３に記載された復元技術よりも、より計算コストを抑えられることが好ましい。

すなわち、入力されるカラー画像のみを対象とするようなカラー画像処理においては、画像処理における計算コストをより抑えられ、かつ、カラー画像中に存在する対象物の領域における質感の低下を抑制できる手法を適用できることが好ましい。

そこで、本発明は、カラー画像機器で撮影されたカラー画像中の所定の対象物を、低い計算コストで所望の色に再現し、質感を向上させることができるカラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラムを提供することを目的とする。

本発明によるカラー画像処理方法は、画像処理の対象とする領域である対象物領域を入力画像から検出し、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、対象物領域の色情報から前記完全拡散成分を減算して、その対象物領域における表面反射成分を算出し、完全拡散成分から、その完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出し、対象物領域における色情報及びアルベドに基づいて、対象物領域における表面反射率を復元し、表面反射率に基づいてアルベドを補正した色情報である補正アルベドを算出し、補正アルベドに陰影情報及び表面反射成分を付加した色情報である再現色を算出し、再現色に基づいて出力画像を生成し、完全拡散成分を算出する際、対象物領域における画素ごとに周辺画素の平均値を算出する、又は、対象物領域における各画素の周辺画素を所定の値に置き換える平滑化フィルタを使用することにより、その対象物領域における完全拡散成分を算出することを特徴とする。

本発明によるカラー画像処理装置は、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段と、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、対象物領域の色情報から完全拡散成分を減算して、その対象物領域における表面反射成分を算出する反射成分復元手段と、完全拡散成分から、その完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出手段と、対象物領域における色情報及びアルベドに基づいて、対象物領域における表面反射率を復元し、その表面反射率に基づいてアルベドを補正した色情報である補正アルベドを算出するアルベド補正手段と、補正アルベドに陰影情報及び表面反射成分を付加した色情報である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出手段とを備え、反射成分復元手段が、対象物領域における画素ごとに周辺画素の平均値を算出する、又は、対象物領域における各画素の周辺画素を所定の値に置き換える平滑化フィルタを使用することにより、その対象物領域における完全拡散成分を算出することを特徴とする。

本発明によるカラー画像処理プログラムは、コンピュータに、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出処理、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、対象物領域の色情報から完全拡散成分を減算して、その対象物領域における表面反射成分を算出する反射成分復元処理、完全拡散成分から、その完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出処理、対象物領域における色情報及びアルベドに基づいて、対象物領域における表面反射率を復元し、その表面反射率に基づいてアルベドを補正した色情報である補正アルベドを算出するアルベド補正処理、および、補正アルベドに陰影情報及び表面反射成分を付加した色情報である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出処理を実行させ、反射成分復元処理で、対象物領域における画素ごとに周辺画素の平均値を算出する、又は、対象物領域における各画素の周辺画素を所定の値に置き換える平滑化フィルタを使用することにより、その対象物領域における完全拡散成分を算出させることを特徴とする。

本発明によれば、カラー画像機器で撮影されたカラー画像中の所定の対象物を、低い計算コストで所望の色に再現し、質感を向上させることができる。

本発明におけるカラー画像処理の一例を示す説明図である。 本発明によるカラー画像処理装置の一実施形態を示すブロック図である。 本発明の第１の実施形態におけるカラー画像処理方法の例を示すフローチャートである。 入力画像中の対象物領域を検出し、色情報を求める処理の例を示す説明図である。 平均的な肌色を有する日本人の顔領域における表面反射率の一例を示すグラフである。 ＣＩＥ昼光の平均および第１、第２主成分ベクトルの例を示すグラフである。 ２色性反射モデルの例を示す説明図である。 物体の表面反射率を主成分分析して得られた基底ベクトルの例を示すグラフである。 対象物領域の色に関する特性パラメータの空間で行う補正の例を示す説明図である。 第１の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示すブロックである。 本発明の第２の実施形態におけるカラー画像処理方法の例を示すフローチャートである。 第２の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示す説明図である。 本発明によるカラー画像処理装置の最小構成例を示すブロック図である。

以下、本発明の実施形態を、図面を参照しながら説明する。なお、説明の明確化のため、以下の説明で用いる図面には、適宜、模式的に表現した図が用いられるものとする。また、各図面において同一の構成または同一の機能を有する構成要素およびその構成要素に相当する部分には同一の符号を付し、一度説明した構成または機能については、後の記載においてその説明を省略する。

まず初めに、本発明によるカラー画像処理装置が行うカラー画像処理方法の一態様について、その概要を説明する。本発明によるカラー画像処理方法では、入力画像中の特定対象物の色を補正する際、まず、カラー画像処理装置は、入力画像中の特定対象物の低周波成分を算出する。次に、カラー画像処理装置は、算出した低周波成分を、特定対象物における陰影情報を含んだ完全拡散成分として用いる。そして、カラー画像処理装置は、入力画像から完全拡散成分（陰影情報を含む）を減算することで、その特定対象物上における表面反射成分（ハイライト）を算出する。

次に、カラー画像処理装置は、特定対象物の完全拡散成分（陰影情報を含む）から、陰影情報を除去して、特定対象物の本来の色情報であるアルベドを得る。カラー画像処理装置は、このアルベドを用いて、特定対象物を表現する際に用いられる表面反射率を復元する。そして、カラー画像処理装置は、より好ましい表面反射率として対象物ごとに予め設定されている参照表面反射率に、上述する復元された表面反射率を近づける補正を施すことで、補正アルベドを算出する。最後に、カラー画像処理装置は、補正アルベドに表面反射成分と陰影情報を加算することで、特定対象物の再現色を算出する。このようにすることで、特定対象物の色を補正した後の再現色を、より自然に近い色で、かつ、より好ましい色で表現することが出来る。

なお、上述する処理概要に記載された単語の意味については後述する。

図１は、本発明におけるカラー画像処理の一例を示す説明図である。以下、本発明におけるカラー画像処理装置が行うカラー画像処理方法の概要について、図１を用いてさらに説明する。

Ｉ．まず、カラー画像処理装置は、入力される入力画像に関する情報を取得する（以下、画像情報取得処理と記す。）。具体的には、カラー画像処理装置は、入力画像が入力されると、その入力画像から特定対象物を特定する。特定対象物とは、補正する対象として特定される領域のことである。カラー画像処理装置は、特定対象物を特定することにより、アルベドを補正する領域（以下、対象物領域と記すこともある。）を検出する。また、併せて、カラー画像処理装置は、特定対象物の色情報（すなわち、対象物領域の色）を取得する。ここで、アルベドとは、特定対象物そのものの色情報であり、具体的には、特定対象物の画像情報（すなわち、入力画像から取得される色情報）から、テカリや影を取り除いた色情報である。

ＩＩ．次に、カラー画像処理装置は、特定対象物の反射情報を復元する（以下、反射情報復元処理と記す。）。ここで、反射情報とは、特定対象物上で反射する反射光に関する情報である。特定対象物の反射情報は、一般的に、特定対象物の３次元形状に基づいて、照明の幾何条件をもとに復元される。一方、本発明におけるカラー画像処理方法では、３次元形状の代わりに特定対象物の低周波成分を利用する。

カラー画像処理装置は、まず、特定対象物の低周波成分を、陰影情報を含む完全拡散成分とする。そして、カラー画像処理装置は、特定対象物の色情報から低周波成分を取り除くことで、表面反射成分を復元する。このとき、カラー画像処理装置は、入力画像の各画素の画素値について、色情報から低周波成分を減算することにより、表面反射成分を算出する。以上により、特定対象物の色情報が、表面反射成分と完全拡散成分（すなわち、陰影情報を含む完全拡散成分）に分離される。すなわち、表面反射成分が復元される。

ここで、表面反射成分とは、物体の表面上で反射する反射光の成分であり、いわゆる「テカリ」を示す情報である。また、完全拡散成分とは、特定対象物の低周波成分であり、陰影情報とは、その完全拡散成分の輝度を示す情報である。

ＩＩＩ．カラー画像処理装置は、特定対象物のアルベドを計算する（以下、アルベド計算処理と記す。）。具体的には、カラー画像処理装置は、特定対象物の低周波成分である完全拡散成分（陰影情報を含む）から、陰影情報を除算することでアルベドを算出する。なお、このことから、アルベドとは、特定対象物の色情報から表面反射成分を取り除いた色情報である完全拡散成分から、さらに、陰影情報を除いた色情報であるということができる。すなわち、特定対象物の画像情報（入力画像から取得した色情報）から、表面反射成分（テカリ）と陰影情報（影）を取り除いた色情報がアルベドである。逆にいえば、完全拡散成分には陰影情報が含まれているといえる。また、対象物領域の色情報は、アルベドと陰影情報の積に、表面反射成分を付加したものとして表わされているといえる。

ＩＶ．カラー画像処理装置は、アルベドを補正する（以下、アルベド補正処理と記す。）。具体的には、カラー画像処理装置は、特定対象物の色情報とアルベドとを用いて表面反射率を算出する。そして、カラー画像処理装置は、算出した表面反射率を参照表面反射率に近づける補正を行う。この補正した表面反射率を用いてカラー画像処理装置は、アルベドを補正する。ここで、参照表面反射率とは、特定対象物に応じて予め設定された表面反射率である。参照表面反射率については後述する。

Ｖ．カラー画像処理装置は、補正されたアルベドへ表面反射成分と陰影情報とを付加した再現色を算出する（以下、再現色算出処理と記す。）。

なお、以下の説明では、特定対象物から検出した対象物領域が複数の画素から構成されていることを前提とする。また、各画素は色情報を有するものとする。なお、色情報のことを、画素値と記すこともある。色情報には、少なくとも、表面反射成分、完全拡散成分（陰影情報を含む）が含まれることを前提とする。なお、色情報には、上述以外の色に関する情報を含んでいてもよい。また、以降の説明では、特定対象物と対象物領域とを区別せずに説明する。なお、上述した各処理を行うカラー画像処理装置の構成については、後述する。

次に、本発明によるカラー画像処理装置の構成について説明する。図２は、本発明によるカラー画像処理装置の一実施形態を示すブロック図である。図２に例示するカラー画像処理装置１００は、画像情報取得部１１０と、反射情報復元部１２０と、アルベド計算部１３０と、アルベド補正処理部１４０と、再現色算出部１５０とを備えている。

画像情報取得部１１０は、外部から入力される入力画像に基づいて、特定対象物を特定し、特定対象物の対象物領域を検出する。また、画像情報取得部１１０は、対象物領域の色情報を取得する。

反射情報復元部１２０は、対象物領域の低周波成分を算出する。この算出された低周波成分が対象物領域における陰影情報を含んだ完全拡散成分である。そして、反射情報復元部１２０は、対象物領域の色情報から完全拡散成分を除去することで、対象物領域における表面反射成分を復元する。すなわち、対象物領域における色情報は、表面反射成分（テカリ）と完全拡散成分に分離され、それぞれの成分として復元される。

アルベド計算部１３０は、アルベドを算出する。具体的には、アルベド計算部１３０は、対象物領域における完全拡散成分を陰影情報で除算する（すなわち、完全拡散成分から陰影情報を除く）ことでアルベドを算出する。

アルベド補正処理部１４０は、色情報とアルベドを用いて表面反射率を復元し、その表面反射率を用いてアルベドを補正した色情報（以下、補正アルベドと記す。）を算出する。なお、アルベド補正処理部１４０は、分光分布復元部１４１とアルベド補正部１４２とを含んでいる。分光分布復元部１４１は、対象物領域の色情報を用いて照明の分光分布を復元する。アルベド補正部１４２は、復元した照明の分光分布とアルベドとを用いて、対象物領域の表面反射率を復元する。そして、アルベド補正部１４２は、復元した表面反射率に基づいてアルベドを補正することで補正アルベドを算出する。

再現色算出部１５０は、補正アルベドへ陰影情報と表面反射成分を付加して対象物領域の再現色を算出する。そして、再現色算出部１５０は、算出した再現色を用いて出力画像を生成する。

以下、本発明におけるカラー画像処理装置の動作について、各実施形態に則して説明する。

実施形態１．
まず、本発明の第１の実施形態におけるカラー画像処理方法を、図面を用いて処理の流れを説明する。図３は、本発明の第１の実施形態におけるカラー画像処理方法の例を示すフローチャートである。なお、以下の説明では、本実施形態におけるカラー画像処理方法を、図２に例示するカラー画像処理装置１００を用いて実現するものとする。また、以下の説明では、画像の表色系がＲＧＢ表色系であるものとする。すなわち、画像の色が、Ｒ（赤）、Ｇ（緑）およびＢ（青）の組み合わせで表されるものとする。以下、入力画像の色情報のことを、色情報ＲＧＢと表記するものとする。ただし、画像の表色系は、ＲＧＢ表色系に限定されない。画像の表色系は、ＲＧＢ以外の他の表色系であってもよい。

以下、図２に例示するカラー画像処理装置１００が、任意に与えられたカラー画像中の特定対象物の質感を向上させるために、カラー画像中の対象物領域の各画素における再現色の再計算を行う動作を説明する。

まず、画像情報取得部１１０は、入力画像中から特定対象物を自動で検出する（ステップＳ１）。このとき、画像情報取得部１１０は、検出した特定対象物における対象物領域の色情報を併せて取得する。ここで、入力画像中から特定対象物を自動で検出するとは、入力画像から予め定められた対象（例えば、人間の顔）を特定対象物として検出することや、ユーザ等により個別に指定された対象を特定対象物として検出することを意味する。

ここで、特定対象物とする個体は、それぞれ異なっていてもよい。すなわち、個体差があったとしても、大まかな色情報やテクスチャが普遍であることから、カラー画像から得られる特徴から想定する対象物であると特定できるのであれば、特定対象物は、特定の個体に限定されるものではない。

図４は、入力画像中の対象物領域を検出し、色情報を求める処理の例を示す説明図である。図４に示す例では、対象物領域を人間の顔とし、その対象物領域から色情報を取得することを示す。画像情報取得部１１０は、例えば、図４に例示するカラー画像中から、色情報やテクスチャなどを用いて特定対象物を検出する。以下、特定対象物が、人間の顔である場合について説明する。

特定対象物を人間の顔とした場合、画像情報取得部１１０は、目、鼻、口などの形状特徴を利用して顔領域を検出する。画像情報取得部１１０は、顔領域を検出する方法として、例えば、非特許文献２に記載された顔検出方法を用いてもよい。上述の通り、非特許文献２に記載された顔検出方法は、Ｉｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせる一般化学習ベクトル量子化を用いた方法である。

他にも、画像情報取得部１１０は、入力画像から顔領域を検出する方法として、例えば、特許文献２に記載された、画像中から目を検出する方法を用いてもよい。入力画像中から目の位置を検出できれば、顔領域を推定することは容易である。

なお、非特許文献２に記載された顔検出方法と、特許文献２に記載された目の検出方法は、通常、モノクロ情報を利用して顔検出を行う。画像情報取得部１１０は、さらに、その検出結果である顔領域が肌色であるか否かについて判定してもよい。このような判定処理を追加することにより、顔領域の検出精度を向上させることができる。なお、指定の領域が肌色か否かを判定する方法として、例えば、特許文献１に記載された画像ヒストグラムを利用してもよい。

なお、画像情報取得部１１０が入力画像から顔領域を検出する方法は、上記方法に限定されない。また、上記説明では、任意に与えられた入力画像から自動検出する対象物が人間の顔である場合について説明した。ただし、自動検出する対象物は人間の顔に限られない。人間の顔以外の対象物を自動検出する場合、画像情報取得部１１０は、例えば、予め登録されている対象物領域の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出してもよい。

次に、分光分布復元部１４１は、入力画像中の特定対象物における色情報（対象物領域の色）をもとに、入力画像を撮影した際の照明の色情報を復元する（ステップＳ２）。具体的には、分光分布復元部１４１は、入力画像を撮影した際の照明の分光分布を算出する。なお、ここでは、分光分布復元部１４１は、カラー画像中の対象物領域の色情報、及び、対象物が有する表面反射特性を利用して、入力画像を撮影した際に用いられたと推定される照明の色情報（具体的には、照明の分光分布特性）を復元するものとする。

まず、分光分布復元部１４１は、対象物領域の色情報ＲＧＢを取得し、取得した色情報ＲＧＢに基づいて、ＸＹＺ表色系の三刺激値ＸＹＺを求める。そして、分光分布復元部１４１は、対象物領域の三刺激値ＸＹＺと、対象物が有する表面反射率とから、分光分布を復元する。以下、分光分布復元部１４１が、入力画像から自動検出された特定対象物が示す対象物領域の色情報を求める処理について具体的に説明する。

ここでは、画像情報取得部１１０が対象物領域の色情報ＲＧＢを取得し、分光分布復元部１４１がその色情報ＲＧＢに基づいて、ＸＹＺ表色系の三刺激値ＸＹＺを求めるものとする。なお、分光分布復元部１４１は、対象物領域の色情報として、例えば、対象物が占める領域内に存在する画素の平均色、中央色（メジアン）、最頻色（モード）など、いずれか一つの色を利用することが可能である。

また、色情報ＲＧＢにおけるＲＧＢ蛍光体の色度及び白色の色度は、予め指定されているものとする。また、色情報ＲＧＢと表示機器の発光強度との関係は、線形であるものとする。この場合、入力画像の色情報ＲＧＢと三刺激値ＸＹＺとの関係は、以下の式１で表される。

ここで、ＲＸは、３×３変換行列である。この変換行列ＲＸは、ＲＧＢ蛍光体の色度及び白色の色度が決まれば、一意に定まる行列である。分光分布復元部１４１は、変換行列ＲＸを算出する方法として、例えば、非特許文献２に記載された算出方法を用いてもよい。また、カラー画像を表示する表示装置（図示せず）が、ｓＲＧＢ（Ｓｔａｎｄａｒｄ ＲＧＢ）ディスプレイである場合、分光分布復元部１４１は、変換行列として、国際電気標準会議（ＩＥＣ）が規定する変換行列を用いてもよい。さらに、式１に例示する関係式に、黒を示すＸＹＺ値をオフセット項として追加してもよい。

次に、分光分布復元部１４１は、入力画像を撮影した際の照明の色情報である照明の分光分布を算出する。ここで、入力画像を撮影した際の照明とは、入力画像中の対象物を照射する照明（光源）のことである。

分光分布復元部１４１は、式（１）により算出される対象物領域の三刺激値ＸＹＺと、対象物が有する表面反射率とから、分光分布を復元するための観測方程式を生成する。ＸＹＺ表色系に基づいて表わされた対象物領域の色を示す三刺激値ＸＹＺは、対象物領域の表面反射率、その対象物を照射する照明の分光分布および人間視覚の等色関数を用いて、以下の式（２）で表現される。

ここで、λは波長、Ｉ（λ）は照明の分光分布、Ｒ（λ）は対象物領域の表面反射率である。また、ｘ（λ）、ｙ（λ）およびｚ（λ）は等色関数であり、既知の関数である。また、可視光の波長領域で積分が行われる。

式１を用いて計算された三刺激値ＸＹＺを式２の左辺に代入すると、式２は、未知である照明の分光分布Ｉ（λ）およびＲ（λ）の観測方程式になる。しかし、現状では、波長に関する連続関数であるＩ（λ）およびＲ（λ）を、式２から計算することはできない。

ここで、対象物領域の色を示す表面反射率Ｒ（λ）を、ある程度の誤差を含んだ状態であっても、予め限定または決定できると仮定する。すると、Ｒ（λ）を、既知の値として扱うことができる。この場合、式２は、Ｉ（λ）のみの観測方程式になる。

図５は、平均的な肌色を有する日本人の顔領域における表面反射率の一例を示すグラフである。図５に例示するグラフの横軸は波長（ｎｍ）、縦軸は、表面反射率（％）を表す。例えば、対象物を日本人の顔とした場合、図５に例示する表面反射率を、式２におけるＲ（λ）として用いることができる。

また、対象物が顔以外の場合であってもよい。例えば、複数の対象物を測定して得られた表面反射率の平均、または、代表的な色を持つ領域として選択された対象物領域の表面反射率を予め求めておき、その表面反射率を式２におけるＲ（λ）として用いてもよい。なお、対象物領域の表面反射率は予め定められ、カラー画像処理装置１００が備えるメモリ（図示せず）や、アルベド補正処理部１４０に含まれるメモリ（図示せず）に記憶される。このように、測定等により予め定められた対象物領域の代表的な表面反射率を代表表面反射率と言うこともできる。

Ｒ（λ）を定めることにより、式２は照明の分光分布Ｉ（λ）の観測方程式になる。しかし、このままでは、Ｉ（λ）を解析的に計算することは出来ない。これは、本来、照明の分光分布Ｉ（λ）は、可視光領域において無限次元の波形で表されるためである。しかし、Ｉ（λ）が少ないパラメータで表現できれば、この問題は解決される。

ここで、ＣＩＥ昼光は、国際照明委員会（ＣＩＥ）が相対分光分布によって規定した測色用の光源であり、平均と２つの主成分の線形和でよく近似されることが知られている。図６は、ＣＩＥ昼光の平均および第１、第２主成分ベクトルの例を示すグラフである。図６に例示するグラフの横軸は波長（ｎｍ）、縦軸は照明や光源の各波長における分光分布スペクトルパワーを表している。また、Ｉ０がＣＩＥ昼光の平均ベクトル、Ｉ１が第１主成分ベクトル、Ｉ２が第２主成分ベクトルである。このことから、照明の分光分布Ｉ（λ）を以下の式３のように表すことができる。

式３におけるＩ_ｉ（λ）（ｉ＝０〜２）は、図６に例示する照明の平均および基底ベクトルである。また、ａ_ｉ（ｉ＝１〜２）は、各基底ベクトルの重み係数であり、照明の色を表現する特性パラメータになる。ここで、式３のＩ（λ）を式２に代入すると、照明の色を表現する未知の特性パラメータａ_１およびａ_２に関する２元一次連立方程式になる。そのため、ａ_１及びａ_２を容易に計算することが出来る。そして、上記連立方程式を解くことにより得られた特性パラメータａ_１およびａ_２を、式３に代入することによって、照明の分光分布Ｉ（λ）が得られる。以上の手順により得られた照明の分光分布を、入力画像を撮影した際の照明の分光分布Ｉ（λ）とする。

次に、画像中の特定対象物について、質感を保ったまま色を補正する処理について説明する。

いま、特定対象物が人間の顔である場合を例に説明する。画像中の特定対象物について質感を保って色を補正するためには、その特定対象物の本来の色情報、すなわち、アルベドを抽出し補正する必要がある。特定対象物のアルベドを計算するためには、特定対象物の見かけの色情報から、表面反射成分（テカリ）と陰影情報を除去しなければならない。この表面反射成分と陰影情報は、特定対象物の三次元形状や照明幾何が必要になる場合がある。２次元画像として表わされた特定対象物の３次元形状を得るためには、例えば、非特許文献３などに記載された技術が利用できる。しかし、非特許文献３などに記載された方法よりも、より低い計算コストで特定対象物のアルベドを計算出来ることが望ましい。

ここで、人間が知覚する物体の見かけの色情報は、その物体の材質条件（単一色のプラスチック）により、２色性反射モデルとして表せる場合がある。図７は、２色性反射モデルの例を示す説明図である。図７に示す例では、入射光が対象物に入射すると、一部の光は完全拡散成分として拡散し、一部の光は表面反射成分として反射することを示す。Ｐｈｏｎｇモデルや、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルなどの２色性反射モデルでは、物体からの反射光は、表面反射成分と完全拡散成分の２つの反射成分のミクスチャで表される。完全拡散成分は、物体表面の法線ベクトルと光源方向ベクトルのなす角によってのみ決定される。つまり、観察方向には依存せず、どの方向から見ても変化しない。

一方、表面反射成分は、入射角と反射角が等しくなった角度で最も大きくなる。言い換えると、このことは、完全拡散成分の周波数は低く、表面反射成分は高い周波数を有する性質をそれぞれが持つことに相当する。そして、２色性反射モデルそのものが適用できない顔のような特定対象物であっても、表面反射成分（テカリ）が確認できるのであれば、その表面反射成分は、高い周波数成分を有する特徴があると言ってよい。そこで、本発明では、２色性反射モデルそのものが適用できない顔のような画像中の特定対象物であっても、表面反射成分（テカリ）については、高い周波数成分を有する特徴があることに着目する。具体的には、特定対象物の三次元形状を用いずに、特定対象物の見かけの色情報から、表面反射成分（テカリ）と陰影情報を除去し、アルベドを算出する。そのため、低計算コストでアルベドを算出することができる。具体的には、画像情報取得部１１０及び反射情報復元部１２０がこれらの処理を実行する。以下、ステップＳ３〜ステップＳ４の説明において、これらの処理を詳述する。

次に、反射情報復元部１２０は、画像中の特定対象物が示す領域の低周波成分を算出する（ステップＳ３）。反射情報復元部１２０は、例えば、画像中の特定対象物が示す領域における各画素について、その周辺画素の平均値を算出することで低周波成分を算出してもよい。また、反射情報復元部１２０は、各画素をガウシアンなどの値に置き換える平滑化フィルタを使用することで、低周波成分を算出してもよい。ただし、低周波成分を算出する方法は、上記方法に限定されない。

次に、反射情報復元部１２０は、ステップＳ３で算出された低周波成分を入力画像中の特定対象物における完全拡散成分とする。そして、反射情報復元部１２０は、入力画像中の特定対象物の色情報から完全拡散成分を減算して、表面反射成分を計算する（ステップＳ４）。

一般に、対象物の反射率は、入射光と放射光の幾何条件に依存し、この反射特性は、双方向反射率分布関数ＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）として表現される。ＢＲＤＦでは、表面反射成分（Ｓｅｃｕｌａｒ ｃｏｍｐｏｎｅｎｔ）と完全拡散成分（Ｂｏｄｙ ｒｅｆｌｅｃｔｉｏｎ ｃｏｍｐｏｎｅｎｔ）の２つの成分から構成される場合が多い。例えば、特定対象物が人などの生物の場合、表面反射成分は、皮膚の表面で反射する光の成分である。また、この場合、完全拡散成分は、一旦皮膚内部に入射し、その内部で拡散された光が再度皮膚を通じて発散する光の成分である。

完全拡散成分は、低周波の特性を有している。そのため、特定対象物が示す領域の低周波成分を特定対象物の完全拡散成分ＤＲ（Ｄｉｆｆｕｓｅ Ｒｅｆｌｅｃｔｉｏｎ）とみなすことができる。なお、ここでは、完全拡散成分ＤＲは、カラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）ごとに算出されているものとし、各カラーチャネルの完全拡散成分をＤＲｉと表現する。なお、ｉは各カラーチャネルを表す。

いま、特定対象物がランバーシャンであると仮定して完全拡散成分が計算されている。しかし、実際には、完全拡散成分は、拡散反射成分のみではなく表面反射成分を含んでいる。つまり、入力画像の各カラーチャネルの画素値は、拡散反射成分と表面反射成分とを含んだ、そのカラーチャネルにおける見かけの画素値（輝度、明るさ）を表していると言える。したがって、反射情報復元部１２０は、特定対象物が示す領域中に含まれる画素の各カラーチャネルの表面反射成分ＳＰｉを、以下の式４で計算する。

Ｉｉ−ＤＲｉ＞０のとき ＳＰｉ＝Ｉｉ−ＤＲｉ
上記以外 ＳＰｉ＝０ （式４）

ここで、Ｉｉは、入力画像の特定対象物が示す領域中に含まれる画素の画素値を現しており、ｉは、カラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）を表している。

完全拡散成分ＤＲｉのルミナンス（輝度）が対象物領域の陰影情報（Ｓｈａｄｉｎｇ）である。陰影情報は、入力画像の特定対象物が示す領域におけるある画素の拡散反射成分ＤＲｉの輝度を表しており、式１で計算される。式１で計算される三刺激値Ｙ（三刺激値のうちのＹ成分）を、特定対象物の３次元形状と照明の幾何条件から生じる陰影情報とすれば、アルベドは、完全拡散成分から陰影情報を取り除いた色情報であると定義できる。

アルベド計算部１３０は、入力画像中の特定対象物が示す領域中に含まれる画素のアルベドを計算する（ステップＳ５）。具体的には、アルベド計算部１３０は、入力画像中の特定対象物が示す領域中に含まれる画素の各カラーチャネルのアルベドを、以下の式５にしたがって算出する。

ＡＤｉ＝ＤＲｉ／Ｙ （式５）

ここで、ＡＤｉは、各カラーチャネルのアルベドを表す。

次に、アルベド補正処理部１４０（具体的には、アルベド補正部１４２）は、入力画像中の特定対象物における各画素のアルベドと照明の分光分布とから、表面反射率Ｒ（λ）を復元する（ステップＳ６）。以下、入力画像がＲＧＢ表色系の画像であるものとして説明する。

アルベド補正部１４２は、アルベドＡＤｉで表された特定対象物の領域における各画素のＲＧＢ値をもとに、式１にしたがって、三刺激値ＸＹＺを計算する。そして、アルベド補正部１４２は、計算した三刺激値ＸＹＺを式２の左辺に代入する。また、アルベド補正部１４２は、ステップＳ２で計算された、入力画像を撮影した際の照明の分光分布Ｉ（λ）を、式（２）の右辺に代入する。こうすることで、式２は、特定対象物の領域のある画素における表面反射率Ｒ（λ）に関する観測方程式（以下、観測方程式（２）と記す。）になる。

特定対象物の表面反射率は、照明の分光分布と同様に、可視光領域において無限次元の波形で表される。そのため、特定対象物の表面反射率を観測方程式（２）から解析的に計算することは出来ない。そこで、アルベド補正部１４２は、特定対象物の表面反射率を、低次元の基底ベクトルの加重和で表す有限次元線形モデルを用いて以下の式６のようにモデル化する。

ここで、ｒ_ｉ（λ）（ｉ＝０〜３）は、多くの物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルである。ｒ_０（λ）は、平均ベクトル、ｒ_１（λ）〜ｒ_３（λ）は、それぞれ第一主成分ベクトル〜第三主成分ベクトルを表しており、すべて既知のベクトルである。一方、ｂ_ｉ（ｉ＝１〜３）は、各基底ベクトルの重み係数で、物体の色を表現する未知の特性パラメータになる。

図８は、物体の表面反射率を主成分分析して得られた基底ベクトルの例を示すグラフである。図８に例示するグラフの横軸は波長（ｎｍ）、縦軸は、照明や光源の各波長における分光分布スペクトルパワーを表している。なお、多数集めた特定対象物の表面反射率を主成分分析して得られた基底ベクトルを、式６に用いてもよい。

いま、特定対象物の表面反射率Ｒ（λ）が式６のように表わされるとする。この場合、未知の特性パラメータｂ_１〜ｂ_３は、式６を観測方程式（２）に代入することにより得られる３元一次連立方程式（以下の式７）によって求められる。

ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０〜３）は、以下の積分項を表す。ｙ、ｚについても同様である。

そして、アルベド補正部１４２は、式７で得られた特性パラメータｂ_ｉ（ｉ＝１〜３）を、式６に代入する。このようにして、対象物領域の任意の画素における表面反射率が求められる。

次に、アルベド補正部１４２は、対象物領域の参照表面反射率を利用して、入力画像中の対象物における各画素の再現表面反射率を算出し、補正後のアルベドを計算する（ステップＳ７）。まず、アルベド補正部１４２は、ステップＳ６で算出された入力画像中の対象物における各画素の表面反射率を、その対象物領域の望ましい色が再現できるように設定された参照表面反射率を基に補正する。対象物領域の参照表面反射率とは、その対象物領域の望ましい色が再現できるように予め設定された表面反射率である。より具体的には、参照表面反射率とは、その対象物を標準照明下で撮影して得たカラー画像において、その対象物が良好で、かつ、好ましい色（明度、彩度、色相）になるような表面反射率のことである。すなわち、参照表面反射率は、対象物領域における色情報を所望の色に再現する際の表面反射率であるということができる。

この参照表面反射率は、人間の主観に依存するため一意に定義できるものではない。しかし、主観評価実験を実施することで参照表面反射率を予め求めておくことができる。例えば、画像処理ツールを用いて画像中の対象物領域の色を様々に変化させてその画質を評価する。そして、評価した中で最も好ましいと判断されたときの画像について、上述のステップＳ２およびステップＳ３を適用する。これにより、対象物領域における各画素の参照表面反射率を求めることができる。

また、参照表面反射率として、対象物領域から３つ以上の色をあらかじめ選択しておく。そして、その選択された色の平均色、中央色（メジアン）、最頻色（モード）に相当する画素の色に対する表面反射率を、対象物領域の参照表面反射率としてもよい。他にも、対象物領域内の最も明るい色、最も暗い色、最も彩度の高い色、最も彩度の低い色、または、対象物領域内の色分布を解析し、色相の両端に位置する色などについての表面反射率を、対象物領域の参照表面反射率としてもよい。以下、参照表面反射率をＲｒｅｆ（λ）と記すこともある。

また、入力画像中の対象物において形状的な特徴が利用できる場合には、その領域における色に対する表面反射率を、その対象物領域の参照表面反射率Ｒｒｅｆ（λ）としてもよい。例えば、対象物が顔の場合、頬、目尻、額などが特徴領域として与えられる。このとき、これらの特徴領域において、ある程度の範囲内に存在する画素の平均色を求め、その平均色に対する表面反射率を算出する。この算出した表面反射率を、対象物領域の参照表面反射率Ｒｒｅｆ（λ）としてもよい。

以上のような手法を用いることで、対象物領域の参照表面反射率を予め定めておくことができる。ただし、参照表面反射率の算出方法は、上述の方法に限定されない。

アルベド補正部１４２は、入力画像中の特定対象物における各画素の表面反射率Ｒ（λ）を、参照表面反射率であるＲｒｅｆ（λ）を利用して補正することによって、再現表面反射率Ｒｍｄ（λ）を算出する。すなわち、アルベド補正部１４２は、対象物領域の色を良好に再現するための参照表面反射率であるＲｒｅｆ（λ）を利用して、好ましい色を再現する再現表面反射率Ｒｍｄ（λ）を算出する。

アルベド補正部１４２は、例えば、以下の式８を用いて再現表面反射率Ｒｍｄ（λ）を算出する。

Ｒｍｄ（λ）＝α・Ｒ（λ）＋（１−α）・Ｒｒｅｆ（λ） （式８）

ここで、αは、０以上１．０以下（０≦α≦１．０）の実数である。

また、アルベド補正部１４２は、以下のように再現表面反射率Ｒｍｄ（λ）を算出してもよい。まず、アルベド補正部１４２は、入力画像中の特定対象物における色の平均色、中央色（メジアン）、または、最頻色（モード）に相当する画素の色について、その表面反射率を求める。この表面反射率をＲａｖｇ（λ）とする。参照表面反射率については、上述のＲｒｅｆ（λ）を用いる。ここで、波長λに関する関数Ｆ（λ）を以下の式９のように定義する。

Ｆ（λ）＝Ｒｒｅｆ（λ）／Ｒａｖｇ（λ） （式９）

そして、アルベド補正部１４２は、入力画像中の特定対象物における各画素の表面反射率Ｒ（λ）を、以下の式１０を用いて補正することで、再現表面反射率Ｒｍｄ（λ）を算出する。

Ｒｍｄ（λ）＝α・Ｆ（λ）・Ｒ（λ）＋（１−α）・Ｒ（λ） （式１０）

ここで、αは、０以上１．０以下（０≦α≦１．０）の実数である。

このように、アルベド補正部１４２は、対象物領域における表面反射率を、一つの波長λに関する関数Ｆ（λ）を用いて表面反射率（すなわち、再現表面反射率）に補正する。さらに、アルベド補正部１４２は、対象物領域内の再現色の分散が小さくならないように予め工夫して再現表面反射率を算出してもよい。対象物領域内の色の分散が小さくなってしまうと、質感の低下を引き起こしてしまう場合があるからである。

本実施形態では、アルベド補正部１４２は、画像中の対象物領域の色を補正するに際し、特定対象物が示す領域における各画素に対して、アルベドから算出された表面反射率を構成する特性パラメータｂ_ｉ（ｉ＝１〜３）を補正する。なお、ステップＳ７における以降の処理を、再現表面反射率拡張導出処理と記す。

すなわち、アルベドから算出された表面反射率は、式６に例示するように、低次元の規定ベクトルの加重和で表現することができる。式６におけるｒ_０（λ）〜ｒ_３（λ）は固定のベクトルであり、特性パラメータｂ_ｉが変化することにより表面反射率が変化（すなわち、色が変化）する。そのため、特性パラメータｂ_ｉを補正することで、アルベドから算出された表面反射率Ｒ（λ）を補正することになる。その結果、再現表面反射率Ｒｍｄ（λ）を得ることができる。

特性パラメータｂ_ｉ（ｉ＝１〜３）を補正する式の一例を以下の式１１に示す。

ここで、ｂ_ｉ’（ｉ＝１〜３）は、補正後の特性パラメータである。また、式１１における３×３行列が補正行列である。アルベド補正部１４２は、補正行列の要素ｍ_ｉｊ（ｉ＝１〜３，ｊ＝１〜３）を以下のように算出する。

まず、上述のように特定対象物に対する３個以上の参照表面反射率Ｒｒｅｆ（ｉ，λ）（ｉ＝０〜ｎ，ただし、ｎ≧３）を予め用意しておく。この参照表面反射率Ｒｒｅｆ（ｉ，λ）は、例えば、特定対象物の領域における色の平均色、中央色（メジアン）、最頻色（モード）に相当する画素の色に対する表面反射率であってもよい。また、参照表面反射率Ｒｒｅｆ（ｉ，λ）は、対象物領域内の最も明るい色、最も暗い色、最も彩度の高い色、最も彩度の低い色、または、対象物領域内の色分布を解析したときの、色相の両端に位置する色などについての表面反射率であってもよい。また、参照表面反射率Ｒｒｅｆ（ｉ，λ）は、入力画像中の対象物において形状的な特徴が利用できる場合には、その領域における色に対する表面反射率であってもよい。

アルベド補正部１４２は、それぞれの参照表面反射率Ｒｒｅｆ（ｉ，λ）に対して、入力画像中の対象物領域において同じ性質を有する色を求め、それらの色について表面反射率を求める。つまり、１個目の参照表面反射率Ｒｒｅｆ（１，λ）が、画像中の対象物領域の平均色に対して、上述の最も好ましいと判断された表面反射率であった場合、アルベド補正部１４２は、対象物領域の平均色に対する表面反射率Ｒ（１，λ）を求める。ここで、Ｒｒｅｆ（１，λ）の特性パラメータをｂ_ｒ１，ｉ（ｉ＝１〜３）、Ｒ（１，λ）の特性パラメータをｂ_１，ｉ（ｉ＝１〜３）とする。

アルベド補正部１４２は、入力画像中の対象物領域における平均色を、好ましいと判断されたときの対象物領域における中心色に補正する。具体的には、アルベド補正部１４２は、Ｒｒｅｆ（１，λ）の特性パラメータであるｂ_ｒ１，ｉ（ｉ＝１〜３）を、式１１の左辺の特性パラメータｂ_ｉ’（ｉ＝１〜３）に代入する。また、アルベド補正部１４２は、Ｒ（１，λ）の特性パラメータをｂ_１，ｉ（ｉ＝１〜３）を、式１１の右辺の特性パラメータｂ_ｉ（ｉ＝１〜３）に代入する。すると、式１１は、未知である要素ｍ_ｉｊ（ｉ＝１〜３，ｊ＝１〜３）に関する連立方程式になる。

対象物の３個以上の色について以上の処理を行うことにより、方程式の数と未知数との関係から、未知である要素ｍ_ｉｊ（ｉ，ｊ＝１〜３）を解くことができる。そのため、式１１における補正行列を導出することが出来る。

図９は、特性パラメータｂ_ｉ（ｉ＝１〜３）の空間において、対象物領域における３個の色について、特性パラメータの補正を行った場合の関係の一例を示す説明図である。図９に示す例では、入力画像における対象物の表面反射率の特性パラメータが、対象物の参照表面反射率の特性パラメータとして補正されたことを示す。図９に例示するように、入力画像中の特定対象物の領域における特性パラメータの分布は、補正により、望ましい色再現をもたらす参照表面反射率における特性パラメータの分布になる。よって、色の分散の変化（例えば、分散の偏りや分散が小さくなること）を抑えることができ、補正後の色の質感が損なわれることを抑制できる。

また、逆に、入力画像中の特定対象物の領域における特性パラメータの分布が大きく分散している場合には、補正により、参照表面反射率における特性パラメータの分布の分散に調整できる。そのため、色の分散が大きすぎることによる質感の低下も改善できる。

アルベド補正部１４２は、入力画像中の対象物における各画素の表面反射率を構成する特性パラメータｂ_ｉ（ｉ＝１〜３）に、式１１の補正行列を適用して、補正後の特性パラメータを算出する。そして、アルベド補正部１４２は、算出した補正後のパラメータを式６に代入して、入力画像中の対象物における各画素の補正後の再現表面反射率を算出する。

次に、アルベド補正部１４２は、入力画像中の対象物における各画素の補正後の色を算出する。具体的には、アルベド補正部１４２は、照明の分光分布及び再現表面反射率を式２の右辺に代入して、三刺激値Ｘ’Ｙ’Ｚ’、すなわち、補正後のアルベドＡＤｉ’（ｉはカラーチャネルを表す）を計算する。なお、表色系がＲＧＢの場合、アルベド補正部１４２は、以下の式１２を用いて補正後のアルベドＡＤｉ’を計算する。

ここで、ＸＲは、式１に例示する行列ＲＸの逆行列であり、既知の値をとる行列である。

次に、再現色算出部１５０は、補正後のアルベドと、陰影情報（すなわち、拡散反射成分の輝度）と、表面反射成分とを用いて、入力画像中の対象物における各画素の補正後の色を算出する（ステップＳ８）。なお、この補正後の色を、再現色と言うこともできる。

再現色算出部１５０は、まず、式１３に例示するように、補正後のアルベドＡＤｉ’に拡散反射成分の輝度、すなわち陰影情報を乗算し、完全拡散成分ＤＲｉ’を計算する。

ＤＲｉ’＝ＡＤｉ’×Ｙ （式１３）

ここで、Ｙは、完全拡散成分ＤＲｉの輝度、すなわち、式１で求められる三刺激値のＹ成分である。そして、再現色算出部１５０は、式１４に例示するように、完全拡散成分ＤＲｉ’に表面反射成分ＳＰｉを加算することで、色補正後の画素値Ｉｉ’を求める。

Ｉｉ’＝ＤＲｉ’＋Ｓｐｉ （式１４）

そして、再現色算出部１５０は、入力画像中の対象物領域の色を上記方法に従って補正した画像を出力画像として出力する。

上記説明では、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明した。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。ただし、このデバイス依存カラーは、ＲＧＢに限定されない。デバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、デバイス依存カラーは、ＲＧＢ以外のＣＭＹやＣＭＹＫなどであってもよい。この場合、ＲＧＢ以外の画像についても本発明の色補正方法を適用することが可能である。

また、上記説明では、照明の分光分布（照明の色情報）を復元する処理が図３に例示するステップＳ２で行われる場合について説明した。ただし、この処理は、必ずしも図３に例示する順序で行われなくてもよい。この処理は、図３に例示するステップＳ６の処理（すなわち、表面反射率の算出処理）より前の段階で行われていればよい。

以上のように、本実施形態によれば、画像情報取得部１１０が、対象物領域を入力画像から検出する。次に、反射情報復元部１２０は、対象物領域における色情報と完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する。また、アルベド計算部１３０は、完全拡散成分から陰影情報を除去したアルベドを算出する。その後、アルベド補正処理部１４０（具体的には、分光分布復元部１４１及びアルベド補正部１４２）は、対象物領域における色情報及びアルベドに基づいて、対象物領域における表面反射率を復元し、その表面反射率に基づいて補正アルベドを算出する。そして、再現色算出部１５０は、補正アルベドに陰影情報及び表面反射成分を付加して再現色を算出し、その再現色に基づいて出力画像を生成する。このような処理を行うことで、カラー画像機器で撮影されたカラー画像中の所定の対象物を、低い計算コストで所望の色に再現し、質感を向上させることができる。

次に、カラー画像処理装置（色補正装置と言うこともある。）の変形例について説明する。図１０は、第１の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示すブロックである。

図１０に例示するカラー画像処理装置１０１は、入力画像１に対して色補正を施し出力画像２を出力する装置である。カラー画像処理装置１０１は、対象物領域検出部３と、照明の分光分布復元部４（以下、分光分布復元部４）と、対象物の代表表面反射率保存メモリ５（以下、代表表面反射率保存メモリ５）と、対象物領域の低周波成分計算部６（以下、低周波成分計算部６）と、対象物領域の陰影情報と表面反射成分と完全拡散成分計算部７（以下、反射情報復元部７）と、対象物領域のアルベド計算部８（以下、アルベド計算部８）と、対象物領域の表面反射率復元部９（以下、表面反射率復元部９）と、表面反射率補正によるアルベド補正部１０（以下、補正アルベド算出部１０）と、対象物の参照表面反射率保存メモリ１１（以下、参照表面反射率保存メモリ１１）と、対象物領域の再現色算出部１２（以下、再現色算出部１２）とを備えている。

対象物領域検出部３は、入力画像１が与えられると、入力画像１を解析し、予め想定された特定対象物を検出する。そして、対象物領域検出部３は、検出した特定対象物における対象物領域を示す情報を出力する。ここで、対象物領域を示す情報には、対象物領域の色情報も含まれる。具体的には、対象物領域検出部３は、図３のステップＳ１で説明した画像情報取得部１１０が行う方法を用いて、対象物領域の色情報を求める。

また、既に説明したように、入力画像１から検出する特定対象物は、人の顔などのように、対象物領域の色と形状特徴がある程度限定できるものである。なお、特定対象物の検出方法は、画像情報取得部１１０の説明で記載したとおりである。なお、入力画像１から目的とする対象物が検出できない場合、後述する再現色算出部１２が、入力画像１を出力画像２として出力する。

代表表面反射率保存メモリ５は、対象物領域の代表表面反射率を保存する。対象物領域の代表表面反射率は、予め設定された値が保存される。

分光分布復元部４は、照明の分光分布を復元する。具体的には、分光分布復元部４は、対象物領域における色情報と、対象物領域の代表的な表面反射率とを用いて、入力画像中の照明の分光分布を復元する。なお、対象物領域は、対象物領域検出部３によって検出された特定対象物の示す領域である。分光分布復元部４は、対象物領域における照明の分光分布（照明の色情報）を、図３のステップＳ２で説明した分光分布復元部１４１が行う方法を用いて復元する。

図１０に例示するカラー画像処理装置１０１において、分光分布復元部４は、代表表面反射率保存メモリ５から対象物領域の代表的な表面反射率を読み出す。そして、分光分布復元部４は、対象物領域における色情報と、対象物領域の代表的な表面反射率とを用いて、照明の分光分布を、ステップＳ２に記載された処理に従って復元する。

低周波成分計算部６は、対象物領域の低周波成分を計算する。具体的には、低周波成分計算部６は、ステップＳ３に記載された反射情報復元部１２０が行う処理に基づいて、対象物領域検出部３が検出した対象物領域の低周波成分を計算する。

反射情報復元部７は、対象物領域の陰影情報と、表面反射成分と、完全拡散成分とを計算する。具体的には、反射情報復元部７は、ステップＳ４に記載された反射情報復元部１２０が行う処理に従い、対象物領域の低周波成分を利用して、対象物領域における表面反射成分と完全拡散成分を求め、さらに、対象物領域の陰影情報を求める。

アルベド計算部８は、対象物領域のアルベドを計算する。具体的には、アルベド計算部８は、反射情報復元部７が求めた完全拡散成分から輝度、すなわち陰影情報を取り除いた色情報であるアルベドを算出する。なお、反射情報復元部７がアルベドを算出する処理は、ステップＳ５に記載されたアルベド計算部１３０が行う処理手順に従う。

表面反射率復元部９は、対象物領域の表面反射率を復元する。具体的には、表面反射率復元部９は、復元された照明の分光分布と、対象物領域のアルベドとから、対象物領域における各画素の表面反射率を復元する。表面反射率復元部９は、ステップＳ６に記載されたアルベド補正部１４２が行う処理手順に従って、表面反射率を復元する。

参照表面反射率保存メモリ１１は、対象物領域の参照表面反射率を記憶する。参照表面反射率保存メモリ１１は、３以上の対象物領域の参照表面反射率を記憶可能なメモリである。

補正アルベド算出部１０は、表面反射率を補正してアルベドを補正する。具体的には、補正アルベド算出部１０は、参照表面反射率保存メモリ１１に記憶されている対象物領域の参照表面反射率を用いて、表面反射率復元部９が復元した表面反射率を補正する。次に、補正アルベド算出部１０は、補正した表面反射率をもとに、再現表面反射率を計算する。そして、補正アルベド算出部１０は、照明の分光分布と再現表面反射率とから補正後のアルベド（補正アルベド）を算出する。補正アルベド算出部１０は、ステップＳ７に記載されたアルベド補正部１４２が行う処理手順に従う。

なお、補正アルベド算出部１０は、複数の参照表面反射率を用いて再現表面反射率を算出してもよい。この場合、補正アルベド算出部１０は、ステップＳ７の後半部に記載されたアルベド補正部１４２が行う処理手順（より具体的には、再現表面反射率拡張導出処理）に従って再現表面反射率を算出する。

再現色算出部１２は、対象物領域の再現色を算出する。具体的には、再現色算出部１２は、補正された対象物領域における各画素のアルベドと、完全拡散成分の輝度（すなわち陰影情報）と、表面反射成分とを用いて、入力画像中の対象物における各画素の補正後の色を算出する。そして、再現色算出部１２は、算出した補正後の画像を出力画像として出力する。なお、再現色算出部１２は、ステップＳ８に記載された再現色算出部１５０が行う処理手順に従って、補正後の色を算出し、補正した画像を出力する。

以上のことから、図１０に例示するカラー画像処理装置１０１と、図２に例示するカラー画像処理装置１００とは、以下の対応関係を有する。画像情報取得部１１０は、対象物領域検出部３に対応する。反射情報復元部１２０は、低周波成分計算部６と、反射情報復元部７とによって実現される。アルベド計算部１３０は、アルベド計算部８に対応する。アルベド補正処理部１４０における分光分布復元部１４１は、分光分布復元部４と代表表面反射率保存メモリ５とによって実現される。また、アルベド補正部１４２は、表面反射率復元部９、補正アルベド算出部１０、及び参照表面反射率保存メモリ１１によって実現される。再現色算出部１５０は、再現色算出部１２に対応する。なお、図２または図９に示したカラー画像処理装置の構成は一例であり、同様の機能を実現する装置であれば、その他の構成であってもよい。

さらに、カラー画像処理装置１０１は、コンピュータで実現可能である。具体的には、カラー画像処理装置を構成する各構成要素、すなわち、対象物領域検出部３と、分光分布復元部４と、低周波成分計算部６と、反射情報復元部７と、アルベド計算部８と、表面反射率復元部９と、補正アルベド算出部１０と、再現色算出部１２とは、プログラム（カラー画像処理プログラム）に従って動作するコンピュータの中央処理装置（ＣＰＵ）によって実現される。また、代表表面反射率保存メモリ５と、参照表面反射率保存メモリ１１とは、例えば、カラー画像処理装置１０１が備えるメモリ装置によって実現される。

例えば、プログラムは、カラー画像処理装置１０１の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、対象物領域検出部３、分光分布復元部４、低周波成分計算部６、反射情報復元部７、アルベド計算部８、表面反射率復元部９、補正アルベド算出部１０、及び、再現色算出部１２として動作してもよい。

また、対象物領域検出部３と、分光分布復元部４と、低周波成分計算部６と、反射情報復元部７と、アルベド計算部８と、表面反射率復元部９と、補正アルベド算出部１０と、再現色算出部１２とは、それぞれが専用のハードウェアで実現されていてもよい。

なお、カラー画像処理装置を構成する各構成要素がＣＰＵ及びメモリで実現可能であること、およびプログラムに従って動作可能であることは、実施形態１に限らず、後述する第２の実施形態でも同様である。

実施形態２．
次に、本発明の第２の実施形態におけるカラー画像処理方法について、図面を用いて処理の流れを説明する。図１１は、本発明の第２の実施形態におけるカラー画像処理方法の例を示すフローチャートである。第２の実施形態におけるカラー画像処理方法についても、図２に例示するカラー画像処理装置１００を用いて実現するものとする。

第２の実施形態におけるカラー画像処理方法は、図３におけるステップＳ６及びステップＳ７で行われる２つの処理（具体的には、表面反射率を復元する処理及び補正後のアルベドを計算する処理）が１つの処理にまとめられている点において、第１の実施形態におけるカラー画像処理方法と異なる。それ以外の処理については、第１の実施形態と同様である。

具体的には、図２に例示するアルベド補正部１４２が、入力画像中の対象物における各画素の表面反射率を復元する処理（ステップＳ６）と、復元された表面反射率を補正して、補正後のアルベドを計算する処理（ステップＳ７）とをまとめた処理（具体的には、図１０におけるステップＳ９）を行う。すなわち、ステップＳ９では、図１１におけるステップＳ８で行われる補正後の再現色の計算結果が、第１の実施形態におけるステップＳ８で算出された計算結果と同様の結果になるような計算式（補正式）を作成する。以下、ステップＳ９で、アルベド補正部１４２が、線形計算に基づく補正式を作成する方法について説明する。このような補正式を利用したカラー画像処理方法を用いれば、第１の実施形態におけるカラー画像処理方法と同等の補正結果を低計算コストで実現できる。

なお、入力画像から特定対象物を検出して、その特定対象物のアルベドを算出するまでの図１１におけるステップＳ１からステップＳ５の処理、及び、補正後の画素値を算出する図１１におけるステップＳ８の処理は、図３に例示するステップ１からステップＳ５及びステップＳ８の処理と同様であるため説明を省略する。

アルベド計算部１３０が特定対象物のアルベドを算出した後、アルベド補正部１４２は、特定対象物の参照表面反射率を利用して、入力画像中の特定対象物における各画素の表面反射率を補正する。そして、アルベド補正部１４２は、補正後のアルベドを線形変換によって計算する（ステップＳ９）。具体的には、まず、アルベド補正部１４２は、上述の式１１で要素ｍ_ｉｊ（ｉ＝１〜３，ｊ＝１〜３）により構成される３×３行列（すなわち、対象物領域における表面反射率の補正行列）を、ステップＳ６で説明した対象物領域における表面反射率の算出方法を用いて計算する。

いま、ステップＳ２において、分光分布復元部１４１が入力画像を撮影した際の照明の分光分布Ｉ（λ）を復元しているものとする。また、アルベド補正部１４２が、図３のステップＳ６と同様の処理を行い、入力画像中の対象物領域におけるある画素の表面反射率Ｒ（λ）を復元しているものとする。すなわち、ここでは、物体の色を表す特性パラメータｂ_ｉ（ｉ＝１〜３）がすでに得られている状態にあるものとする。この状態で、アルベド補正部１４２は、上述したステップＳ７と同様の処理によって、表面反射率を補正する３×３行列の補正行列を導出する。

補正行列を導出した後、アルベド補正部１４２は、Ｒ’（λ）の特性パラメータｂ_ｉ’（ｉ＝１〜３）を、式１１を用いて算出する。ここで、Ｒ’（λ）は、補正後の対象物領域の表面反射率である。そして、アルベド補正部１４２は、特性パラメータｂ_ｉ’（ｉ＝１〜３）を式６に代入することで、補正後の表面反射率Ｒ’（λ）を計算する。このとき、補正後の表面反射率Ｒ’（λ）は、以下の式１５のように表わされる。

また、補正後の対象物領域の色の三刺激値Ｘ’Ｙ’Ｚ’は、以下の式１６のように表される。

さらに、式１６の右辺に、式１５を代入し、行列変換の形式で表すと、以下の式１７のようになる。

ここで、Ｍ（ｘ，ｒ_ｉ）（ｉ＝０〜３）は、以下の積分項を表す。ｙ、ｚについても同様である。

また、式１７は、式７及び式１１から、以下の式１８のように表わされる。

さらに、式１８は、以下の式１９のようにまとめることができる。

ここで、行列Ｏは、以下の式２０で表される３×３行列であり、行列Ｐは、以下の式２１で表される３×１行列であって、いずれの行列も定数行列になる。

色情報を補正する式である式１９が得られると、分光分布復元部１４１は、入力画像中の対象物領域における全ての画素について三刺激値ＸＹＺを算出する。そして、アルベド補正部１４２は、式１９を用いて補正後の三刺激値Ｘ’Ｙ’Ｚ’を計算する。そして、アルベド補正部１４２は、式１２を用いて、補正後のＲ’Ｇ’Ｂ’（補正後のアルベド）を計算する。すなわち、入力画像中の対象領域における全ての画素値ＲＧＢを、画素値Ｒ’Ｇ’Ｂ’に補正する処理が、１つの線形計算で表わせる。なお、この線形計算を行う式をアルベド補正式と呼ぶことができる。このアルベド補正式は、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるといえる。このように、一つの線形計算に基づく補正式に置き換えることによって、処理時間の高速化を図ることができる。

すなわち、本実施形態によれば、アルベド補正部１４２が補正式（アルベド補正式）に基づいて補正アルベドを算出する。よって、第１の実施形態の効果に加え、第１の実施形態におけるカラー画像処理方法と同等の補正結果を低計算コストで実現できる。

次に、カラー画像処理装置の他の変形例について説明する。図１２は、第２の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示す説明図である。図１２に例示するカラー画像処理装置１０２は、入力画像１に対して色補正を施し出力画像２を出力する装置である。カラー画像処理装置１０２は、対象物領域検出部３と、分光分布復元部４と、代表表面反射率保存メモリ５と、低周波成分計算部６と、反射情報復元部７と、アルベド計算部８と、アルベド補正部１３と、参照表面反射率保存メモリ１１と、再現色算出部１２とを備えている。

すなわち、カラー画像処理装置１０２は、図１０に例示するカラー画像処理装置１０１の表面反射率復元部９及び補正アルベド算出部１０を、アルベド補正部１３に置き換えた装置である。そのため、以下、アルベド補正部１３の内容についてのみ説明する。

アルベド補正部１３は、前述した図１１のステップＳ９に相当する処理を実行する。具体的には、アルベド補正部１３は、アルベド補正部１３は、対象物領域の色を補正する補正式として、式１９、もしくは、式１と式１９と式１２とを一つの線形変換の形式で表した補正式を作成する。そして、アルベド補正部１３は、この補正式を用いて対象物領域の画素を補正した補正アルベドを算出する。

次に、本発明を実現する様々な実施形態について説明する。本発明によるカラー画像処理方法及び装置は、コンピュータを用いて実現することができる。また、本発明によるカラー画像処理方法及びカラー画像処理装置が行う各処理は、ソフトウェア、ハードウェア、ファームフェアのいずれか二つ以上の組み合わせで実現することもできる。

例えば、図２に例示するカラー画像処理装置１００を、プログラムを用いてコンピュータで実現する場合、プログラム（プログラムの命令群）は、少なくとも次の手順をコンピュータに実行させる。具体的には、プログラムが、コンピュータのメモリにロードされ、ＣＰＵの制御のもとで、以下の命令（ａ）〜（ｅ）が実行される。

（ａ）画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手順。この手順は、図２における画像情報取得部１１０が行う処理に対応する。

（ｂ）対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元手順。この手順は、図２における反射情報復元部１２０が行う処理に対応する。

（ｃ）完全拡散成分から、その完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出手順。この手順は、図２におけるアルベド計算部１３０が行う処理に対応する。

（ｄ）対象物領域における色情報及びアルベドに基づいて、対象物領域における表面反射率を復元し、その表面反射率に基づいてアルベドを補正した色情報である補正アルベドを算出するアルベド補正処理手順。この手順は、図２におけるアルベド補正処理部１４０が行う処理に対応する。

（ｅ）補正アルベドに陰影情報及び表面反射成分を付加した色情報である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出手順。この手順は、図２における再現色算出部１５０が行う処理に対応する。

具体的に、アルベド補正処理手順を、次の手順で実現してもよい。

（ｆ）対象物領域における色情報から、照明の分光分布を復元する分光分布復元手順、（ｇ）分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元する表面反射率復元手順、および、（ｈ）表面反射率に基づいて補正アルベドを算出する補正アルベド算出手順。

補正アルベド算出手順では、より具体的には、対象物領域に応じて予め定められた参照表面反射率をもとに表面反射率を補正した反射率である再現表面反射率を算出し、その再現表面反射率に基づいて補正アルベドを算出する。なお、参照表面反射率は、例えば、参照表面反射率保存メモリに記憶される。

分光分布復元手順では、より具体的には、対象物領域における色情報と、対象物領域の代表的な表面反射率として予め定められた代表表面反射率とから分光分布を復元する。

さらに、アルベド補正処理手順では、例えば、第２の実施形態で説明したように、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるアルベド補正式に基づいて補正アルベドを算出してもよい。補正式は、例えば、行列式で表わされる。

なお、上述した各処理は、プログラムで実現する処理の一例を示したものであり、プログラムが行う処理は、これらの処理に限られることはない。また、複数の処理のうちの一部をハードウェアやファームウェアによって実現することも可能である。

また、プログラム（カラー画像処理プログラム）は、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。

以上説明したように、本発明によれば、カラー画像機器で撮影されたカラー画像中の特定の対象物について、その特定の対象物が示す領域の所望の色再現を実現できる。そのため、画像の質感が劣化することを防止し、画像の質感を維持または向上させることができる。

また、例えば、カラー画像データのＲＧＢや、色相、彩度、明度といった色の３属性を用いたカラー画像処理では、本来の物体の質感を低下させてしまうという課題があった。しかし、本発明では、上記課題を解決している。すなわち、本発明によれば、カラー画像機器で撮影されたカラー画像中の特定対象物について質感を落とすことなく対象物領域の所望の色再現を実現することができる。

また、本発明によれば、光ファイバスペクトロメータや、３Ｄスキャナなどの測定装置を必要とせず、入力画像のみを利用した、より容易な方法で画像の質感を向上させることができる。

次に、本発明によるカラー画像処理装置の最小構成の例を説明する。図１３は、本発明によるカラー画像処理装置の最小構成の例を示すブロック図である。本発明によるカラー画像処理装置は、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段８１（例えば、画像情報取得部１１０）と、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて（例えば、色情報から低周波成分を除いて）表面反射成分を復元する反射成分復元手段８２（例えば、反射情報復元部１２０）と、完全拡散成分から、その完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出手段８３（例えば、アルベド計算部１３０）と、対象物領域における色情報及びアルベドに基づいて、対象物領域における表面反射率を復元し、その表面反射率に基づいてアルベドを補正した色情報である補正アルベドを算出するアルベド補正処理手段８４（例えば、アルベド補正処理部１４０）と、補正アルベドに陰影情報及び表面反射成分を付加した色情報である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出手段８５（例えば、再現色算出部１５０）とを備えている。

そのような構成により、カラー画像機器で撮影されたカラー画像中の所定の対象物を、低い計算コストで所望の色に再現し、質感を向上させることができる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）画像処理の対象とする領域である対象物領域を入力画像から検出し、前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、前記色情報及び低周波成分に基づいて表面反射成分を復元し、前記完全拡散成分から、当該完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出し、前記対象物領域における色情報及び前記アルベドに基づいて、対象物領域における表面反射率を復元し、前記表面反射率に基づいて前記アルベドを補正した色情報である補正アルベドを算出し、前記補正アルベドに前記陰影情報及び前記表面反射成分を付加した色情報である再現色を算出し、前記再現色に基づいて出力画像を生成することを特徴とするカラー画像処理方法。

（付記２）表面反射率を復元する際、対象物領域における色情報から、照明の分光分布を復元し、当該分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元し、補正アルベドを算出する際には、前記表面反射率に基づいて補正アルベドを算出する付記１記載のカラー画像処理方法。

（付記３）補正アルベドを算出する際、対象物領域に応じて予め定められた参照表面反射率をもとに表面反射率を補正した反射率である再現表面反射率を算出し、当該再現表面反射率に基づいて補正アルベドを算出する付記１または付記２記載のカラー画像処理方法。

（付記４）補正アルベドを算出する際、３以上の参照表面反射率をもとに再現表面反射率を算出する付記３記載のカラー画像処理方法。

（付記５）照明の分光分布を復元する際、対象物領域における色情報と、対象物領域の代表的な表面反射率として予め定められた代表表面反射率とをもとに分光分布を復元する付記２から付記４のうちのいずれか１つに記載のカラー画像処理方法。

（付記６）補正アルベドを算出する際、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるアルベド補正式を生成し、アルベドに対して当該アルベド補正式を用いた行列変換を行うことにより補正アルベドを算出する付記１から付記５のうちのいずれか１項に記載のカラー画像処理方法。

（付記７）画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段と、前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、当該色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元手段と、前記完全拡散成分から、当該完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出手段と、前記対象物領域における色情報及び前記アルベドに基づいて、対象物領域における表面反射率を復元し、当該表面反射率に基づいて前記アルベドを補正した色情報である補正アルベドを算出するアルベド補正手段と、前記補正アルベドに前記陰影情報及び前記表面反射成分を付加した色情報である再現色を算出し、当該再現色に基づいて出力画像を生成する再現色算出手段とを備えたことを特徴とするカラー画像処理装置。

（付記８）アルベド補正手段は、対象物領域における色情報から、照明の分光分布を復元する分光分布復元手段と、前記分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元する表面反射率復元手段と、前記表面反射率に基づいて補正アルベドを算出する補正アルベド算出手段とを含む付記７記載のカラー画像処理装置。

（付記９）対象物領域に応じて予め定められた参照表面反射率を記憶する参照表面反射率記憶手段を備え、補正アルベド算出手段は、前記参照表面反射率をもとに表面反射率を補正した反射率である再現表面反射率を算出し、当該再現表面反射率に基づいて補正アルベドを算出する付記８記載のカラー画像処理装置。

（付記１０）参照表面反射率記憶手段は、３以上の参照表面反射率を記憶し、補正アルベド算出手段は、前記３以上の参照表面反射率をもとに再現表面反射率を算出する付記９記載のカラー画像処理装置。

（付記１１）アルベド補正手段は、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるアルベド補正式を生成し、アルベドに対して当該アルベド補正式を用いた行列変換を行うことにより補正アルベドを算出する付記７から付記１０のうちのいずれか１つに記載のカラー画像処理装置。

（付記１２）補正アルベド算出手段は、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるアルベド補正式を算出された再現表面反射率をもとに生成し、当該補正式を用いて補正アルベドを算出する付記９記載のカラー画像処理装置。

（付記１３）代表表面反射率を記憶する代表表面反射率記憶手段を備え、分光分布復元手段は、対象物領域における色情報と、前記代表表面反射率記憶手段に記憶された表面反射率とをもとに分光分布を復元する付記８から付記１２のうちのいずれか１つに記載のカラー画像処理装置。

（付記１４）コンピュータに、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出処理、前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、当該色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元処理、前記完全拡散成分から、当該完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出処理、前記対象物領域における色情報及び前記アルベドに基づいて、対象物領域における表面反射率を復元し、当該表面反射率に基づいて前記アルベドを補正した色情報である補正アルベドを算出するアルベド補正処理、および、前記補正アルベドに前記陰影情報及び前記表面反射成分を付加した色情報である再現色を算出し、当該再現色に基づいて出力画像を生成する再現色算出処理を実行させるためのカラー画像処理プログラム。

（付記１５）コンピュータに、アルベド補正処理で、対象物領域における色情報から、照明の分光分布を復元する分光分布復元処理、前記分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元する表面反射率復元処理、および、前記表面反射率に基づいて補正アルベドを算出する補正アルベド算出処理を実行させる付記１４記載のカラー画像処理プログラム。

（付記１６）コンピュータに、補正アルベド算出処理で、対象物領域に応じて予め定められた参照表面反射率を記憶する参照表面反射率記憶手段に記憶された当該参照表面反射率をもとに表面反射率を補正した反射率である再現表面反射率を算出させ、当該再現表面反射率に基づいて補正アルベドを算出させる付記１５記載のカラー画像処理プログラム。

（付記１７）コンピュータに、補正アルベド算出処理で、参照表面反射率記憶手段に記憶された３以上の参照表面反射率をもとに再現表面反射率を算出させる付記１６記載のカラー画像処理プログラム。

（付記１８）コンピュータに、分光分布復元処理で、対象物領域における色情報と、対象物領域の代表的な表面反射率として予め定められた代表表面反射率とをもとに分光分布を復元させる付記１５から付記１７のうちのいずれか１つに記載のカラー画像処理プログラム。

（付記１９）コンピュータに、補正アルベド算出処理で、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるアルベド補正式を生成させ、アルベドに対して当該アルベド補正式を用いた行列変換を行うことにより補正アルベドを算出させる付記１４から付記１８のうちのいずれか１つに記載のカラー画像処理プログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１０年６月３０日に出願された日本特許出願２０１０−１４９２３３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、カラー画像入出力装置における色補正を実現する機能に好適に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する色補正ソフトウェアあるいはユーティリティとしても適用可能である。

１ 入力画像
２ 出力画像
３ 対象物領域検出部
４ 照明の分光分布復元部
５ 対象物の代表表面反射率保存メモリ
６ 対象物領域の低周波成分計算部
７ 対象物領域の陰影情報と表面反射成分と完全拡散成分計算部
８ 対象物領域のアルベド計算部
９ 対象物領域の表面反射率復元部
１０ 表面反射率補正による補正アルベド算出部
１１ 対象物の参照表面反射率保存メモリ
１２ 対象物領域の再現色算出部
１３ アルベド補正手段
１００，１０１，１０２ カラー画像処理装置
１１０ 画像情報取得部
１２０ 反射情報復元部
１３０ アルベド計算部
１４０ アルベド補正処理部
１４１ 分光分布復元部
１４２ アルベド補正部
１５０ 再現色算出部

Claims (10)

1. 画像処理の対象とする領域である対象物領域を入力画像から検出し、
   前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、
   前記対象物領域の色情報から前記完全拡散成分を減算して、当該対象物領域における表面反射成分を算出し、
   前記完全拡散成分から、当該完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出し、
   前記対象物領域における色情報及び前記アルベドに基づいて、対象物領域における表面反射率を復元し、
   前記表面反射率に基づいて前記アルベドを補正した色情報である補正アルベドを算出し、
   前記補正アルベドに前記陰影情報及び前記表面反射成分を付加した色情報である再現色を算出し、
   前記再現色に基づいて出力画像を生成し、
   前記完全拡散成分を算出する際、前記対象物領域における画素ごとに周辺画素の平均値を算出する、又は、前記対象物領域における各画素の周辺画素を所定の値に置き換える平滑化フィルタを使用することにより、当該対象物領域における完全拡散成分を算出する
   ことを特徴とするカラー画像処理方法。
2. 表面反射率を復元する際、対象物領域における色情報から、照明の分光分布を復元し、当該分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元し、
   補正アルベドを算出する際には、前記表面反射率に基づいて補正アルベドを算出する
   請求項１記載のカラー画像処理方法。
3. 補正アルベドを算出する際、対象物領域に応じて予め定められた参照表面反射率をもとに表面反射率を補正した反射率である再現表面反射率を算出し、当該再現表面反射率に基づいて補正アルベドを算出する
   請求項１または請求項２記載のカラー画像処理方法。
4. 補正アルベドを算出する際、３以上の参照表面反射率をもとに再現表面反射率を算出する請求項３記載のカラー画像処理方法。
5. 照明の分光分布を復元する際、対象物領域における色情報と、対象物領域の代表的な表面反射率として予め定められた代表表面反射率とをもとに分光分布を復元する
   請求項２から請求項４のうちのいずれか１項に記載のカラー画像処理方法。
6. 補正アルベドを算出する際、表面反射率を補正する行列を用いて線形式で表わされた、アルベドを補正する式であるアルベド補正式を生成し、アルベドに対して当該アルベド補正式を用いた行列変換を行うことにより補正アルベドを算出する
   請求項１から請求項５のうちのいずれか１項に記載のカラー画像処理方法。
7. 画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段と、
   前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、前記対象物領域の色情報から前記完全拡散成分を減算して、当該対象物領域における表面反射成分を算出する反射成分復元手段と、
   前記完全拡散成分から、当該完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出手段と、
   前記対象物領域における色情報及び前記アルベドに基づいて、対象物領域における表面反射率を復元し、当該表面反射率に基づいて前記アルベドを補正した色情報である補正アルベドを算出するアルベド補正手段と、
   前記補正アルベドに前記陰影情報及び前記表面反射成分を付加した色情報である再現色を算出し、当該再現色に基づいて出力画像を生成する再現色算出手段とを備え、
   前記反射成分復元手段は、前記対象物領域における画素ごとに周辺画素の平均値を算出する、又は、前記対象物領域における各画素の周辺画素を所定の値に置き換える平滑化フィルタを使用することにより、当該対象物領域における完全拡散成分を算出する
   ことを特徴とするカラー画像処理装置。
8. アルベド補正手段は、
   対象物領域における色情報から、照明の分光分布を復元する分光分布復元手段と、
   前記分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元する表面反射率復元手段と、
   前記表面反射率に基づいて補正アルベドを算出する補正アルベド算出手段とを含む
   請求項７記載のカラー画像処理装置。
9. コンピュータに、
   画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出処理、
   前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、前記対象物領域の色情報から前記完全拡散成分を減算して、当該対象物領域における表面反射成分を算出する反射成分復元処理、
   前記完全拡散成分から、当該完全拡散成分の輝度を示す情報である陰影情報を除去した色情報であるアルベドを算出するアルベド算出処理、
   前記対象物領域における色情報及び前記アルベドに基づいて、対象物領域における表面反射率を復元し、当該表面反射率に基づいて前記アルベドを補正した色情報である補正アルベドを算出するアルベド補正処理、および、
   前記補正アルベドに前記陰影情報及び前記表面反射成分を付加した色情報である再現色を算出し、当該再現色に基づいて出力画像を生成する再現色算出処理を実行させ、
   前記反射成分復元処理で、前記対象物領域における画素ごとに周辺画素の平均値を算出する、又は、前記対象物領域における各画素の周辺画素を所定の値に置き換える平滑化フィルタを使用することにより、当該対象物領域における完全拡散成分を算出させる
   ためのカラー画像処理プログラム。
10. コンピュータに、
    アルベド補正処理で、
    対象物領域における色情報から、照明の分光分布を復元する分光分布復元処理、
    前記分光分布とアルベドとに基づいて、対象物領域における表面反射率を復元する表面反射率復元処理、および、
    前記表面反射率に基づいて補正アルベドを算出する補正アルベド算出処理を実行させる
    請求項９記載のカラー画像処理プログラム。

Images