JP5300791B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、マルチバンド画像から色再現画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

現在一般的に普及しているＲＧＢ（３原色）に基づく画像処理装置では、画像中の白色画素、もしくはニュートラルな灰色画素をＧＵＩ（Graphical User Interface）上などで指定し、その画素のＲＧＢ値が最大値（８ｂｉｔの場合、［Ｒ，Ｇ，Ｂ］＝［２５５，２５５，２５５］）もしくは同じ値（Ｒ値＝Ｇ値＝Ｂ値）になるように、信号値に係数を乗算する補正処理やガンマ補正処理を行うことにより色調整（ホワイトバランス）を行うことが知られている（例えば、非特許文献１の３．３ホワイトバランス参照）。

肥後智昭、宮崎大輔、池内 克史、"二色性反射モデルに基づくリアルタイム鏡面反射成分除去"、情報処理学会研究報告．ＣＶＩＭ，［コンピュータビジョンとイメージメディア］２００６（９３），２１１−２１８，２００６０９０８

しかしながら、４チャンネル以上のマルチバンド画像において、非特許文献１に記載されているような補正処理を行うことにより、例えば、４チャンネルそれぞれの画素値をそろえるように補正をした場合、その後の色再現結果の処理において大きく色がずれてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、４チャンネル以上のマルチバンド画像から色再現画像を生成する際に、大きく色がずれてしまうことを防止することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明は、被写体をカメラによって撮影して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成する画像処理装置であって、前記カメラの分光感度情報と、撮影時の照明光の分光分布情報と、前記被写体の統計情報とから得られる分光反射率推定行列と、前記マルチバンド画像上の白色点の画素値とを入力して、前記白色点の分光反射率を算出する分光反射率推定手段と、前記分光反射率推定行列を、前記白色点の分光反射率に基づき補正する分光反射率推定行列補正手段と、前記補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成手段と、前記分光反射率画像から前記所定の照明環境下の色再現画像を生成する色再現処理手段とを備えたことを特徴とする。

本発明は、前記分光反射率推定行列補正手段は、分光反射率推定行列の波長に相当する成分を前記分光反射率で除算して、その結果を補正後の分光反射率推定行列とすることを特徴とする。

本発明は、前記分光反射率推定行列補正手段は、前記分光反射率が基準白色になるように、前記カメラの各チャンネルの分光感度に重み係数をかけて補正することにより補正後の分光反射率推定行列と得ることを特徴とする。

本発明は、前記分光反射率推定行列補正手段は、前記分光反射率が基準白色になるに、撮影時の照明光スペクトルの各波長成分に重み係数をかけて補正することにより補正後の分光反射率推定行列と得ることを特徴とする。

本発明は、被写体をカメラによって撮影して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成するために、コンピュータに画像処理を実行する画像処理方法であって、前記コンピュータが、前記カメラの分光感度情報と、撮影時の照明光の分光分布情報と、前記被写体の統計情報とから得られる分光反射率推定行列と、前記マルチバンド画像上の白色点の画素値とを入力して、前記白色点の分光反射率を算出する分光反射率推定ステップと、前記コンピュータが、前記分光反射率推定行列を、前記白色点の分光反射率に基づき補正する分光反射率推定行列補正ステップと、前記コンピュータが、前記補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成ステップと、前記コンピュータが、前記分光反射率画像から前記所定の照明環境下の色再現画像を生成する色再現処理ステップとを有することを特徴とする。

本発明は、被写体をカメラによって撮影して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成するために、コンピュータに画像処理を実行させる画像処理プログラムであって、前記カメラの分光感度情報と、撮影時の照明光の分光分布情報と、前記被写体の統計情報とから得られる分光反射率推定行列と、前記マルチバンド画像上の白色点の画素値とを入力して、前記白色点の分光反射率を算出する分光反射率推定ステップと、前記分光反射率推定行列を、前記白色点の分光反射率に基づき補正する分光反射率推定行列補正ステップと、前記補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成ステップと、前記分光反射率画像から前記所定の照明環境下の色再現画像を生成する色再現処理ステップとを前記コンピュータに行わせることを特徴とする。

本発明によれば、分光反射率でのホワイトバランス補正を行うため、仮定した観察照明下において適切にホワイトバランスがとれた色再現画像を生成することが可能になるという効果が得られる。また、分光反射率でのホワイトバランス補正処理により、カメラの分光感度・照明光スペクトル等の計測誤差も含めた撮影データの補正を行うことも同時に可能となる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像処理装置の動作を示すフローチャートである。 色再現の原理を示す説明図である。

以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ａは、コンピュータ装置で構成する画像処理装置である。符号１は、ホワイトバランス補正処理を行う対象のマルチバンド画像データが記憶されたマルチバンド画像記憶部である。符号２は、キーボードやポインティングデバイス等で構成する入力部である。符号３は、カラー画像が表示可能なディスプレイ装置で構成する表示部である。符号４は、画像上の白色点の位置を指定して、その指定された白色画素の画素値を得る白色点指定部である。符号５は、マルチバンド画像記憶部１に記憶されている画像を撮影した際のカメラの分光感度情報、撮影時の照明光のスペクトル（分光分布）情報、被写体の統計情報から求めた分光反射率推定行列が記憶された分光反射率推定行列記憶部である。

符号６は、分光反射率推定行列を入力して、分光反射率を算出する分光反射率推定部である。符号７は、算出した分光反射率と分光反射率推定行列を入力して、分光反射率推定行列を補正する分光反射率推定行列補正部である。符号８は、補正後の分光反射率推定行列を入力して、ホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成部である。符号９は、色再現を行う際の観察時の照明光スペクトル情報と、色再現を行った画像の表示を行う表示部３の特性情報が記憶された色再現環境記憶部である。符号１０は、ホワイトバランス調整後の分光反射率画像と色再現環境記憶部９に記憶されている情報を入力して、色再現画像を生成して出力する色再現処理部である。符号１１は、色再現処理部１０から出力される色再現画像を記憶する色再現画像記憶部である。

マルチバンド画像記憶部１に記憶されるマルチバンド画像データは、図３に示すように、センサへの入射光を３種類（３バンド）以上のカラーフィルタを用いて色分解した結果が画像上の各画素に画素値として記憶されたものである。ここでは記憶されたマルチバンド画像（３バンド以上）上で基準となる白色点の分光（スペクトル）反射率の推定結果が全ての波長で等しくなるよう、各バンドの値を補正する。単に各バンドの画像値が等しくなるように補正するのではなく、画素値を用いての推定結果の分光反射率のホワイトバランスを取るのが、従来との大きな違いである。各バンドの画素値の値をそろえるだけでは、ほとんどの場合、分光反射率の推定結果が白色（全ての波長での反射率がほぼ等しい）にならないことが多い。本発明は、このような問題を解決するものである。

次に、図２を参照して、図１に示す画像処理装置Ａの動作を説明する。図２は、図１に示す画像処理装置Ａの動作を示すフローチャートである。まず、白色点指定部４は、マルチバンド画像記憶部１に記憶されている画像データを読み出して、表示部３に表示する。そして、作業者が入力部２を操作して指定された画像中の基準白色点を特定する。そして、白色点指定部４は特定した白色点の画素の画素値を分光反射率推定部６へ出力する（ステップＳ１）。

次に、分光反射率推定部６は、分光反射率推定行列記憶部５に記憶されている分光反射率推定行列と、白色点指定部４から出力された画素値とを用いて、この白色点の分光反射率を算出する（ステップＳ２）。分光反射率推定行列の求め方はいくつもの方式が提案されているが、その中の１つであるＷｉｅｎｅｒ推定法について説明する。波長をλで表し、照明光の分光スペクトルをＷ（λ）、被写体の分光反射率をｆ（λ）と表記すると、観察される反射光の分光スペクトルＩ（λ）は次式の様に表わされる。
Ｉ（λ）＝Ｗ（λ）・ｆ（λ）・・・（１）

ここで波長レベルの次元数（連続系）での計算の変わりにＮ−バンドのセンサで画像を得るる場合（離散系）を考える。可視光域のみを考えた場合、１ｎｍ間隔でサンプリングされた分光反射率はｆ＝［ｆ_３８０，ｆ_３８１，・・・，ｆ_７８０］^Ｔと表される。各バンドのセンサ感度をＳ＝［Ｓ_１（λ），Ｓ_２（λ），・・・，Ｓ_Ｎ（λ）］^Ｔとベクトル表記する。対角成分が照明光スペクトルと等しい対角行列（体格成分以外はゼロ）をＷとすると、（１）式は（２）式の様なベクトル・行列演算の式で書き改められる。
Ｉ＝Ｗｆ．・・・（２）

カメラから得られる信号ｃ＝［ｃ_１（λ），ｃ_２（λ），・・・，ｃ_Ｎ（λ）］^ＴはＣ＝ＳＷｆ＝Ｈｆとあらわされ、システム行列Ｈ＝ＳＷの逆行列Ｍを求めることができれば、分光反射率ベクトルは以下の様に算出することができる。この逆行列Ｍを分光反射率推定行列（画素値を分光反射率に返還する行列）と呼ぶ。
Ｍ＝ＲＨ^ｔ｛ＨＲＨ^ｔ｝^−１・・・（３）

（３）式により求められた行列ＭはＷｉｅｎｅｒ推定行列と呼ばれ、システム行列Ｈ（センサの分光感度と照明スペクトルの積）と、被写体の統計情報Ｒ（教師データの相関行列や共分散行列など）から求めることができる。

次に、分光反射率推定行列補正部７は、分光反射率推定行列記憶部５に記憶されている分光反射率推定行列と、分光反射率推定部６において算出された白色点の分光反射率を入力して、分光反射率で分光反射率推定行列の波長に相当する成分を除算し、その結果を、補正後の新たな分光反射率推定行列として出力する（ステップＳ３）。

次に、分光反射率画像生成部８は、補正後の分光反射率推定行列を入力し、ホワイトバランス調整後の分光反射率画像を生成して出力する（ステップＳ４）。そして、色再現処理部１０は、補正後の分光反射率推定行列を用いて算出された被写体の分光反射率ｆ＾（λ）（＾はｆの頭に付く）に対して、色再現環境記憶部９に記憶されている観察環境の照明光スペクトルＷ’（λ）を乗算し、観察時の照明下での反射光スペクトルＩ＾（λ）（＾はＩの頭に付く）を（４）式により算出する。
Ｉ＾（λ）＝Ｗ’（λ）・ｆ＾（λ）・・・（４）（＾は、Ｉ、ｆの頭に付く）

続いて、色再現処理部１０は、算出された反射光スペクトルに等色関数（Color Matching Function：人間の眼の感度特性）を掛け合わせ、３刺激値と呼ばれる国際照明委員会で定められているＣＩＥ−ＸＹＺの３次元データに変換する。表示部３が線形システムの場合、それぞれの原色（例えば、Ｒ、Ｇ、Ｂ）に関しても各色の発光スペクトルから（５）式の様な関係が得られる。

この逆行列を計算することで（６）式が得られ、先に算出した反射光スペクトルのＣＩＥ−ＸＹＺを入力すると入出力が線形な表示部３に用いられているディスプレイ装置におけるＲＧＢ値を算出することができる。

このＲＧＢ値をディスプレイ装置のガンマ特性（トーンカーブ）を用いて補正することで、仮定した観察照明下に被写体がある場合の正しい色を表示部３上に再現することができる。色再現処理部１０は、ここで求めたＲＧＢ値を所定の観察照明下における色再現画像としていろ再現画像記憶部１１に記憶するともに、表示部３に出力することにより、色再現画像を表示部３に表示する。表示部３の原色数が４以上の場合にはもっと複雑な変換処理が行う必要があるが、色再現処理部１０に入力されるデータの生成において、前述した処理動作は非常に有効である。

なお、前述した分光反射率推定行列補正部７は、分光反射率推定部６において算出した分光反射率が基準白色（各波長の反射率が１）になるように、カメラの各チャンネルの分光感度に重み係数をかけて分光反射率推定行列を補正するようにしてもよい。また、前述した分光反射率推定行列補正部７は、分光反射率推定部６において算出した分光反射率が基準白色（各波長の反射率が１）になるように、撮影時の照明光スペクトルの各波長成分に重み係数をかけて分光反射率推定行列を補正するようにしてもよい。

このように、マルチバンド画像（チャンネル数≧４）において、入力装置から得られた信号値に対するホワイトバランス補正を実施するのではなく、得られたマルチバンドを用いて色再現した結果のホワイトバランスが適正になるよう適切な処理を行うために、色再現結果画像（ＲＧＢ画像、もしくはＣＩＥ−ＬａｂやＣＩＥ−ＸＹＺ画像）において適正なホワイトバランスとなるような処理を加えるようにした。これにより、色再現結果の処理において大きく色がずれてしまうという問題を解決することができる。また、白色点の分光反射率（スペクトル反射率）が、各波長の反射率の値が１（もしくは等しく）になるよう、入力画像もしくは分光反射率推定行列・カメラの分光感度・照明光スペクトル等に補正処理を加えるようにした。これにより同様に、色再現結果の処理において大きく色がずれてしまうという問題を解決することができる。

以上説明したように、従来は入力画像（例えばＲＧＢ信号値）そのものに対してホワイトバランス補正を行うのが一般的であったが、本発明では入力画像ではなく、推定される分光反射率のホワイトバランスが適正になるよう、分光反射率推定行列やカメラの分光感度、撮影照明のスペクトル等に対して補正処理を行うようにしたため、仮定した観察照明下において適切にホワイトバランスがとれた色再現画像を生成することが可能になるという効果が得られる。また、分光反射率でのホワイトバランス補正処理により、カメラの分光感度・照明光スペクトル等の計測誤差も含めた撮影データの補正を行うことも同時に可能となる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより色再現処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

４チャンネル以上のマルチバンド画像から色再現画像を生成することが不可欠な用途に適用できる。

１・・・マルチバンド画像記憶部、２・・・入力部、３・・・表示部、４・・・白色点指定部、５・・・分光反射率推定行列記憶部、６・・・分光反射率推定部、７・・・分光反射率推定行列補正部、８・・・分光反射率画像生成部、９・・・色再現環境記憶部、１０・・・色再現処理部、１１・・・色再現画像記憶部

Claims (6)

1. 被写体をカメラによって撮影して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成する画像処理装置であって、
   前記カメラの分光感度情報と、撮影時の照明光の分光分布情報と、前記被写体の統計情報とから得られる分光反射率推定行列と、前記マルチバンド画像上の白色点の画素値とを入力して、前記白色点の分光反射率を算出する分光反射率推定手段と、
   前記分光反射率推定行列を、前記白色点の分光反射率に基づき補正する分光反射率推定行列補正手段と、
   前記補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成手段と、
   前記分光反射率画像から前記所定の照明環境下の色再現画像を生成する色再現処理手段と
   を備えたことを特徴とする画像処理装置。
2. 前記分光反射率推定行列補正手段は、分光反射率推定行列の波長に相当する成分を前記分光反射率で除算して、その結果を補正後の分光反射率推定行列とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記分光反射率推定行列補正手段は、前記分光反射率が基準白色になるように、前記カメラの各チャンネルの分光感度に重み係数をかけて補正することにより補正後の分光反射率推定行列と得ることを特徴とする請求項１に記載の画像処理装置。
4. 前記分光反射率推定行列補正手段は、前記分光反射率が基準白色になるに、撮影時の照明光スペクトルの各波長成分に重み係数をかけて補正することにより補正後の分光反射率推定行列と得ることを特徴とする請求項１に記載の画像処理装置。
5. 被写体をカメラによって撮影して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成するために、コンピュータに画像処理を実行する画像処理方法であって、
   前記コンピュータが、前記カメラの分光感度情報と、撮影時の照明光の分光分布情報と、前記被写体の統計情報とから得られる分光反射率推定行列と、前記マルチバンド画像上の白色点の画素値とを入力して、前記白色点の分光反射率を算出する分光反射率推定ステップと、
   前記コンピュータが、前記分光反射率推定行列を、前記白色点の分光反射率に基づき補正する分光反射率推定行列補正ステップと、
   前記コンピュータが、前記補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成ステップと、
   前記コンピュータが、前記分光反射率画像から前記所定の照明環境下の色再現画像を生成する色再現処理ステップと
   を有することを特徴とする画像処理方法。
6. 被写体をカメラによって撮影して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成するために、コンピュータに画像処理を実行させる画像処理プログラムであって、
   前記カメラの分光感度情報と、撮影時の照明光の分光分布情報と、前記被写体の統計情報とから得られる分光反射率推定行列と、前記マルチバンド画像上の白色点の画素値とを入力して、前記白色点の分光反射率を算出する分光反射率推定ステップと、
   前記分光反射率推定行列を、前記白色点の分光反射率に基づき補正する分光反射率推定行列補正ステップと、
   前記補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成する分光反射率画像生成ステップと、
   前記分光反射率画像から前記所定の照明環境下の色再現画像を生成する色再現処理ステップと
   を前記コンピュータに行わせることを特徴とする画像処理プログラム。

Images