JP3960989B2

JP3960989B2 - 色推定システム及び色推定方法

Info

Publication number: JP3960989B2
Application number: JP2004210049A
Authority: JP
Inventors: 剛幸味戸; 徹和田; 康宏小宮
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-07-16
Filing date: 2004-07-16
Publication date: 2007-08-15
Anticipated expiration: 2024-07-16
Also published as: JP2006030014A

Description

本発明は、マルチバンドカメラにより撮影された画像から被写体の分光反射率及び色を推定する色推定システム及び色推定方法に関する。

被写体の正確な測色値を画像として取得することを目的として、マルチバンドカメラにより撮影された画像から被写体の分光反射率を推定して色推定を行なう方法が提案されている（例えば、特許文献１参照）。ここで、マルチバンドカメラによる画像から被写体の分光反射率を推定する際には、カメラの各バンドの分光感度特性、及び被写体の分光的な統計情報を用いて推定を行っている。

また、スポット測光を行なう分光放射輝度計及び測色計においては、予め分光反射率が既知な白色板を測定し、その出力信号値から測定器の分光感度の補正を行なう方法が行われている（例えば、特許文献２参照）。

更に、予め分光反射率が既知である多色の色票を撮影してカメラの分光感度自体を推定する方法も提案されている（例えば、特許文献３参照）。
特開平１１−８５９５２号公報特開２００３−９０７６１号公報特開平１１−９６３３３号公報

しかしながら、上記特許文献１に開示の色推定方法では、経時変化等によりカメラ特性、例えば各バンドの分光感度特性に誤差が生じると、正確な色を求めることができない。

そこで、上記特許文献２に開示の分光感度の補正方法を、上記特許文献１に開示の色推定方法におけるカメラに応用すれば、上記白色板に近い分光反射率を有する被写体に対しては高精度な色推定が可能となる。しかしながら、上記白色板と著しく異なる被写体に対しては推定精度が逆に劣化する場合が多く、そのため、被写体によっては高精度なデータは得られない。

また、上記特許文献３に開示の方法においても、撮影した色票と異なる分光特性を持つ被写体に対しては精度が保証されないため、細かい色の範囲の精度を高めるには、膨大な量の色票の撮影が必要となり、その実施は困難であった。

本発明は、上記の点に鑑みてなされたもので、予め測定されたカメラの分光感度特性を用いて被写体の色推定を行う際、高精度に色推定が可能な色推定システム及び色推定方法を提供することを目的とする。

本発明の色推定システムの一態様は、カラー画像撮影装置によって、分光反射率が既知である色票及び分光反射率が既知でない被写体を撮影する撮影手段と、予め用意された複数の色票の分光反射率情報を格納する格納手段と、上記撮影手段によって撮影された被写体画像の信号値に基づいて、上記格納手段に格納された複数の色票の中から、撮影する色票を選択または指定する選択指定手段と、上記選択指定手段によって選択または指定された色票を上記撮影手段によって撮影して得られた色票の画像の信号値と、上記格納手段に格納された上記選択指定手段によって選択または指定された色票の分光反射率情報と、上記カラー画像撮影装置の分光感度特性の情報とを用いて、上記撮影手段によって被写体を撮影して得られたカラー画像信号から被写体の分光反射率もしくは色を推定する推定手段と、を具備することを特徴とする。

また、本発明の色推定システムの別の態様は、カラー画像撮影装置によって、分光反射率が既知である色票及び分光反射率が既知でない被写体を撮影し、
予め用意された複数の色票の分光反射率情報を格納しておき、上記カラー画像撮影装置によって撮影された被写体画像の信号値に基づいて、上記格納された複数の色票の中から、カラー画像撮影装置によって撮影する色票を選択または指定し、上記選択または指定された色票を上記カラー画像撮影装置によって撮影して得られた色票の画像の信号値と、上記格納された上記選択または指定された色票の分光反射率情報と、上記カラー画像撮影装置の分光感度特性の情報とを用いて、上記カラー画像撮影装置により被写体を撮影して得られたカラー画像信号から被写体の分光反射率もしくは色を推定する、ことを特徴とする。

本発明によれば、予め測定されたカメラの分光感度特性を用いて被写体の色推定を行う際、高精度に色推定が可能な色推定システム及び色推定方法を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１参考例］
図１（Ａ）は、本発明の第１参考例に係る色推定システムの機能構成を示すブロック図である。この色推定システムは、被写体及び色票のマルチスペクトル画像を撮影し、所望の観察照明下における被写体の正確な色を再現した画像を出力するシステムである。

即ち、本参考例に係る色推定システムは、画像撮影部１０、画像／データ格納部１２、画像／データ出力部１４、画像／データ保存部１６、色票選択部１８、色票分光反射率データベース２０、及び画像処理部２２から構成されている。

ここで、上記画像撮影部１０は、分光反射率が既知でない被写体もしくは分光反射率が既知の色票のマルチバンド画像を撮影するものである。上記画像／データ格納部１２は、上記画像撮影部１０によって撮影されたマルチバンド画像及び詳細は後述する画像処理部２２により色変換された色再現画像を格納する。上記画像／データ出力部１４は、上記画像／データ格納部１２に記憶されているマルチバンド画像及び色再現画像をモニタ等の出力装置に出力するものである。上記画像／データ保存部１６は、上記画像／データ格納部１２に記憶されているマルチバンド画像及び色再現画像を所定のフォーマットで記録・保存するものである。

また、上記色票選択部１８は、上記画像撮影部１０による色票撮影の際に、どのような色票を用いたかをユーザインターフェースにより指定するものである。上記色票分光反射率データベース２０は、分光放射輝度計等により予め測定された複数の色票の分光反射率データを保存しておくものである。そして、上記画像処理部２２は、上記画像／データ格納部１２に記憶されている被写体及び色票のマルチバンド画像と、上記色票選択部１８により指定された色票の情報に基づき上記色票分光反射率データベース２０より取得された色票の分光反射率データとを用いて、被写体の色算出もしくは色変換を行なうものである。

図２（Ａ）及び（Ｂ）は、本参考例に係る色推定システムの具体的構成の図を示すものである。ここでは、例として、歯科用のシステムを想定しており、図２（Ａ）ではカメラ２４において人の生活歯を被写体２６として撮影を行なう様子を示している。図中のカメラ２４が図１（Ａ）における画像撮影部１０に相当する。また、図中のＰＣ２８は、図１（Ａ）における画像処理部２２、画像／データ出力部１４、画像／データ保存部１６、色票選択部１８、色票分光反射率データベース２０を構成するものであり、上記カメラ２４によって撮影された画像は、このＰＣ２８に転送され、該ＰＣ２８内で格納、処理、出力、あるいは保存される。また、図２（Ｂ）は、色票撮影の様子を示すものであり、カメラ２４により入力された色票３０の画像は、ＰＣ２８に転送され、画像処理部２２における色推定の際に用いられる。

図３は、本参考例において使用するカメラ２４の構成を示した図である。即ち、同図に示すカメラ２４は、接触型のマルチバンドカメラであり、内蔵された多色のＬＥＤ２４Ａにより被写体２６の照明を順次に行い、被写体２６から反射された光をＣＣＤ２４Ｂで受光して、ＣＣＤ制御部２４Ｃにより画像を面順次で取得するものである。但し、通常は、上記内蔵された多色のＬＥＤを全色発光して白色照明を行い、この白色照明された被写体の画像信号は、画像メモリ２４Ｄを介してＬＣＤモニタ２４Ｅにライブ表示される。ユーザは、このＬＣＤモニタ２４Ｅにライブ表示された画像を見ながら、被写体２６とカメラ２４との位置及びフォーカスを調整してシャッタをきる。すると、ＬＥＤ２４Ａは、ＬＥＤ制御部２４Ｆの制御により各色順次点灯を行い、各色ＬＥＤの照明毎に被写体２６もしくは色票３０の撮影が行われて、各々取得した画像信号が画像メモリ２４Ｄ及びＩ／Ｆ２４Ｇを介して上記ＰＣ２８に転送されることにより、上記被写体もしくは色票のマルチバンド撮影が行われる。なお、以上のような接触型のカメラ２４の分光感度特性Ｓ_k（λ）（ｋ＝１〜Ｍ、Ｍ：バンド数）は、ＣＣＤ２４Ｂの感度特性をＰ（λ）、ＬＥＤ２４Ａの各色の発光スペクトルをＥ_k（λ）（ｋ＝１〜Ｍ）とすると、

で表される。

図１（Ｂ）は、図１（Ａ）における画像処理部２２の詳細な構成を示す図である。同図に示すように、この画像処理部２２は、被写体マルチバンド画像格納部２２Ａ、カメラ分光感度データ格納部２２Ｂ、色票マルチバンド画像格納部２２Ｃ、色票分光反射率データ格納部２２Ｄ、分光感度データ補正部２２Ｅ、被写体分光反射率算出部２２Ｆ、観察照明光データ格納部２２Ｇ、被写体測色値算出部２２Ｈ、モニタ色特性データ格納部２２Ｉ、モニタ出力信号値算出部２２Ｊからなる。

即ち、上記被写体マルチバンド画像格納部２２Ａ及び色票マルチバンド画像格納部２２Ｃでは、図１（Ａ）における画像／データ格納部１２に記憶されている被写体２６及び色票３０のマルチバンド撮影画像を取得し記憶する。上記カメラ分光感度データ格納部２２Ｂには、予め事前に測定されたカメラ２４の分光感度情報を記憶する。また、上記色票分光反射率データ格納部２２Ｄは、図１（Ａ）における色票選択部１８により指定された色票３０の情報に基づいて、上記色票分光反射率データベース２０より色票３０の分光反射率データを取得して記憶する。そして、上記分光感度データ補正部２２Ｅでは、上記色票マルチバンド画像格納部２２Ｃに記憶されている色票マルチバンド画像と、上記色票分光反射率データ格納部２２Ｄに記憶されている色票分光反射率データとを用いて、上記カメラ分光感度データ格納部２２Ｂに記憶されているカメラ分光感度データを補正する。

その後、上記被写体分光反射率算出部２２Ｆにおいて、上記分光感度データ補正部２２Ｅにより補正されたカメラ分光感度データと、上記被写体マルチバンド画像格納部２２Ａに記憶されている被写体マルチバンド画像とから、被写体２６の分光反射率を算出する。

次に、上記被写体測色値算出部２２Ｈにおいて、上記被写体分光反射率算出部２２Ｆにより算出された被写体２６の分光反射率と、上記観察照明光データ格納部２２Ｇに予め記憶されている観察する際の環境下における照明光のスペクトルデータとを用いて、上記照明光下における被写体２６の測色値を算出する。さらに、上記モニタ出力信号値算出部２２Ｊにおいて、上記被写体測色値算出部２２Ｈにより算出された被写体２６の測色値と、上記モニタ色特性データ格納部２２Ｉに予め記憶されているモニタ各原色の色度特性及び階調特性の情報とを用いて、被写体モニタ出力用の信号値を算出し、モニタ出力用画像として、上記画像／データ格納部１２に保存する。

なお、以上の一連の処理における中間データとして、上記被写体分光反射率算出部２２Ｆにより算出された被写体２６の分光反射率及び上記被写体測色値算出部２２Ｈにより算出された被写体２６の測色値についても画像／データ格納部１２に保存することもできる。

図４は、本参考例に係る色推定システムの全体的な処理の流れを示す図である。

即ち、まず、上記色票選択部１８において、ユーザは、その後撮影する被写体２６に適した色票３０の選択を行い、選択した色票３０の情報を処理システムに指定する（ステップＳ１０）。このとき、ユーザは、予め用意された複数の色票３０のうち、注目する被写体２６に最も近い色の色票３０を目視で判断して選択しても良いし、あるいは、図５に示すように、被写体２６が予め生活歯、塗板、人の肌等で限定されている場合であれば、その被写体専用に設計された色票を常に使用しても良い。なお、上記設計された色票とは、例えば、多数の生活歯の分光反射率測定データより、その平均値で設計された色票、もしくは、生活歯の色見本として標準的に用いられているシェードガイド等の代表的な分光反射率の色票等である。

以上により選択された色票３０を用いて、図２（Ｂ）で示したように、カメラ２４（画像撮影部１０）により、その選択された色票３０の撮影を行なう（ステップＳ１２）。なお、このとき、色票を撮影する際には、色票からカメラまでの距離を後述の被写体撮影の際の被写体からカメラまでの距離と一致させて撮影するようにすることで、被写体撮影と色票撮影とで照明強度を一致させるようにすると良い。次に、この色票３０の撮影後、画像処理部２２において、その撮影された色票画像及び上記色票選択部１８において指定された情報に基づいて、色票分光反射率データベース２０より取得された色票３０の分光反射率データを用いて、後述する方法によりカメラ分光感度特性データの補正を行なう（ステップＳ１４）。なお、このとき、色票分光反射率データベース２０に予め登録されている分光反射データを用いるのではなく、別途、ユーザから直接入力された色票３０の分光反射率設計データもしくは測定データを用いても良い。

次に、図２（Ａ）に示したように、カメラ２４（画像撮影部１０）により、被写体２６を撮影する（ステップＳ１６）。そして、この被写体撮影後、画像処理部２２において、その撮影された被写体２６の画像及び上記補正された分光感度特性データを用いて被写体２６の分光反射率を推定し（ステップＳ１８）、さらに、上記推定された分光反射率から所定の照明光スペクトルをかけて被写体２６の測色値データを算出する（ステップＳ２０）。この分光反射率推定の方法は、例えば、上記特許文献１に開示されている方法を用いる。このとき、照明光スペクトルは、ＣＩＥ（国際照明委員会）によって定められたＤ６５、Ａ光源等のある標準光源のスペクトルデータを用いても良いし、予め測定された代表的な照明光のスペクトルデータでも良いし、また観察環境下においてユーザにより別途計測された実際の照明光のスペクトルデータを用いても良い。

次に、画像処理部２２において、上記算出された被写体２６の測色値から、画像観察用のモニタにおける各原色の色度特性及び階調特性の情報を用いてモニタ出力用の信号値を算出し、画像／データ格納部１２にモニタ出力用画像として保存する（ステップＳ２２）。最後に、上記画像／データ格納部１２に記憶されているモニタ出力用画像から、画像／データ出力部１４において被写体２６のモニタ表示を行なう（ステップＳ２４）。なお、モニタ出力用の信号値の算出方法は、例えば上記特許文献１に開示されている方法により、出力するモニタの色特性に基づき色変換して画像表示を行なえば良い。

ここで、前述した分光感度特性データの補正方法について、数式を用いて詳細を説明する。

補正前におけるマルチバンドカメラのｋバンド目（ｋ＝１〜Ｍ、Ｍ：バンド数）の分光感度特性をＳ_k（λ）（λ＝３８０〜７８０、λ：波長）、撮影に用いた色票３０の分光反射率をｃ（λ）とすれば、撮影された色票３０のマルチバンド画像中の対応する画素におけるｋバンド目の信号値をｇ_kとすれば、補正後の分光感度特性は、

となる。ここで、

である。

なお、以上の説明は、図２（Ｂ）及び図３に示すような接写撮影のマルチバンドカメラの場合についての分光感度補正方法であるが、本参考例は、これに限定するものではない。

例えば、図６に示すように、色票３０（及び被写体２６）に外部照明光３２があたっており、カメラ２４’の前面に多種類のフィルタを切り替え設定可能なフィルタターレット３４取り付けることにより構成されたマルチバンドカメラにより撮影を行う場合においても、同様に補正が可能である。なおこの場合には、前述した（１）式の代わりに、以下で定義されるようなカメラ２４’の分光感度特性Ｓ_k（λ）を用いて、上記（２）及び（３）式による補正を行えば良い。

ここで、Ｅ_OUTSIDE（λ）は外部照明光３２のスペクトル、Ｆ_k（λ）はカメラ前面に取り付けられた複数のフィルタのうち、ｋ番目のフィルタにおける分光透過率特性、Ｐ（λ）はカメラ内部のＣＣＤにおける感度特性である。なお、図６に示したマルチバンドカメラは、フィルタターレット３４の代わりに、液晶を利用した波長可変フィルタを使用するものであっても良い。

また、以上説明した本第１参考例では、マルチバンドカメラのバンド数Ｍについては特に限定していないが、バンド数が多ければ多いほど、色推定精度は高くなる。勿論、従来のＲＧＢカメラ（Ｍ＝３）においても上述した方法は適用可能である。

以上のように、本第１参考例によれば、予め分光反射率の異なる複数の色票３０を用意して、撮影を行なう被写体２６毎に、その被写体２６に近い分光反射率を有する色票３０を選択・撮影して、分光感度特性を補正することで、様々な被写体２６に対して高精度な色推定を実現することが可能となる。または、予め想定される被写体（生活歯、塗板、人の肌等）の分光反射率に近い特性で設計された色票を用いて分光感度補正することで、想定される被写体に対し、各々高精度に色推定を行うことができる。なお、前述したように、被写体撮影と色票撮影とでカメラとの距離を一致させ、照明強度を合わせることにより、上記分光感度の補正を絶対的な明るさを含め補正することができ、その結果、被写体の色推定を絶対量として高精度に求めることができる。

［第２参考例］
次に、本発明の第２参考例に係る色推定システムについて図７乃至図９を用いて説明する。

図７は、本第２参考例に係る色推定システムの機能的な構成図である。即ち、本参考例の色推定システムは、同図に示すように、前述した第１参考例における図１（Ａ）に示す構成に、領域指定部３６が追加されているものである。

この領域指定部３６は、画像撮影部１０により撮影された被写体２６のマルチバンド画像中において一部の領域を指定するためのユーザインターフェースである。ユーザは、この領域指定部３６を通して、測色したい被写体２６の一部の領域を指定することができる。このとき、本参考例においては、画像処理部２２は、被写体２６のマルチバンド画像中の上記ユーザにより指定された指定領域内のみ測色を行なうこととなる。

図８は、本参考例における画像処理部２２の機能的な構成を示している。同図に示すように、本参考例における画像処理部２２は、前述した第１参考例における図１（Ｂ）に示す構成に、領域内画素平均値算出部２２Ｋが追加されているものである。なお、図面の簡略化のため、図８ではモニタ色特性データ格納部２２Ｉ及びモニタ出力信号値算出部２２Ｊの図示を省略している。

上記領域内画素平均値算出部２２Ｋは、被写体マルチバンド画像格納部２２Ａにおいて格納されている被写体２６のマルチバンド画像中から、前述した領域指定部３６により指定された注目領域の情報に基づいて注目領域を切り出し、その切り出した領域中でマルチバンド画素値の平均値を求めるものである。この領域内画素平均値算出部２２Ｋにより算出された平均値は、その後、被写体分光反射率算出部２２Ｆにおいて分光反射率を算出するための値として用いられる。そして、上記被写体分光反射率算出部２２Ｆにおいて算出された分光反射率データは、そのまま画像／データ格納部１２に出力されるか、もしくは、観察環境下における照明光スペクトルをもとに、被写体２６の測色値データを算出して画像／データ格納部１２に出力するこことなる。

図９は、本参考例に係る色推定システムにおける処理の流れを示す図である。ここで、色票選択部１８においてユーザが色票３０の選択及び指定を行なう工程（ステップＳ１０）からカメラ２４（画像撮影部１０）により被写体２６を撮影するまでの工程（ステップＳ１６）は、前述した第１参考例における図４に示す工程と同様である。

そして、本参考例においては、ステップＳ１６での被写体２６の撮影後、画像／データ出力部１４により、撮影された被写体２６のマルチバンド画像をモニタ表示する（ステップＳ３０）。ユーザは、その表示されたマルチバンド画像を参照して、領域指定部３６によって、測色したい被写体２６の領域を指定する（ステップＳ３２）。

その後、画像処理部２２にて、上記指定された領域に基づき、マルチバンド画像の画素値（平均値）よりその領域内の被写体２６の分光反射率を推定し（ステップＳ１８）、また、観察照明光下における測色値を算出して（ステップＳ２０）、画像／データ出力部１４により、それらの推定及び算出結果をデータ出力あるいはグラフ表示する（ステップＳ３４）。

以上のように、領域指定部３６によりユーザの注目領域を指定して分光反射率及び測色値を算出することで被写体２６の種類をより詳細にカテゴライズすることができるため、被写体の特性に近い色票を選択する際により最適な色票３０の選択が可能となり、算出精度を向上することができる。

［第３参考例］
次に、本発明の第３参考例に係る色推定システムについて図１０乃至図１２を参照しながら説明する。

本参考例の色推定システムは、図１０に示すように、前述した第２参考例における図６のシステム構成に加え、被写体指定部３８及び被写体基底関数データベース４０を備えるものである。

ここで、上記被写体指定部３８は、画像撮影部１０により撮影された被写体２６の種類に関する情報（生活歯、義歯等）を指定するためのユーザインターフェースである。また、上記被写体基底関数データベース４０は、上記被写体２６の種類に対応した分光反射率の基底関数が記憶されているものである。そして、本参考例における画像処理部２２は、ユーザにより上記被写体指定部３８を通して測色したい被写体２６の具体的な情報を指定することにより、上記被写体基底関数データベース４０より被写体２６の基底関数を取得して、それを分光反射率の算出における統計情報として用いることで、測色精度を向上することができる。

図１１は、本参考例における画像処理部２２の詳細な構成を示したものである。即ち、本参考例の画像処理部２２においては、前述した第２参考例における画像処理部２２の構成に、被写体基底関数データ格納部２２Ｌが追加されている。なお、図面の簡略化のため、図１１ではモニタ色特性データ格納部２２Ｉ及びモニタ出力信号値算出部２２Ｊの図示を省略している。

ここで、上記被写体基底関数データ格納部２２Ｌは、前述した被写体指定部３８により指定された被写体２６のカテゴリ情報に基づき、被写体２６の基底関数を被写体基底関数データベース４０より取得して記憶するものである。この記憶された被写体２６の基底関数を統計情報として用いて、被写体分光反射率算出部２２Ｆで、例えば上記特許文献１に記述されているような方法に基づき分光反射率の算出を行なう。

図１２は、本参考例に係る色推定システムにおける具体的な処理の流れを示す図である。なおここで、色票選択部１８においてユーザが色票３０の選択及び指定を行なう工程（ステップＳ１０）から被写体２６の注目領域選択までの工程（ステップＳ３２）は、前述した第２参考例における図７に示す工程と同様である。

本参考例においては、上記ステップＳ３２で被写体２６の注目領域を指定した後、被写体指定部３８により、その注目領域内の被写体２６に関する具体的な情報を指定する（ステップＳ４０）。そして、画像処理部２２にて、その指定された情報に基づき、注目領域内の被写体２６における分光反射率を算出し（ステップＳ１８）、また、観察照明光下における測色値を算出して（ステップＳ２０）、画像／データ出力部１４により、それらの推定及び算出結果をデータ出力あるいはグラフ表示する（ステップＳ３４）。

以上のように、ユーザにより測色したい被写体２６の注目領域及び注目領域内の被写体２６における具体的な情報を指定することにより、被写体２６の分光反射率算出時に、より最適な統計情報を用いることができるので、測色精度を向上することができる。

［第４参考例］
次に、本発明の第４参考例に係る色推定システムについて図１３〜図１５（Ａ）を参照しながら説明する。

本参考例は、図１３に示すように、マルチバンドカメラで撮影される撮影範囲４２以上の大きさの範囲において均一な色特性をもつ色票３０を用いて、色票３０の撮影を行い、撮影された色票画像４４を用いて、カメラ２４の感度むら及び照明むらを補正するものである。

本参考例に係る色推定システムの基本的な構成は、前述した第１参考例における図１（Ａ）に示した構成と同様である。但し、本参考例においては、画像処理部２２の機能構成が異なる。

図１４は、本参考例における画像処理部２２の詳細の機能構成を示す図である。同図に示すように、本参考例では、前述した第１参考例における図１（Ｂ）に示す構成に加え、色むら補正部２２Ｍ及び補正後マルチバンド画像格納部２２Ｎが設けられている。

ここで、上記色むら補正部２２Ｍは、前述したように画角以上の大きさをもつ色票３０を撮影して得られたマルチバンド画像をもとに、被写体２６のマルチバンド画像の色むらを補正するものである。また、上記補正後マルチバンド画像格納部２２Ｎは、上記色むら補正部２２Ｍによって補正された被写体２６のマルチバンド画像を記憶するものである。そして、本参考例においては、被写体分光反射率算出部２２Ｆでは、上記補正後マルチバンド画像格納部２２Ｎに格納されたマルチバンド画像を用いて被写体２６の分光反射率を算出するようになっている。

図１５（Ａ）は、本参考例に係る色推定システムにおける処理の流れを示す図である。ここで、色票選択部１８においてユーザが色票３０の選択及び指定を行なう工程（ステップＳ１０）からカメラ２４（画像撮影部１０）により被写体２６を撮影するまでの工程（ステップＳ１６）は、前述した第１参考例における図４に示す工程と同様である。

そして、本参考例においては、上記ステップＳ１６での被写体２６の撮影後、画像処理部２２において、上記ステップＳ１２で事前に撮影された色票画像４４を用いて上記被写体２６の撮影画像の色むらを補正する。即ち、ｊ番目の画素位置における被写体画像のｋバンド目の信号値をｏ（ｊ，ｋ）、同じくｊ番目の画素位置における色票画像４４のｋバンド目の信号値をｃ（ｊ，ｋ）、さらに画像中央部の画素における色票画像４４のｋバンド目の信号値をｃ₀（ｋ）とすれば、色むら補正後の被写体画像ｏ’（ｊ，ｋ）は、

となる。

以上のように、本参考例に係る色推定システムによれば、キャリブレーション用色票として、マルチバンドカメラで撮影される撮影範囲４２以上の大きさの範囲において均一な色特性を持つ色票３０を用いることにより、カメラ２４のシェーディング及び照明光のむらに起因する被写体画像の色むらを補正して、精度の良い色推定を行なうことが可能となる。

［第１実施形態］
次に、本発明の第１実施形態に係る色推定システムについて図１５（Ｂ）〜図１９を参照しながら説明する。

本実施形態の色推定システムは、マルチバンドカメラで色票３０を撮影する前に被写体２６の撮影を行い、予め被写体２６の分光反射率を前推定して、その前推定された分光反射率から最適な色票３０を選択し直して色票キャリブレーションを行なうものである。

本実施形態に係る色推定システムの全体的な機能構成は、前述した第２参考例における図７に示した構成と同様である。

図１５（Ｂ）は、本実施形態に係る色推定システムにおける全体的な処理の流れを示すものである。

即ち、本実施形態においては、まず、画像撮影部１０により被写体２６の撮影を行い（ステップＳ１６）、画像／データ出力部１４により、撮影された被写体２６のマルチバンド画像をモニタ表示する（ステップＳ３０）。そして、ユーザが領域指定部３６によって注目領域を指定した後（ステップＳ３２）、画像処理部２２において、前処理として一旦被写体２６の上記注目領域における分光反射率を推定する（これを前推定と呼ぶ）（ステップＳ６０）。なお、その際に用いる分光感度特性データは、予め画像処理部２２内部に記憶されている補正前の分光感度特性データである。分光反射率推定の方法は、例えば上記特許文献１に開示されている方法を用いれば良い。

次に、こうして前推定された分光反射率データに基づき、色票選択部１８において、図１６に示すように、複数の色票３０（図では色票“１”〜“４”）の分光反射率のうち、上記前推定された分光反射率４６と最も形状の近い分光反射率を持つ色票３０（図示の例では色票“２”）を自動選択する（ステップＳ６２）。そして、この選択された色票番号を画像／データ出力部１４において提示し（ステップＳ６４）、ユーザは、その提示された番号の色票３０をカメラ２４（画像撮影部１０）の前にセットして撮影を行なう（ステップＳ６６）。

こうして、自動選択・提示された番号の色票３０の撮影後、画像処理部２２においてカメラ分光感度特性データの補正を行ない（ステップＳ１４）、被写体２６の分光反射率を推定して（ステップＳ１８）、測色値データを算出する（ステップＳ２０）。そして、画像／データ出力部１４により、それらの推定及び算出結果をデータ出力あるいはグラフ表示する（ステップＳ３４）。

図１７は、上記ステップＳ６２における色票選択の処理の部分について詳細の処理の流れを示したものである。

即ち、まず、色票番号を示す変数ｎに「１」を初期設定する（ステップＳ６２Ａ）。そして、ｎ番目の色票３０における色票分光反射率データを色票分光反射率データベース２０より取得する（ステップＳ６２Ｂ）。次に、その取得された色票分光反射率と、被写体２６の前推定された分光反射率４６との平均自乗誤差（ＲＭＳＥ）を算出する（ステップＳ６２Ｃ）。そして、その算出した平均自乗誤差が所定の値の範囲内であるか否かを判別する（ステップＳ６２Ｄ）。

このステップＳ６２Ｄにおいて、算出した平均自乗誤差が所定の値の範囲内でないと判別された場合には、色票番号ｎがＮと等しいか否か、つまり、色票分光反射率データベース２０に格納されているＮ個すべての色票分光反射率データについて、処理が終了したかを判別する（ステップＳ６２Ｅ）。そして、まだ未処理のものがあれば、色票番号ｎを「＋１」した上で（ステップＳ６２Ｆ）、上記ステップＳ６２Ｂに戻ることで、次の色票における色票分光反射率データについての処理を繰り返す。

そして、上記ステップＳ６２Ｄにおいて、算出した平均自乗誤差が所定の値の範囲内であると判別された場合には、この処理を終了する。これにより、当該ｎ番目の色票３０が選択されることとなる。

なお、上記ステップＳ６２Ｅで、色票番号ｎがＮと等しい、つまり未処理の色票分光反射率データが無いと判別された場合には、該当する色票分光反射率データがないとして、この処理を終了する。

以上のようにして、被写体２６の分光反射率との平均自乗誤差が所定の範囲内であった色票３０を自動選択する。なお、ここで、もし予め用意された色票３０のなかで上記条件を満たすものがない場合には、すべての色票３０について平均自乗誤差を求めたもののうち、最も平均自乗誤差が少ないものを用いれば良い。あるいは、上記ステップＳ６２Ｄでの判別に使用する所定の値を変更して、上記ステップＳ６２の処理を繰り返すことで、該当する色票分光反射率データを選択するようにしても良い。

図１８は、本実施形態における画像処理部２２の詳細な機能構成について示した図である。同図に示すように、本実施形態においては、前述した第２参考例における図８に示した画像処理部２２の構成に加え、被写体分光反射率前推定部２２Ｏ及び色票評価部２２Ｐを備えたものである。

ここで、上記被写体分光反射率前推定部２２Ｏでは、前述したように、被写体２６の注目領域の分光反射率を推定する。また、上記色票評価部２２Ｐは、上記前推定された分光反射率と色票分光反射率データベース２０より取得された色票分光反射率とを比較し、色票３０の評価を行なう。そして、この色票評価部２２Ｐは、その評価の結果最適であった色票３０についての情報を色票選択部１８に送る。

以上のように、被写体２６の撮影を最初に行い、その後、前推定により被写体２６の分光反射率に最も近い色票３０を選んで色票撮影することで、被写体２６の特性に最適な色票３０を用いてキャリブレーションが行えるので、高精度な色推定が実現できる。また、ユーザの目視による色票選択よりも、上記自動選択により正確かつ簡単に選択することができる。

なお、以上では予め用意されている複数の色票３０の中から選択することを前提として説明しているが、本実施形態は、これに限るものではない。

例えば、図１９に示すように、上記前推定された分光反射率に基づいて、これに最も近い分光反射率特性をもつ色のカラーチャートを、プリンタ４８等により出力し、これを色票３０として用いても良い。この場合には、所望の分光反射率を有するカラーチャートを出力するために、例えば特開平１０−１５７２０６号公報や特開２００２−９８５９０号公報に開示されているような方法によりプリンタ４８の色調整を行う必要がある。また、プリンタ４８ではなくモニタ上に同じような分光特性が得られるようなカラーチャートを表示して、その表示されたカラーチャートを色票３０として撮影を行っても良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記第１乃至第４参考例及び上記第１実施形態では、撮影した色票画像４４と記憶されている色票分光反射率データとに基づいてカメラ分光感度データを補正した上で被写体２６の分光反射率を算出するようにしているが、撮影した色票画像４４と記憶されている色票分光反射率データとに基づいて撮影した被写体画像自体を補正して、被写体２６の分光反射率を算出するようにしても良い。

即ち、図２０に示すように、画像処理部２２として、前述した第１参考例における図１（Ｂ）に示す構成において、分光感度データ補正部２２Ｅに代えて、マルチバンド画像補正部２２Ｑを設ける。このマルチバンド画像補正部２２Ｑは、上記色票マルチバンド画像格納部２２Ｃに記憶されている色票マルチバンド画像と、上記色票分光反射率データ格納部２２Ｄに記憶されている色票分光反射率データとを用いて、上記被写体マルチバンド画像格納部２２Ａに記憶されている被写体マルチバンド画像を補正する。そしてこの場合には、上記被写体分光反射率算出部２２Ｆは、そのマルチバンド画像補正部２２Ｑにより補正された被写体マルチバンド画像と、上記カメラ分光感度データ格納部２２Ｂに記憶されているカメラ分光感度データとから、被写体２６の分光反射率を算出する。

なお、図２０は、上記第１参考例に対応させたものであるが、同様にして、上記第２乃至第４参考例及び上記第１実施形態にも適用可能なことは勿論である。

（Ａ）は本発明の第１参考例に係る色推定システムの機能的な構成を示すブロック図であり、（Ｂ）は第１参考例に係る色推定システムにおける画像処理部の詳細な機能構成を示すブロック図である。（Ａ）は第１参考例に係る色推定システムでの被写体撮影の様子を示す図であり、（Ｂ）は同じく色票撮影の様子を示す図である。第１参考例に係る色推定システムにおいて使用するカメラの構成を示す図である。第１参考例に係る色推定システムの全体的な処理の流れを説明するためのフローチャートを示す図である。第１参考例に係る色推定システムにおいて使用する歯科用に設計された色票の分光反射率分布を示す図である。第１参考例に係る色推定システムにおいて外部照明光がある場合の色票のマルチバンド撮影の様子を示した図である。本発明の第２参考例に係る色推定システムの機能的な構成を示すブロック図である。第２参考例に係る色推定システムにおける画像処理部の詳細な機能構成を示すブロック図である。第２参考例に係る色推定システムの全体的な処理の流れを説明するためのフローチャートを示す図である。本発明の第３参考例に係る色推定システムの機能的な構成を示すブロック図である。第３参考例に係る色推定システムにおける画像処理部の詳細な機能構成を示すブロック図である。第３参考例に係る色推定システムの全体的な処理の流れを説明するためのフローチャートを示す図である。本発明の第４参考例に係る色推定システムに使用する色票と撮影した色票画像との関係を示す図である。第４参考例に係る色推定システムにおける画像処理部の詳細な機能構成を示すブロック図である。（Ａ）は第４参考例に係る色推定システムの全体的な処理の流れを説明するためのフローチャートを示す図であり、（Ｂ）は本発明の第１実施形態に係る色推定システムの全体的な処理の流れを説明するためのフローチャートを示す図である。第１実施形態において前推定された被写体の分光反射率分布と、使用候補となる複数の色票の分光反射率とを示す図である。図１５（Ｂ）の色票選択のステップの詳細な処理の流れを説明するためのフローチャートを示す図である。第１実施形態に係る色推定システムにおける画像処理部の詳細な機能構成を示すブロック図である。第１実施形態に係る色推定システムの利用形態例を示す図である。第１参考例に係る色推定システムにおける画像処理部の変形例を説明するためのブロック図である。

符号の説明

１０…画像撮影部、１２…データ格納部、１４…データ出力部、１６…データ保存部、１８…色票選択部、２０…色票分光反射率データベース、２２…画像処理部、２２Ａ…被写体マルチバンド画像格納部、２２Ｂ…カメラ分光感度データ格納部、２２Ｃ…色票マルチバンド画像格納部、２２Ｄ…色票分光反射率データ格納部、２２Ｅ…分光感度データ補正部、２２Ｆ…被写体分光反射率算出部、２２Ｇ…観察照明光データ格納部、２２Ｈ…被写体測色値算出部、２２Ｉ…モニタ色特性データ格納部、２２Ｊ…モニタ出力信号値算出部、２２Ｋ…領域内画素平均値算出部、２２Ｌ…被写体基底関数データ格納部、２２Ｍ…色むら補正部、２２Ｎ…補正後マルチバンド画像格納部、２２Ｏ…被写体分光反射率前推定部、２２Ｐ…色票評価部、２２Ｑ…マルチバンド画像補正部、２４，２４’…カメラ、２４Ａ…ＬＥＤ、２４Ｂ…ＣＣＤ、２４Ｃ…ＣＣＤ制御部、２４Ｄ…画像メモリ、２４Ｅ…ＬＣＤモニタ、２４Ｆ…ＬＥＤ制御部、２４Ｇ…Ｉ／Ｆ、２６…被写体、２８…ＰＣ、３０…色票、３２…外部照明光、３４…フィルタターレット、３６…領域指定部、３８…被写体指定部、４０…被写体基底関数データベース、４２…撮影範囲、４４…色票画像、４６…前推定された分光反射率、４８…プリンタ。

Claims

カラー画像撮影装置によって、分光反射率が既知である色票及び分光反射率が既知でない被写体を撮影する撮影手段と、
予め用意された複数の色票の分光反射率情報を格納する格納手段と、
上記撮影手段によって撮影された被写体画像の信号値に基づいて、上記格納手段に格納された複数の色票の中から、撮影する色票を選択または指定する選択指定手段と、
上記選択指定手段によって選択または指定された色票を上記撮影手段によって撮影して得られた色票の画像の信号値と、上記格納手段に格納された上記選択指定手段によって選択または指定された色票の分光反射率情報と、上記カラー画像撮影装置の分光感度特性の情報とを用いて、上記撮影手段によって被写体を撮影して得られたカラー画像信号から被写体の分光反射率もしくは色を推定する推定手段と、
を具備することを特徴とする色推定システム。
上記推定手段は、
上記撮影手段によって撮影された色票の画像の信号値と、上記選択指定手段によって選択または指定された色票の分光反射率情報とから、上記カラー画像撮影装置の分光感度特性の情報を補正する補正手段と、
上記補正手段によって補正された上記カラー画像撮影装置の分光感度特性の情報に基づいて、上記撮影手段によって被写体を撮影して得られたカラー画像信号から上記被写体の分光反射率もしくは色を推定する色推定手段と、
を有することを特徴とする請求項１に記載の色推定システム。
上記推定手段は、
上記撮影手段によって撮影された色票の画像の信号値と、上記選択指定手段によって選択または指定された色票の分光反射率情報とに基づいて、上記撮影手段によって被写体を撮影して得られたカラー画像信号を補正する補正手段と、
上記カラー撮影装置の分光感度特性の情報に基づいて、上記補正手段によって補正されたカラー画像信号から上記被写体の分光反射率もしくは色を推定する色推定手段と、
を有することを特徴とする請求項１に記載の色推定システム。
上記選択指定手段は、上記撮影手段によって撮影された被写体画像の信号値に基づいて予め上記被写体の分光反射率を前推定する被写体分光反射率前推定手段と、
上記被写体分光反射率前推定手段により前推定された分光反射率と最も形状の近い分光反射率を持つ色票を選択する色票選択手段と、
を有することを特徴とする請求項１乃至３のうち何れか一つに記載の色推定システム。
上記選択指定手段は、上記撮影手段によって撮影された被写体画像の信号値に基づいて予め上記被写体の分光反射率を前推定する被写体分光反射率前推定手段と、
予め測定された複数の色票の分光反射率データを保存する色票分光反射率データベースと、
上記被写体分光反射率前推定手段により前推定された分光反射率と上記色票分光反射率データベースより取得された色票分光反射率とを比較して色票の評価を行い、当該評価に基づいて色票についての情報を出力する色票評価手段と、
上記色票評価手段からの情報に基づいて色票を選択する色票選択手段と、
を有することを特徴とする請求項１乃至３のうち何れか一つに記載の色推定システム。
上記色票の評価が、上記被写体分光反射率前推定手段により前推定された分光反射率と上記色票分光反射率データベースより取得された色票分光反射率との平均自乗誤差が所定の値の範囲内であるか否かを判別するものであることを特徴とする請求項５に記載の色推定システム。
カラー画像撮影装置によって、分光反射率が既知である色票及び分光反射率が既知でない被写体を撮影し、
予め用意された複数の色票の分光反射率情報を格納しておき、
上記カラー画像撮影装置によって撮影された被写体画像の信号値に基づいて、上記格納された複数の色票の中から、カラー画像撮影装置によって撮影する色票を選択または指定し、
上記選択または指定された色票を上記カラー画像撮影装置によって撮影して得られた色票の画像の信号値と、上記格納された上記選択または指定された色票の分光反射率情報と、上記カラー画像撮影装置の分光感度特性の情報とを用いて、上記カラー画像撮影装置により被写体を撮影して得られたカラー画像信号から被写体の分光反射率もしくは色を推定する、
ことを特徴とする色推定方法。