JP5210571B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、ウィナー推定を用いて前記被写体の分光特性を推定する画像処理装置、画像処理プログラムおよび画像処理方法に関する。

被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。

病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。

エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。

染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像が合成される。図１５は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。

標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。

ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質と観測ノイズの特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。

ここで、ウィナー推定法によって標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。

先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。

撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。

λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。

実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。

ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）

次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。

ここで、Ｗは、ウィナー推定行列と呼ばれ、次式（５）で表される。

Ｒ_SSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。Ｒ_NNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。このように、ウィナー推定行列は、システム行列Ｈと、観測対象の統計的性質を表す項Ｒ_SSと、観測ノイズの特性を表す項Ｒ_NNから構成され、それぞれの特性を高精度に表すことが、分光透過率の推定精度の向上に繋がる。

特開平７−１２０３２４号公報 "Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions"，Proceedings of SPIE，Vol.4684，2002，p.1516-1523 "Color Correction of Pathological Images Based on Dye Amount Quantification"，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300

非特許文献１に開示されている手法に従い、ウィナー推定を用いてマルチバンド画像から標本各点の分光透過率を推定する場合には、式（１）に示すカメラの応答システムの関係性に基づき、式（３）に示す光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓ、および照明の分光放射特性Ｅと、式（５）に示す観測対象の統計的性質を表す自己相関行列Ｒ_SS、およびカメラのノイズの自己相関行列Ｒ_NNの各分光特性推定パラメータを事前に取得する必要がある。ここで、カメラのノイズの自己相関行列Ｒ_NNは、標本無しの状態でマルチバンド画像を取得し、得られたマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られ、観測ノイズ特性を表す。

ところで、分光特性推定パラメータのうち、照明の分光放射特性Ｅは、分光計を用いて複数の画素からなる所定範囲の領域（測定領域）における照明の分光放射特性を測定し、得られた測定値を代表値として用いている。すなわち、所定の測定領域における照明の分光放射特性の測定値を、同一視野内の画素に一様に適用している。しかしながら、照明光には照明放射分布の不均一性が存在し、同一視野内を均一な照明強度で照射することは技術的に難しい。

この問題を解決するため、従来は、照明の分光放射特性を測定する際の前処理として、測定領域の測定中心に対するシェーディング補正を行うことにより、照明光の照明放射分布の不均一性を均一化した後で、分光計によって照明の分光放射特性を測定していた。また、標本無しの画像を撮像して得られた各画素の画素値から補正係数を求め、この補正係数を用いて標本のマルチバンド画像にシェーディング補正処理を施すことにより、標本のマルチバンド画像を一様な明るさの画像データに変換することができる。しかしながら、シェーディング補正処理は、照明光の照明放射分布を均一にする所謂ゲイン調整処理であり、各画素に含まれる観測ノイズに対してもゲイン調整を行う作用がある。このため、シェーディング補正処理に伴って、各画素の観測ノイズがそれぞれ増減してしまうという問題があった。したがって、シェーディング補正処理後の各画素の観測ノイズが、分光特性推定パラメータとして事前に取得されるカメラのノイズの自己相関行列Ｒ_NNと異なる場合があり、分光透過率の推定精度が低下するという問題があった。

本発明は、上記した従来の問題点に鑑みて為されたものであり、シェーディング補正処理に伴う観測ノイズ特性の特性変化に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定する画像処理装置において、前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出手段と、前記補正係数算出手段によって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正手段と、前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定手段と、前記ノイズ特性決定手段によって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定手段と、を備えることを特徴とする。

また、本発明にかかる画像処理プログラムは、コンピュータに、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定させるための画像処理プログラムであって、前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出ステップと、前記補正係数算出ステップによって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正ステップと、前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定ステップと、前記ノイズ特性決定ステップによって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定ステップと、を実行させることを特徴とする。

本発明によれば、シェーディング補正処理の影響を加味した観測ノイズ特性を用いて被写体の分光特性を推定できる。したがって、シェーディング補正処理に伴う観測ノイズ特性の特性変化に起因する分光特性値の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、本実施の形態では、Ｈ＆Ｅ染色された病理標本を被写体とし、病理標本を撮像したマルチバンド画像から、分光特性値として分光透過率のスペクトル特徴値を推定する場合について説明する。

図１は、本実施の形態に係る画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、画像取得部１１０を備え、パソコン等のコンピュータ１０と接続されて構成されている。

画像取得部１１０は、Ｈ＆Ｅ染色された分光透過率の推定対象の標本（以下、「対象標本」という。）を撮像して６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。

ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。

フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像及び第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として後述の記憶部１４０に保持される。

この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７及び光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。

また、本実施の形態では、この画像取得部１１０を利用し、照明光を照射した状態で標本無しの背景を撮像することによって、照明光の反射画像である照明画像を取得する。取得された照明画像は、記憶部１４０に保持される。この照明画像は、標本保持部１１３に標本を載置せずに撮像を行うことで取得できる。なお、照明画像を取得する際には光学フィルタ１１９１ａ，１１９１ｂは必要ないため、例えばフィルタ部１１９を取り外して撮像を行う。

図５は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。

入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。

表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。

記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置１の動作に係るプログラムや、画像処理装置１の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。例えば、照明画像や対象標本画像の画像データ、補正係数画像の領域分割結果等が格納される。また、シェーディング補正係数データ１４１と、分割領域別観測ノイズ特性データ１４３と、照明画像をもとに作成した補正係数画像の画素値に基づいて分割した分割領域毎の観測ノイズ特性を決定し、決定した観測ノイズ特性を用いて対象標本の分光特性を推定するための画像処理プログラム１４５とが格納される。シェーディング補正係数データ１４１は、照明画像を構成する各画素の補正係数を、該各画素の補正係数を画素値として画像化した補正係数画像の画像データとして記憶する。分割領域別観測ノイズ特性データ１４３は、分割領域毎の観測ノイズ特性を記憶する。

画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、補正係数算出手段としての補正係数算出部１５１と、分布画像作成手段および係数分布算出手段としての分布データ作成部１５２と、領域分割手段、分割判定手段、階調変換分割手段、二値化手段およびラベリング処理手段としての領域分割部１５３と、代表点抽出手段としての代表点抽出部１５４と、ノイズ特性決定手段およびノイズ算出手段としての観測ノイズ特性決定部１５５と、補正手段としてのシェーディング補正部１５６と、分光特性推定手段としての分光特性推定部１５７とを含む。補正係数算出部１５１は、照明画像の画素値に基づいて、各画素の補正係数を算出する。分布データ作成部１５２は、補正係数算出部１５１によって算出された各画素の補正係数の分布データを作成する。具体的には、各画素の補正係数に基づいて補正係数画像を作成するとともに、補正係数の分布図であるヒストグラムを作成する。領域分割部１５３は、補正係数画像を複数の分割領域に分割する。代表点抽出部１５４は、領域分割部１５３によって分割された各分割領域の中からそれぞれ一つまたは複数の代表点（分割領域代表点）を抽出する。観測ノイズ特性決定部１５５は、基準ノイズ量であるＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNと分割領域代表点における補正係数αとに基づいて各分割領域における観測ノイズ特性を決定する。シェーディング補正部１５６は、補正係数算出部１５１によって算出された各画素の補正係数を用いて、対象標本画像にシェーディング補正処理を施す。分光特性推定部１５７は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を、この所定の画素の属する分割領域の分割領域代表点における観測ノイズ特性を用いて推定する。

制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、この制御部１６０は、画像取得部１１０の動作を制御して照明画像を取得する照明画像取得制御部１６１と、画像取得部１１０の動作を制御して対象標本画像を取得する標本画像取得制御部１６３とを含む。

次に、画像処理装置１における処理の手順について説明する。本実施の形態の画像処理装置１は、分割領域毎の観測ノイズ特性を算出する処理（以下、「観測ノイズ特性算出処理」と称す。）と、対象標本の分光特性を推定する処理（以下、「分光特性推定処理」と称す。）とを実行する。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４５に従って画像処理装置１の各部が動作することによって実現される。

先ず、観測ノイズ特性算出処理の手順について説明する。図６は、観測ノイズ特性算出処理の手順を示すフローチャートである。この観測ノイズ特性算出処理では、先ず、照明画像取得制御部１６１が、画像取得部１１０の動作を制御し、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得する（ステップＳ１０１）。

次に、補正係数算出部１５１が、照明画像に基づいて各画素の補正係数を算出する（ステップＳ１０３）。算出された各画素の補正係数は、記憶部１４０に格納される。ここで、分光特性推定パラメータの一つである照明の分光放射特性Ｅは、分光計を用いて所定の測定領域における照明の分光放射特性を測定することによって得られるが、補正係数は、この所定の測定領域の測定中心である点Ｘ₀の画素値に基づいて算出される。ここで、点Ｘ₀の画素値をＷ₀、任意の点Ｘの画素値をＷ_xとすると、点Ｘの補正係数α_xは次式（６）で表される。

続いて、分布データ作成部１５２が、ステップＳ１０３で算出した各画素の補正係数α_xを画素値として画像化した補正係数画像を作成し、シェーディング補正係数データ１４１として記憶部１４０に格納する（ステップＳ１０５）。また、分布データ作成部１５２は、補正係数画像に基づいて、横軸を補正係数α、縦軸を画素の個数としたヒストグラムを作成する（ステップＳ１０７）。作成されたヒストグラムのデータは、記憶部１４０に格納される。図７に、作成されたヒストグラムの一例を示す。ヒストグラムを作成したならば、領域分割部１５３が、このヒストグラムから得られる画素値の分布幅に応じて、領域分割処理を実行するか否かを判定する。すなわち、領域分割部１５３は、作成したヒストグラムから補正係数画像の画素値の分布幅を算出する（ステップＳ１０９）。そして、領域分割部１５３は、算出した分布幅と事前に閾値として設定される基準分布幅とを比較し、領域分割処理を実行するか否かを判定する。

算出した分布幅が基準分布幅より小さい場合には（ステップＳ１１１：Ｎｏ）、領域分割部１５３は、領域分割処理を実行しないと判定する。この場合には、領域分割部１５３は、補正係数画像の全域を一つの分割領域とし、例えば、照明の分光放射特性Ｅを取得した際の分光計の測定領域の測定中心Ｘ₀を分割領域代表点としてステップＳ１１５に移行する。

一方、領域分割部１５３は、分布幅が基準分布幅以上の場合には（ステップＳ１１１：Ｙｅｓ）、ステップＳ１１３に移行し、領域分割処理を実行する。なお、ステップＳ１０７で作成したヒストグラムをユーザに視覚的に提示し、ユーザ操作に従って領域分割処理を実行するか否かを判定してもよい。この場合には、制御部１６０は、図７に例示したような領域分割部１５３によって作成されたヒストグラムを表示部１３０に表示する制御を行うとともに、画像を分割領域に分割するか否かの判定依頼の通知を表示する制御を行って、係数分布表示制御手段および判定入力依頼手段として機能する。図８は、補正係数画像を分割するか否かの判定依頼の通知画面の一例を示す図である。通知画面Ｗ１０には、分割を行うか否かの判定を依頼する旨のメッセージが表示されるとともに、分割を行う／行わないの何れかを選択するためのボタンＢ１１，Ｂ１３が配置されている。ユーザは、入力部１２０を介してボタンＢ１１またはボタンＢ１３の押下操作を行い、分割指示または非分割指示を入力する。この判定依頼の通知に対する応答に従い、領域分割部１５３は、領域分割処理を実行するか否かを判定する。

ここで、ステップＳ１１３による領域分割処理について説明する。図９は、領域分割処理の手順を示すフローチャートである。この領域分割処理では、領域分割部１５３は、先ず、階調変換処理を行って補正係数画像を複数の分割領域に分割する（ステップＳ２０１）。このとき、階調変換処理の結果得られた各分割領域を特定するためのデータが、記憶部１４０に保持される。

この階調変換処理は、事前に指定される分割パラメータに基づいて行われる。本実施の形態では、分割パラメータとして、補正係数間隔（具体的には画素値の強度幅）Ｉを用いる。具体的には、領域分割部１５３は、ステップＳ１０７で作成したヒストグラムに基づいて画素の最大値および最小値を算出する。次いで、領域分割部１５３は、補正係数間隔Ｉに基づいて、算出した最大値と最小値との間に含まれる各画素の階調変換を行い、階調変換画像を得る。例えば、最大値をＭ、最小値をｍとし、各画素を画素値幅［ｍ，Ｍ−ｎＩ］，［Ｍ−２Ｉ＋１，Ｍ−１］，・・・［Ｍ−Ｉ＋１，Ｍ］でそれぞれカテゴリー化する。そして、画素値幅の中央値を変換値とし、各カテゴリーに分類された画素を階調変換する。このようにして、領域分割部１５３は、補正係数間隔Ｉに応じた画素値幅毎に補正係数画像を階調変換することにより、補正係数画像を複数の分割領域に分割する。図１０は、補正係数画像の分割結果の一例を示す図である。図１０に示す例では、補正係数画像Ｇ１０が、三つの分割領域Ａ１１，Ａ１３，Ａ１５に分割されている。

次に、領域分割部１５３は、階調変換結果に基づいて二値化処理を行い、分割領域毎に二値画像を取得する（ステップＳ２０３）。続いて、領域分割部１５３は、得られた分割領域毎の二値画像それぞれにラベリング処理を行い、各二値画像中の連結成分（連結している画素群）に固有の値（ラベル）を付ける（ステップＳ２０５）。このラベリング処理によって、各分割領域からそれぞれ少なくとも一つの二値画像分割領域を取得することができる。このとき、二値化処理およびラベリング処理の結果得られた各二値画像分割領域を特定するためのデータが、記憶部１４０に保持される。なお、ステップＳ２０３の二値化処理及びステップＳ２０５のラベリング処理の具体的な処理方法は、本発明の特徴から限定する必要はなく、公知の処理を用いることにより実施できる。図１１は、二値画像の分割結果の一例を示す図である。この図１１は、図１０に示す補正係数画像Ｇ１０の分割領域Ａ１１を対象とした二値化処理およびラベリング処理の結果得られた二値画像分割領域を示しており、この二値画像Ｇ２０によれば、分割領域Ａ１１について４つの二値画像分割領域Ａ２１，Ａ２３，Ａ２５，Ａ２７が取得されている。ラベリング処理の後、図６のステップＳ１１３にリターンし、その後ステップＳ１１５に移行する。

ステップＳ１１５では、代表点抽出部１５４が、ステップＳ１１３の領域分割処理の結果得られた分割領域の中から一つまたは複数の分割領域代表点を抽出する。具体的には、代表点抽出部１５４は、補正係数画像を分割した各分割領域をそれぞれ処理対象として、次の処理を行う。先ず、処理対象の分割領域から取得した二値画像分割領域の中から、最大面積の二値画像分割領域を選出する。ここでの処理により、例えば、図１１の例では、二値画像分割領域Ａ２３が選出される。次いで、選出した二値画像分割領域に含まれる補正係数画像の各画素の画素値に基づいて、画像横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する。次いで、作成したヒストグラムに基づいて、その個数が予め設定された所定の閾値以下である画素値をノイズとして除去し、除去した画素値以外の画素値の最小値と最大値とに基づいて、その中心値を算出する。そして、選出した二値画像分割領域に含まれる画素の中から、算出した中心値を画素値とする画素を一つまたは複数個無作為に選出し、処理対象の分割領域における分割領域代表点とする。このようにして抽出された分割領域毎の分割領域代表点は、記憶部１４０に格納される。これにより、分割領域内の画素の中から、その分割領域において平均的な補正係数の画素を分割領域代表点として抽出することができる。分割領域代表点は、何点抽出することとしても構わないが、複数抽出する場合には、抽出済みの分割領域代表点を中心とした所定範囲内に存在する画素を抽出対象から除外し、所定範囲の領域内から複数の分割領域代表点を抽出しないようにする。

なお、領域分割処理の結果をユーザに視覚的に提示し、ユーザ操作に従って分割領域代表点を抽出してもよい。この場合には、制御部１６０は、図１０に例示したような補正係数画像の分割領域を表示部１３０に表示する制御を行うとともに、分割領域毎に分割領域代表点の選出依頼の通知を表示する制御を行って、分割領域表示制御手段および代表点選出依頼手段として機能する。図１２は、分割領域代表点の選出依頼の通知画面の一例を示す図である。通知画面Ｗ２０には、分割領域毎に分割領域代表点の選出を依頼する旨のメッセージＭ２０が表示されている。ユーザは、入力部１２０を介して各分割領域からそれぞれ一つまたは複数の分割領域代表点の位置を指定することによって、分割領域毎の分割領域代表点を選出する。また、取消ボタンＢ２１の押下操作によって指定操作を取り消し、或いは決定ボタンＢ２３の押下操作によって指定操作を確定する。この通知画面Ｗ２０では、分割領域代表点の指定操作に応じてその選出位置が識別表示されるようになっており、図１２の例では、分割領域Ａ１１の中から選出された分割領域代表点の位置Ｐ１０が識別表示されている。この選出依頼の通知に対する応答に従い、代表点抽出部１５４は、各分割領域の分割領域代表点を抽出する。或いは、図１１に例示したような分割領域から取得した二値画像分割領域を分割領域毎に表示部１３０に表示する制御を行い、最大面積の二値画像分割領域の中からその分割領域における分割領域代表点を選択させるようにしてもよい。

次に、観測ノイズ特性決定部１５５が、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNと分割領域代表点における補正係数αとに基づいて各分割領域における観測ノイズ特性を決定する（ステップＳ１１７）。ここで、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNについては、事前に取得しておく。すなわち、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。また、分割領域代表点を点Ｘとすると、点Ｘの補正係数α_Xは、補正係数画像における点Ｘの画素値から得られる。観測ノイズ特性決定部１５５は、一の分割領域の中から抽出された分割領域代表点が一つの場合には、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNに、この分割領域代表点における補正係数αの２乗を乗じることで、各分割領域における観測ノイズ特性を算出する。一方、一の分割領域の中から抽出された分割領域代表点が複数個ある場合には、各分割領域代表点における補正係数αから平均値を算出し、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNに、算出した平均値の２乗を乗じることで、各分割領域における観測ノイズ特性を算出する。そして、観測ノイズ特性決定部１５５は、各分割領域の観測ノイズ特性を算出したならば、これらを対応する分割領域の識別情報と関連付け、分割領域別観測ノイズ特性データ１４３として記憶部１４０に格納する。

なお、ステップＳ１１１において分割処理を実行しないと判定されて、照明の分光放射特性Ｅを取得した際の分光計の測定領域の測定中心Ｘ₀が分割領域代表点とされた場合には、点Ｘ₀における算出値を観測ノイズ特性とするため、この場合の観測ノイズ特性は、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNとなる。これにより、補正係数分布の不均一性の程度によっては、従来と同様に、同一視野内の分光透過率の推定に一様に用いられる。

次に、分光特性推定処理の手順について説明する。図１３は、分光特性推定処理の手順を示すフローチャートである。この分光特性推定処理では、先ず、標本画像取得制御部１６３が、画像取得部１１０の動作を制御して、分光透過率の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ３０１）。

続いて、シェーディング補正部１５６が、図６のステップＳ１０３で算出した各画素の補正係数α（ステップＳ１０５で画像化した補正係数画像の画素値）を用いて、ステップＳ３０１で取得した対象標本画像にシェーディング補正処理を施す（ステップＳ３０３）。具体的には、対象標本画像を構成する各画素の画素値に、対応する補正係数画像の画素の画素値である補正係数αを乗じ、得られた各値を各画素の画素値として画像化したシェーディング補正画像を得る。

続いて、分光特性推定部１５７が、対象標本画像の任意の点ｘにおける画素に対応する対象標本点における分光透過率を推定する。すなわち、分光特性推定部１５７は、先ず、点ｘの画素の属する分割領域を特定し、この分割領域における観測ノイズ特性を記憶部１４０に格納された分割領域別観測ノイズ特性データ１４３から読み出すことにより、分光透過率の推定に用いる観測ノイズ特性を取得する（ステップＳ３０５）。

また、分光特性推定部１５７は、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓ、照明の分光放射特性Ｅ、および標本の分光透過率の自己相関行列Ｒ_SSの各分光特性推定パラメータを取得する（ステップＳ３０７）。

ここで、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび照明の分光放射特性Ｅは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。また、標本の分光透過率の自己相関行列Ｒ_SSについても、事前に取得しておく。Ｒ_SSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。

そして、分光特性推定部１５７は、ステップＳ３０５およびステップＳ３０７で取得した各分光特性推定パラメータをもとに、次式（７）に従ってウィナー推定行列を算出し、シェーディング補正画像の点ｘに対応する対象標本点における分光透過率をウィナー推定によって推定する（ステップＳ３０９）。

すなわち、本実施の形態では、シェーディング補正画像の点ｘに対応する対象標本点における分光透過率の推定値Ｔ＾（ｘ）は、シェーディング補正画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、式（７）で表されるウィナー推定行列を用いて次式（８）に従って推定される。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。

本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。

本実施の形態によれば、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得し、この照明画像に基づいて算出した各画素の補正係数αを画素値として画像化した補正係数画像を補正係数間隔Ｉに基づいて分割した分割領域毎に、観測ノイズ特性を決定することができる。具体的には、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNと各分割領域の中からそれぞれ抽出した分割領域代表点における補正係数αとに基づいて、各分割領域における観測ノイズ特性を決定することができる。そして、対象標本画像の各画素を、それぞれ対応する画素の補正係数αを用いてシェーディング処理を施すとともに、補正後のシェーディング補正画像を構成する画素に対応する対象標本点の分光透過率をウィナー推定によって推定する際に、この画素の属する分割領域の分割領域代表点における観測ノイズ特性を用いることができる。したがって、シェーディング補正処理により照明の分光放射分布の不均一性を除去できる。また、同一視野内における補正係数の不均一性による推定精度の低下問題は、同一分割領域内の補正係数の不均一性による推定精度の低下問題となるので、シェーディング補正処理に伴う観測ノイズ特性の特性変化に起因する分光特性値の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。

なお、補正係数画像を領域分割するための分割パラメータである補正係数間隔Ｉは、ユーザ操作に従って設定することとしてもよい。この場合には、例えば、制御部１６０は、図７に例示したような領域分割部１５３によって作成されたヒストグラムを表示部１３０に表示する制御を行うとともに、補正係数間隔Ｉの入力依頼の通知を表示する制御を行って、パラメータ入力依頼手段として機能する図１４は、補正係数間隔Ｉの入力依頼の通知画面の一例を示す図である。通知画面Ｗ３０には、補正係数間隔Ｉの入力操作を受け付ける入力ボックスＢ３０が配置されている。ユーザは、入力部１２０を介して所望の補正係数間隔Ｉの値を入力ボックスＢ３０に入力することにより、補正係数間隔Ｉを指定する。領域分割部１５３は、この入力依頼の通知に応答して入力された値を補正係数間隔Ｉとし、階調変換処理を行う。このように、ユーザ操作によって指定された補正係数間隔Ｉに基づいて領域分割処理を行うようにすれば、ユーザが補正係数の不均一性の許容量を指定することができ、補正係数の不均一性によって生じる観測ノイズ特性の特性変化による分光特性の推定精度への影響を、許容内に軽減することができる。したがって、ユーザは、指定する補正係数間隔Ｉの値によって、補正係数の不均一性による分光特性の推定誤差の軽減と領域分割に伴う分光特性の推定処理時間の増加とのバランスを適宜調整できる。例えば、補正係数間隔Ｉを狭く指定すれば、推定処理時間は増大するものの、分光特性の推定誤差は小さくなり、分光特性の推定精度を向上させることができる。一方、補正係数間隔Ｉを広く指定した場合には、分光特性の推定精度はある程度低下するが、推定処理時間を短縮することができる。

また、上記した実施形態では、補正係数間隔Ｉを分割パラメータとして用い、補正係数画像を分割する場合について説明したが、分割数を分割パラメータとして用い、補正係数画像を分割することとしてもよい。この場合には、分割数が階調変換後の階調数となり、例えば、分割数に従って補正係数間隔Ｉを決定し、決定した補正係数間隔Ｉに従って補正係数画像を複数の分割領域に分割する。また、この分割数をユーザ操作に従って設定してもよい。

また、上記した実施の形態では、補正係数画像を分割した分割領域毎に観測ノイズ特性を決定し、シェーディング補正処理を施した対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する際に、この画素の属する分割領域に応じた観測ノイズ特性を用いることとしたが、画素毎に観測ノイズ特性を決定することとしてもよい。この場合には、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNと所定の画素における補正係数αとに基づいて、この所定の画素に観測ノイズ特性を算出し、対応する対象標本点における分光透過率の推定に用いる。

また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率のスペクトル特徴値を推定する場合にも、同様に適用できる。

また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。

画像処理装置の構成を示す図である。 カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。 一の光学フィルタの分光透過率特性を示す図である。 他の光学フィルタの分光透過率特性を示す図である。 Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。 画像処理装置の機能構成を示すブロック図である。 観測ノイズ特性算出処理の手順を示すフローチャートである。 補正係数画像に基づいて作成したヒストグラムの一例を示す図である。 補正係数画像を分割するか否かの判定依頼の通知画面の一例を示す図である。 領域分割処理の手順を示すフローチャートである。 補正係数画像を分割した分割領域の一例を示す図である。 二値画像を分割した二値画像分割領域の一例を示す図である。 分割領域代表点の選出依頼の通知画面の一例を示す図である。 分光特性推定処理の手順を示すフローチャートである。 補正係数間隔Ｉの入力依頼の通知画面の一例を示す図である。 ＲＧＢ画像の一例を示す図である。

符号の説明

１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ シェーディング補正係数データ
１４３ 分割領域別観測ノイズ特性データ
１４５ 画像処理プログラム
１５０ 画像処理部
１５１ 補正係数算出部
１５２ 分布データ作成部
１５３ 領域分割部
１５４ 代表点抽出部
１５５ 観測ノイズ特性決定部
１５６ シェーディング補正部
１５７ 分光特性推定部
１６０ 制御部
１６１ 照明画像取得制御部
１６３ 標本画像取得制御部

Claims (13)

1. 照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定する画像処理装置において、
   前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出手段と、
   前記補正係数算出手段によって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正手段と、
   前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定手段と、
   前記ノイズ特性決定手段によって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記ノイズ特性決定手段は、予め定められる観測ノイズの基準ノイズ量に、前記画素に対する前記補正係数を乗じて前記画素の観測ノイズ特性を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画素に対する前記補正係数に基づいて、補正係数分布画像を作成する分布画像作成手段と、
   前記分布画像作成手段によって作成された補正係数分布画像を複数の分割領域に分割する領域分割処理を実行する領域分割手段と、
   前記領域分割手段によって分割された各分割領域内の画素に対する前記補正係数に基づいて、分割領域毎の観測ノイズ特性を算出するノイズ算出手段と、
   を備え、
   前記ノイズ特性決定手段は、前記画素の観測ノイズ特性を、該画素の属する分割領域の観測ノイズ特性とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記領域分割手段によって分割された各分割領域それぞれの中から、少なくとも一つの画素を分割領域代表点として抽出する代表点抽出手段を備え、
   前記ノイズ算出手段は、前記代表点抽出手段によって抽出された各分割領域代表点の画素に対する前記補正係数に基づいて、各分割領域代表点の画素の観測ノイズ特性を前記分割領域毎の観測ノイズ特性として算出し、
   前記ノイズ特性決定手段は、前記画素の観測ノイズ特性を、該画素の属する分割領域中の前記分割領域代表点の画素の観測ノイズ特性とすることを特徴とする請求項３に記載の画像処理装置。
5. 前記各画素に対する補正係数の分布を算出する係数分布算出手段を備え、
   前記領域分割手段は、前記係数分布算出手段によって作成された補正係数の分布に基づいて、前記領域分割処理を実行するか否かを判定する分割判定手段を有することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記係数分布算出手段によって算出された補正係数の分布を表示部に表示する制御を行う係数分布表示制御手段と、
   前記補正係数分布画像を前記分割領域に分割するか否かの判定を依頼する判定入力依頼手段と、
   を備え、
   前記分割判定手段は、前記判定入力依頼手段による判定の依頼に応答して分割指示が入力された場合には前記領域分割処理を実行すると判定し、非分割指示が入力された場合には前記領域分割処理を実行しないと判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記領域分割手段は、補正係数間隔および／または分割数を分割パラメータとし、該分割パラメータを用いて前記補正係数分布画像を前記分割領域に分割することを特徴とする請求項３〜６の何れか一つに記載の画像処理装置。
8. 前記分割パラメータの入力を依頼するパラメータ入力依頼手段を備え、
   前記領域分割手段は、前記パラメータ入力依頼手段による入力の依頼に応答して入力された分割パラメータを用いて、前記補正係数分布画像を領域分割することを特徴とする請求項７に記載の画像処理装置。
9. 前記領域分割手段は、
   前記補正係数分布画像を、前記分割パラメータに応じた階調区間毎に階調変換し、階調変換結果に基づいて前記補正係数分布画像を前記分割領域に分割する階調変換分割手段と、
   前記階調変換結果に基づいて二値化処理を行い、前記分割領域毎の二値画像を取得する二値化手段と、
   前記二値化手段による二値化結果に基づいて、前記分割領域毎の二値画像それぞれにラベリング処理を行うラベリング処理手段と、
   を有し、
   前記代表点抽出手段は、ラベリング処理手段の結果に基づいて、前記各分割領域から前記分割領域代表点を抽出することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記領域分割処理の結果を表示部に表示する制御を行う分割領域表示制御手段と、
    前記分割領域毎に、前記分割領域代表点の選出を依頼する代表点選出依頼手段と、
    を備え、
    前記代表点抽出手段は、前記代表点選出依頼手段による選出の依頼に応答して選出された分割領域代表点に基づいて、前記各分割領域における前記分割領域代表点を抽出することを特徴とする請求項３〜９のいずれか一つに記載の画像処理装置。
11. 前記分光特性は、分光透過率または分光反射率のスペクトル特徴値であることを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. コンピュータに、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定させるための画像処理プログラムであって、
    前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出ステップと、
    前記補正係数算出ステップによって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正ステップと、
    前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定ステップと、
    前記ノイズ特性決定ステップによって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定ステップと、
    を実行させることを特徴とする画像処理プログラム。
13. 照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定する画像処理方法であって、
    前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出するステップと、
    算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施すステップと、
    前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するステップと、
    決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定するステップと、
    を備えることを特徴とする画像処理方法。

Images