JP4920507B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、複数の色素によって染色された標本が撮像された観察画像を処理する画像処理装置および画像処理プログラムに関するものである。

生体組織標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得る為に顕微鏡を用いて拡大観察する事が広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきた事もあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収及び散乱せず無色透明に近い為、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、青紫色のヘマトキシリンと赤色のエオジンとの２つの色素を用いるヘマトキシリン−エオジン染色（以下、Ｈ＆Ｅ染色と呼ぶ。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性は無い。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電している為、ヘマチンと結合して青紫色に染色される。尚、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的である為、以下それに従う。

エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。その為、エオジン溶液には酢酸を加えて用いる事がある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本では細胞核、骨組織等が青紫色に、細胞質、結合織、赤血球等が赤色に染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握することができ、標本の状態を形態学的に判断する事が可能となる。

ここで、標本中の色素量を標本上の観察点において定量推定する手法が知られており、様々な目的に応用された例がある（例えば、特許文献１、非特許文献１および２参照）。特許文献１では、推定された色素量に基づいて標本の組織を分類し、標本画像の領域分割を行う技術が開示されている。非特許文献１では、色素量を定量推定した後、標本画像の色情報の補正に使用する手法が開示されている。非特許文献２では、２つの色素によって染色された標本に対し、リニアアンミキシング処理によって標本中の各色素量を推定し、その推定した各色素量から標本の染色状態を定量評価する手法が開示されている。

特開２００５−３３１３９４号公報 "Color Correction of Pathological Images Based on Dye Amount Quantification"、OPTICAL REVIEW、2005、Vol.12、No.4、p.293-300 "Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions"、Proceedings of SPIE - Image Processing、Vol.4684、p.1516-1523

ところで、非特許文献２に記載されたリニアアンミキシング処理では、各色素の分光特性が既知であるとして手法が組み立てられている。実際には標本に定着した後の各色素の分光特性を知る必要がある為、単一の色素のみで染色した標本を敢えて作成し、この標本の分光特性を測定する等の手順が用いられている。

しかしながら、この場合、各色素の分光特性が標本によって変化し得るという問題がある。例えば、染色時の薬剤のｐＨが色素の分光特性に影響を与える事が知られているが、薬剤のｐＨは異なる施設では同一ではない可能性が高く、また同じ施設内でも時期によって変動し得るものである。このため、前述のように単一の色素で染色した標本を測定して色素の分光特性を得たとしても、実際の観察対象では色素の分光特性が異なっている可能性があり、リニアアンミキシング処理によって定量推定された色素量は推定精度が低いものになるという問題があった。

なお、ある程度の期間毎に単一の色素のみで染色した標本を作成し、色素の分光特性を測定し直すという運用面での解決方法も考えられるが、前述の通り単一の色素で染色した標本と実際の観察対象とでは色素の分光特性が一致しない可能性は残り、標本作製の手間も要する。また、再測定を何時行えば良いのかの指針が無く、無駄な再測定が行われたり、必要な再測定が行われなかったりする可能性がある。

本発明は、上記に鑑みてなされたものであって、複数の色素によって染色された標本中の各色素量を高精度に推定することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明にかかる画像処理装置は、複数の色素によって染色された標本が撮像された観察画像を処理する画像処理装置において、前記観察画像の画素値をもとに前記標本の分光特性を算出する分光特性算出手段と、前記複数の色素の各基準分光特性を記憶した分光特性記憶手段と、前記標本の分光特性と前記各基準分光特性とをもとに前記標本中の各色素量を推定する色素量推定手段と、前記各基準分光特性に対する補正要否を決定する補正要否決定手段と、前記補正要否決定手段が前記各基準分光特性に対する補正が必要と決定した場合、前記標本の分光特性をもとに、前記各基準分光特性を補正するとともに前記標本中の各色素量を再推定する分光特性補正手段と、を備えたことを特徴とする。

また、本発明にかかる画像処理プログラムは、複数の色素によって染色された標本が撮像された観察画像を処理する画像処理装置に、前記観察画像の画素値をもとに前記標本の分光特性を算出する分光特性算出手順と、前記標本の分光特性と前記複数の色素の各基準分光特性とをもとに前記標本中の各色素量を推定する色素量推定手順と、前記各基準分光特性に対する補正要否を決定する補正要否決定手順と、前記補正要否決定手順が前記各基準分光特性に対する補正が必要と決定した場合、前記標本の分光特性をもとに、前記各基準分光特性を補正するとともに前記標本中の各色素量を再推定する分光特性補正手順と、を実行させることを特徴とする。

本発明にかかる画像処理装置および画像処理プログラムによれば、複数の色素によって染色された標本中の各色素量を高精度に推定することができる。

以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一符号を付して示している。

（実施の形態）
図１は、本実施の形態にかかる画像処理装置１の要部構成を示すブロック図である。この図に示すように、画像処理装置１は、複数の色素によって染色された標本が撮像された観察画像を取得する観察画像取得部２と、各種情報の入力、表示および記憶をそれぞれ行う入力部３、表示部４および記憶部５と、観察画像取得部２が取得した観察画像に対して各種画像処理を行う画像処理部６と、これらの各部に電気的に接続され、その接続された各部の処理および動作を制御する制御部７とを備える。

観察画像取得部２は、例えば図２に示すように、複数の色素によって染色された標本１０が載置されたステージ１１と、ステージ１１を介して標本１０を透過照明する光源１２と、標本１０からの光を集光して標本１０の観察像を結像させる結像光学系１３と、観察像を結像する光の波長帯域を所定範囲に制限するバンドパスフィルタ１４と、観察像を撮像して観察画像を生成するカメラ１６とを備える。

バンドパスフィルタ１４は、異なる分光透過率特性を有したバンドパスフィルタ１４ａ，１４ｂを含み、それぞれ回転式のターレット１５に保持されている。これによって、バンドパスフィルタ１４ａ，１４ｂは、結像光学系１３とカメラ１６との間に切換自在に配置可能とされている。観察画像取得部２は、観察像を結像する光の波長帯域をバンドパスフィルタ１４によって変化させながら複数の観察画像を撮像することで、標本１０の分光画像（観察画像群）を取得することができる。

なお、ここではバンドパスフィルタ１４は２枚のバンドパスフィルタ１４ａ，１４ｂを含み、観察画像取得部２はこの２枚のバンドパスフィルタ１４ａ，１４ｂを用いて分光画像を取得するものとして説明したが、２枚に限定されず、３枚以上用いることができる。通常、観察画像取得部２はより多くの、例えば１６枚のバンドパスフィルタを用いて分光画像を取得することが好ましい。

また、バンドパスフィルタ１４は、結像光学系１３とカメラ１６との間に配置されるものとして説明したが、光源１２からカメラ１６に至る光路中のいずれの位置に配置させてもよい。さらに、観察像を結像する光の波長帯域を制限するものとして、バンドパスフィルタ１４の代わりに透過帯域可変型のフィルタを用いてもよく、例えばバンドパスフィルタ１４およびターレット１５に替えて液晶チューナブルフィルタを用いることができる。

なお、本実施の形態では、複数の色素によって染色された標本１０として、例えばヘマトキシリンとエオジンとの２つの色素によって染色された病理標本を用い、画像処理装置１は、この２つの色素の各色素量を推定するものとして説明する。ただし、画像処理装置１によって定量推定可能な色素は、ヘマトキシリンおよびエオジンに限定されるものではなく、画像処理装置１によって処理可能な標本は、病理標本に限定されるものではない。

入力部３は、キーボード、マウス等の各種入力デバイスを備え、観察画像の処理に用いる処理パラメータ等、各種情報の入力を行う。特に、入力部３は、後述する所定の入力依頼に対応する判定情報や選択情報等の入力を行う。表示部４は、液晶表示器等の各種表示器を用いて構成され、観察画像、色素量の推定結果、所定の入力依頼情報等、各種情報の表示をする。

記憶部５は、ハードディスク、ＲＯＭおよびＲＡＭ等を用いて構成され、制御部７が実行させる処理プログラム、観察画像取得部２が取得した観察画像、画像処理部６の処理結果等、各種情報を記憶する。特に、記憶部５は、標本１０等の各種標本の染色に用いる各色素に固有の分光特性である基準分光特性をあらかじめ記憶する基準分光特性記憶部５ａを備える。具体的には、基準分光特性記憶部５ａは、各色素の基準分光特性として分光透過率特性と、波長ごとの吸光度（以下、単に吸光度と呼ぶ。）との少なくとも一方を記憶する。

一般に、標本の染色方法は、観察対象や目的に応じて多岐にわたる。例えば病理標本の染色法方は１００種類以上が知られており、それぞれ使用する色素が異なる。また、例えばヘマトキシリンはカラッチの方式とマイヤーの方式とが知られており、名称が同じでも異なる分光特性を有する。その他、同じ染色方法であっても施設や時期によって染色時の環境（ｐＨ等）が変化し、色素の分光特性が異なる可能性がある。基準分光特性記憶部５ａは、このような複数の色素のうち必要と思われる色素（以下、候補色素と呼ぶ。）の基準分光特性をあらかじめ記憶している。また、基準分光特性記憶部５ａは、後述のように画像処理部６によって補正された基準分光特性を、補正前の基準分光特性に加えて新たに記憶することができる。

画像処理部６は、例えばＣＰＵによって実現され、制御部７が実行させる所定の画像処理プログラムに基づき、記憶部５に記憶された観察画像に対して種々の画像処理を行う。特に、画像処理部６は、観察画像の画素値をもとに標本１０の分光特性を算出する分光特性算出部６ａと、標本１０の分光特性および標本１０の染色に用いた各色素の基準分光特性をもとに標本１０中の各色素量を推定する色素量推定部６ｂとを備える。

また、画像処理部６は、色素量推定部６ｂが推定した各色素量をもとにその推定誤差を評価する推定誤差評価部６ｃと、標本１０の染色に用いた各色素の基準分光特性に対する補正要否を判定する補正要否判定部６ｄと、補正要否判定部６ｄが各色素の基準分光特性に対する補正が必要と決定した場合、その各色素の基準分光特性を補正するとともに標本１０中の各色素量を再推定する基準分光特性補正部６ｅとを備える。ここで、基準分光特性補正部６ｅは、分光特性算出部６ａが算出した標本１０の分光特性と、標本１０の染色に用いた各色素の基準分光特性と、色素量推定部６ｂが推定した各色素量とをもとに、基準分光特性の補正と各色素量の再推定とを行う。

制御部７は、ＣＰＵによって実現され、記憶部５に記憶された所定の処理プログラムを実行させることで、画像処理装置１が備える各部の処理および動作を制御する。例えば、制御部７は、記憶部５に記憶された所定の画像処理プログラムを実行させることで、記憶部５に記憶された観察画像を画像処理部６に処理させるとともに、画像処理部６による処理結果を表示部４に表示させる制御をする。

特に、制御部７は、推定誤差評価部６ｃの評価結果に基づき、標本１０の染色に用いた各色素の基準分光特性に対する補正要否の判定情報の入力依頼を行う判定依頼部７ａと、基準分光特性記憶部５ａに記憶された複数の色素をもとにあらかじめ定められた所定の複数の色素組合せのうち１つの色素組合せの選択情報の入力依頼を行う選択依頼部７ｂと、選択依頼部７ｂによる入力依頼に応じて入力部３から入力された選択情報をもとに、標本１０の染色に用いた複数の色素を選択する色素選択部７ｃとを備える。

つづいて、画像処理装置１が行う画像処理手順として、具体的に標本１０の染色に用いたヘマトキシリンおよびエオジンの各色素量を推定する処理手順について説明する。図３は、その処理手順の概要を模式的に示す図である。この図に示すように、画像処理装置１は、まず分光画像としての観察画像群を取得し、その分光画像に撮像された標本１０の分光特性を算出する。そして、算出した分光特性と、標本１０の染色に用いた各色素（ヘマトキシリンおよびエオジン）の基準分光特性とをもとに標本１０中の各色素量を推定し、この推定した各色素量をもとにその推定誤差を評価する。その後、画像処理装置１は、推定誤差の評価結果をもとに各色素の基準分光特性に対する補正要否を判断し、補正が必要と判定した場合、各基準分光特性を補正するとともに標本１０中の各色素量を再推定し、その再推定結果を最終推定結果として記録する。一方、補正が不要と判定した場合には、すでに推定した各色素量を最終推定結果として記録する。

図４は、図３に対応する処理手順を示すフローチャートであって、制御部７が記憶部５に記憶された所定の画像処理プログラムを実行することで行われる色素量の推定処理手順を示すフローチャートである。この図に示すように、まず観察画像取得部２は、標本１０の観察像を撮像し、分光画像としての観察画像群を取得する分光画像取得処理を行う（ステップＳ１０１）。つづいて分光特性算出部６ａは、分光画像の画素値をもとに標本１０の分光特性を算出する分光特性算出処理を行い（ステップＳ１０２）、制御部７は、記憶部５に記憶された複数の候補色素の中から標本１０の染色に用いた各色素を選択する色素選択処理を行う（ステップＳ１０３）。

その後、色素量推定部６ｂは、ステップＳ１０２によって算出された分光特性と、ステップＳ１０３によって選択された各色素の基準分光特性とをもとに、標本１０中の各色素量を推定する色素量推定処理としてのリニアアンミキシング処理を行い（ステップＳ１０４）、推定誤差評価部６ｃは、ステップＳ１０４によって推定された各色素量をもとにその推定誤差を評価する推定誤差評価処理を行う（ステップＳ１０５）。そして、補正要否判定部６ｄは、ステップＳ１０５による評価結果をもとに、標本１０の染色に用いた各色素の基準分光特性に対する補正要否を判定する補正要否判定処理を行い（ステップＳ１０６）、制御部７は、ステップＳ１０６による判定結果を判別する（ステップＳ１０７）。

補正が必要と判定されている場合（ステップＳ１０７：Ｙｅｓ）、基準分光特性補正部６ｅは、ステップＳ１０２によって算出された分光特性と、ステップＳ１０３によって選択された各色素の基準分光特性と、ステップＳ１０４によって推定された各色素量とをもとに、標本１０の染色に用いた各色素の基準分光特性を補正するとともに標本１０中の各色素量を再推定する基準分光特性補正処理としてのリニアブラインドアンミキシング処理を行う（ステップＳ１０８）。その後、制御部７は、一連の推定処理を終了させる。一方、ステップＳ１０６によって補正が必要と判定されていない場合には（ステップＳ１０７：Ｎｏ）、制御部７は、ステップＳ１０８を実行させず一連の推定処理を終了させる。

ステップＳ１０１の分光画像取得処理では、観察画像取得部２は、バンドパスフィルタ１４ａ，１４ｂを順次切り換えながら複数の観察画像を撮像することで、標本１０の分光画像を取得する。また、観察画像取得部２は、標本１０の分光画像を一通り取得した後、標本１０をステージ１１上から取り除いた状態で、背景光の分光画像として光源１２が発した照明光のみの分光画像を同様の手順によって取得する。

つぎに、ステップＳ１０２の分光特性算出処理では、分光特性算出部６ａは、標本１０の分光画像上の位置ベクトルｘによって示される複数の画素ごとに、波長λにおける画素値Ｉ（ｘ，λ）と、背景の分光画像上の対応する画素の画素値Ｉ₀（ｘ，λ）とを用い、次式（１）によって標本１０の分光特性としての分光透過率ｔ（ｘ，λ）を算出する。
ｔ（ｘ，λ）＝Ｉ（ｘ，λ）／Ｉ₀（ｘ，λ） ・・・（１）
ここで、実際には波長λは離散的にしか観測することができないため、分光透過率ｔ（ｘ，λ）は、波長λの観測点数Ｍに応じた波長λ₁，λ₂，・・・，λ_Mを用い、次式（２）によってＭ次元のベクトルとして示される。なお、式（２）において記号［］^ｔは、転置行列を表している。
ｔ（ｘ，λ）＝［ｔ（ｘ，λ₁）ｔ（ｘ，λ₂）・・・ｔ（ｘ，λ_M）］^ｔ ・・・（２）
分光特性算出部６ａは、このようにして算出した分光透過率ｔ（ｘ，λ）を記憶部５に記憶させる。

また、ステップＳ１０２の分光特性算出処理では、分光特性算出部６ａは、式（２）によって算出した分光透過率ｔ（ｘ，λ）をもとに、次式（３）によって標本１０の分光特性としての吸光度ａ（ｘ，λ）を算出する。なお、式（３）において、ベクトルとして示される分光透過率ｔ（ｘ，λ）の対数は、その各要素の対数を要素とするベクトルを意味する。
ａ（ｘ，λ）＝−ｌｏｇ（ｔ（ｘ，λ）） ・・・（３）
分光特性算出部６ａは、式（３）を用い、位置ベクトルｘによって示されるすべての画素について分光透過率ｔ（ｘ，λ）をもとに吸光度ａ（ｘ，λ）を算出し、この算出した吸光度ａ（ｘ，λ）を記憶部５に記憶させる。なお、式（３）に示したように、分光透過率を吸光度に変換する式では、自然対数の代わりに常用対数を用いる場合もある。その場合、以降の計算式に現れる対数もすべて常用対数に置き換えることで、最終的に得られる色素量の推定値は同じ値となる。

つぎに、ステップＳ１０３の色素選択処理では、選択依頼部７ｂは、複数の候補色素をもとにあらかじめ定められた所定の複数の色素組合せを表示部４に表示させ、この表示させた複数の色素組合せのうち１つの色素組合せを選択する選択情報の入力依頼を行う。具体的には、選択依頼部７ｂは、例えば図５に示すようなＧＵＩ（Graphical User Interface）を表示部４に表示させることで、操作者に対して色素組合せの選択依頼をする。そして色素選択部７ｃは、選択依頼部７ｂによる入力依頼に応じて入力部３から入力される選択情報をもとに、基準分光特性記憶部５ａに記憶された複数の候補色素の中から標本１０の染色に用いた各色素を選択する。

なお、図５に示すＧＵＩでは、複数の色素からなる色素組合せの選択依頼を行うにあたり、色素を直接選択する代わりに染色方法を選択する方式を採っている。また、図５に示すＧＵＩでは、後述のようにステップＳ１０８の基準分光特性補正処理によって補正された基準分光特性と、それに対応する補正前の基準分光特性との両方が基準分光特性記憶部５ａに記憶されている場合、その両者の対応関係が操作者に分かるように表示されている。具体的には、補正された基準分光特性に対応する選択項目は、補正前の基準分光特性に対応する選択項目の直上に表示されている。すなわち、同一の「染色の名称」を有した選択項目について、「補正の有無」が「有」とされている選択項目は、「補正の有無」が「無」とされている選択項目の直上に表示されている。

つぎに、ステップＳ１０４の色素量推定処理では、色素量推定部６ｂは、標本１０中の各色素量をリニアアンミキシング処理によって推定する。一般に、H＆E染色された標本の分光透過率ｔ（ｘ，λ）は、ランバート・ベールの法則（Lambert-Beer's Law）をもとに、染色に用いたヘマトキシリンの色素量ｄ_H（ｘ）およびエオジンの色素量ｄ_E（ｘ）と、ヘマトキシリンおよびエオジンに固有の係数ｋ_H（λ）およびｋ_E（λ）とを用い、次式（４）によって示されることが知られている（例えば、非特許文献２参照）。
−ｌｏｇ（ｔ（ｘ，λ））＝ｋ_H（λ）・ｄ_H（ｘ）＋ｋ_E（λ）・ｄ_E（ｘ）・・・（４）
ここで、ヘマトキシリンの色素量ｄ_H（ｘ）は、ヘマトキシリンのみで染色された所定標本中のヘマトキシリン色素量を基準とした相対量として示されるものであり、同様にエオジンの色素量ｄ_E（ｘ）は、エオジンのみで染色された所定標本中のエオジン色素量を基準とした相対量として示されるものである。なお、色素量は濃度とも称される。

式（４）は波長λごとに独立して成り立つため、波長λ₁，λ₂，・・・，λ_Mについて式（４）を連立させることで、次式（５）を得ることができる。

そして、最小二乗推定を用いて式（５）を解くことによって次式（６）を得ることができ、H＆E染色された標本中のヘマトキシリン色素量の推定値ｄ^_H（ｘ）とエオジン色素量の推定値ｄ^_E（ｘ）とを求めることができる。なお、式（６）において、記号［］^ｔは転置行列を表し、記号［］^−１は、逆行列を表している。

なお、このように式（４）に示した色素量ｄ_H（ｘ）と色素量ｄ_E（ｘ）との線形式を解く手法は、一般には重回帰分析として知られているが、顕微鏡蛍光観察の分野ではリニアアンミキシングと称されている。このため、本実施の形態ではリニアアンミキシングの呼称を用いている。

このリニアアンミキシング処理による推定において、まず色素量推定部６ｂは、基準分光特性記憶部５ａに記憶された複数の候補色素の基準分光特性のうち、色素選択部７ｃが選択した色素としてのヘマトキシリンおよびエオジンの各基準分光特性を読み出す。ただし、ここではヘマトキシリンおよびエオジンの各基準分光特性として、ヘマトキシリンのみで染色された所定標本中の適当な観察点を分光計で測定した分光透過率ｔ_H（λ）と、エオジンのみで染色された所定標本中の適当な観察点を分光計で測定した分光透過率ｔ_E（λ）とが基準分光特性記憶部５ａに記憶されているものとする。

つづいて、色素量推定部６ｂは、読み出した分光透過率ｔ_H（λ），ｔ_E（λ）をもとに、式（４）で用いた係数ｋ_H（ｘ），ｋ_E（ｘ）を次式（７−１）および次式（７−２）によって算出する。
ｋ_H（ｘ）＝−ｌｏｇ（ｔ_H（λ）） ・・・（７−１）
ｋ_E（ｘ）＝−ｌｏｇ（ｔ_E（λ）） ・・・（７−２）
さらに、色素量推定部６ｂは、この式（７−１）および式（７−２）と式（３）との関係を用い、ヘマトキシリンの吸光度ａ_H（λ）およびエオジンの吸光度ａ_E（λ）をそれぞれ次式（８−１）および次式（８−２）によって算出する。
ａ_H（λ）＝ｋ_H（ｘ）＝−ｌｏｇ（ｔ_H（λ）） ・・・（８−１）
ａ_E（λ）＝ｋ_E（ｘ）＝−ｌｏｇ（ｔ_E（λ）） ・・・（８−２）
ここで、色素量推定部６ｂは、波長λ₁，λ₂，・・・，λ_Mごとに吸光度ａ_H（λ），ａ_E（λ）を算出する。

式（５）および式（６）は、式（３）、式（８−１）および式（８−２）を用いて、それぞれ次式（９）および次式（１０）と書き直すことができる。

これより、色素量推定部６ｂは、式（１０）を用い、ステップＳ１０２によって算出された吸光度ａ（ｘ，λ）と、式（８−１）および式（８−２）によって算出した吸光度ａ_H（λ），ａ_E（λ）とをもとに、標本１０中のヘマトキシリン色素量の推定値ｄ^_H（ｘ）とエオジン色素量の推定値ｄ^_E（ｘ）とを算出する。その際、色素量推定部６ｂは、位置ベクトルｘによって示される複数の画素ごとに推定値ｄ^_H（ｘ），ｄ^_E（ｘ）を算出する。これによって、色素量推定部６ｂは、その複数の画素にそれぞれ対応する標本１０上の複数の観察点におけるヘマトキシリン色素量およびエオジン色素量を推定する。

なお、ここではヘマトキシリンおよびエオジンの各基準分光特性として分光透過率ｔ_H（λ），ｔ_E（λ）が基準分光特性記憶部５ａに記憶されているものとしたが、各基準分光特性として吸光度ａ_H（λ），ａ_E（λ）が記憶されている場合には、色素量推定部６ｂは、式（８−１）および式（８−２）を用いた演算を省略することができる。

つぎに、ステップＳ１０５の推定誤差評価処理では、推定誤差評価部６ｃは、まずステップＳ１０４によって算出された各色素量の推定量ｄ^_H（ｘ），ｄ^_E（ｘ）をもとに、ランバート・ベールの法則によって導かれる理想的な吸光度ａ*（ｘ，λ）を次式（１１）によって算出する。なお、式（１１）における係数ｋ_H（ｘ），ｋ_E（ｘ）は、式（７−１）および式（７−２）から求められる係数である。
ａ*（ｘ，λ）＝ｋ_H（ｘ）・ｄ^_H（ｘ）＋ｋ_E（ｘ）・ｄ^_E（ｘ） ・・・（１１）
式（１１）に式（８−１）および式（８−２）を適用し、波長λ₁，λ₂，・・・，λ_Mごとに分けた行列表記にすると次式（１２）となる。吸光度ａ*（ｘ，λ）は、吸光度ａ（ｘ，λ）と同様にＭ次元のベクトルである。

つづいて、推定誤差評価部６ｃは、位置ベクトルｘに対応する誤差として、次式（１３）によって定義される誤差Ｅ（ｘ）を算出する。この式（１３）における記号‖‖は、ベクトルのユークリッドノルムを表している。
Ｅ（ｘ）＝‖ａ*（ｘ，λ）−ａ（ｘ，λ）‖² ・・・（１３）
さらに、推定誤差評価部６ｃは、ステップＳ１０２において分光透過率ｔ（ｘ，λ）を算出した画素数Ｎと、その第ｉ番目の画素を示す位置ベクトルｘ_iとを用い、次式（１４）によって標本１０上の観察点全体での平均誤差Ｅ_aveを算出する。

そして、推定誤差評価部６ｃは、この平均誤差Ｅ_aveを、ステップＳ１０４によって推定した各色素量の推定誤差の誤差評価値として記憶部５に記憶させる。なお、式（１３）では、誤差Ｅ（ｘ）の算出にユークリッドノルムを用いているが、他のノルム、例えば１−ノルムを用いることもできる。また、式（１３）では、吸光度の差のノルムを誤差Ｅ（ｘ）として定義したが、分光透過率の差のノルムを誤差Ｅ（ｘ）と定義してもよい。

ここで、誤差評価値としての平均誤差Ｅ_ave（以下、誤差評価値Ｅ_aveと記載する。）の意味を説明する。誤差評価値Ｅ_aveの基となる誤差Ｅ（ｘ）は式（１３）によって定義されるが、これを行列形式で表記すると次式（１５）になる。

分光透過率ｔ（ｘ，λ）と吸光度ａ（ｘ，λ）との間に式（３）の関係が成り立つことを考慮すると、式（１５）で求めている誤差Ｅ（ｘ）は、式（５）の両辺の平均二乗誤差の最小値、すなわち式（５）あるいは式（９）に基づく最小二乗推定によって色素量の推定量ｄ^_H（ｘ），ｄ^_E（ｘ）を求める際の最小二乗推定誤差そのものであることがわかる。したがって誤差評価値Ｅ_aveは、ステップＳ１０３の色素量推定処理における最小二乗誤差の平均値である。

つぎに、ステップＳ１０６の補正要否判定処理では、補正要否判定部６ｄは、ステップＳ１０５によって算出された誤差評価値Ｅ_aveと、所定の閾値Ｅ_thとの大小関係を比較し、次式（１６）が満足される場合、ヘマトキシリンおよびエオジンの各基準分光特性の補正が必要であると判断する。
Ｅ_ave＞Ｅ_th ・・・（１６）

そして、補正要否判定部６ｄが基準分光特性の補正が必要であると判断した場合、判定依頼部７ａは、操作者に対し、補正要否を判定する判定情報の入力依頼を行う。具体的には、図６に示すようなダイアログを表示部４に表示させ、操作者の意思、すなわち補正を行うか否かを確認する。この判定依頼部７ａによる入力依頼に応じて入力部３から補正を必要とする判定情報が入力された場合、つまり図６において「ＯＫ」ボタンが操作された場合、補正要否判定部６ｄは、基準分光特性に対する補正が必要であることを決定する。

一方、判定依頼部７ａによる入力依頼に応じて入力部３から補正を不要とする判定情報が入力された場合つまり図６において「Ｃａｎｃｅｌ」ボタンが操作された場合と、式（１６）が満足されない場合とには、補正要否判定部６ｄは、基準分光特性に対する補正が不要であることを決定する。そして、補正要否判定部６ｄが補正を不要とする決定をした場合、ステップＳ１０４によって算出された各色素量の推定量ｄ^_H（ｘ），ｄ^_E（ｘ）は、この一連の推定処理における最終推定結果として記憶部５に記憶される。なお、補正要否判定部６ｄは、式（１６）をもとに補正要否を判断した結果に基づき、操作者への確認を省略して補正要否を決定することもできる。

つぎに、ステップＳ１０８の基準分光特性補正処理では、基準分光特性補正部６ｅは、ステップＳ１０５によって算出された誤差評価値Ｅ_aveがより小さな値となるように、基準分光特性記憶部５ａに記憶されたヘマトキシリンおよびエオジンの各基準分光特性をリニアブラインドアンミキシング処理によって補正する。また、同時に標本１０中のヘマトキシリンおよびエオジンの各色素量を再推定する。

式（９）は、標本１０上の複数の観察点に対応する位置ベクトルｘ₁，ｘ₂，・・・，ｘ_Nと、波長λ₁，λ₂，・・・，λ_Mとについて集約すると次式（１７）になる。また、次式（１７）に用いる吸光度行列Ａ、基準特性行列Ｋおよび色素量行列Ｄは、それぞれ式（１８−１）〜式（１８−３）によって表される。
Ａ＝ＫＤ ・・・（１７）

ステップＳ１０４の色素量推定処理に用いたリニアアンミキシング処理は、式（１７）において吸光度行列Ａおよび基準特性行列Ｋを観測値として与え、色素量行列Ｄを最小二乗推定する手法である。これに対し、このステップＳ１０８の基準分光特性補正処理に用いるリニアブラインドアンミキシング処理は、式（１７）において吸光度行列Ａのみを観測値として与え、最小二乗推定を反復的に用いて基準特性行列Ｋおよび色素量行列Ｄの両方を推定する手法である。

図７は、リニアブラインドアンミキシング処理による基準分光特性補正処理の処理手順を示すフローチャートである。この図に示すように、基準分光特性補正部６ｅは、まず吸光度行列Ａと、基準特性行列Ｋの初期値行列Ｋ₀と、色素量行列Ｄの初期値行列Ｄ₀とを設定する（ステップＳ１１１）。このステップＳ１１１では、基準分光特性補正部６ｅは、ステップＳ１０２によって算出された吸光度ａ（ｘ，λ）をもとに、式（１８−１）によって吸光度行列Ａを設定する。また、ステップＳ１０４によって算出されたヘマトキシンおよびエオジンの各吸光度ａ_H（λ），ａ_E（λ）をもとに、次式（１９−１）によって初期値行列Ｋ₀を設定する。さらに、ステップＳ１０４によって算出された各色素量の推定量ｄ^_H（ｘ），ｄ^_E（ｘ）をもとに、次式（１９−２）によって初期値行列Ｄ₀を設定する。

つづいて、基準分光特性補正部６ｅは、ステップＳ１１１によって設定した吸光度行列Ａおよび初期値行列Ｋ₀，Ｄ₀をもとに、式（１４）および式（１５）によって誤差評価値Ｅ_aveの初期値Ｅ₀を算出する（ステップＳ１１２）。その後、基準分光特性補正部６ｅは、以降の反復処理の処理回数を示す変数ｊに「１」を設定する（ステップＳ１１３）。

つぎに、基準分光特性補正部６ｅは、色素量行列Ｄを更新する。具体的には、次式（２０）によって第ｊ回目の色素量行列Ｄ_jを算出する（ステップＳ１１４）。そして、色素量行列Ｄ_jのいずれかの要素が負になった場合、その要素を「０」で置き換える（ステップＳ１１５）。

さらに、基準分光特性補正部６ｅは、基準特性行列Ｋを更新する。具体的には、次式（２１）によって第ｊ回目の基準特性行列Ｋ_jを算出する（ステップＳ１１６）。そして、基準特性行列Ｋ_jのいずれかの要素が負になった場合、その要素を「０」で置き換える（ステップＳ１１７）。また、基準特性行列Ｋ_jの各列の総和がそれぞれ「１」となるように、列ごとに係数を乗じて正規化する（ステップＳ１１８）。

その後、基準分光特性補正部６ｅは、吸光度行列Ａ、基準特性行列Ｋ_jおよび色素量行列Ｄ_jをもとに、式（１４）および式（１５）によって第ｊ回目の誤差評価値Ｅ_jを算出し（ステップＳ１１９）、この算出した誤差評価値Ｅ_jが次式（２２）を満足するか否かを判断する（ステップＳ１２０）。
Ｅ_j＞Ｅ_j-1 ・・・（２２）
式（２２）が満足されない場合（ステップＳ１２０：Ｎｏ）、基準分光特性補正部６ｅは、さらに誤差評価値Ｅ_jが所定の微小定数εに対して次式（２３）を満足するか否かを判断する（ステップＳ１２１）。
Ｅ_j-1−Ｅ_j＜ε ・・・（２３）
そして、式（２３）が満足されない場合（ステップＳ１２１：Ｎｏ）、基準分光特性補正部６ｅは、変数ｊをインクリメントし（ステップＳ１２２）、ステップＳ１１４からの処理を繰り返す。

一方、式（２２）が満足された場合（ステップＳ１２０：Ｙｅｓ）、あるいは式（２３）が満足された場合（ステップＳ１２１：Ｙｅｓ）には、基準分光特性補正部６ｅは、その時点の基準特性行列Ｋ_jおよび色素量行列Ｄ_jを、それぞれ基準分光特性の補正結果および色素量の最終推定結果（再推定結果）として記憶部５に記憶させ、一連の基準分光特性補正処理を終了し、ステップＳ１０８へリターンする。

なお、式（２２）または式（２３）が満足された場合、判定依頼部７ａは、操作者に対し、基準特性行列Ｋ_jおよび色素量行列Ｄ_jの記録要否の判定情報の入力依頼を行うことができる。具体的には、図８に示すようなダイアログを表示部４に表示させ、操作者の意思、すなわち基準分光特性の補正結果と色素量の再推定結果とを記憶部５に記録するか否かを確認することができる。そして、基準分光特性補正部６ｅは、この判定依頼部７ａによる入力依頼に応じて入力部３から入力される判定情報に基づき、補正結果および再推定結果を記憶部５に記憶させることができる。具体的には、図８において「ＯＫ」ボタンが操作された場合、基準分光特性補正部６ｅは、補正結果および再推定結果を記憶部５に記憶させることができる。

ステップＳ１０８の基準分光特性補正処理では、式（２２）および式（２３）に示した反復処理の終了条件から明らかなように、基準分光特性補正部６ｅは、誤差評価値Ｅ_aveを減小させる方向にのみ値を更新し、誤差評価値Ｅ_aveを増加させることはない。したがって、この基準分光特性補正処理によって更新された色素量行列Ｄは、式（５）または式（９）によって表されるランバート・ベールの法則に一層適した値である。同様に、更新された基準特性行列Ｋつまり更新された各基準分光特性は、標本１０中の各色素の色素量を推定する上でより誤差の少ない推定結果を得るためのものであり、言い換えれば、標本１０の状態をより正確に反映させた基準分光特性である。

以上説明したように、本実施の形態にかかる画像処理装置１では、観察画像の画素値をもとに標本１０の分光特性を算出する分光特性算出部６ａと、標本１０の染色に用いた複数の色素の各基準分光特性を記憶した基準分光特性記憶部５ａと、標本１０の分光特性と各色素の基準分光特性とをもとに標本１０中の各色素量を推定する色素量推定部６ｂと、各基準分光特性に対する補正要否を決定する補正要否判定部６ｄと、補正要否判定部６ｄが各基準分光特性に対する補正が必要と決定した場合、標本１０の分光特性と各基準分光特性と色素量推定部６ｂが推定した各色素量とをもとに、各基準分光特性を補正するとともに標本１０中の各色素量を再推定する基準分光特性補正部６ｅとを備えているため、複数の色素によって染色された標本１０中の各色素量を高精度に推定することができる。

ここまで、本発明を実施する最良の形態を実施の形態として説明したが、本発明は、上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。

例えば、上述した実施の形態では、補正要否判定部６ｄは、推定誤差評価部６ｃの評価結果と、判定依頼部７ａの入力依頼に応じて操作者によって入力される補正要否の判定情報とに基づいて、あるいは推定誤差評価部６ｃの評価結果のみに基づいて、基準分光特性に対する補正要否を決定するものとして説明したが、これに限定されず、色素量推定部６ｂの推定結果をもとに操作者によって入力される補正要否の判定情報に基づいて補正要否を決定することもできる。この場合、補正要否判定部６ｄは、例えば制御部７が色素量推定部６ｂの推定結果を表示部４に表示させ、この表示させた推定結果に基づいて判定依頼部７ａが補正要否の判定情報の入力依頼を行い、この入力依頼に応じて入力部３から入力された判定情報に基づいて、基準分光特性に対する補正要否を決定することができる。

また、上述した実施の形態では、観察画像取得部２は、観察画像を撮像して取得するものとして説明したが、あらかじめ外部装置によって撮像された分光画像としての観察画像を取得する構成とすることもできる。この場合、観察画像取得部２は、外部装置等から観察画像の画像データを入力可能なデータ通信インターフェースを備えるとよい。

本発明にかかる画像処理装置の要部構成を示すブロック図である。 画像処理装置が備える観察画像取得部の要部構成を示す図である。 画像処理装置が行う推定処理手順の概要を示す図である。 画像処理装置が行う推定処理手順を示すフローチャートである。 色素組合せの選択依頼を行うＧＵＩを示す図である。 基準分光特性の補正要否の判定依頼を行うダイアログを示す図である。 基準分光特性補正処理の処理手順を示すフローチャートである。 基準分光特性補正処理の処理結果に対する記録要否の判定依頼を行うダイアログを示す図である。

符号の説明

１ 画像処理装置
２ 観察画像取得部
３ 入力部
４ 表示部
５ 記憶部
５ａ 基準分光特性記憶部
６ 画像処理部
６ａ 分光特性算出部
６ｂ 色素量推定部
６ｃ 推定誤差評価部
６ｄ 補正要否判定部
６ｅ 基準分光特性補正部
７ 制御部
７ａ 判定依頼部
７ｂ 選択依頼部
７ｃ 色素選択部
１０ 標本
１１ ステージ
１２ 光源
１３ 結像光学系
１４，１４ａ，１４ｂ バンドパスフィルタ
１５ ターレット
１６ カメラ

Claims (12)

1. 複数の色素によって染色された標本が撮像された観察画像を処理する画像処理装置において、
   前記観察画像の画素値をもとに前記標本の分光特性を算出する分光特性算出手段と、
   前記複数の色素の各基準分光特性を記憶した分光特性記憶手段と、
   前記標本の分光特性と前記各基準分光特性とをもとに前記標本中の各色素量を推定する色素量推定手段と、
   前記各基準分光特性に対する補正要否を決定する補正要否決定手段と、
   前記補正要否決定手段が前記各基準分光特性に対する補正が必要と決定した場合、前記標本の分光特性をもとに、前記各基準分光特性を補正するとともに前記標本中の各色素量を再推定する分光特性補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記色素量推定手段が推定した各色素量をもとに、その推定誤差を評価する推定誤差評価手段を備え、
   前記補正要否決定手段は、前記推定誤差評価手段の評価結果をもとに前記各基準分光特性に対する補正要否を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色素量推定手段が推定した各色素量をもとに、その推定誤差を評価する推定誤差評価手段と、
   前記推定誤差評価手段の評価結果に基づいて前記各基準分光特性に対する補正要否の判定情報の入力依頼を行う判定依頼手段と、
   前記判定情報の入力を行う入力手段とを備え、
   前記補正要否決定手段は、前記入力手段が入力した前記判定情報をもとに前記各基準分光特性に対する補正要否を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記推定誤差評価手段は、前記色素量推定手段が推定した各色素量をもとに所定演算式を用いて誤差評価値を算出し、該誤差評価値と所定閾値との大小関係に基づいて前記推定誤差を評価することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記色素量推定手段の推定結果を表示する表示手段と、
   前記推定結果に基づいて前記各基準分光特性に対する補正要否の判定情報の入力依頼を行う判定依頼手段と、
   前記判定情報の入力を行う入力手段と、を備え、
   前記補正要否決定手段は、前記入力手段が入力した前記判定情報をもとに前記各基準分光特性に対する補正要否を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記色素量推定手段は、リニアアンミキシング処理によって前記標本中の各色素量を推定し、
   前記分光特性補正手段は、リニアブラインドアンミキシング処理によって前記各基準分光特性を補正するとともに前記標本中の各色素量を再推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記分光特性補正手段は、前記各基準分光特性と、前記色素量推定手段が推定した前記標本中の各色素量とをリニアブラインドアンミキシング処理における初期値とすることを特徴とする請求項６に記載の画像処理装置。
8. 複数の候補色素の中から前記複数の色素を選択する色素選択手段を備え、
   前記分光特性記憶手段は、前記複数の候補色素の各基準分光特性をあらかじめ記憶し、
   前記色素量推定手段は、前記色素選択手段が選択した前記複数の色素の各基準分光特性を用いて前記標本中の各色素量を推定し、
   前記分光特性補正手段は、前記色素選択手段が選択した前記複数の色素の各基準分光特性を補正するとともに前記標本中の各色素量を再推定することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記複数の候補色素をもとにあらかじめ定められた所定の複数の色素組合せを表示する表示手段と、
   前記所定の複数の色素組合せのうち１つの色素組合せの選択情報の入力依頼を行う選択依頼手段と、
   前記選択情報の入力を行う入力手段と、を備え、
   前記色素選択手段は、前記入力手段が入力した前記選択情報をもとに前記複数の色素を選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記分光特性記憶手段は、前記分光特性補正手段による前記各基準分光特性の補正結果をさらに記憶することを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 前記標本の分光特性は、前記標本の分光透過率特性または吸光度の少なくとも一方であることを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 複数の色素によって染色された標本が撮像された観察画像を処理する画像処理装置に、
    前記観察画像の画素値をもとに前記標本の分光特性を算出する分光特性算出手順と、
    前記標本の分光特性と前記複数の色素の各基準分光特性とをもとに前記標本中の各色素量を推定する色素量推定手順と、
    前記各基準分光特性に対する補正要否を決定する補正要否決定手順と、
    前記補正要否決定手順が前記各基準分光特性に対する補正が必要と決定した場合、前記標本の分光特性をもとに、前記各基準分光特性を補正するとともに前記標本中の各色素量を再推定する分光特性補正手順と、
    を実行させることを特徴とする画像処理プログラム。

Images