JP6411597B2 - 蛍光観察装置及び蛍光観察方法 - Google Patents

Description

本発明は、蛍光観察装置及び蛍光観察方法に関する。

従来、観測対象物に対して所定波長の励起光を供給・照射し、観測対象物で発生した蛍光の観測画像を撮像装置で取得する蛍光観察装置が知られている。かかる蛍光観察装置は、例えば医療分野において、リンパ管やリンパ節といった生体組織の同定などに用いられている。蛍光観察において、観測対象物の状態の時間変化等を観測する場合には、所定のフレームレートで時系列に画像を取得し、観測対象物の動画像を観測する方法が用いられている（例えば特許文献１，２参照）。

特開平１０−１５１１０４号公報 特開平７−１５２９２号公報

蛍光観察装置は、微弱な蛍光の観測画像を撮像するため、室内光や太陽光などの赤外波長成分が背景光として存在すると、観測画像のＳ／Ｎ比が低下するおそれがある。そこで、背景光の影響を除くため、励起光の供給をＯＮにしたときの画像（ＯＮ画像）と、励起光の供給をＯＦＦ（ＯＦＦ画像）にしたときの画像との差分を取る手法が検討されている。しかしながら、背景光の影響を除く一方で、短時間で高いＳ／Ｎ比の観測画像を取得できることが望まれている。露光時間を長くすればＳ／Ｎ比の向上が見込まれるが、単純に露光時間を長くすると、対象物の画像（動画像）の平滑性が失われるおそれがある。また、ＯＮ画像の露光時間とＯＦＦ画像の露光時間との関係によっては、観測画像を視認するユーザに対して励起光の点滅による違和感を生じさせてしまうおそれがある。

本発明は、上記課題の解決のためになされたものであり、鮮明で視認性に優れた観測画像が得られる蛍光観察装置及び蛍光観察方法を提供することを目的とする。

本発明の一側面に係る蛍光観察装置は、観測対象物に対して蛍光観測のための励起光を供給すると共に、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、観測対象物に対して白色光を供給する白色光供給手段と、観測対象物からの光像を撮像すると共に、得られた観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に出力する撮像手段と、撮像手段から出力された第１フレームの画像又は第２フレームの画像を記憶する画像記憶手段と、撮像手段から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成手段と、を備え、励起光供給手段は、撮像手段による第１フレームの画像取得期間及び前記第２フレームの画像取得期間の一方が励起光の供給をＯＮにした蛍光画像取得期間となり、他方が励起光の供給をＯＦＦにした背景画像取得期間となるように励起光の供給を切り替え、撮像手段において、蛍光画像取得期間における励起光のＯＮ時間の長さと、背景画像取得期間における励起光のＯＦＦ時間の長さとが互いに異なっており、白色光供給手段は、蛍光画像取得期間及び背景画像取得期間のいずれにおいても白色光の供給をＯＮにする。

この蛍光観察装置では、観測対象物の画像データを時系列に取得する。また、第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が蛍光画像取得期間となり、他方が背景画像取得期間となるように、フレーム画像の取得と励起光のＯＮ／ＯＦＦとを同期させる。これにより、撮像手段から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分とを取ることで、背景光の影響を除いた鮮明な観測画像を取得できる。また、この蛍光観察装置では、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。さらに、白色供給手段による観測対象物のカラー画像を差分画像に重畳させることで、カラーで表示された観測対象物に蛍光が表示されるので、観測画像の視認性を一層高められる。

また、撮像手段は、エリアイメージセンサであることが好ましい。また、撮像手段は、プログレッシブ読み出し型の撮像手段であることが好ましい。この場合、観測対象物の画像データを好適に時系列に取得できる。

また、背景画像取得期間の露光時間又は蛍光画像取得期間の露光時間が３０ｍｓｅｃ未満に設定されていることが好ましい。この場合、蛍光画像取得期間又は背景画像取得期間が人体における網膜の時間分解能以下に設定されるため、励起光の点滅によるユーザへの違和感を一層効果的に低減できる。なお、背景画像取得期間の露光時間が３０ｍｓｅｃ未満に設定される場合、蛍光画像取得期間が相対的に長くなるので、蛍光画像において観測対象物の蛍光強度を一層十分に確保できる。したがって、より鮮明な観測画像を得ることが可能となる。

また、蛍光画像取得期間及び背景画像取得期間の合計時間が６０ｍｓｅｃ以下に設定されていることが好ましい。こうすると、観測画像の平滑性を一層確保できる。

また、観測対象物に対して蛍光観測のための励起光を供給すると共に、励起光の供給のＯＮ／ＯＦＦを切り替える励起光供給ステップと、観測対象物に対して白色光を供給する白色光供給ステップと、観測対象物からの光像を撮像すると共に、得られた観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に読み出しを行う撮像ステップと、撮像ステップで得られた第１フレームの画像又は第２フレームの画像を記憶する画像記憶ステップと、撮像ステップで得られた第１フレームの画像及び第２フレームの画像の一方と、画像記憶ステップで記憶された第１フレームの画像及び第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成ステップと、を備え、励起光供給ステップでは、撮像手段による第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が励起光の供給をＯＮにした蛍光画像取得期間となり、他方が励起光の供給をＯＦＦにした背景画像取得期間となるように励起光の供給を切り替え、撮像ステップでは、蛍光画像取得期間における励起光のＯＮ時間の長さと、背景画像取得期間における励起光のＯＦＦ時間の長さとを互いに異ならせ、白色光供給ステップでは、蛍光画像取得期間及び背景画像取得期間のいずれにおいても白色光の供給をＯＮにする。

この蛍光観察方法では、観測対象物の画像データを時系列に取得する。また、第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が蛍光画像取得期間となり、他方が背景画像取得期間となるように、フレーム画像の取得と励起光のＯＮ／ＯＦＦとを同期させる。これにより、撮像ステップで取得された第１フレームの画像及び第２フレームの画像の一方と、画像記憶ステップで記憶された第１フレームの画像及び第２フレームの画像の他方との差分とを取ることで、背景光の影響を除いた鮮明な観測画像を取得できる。また、この蛍光観察方法では、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。さらに、白色供給ステップによる観測対象物のカラー画像を差分画像に重畳させることで、カラーで表示された観測対象物に蛍光が表示されるので、観測画像の視認性を一層高められる。

本発明に係る蛍光観察装置及び蛍光観察方法によれば、鮮明で視認性に優れた観測画像が得られる。

本発明の第１実施形態に係る蛍光観察装置を示すブロック図である。 図１に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。 比較例における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像、（ｃ）は差分画像である。 実施例における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像、（ｃ）は差分画像である。 本発明の第２実施形態に係る蛍光観察装置を示すブロック図である。 図５に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。 図５に示した蛍光観察装置において実行される蛍光観察方法の変形例を示すタイミングチャートである。 本発明の第３実施形態に係る蛍光観察装置を示すブロック図である。 図８に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。 図８に示した蛍光観察装置における画像の一例を示す図であり、（ａ）は背景画像、（ｂ）は蛍光画像である。 図１０の例において偽の差分画像成分の除去の様子を示す図であり、（ａ）は通常の差分を取る場合、（ｂ）（ｃ）は、最大フィルタ処理を行った場合である。 図８に示した蛍光観察装置において実行される蛍光観察方法の変形例を示すタイミングチャートである。 図８に示した蛍光観察装置における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像である。 図１３の例において偽の差分画像成分の除去の様子を示す図であり、（ａ）は通常の差分を取る場合、（ｂ）（ｃ）は、最大フィルタ処理を行った場合である。 図８に示した蛍光観察装置において実行される蛍光観察方法の別の変形例を示すタイミングチャートである。

以下、図面を参照しながら、本発明の一側面に係る蛍光観察装置及び蛍光観察方法の好適な実施形態について詳細に説明する。
［第１実施形態］

図１は、本発明の第１実施形態に係る蛍光観察装置を示すブロック図である。同図に示す蛍光観察装置１Ａは、所定のフレームレートで時系列に観測対象物Ｐについての観測画像を取得することで、ユーザが観測対象物Ｐを動画で観察できるように構成されている。観測対象物Ｐは、例えば生体組織であり、予めインドシアニングリーンなどの蛍光色素が導入されている。蛍光観察装置１Ａは、例えば励起光源１１と、撮像装置１２と、画像処理部１３と、フレームメモリ１４と、差分演算器１５と、表示装置１６と、制御装置１７とを備えている。

励起光源１１は、観測対象物Ｐに対して蛍光観測のための励起光を供給する装置である。励起光源１１としては、例えば近赤外のＬＥＤやＳＬＤが用いられる。励起光源１１は、制御装置１７の制御によって励起光の供給のＯＮ／ＯＦＦ切り替えが可能となっている。励起光源１１は、より具体的には、撮像装置１２の動作と同期して観測対象物Ｐへの励起光の供給がなされるように制御される。励起光源１１は、撮像装置１２による第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が励起光の供給をＯＮにした蛍光画像取得期間となり、他方が励起光の供給をＯＦＦにした背景画像取得期間となるように励起光の供給を行う。なお、励起光の供給のＯＮとは、例えば励起光源１１を点灯させた状態であり、励起光の供給のＯＦＦとは、例えば励起光源１１を消灯させた状態である。また、励起光の供給のＯＦＦには、励起光の供給を完全に停止する場合のみに限られず、励起光の強度をＯＮの場合に比べて小さくすることも含む。

撮像装置１２は、制御装置１７の制御によって観測対象物Ｐからの光像を撮像する装置である。撮像装置１２は、観測対象物Ｐの画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に出力するプログレッシブ型の撮像装置である。プログレッシブ型の撮像装置は、撮像素子の信号読み出し方式としてプログレッシブ読み出しを採用した装置である。プログレッシブ読み出しは、撮像素子の信号読み出し方式の一つであるインターレース読み出しとは異なり、ラスタ走査中に飛び越し走査を行わず、順次信号を読み出す方式である。撮像装置１２は、励起光波長域の光をカットすると共に蛍光波長域の光を透過させるフィルタ等の分光手段（不図示）を備え、分光手段からの光をＣＣＤイメージセンサやＣＭＯＳイメージセンサといったエリアイメージセンサによって撮像する。

この撮像装置１２において、１フレームの画像取得期間は、露光時間と画像データの読み出し時間とによって構成されており、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とは、互いに異なるように設定されている。したがって、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とは等しくなく、いずれか一方が他方に比べて長くなるように設定されている。本実施形態では、蛍光画像取得期間の露光時間が背景画像取得期間の露光時間に対して長くなるように設定されており、その比は例えば５：１程度となっている。なお、蛍光画像取得期間を背景取得期間よりも短くなるように設定してもよい。

第１フレームの画像取得期間の露光時間及び第２フレームの画像取得期間の露光時間は、例えば１００ｍｓｅｃ以下に設定されており、好ましくは６０ｍｓｅｃ以下に設定されている。プログレッシブ型の撮像装置では、一般にフレームレートが３０ｆｐｓ程度であり、１フレームの画像取得期間は３３．３ｍｓｅｃ程度である。したがって、蛍光画像と背景画像との差分を取った差分画像（後述）の取得には２フレーム分の画像を取得する必要があるため、第１フレームの画像取得期間の露光時間及び第２フレームの画像取得期間の露光時間の合計時間としては６０ｍｓｅｃ程度の時間が必要となり、差分画像のフレームレートは１６．７ｆｐｓ程度となる。

一般に、人体における網膜の時間分解能は、５０ｍｓｅｃ〜１００ｍｓｅｃ程度の範囲であり、これを超える時間分解能である場合（対応するフレームレートよりも小さいフレームレートである場合）、差分画像を動画で表示するときの平滑性が失われるおそれがある。したがって、第１フレームの画像取得期間及び第２フレームの画像取得期間を１００ｍｓｅｃ以下、好ましくは６０ｍｓｅｃ以下とすることで、差分画像の平滑性を担保できる。

また、蛍光画像取得期間の露光時間は、３０ｍｓｅｃ以上に設定される一方で、背景画像取得期間の露光時間は、３０ｍｓｅｃ以下に設定されている。このように、蛍光画像取得期間を十分に確保することで鮮明な蛍光画像を取得することができる。一方、背景画像取得期間の露光時間は、蛍光画像取得期間の露光時間に比べて短くても背景画像の取得に問題はなく、１０ｍｓｅｃ程度でも十分である。なお、読み出し時間は、通常数十μｓｅｃ〜数百μｓｅｃ程度であり、露光時間に比べて非常に小さい。したがって、露光時間の設定を調整すれば、十分に鮮明な蛍光画像を取得できる。

さらに、蛍光画像取得期間の露光時間及び背景画像取得期間の露光時間のいずれか一方が人体における網膜の時間分解能以下に設定されていることが好ましい。本実施形態では、蛍光画像取得期間と背景画像取得期間との切り替えに合わせて、励起光源１１の励起光のＯＮ／ＯＦＦも切り替えられる。すなわち、蛍光画像取得期間の露光時間中に励起光がＯＮとなるように制御装置１７が励起光源１１を制御し、背景画像取得期間の露光時間中に励起光がＯＦＦとなる（励起光の強度が小さくなるように）制御装置１７が励起光源１１を制御する。網膜の時間分解能には個人差があるが、概ね５０ｍｓｅｃ〜１００ｍｓｅｃの範囲である。したがって、蛍光画像取得期間の露光時間及び背景画像取得期間の露光時間のいずれか一方が３０ｍｓｅｃ未満であれば、観測画像を視認するユーザに対し、励起光の点滅による違和感を効果的に低減できる。

画像処理部１３は、制御装置１７による制御に基づいて撮像装置１２で撮像された画像データの輝度を調整する部分である。画像処理部１３は、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比に基づいて、蛍光画像の輝度及び背景画像の輝度を補正する。画像処理部１３は、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比に基づく補正値を入力される画像の切り替えに合わせて切り替え、蛍光画像の輝度及び背景画像の輝度を補正する。すなわち、画像処理部１３は、励起光源１１の励起光のＯＮ／ＯＦＦの切り替えに合わせて補正値を切り替える。

本実施形態のように、蛍光画像取得期間の露光時間が背景画像取得期間の露光時間に対して長くなるように設定されている場合、画像処理部１３は、例えば蛍光画像取得期間の露光時間をｔ１とし、背景画像取得期間の露光時間ｔ２とした場合、蛍光画像が入力されると蛍光画像の輝度をそのまま維持する（第１の補正値）一方で、背景画像が入力されると背景画像の輝度を（ｔ１／ｔ２）倍する（第２の補正値）。なお、入力される画像の切り替えに関する信号は、制御装置１７から画像処理部１３に入力される。

このように、露光時間の違いによる蛍光画像と背景画像との間の輝度の違いを補正することにより、差分を取ったときに背景光の影響を効果的に除去でき、より鮮明な観測画像を取得できる。なお、画像処理部１３に入力された輝度をそのまま維持して出力する場合についても、補正値が１倍の補正と考えればよい。また、画像処理部１３は、背景画像の輝度をそのまま維持する（第２の補正値）一方で、蛍光画像の輝度を（ｔ２／ｔ１）倍（第１の補正値）にしてもよい。

フレームメモリ１４は、撮像装置１２から出力された第１フレームの画像又は第２フレームの画像を記憶する部分である。フレームメモリ１４は、画像処理部１３で補正された蛍光画像又は背景画像を記憶する。

差分演算器１５は、撮像装置１２から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分を取った差分画像を生成する部分である。より具体的には、差分演算器１５には、画像処理部１３から出力された蛍光画像又は背景画像の一方と、フレームメモリ１４に記憶された蛍光画像及び背景画像の他方とが入力され、その差分の演算がなされる。

差分演算器としては、例えば演算論理装置（ＡＬＵ：Arithmetic Logic Unit）が用いられる。差分演算器１５のＡ１入力端子には、画像処理部１３の出力が出力され、差分演算器１５のＢ１入力端子には、フレームメモリ１４の出力が接続されている。また、差分演算器１５のＹ１出力端子からは、演算結果である差分画像が表示装置１６に出力される。なお、差分演算において、演算結果が負となる場合には０出力となる。

表示装置１６は、差分演算器１５で生成された差分画像を表示する装置である。蛍光観察装置１Ａには、表示装置１６以外の画像出力装置を設けてもよく、表示装置１６を設けずに、得られた差分画像の画像データを外部に出力する構成としてもよい。

図２は、図１に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。このタイミングチャートでは、（ａ）励起光源のＯＮ／ＯＦＦ、（ｂ）撮像装置における第１フレームの画像取得期間及び第２フレームの画像取得期間、（ｃ）差分演算器のＡ１入力、（ｄ）差分演算器のＢ１入力、（ｅ）生成される差分画像をそれぞれ示している。

図２のタイミングチャートにおいて、１つのフレームの差分画像を取得するためのフレーム取得期間ＴＮは、第１フレームの画像取得期間Ｔ１１と第２フレームの画像取得期間Ｔ２１とによって構成されている。同図の例では、画像取得期間Ｔ１１が蛍光画像取得期間であり、励起光の供給がＯＮとなっている。また、画像取得期間Ｔ２１が背景画像取得期間であり、励起光の供給がＯＦＦとなっている。

上述したように、蛍光画像取得期間の露光時間ｔ１は、背景画像取得期間の露光時間ｔ２よりも長くなるように設定されている。図２の例では、露光時間ｔ１は例えば５０ｍｓｅｃ、露光時間ｔ２は例えば１０ｍｓｅｃとなっている。したがって、画像取得期間Ｔ１１における励起光のＯＮ時間も約５０ｍｓｅｃ、画像取得期間Ｔ２１における励起光のＯＦＦ時間も約１０ｍｓｅｃとなっている。なお、これらの励起光のＯＮ時間及びＯＦＦ時間には、撮像装置の読み出し時間も加算されている。

画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力される。また、１つ前のフレーム取得期間ＴＮ−１の画像取得期間Ｔ２０で取得された背景画像は、画像取得期間Ｔ１１において、画像処理部１３での第２の補正値に基づく輝度補正を経てフレームメモリ１４に入力され、画像取得期間Ｔ２１において差分演算器１５のＢ１入力端子に入力される。そして、画像取得期間Ｔ２１では、Ａ１入力の蛍光画像とＢ１入力の背景画像との差分を取るＡ１−Ｂ１演算が実行され、蛍光が抽出された差分画像が生成される。

励起光の供給、撮像装置１２での撮像、画像処理部１３での輝度補正、及び差分演算器１５での差分画像の生成は、各フレーム取得期間における第１フレームの画像取得期間及び第２フレームの画像取得期間で繰り返し実行される。これにより、生成された差分画像がＹ１出力から表示装置１６に時系列に出力され、観測対象物Ｐの観測画像が動画像として表示される。

以上説明したように、蛍光観察装置１Ａでは、観測対象物Ｐの画像データをプログレッシブ読み出しによって時系列に取得する。また、第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が蛍光画像取得期間となり、他方が背景画像取得期間となるように、フレーム画像の取得と励起光のＯＮ／ＯＦＦとを同期させている。これにより、撮像装置１２から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分とを取ることで、背景光の影響を除いた鮮明な観測画像を取得できる。

また、この蛍光観察装置１Ａでは、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。

この蛍光観察装置１Ａでは、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比に基づいて、蛍光画像の輝度及び背景画像の輝度を補正している。このように、露光時間の違いによる蛍光画像と背景画像との間の輝度の違いを補正することにより、差分を取ったときに背景光の影響を効果的に除去でき、より鮮明な観測画像を取得できる。

本実施形態では、蛍光画像取得期間が背景画像取得期間よりも長くなるように励起光の供給を切り替えており、これに伴って、蛍光画像取得期間の露光時間が背景画像取得期間の露光時間よりも長くなるように設定されている。これにより、蛍光画像を十分な露光時間で取得することができ、蛍光画像において観測対象物の蛍光強度を一層十分に確保できる。したがって、より鮮明な観測画像を得ることが可能となる。

図３は、比較例における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像、（ｃ）は差分画像である。また、図４は、実施例における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像、（ｃ）は差分画像である。

図３に示す比較例では、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比が１：１（３０ｍｓｅｃ：３０ｍｓｅｃ）とされている。一方、図４に示す実施例では、フレーム取得期間を比較例と同一に設定した上で、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比が５：１（５０ｍｓｅｃ：１０ｍｓｅｃ）とされ、背景画像の輝度を５倍に補正して蛍光画像との差分を取っている。この結果から、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを異ならせる蛍光観察装置１Ａの蛍光観察方法においても、背景光の影響を効果的に除去して鮮明な観測画像を取得可能であることが確認できる。
［第２実施形態］

図５は、本発明の第２実施形態に係る蛍光観察装置を示すブロック図である。同図に示すように、第２実施形態に係る蛍光観察装置１Ｂは、観測対象物Ｐに白色光を供給する白色光源２１と、白色光源２１による観測対象物Ｐの光像を撮像する撮像装置２２と、差分演算器１５によって生成された差分画像に、撮像装置２２によって撮像されたカラー画像を重畳させる重畳演算器２３とを更に備える点で第１実施形態と異なっている。

白色光源２１は、例えば白色ＬＥＤなどの照明光源である。また、撮像装置２２は、可視域の光を透過させるフィルタ等の分光手段（不図示）を備え、分光手段からの光をＣＣＤイメージセンサやＣＭＯＳイメージセンサといったエリアイメージセンサによって、観測対象物Ｐのカラー画像を撮像する。なお、励起光源用の撮像装置１２と白色光源用の撮像装置２２とは、同軸に分光された光像を撮像するように配置されることが好ましい。この場合、例えばプリズムやビームスプリッタといった分光手段（不図示）によって複数の光路に分光された光像をそれぞれ撮像できるようにエリアイメージセンサを配置すればよい。また、複数の光路に分光された光像が１つのエリアイメージセンサで受光される構成としてもよい。

重畳演算器２３は、差分演算器１５と同様の演算論理装置である。重畳演算器２３のＡ２入力端子には、撮像装置２２で取得されたカラー画像データが入力され、重畳演算器２３のＢ２入力端子には、差分演算器１５のＹ１出力端子からの差分画像データが入力される。そして、重畳演算器２３は、差分画像データにカラー画像を重畳してＹ２出力端子から表示装置１６に出力する。

図６は、図５に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。このタイミングチャートでは、（ａ）励起光源のＯＮ／ＯＦＦ、（ｂ）白色光源のＯＮ／ＯＦＦ、（ｃ）励起光源用の撮像装置における第１フレームの画像取得期間及び第２フレームの画像取得期間、（ｄ）白色光源用の撮像装置における第１フレームの画像取得期間及び第２フレームの画像取得期間、（ｅ）生成される差分画像、（ｆ）生成される重畳画像をそれぞれ示している。

図６のタイミングチャートにおいて、励起光源１１及び励起光源１１用の撮像装置１２の動作、及び生成される差分画像は、図２の場合と同様である。白色光源２１は、蛍光画像取得期間及び背景画像取得期間のいずれの期間においてもＯＮ状態のままとなっており、白色光源２１用の撮像装置２２は、励起光源１１用の撮像装置１２の動作と同期して、カラー画像の露光及び読み出しを実行する。そして、画像取得期間Ｔ２１では、Ａ２入力のカラー画像とＢ２入力の差分画像との重畳を取るＡ２＋Ｂ２演算が実行され、これにより、カラー画像に差分画像が重畳された観察画像が生成される。

以上のような蛍光観察装置１Ｂにおいても、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。また、白色光源２１による観測対象物Ｐのカラー画像を差分画像に重畳させることで、カラーで表示された観測対象物Ｐに蛍光が表示されるので、観測画像の視認性を一層高めることができる。

なお、図６のタイミングチャートでは、白色光源２１を常にＯＮ（点灯）の状態としているため、白色光源２１の白色光の波長領域と励起光源１１の励起光の波長領域が重複（一部重複を含む）しても、蛍光画像と背景画像とに白色光によって励起された蛍光が含まれ、差分画像ではその影響が排除される。ただし、図７に示すように、励起光源１１のＯＮ／ＯＦＦの切り替えと反転するように、白色光源２１のＯＮ／ＯＦＦを切り替えてもよい。なお、図６で示したタイミングチャートの場合でも、白色光源２１からの白色光の波長領域から励起光の波長領域の光をカットするように、バンドパスフィルタなどの分光手段（不図示）を白色光源２１の白色光の光路上に配置することで、蛍光画像が白色光源によって影響を受けてしまうことを回避できるので、カラーで表示された観測画像を好適に得ることができる。
［第３実施形態］

図８は、本発明の第３実施形態に係る蛍光観察装置を示すブロック図である。同図に示すように、第３実施形態に係る蛍光観察装置１Ｃは、フレームメモリ１４の後段にＭＡＸ／ＭＩＮフィルタ３１を更に備えている点で第１実施形態と異なっている。

このＭＡＸ／ＭＩＮフィルタ３１は、フレームメモリ１４から差分演算器１５に出力される蛍光画像又は背景画像に対し、これらの画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、又は、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタである。

図９は、図８に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。同図に示す例では、画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力される。また、１つ前のフレーム取得期間Ｔ_Ｎ−１の画像取得期間Ｔ２０で取得された背景画像は、画像取得期間Ｔ１１において、画像処理部１３での第２の補正値に基づく輝度補正を経てフレームメモリ１４に入力され、画像取得期間Ｔ２１において、ＭＡＸ／ＭＩＮフィルタ３１で最大フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。そして、画像取得期間Ｔ２１では、Ａ１入力の蛍光画像とＢ１入力の背景画像との差分を取るＡ１−ＭＡＸ（Ｂ１）演算が実行され、蛍光が抽出された差分画像が生成される。

以上のような蛍光観察装置１Ｃにおいても、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。

また、蛍光観察装置１Ｃでは、フレームメモリ１４から差分演算器１５に出力される背景画像に対し、ＭＡＸ／ＭＩＮフィルタ３１による最大フィルタ処理がなされている。第１フレームの画像と第２フレームの画像との差分画像において、例えば明るい画像部分と暗い画像部分との境界で偽の差分画像成分が抽出される場合がある。また、観測対象物Ｐに動きがある場合にも、偽の差分画像成分が抽出される場合がある。これに対し、最大フィルタ処理を背景画像に適用することで、偽の差分画像成分の抽出を抑制できる。

ＭＡＸ／ＭＩＮフィルタ３１の最大フィルタ処理による偽の差分画像成分の抽出の抑制効果について説明する。図１０は、図８に示した蛍光観察装置における画像の一例を示す図であり、（ａ）は背景画像、（ｂ）は蛍光画像である。これらの背景画像及び蛍光画像は、輝度補正済みであり、背景画像を取得してから蛍光画像を取得するまでに、観測対象物Ｐが２画素分だけ上側に移動した状態を示している。また、図１１は、図１０の例において偽の差分画像成分の除去の様子を示す図であり、（ａ）は通常の差分を取る場合、（ｂ）（ｃ）は、最大フィルタ処理を行った場合である。

図１１（ａ）のＸは、図１０（ａ）の線Ｌ１に沿った輝度分布であり、Ｙは、図１０（ｂ）の線Ｌ２に沿った輝度分布を示している。輝度分布Ｘでは、図中の上側の画素から順に「暗→明→暗→明→暗→暗→明→明→明→暗→暗」となっているのに対し、輝度分布Ｙでは、観測対象物Ｐが移動した結果、図中の上側から順に「暗→明→暗→暗→明→明→明→暗→暗→明→明」となっている。このとき、Ｙ−Ｘ演算による差分画像では、本来、蛍光信号以外はすべての画素で輝度分布が「暗」にならなくてはならないが、輝度分布Ｙが「明」で且つ輝度分布Ｘが「暗」である画素において、偽の差分画像成分Ｚ１，Ｚ２が発生している。

このような偽の差分画像成分に対し、図１１（ｂ）では、フィルタ処理の画素数をｎ＝２として最大フィルタ処理を行い、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最大輝度を対象画素の輝度としている。また、図１１（ｃ）では、フィルタ処理の画素数をｎ＝３として最大フィルタ処理を行い、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最大輝度を対象画素の輝度としている。

図１１（ｂ）に示すように、ｎ＝２の最大フィルタ処理では、背景画像の輝度分布ＭＡＸ（Ｘ）において、１つ前の画素の輝度が「暗」から「明」に置き換えられ、「暗→明→明→明→明→暗→明→明→明→明→暗」となっている。これにより、Ｙ−ＭＡＸ（Ｘ）演算による差分画像では、偽の差分画像成分Ｚ１，Ｚ２が除去されている。一方、Ｙ−ＭＡＸ（Ｘ）演算による差分画像では、輝度分布ＭＡＸ（Ｘ）における６番目の画素が依然として「暗」であるため、偽の差分画像成分Ｚ３が発生している。

これに対し、図１１（ｃ）に示すように、ｎ＝３の最大フィルタ処理では、背景画像の輝度分布ＭＡＸ（Ｘ）において、２つ前及び１つ前の画素の輝度が「暗」から「明」に置き換えられ、「暗→明→明→明→明→明→明→明→明→明→明」となっている。これにより、Ｙ−ＭＡＸ（Ｘ）演算による差分画像では、全ての偽の差分画像成分が除去されている。

図１２は、図８に示した蛍光観察装置において実行される蛍光観察方法の変形例を示すタイミングチャートである。同図に示す例では、画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経てフレームメモリ１４に入力される。フレームメモリ１４に入力された蛍光画像は、画像取得期間Ｔ１２において、ＭＡＸ／ＭＩＮフィルタ３１で最小フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。また、画像取得期間Ｔ２１で取得された背景画像は、画像取得期間Ｔ１２において、画像処理部１３での第２の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力される。そして、画像取得期間Ｔ１２では、Ｂ１入力の蛍光画像とＡ１入力の背景画像との差分を取るＭＩＮ（Ｂ１）−Ａ１演算が実行され、蛍光が抽出された差分画像が生成される。

ＭＡＸ／ＭＩＮフィルタ３１の最小フィルタ処理による偽の差分画像成分の抽出の抑制効果について説明する。図１３は、図８に示した蛍光観察装置における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像である。これらの蛍光画像及び背景画像は、輝度補正済みであり、蛍光画像を取得してから背景画像を取得するまでに、観測対象物Ｐが２画素分だけ下側に移動した状態を示している。また、図１４は、図１３の例において偽の差分画像成分の除去の様子を示す図であり、（ａ）は通常の差分を取る場合、（ｂ）（ｃ）は、最小フィルタ処理を行った場合である。

図１４（ａ）のＸは、図１３（ａ）の線Ｌ３に沿った輝度分布であり、Ｙは、図１３（ｂ）の線Ｌ４に沿った輝度分布を示している。輝度分布Ｘでは、図中の上側の画素から順に「暗→明→暗→暗→明→明→明→暗→暗→明→明」となっているのに対し、輝度分布Ｙでは、観測対象物Ｐが移動した結果、図中の上側から順に「暗→明→暗→明→暗→暗→明→明→明→暗→暗」となっている。このとき、Ｘ−Ｙ演算による差分画像では、輝度分布Ｘが「明」で且つ輝度分布Ｙが「暗」である画素において、偽の差分画像成分Ｚ４，Ｚ５が発生している。

このような偽の差分画像成分に対し、図１４（ｂ）では、フィルタ処理の画素数をｎ＝２として最小フィルタ処理を行い、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度としている。また、図１４（ｃ）では、フィルタ処理の画素数をｎ＝３として最小フィルタ処理を行い、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最小輝度を対象画素の輝度としている。

図１４（ｂ）に示すように、ｎ＝２の最小フィルタ処理では、蛍光画像の輝度分布ＭＩＮ（Ｘ）において、１つ前の画素の輝度が「明」から「暗」に置き換えられ、「暗→暗→暗→暗→暗→明→明→暗→暗→暗→明」となっている。これにより、ＭＩＮ（Ｘ）−Ｙ演算による差分画像では、偽の差分画像成分Ｚ４，Ｚ５が除去されている。一方、ＭＩＮ（Ｘ）−Ｙ演算による差分画像では、輝度分布ＭＩＮ（Ｘ）における６，７番目の画素が依然として「明」であるため、偽の差分画像成分Ｚ６が発生している。

これに対し、図１４（ｃ）に示すように、ｎ＝３の最小フィルタ処理では、蛍光画像の輝度分布ＭＩＮ（Ｘ）において、２つ前及び１つ前の画素の輝度が「明」から「暗」に置き換えられ、「暗→暗→暗→暗→暗→暗→明→暗→暗→暗→暗」となっている。これにより、ＭＩＮ（Ｘ）−Ｙ演算による差分画像では、全ての偽の差分画像成分が除去されている。

なお、上述した最大フィルタ処理及び最小フィルタ処理を組み合わせることも可能である。図１５は、図８に示した蛍光観察装置において実行される蛍光観察方法の別の変形例を示すタイミングチャートである。同図に示す例では、画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経てフレームメモリ１４に入力され、かつ差分演算器１５のＡ１入力端子に入力される。また、画像取得期間Ｔ２０で取得された背景画像は、画像取得期間Ｔ２１において、画像処理部１３での第２の補正値に基づく輝度補正を経てＭＡＸ／ＭＩＮフィルタ３１で最大フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。そして、画像取得期間Ｔ２１では、Ａ１入力の蛍光画像とＢ１入力の背景画像との差分を取るＡ１−ＭＡＸ（Ｂ１）演算が実行され、蛍光が抽出された差分画像が生成される。

一方、フレームメモリ１４に入力された蛍光画像は、画像取得期間Ｔ１２において、ＭＡＸ／ＭＩＮフィルタ３１で最小フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。また、画像取得期間Ｔ２１で取得された背景画像は、画像取得期間Ｔ１２において、画像処理部１３での第２の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力され、かつフレームメモリ１４に入力される。そして、画像取得期間Ｔ１２では、Ｂ１入力の蛍光画像とＡ１入力の背景画像との差分を取るＭＩＮ（Ｂ１）−Ａ１演算が実行され、蛍光が抽出された差分画像が生成される。

ＭＡＸ／ＭＩＮフィルタ３１での最大フィルタ処理及び最小フィルタ処理において、フィルタ処理を適用する対象画素の近傍の画素数ｎを大きく設定すると、偽の差分画像成分の除去能力を向上できる。一方、画素数ｎを大きく設定すると、フィルタ処理実行のための回路規模の像体といった問題が生じ得る。また、大きい画素数ｎでのフィルタ処理の実行は、例えば差分画像自体を小さくしてしまう効果もある。

このような点を考慮すると、最大フィルタ処理及び最小フィルタ処理における対象画素の近傍の画素数ｎは、３以上５０以下の整数に設定することが好ましい。また、フィルタ処理回路、メモリの構成等に応じ、対象画素に対して垂直方向に時間的に後となる画素についてフィルタ処理に用いる構成としてもよい。さらに、同様のＭＡＸ／ＭＩＮフィルタを水平方向に適用する構成としてもよく、ＭＡＸ／ＭＩＮフィルタを垂直方向及び水平方向に組み合わせて適用する構成としてもよい。

１Ａ〜１Ｃ…蛍光観察装置、１１…励起光源（励起光供給手段）、１２…撮像装置（撮像手段）、１３…画像処理部（画像処理手段）、１４…フレームメモリ（画像記憶手段）、１５…差分演算器（差分画像生成手段）、２１…白色光源（白色光供給手段）、２２…撮像装置（撮像手段）、２３…重畳演算器（重畳画像生成手段）、３１…ＭＡＸ／ＭＩＮフィルタ（フィルタ処理手段）、Ｐ…観測対象物。

Claims (6)

1. 観測対象物に対して蛍光観測のための励起光を供給すると共に、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
   前記観測対象物に対して白色光を供給する白色光供給手段と、
   前記観測対象物からの光像を撮像すると共に、得られた前記観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に出力する撮像手段と、
   前記撮像手段から出力された前記第１フレームの画像又は前記第２フレームの画像を記憶する画像記憶手段と、
   前記撮像手段から出力された前記第１フレームの画像及び前記第２フレームの画像の一方と、前記画像記憶手段に記憶された前記第１フレームの画像及び前記第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成手段と、を備え、
   前記励起光供給手段は、前記撮像手段による前記第１フレームの画像取得期間及び前記第２フレームの画像取得期間の一方が前記励起光の供給をＯＮにした蛍光画像取得期間となり、他方が前記励起光の供給をＯＦＦにした背景画像取得期間となるように前記励起光の供給を切り替え、
   前記撮像手段において、前記蛍光画像取得期間における前記励起光のＯＮ時間の長さと、前記背景画像取得期間における前記励起光のＯＦＦ時間の長さとが互いに異なっており、かつ前記蛍光画像取得期間の露光時間と、前記背景画像取得期間の露光時間とが互いに異なっており、
   前記白色光供給手段は、前記蛍光画像取得期間及び背景画像取得期間のいずれにおいても前記白色光の供給をＯＮにし、
   前記蛍光画像取得期間の露光時間と前記背景画像取得期間の露光時間との比に基づいて、前記蛍光画像の輝度及び前記背景画像の輝度を補正する画像処理手段を更に備えることを特徴とする蛍光観察装置。
2. 前記撮像手段は、エリアイメージセンサであることを特徴とする請求項１記載の蛍光観察装置。
3. 前記撮像手段は、プログレッシブ読み出し型の撮像手段であることを特徴とする請求項１又は２記載の蛍光観察装置。
4. 前記背景画像取得期間の露光時間又は前記蛍光画像取得期間の露光時間が３０ｍｓｅｃ未満に設定されていることを特徴とする請求項１〜３のいずれか一項記載の蛍光観察装置。
5. 前記蛍光画像取得期間及び前記背景画像取得期間の合計時間が６０ｍｓｅｃ以下に設定されていることを特徴とする請求項１〜４のいずれか一項記載の蛍光観察装置。
6. 観測対象物に対して蛍光観測のための励起光を供給すると共に、前記励起光の供給のＯＮ／ＯＦＦを切り替える励起光供給ステップと、
   前記観測対象物に対して白色光を供給する白色光供給ステップと、
   前記観測対象物からの光像を撮像すると共に、得られた前記観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に読み出しを行う撮像ステップと、
   前記撮像ステップで得られた前記第１フレームの画像又は前記第２フレームの画像を記憶する画像記憶ステップと、
   前記撮像ステップで得られた前記第１フレームの画像及び前記第２フレームの画像の一方と、前記画像記憶ステップで記憶された前記第１フレームの画像及び前記第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成ステップと、を備え、
   前記励起光供給ステップでは、撮像手段による前記第１フレームの画像取得期間及び前記第２フレームの画像取得期間の一方が前記励起光の供給をＯＮにした蛍光画像取得期間となり、他方が前記励起光の供給をＯＦＦにした背景画像取得期間となるように前記励起光の供給を切り替え、
   前記撮像ステップでは、前記蛍光画像取得期間における前記励起光のＯＮ時間の長さと、前記背景画像取得期間における前記励起光のＯＦＦ時間の長さとを互いに異ならせ、かつ前記蛍光画像取得期間の露光時間と、前記背景画像取得期間の露光時間とを互いに異ならせ、
   前記白色光供給ステップでは、前記蛍光画像取得期間及び背景画像取得期間のいずれにおいても前記白色光の供給をＯＮにし、
   前記蛍光画像取得期間の露光時間と前記背景画像取得期間の露光時間との比に基づいて、前記蛍光画像の輝度及び前記背景画像の輝度を補正する画像処理ステップを更に備えることを特徴とする蛍光観察方法。