JP5118045B2 - 捕捉された撮影画像から表示画像を生成するための方法およびその方法を実施するための手段 - Google Patents

Description

本発明は、捕捉された撮影画像から表示画像を生成するための方法およびその方法を実施するための手段に関する。

対象物の画像を少なくとも１つの検出器によって捕捉し、モニタなどの表示装置に表示する多くの光学機器や光学電子機器では、表示装置の画像交換周波数および／または人間の眼で時間的になお分解可能な撮影画像レートよりも明らかに速い撮像速度で対象物の画像を捕捉することができる。

したがって、公知の光学機器、特に顕微鏡の場合、撮影画像に含まれる情報を人間がリアルタイムで把握できるように表示することはできない。特に、対象物上または対象物中で迅速に進行する過程に関する情報をリアルタイムで追跡することはできない。公知の機器では、撮影画像シーケンス全体の捕捉後に、後から状態変化を追跡することができるだけである。

本発明は、１つには、対象物における状態変化の表示または追跡を可能にする、捕捉された撮影画像から情報を準備する方法を提供し、また１つには、その方法を実施するための手段を提供するという課題を基礎としている。人間の眼で捕捉できるより速く、またはモニタなどの表示装置で表示できるより速く進行するそのような状態変化の追跡を、好ましくは人間の眼で行えるようにすべきである。

この課題は、時間的に連続する撮影画像のシーケンスを捕捉し、その撮影画像シーケンスから時間的に連続する表示画像のシーケンスを生成する、表示画像を生成するための方法によって解決される。その際、表示画像シーケンスのそれぞれの表示画像は、該撮影画像シーケンスの対応する少なくとも２つの既に捕捉された撮影画像の部分シーケンスから生成される。

上記課題は、さらに、撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェースおよび表示装置用のグラフィック・インターフェースを有しており、捕捉インターフェースおよび捕捉インターフェースに結合された画像データ捕捉装置を介して、時間的に連続する撮影画像のシーケンスが捕捉できるように構成され、かつ撮影画像シーケンスから時間的に連続する表示画像のシーケンスが生成できるように構成されている画像処理装置によっても解決される。その際、表示画像シーケンスのそれぞれの表示画像は、撮影画像シーケンスの対応する少なくとも２つの既に捕捉された撮影画像の部分シーケンスから生成され、表示画像がグラフィック・インターフェースを介して表示装置に出力可能である。

画像処理装置は、特に、撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェースと、表示装置用のグラフィック・インターフェースと、データおよびコンピュータ・プログラムの命令が格納されている記憶装置と、それらのインターフェースおよび記憶装置と結合されており、命令実行時には捕捉インターフェースおよび捕捉インターフェースと結合された画像捕捉装置を介して時間的に連続する撮影画像のシーケンスを捕捉し、この撮影画像データ・シーケンスから時間的に連続する表示画像のシーケンスを生成する少なくとも１つのプロセッサとを備えるデータ処理装置を含むことができる。その際、プロセッサは表示画像シーケンスのそれぞれの表示画像を、撮影画像シーケンス中の対応する少なくとも２つの既に捕捉された撮影画像の部分シーケンスから生成し、表示画像をグラフィック・インターフェースを介して表示装置に出力可能である。

上記課題は、その他に、撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェースと、表示装置用のグラフィック・インターフェースと、データおよびコンピュータ・プログラムが格納された記憶装置と、それらのインターフェースおよび記憶装置に連結された少なくとも１つのプロセッサとを備えるデータ処理装置のためのコンピュータ・プログラムであって、命令を含んでおり、その命令の実行時にプロセッサが、本発明に基づく方法を実施し、特に捕捉インターフェースおよび捕捉インターフェースと結合された画像捕捉装置を介して、時間的に連続する撮影画像のシーケンスを捕捉し、この撮影画像データ・シーケンスから時間的に連続する表示画像のシーケンスを生成し、その際、プロセッサは表示画像シーケンスのそれぞれの表示画像を、該撮影画像シーケンス中の対応する少なくとも２つの既に捕捉された撮影画像の部分シーケンスから生成し、またその実行時にプロセッサが、生成された表示画像をグラフィック・インターフェースを介して表示装置に出力する、コンピュータ・プログラムによっても解決される。

上記課題は、さらに、既述のコンピュータ・プログラムが格納されている記憶媒体によっても解決される。記憶媒体としては、特に、磁気、光磁気および／または光学式のデータ媒体、例えばディスケット、ハード・ディスク、コンパクトディスク、汎用デジタルディスク、またはＥＥＰＲＯＭやフラッシュ・メモリなどの不揮発性メモリ、あるいはそれらの組合せが使用できる。

本方法では、観察される対象物の時間的に連続する撮影画像のシーケンスが捕捉される。その場合、撮影画像および表示画像とは、それぞれ、光学的に生成される、または光学的に知覚できる、好ましくは２次元画像を示すデータの集まりのことである。しかし本方法は、例えば互いに重なって実質上平行に走る、対象物または試料の層から成る２次元画像の集まりの形の３次元画像にも使用することができる。したがって、特に、レーザ走査型顕微鏡検査に適している。

この場合、撮影画像は基本的にある時点における全体として捕捉することができ、あるいはピクセルの形で表示する場合はピクセルまたはピクセル群ごとに捕捉することもできる。ピクセルまたはピクセル群ごとに捕捉する場合は、単一または複数のピクセルを含む画像セグメントが捕捉され、その後、撮影画像に合成される。

撮影画像は、時間的に連続して、すなわち順次捕捉される。その際、原則として、相前後する撮影画像間の時間間隔は任意に設定することができるが、好ましくは、実質上一定とする。そうすると、リアルタイムでの処理が容易になるという利点が得られる。特に、直接隣接する画像間の間隔は、人間の眼ではもはやこの画像を分離できないほど、あるいはモニタなどの表示機器でもはやこの画像をリアルタイムで表示できないほどに小さくすることができる。

画像処理装置は、撮影画像を捕捉するために、撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェースを備えている。その際、捕捉インターフェースの構成は、画像処理装置と共に使用するために設けられた撮影画像装置の種類に依存する。これが信号だけを発するのであれば、信号を受信し、または読み込むためのインターフェースおよび信号をデータに変換するための画像処理装置が形成される。撮影画像装置が直接データを発するのであれば、これらのデータを読み込みまたは受信するためのインターフェースのみを形成すればよい。その場合、インターフェースは必ずしも、既に完全な２次元画像を記述している撮影画像データを捕捉するように構成する必要はない。そうではなくて、画像処理装置が、画像セグメントの、例えば個々のピクセルまたはピクセル群の撮影画像データを捕捉インターフェースを介して受信し、または読み込み、次いで、その画像セグメントを、その画像セグメントを含む撮影画像のデータに合成するように、画像処理装置を構成することも可能である。特に、画像処理装置は、そのために、撮影される対象物の部分を順次、すなわち走査により、対象物の２次元撮影画像全体が捕捉できるように、画像撮影装置上に結像させる装置の位置を制御および／または捕捉するように構成することができる。その際、制御および／または捕捉は、画像セグメントのデータまたは信号から撮影画像全体が作成できるように行われる。

原則として、撮影画像の捕捉と表示画像の決定および／または表示との間には任意の時間空間を設けることができる。特に、決定および／または表示は、対象物または試料の撮影画像全体の捕捉完了後に初めて行うようにすることもできる。しかし本方法は、対象物の観察中にリアルタイムで実施されることが好ましいので、画像処理装置は、撮影画像シーケンスのリアルタイムでの処理に十分な作業速度を有することが好ましい。ここで言うリアルタイム処理とは、特に、撮影画像のある部分シーケンスに対応する表示画像が、その部分シーケンスの、好ましくはその部分シーケンスの直ぐ後の撮影画像の部分シーケンスの捕捉中に既に決定され、特に好ましくは表示もされることを意味している。このようにして、例えば顕微鏡測定に使用する場合、生体細胞の変化過程を表示画像によって直接表示することができる。

撮影画像シーケンス中の少なくとも２つの撮影画像を含む１つの部分シーケンスから、この部分シーケンスに時間的に対応する表示画像がそれぞれ１つずつ生成される。その際に、好ましくは、既に撮影画像シーケンスの捕捉中に少なくとも幾つかの表示画像が生成され、特に好ましくは、表示される。そのために、特に部分シーケンスのすべての撮影画像が処理できる。それぞれの表示画像は、部分シーケンス中の時間的に最後の、すなわち時間的に最も直近の撮影画像に基づき、処理速度が許す限りの速い速度で生成されることが好ましい。その場合、表示画像はそれぞれ、表示画像に対応する少なくとも２つの撮影画像に応じて生成されることが好ましく、表示画像を決定するために両方の撮影画像の撮影画像データが評価される。

撮影画像の部分シーケンスは、この場合、原則として任意の数の、しかも一定でない数の撮影画像を含むことができる。ただし、すべての部分シーケンスが、所定の同じ数の撮影画像を含んでいることが好ましく、同じ順序で含むことが特に好ましい。そのようにすると、表示画像を生成するための撮影画像の評価が容易になるという利点が得られる。この数は、表示画像シーケンスが人間の眼で捕捉できるように、あるいは表示装置上に表示できるように、特に撮影画像の捕捉レートおよび表示画像の所望の周波数または可能な表示周波数に応じて選択することができる。

所定の撮影時間にわたって撮影された撮影画像シーケンスから、撮影画像の評価を表し、状態変化の表示および追跡を可能にする、表示画像シーケンスが生じる。
表示画像は、次いで、表示装置を介して出力でき、観察者はその表示画像を表示装置上で観察することができる。画像処理装置は、そのために、例えばグラフィック・カードで実現できるグラフィック・インターフェースを備えている。

画像処理装置は、表示画像を生成するために、原則的には、プログラミング可能でない然るべき電子回路を含むことができる。そのような回路は非常に高い作業速度を特徴とすることができる。

しかし、上記のデータ処理装置を含む画像処理装置の構成は、然るべきプログラミングによって表示画像を生成するための様々な方法が簡単に実施でき、場合によってはコンピュータ・プログラムの更新実行によって更新もできるという利点を有する。しかも、表示画像生成のために、特殊な電子回路を用意する必要もない。データ処理装置のメモリは、複数の構成要素、例えば揮発性部品（ＲＡＭ）、ならびにＥＥＰＲＯＭの形の、または読取り装置に組み込まれたまたはそれに接続された記憶媒体を備える、コンピュータ・プログラムを格納する記憶媒体用の読取り装置（ＣＤまたはＤＶＤドライブ、ＵＳＢインターフェース）の形の不揮発性部品を含むことができる。

表示画像シーケンスは、例えば撮影画像シーケンスとまったく同数の表示画像を含むことができる。しかし、本方法では表示画像シーケンスの表示画像数は撮影画像シーケンスの撮影画像（４１）数より少ない方が好ましい。そのために、画像処理装置は、さらに、表示画像シーケンスの表示画像数が撮影画像シーケンスの撮影画像数より少なくなるようにも構成されていることが好ましい。その場合、コンピュータ・プログラム、それもデータ処理装置内のコンピュータ・プログラムは、プロセッサによる命令の実行時に表示画像シーケンスの表示画像数が撮影画像シーケンスの撮影画像数より少なくなるようにする命令を含んでいることが好ましい。表示画像シーケンスの表示画像数の方が少ない実施形態は、それによって、それぞれの部分シーケンス中の撮影画像の特性と、さらにオプションでそれらの撮影時間または部分シーケンスにおけるそれらの位置に依存するデータ数の削減、つまり撮影画像シーケンスの評価が、所定の評価スキームに従って行われるという利点を有する。特に、撮影時間と同じ長さにわたって表示画像を生成および再生する場合、より少ない表示周波数にすることができ、標準モニタ上での表示が可能になる。

表示画像は、原則として、撮影画像の任意の部分シーケンスから形成することができる。しかし、本方法では表示画像を生成するには、表示画像の決定前に、好ましくは所定の時間内、それも好ましくは１秒以内の間だけ捕捉された撮影画像シーケンスの撮影画像を含む部分シーケンスから少なくとも１つの表示画像が決定されることが好ましい。さらに、そのために画像処理装置も、表示画像を生成するために、表示画像の決定前に、好ましくは所定の時間内、それも好ましくは１秒以内の間だけ捕捉された撮影画像シーケンスの撮影画像を含む部分シーケンスから少なくとも１つの表示画像が決定されるように構成されることが好ましい。その場合、コンピュータ・プログラム、それもデータ処理装置内のコンピュータ・プログラムは、表示画像生成のための命令の実行時にプロセッサが、表示画像の決定前に、好ましくは所定の時間内、それも好ましくは１秒以内の間だけ捕捉された撮影画像シーケンスの撮影画像を含む部分シーケンスから少なくとも１つの表示画像を決定するようにする命令を含んでいることが好ましい。この実施形態は、表示画像の生成が少なくとも近似的にはリアルタイムで行えるという利点を有する。したがって、この実施形態は、特に試験中の試料の観察にも適している。

原理上は、相前後する２つの表示画像が撮影画像の部分シーケンスから生成されるが、その撮影画像の部分シーケンスは、例えばそれら表示画像が同じ撮影画像を含むことによってオーバーラップさせることができる。しかし、この表示画像を生成するための方法では、当該表示画像の直前の表示画像の決定中または決定後に捕捉された、撮影画像シーケンスの撮影画像を含む部分シーケンスから少なくとも１つの表示画像を決定することが好ましい。そのために、画像処理装置はさらに、表示画像を生成するために、当該表示画像の直前の表示画像の決定中または決定後に捕捉された、撮影画像シーケンスの撮影画像を含む部分シーケンスから少なくとも１つの表示画像が決定されるように構成されることが好ましい。その場合、コンピュータ・プログラム、それもデータ処理装置内のコンピュータ・プログラムは、表示画像を生成するための命令の実行時にプロセッサが、当該表示画像の直前の表示画像の決定中または決定後に捕捉された、撮影画像シーケンスの撮影画像を含む部分シーケンスから少なくとも１つの表示画像を決定するようにする命令を含んでいることが好ましい。この実施形態は、所定の表示画像の直後の表示画像が、直前の表示画像と該表示画像との間の時間に関する情報の評価しか含まず、したがって表示画像シーケンスはなお対象物の時間的経緯に関する可能な限り多くの情報を含んでいるという利点を有する。特に、所定の撮影画像捕捉レートの場合、所定の数Ｋ個の撮影画像を含む部分シーケンスから表示画像を生成することができ、その際、次の表示画像は、同じ数Ｋ個の撮影画像を含み、その撮影画像が先行する部分シーケンスの撮影画像の後に続く、次の部分シーケンスから生成される。これは、表示画像シーケンスが、撮影画像レートのＫ分の１の画像レートを有することを意味している。

撮影画像および表示画像は、原則として、データにより任意の方式で表すことができる。しかし、本方法では、撮影画像および表示画像がピクセルの配置によって形成され、少なくとも１つの表示画像を生成するために、表示画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値が、表示画像に対応する既に捕捉された撮影画像の部分シーケンス中の、当該表示画像のピクセルに対応する少なくとも１つの撮影画像ピクセルのピクセル・パラメータの値から決定されることが好ましい。そのために、この画像処理装置では、撮影画像および表示画像がピクセルの配置によって形成され、さらに、画像処理装置は、少なくとも１つの表示画像を決定するために、表示画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値が、表示画像に対応する既に捕捉された撮影画像の部分シーケンス中の、当該表示画像のピクセルに対応する少なくとも１つの撮影画像ピクセルのピクセル・パラメータの値から求められるように構成されている。特に、データ処理装置およびコンピュータ・プログラムの場合、撮影画像および表示画像はピクセルの配置によって形成することができ、コンピュータ・プログラムは、命令の実行時にプロセッサが、少なくとも１つの表示画像を決定するために、表示画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値を、表示画像に対応する既に捕捉された撮影画像の部分シーケンス中の、当該表示画像のピクセルに対応する少なくとも１つの撮影画像ピクセルのピクセル・パラメータの値から決定できるようにする命令を含んでいる。画像を表示するためにピクセルを使用すれば、有利なことに、公知の捕捉インターフェースおよびグラフィック・インターフェースを利用することが可能になる。しかも、ピクセルごとの処理によって対象物の局部的特性を容易に評価することができる。ピクセルのピクセル・パラメータとは、ここでは、場合によっては該ピクセルについての別のピクセル・パラメータと共に画像要素の特性を表す、ピクセルまたはピクセル・ポジションに対応するパラメータを意味している。この特性は、撮影画像でも表示画像でも、例えば色モデルの明度、輝度、グレー値またはあるパラメータを表すことができる。その場合、撮影画像ピクセルに使用されるピクセル・パラメータは表示画像のピクセル・パラメータと異なることがあり得る。

特に、本方法では、撮影画像ピクセル・パラメータは、撮影画像ピクセルの輝度、グレースケール値または明度を示すことができ、表示画像のあるピクセルの２つのピクセル・パラメータが、表示画像に対応する撮影画像の部分シーケンスの対応するピクセルの撮影画像ピクセル・パラメータの値に応じてピクセルの色および明度を示すことができる。そのために、画像処理装置は、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示すように、また表示画像のピクセルの２つのピクセル・パラメータが、表示画像に対応する撮影画像の部分シーケンスの対応するピクセルの撮影画像ピクセル・パラメータの値に応じてピクセルの色および明度を示すように構成することができる。特に、データ処理装置およびコンピュータ・プログラムの場合、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示すことができ、表示画像におけるピクセルの２つのピクセル・パラメータが、表示画像に対応する撮影画像の部分シーケンスの対応するピクセルの撮影画像ピクセル・パラメータの値に応じてピクセルの色および明度を示すことができ、それに対応して、コンピュータ・プログラムは然るべき命令を含んでいる。この実施形態の利点は、表示に表示画像ピクセルの輝度やグレー値だけでなく、同時に色も使用でき、さらに当該表示画像に対応する撮影画像の部分シーケンスの特性を示すことができる点にある。その場合、色と明度は別々に決定する必要はない。使用する色モデルによっては、むしろ両パラメータを同時に変更することも可能である。この場合、色の調整とは、例えばＨＳＩ色モデルにおける色の彩度調整をも意味する。

一般に、表示画像ピクセルのピクセル・パラメータは、表示画像に対応する部分シーケンスの表示画像ピクセルに対応する撮影画像ピクセルの少なくとも撮影画像ピクセル・パラメータの任意の関数とすることができる。しかし、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示す方法では、当該表示画像のあるピクセルの少なくとも１つのピクセル・パラメータの値が、撮影画像の対応する部分シーケンスの対応するピクセルの撮影画像ピクセル・パラメータの最大値、最小値または平均値を示すものであることが好ましい。そのために、画像処理装置はさらに、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示し、かつ当該表示画像のあるピクセルの少なくとも１つのピクセル・パラメータの値が、撮影画像の対応する部分シーケンスの対応するピクセルの撮影画像ピクセル・パラメータの最大値、最小値または平均値を示すように構成されることが好ましい。特に、データ処理装置やコンピュータ・プログラムは、命令の実行時に撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示すように、また当該表示画像の少なくとも１つのピクセル・パラメータのあるピクセルの値が、撮影画像の対応する部分シーケンスの対応するピクセルの撮影画像ピクセル・パラメータの最大値、最小値または平均値を示すようにする命令を含むことができる。この実施形態は、最初の２つの例においてはユーザがリアルタイム表示では、あるいは部分シーケンスの所定の例えば１撮影画像だけの表示では認識できないような、例えば１撮影画像にのみ現れる輝度、グレー値または明度の極値を非常に短い時間にでも知覚できるという利点を有する。平均値については、ユーザは、有利なことに、平均値の形成により短時間の変動が補償された表示画像を取得することができる。その際、平均値として、部分シーケンスについて重み付けした平均値を形成することもでき、その場合、重みの値は任意の値、好ましくはゼロより大きな値を選択することができる。

さらに、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示す方法では、当該表示画像のピクセルの少なくとも１つのピクセル・パラメータの値が、先に捕捉された撮影画像の、表示画像に対応する部分シーケンスの表示画像ピクセルに対応するピクセルの撮影画像ピクセル・パラメータ値の変動幅を示すことができる。そのために、画像処理装置はさらに、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示すように、かつ当該表示画像のピクセルの少なくとも１つのピクセル・パラメータの値が、既に捕捉された撮影画像の、表示画像に対応する部分シーケンスの表示画像ピクセルに対応するピクセルの撮影画像ピクセル・パラメータの値の変動幅を示すように構成されることが好ましい。特に、データ処理装置またはコンピュータ・プログラムは、命令の実行の際、および／または実行後に、撮影画像ピクセル・パラメータが撮影画像ピクセルの輝度、グレースケール値または明度を示し、当該表示画像のピクセルの少なくとも１つのピクセル・パラメータの値が、先に捕捉された撮影画像の、表示画像に対応する部分シーケンスの表示画像ピクセルに対応するピクセルの撮影画像ピクセル・パラメータの値の変動幅を示すようにする命令を含むことができる。この実施形態は、このように、撮影画像ピクセル・パラメータの値の変動に関する第１の評価が、対応する部分シーケンスを通じて、したがってまた、好ましくは、対応する捕捉時間にわたってリアルタイムで行えるという利点を有する。その場合、少なくとも１つの表示ピクセル・パラメータが、特に色またはグレースケール値を記述することができる。特に、各表示画像ピクセルに対して、例えば最小値、最大値または平均値が明度として、変動幅の値がピクセルの色として、ＨＩＳ色モデルでは例えば色調として表示できるように、少なくとも２つのピクセル・パラメータを割り当てることができる。その場合、変動幅は、例えば標準偏差として、または撮影画像の対応する部分シーケンスの撮影画像ピクセル・パラメータの最小値および最大値からの差の値として計算することができる。

表示画像のピクセルの単一または複数のピクセル・パラメータは、必ずしも、撮影画像の表示画像に対応する部分シーケンスの対応する撮影画像ピクセルのピクセル・パラメータの少なくとも１つまたは幾つかの値にだけ依存しなくてもよい。したがって、本方法の好ましい実施形態の１つでは、表示画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値を、表示画像に対応する部分シーケンスの撮影画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値の時間的経過に応じて決定することができる。そのために、画像処理装置はさらに、表示画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値が、表示画像に対応する部分シーケンスの撮影画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値の時間的経過に応じて決定されるように構成されることが好ましい。特に、コンピュータ・プログラム、それもデータ処理装置におけるコンピュータ・プログラムは、命令の実行時に表示画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値が、表示画像に対応する部分シーケンスの撮影画像の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値の時間的経過に応じて決定されるようにする命令を含むことができる。これは、捕捉された撮影画像の、撮影画像内の領域の動力学または変化速度に関する評価が、好ましくはリアルタイムで行えるという利点を有し、しかも同時に、表示画像内の結果が眼に見えるようにすることもできる。特に、例えば、少なくとも１つのピクセル・パラメータの値は、当該表示画像に対応する画像の部分シーケンス中の当該ピクセルの輝度の変動幅が所定の閾値を越えた場合に、対応するピクセルがカラーでマーキングされるように決定することができる。

別の好ましい実施形態では、表示画像内で、表示画像に対応する部分シーケンス中の撮影画像の測定時間をカラーコード化することができる。すなわち、この方法では、部分シーケンスの撮影画像の少なくとも１つのピクセルに、撮影画像の部分シーケンス内でのポジションまたは捕捉時間に対応する色をピクセル・パラメータとしてそれぞれ割り当てることができ、またピクセル・パラメータの値に応じて、撮影画像ピクセルに対応する表示画像ピクセルの色表示ピクセル・パラメータの値を決定することができる。そのために、画像処理装置はさらに、部分シーケンスの撮影画像の少なくとも１つのピクセルに、撮影画像の部分シーケンス内でのポジションまたは捕捉時間に対応する色をピクセル・パラメータとしてそれぞれ割り当てられるように、またピクセル・パラメータの値に応じて、撮影画像ピクセルに対応する表示画像ピクセルの色表示ピクセル・パラメータの値が決定されるように構成することができる。特に、コンピュータ・プログラム、それもデータ処理装置におけるコンピュータ・プログラムは、命令の実行時にプロセッサが部分シーケンスの撮影画像の少なくとも１つのピクセルに、撮影画像の部分シーケンス内でのポジションまたは捕捉時間に対応する色をピクセル・パラメータとしてそれぞれ割り当て、またピクセル・パラメータの値に応じて、撮影画像ピクセルに対応する表示画像ピクセルの色表示ピクセル・パラメータの値を決定するようにする命令を含むことができる。この実施形態は、表示画像の画像周波数が少ないにもかかわらず、ユーザが撮影画像または観察された試料の時間的経過について少なくとも１つの印象を得ることができるように、部分シーケンスの撮影画像を、好ましくはリアルタイムで評価できるという利点を有する。

ピクセルが残光を発する、本発明の１実施形態はさらなる評価可能性を提供する。その方法では表示画像の少なくとも１つのピクセルに、当該ピクセルに対応する、前の撮影画像の対応する部分シーケンスのピクセルの明度最大値をピクセル・パラメータとして割り当て、次いで所定の時間の間、明度をその値に維持し、その後所定の低下速度で減退させることができる。その場合、表示画像内のピクセル明度の実際値より実際の撮影画像内の対応するピクセルの明度の値の方が高い場合は、表示画像ピクセルの明度の値を新たに設定する。そのために、画像処理装置はさらに、表示画像の少なくとも１つのピクセルに、当該ピクセルに対応する、前の撮影画像の対応する部分シーケンスのピクセルの明度の最大値をピクセル・パラメータとして割り当て、次いで所定の時間の間、明度をその値に維持し、その後所定の低下速度で減退させ、その際に、表示画像内のピクセル明度の実際値より実際の撮影画像内における対応ピクセルの明度の値の方が高い場合は、表示画像ピクセルの明度の値を新たに設定するように構成されることが好ましい。コンピュータ・プログラム、特にデータ処理装置におけるコンピュータ・プログラムは、命令の実行時にプロセッサが表示画像の少なくとも１つのピクセルに、当該ピクセルに対応する、前の撮影画像の対応する部分シーケンスのピクセルの明度の最大値をピクセル・パラメータとして割り当て、次いでに所定の時間の間、明度をその値に維持し、その後所定の低下速度で減退させ、その際に、表示画像内のピクセル明度の実際値より実際の撮影画像内における対応ピクセルの明度の値の方が高い場合は、表示画像ピクセルの明度の値を新たに設定するようにする命令を含むことができる。特に、所定の時間は、相前後する表示画像間の少なくとも２つの時間間隔よりも長く設定することができる。この実施形態は、撮影画像中の強度の高い領域をより簡単に同定できるという利点を有する。

原則として、画像処理装置は、画像データ捕捉装置または画像撮影のための撮影装置から独立させることができる。しかし、画像データ捕捉装置と、対象物を画像データ捕捉装置上に結像させるための結像光学系と、捕捉インターフェースが画像データ捕捉装置と結合されている本発明による画像処理装置とを備える結像装置も、本発明の対象である。画像処理装置を結像装置に組み込むと、画像処理装置への迅速なデータ伝送が可能になるという利点が得られる。しかも、画像データ捕捉装置または撮影装置および画像処理装置が１つのケーシング内に配置されている、コンパクトな結像装置を実現することができる。

原則として、結像装置は任意の形状に構成することができる。しかし、結像装置は顕微鏡として、特にレーザ走査型顕微鏡として形成されることが好ましい。そのために、特に、観察される対象物を拡大して結像させるための結像光学系が形成される。

撮影画像の特に迅速で有利な捕捉は、画像データ捕捉装置が試料の少なくとも線状領域または点群を同時に捕捉する、レーザ走査型顕微鏡として形成されている結像装置であれば可能である。

以下に、例により図面に則して本発明をさらに詳細に説明する。
図１に描かれた、対象物または試料２の検査に用いられるレーザ走査型顕微鏡１の形態の、本発明の好ましい第１実施形態に基づく結像装置は、所定のビーム輪郭を有する少なくとも１単位のコリメートされた照明ビーム４を放出するための照明モジュール３と、照明ビーム４を制御下で偏向させるための偏向／走査モジュール５と、顕微鏡光学系６と、検出モジュール７とを有する。検出モジュール７は、検出光学系７’と、顕微鏡光学系６および検出光学系７’で形成される結像光学系から撮影画像データ捕捉装置７”上に結像される試料２の少なくとも部分画像を捕捉するための撮影画像データ捕捉装置７”とを含んでいる。本発明の好ましい第１実施形態に基づく画像処理装置８は、制御装置および評価装置としても用いられ、撮影画像データ捕捉装置７”およびカラーモニタの形の表示装置９と結合されている。

レーザ走査型顕微鏡１は、選択可能な様々な波長領域で試料を検査するために２チャネル形式で形成されている。
このレーザ走査型顕微鏡１では、試料２の結像は、試料が少なくとも試料２の近傍では線状の輪郭を有する照明ビーム４で走査されることによって行われる。

照明モジュール３は、試料上に線状に合焦できる照明ビーム４であって、所定のビーム輪郭を有するコリメートされた照明ビーム４を放出するのに用いられる。この光学的照射用放射は、典型的な試料の内部で蛍光を引き起こすことができる波長を有することが好ましい。照明モジュール３は、単一波長および多重波長のレーザ放射光を選択的に放出するように形成されている。そのために、照明モジュール３は２つのレーザ・ユニット９および９’を有しており、レーザ・ユニット９および９’の後位にそれぞれ光バルブ１０、１０’および減衰器１１、１１’が配置されており、それらのレーザ・ユニットの放射光はそれぞれ光バルブ１０、１０’および減衰器１１、１１’を通過し、結合装置１２、１２’を経由して光ファイバ１３、１３’に結合される。制御装置としての画像処理装置８によって制御される光バルブ１０、１０’は、それぞれ制御可能なビーム偏向器として形成されており、それらにより、それぞれのレーザ・ユニット９、９’を遮断しなくても、ビームの遮断を引き起こすことが可能である。例示的な実施形態では、光バルブ１０、１０’は、制御に応じて、それぞれのレーザ・ユニットのビームを後位の減衰器へ誘導するか、またはビームの遮断のためにそれぞれのレーザ・ユニットの放射光を図には描かれていない光トラップへと偏向させるＡＯＴＦ（Ａｃｏｕｓｔｏ Ｏｐｔｉｃａｌ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ＝音響光学波長可変フィルタ）によって実現されている。

例示的な実施形態では、レーザ・ユニット９は、それぞれが同時に動作され、それぞれが異なる波長領域のレーザビームを放出する３つのレーザ１４、１４’、１４”を有する。これらのレーザビームは光偏向素子１５、１５’、１５”、１５”’を介して重畳して唯一のレーザビームとなり、次いで、重畳したレーザビームが光バルブ１０に当たる。

それに対して、レーザ・ユニット９’は、レーザ１４、１４’、１４”の発するレーザビームの波長領域とは異なる波長領域のレーザビームを発するレーザ１６のみを有している。

光ファイバ１３、１３’から出た放射光は、コリメート光学系１７、１７’を通ってコリメートされて無限光路に入り、ビーム結合ミラー１８、１８’での偏向によって重畳されて照明用レーザビーム４となる。コリメーションはそれぞれ、コリメート光学系１７、１７’とそれぞれの光ファイバ１３、１３’の末端との距離が変更可能なことにより、制御ユニットによる制御下で光軸に沿って移動させることによって合焦機能をもたせた個別のレンズを用いて行うと有利である。

レーザ・ユニット９、９’を同時に動作させれば、光バルブの制御に応じて異なる波長または波長領域を有する、コリメートされた照明ビーム４が生成できる。
ビーム結合ミラー１８、１８’の後位には、照明レーザビームを照明光路内でその後位に配置された照明モジュールのビーム形成ユニット１９、２０、２１へと偏向させるミラーが配置されている。ビーム形成ユニット１９〜２１は、円筒テレスコープ１９、非球面光学系２０および円筒光学系２１を含んでいる。これらの光学素子は、変形後に、ビーム輪郭平面上で実質上矩形の視野を照明し、しかも、その強度分布が線状フォーカスの生成に適しているビームが得られるように選択される。視野の長軸に沿った強度分布はガウス形でなく、ボックス形であることが好ましい。そのラインは、図１では図平面と垂直に、すなわち、図平面と直交するｘ−ｙ直角座標系のｘ方向に平行に向いている。

照明モジュール３から発せられた照明ビーム４は、照明光路に沿って偏向モジュール５に入る。この偏向モジュールは、照明ビーム４を偏向させるための主カラースプリッタ２２と、ズーム光学系２３と、絞り２４と、制御用画像処理装置８と結合され、照明ビームをｘ方向と直交するｙ方向に制御下で偏向させるためのスキャナ２５と、走査光学系２６とを含んでいる。

主カラースプリッタ２２は、一方では照明ビーム４をスキャナ２５へと偏向させるために、他方では試料２から出た検出ビームをできる限り少ない損失で透過させ、かつ照明ビームから分離させる働きをする。なお、「カラースプリッタ」の概念は、スペクトル的および非スペクトル的に作用する分離器または分離システムを包含する。例示的な実施形態では、独国特許出願公開第１０２５７２３７号明細書に記載のスペクトル中立の分離ミラーとしての実施形態が使用されており、その開示内容を、特にこの点に関して本願明細書に援用する。

スキャナ２５は、照明ビームをｙ方向に、すなわち矩形ビーム輪郭の長軸方向と、つまりｘ軸と直交する方向に偏向させ、その後、ビームは走査光学系２６および顕微鏡光学系６を通って、ｘ−ｙ平面と平行に延びる試料２の層内の線状焦点２９に集束する。この層は、図１には示されていない試料テーブルをｘおよびｙ方向と直交するｚ方向に移動させることによって選択可能であり、そのテーブルは、制御装置としての画像処理装置によって制御される、同じく図示されていない駆動装置によって移動させることができる。スキャナ２５は、照明ビームの移動のために、画像処理装置８によって制御される少なくとも１つの走査駆動装置と、走査駆動装置によってｘ軸に平行な回転軸の周りを旋回または転向可能なミラーとを有する。

顕微鏡光学系６は、周知のように、鏡筒レンズ３０および対物レンズ３１を有する。
焦点２９の領域から出た検出放射光、例えば照明用放射によって励起された蛍光放射光は、顕微鏡光学系６の対物レンズ３１および鏡筒レンズ３０ならびに走査光学系２６を通ってスキャナ２５に戻り、後退方向、つまり検出放射光の方向でスキャナ２５以降は再び定常な検出ビームになる。したがって、この現象は、スキャナ２５が検出ビームを「デスキャン」するとも言われる。

主カラースプリッタ２２は、照明ビームと異なる波長領域にある検出ビームは通過させるので、これは検出モジュールに入ることができ、そこで検出される。
検出モジュールは、例示的な実施形態では２チャネル方式で構成されている。検出光学系７’は、検出光路内に配置され、そこに入射した検出放射光を異なる波長領域の２つの部分検出光束、つまり２つのスペクトル・チャネルに分割する副カラースプリッタ３２と、副カラースプリッタ３２によって形成された２つの部分検出光束がそこに結合される、分光特性以外は同じ構成の２つのアームとを含んでいる。したがって、一方のアームの構成についてだけ説明するが、もう一方はそれに準じたものとなる。図１の表示では、対応する構成部品は同じ番号にダッシュ符号をつけてある。

それぞれのアームには、光路に沿って、検出光学系の各部品として第１球面光学系３３、第１円筒テレスコープ３４、互いに直交し、光路とも直交する２つの軸の周りを旋回できる平行平面板３５、細いスリット絞り３６、ブロック・フィルタ３７、第２円筒テレスコープ３８、ならびに最後に撮影画像捕捉装置７の部品としてＣＣＤライン検出器３９が配置されている。

球面光学系３３は、試料２の焦点領域をＣＣＤライン検出器３９上に結像させる働きをする。
スリット絞り３６は、試料２の線状焦点領域を適切に調整した場合に絞り開口に結像され、その結果、１方向に延びる検出放射光のビーム輪郭の長軸方向に直交する方向、すなわち焦点２９の方向に相当する方向に共焦点の結像が得られ、それと直交する方向では正常な結像が得られるように配置された線状の絞り開口を有する。そのために、両方の円筒テレスコープ３４および３８も用いられ、その円筒レンズが、適切に配置されている。

スリット絞り３６の絞り開口の幅によって、周知のとおり、検出ビームが検出できる焦点深度が決まり、したがって、それから検出される検出照射から試料２内の層厚も決まる。

平行平面板３５は、平面板３５を傾倒させることにより、検出光束をスリット絞り３６の開口上で光路と直交する２つの方向で調整する働きをする。特に、この平面板によってライン検出器３９、３９’上の焦点領域における画像の位置が調整でき、したがって同じ領域を対応する検出素子上に結像させることができる。

スリット絞り３６の後位には、さらにオプションのブロック・フィルタ３７が配置されており、これは検出モジュール７に到来した望ましくない照明放射光を遮断する。
特定の深度区間に端を発し、このように分離され、扇状に列を成して広がった放射光は、次いで、ライン検出器３９によって捕捉され、その信号が画像データ捕捉装置８によって捕捉される。

照明モジュール３は、非球面ユニット２０と共に、鏡筒レンズと対物レンズの間でひとみを均一に充填する働きをする。それにより、対物レンズの光学分解能を完全に利用し尽くすことができる。

ライン検出器３９、例えばＣＣＤライン検出器は、検出放射光用のＮ個（Ｎは１より大きな整数）の検出素子４５の列を有する。この列は、スリット絞り３６のスリット状開口の長軸方向と平行に配列されている。焦点２９はその長軸方向に沿ってライン検出器３９上に結像するので、試料２の焦点２９の領域における、焦点２９の長軸方向に沿って並列する区間からの強度がライン検出器３９の対応する検出素子４５上に平行に反映され、したがって、このｘ方向に、焦点２９、より詳しくは焦点２９における試料２の対応する領域のドット分解結像が行われる。ライン検出器３９は、検出素子４５によって局所分解方式で捕捉された強度に対応する画像データ捕捉信号を発信する。

撮影画像データ捕捉装置７”およびその中の特にライン検出器３９、３９’は、信号結線を介して、制御装置および評価装置としても働く画像処理装置８と結合されており、この画像処理装置は、一方では偏向モジュール５を制御し、他方では撮影画像データ捕捉装置７”の信号を、より詳しくはライン検出器３９、３９’の画像データ捕捉信号を、信号結線を介して画像処理装置８と結合された表示装置９、例えばカラーモニタの画面上で表示画像を生成しながら、評価する働きをする。

データ処理装置として形成されている画像処理装置８は、撮影画像データ捕捉装置７”、詳しくはそのライン検出器３９、３９’に対する捕捉インターフェース４６と、表示装置９と結合されたグラフィック・インターフェース４７と、データおよびコンピュータ・プログラムの命令が格納されている記憶装置４８と、インターフェース４６、４７と結合されており、命令の実行時に下記の方法を実施するマイクロプロセッサ４９とを有する。マイクロプロセッサの代わりに、デジタル信号プロセッサを、またはプロセッサの組合せを使用することもできる。

その他に、画像処理装置８には、スキャナ２５を制御するため、およびライン検出器３９、３９’の画像捕捉をスキャナ２５の位置設定と同期させるための装置も設けられるが、これらは部分的にはマイクロプロセッサ４９によって実現でき、さらに、図１には示されていない当業者には公知の構成部品を含むこともできる。

試料２内の層の撮影画像の層厚が、絞りのスリット開口の幅および結像光学系６の特性によって与えられるが、その層の撮影画像は、矩形に配置された画像要素、すなわちピクセル４０によって生成される。その際に、ピクセルの特性は、両方のライン検出器が評価される限り、ライン検出器３９および３９’の、試料の同じ箇所に相当する検出素子４５、４５’の撮影画像データから得られるが、そうでない場合は、ライン検出器３９または３９’の一方の検出器素子４５または４５’のみの撮影画像データから得られる。試料２の同じ箇所に相当する検出器素子は、以下では相互に対応するものとして扱う。撮影画像のシーケンスの幾つかの撮影画像４１が図２に示されている。図２では見やくするために、ピクセル数は実際の数よりも減らしてある。それぞれの撮影画像４１の各ピクセルには、ピクセルの位置以外に、撮影画像の諸特性を示すピクセル・パラメータとして、明度、すなわち、検出放射光の強度またはエネルギーの値を表す量が割り当てられている。表示画像４２も同様に、画像要素、すなわちピクセル４３の矩形配置によって生成され、例示的な実施形態ではその数および配置が撮影画像のそれらと一致しているが、このことは一般には必ずしも要求されない。

撮影画像の捕捉は次のようにして行われる。照明モジュール３から発せられた照明ビーム４が偏向モジュール５によってｙ方向に転向され、試料２の層内で線状焦点２９に合焦される。焦点２９から出た検出放射光５０は、結像光学系、すなわち顕微鏡光学系６および検出光学系７’を通って撮影画像データ捕捉装置７”上に、より詳しくはそのライン検出器３９および３９’上にラインを横切る方向に共焦点結像する。

そこで形成されたライン検出器３９および３９’の検出信号が撮影画像データとして画像処理装置８に伝送され、それぞれ画像処理装置８で読み出される。
ライン検出器３９および３９’の信号は、所定の時間シーケンスでインターフェース４６を介して捕捉され、画像処理装置８の記憶装置４８に記憶される。この信号は、ライン検出器３９および３９’の各検出素子４５および検出素子４５’ごとに、それぞれ検出素子４５および４５’によって捕捉されたエネルギー、つまり検出放射光の強度を示す。各検出素子４５およびそれに対応する各検出素子４５’に、それぞれの撮影画像におけるラインの対応するピクセルが割り当てられるが、その際、捕捉された強度またはエネルギーの値がピクセルの撮影画像ピクセル・パラメータに割り付けられる。

焦点２９を図１の上方位置から図１の下方位置へ移動させると、ピクセルのライン、より詳しくは、撮影画像ピクセルのピクセル・パラメータの値のシーケンスが捕捉され、それらが互に上下に配列されて試料の撮影画像をもたらす。これは、ピクセルが指標ｉ、ｊ付きで表示された図２に図解されている。この場合、指数ｊ＝０，．．．，Ｎ−１は、焦点２９の位置がｉのとき、すなわち、その対応する時間に撮影された、ラインｉに沿ったピクセルのポジションを表している。ポジションｊは、ライン検出器３９における対応する検出素子４５のポジションに相当する。撮影画像のライン数Ｍは、偏向／走査モジュール５の制御によって与えられ、それは画像のｙ方向における選択された高さによって決まる。

その際に、撮影画像の捕捉は一定の時間間隔で行われるので、時間的に連続する撮影画像Ｅ_ｎのシーケンスが得られ記憶される。ただし、ｎはシーケンス中における撮影画像の順序数である。撮影画像が捕捉される周波数は、この例では、撮影画像のリアルタイム表示が可能な場合でも、人間の眼では、表示装置９上に順次表示される撮影画像間の区別ができないほど高い。

記憶装置４８、詳しくは、記憶装置４８の不揮発性部品に、コンピュータ・プログラムの命令が格納されている。あるいは、プログラムを、図には示されていない、マイクロプロセッサ４９と結合されたＣＤドライブを介して読み込むことができるＣＤなどのデータ媒体に格納することもできよう。マイクロプロセッサ４９は、命令の実行時に次の方法を実施する。

画像処理装置８、すなわち、マイクロプロセッサ４９は、時間的に連続する撮影画像のシーケンス、すなわち、より詳しくは、捕捉された撮影画像を示すピクセルの時間的に連続するピクセル・パラメータのシーケンスの値を捕捉インターフェース４６を介してリアルタイムで捕捉し、それを記憶装置４８に中間記憶する。例示的な実施形態では、撮影画像は固定した所定の周波数で捕捉する。

マイクロプロセッサ４９は、直接に相前後して捕捉されるＫ個（Ｋは所定の、０より大きな自然数）の撮影画像４１、すなわち、対応するピクセル・パラメータの値からなる部分シーケンスから、部分シーケンスの最後の撮影画像が捕捉された直後に、その部分シーケンスに対応する表示画像４２を決定し、それが即座に表示される。撮影画像の次の部分シーケンスが捕捉され、この部分シーケンスから次の表示画像が決定される。したがって、時間Ｔにわたって捕捉された撮影画像のシーケンスから同じ時間にわたる表示画像のシーケンスが生成されるが、表示画像は撮影画像シーケンスより少ない画像を含む。

表示画像４２も同様にピクセル４３によって生成される。例示的な実施形態では、表示画像４２のピクセルの数および配置は撮影画像４１のピクセルの数および配置に相当するので、撮影画像と表示画像内の同じ位置に配置されたピクセル間で１：１の対応関係が存在する（図２の矢印参照）。別の例示的な実施形態では、表示画像が分解の減退した状態にあり、撮影画像より少しのピクセルしか含まず、したがって表示画像の１ピクセルに撮影画像の複数ピクセルを割り当てられることも考えられる。

対の値（ｉ，ｊ）が撮影画像および表示画像におけるピクセルの位置、ｔ_ｋ（ｋ＝１，．．．，ｋ）がそれぞれの部分シーケンスにおける撮影画像の捕捉時点、つまり順序数、τ_ｔが部分シーケンスに対応する表示画像の表示画像シーケンスにおける時点または順序数、またｅ（ｉ，ｊ，ｔ_ｋ）およびｄ（ｉ，ｊ，τ_ｔ）がそれぞれ撮影画像および表示画像におけるピクセルの対応するピクセル・パラメータを表すとすると、一般にｄ（ｉ，ｊ，τ_ｔ）は、時間τ_ｔに対応する撮影画像の部分シーケンスのピクセルの少なくともピクセル・パラメータの関数Ｆである。

ｄ（ｉ，ｊ，τ_ｔ）＝Ｆ（ｅ（ｉ，ｊ，ｔ_１），．．．，ｅ（ｉ，ｊ，ｔ_ｋ））
数値Ｋは、例えば、表示画像が、表示装置９上での表示として人間の眼で知覚できる周波数で、例えば３０Ｈｚ未満の周波数で生成されるように選択することができる。

次に、プロセッサ４９が、決定された表示画像をグラフィック・インターフェース４７を介して表示装置９に出力し、表示装置９で表示画像が表示される。
この第１の例示的な実施形態では、ピクセル・パラメータｄ（ｉ，ｊ，τ_ｔ）は、モノクローム表示画像のピクセルのグレー値である。撮影画像の対応する部分シーケンスの場合、部分シーケンスに対して、撮影画像の対応するピクセルのピクセル・パラメータの最大値に依存する、例えば、比例する下記の値が割り当てられる。

ｄ（ｉ，ｊ，τ_ｔ）＝Ｆ_１（ｅ（ｉ，ｊ，ｔ_１），．．．，ｅ（ｉ，ｊ，ｔ_ｋ））＝ＭＡＸ（ｅ（ｉ，ｊ，ｔ_１），．．．，ｅ（ｉ，ｊ，ｔ_ｋ））
この場合、時間τ_ｔは、オンライン観察が可能なように、時間ｔ_１〜ｔ_ｋで捕捉される部分シーケンスの直後に続く撮影画像の部分シーケンスの捕捉時間の範囲内にあることが好ましい。撮影画像は固定した所定の周波数で捕捉されるので、表示画像も固定した周波数で、すなわち、撮影画像データ捕捉周波数の１／Ｋに減らした周波数で決定される。

本発明の第２および第３の好ましい実施形態は、第１の例示的な実施形態とは、コンピュータ・プログラムが、部分シーケンスの最大値の代わりに、部分シーケンスにわたる撮影画像ピクセル・パラメータの最小値、
ｄ（ｉ，ｊ，τ_ｔ）＝Ｆ_２（ｅ（ｉ，ｊ，ｔ_１），．．．，ｅ（ｉ，ｊ，ｔ_ｋ））＝ＭＩＮ（ｅ（ｉ，ｊ，ｔ_１），．．．，ｅ（ｉ，ｊ，ｔ_ｋ））
または部分シーケンスに関する平均値

が表示画像におけるピクセルのピクセル・パラメータの値として使用されるように変更されている点で異なっている。

本発明の好ましい第４の実施形態は、第１の例示的な実施形態とは、コンピュータ・プログラムが、部分シーケンスの最大値の代わりに、ここでは標準偏差で与えられる、撮影画像ピクセルのピクセル・パラメータの値の正規化された変動幅

が使用されるように変更されている点で異なっている。

したがって、得られる表示画像は、相前後する２つの表示画像間の時間スパンの中で、あるいは撮影画像の部分シーケンス中で、試料層のどの領域が最大の輝度変化を示したかを、観察者に容易に認識させるものである。撮影画像の直接的観察では、非常に迅速に進行するこの経過に関する情報を観察者は容易には認識できないであろう。

あるいは、変動幅の尺度として、部分シーケンスにわたるピクセル・パラメータの最大値と最小値の差を使用することもできる。
本発明の好ましい第５の実施形態は、第１の例示的な実施形態とは、表示画像のピクセルに１つだけのピクセル・パラメータではなく、カラー・コーディングを含む３つのピクセル・パラメータが割り当てられる点で異なっている。例えばＲＧＢまたはＨＳＩカラーモデルが使用でき、しかもＲＧＢのパラメータの値はＨＳＩのパラメータの値に換算することもできる。上記その他の使用可能なカラーモデルおよび各種モデル間での対応するピクセル・パラメータの換算については、例えばハーベレッカー、ペーター（Ｈａｂｅｒａｃｋｅｒ，Ｐｅｔｅｒ）の著書「Ｐｒａｘｉｓ ｄｅｒ ｄｉｇｉｔａｌｅｎ Ｂｉｌｄｖｅｒａｒｂｅｉｔｕｎｇ ｕｎｄ Ｍｕｓｔｅｒｅｒｋｅｎｎｕｎｇ」、ミュンヘン、ハンサー社（Ｈａｎｓｅｒ）、１９９５年、ＩＳＢＮコード３−４４６−１５５１７−１、４６〜５７頁に記載されており、それに関する内容を本願明細書に援用する。表示を簡略にするために、以下ではＨＳＩモデルを使用する。ピクセル・パラメータｄ_Ｈ（ｉ，ｊ，τ_ｔ）、ｄ_Ｓ（ｉ，ｊ，τ_ｔ）およびｄ_Ｉ（ｉ，ｊ，τ_ｔ）は、周知のように、ポジションｉ、ｊおよび時間τ_ｔにおけるピクセルの色調（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）および輝度を示す。コンピュータ・プログラムは、下記の方法によって表示画像のピクセル・パラメータを決定するために、第１の例示的な実施形態のコンピュータ・プログラムに比べて変更された命令を含んでいる。第１の例示的な実施形態のその他の部分は、変更されないままである。

ピクセル・パラメータの空間次元を高めることによって、撮影画像について少なくとも２つの異なる評価を同時に行うことができ、それを表示画像として表示することができる。

彩度、すなわちピクセル・パラメータｄ_Ｓの値は、例示的な実施形態では表示画像のすべてのピクセルについて１乃至１００％に設定されているので、最高の彩度を有する色が表示される。

輝度、すなわちピクセル・パラメータｄ_Ｉの値は、第１の例示的な実施形態の場合と同様に決定される。
色調（ｈｕｅ）、すなわちピクセル・パラメータｄ_Ｈの値は、第４の例示的な実施形態の場合と同様に決定される。その場合、決定された変動幅は、ＨＳＩ色モデルで用意された色調値の範囲に納まるように線形に変換される。表示の精細度は比例定数の選択によって変えることができる。

このようにして、撮影画像を同時に２つの局部画像特性、あるいはピクセル特性について評価することができ、リアルタイム観察のために表示装置９に表示することができる。
第５の例示的な実施形態の変形形態では、ピクセル・パラメータｄ_Ｉの値が、第２または第３の例示的な実施形態と同様に求められる。

その他に、さらなる変形形態では、ピクセル・パラメータの値にあてがわれるｄ_Ｉ、ｄ_Ｈの符号を取り換えて、ｄ_Ｉが変動幅、ｄ_Ｈが撮影画像の部分シーケンスの当該ピクセルの輝度またはグレー値の最大値を表すようにすることができる。

本発明の好ましい第６の実施形態は、第５の例示的な実施形態とは、実際の状態を直ぐ前に現れた状態と比べて識別可能なように表示するために、色を示す少なくとも１つのピクセル・パラメータ、例えば色調（ｈｕｅ）ｄ_Ｈが使用される点で異なっている。

そのために、撮影画像の各ピクセルに、ピクセル・パラメータｅの他に、色、すなわち色調を示す少なくとも１つの別のピクセル・パラメータｅ_Ｆが割り当てられる。撮影画像の全ピクセルにあてがわれるピクセル・パラメータｅ_Ｆには、輝度に関係なく、捕捉時間または部分シーケンスにおけるポジションに応じて、色、すなわち色調を示す値が割り当てられる。したがって、各捕捉時間に、それぞれ別の色、すなわち色調が割り当てられる。それ故、それぞれの撮影画像のピクセルは、同じ色ｅ_Ｆであっても、捕捉時間に応じて異なる明度ｅを有している。例えばＫ個の撮影画像から成る部分シーケンスの撮影画像ｋの色は、次式

から求めることができる。

ただし、ｅ_Ｆｍａｘおよびｅ_Ｆｍｉｎは、使用されるＨＳＩカラーモデルでの色調パラメータの可能な値の範囲の上限値および下限値である。
表示画像を求めるために、表示画像に対応するフォイルなど部分シーケンスの全撮影画像を層状に重ね合わせる。層を透して見ると表示画像が得られる。

これは、例えば次の方法で行うことができる。表示画像の決定に使用されるそれぞれの部分シーケンスの撮影画像の各ピクセルに、ＨＳＩモデルの色および明度の他に、所定の彩度を、例えば１乃至１００％として割り当てる。

次に、ＨＳＩモデルにおける部分シーケンスの撮影画像のピクセルｉ、ｊのピクセル・パラメータを、ＲＧＢカラーモデルのレッド、グリーンおよびブルーに対する対応するピクセル・パラメータｅ_Ｒ（ｉ，ｊ，ｔ_ｋ）、ｅ_Ｇ（ｉ，ｊ，ｔ_ｋ）、ｅ_Ｂ（ｉ，ｊ，ｔ_ｋ）に換算する。それには、例えば上記の文献から公知の変換式を使用することができる。

表示画像のピクセルｉ、ｊにはＲＧＢモデルの色、レッド、グリーンおよびブルーに相当する対応するピクセル・パラメータｄ_Ｒ（ｉ，ｊ，τ_ｔ）、ｄ_Ｇ（ｉ，ｊ，τ_ｔ）、ｄ_Ｂ（ｉ，ｊ，τ_ｔ）が割り当てられる。ピクセル・パラメータの値は次式から得られる。

次のステップで、表示画像のすべてのピクセルのピクセル・パラメータｄ_Ｒ（ｉ，ｊ，τ_ｔ）、ｄ_Ｇ（ｉ，ｊ，τ_ｔ）、ｄ_Ｂ（ｉ，ｊ，τ_ｔ）のうちで最大値ｄ_Ｍが決定される。

続いて次のステップで、表示画像のすべてのピクセルｉ、ｊのピクセル・パラメータｄ_Ｒ（ｉ，ｊ，τ_ｔ）、ｄ_Ｇ（ｉ，ｊ，τ_ｔ）、ｄ_Ｂ（ｉ，ｊ，τ_ｔ）の最大値が２５５になるように、すべてのピクセル・パラメータｄ_Ｒ（ｉ，ｊ，τ_ｔ）、ｄ_Ｇ（ｉ，ｊ，τ_ｔ）、ｄ_Ｂ（ｉ，ｊ，τ_ｔ）に係数２５５／ｄ_Ｍを乗算して正規化される。

表示画像のピクセル・パラメータは、そのようにしてＲＧＢモデルで再処理または表示することができる。しかしまた、これらをまずＨＳＩモデルに換算し直すことも可能である。

表示画像がＨＳＩモデルで生成される別の変形形態では、表示画像のピクセルのピクセル・パラメータｄ_Ｓおよびｄ_Ｉには、第５の例示的な実施形態またはその変形形態と同じ値が、すなわち、例えばピクセル（ｉ，ｊ）ｄ_Ｓに対しては１００％乃至１％が、ｄ_Ｉに対してはそれぞれの部分シーケンスｋ＝１，．．．，Ｋにわたるｅ（ｉ，ｊ，ｔ_ｋ）の最大値を表す値が割り当てられる。

それに対して、ピクセル（ｉ，ｊ）に対するピクセル・パラメータｄ_Ｈは、その値として、部分シーケンスの撮影画像の対応するピクセル（ｉ，ｊ）のピクセル・パラメータｅ_Ｆの値の重み付け平均値を有している。その際、重み付けは、それぞれの撮影画像の部分シーケンスにおける位置に応じて行われる。この例では、重みは、最後の、すなわち最新の撮影画像からの時間的間隔が増大するに従って低減する。ピクセル・パラメータの決定には、例えば次式を使用することができる。

ただし、

式中ｅ_Ｆｍａｘおよびｅ_Ｆｍｉｎは、使用されるＨＳＩカラーモデルにおいて色調パラメータの可能な数値範囲の最大値および最小値を表す。

第７の例示的な実施形態は、第１の例示的な実施形態とは、表示画像のピクセル・パラメータｄの値が別の方法で決定される点で異なっている。コンピュータ・プログラムはそれに対応して変更されている。その他の点に関しては、第１例示的な実施形態に対する説明がここでも準用できる。

検査時の時間的に最初の表示画像の各ピクセルのピクセル・パラメータには、第１の例示的な実施形態と同様に１つの値が割り当てられる。
しかし、後続の表示画像に対する値は別の方法で決定される。

ピクセルの設定値は、所定の時間スパンΔの間、一定に維持され、その後、所定の速度でゼロの値まで低下する。その速度は、ゼロへの低下が複数の表示画像の出現後に初めて行えるように選択される。しかし、撮影画像の実際の部分シーケンスにおいて、ピクセル（ｉ，ｊ）に対するピクセル・パラメータの値が、表示画像のピクセルのピクセル・パラメータｄ（ｉ，ｊ）の実際値を上回れば、直ちに、ピクセル・パラメータｄ（ｉ，ｊ）に対して、撮影画像のピクセル・パラメータｅ（ｉ，ｊ）の、新しいより大きな実際値が割り当てられる。

この値は、撮影画像のピクセルのピクセル・パラメータの実際値が表示画像のピクセルのピクセル・パラメータの実際値を上回るまで、所定の時間スパンの間、再び一定に維持され、または減じられる。

これが、高い輝度を有するピクセルの残光をもたらすことになり、観察者はそれが極く短時間現れただけでも画面上に高い輝度を容易に認めることができる。
別の例示的な実施形態では、カラースプリッタとして均一型のニュートラル分離器（例えば分離率５０／５０、７０／３０、８０／２０など）またはダイクロイック・スプリッタを使用することができる。用途に応じて選択が可能なように、主カラースプリッタが、例えば、取換可能な個々のスプリッタを含む適切な分離ダイヤルによって、簡単な交換を可能にする機構を備えていることが好ましい。

別の実施形態では、撮影画像を捕捉するために、例えば独国特許出願公開１９７０２７５３号明細書に記載されているようなドット走査によるレーザ走査型顕微鏡を使用しており、少なくともその点に関して同文献の内容を本願明細書に援用する。

さらに別の例示的な実施形態では、表示画像を生成するために、表示画像はそれぞれ、表示画像を決定する前に、所定の時間内、好ましくは１秒以内の間に捕捉された、撮影画像シーケンスの撮影画像を含む部分シーケンスから決定される。

レーザ走査型顕微鏡の概略図。 図１の顕微鏡によって捕捉された撮影画像シーケンスの一部分および対応する表示画像の概略図。

Claims (13)

1. 時間的に連続する撮影画像（４１）のシーケンスを捕捉し、該撮影画像シーケンスから時間的に連続する表示画像（４２）のシーケンスを決定する、表示画像（４２）を生成するための方法であって、該表示画像シーケンスのそれぞれの表示画像が、該撮影画像シーケンスのうちの少なくとも２つの既に捕捉された撮影画像（４１）からなる部分シーケンスから生成され、該部分シーケンスが該表示画像と対応しており、
   前記撮影画像および前記表示画像（４１、４２）がピクセル（４０、４３）の配置によって形成され、少なくとも１つの表示画像（４２）を決定するために、前記表示画像（４２）における少なくとも１つのピクセル（４３）の少なくとも１つのピクセル・パラメータの値が、前記表示画像に対応する既に捕捉された撮影画像（４１）の部分シーケンス中の、前記それぞれの表示画像（４２）のピクセル（４３）に対応する少なくとも１つの撮影画像ピクセルのピクセル・パラメータの値から決定され、
   前記撮影画像ピクセル・パラメータが前記撮影画像ピクセルの輝度、グレースケール値または明度を示し、前記それぞれの表示画像（４２）のピクセル（４３）の少なくとも１つのピクセル・パラメータが、既に捕捉された撮影画像（４１）の対応する部分シーケンスの前記表示画像ピクセル（４３）に対応するピクセル（４０）の撮影画像ピクセル・パラメータの値の変動幅を示す、方法。
2. 前記表示画像（４２）の少なくとも１つのピクセル（４３）の少なくとも１つのピクセル・パラメータの値が、前記表示画像に対応する部分シーケンスの撮影画像（４１）の少なくとも１つのピクセル（４０）の少なくとも１つのピクセル・パラメータの値の時間的経過に応じて決定される、請求項１に記載の方法。
3. 部分シーケンスの前記撮影画像（４１）の少なくとも１つのピクセル（４０）に、前記撮影画像（４１）の該部分シーケンス内でのポジションまたは捕捉時間に対応する色がそれぞれピクセル・パラメータとして割り当てられ、前記ピクセル・パラメータの値に応じて、前記撮影画像ピクセル（４０）に対応する表示画像ピクセル（４３）の色表示ピクセル・パラメータの値が決定される、請求項１に記載の方法。
4. 時間的に連続する撮影画像（４１）のシーケンスを捕捉し、該撮影画像シーケンスから時間的に連続する表示画像（４２）のシーケンスを決定する、表示画像（４２）を生成するための方法であって、該表示画像シーケンスのそれぞれの表示画像が、該撮影画像シーケンスのうちの少なくとも２つの既に捕捉された撮影画像（４１）からなる部分シーケンスから生成され、該部分シーケンスが該表示画像と対応しており、
   前記撮影画像および前記表示画像（４１、４２）がピクセル（４０、４３）の配置によって形成され、少なくとも１つの表示画像（４２）を決定するために、前記表示画像（４２）における少なくとも１つのピクセル（４３）の少なくとも１つのピクセル・パラメータの値が、前記表示画像に対応する既に捕捉された撮影画像（４１）の部分シーケンス中の、前記それぞれの表示画像（４２）のピクセル（４３）に対応する少なくとも１つの撮影画像ピクセルのピクセル・パラメータの値から決定され、
   表示画像（４２）の少なくとも１つのピクセル（４３）に、該ピクセル（４３）に対応する、前の撮影画像（４１）の対応する部分シーケンスのピクセル（４０）の明度最大値がピクセル・パラメータとして割り当てられ、次いで、所定の時間の間、明度がその最大値に維持され、その後、所定の低下速度で減退され、その際に、前記表示画像（４２）内のピクセル明度の実際値より実際の撮影画像（４１）内における対応ピクセル（４０）の明度の値の方が高い場合は、表示画像（４２）のピクセル（４３）の明度の値が新たに設定される、方法。
5. 撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェース（４６）と、表示装置（９）用のグラフィック・インターフェース（４７）とを備えた画像処理装置であって、該捕捉インターフェース（４６）および該捕捉インターフェース（４６）と結合された画像データ捕捉装置（７）を介して、時間的に連続する撮影画像（４１）のシーケンスが捕捉できるように構成され、かつ該撮影画像シーケンスから時間的に連続する表示画像（４２）のシーケンスが生成できるように構成されており、該表示画像シーケンスのそれぞれ１つの表示画像（４２）が、該撮影画像シーケンスのうちの少なくとも２つの既に捕捉された撮影画像（４１）の部分シーケンスから生成され、該部分シーケンスが該表示画像（４２）のシーケンスの表示画像と対応しており、該表示画像（４２）が該グラフィック・インターフェース（４７）を介して該表示装置（９）に出力可能であり、
   前記撮影画像および前記表示画像（４１、４２）がピクセル（４０、４３）の配置によって形成され、少なくとも１つの表示画像（４２）を決定するために、前記表示画像（４２）の少なくとも１つのピクセル（４３）の少なくとも１つのピクセル・パラメータの値が、前記表示画像（４２）に対応する既に捕捉された撮影画像（４１）の部分シーケンス中の、前記それぞれの表示画像（４２）のピクセル（４３）に対応する少なくとも１つの撮影画像ピクセル（４０）のピクセル・パラメータの値から決定されるように構成され、
   前記撮影画像ピクセル・パラメータが前記撮影画像ピクセルの輝度、グレースケール値または明度を示すように、かつ前記それぞれの表示画像（４２）のピクセル（４３）の少なくとも１つのピクセル・パラメータが、既に捕捉された撮影画像（４１）の対応する部分シーケンスの前記表示画像ピクセル（４３）に対応するピクセル（４０）の撮影画像ピクセル・パラメータの値の変動幅を示すように構成されている、画像処理装置。
6. 前記表示画像（４２）の少なくとも１つのピクセルの少なくとも１つのピクセル・パラメータの値が、前記表示画像（４２）に対応する部分シーケンスの撮影画像（４１）の少なくとも１つのピクセル（４０）の少なくとも１つのピクセル・パラメータの値の時間的経過に応じて決定されるように構成されている、請求項５に記載の画像処理装置。
7. 部分シーケンスの前記撮影画像（４１）の少なくとも１つのピクセル（４０）に、前記撮影画像（４１）の部分シーケンス内でのポジションまたは捕捉時間に対応する色がそれぞれピクセル・パラメータとして割り当てられ、前記ピクセル・パラメータの値に応じて、前記撮影画像ピクセル（４０）に対応する表示画像ピクセル（４３）の少なくとも１つの色表示ピクセル・パラメータの値が決定されるように構成されている、請求項５に記載の画像処理装置。
8. 撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェース（４６）と、表示装置（９）用のグラフィック・インターフェース（４７）とを備えた画像処理装置であって、該捕捉インターフェース（４６）および該捕捉インターフェース（４６）と結合された画像データ捕捉装置（７）を介して、時間的に連続する撮影画像（４１）のシーケンスが捕捉できるように構成され、かつ該撮影画像シーケンスから時間的に連続する表示画像（４２）のシーケンスが生成できるように構成されており、該表示画像シーケンスのそれぞれ１つの表示画像（４２）が、該撮影画像シーケンスのうちの少なくとも２つの既に捕捉された撮影画像（４１）の部分シーケンスから生成され、該部分シーケンスが該表示画像（４２）のシーケンスの表示画像と対応しており、該表示画像（４２）が該グラフィック・インターフェース（４７）を介して該表示装置（９）に出力可能であり、
   前記撮影画像および前記表示画像（４１、４２）がピクセル（４０、４３）の配置によって形成され、少なくとも１つの表示画像（４２）を決定するために、前記表示画像（４２）の少なくとも１つのピクセル（４３）の少なくとも１つのピクセル・パラメータの値が、前記表示画像（４２）に対応する既に捕捉された撮影画像（４１）の部分シーケンス中の、前記それぞれの表示画像（４２）のピクセル（４３）に対応する少なくとも１つの撮影画像ピクセル（４０）のピクセル・パラメータの値から決定されるように構成され、
   表示画像（４２）の少なくとも１つのピクセル（４３）に、該ピクセル（４３）に対応する、前の撮影画像（４１）の対応する部分シーケンスのピクセル（４０）の明度最大値がピクセル・パラメータとして割り当てられ、次いで、所定の時間の間、明度がその最大値に維持され、その後、所定の低下速度で減退され、その際に、前記表示画像（４２）内のピクセル（４３）明度の実際値より実際の撮影画像（４１）内における対応ピクセル（４０）の明度の値の方が高い場合は、表示画像（４２）のピクセル（４３）の明度の値が新たに設定されるように構成されている、画像処理装置。
9. 画像データ捕捉装置（７）と、対象物を該画像データ捕捉装置（７）上に結像させるための結像光学系と、請求項５乃至８のいずれか１項に記載の画像処理装置（８）とを備え、前記捕捉インターフェース（４６）が該画像データ捕捉装置（７）と結合されている結像装置。
10. 顕微鏡、特にレーザ走査型顕微鏡（１）として構成されている、請求項９に記載の結像装置。
11. レーザ走査型顕微鏡として構成されており、前記画像データ捕捉装置（７）が同時に試料（２）の少なくとも線状の領域または点群を捕捉する請求項１０に記載の結像装置。
12. 撮影画像データまたは撮影画像信号を捕捉するための捕捉インターフェース（４６）と、表示装置（９）用のグラフィック・インターフェース（４７）と、データおよびコンピュータ・プログラムが格納される記憶装置（４８）と、該インターフェース（４６、４７）または該記憶装置と結合されている少なくとも１つのプロセッサ（４９）とを備えるデータ処理装置用のコンピュータ・プログラムであって、命令の実行時に該プロセッサ（４９）が請求項１乃至４のいずれか１項に記載の方法を実施し、生成された表示画像（４２）が該グラフィック・インターフェース（４７）を介して該表示装置（９）に出力されるようにする命令を含む、コンピュータ・プログラム。
13. 請求項１２に記載のコンピュータ・プログラムが格納されている記憶媒体。

Images