JP2005275199A - ３次元共焦点顕微鏡システム - Google Patents

Abstract

【課題】 試料の深さによる画像の明るさの変化を補正し、深さ方向に対しても像の明るさを均一にする３次元共焦点顕微鏡システムを実現する。
【解決手段】 共焦点スキャナから出力された試料のスライス画像の撮像データに基づいて画像処理を行い前記試料の３次元画像を得る３次元共焦点顕微鏡システムであって、
前記試料の深さに基づき前記スライス画像の明るさを補正する補正手段を有する構成とする。
【選択図】 図１

Description

本発明は、３次元共焦点顕微鏡システムに関し、詳しくは、共焦点画像における試料の深さ方向の明るさの補正を行い、正確な明るさで試料の３次元観察を行うための改良に関するものである。

共焦点顕微鏡は、試料を薄切片にすることなくスライス画像が得られ、そのスライス画像から試料の正確な３次元立体像を構築できるので、生物やバイオテクノロジーなどの分野における生きた細胞の生理反応観察や形態観察あるいは半導体市場におけるＬＳＩの表面観察などに使用されている（例えば、特許文献１参照）。

特開２００２−７２１０２号公報

図４は特許文献１に記載の共焦点顕微鏡の構成図である。ビデオカメラ１、共焦点スキャナ２、顕微鏡３、アクチュエータ４および対物レンズ５は、同じ光軸上に配置されている。共焦点スキャナ２は、多数のピンホールを持つニポウディスクと、それに対応するマイクロレンズアレイを有するもので、シンプルな光学系から成るニポウディスク方式を採用したコンパクトなアドオンタイプである。

この共焦点スキャナ２は顕微鏡３のカメラポートに取り付けられる。共焦点顕微鏡は、レーザ光を使用して、対物レンズ５、アクチュエータ４および顕微鏡３を経由して、試料の像を共焦点スキャナ２に入力する。共焦点スキャナ２は、試料の共焦点画像を得て、ビデオカメラ１に入力する。

図５は、図４の共焦点顕微鏡が取り扱う各種信号のタイムチャートである。ビデオカメラ１は、共焦点画像をビデオ信号１０１に変換し、共焦点スキャナ２、同期インターフェイスボックス９の信号入力端子および画像処理装置６の画像入力端子にビデオ信号１０１を入力する。共焦点スキャナ２は、ビデオ信号１０１に同期して、ニポウディスクの回転同期制御を行う。

同期インターフェイスボックス９は、ビデオ信号１０１の偶数側パルス列または奇数側パルス列の何れか一方を抽出し、内部Ａ信号を作成する。任意波形発生器７は、Ｈレベルのパルス信号であるトリガ信号１０２を発生し、同期インターフェイスボックス９のトリガ入力端子に入力して、焦点面の走査の開始タイミングに利用する。

同期インターフェイスボックス９は、トリガ信号１０２の立下りに同期して、内部Ｂ信号を作成する。内部Ｂ信号は、Ｈレベルのパルス幅時間が３５ｍｓｅｃ程度であり、ビデオカメラ１のビデオレートの時間に比して若干長いパルス信号である。同期インターフェイスボックス９は、内部Ａ信号の反転信号と内部Ｂ信号とを論理積演算することにより、開始信号１０３を発生し、画像処理装置６および任意波形発生器７の同期入力端子に入力する。

画像処理装置６は、同期入力端子からの開始信号１０３の立上りに同期して、ビデオ信号１０１を画像データに変換し記録するキャプチャを開始する。同期インターフェイスボックス９は、信号入力端子からのビデオ信号１０１に基づいて、共焦点スキャナ２によるニポウディスクの回転同期制御、画像処理装置６によるビデオ信号の取得の開始タイミング、および光学制御系による対物レンズの焦点位置の走査開始のタイミングを全て同期させる。

任意波形発生器７は、開始信号１０３の立上りに同期して、光学制御系による対物レンズ５の焦点位置の走査を開始する。任意波形発生器７は、走査信号１０４を発生し、コントローラ８に入力する。走査信号１０４は、ＬレベルからＨレベルまで一定時間で直線的に増加するノコギリ波状の信号である。コントローラ８は、走査信号１０４をアクチュエータ４に入力する。アクチュエータ信号１０５は実際のアクチュエータの位置信号であり、伸びきってから一気に原点に戻ったあとにオーバーシュートがあり、この間は不感帯となる。

アクチュエータ４は、顕微鏡３の対物レンズレボルバーと対物レンズ５との間に取り付けられ、ピエゾ駆動により走査信号１０４のレベルに比例して画像の焦点方向の長さが変化し、対物レンズ５の焦点位置を制御する。共焦点顕微鏡は、走査信号１０４に基づいて、焦点面を走査することにより、試料のスライス画像を取得する。

このような構成によれば、ニポウディスクの回転同期制御、画像処理装置によるビデオ信号の取得の開始タイミングおよび光学制御系によるレンズの焦点位置の走査開始のタイミングが、すべてビデオ信号に同期することにより、共焦点画像の位置精度が向上し、複数のスライス画像を取得する際に個々の取得時間のバラツキがなくなるので、信頼性の高いスライス画像が得られる。

上述した３次元共焦点顕微鏡システムで物体を観察した場合、物体の明るさが均一であっても、その撮像結果は明るさが不均一な画像として得られる現象が発生する。このような現象の原因の一つとしてシェーディングがある。シェーディングとは、ビデオカメラをはじめとする撮像光学系の特性によって、画像の中心では光量が多く、周辺では少なくなることにより、明るさが均一の物体を観察した場合でも、画像の中心は明るく、周辺は暗くなる現象である。

図６は、シェーディングを説明する説明図である。
図６（ａ）は、共焦点顕微鏡により撮像されたスライス画像の一例である。
図６（ａ）に示すように、被写体の明るさが均一であっても撮像した結果は、中心部と周辺部とでは明るさの分布に不均一性があらわれる。図６（ｂ）は、図６（ａ）の実線で示した位置（断面位置）における像の明るさの分布を示したものである。縦軸に像の明るさ、横軸に像高（画面中心からの距離）を示している。像高０（図６（ａ）における一点鎖線と実線が交差する部分。）がスライス画像の中心部である。この中心から離れるに従い画像の明るさが減衰していく。通常、このようなシェーディングによる問題を解決するために、シェーディング補正処理を行う。

図７はシェーディング補正処理を説明する説明図である。
図７に示すように、シェーディング補正とは、予め明るさが均一の試料を撮影して得られた図７（ａ）に示した画像の明るさ分布（像高と明るさの関数）と、図７（ｂ）に示す図７（ａ）の逆数の関係にあたる補正関数を求め、その補正関数を実際の観察対象を観察して得られた画像の明るさと乗算することである。これにより、図７（ｃ）に示した様に像高の明るさの分布が均一となる。

しかしながら、従来の３次元共焦点顕微鏡システムにおいて、均一な明るさの物体を撮像した場合に、上述のシェーディングだけでなく、撮像結果に明るさの不均一性が生じることがある。これは、共焦点顕微鏡は、所定の波長のレーザ（励起光）を観察する試料に照射してその蛍光波長により、試料の観察を行う蛍光顕微鏡であるため、この蛍光顕微鏡を用いて試料を観察したとき、試料に深さ（光軸方向の距離）があると、励起光がその深い場所に到達した時、励起光の強度が減少し、それによって励起される蛍光の明るさが試料表面に比べて弱くなる。さらに、試料の深い場所から発した蛍光は表面に達した時にはその明るさも減少している。

このように、深さのある試料を観察した時、深い場所にある蛍光が本来の明るさより弱くなってしまい、本来均一の明るさをもつ試料でもその深さによって、観察される蛍光像の明るさに差が現れ、試料の識別を困難にしてしまうという問題があった。
従来行われてきたシェーディング補正は、全て平面で行うものであって、試料の深さ方向について像の明るさを補正をする手段は無かった。

本発明は、このような従来の共焦点顕微鏡システムが有していた問題を解決しようとするものであり、試料の深さによる画像の明るさの変化を補正し、深さ方向に対しても像の明るさを均一にする３次元共焦点顕微鏡システムを実現することを目的とする。

本発明は次の通りの構成になった３次元共焦点顕微鏡システムである。

（１）共焦点スキャナから出力された試料のスライス画像の撮像データに基づいて画像処理を行い前記試料の３次元画像を得る３次元共焦点顕微鏡システムであって、
前記試料の深さに基づき前記スライス画像の明るさを補正する補正手段を有することを特徴とする３次元共焦点顕微鏡システム。

（２）前記補正手段は、前記試料の深さと前記スライス画像の明るさを補正する補正係数との関係を示す補正関数に基づき、前記スライス画像の明るさを補正することを特徴とする（１）に記載の３次元共焦点顕微鏡システム。

（３）前記補正関数は、基準となる試料の深さとこの試料のスライス画像の明るさとの関係を示す関数の逆数であることを特徴とする（２）に記載の３次元共焦点顕微鏡システム。

（４）前記基準となる試料は、蛍光ビーズであることを特徴とする（３）に記載の３次元共焦点顕微鏡システム。

本発明によれば、以下のような効果がある。

請求項１乃至請求項３に記載の発明によれば、試料の深さによる画像の明るさの変化を補正し、深さ方向に対しても像の明るさを均一にする３次元共焦点顕微鏡システムを実現することができる。
つまり、明るさ補正を行うことにより、試料本来の明るさに近い３次元像が得られると共に、明るさの不正確さを起因とする色の識別への影響を排除できるので分光による試料の識別が正確になる。

請求項４に記載の発明によれば、蛍光ビーズを用いることにより、基準となる試料の深さ対明るさのデータを得ることができる

以下図面を用いて本発明を詳細に説明する。図１は本発明に係る３次元共焦点顕微鏡システムの一実施例を示す構成図である。なお、図１において図４と同等部分には同一符号を付し、その説明は省略する。

図１において、１０は信号制御器、１１は波形計算装置、１２はアクチュエータドライバ、２０は試料である。
信号制御器１０は、ビデオカメラ（以下単にカメラという）１から出力されるビデオ信号を受けて、そのビデオ信号をそのまま出力すると共に、ビデオ信号から垂直同期信号を抽出しこれを基に各種のトリガ信号を生成する。
任意波形発生器７は、信号制御器１０からの走査波形発生トリガ信号を受信すると、あらかじめ波形計算装置１１から送られ記憶した走査波形を発生して、アクチュエータドライバ１２へ送る。

波形計算装置１１は、試料２０を観察する際の対物レンズ５の走査周期と光軸方向の走査距離から、三角波（直線的に増加して元のレベルに戻る波形）やステップ波（段階的に増加して元のレベルにもどる波形）を計算によって求め、それを走査波形として任意波形発生器７に出力する。
アクチュエータドライバ１２は、任意波形発生器７から出力される走査波形信号に基づいて、アクチュエータ４を駆動するための駆動信号を発生する。

詳細な動作は、以下の通りである。
カメラ１から制御信号器１０にビデオ信号（垂直同期信号が含まれる）が送られると、信号制御器１０では、そのビデオ信号をそのまま画像処理装置６ａへ送ると同時に、ビデオ信号から垂直同期信号を抽出して、共焦点スキャナ２へ同期信号を送ると共に、各種トリガ信号すなわち走査波形発生トリガ信号、画像取込トリガ信号を生成する。

信号制御器１０では、画像取込スタート信号を受信すると、画像取込スタート信号がLOWになった後の最初の垂直同期信号を走査波形発生トリガ信号として任意波形発生器７へ送ると共に、垂直同期信号を画像取込トリガ信号として画像処理装置６ａへ送る。なお、画像取込スタート信号は、操作者が上位コントローラ例えばパーソナルコンピュータ（以下、ＰＣという。）から、任意のタイミングに信号制御器に入力する信号であり、そのパルス幅はビデオ信号の垂直同期信号の周期の２倍以上である。

任意波形発生器７では、信号制御器１０から走査波形発生トリガ信号を受信すると、あらかじめ波形計算装置１１から入力され記憶してある走査波形を発生し、これをアクチュエータドライバ１２に送る。

アクチュエータ４はアクチュエータドライバ１２からの駆動信号によって駆動され、走査波形に従って対物レンズ５を光軸方向に走査する。画像処理装置６ａでは、これに同期して試料２０のスライス画像を取得する。
なお、画像処理装置６ａおよび波形計算装置１１は例えばＰＣにより構成される。

本発明では、画像処理装置６ａに試料の深さにおける明るさを補正する補正手段６１を追加している。このことを以下に説明する。
予め、標準試料として蛍光ビーズを用い、異なる深さにおける複数枚の共焦点スライス画像を撮影する。そして、試料の深さと像の明るさの関係を求める。明るさは、蛍光が発している画像領域の光強度の平均値または最大値とすることができる。
そして、求めた試料の深さと画像の明るさの関係から、試料の深さを変数とする明るさの補正係数の補正関数を作成する。補正関数は、試料の深さと明るさの関係の逆数に相当する。この補正関数から補正係数を求め実際のスライス画像の明るさに乗じることにより一定の明るさに補正される。

図２は、試料の深さ対する明るさの関係について説明する説明図である。
図２（ａ）において、蛍光ビーズ２１は、ガラスベース２２とカバーガラス２３の間で培養液２４に浸されている。この様に構成された試料に対して励起光２５（太線矢印）が共焦点顕微鏡（図示せず）より照射される。この励起光２５が蛍光ビーズ２１に当たることで蛍光ビーズ２１から蛍光２６（細線矢印）が発生し、共焦点顕微鏡に取り付けられたカメラで撮像される。蛍光ビーズ２１は、直径数十ｎｍから数百μｍの高精度の球体であり、この蛍光ビーズ２１のスライス画像の明るさ（撮像信号の強度）は、本来どの点であっても均一であるとみなせるので、この明るさデータを基準とすることができる。

図２（ｂ）は、蛍光ビーズ２１の深さと、蛍光ビーズ２１が発する蛍光２６の明るさとの関係を示したものである。図２（ｂ）において、点Ａから点Ｆまでの値が蛍光ビーズ２１の各深さでのスライス画像の明るさを示しており、このデータをもとに撮像範囲（カバーガラス２３からガラスベース２２の間）の深さにおける明るさの関係を求める。

具体的には、蛍光ビーズ２１の深さデータに対するスライス画像の明るさデータ間の内挿補間および外挿補間を行うために、例えば指数関数による近似式を求め、近似式を正規化する。ここで正規化とは、試料の一番浅い部分の像（最も明るいスライス画像）の明るさの値を１として、この比に応じて他のスライス画像の明るさを表すことをいう。
この様にして求めた試料の深さと明るさの関係から、試料の深さを変数として明るさの補正係数を求めるための補正関数を作成する。この補正関数は、上述の近似式の逆数とすればよい。

図３は試料の深さと明るさの関数と補正関数の関係を説明する説明図である。
図３（ａ）は前出の図２（ｂ）で示したものと同様の試料の深さと明るさの関数のグラフである。図３（ｂ）は、試料の深さに対する補正係数の関係を示す補正関数のグラフである。図３（ｃ）は補正後の試料の深さと明るさの関係を示したグラフである。
つまり、図３（ａ）の所定の深さの明るさに、図３（ｂ）の関数から求められるその所定の深さの補正係数を掛けることにより、図３（ｃ）に示すように補正後の試料の深さに対する明るさは一定となる。

これにより、試料の深さ方向においても、明るさが均一なスライス画像が得られ、試料本来の明るさに近い３次元画像が得られる。また、明るさは色の認識に影響を及ぼすため、明るさの補正を行うことにより、分光による試料の識別が正確になる。

なお、本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形をも含むものである。

本発明に係る３次元共焦点顕微鏡システムの一実施例を示す構成図である。 試料の深さに対する明るさの関係について説明する説明図である。 試料の深さと明るさの関数と補正関数の関係を説明する説明図である。 従来の共焦点顕微鏡の一例を示す構成図である。 図４の共焦点顕微鏡が取り扱う各信号のタイムチャートである。 シェーディングを説明する説明図である。 シェーディング補正処理を説明する説明図である。

符号の説明

１ ビデオカメラ
２ 共焦点スキャナ
３ 顕微鏡
４ アクチュエータ
５ 対物レンズ
６ａ 画像処理装置
７ 任意波形発生器
１０ 信号制御器
１１ 波形計算装置
１２ アクチュエータドライバ
２０ 試料
６１ 補正手段

Claims (4)

1. 共焦点スキャナから出力された試料のスライス画像の撮像データに基づいて画像処理を行い前記試料の３次元画像を得る３次元共焦点顕微鏡システムであって、
   前記試料の深さに基づき前記スライス画像の明るさを補正する補正手段を有することを特徴とする３次元共焦点顕微鏡システム。
2. 前記補正手段は、前記試料の深さと前記スライス画像の明るさを補正する補正係数との関係を示す補正関数に基づき、前記スライス画像の明るさを補正することを特徴とする請求項１に記載の３次元共焦点顕微鏡システム。
3. 前記補正関数は、基準となる試料の深さとこの試料のスライス画像の明るさとの関係を示す関数の逆数であることを特徴とする請求項２に記載の３次元共焦点顕微鏡システム。
4. 前記基準となる試料は、蛍光ビーズであることを特徴とする請求項３に記載の３次元共焦点顕微鏡システム。
   

Images