以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための計測顕微鏡装置及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は計測顕微鏡装置及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
(実施の形態1)
本発明の実施の形態1に係る計測顕微鏡装置の構成を示すブロック図を図1に示す。計測顕微鏡装置500は、図1に示すように、撮像手段100、制御手段200、光源部300および表示部400を備える。
(撮像手段100)
図1の計測顕微鏡装置500の撮像手段100の構成を図2のブロック図に示す。撮像手段100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、ステージ140および測定制御部150を含む。投光部110は、測定光源111、パターン生成部112および複数のレンズ113、114、115を含む。受光部120は、カメラ121および複数のレンズ122、123を含む。ステージ140上には、対象物Sが載置される。
(投光部110)
投光部110は、ステージ140の斜め上方に配置される。撮像手段100は、複数の投光部110を含んでもよい。図2の例においては、撮像手段100は2つの投光部110を含む。ここでは、第一の方向から対象物Sに対して測定用照明光を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から対象物Sに対して測定用照明光を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。さらにこの例では投光部が投光する垂直方向に対する照明光の照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bの測定光源111は、例えば白色光を出射するハロゲンランプである。測定光源111は、白色光を出射する白色LED(発光ダイオード)等の他の光源であってもよい。測定光源111から出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射する。
パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、ステージ140上の対象物Sに照射される。
(受光部120)
受光部120は、ステージ140の上方に配置される。対象物Sによりステージ140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次制御手段200に転送される。
(制御手段200)
図1に示すように、制御手段200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。制御手段200には、PC(パーソナルコンピュータ)等が利用できる。また、操作部250は、キーボード及びポインティングデバイスを含む。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、画像処理プログラム及び形状測定プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。さらに、CPU210は、後述するステージ駆動部145に駆動パルスを与える。さらにこのCPUは、後述する測定画像合成手段211と、ハイライト手段212と、三次元画像合成手段213の機能を実現する。
(表示部400)
表示部400は、撮像手段100で取得された測定画像や、撮像された観察画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。
(ステージ140)
図2において、対象物Sが載置されるステージ140上の平面(以下、「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。ステージ140の載置面に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
ステージ140は、X−Yステージ141、Zステージ142及びθステージ143を含む。X−Yステージ141は、X方向移動機構及びY方向移動機構を有する。Zステージ142は、Z方向移動機構を有する。θステージ143は、θ方向回転機構を有する。X−Yステージ141、Zステージ142及びθステージ143により、ステージ140が構成される。また、ステージ140は、載置面に対象物Sを固定する図示しない固定部材(クランプ)をさらに含む。ステージ140は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージをさらに含んでもよい。
ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構には、それぞれステッピングモータが用いられる。ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構は、図1のステージ操作部144又はステージ駆動部145により駆動される。
ユーザは、ステージ操作部144を手動で操作することにより、ステージ140の載置面を受光部120に対して相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。ステージ駆動部145は、制御手段200より与えられる駆動パルスに基づいて、ステージ140のステッピングモータに電流を供給することにより、ステージ140を受光部120に相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、ステージ140の焦点が最も合うピント平面で互いに交差するように、受光部120、投光部110、ステージ140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向にステージ140が回転した際に、対象物Sが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Z方向移動機構に対して、これらXYθ及びチルト移動機構は支持されている。すなわち、ステージをθ方向に回転させたり、チルトさせた状態であっても、受光部120の中心軸と、Z方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、対象物Sの位置や姿勢を変化させた状態であっても、Z方向にステージ140を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。なお、本実施の形態ではステッピングモータにより駆動させることが可能な電動ステージを例に説明したが、手動でのみ移動させることが可能な手動ステージであっても良い。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、制御手段200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、または制御手段200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、撮像手段100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される光(以下、「照明光」と呼ぶ)は、導光部材(ライトガイド)を通して撮像手段100の照明光出力部130から出力される。
照明光出力部130から出力される照明光は、赤色光、緑色光及び青色光を時分割で切り替えて対象物Sに照射する。これにより、これらのRGB光でそれぞれ撮像された観察画像を合成して、カラーの観察画像を得て、表示部400に表示させることができる。
このようにしてカラーの観察画像を表示させる際、照明光の色を切り替える切替周波数を、表示部400で表示内容を更新する(画面を書き換える)際のフレームレートと一致させると、フレームレートが低い場合(例えば数Hz程度)は、ちらつきが顕著となる。特に、RGBの原色によるカラー切り替えが目立つと、ユーザに不快感を与えることがある。そこで、RGBの照明光を切り替える切替周波数を、ユーザが認識できない程度の高速(例えば数百Hz)とすることで、このような問題を回避できる。照明光の色の切り替えは、照明光出力部130等により行われる。また、高速で照明光のRGBを切り替えつつも、実際に撮像手段100で対象物Sを撮像するタイミングは、表示部400の表示内容の更新のタイミングとする。すなわち、観察像の撮像のタイミングと照明光の切り替えのタイミングは完全に一致させる必要はなく、撮像素子によるRGBの観察画像の撮像が可能な程度に、いいかえると照明光のRGBの切り替え周期が撮像周期の倍数となるようにリンクさせることで対応できる。この方法であれば、照明光の切り替えのタイミングを高速化することができ、撮像素子121aで処理可能なフレームレートを向上させることなく、ユーザに与える不快感を低減できる。
図1の例では観察用照明光源320を撮像手段100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320の発熱が撮像手段100の光学系に影響を与える事態を回避できる。ただ、発熱量の小さい観察用照明光源を利用したり、あるいは相応の放熱機構を撮像手段側に設ける等して、撮像手段に観察用照明光源を設けることもできる。この場合、光源部と撮像手段とを光学的に接続するための導光部材や、照明光出力部を不要とでき、観察用照明光源を照明光出力部として利用できる。
また、図1の例では測定光投光手段を測定用の光源と一体化しているが、測定光投光手段の光源を撮像手段内に設ける構成に限らず、これを外付けとすることもできる。例えば、光源部に、測定光投光手段の光源と、観察用照明光源とを纏めて配置することも可能である。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むようにステージ140の上方に配置される。これにより、影が発生しないように照明光出力部130から対象物Sに照明光が照射される。図3A〜図3D及び図4A〜図4Dは、光が照射された状態の対象物Sの模式図である。図3A〜図3D及び図4A〜図4Dの例においては、対象物Sは上面の略中央に孔Shを有する。また、図3A、図3C及び図4Aにおいては、影Ssをハッチングにより表わしている。
図3Aは図2の第一測定光投光部110Aからの測定光が照射された状態の対象物Sの平面図であり、図3Bは図3AのA−A線断面図である。図3A、図3Bに示すように、第一測定光投光部110Aから測定光を対象物Sに照射した場合、孔Shの深さによっては、孔Shの底部にまで測定光が到達せず、影Ssが発生する。したがって、対象物Sの一部を観察することができない。
図3Cは図2の第二測定光投光部110Bからの測定光が照射された状態の対象物Sの平面図であり、図3Dは図3CのB−B線断面図である。図3C、図3Dに示すように、第二測定光投光部110Bから測定光を対象物Sに照射した場合、孔Shの深さによっては、孔Shの底部にまで測定光が到達せず、影Ssが発生する。したがって、対象物Sの一部を観察することができない。
図4Aは第一測定光投光部110A、第二測定光投光部110Bの両方からの測定光が照射された状態の対象物Sの平面図であり、図4Bは図4AのC−C線断面図である。図4A、図4Bに示すように、第一測定光投光部110A、第二測定光投光部110Bの両方から測定光を対象物Sに照射した場合、第一測定光投光部110A、第二測定光投光部110Bの一方から測定光を対象物Sに照射した場合に比べて、孔Shの底部にまで到達しない測定光が減少するため、発生する影Ssが減少する。したがって、観察することができる対象物Sの部分が増加する。
図4Cは図2の照明光出力部130からの照明光が照射された状態の対象物Sの平面図であり、図4Dは図4CのD−D線断面図である。図4C、図4Dに示すように、照明光は対象物Sの略真上から照射されるので、孔Shの深さによらず、孔Shの底部にまで照明光が到達する。したがって、対象物Sの大部分を観察することができる。
(GUIの例)
計測顕微鏡装置は、制御手段200であるPCに計測顕微鏡装置500を操作するための操作プログラムをインストールしている。表示部400には、計測顕微鏡装置操作プログラムを操作するためのGUI(Graphical User Interface)が表示される。このようなGUI画面の一例を図5に示す。この例においては、表示部400において、第一測定光投光部110Aから第一測定光が照射された対象物Sの第一測定画像S1と、第二測定光投光部110Bから第二測定光が照射された対象物Sの第二測定画像S2とが並ぶように、表示させることができる。この例では、表示部400の左側に設けられた画像表示領域410の、右側に第一表示領域416を、左側に第二表示領域417を設けている。このような2画面表示とすることで、各測定光で得られる測定画像の様子、特に影となる領域等を対比しながら確認できる。なお、画像表示領域の分割例は、このように左右に並べる構成に限らず、上下に並べる、あるいは別画面として構成する等、任意の構成が適宜利用できる。
(測定光明るさ個別調整手段442)
表示部400の操作領域420には、測定光明るさ個別調整手段442として、2つの明るさ調整スライダ444、446が設けられる。明るさ調整スライダ444、446は、それぞれ水平方向に移動可能なスライダでもって、各測定光投光手段の明るさを調整する。ここでは、明るさ調整スライダ446で第二測定光投光部110B、明るさ調整スライダ444で第一測定光投光部110Aの明るさを、それぞれ個別に調整可能としている。
明るさ調整スライダ444の位置は、第一測定光投光部110Aから出射される測定光の明るさ又は第一測定光投光部110Aからの測定光で画像を撮影する際のカメラ露光時間に対応する。また明るさ調整スライダ446の位置は、第二測定光投光部110Bから出射される測定光の明るさ又は第二測定光投光部110Bからの測定光で画像を撮影する際のカメラ露光時間に対応する。ユーザは、図1の制御手段200の操作部250でもって、GUIに設けられた操作領域420を操作して明るさ調整スライダ444を水平方向に移動させることにより、第一測定光投光部110Aから出射される測定光の明るさ又は110Aに対応するカメラ露光時間を変更することができる。同様に、操作部250を操作して明るさ調整スライダ446を水平方向に移動させることにより、第二測定光投光部110Bから出射される測定光の明るさ又は第二測定光投光部110Bに対応するカメラ露光時間を変更することができる。
上記のように、画像表示領域410には、第一測定光投光部110A、第二測定光投光部110Bの各々により測定光を照射された場合における対象物Sの画像が並ぶように表示できる。したがって、ユーザは、画像表示領域410に表示された対象物Sの画像を見ながら、明るさ調整スライダ444、446の位置をそれぞれ移動させることにより、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。
また、第一測定光投光部110A、第二測定光投光部110Bから出射される測定光の適切な明るさと照明光出力部130から出射される照明光の適切な明るさ又はそれぞれの照明に対応したカメラ露光時間との間に相関がある場合がある。この場合、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間は、照明光出力部130から出射される照明光の明るさ又は照明光に対応したカメラ露光時間に基づいて自動的に調整されてもよい。
あるいは、照明光出力部130から出射される照明光の明るさ又は照明光に対応したカメラ露光時間に基づいて、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切にするための調整ガイドが表示部400に表示されてもよい。この場合、ユーザは、調整ガイドに基づいて明るさ調整スライダ444、446の位置をそれぞれ移動させることにより、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。
光の照射方向が異なれば、光の反射方向も異なるため、結果として得られる画像の明るさは、同じ部位であっても光の照射方向によって異なる。すなわち、測定に適した測定光の明るさ、撮像素子の露光時間は照射方向によって異なることになる。本実施の形態では、複数の第一測定光投光部110A、第二測定光投光部110Bから光を照射して撮像されたそれぞれの画像の明るさを個別に調整可能とすることにより、照射方向毎に適切な測定光の明るさ又は露光時間を設定することができる。また、明るさ調整中の画像は、画像表示領域410に更新されながら表示されるため、調整後の画像を確認しながら明るさを調整できる。この際に、画像表示領域410に表示された画像の中で、明るすぎて白とびしている部分や、暗すぎて黒つぶれしている部分を識別可能に表示することで、ユーザにとって明るさが適切に調整できているか否かをより判り易く表示することも可能である。
(1)三角測距方式による形状測定
撮像手段100においては、三角測距方式により対象物Sの形状が測定される。図6は、三角測距方式の原理を説明するための図である。図6に示すように、投光部110から出射される測定光の光軸と受光部120に入射する測定光の光軸(受光部120の光軸)との間の角度αが予め設定される。角度αは、0度よりも大きく90度よりも小さい。
ステージ140上に対象物Sが載置されない場合、投光部110から出射される測定光は、ステージ140の載置面の点Oにより反射され、受光部120に入射する。一方、ステージ140上に対象物Sが載置される場合、投光部110から出射される測定光は、対象物Sの表面の点Aにより反射され、受光部120に入射する。
点Oと点Aとの間のX方向における距離をdとすると、ステージ140の載置面に対する対象物Sの点Aの高さhは、h=d÷tan(α)により与えられる。図1の制御手段200のCPU210は、測定制御部150により与えられる対象物Sの画素データに基づいて、X方向における点Oと点Aとの間の距離dを測定する。また、CPU210は、測定された距離dに基づいて、対象物Sの表面の点Aの高さhを算出する。対象物Sの表面の全ての点の高さを算出することにより、対象物Sの三次元的な形状が測定される。
対象物Sの表面の全ての点に測定光を照射するために、図1の投光部110からは種々のパターンを有する測定光が出射される。測定光のパターンは、図1のパターン生成部112により制御される。以下、測定光のパターンについて説明する。
(2)測定光の第1のパターン
図7A〜図7Bは、測定光の第1のパターンを説明するための図である。図7Aは、ステージ140上の対象物Sに投光部110から測定光を照射した状態を示す。図7Bは、測定光が照射された対象物Sの平面図を示す。図7Aに示すように、第1のパターンとして、Y方向に平行な直線状の断面を有する測定光(以下、「ライン状測定光」と呼ぶ。)が投光部110から出射される。この場合、図7Bに示すように、ステージ140に照射されたライン状測定光の部分と対象物Sの表面に照射されたライン状測定光の部分とは、対象物Sの表面の高さhに対応する距離dだけX方向に互いにずれる。したがって、距離dを測定することにより、対象物Sの高さhを算出することができる。
対象物Sの表面のY方向に沿った複数の部分が異なる高さを有する場合には、各部分について上記の距離dを測定することにより、Y方向に沿った複数の部分の高さhを算出することができる。
また、図1のCPU210は、X方向の一の位置でY方向に沿った複数の部分について距離dを測定した後、Y方向に平行なライン状測定光をX方向に走査することにより、X方向の他の位置でY方向に沿った複数の部分について距離dを測定する。これにより、X方向の複数の位置におけるY方向に沿った対象物Sの複数の部分の高さhが算出される。受光部120の観察・測定可能な視野よりも広い範囲でライン状測定光をX方向に走査することにより、対象物Sの表面の全ての点の高さhを算出することができる。これにより、対象物Sの三次元的な形状を測定することができる。
(3)測定光の第2のパターン
図8A〜図8Dは、測定光の第2のパターンを説明するための図である。図8A〜図8Dに示すように、第2のパターンとして、Y方向に平行な直線状の断面を有しかつX方向に強度が正弦波状に変化するパターンを有する測定光(以下、「正弦波状測定光」と呼ぶ。)が投光部110から複数回(本例においては4回)出射される。
図8Aは、1回目に出射される正弦波状測定光を示す。1回目に出射される正弦波状測定光の強度は、対象物Sの表面上の任意の位置P0において、初期位相φを有する。この正弦波状測定光が出射されることにより、対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が対象物Sの画素データに基づいて測定される。対象物Sの表面上の任意の部分P0により反射された光の強度をI1とする。
図8Bは、2回目に出射される正弦波状測定光を示す。2回目に出射される正弦波状測定光の強度は、対象物Sの表面上の任意の位置P0において、位相(φ+π/2)を有する。この正弦波状測定光が出射されることにより、対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が対象物Sの画素データに基づいて測定される。対象物Sの表面上の部分P0により反射された光の強度をI2とする。
図8Cは、3回目に出射される正弦波状測定光を示す。3回目に出射される正弦波状測定光の強度は、対象物Sの表面上の任意の位置P0において、位相(φ+π)を有する。この正弦波状測定光が出射されることにより、対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が対象物Sの画素データに基づいて測定される。対象物Sの表面上の部分P0により反射された光の強度をI3とする。
図8Dは、4回目に出射される正弦波状測定光を示す。4回目の正弦波状測定光の強度は、対象物Sの表面上の任意の位置P0において、位相(φ+3π/2)を有する。この正弦波状測定光が出射されることにより、対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が対象物Sの画素データに基づいて測定される。対象物Sの表面上の部分P0により反射された光の強度をI4とする。
初期位相φは、φ=tan-1[(I1−I3)/(I2−I4)]で与えられる。初期位相φから対象物Sの任意の部分の高さhが算出される。この方式によれば、4回の光の強度の測定により、対象物Sの全ての部分の初期位相φを高速かつ容易に算出することができる。なお、初期位相φは、最低3回、位相の異なる測定光を照射し、受光される光の強度を測定することにより算出することができる。いかえると、対象物Sが存在しないときの初期位相をφo、対象物Sが存在することによってシフトした、対象物上の縞の初期位相をφsとし、φoとφsの位相差を求め(図6のdに相当)、これを元に高さhを算出する。対象物Sの表面上の全ての部分の高さhを算出することにより、対象物Sの三次元的な形状を測定することができる。
(4)測定光の第3のパターン
図9A〜図9Cは、測定光の第3のパターンを説明するための図である。図9A〜図9Cに示すように、第3のパターンとして、Y方向に平行でかつX方向に並ぶような直線状の断面を有する測定光(以下、「縞状測定光」と呼ぶ。)が投光部110から複数回(本例においては16回)出射される。
すなわち、縞状測定光においては、Y方向に平行な直線状の明部分及びY方向に平行な直線状の暗部分がX方向に周期的に配列される。ここで、パターン生成部112がDMDである場合には、マイクロミラーの寸法を1単位とする。縞状測定光の各明部分のX方向の幅は、例えば3単位であり、縞状測定光の各暗部分のX方向の幅は、例えば13単位である。この場合、縞状測定光のX方向の周期は16単位である。なお、明部分及び暗部分の単位は、図2のパターン生成部112の構成により異なる。例えば、パターン生成部112が液晶である場合には、1単位は1画素の寸法である。
1回目の縞状測定光が出射されることにより、対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が、対象物Sの1番目の撮影画像の画素データに基づいて測定される。図9Aは、1回目の縞状測定光に対応する対象物Sの1番目の撮影画像である。
2回目の縞状測定光は、1回目の縞状測定光から明部分及び暗部分をX方向に1単位だけ移動させたパターンを有する。2回目の縞状測定光が出射されることにより、対象物Sの表面で反射された光が、受光部120により受光される。受光された光の強度が対象物Sの2番目の撮影画像の画素データに基づいて測定される。
3回目の縞状測定光は、2回目の縞状測定光から明部分及び暗部分をX方向に1単位だけ移動させたパターンを有する。3回目の縞状測定光が出射されることにより、対象物Sの表面で反射された光が受光部120により受光される。受光された光の強度が、対象物Sの3番目の撮影画像の画素データに基づいて測定される。
同様の動作が繰り返されることにより、4〜16回目の縞状測定光に対応する光の強度が、対象物Sの4〜16番目の撮影画像の画素データに基づいてそれぞれ測定される。X方向の周期が16単位である縞状測定光が16回出射されることにより、対象物Sの表面の全ての部分に縞状測定光が照射される。なお、図9Bは、7回目の縞状測定光に対応する対象物Sの7番目の撮影画像である。図9Cは、13回目の縞状測定光に対応する対象物Sの13番目の撮影画像である。
図10は、対象物Sの特定の部分における、画像が撮影されたタイミング(何番目か)と受光された光の強度との関係を示す図である。図10の横軸は撮影画像の番号を示し、縦軸は受光された光の強度を示す。上述のように、対象物Sについて、1〜16番目の撮影画像が生成される。また、生成された1〜16番目の撮影画像の各画素に対応する光の強度が測定される。
図10に示すように、撮影画像の番号に対応する画像内の各部分の光の強度を図示することにより散布図が得られる。得られた散布図に例えばガウシアン曲線、スプライン曲線又は放物線をフィッティングさせることにより、光の強度が最大になるときの撮影画像の番号(何番目か)を、1未満の精度で推定することができる。図10の例においては、フィッティングされた点線で示す曲線により、9番目と10番目との間である9.38番目の撮影画像(このような撮影画像は実際にはなく、あくまで計算推定上としてのみ存在する)において、光の強度が最大になることが推定される。
(5)測定光の第4のパターン
図11A〜図11Dは、測定光の第4のパターンを説明するための図である。図11A〜図11Dに示すように、第4のパターンとして、Y方向に平行な直線状の断面を有しかつ明部分と暗部分とがX方向に並ぶ測定光(以下、「コード状測定光」と呼ぶ。)が投光部110から複数回(本例においては4回)出射される。コード状測定光の明部分及び暗部分の割合は、それぞれ50%である。
本例においては、対象物Sの表面がX方向において複数(図11A〜図11Dの例では16)の領域に分割される。以下、複数に分割されたX方向における対象物Sの領域をそれぞれ第1〜第16の領域と呼ぶ。
図11Aは、1回目に出射されるコード状測定光を示す。1回目に出射されるコード状測定光は、対象物Sの第1〜第8の領域に照射される明部分を有する。また、1回目に出射されるコード状測定光は、対象物Sの第9〜第16の領域に照射される暗部分を有する。これにより、1回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、1回目に出射されるコード状測定光の明部分及び暗部分の割合は、それぞれ50%である。
図11Bは、2回目に出射されるコード状測定光を示す。2回目に出射されるコード状測定光は、対象物Sの第5〜第12の領域に照射される明部分を有する。また、2回目に出射されるコード状測定光は、対象物Sの第1〜第4及び第13〜第16の領域に照射される暗部分を有する。これにより、2回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、2回目に出射されるコード状測定光の明部分及び暗部分の割合は、それぞれ50%である。
図11Cは、3回目に出射されるコード状測定光を示す。3回目に出射されるコード状測定光は、対象物Sの第1、第2、第7〜第10、第15及び第16の領域に照射される明部分を有する。また、3回目に出射されるコード状測定光は、対象物Sの第3〜第6及び第11〜第14の領域に照射される暗部分を有する。これにより、3回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、3回目に出射されるコード状測定光の明部分及び暗部分の割合は、それぞれ50%である。
図11Dは、4回目に出射されるコード状測定光を示す。4回目に出射されるコード状測定光は、対象物Sの第1、第4、第5、第8、第9、第12、第13及び第16の領域に照射される明部分を有する。また、4回目に出射されるコード状測定光は、対象物Sの第2、第3、第6、第7、第10、第11、第14及び第15の領域に照射される暗部分を有する。これにより、4回目に出射されるコード状測定光においては、明部分と暗部分とがY方向に平行でかつX方向に並ぶ。また、4回目に出射されるコード状測定光の明部分及び暗部分の割合は、それぞれ50%である。
コード状測定光の明部分に論理“1”が割り当てられ、コード状測定光の暗部分が論理“0”が割り当てられる。また、対象物Sの各領域に照射される1回目〜4回目のコード状測定光の論理の並びを符号と呼ぶ。この場合、対象物Sの第1の領域には、符号“1011”のコード状測定光が照射される。これにより、対象物Sの第1の領域は、符号“1011”に符号化される。
対象物Sの第2の領域には、符号“1010”のコード状測定光が照射される。これにより、対象物Sの第2の領域は、符号“1010”に符号化される。対象物Sの第3の領域には、符号“1000”のコード状測定光が照射される。これにより、対象物Sの第3の領域は、符号“1000”に符号化される。同様に、対象物Sの第16の領域には、符号“0011”のコード状測定光が照射される。これにより、対象物Sの第16の領域は、符号“0011”に符号化される。
このように、対象物Sの隣り合う領域の間では、符号のいずれかの桁が“1”のみ異なるようにコード状測定光が対象物Sに複数回照射される。すなわち、コード状測定光は、明部分及び暗部分がグレイコード状に変化するように、複数回対象物Sに照射される。
対象物Sの表面の各領域で反射された光が受光部120により受光される。受光された光によってコード状測定光画像が生成され(この例では4枚)、これらの画像から各領域の符号を測定することにより、対象物の領域毎に、対象物Sが存在することによって変化した符号が得られる。この符号と、領域毎に、対象物Sが存在しない場合の符号との差分を求めることで、図6のdに相当する距離が求まる。この際、画像内のX軸方向には前述の符号は1回のみ出現するというコード化法の特徴から、dの絶対的な値が求まる。ここから、対象物Sのその領域の絶対的な高さ(高さの絶対値)が算出される。対象物Sの表面上の全ての領域の高さを算出することにより、対象物Sの三次元的な形状を測定することができる。
上記の説明においては、対象物Sの表面がX方向において16の領域に分割され、コード状測定光が投光部110から4回出射されたが、これに限定されない。対象物Sの表面がX方向において2Nの領域(Nは自然数)に分割され、コード状測定光が投光部110からN回出射されてもよい。上記の説明においては、理解を容易にするためにNは4に設定されている。本実施の形態における形状測定処理においては、Nは例えば8に設定される。したがって、対象物Sの表面はX方向において256の領域に分割される。
コード状測定光を用いた対象物Sの形状測定においては、縞をコードとして分離できる最小距離、すなわち1画素分に相当する距離が最小の分解能となる。したがって、受光部120のX方向における視野の画素数が1024画素である場合、高さが例えば10mmの対象物Sを10mm÷1024≒10μmの分解能で測定することができる。コード状測定光を用いた形状測定(絶対値が求まるが分解能が不足する)を上記の正弦波状測定光又は縞状測定光(これらは相対値しか求まらないが分解能が高い)を用いた形状測定と組み合わせることにより、対象物Sの高さの絶対値をより高い分解能で算出することができる。
特に、図9A〜図9Cの縞状測定光を用いた対象物Sの形状測定においては、分解能を1/100画素にすることができる。なお、1/100画素の分解能は、受光部120のX方向における視野の画素数が1024画素である場合、対象物Sの表面をX方向において約100000の領域に分割すること(すなわちN≒17)に相当する。そのため、コード状測定光を用いた形状測定と縞状測定光を用いた形状測定と組み合わせることにより、対象物Sの高さの絶対値をさらに高い分解能で算出することができる。
上述したライン状の測定光を対象物上で走査する方法は一般に光切断法と呼ばれる。一方、正弦波状の測定光を照射する方法、縞状の測定光を照射する方法、あるいはコード状の測定光を照射する方法は、パターン投影法に分類される。また、パターン投影法の中でも、正弦波状の測定光を照射する方法と縞状の測定光を照射する方法は位相シフト法に分類され、コード状の測定光を照射する方法は空間コード法に分類される。位相シフト法は、周期的な投影パターンである正弦波や複数のスリット光を照射した際に、対象物が存在しない場合の基準高さ位置から反射した受光量に基づいて計算された位相と、対象物が存在する場合の対象物表面から反射した受光量に基づいて計算された位相の位相差から対象物の高さを求める。位相シフト法は、個々の周期的な縞が区別できず、縞1周期分(2π)の整数倍に相当する不確かさが存在するため、絶対位相が求まらないという欠点があるが、光切断法に比べ取得する画像の枚数が少ないため測定時間が比較的短く、また、計測分解能が高いという長所がある。一方、空間コード法は、対象物の領域毎に、対象物が存在することによって変化した符号が得られ、この符号と対象物が存在しない場合の符号との差分を領域毎に求めることで対象物の絶対的な高さを求めることができる。空間コード法も比較的少ない画像枚数で測定が可能であり、絶対的な高さを求めることができるという長所があるが、位相シフト法に比べると計測分解能に限界がある。これらの投影法は、各々短所、長所を有しているが、いずれも三角測量の原理を用いている点は共通である。したがって、測定光が届かない影部分の測定はいずれの測定方法でも不可能である。
(測定画像合成手段211)
図1に戻って、制御手段200の測定画像合成手段211は、同じ対象物Sに対して、第一測定光投光部110Aを用いて撮像手段100で取得された第一測定画像と、第二測定光投光部110Bを用いて撮像手段100で取得された第二測定画像とを合成し、一の合成測定画像を生成する。合成測定画像の生成方法としては、例えば、第一測定画像と第二測定画像とで対応する画素の内、画素値が高い方の画素を用いて構成することができる(マックス測定画像)。あるいは、第一測定画像と第二測定画像とで対応する画素の内、画素値の平均を用いて構成してもよい(平均測定画像)。あるいはまた、第一測定画像と第二測定画像とで対応する画素の内、画素値が低い方の画素を用いて構成することもできる(ミニマム測定画像)。
(ハイライト手段212)
ハイライト手段212は、測定画像合成手段211で生成された合成測定画像を表示部400上で表示させた状態で、第一測定光投光部110A及び第二測定光投光部110Bのいずれでも測定結果が異常となる測定異常領域を重ねて表示する(後述する図17等参照)。
(測定異常領域)
ここで測定異常領域には、測定自体ができない測定不能領域や、測定は可能であるものの、得られたデータが飽和しており精度の劣る飽和領域を含む。測定不能領域は、いずれの測定光投光手段によっても、測定光が影となって、撮像手段100でデータを取得できない領域を指す。このようにすることで、いずれの測定光投光手段でも測定ができない領域を、いずれかの測定光投光手段で測定が可能な測定領域と区別して視覚的に把握することができ、ユーザの測定画像取得条件の設定作業に資することができる。
(飽和領域)
また飽和領域は、いずれの測定光投光手段によっても、撮像手段100で検出される測定光の反射光が飽和している領域を指す。なお反射光のレベルが飽和していても、光のON/OFFが判別できればそれなりに測定結果は得られる。ただし、飽和していない点と比べると、データの信頼性が低くなる。さらに測定不能領域はこれらに限らず、例えば多重反射や光の潜り込み等を含む領域とすることもできる。なお本明細書において「領域」とは、必ずしも一定の面積を有する線状や面状に限らず、点あるいは点の集合も含む意味で使用する。
また、ハイライト手段212は、これら測定不能領域や飽和領域を、それぞれ異なる態様でハイライトして、表示部400上に重ねて表示可能としている。これにより、測定ができない領域と、測定は可能であるが飽和して精度が低い領域とを視覚的に区別して把握することができ、ユーザの測定画像取得条件の設定作業に資することができる。従来であれば、一の測定光投光手段で影や飽和している測定異常点を確認しても、それらが他の測定光投光手段では正しく測定できるため、合成測定画像とすることで測定異常点のままであっても問題がないのか、あるいは他の測定光投光手段でも測定できず、合成測定画像でも正しく測定できないのかを区別できなかった。これに対して、本実施の形態によれば、複数の測定光投光手段を用いた場合に、測定不可能となる領域を低減しつつも、具体的にどの部分が測定可能となり、どの部分が依然として測定不可能であるかを、合成測定画像上で一画面で確認できるので、測定不能領域が少なくなるように測定画像取得条件を調整し易くなり、ユーザの使い勝手が飛躍的に改善される。またハイライト手段212は、測定画像合成手段211で生成された合成測定画像を表示部400上で表示させた状態で、第一測定光投光部110A又は第二測定光投光部110Bで測定されたデータが飽和している領域を、飽和領域として、測定不能領域とは異なる態様でハイライトした状態にて重ねて表示することもできる。
以上のようにして、複数の測定光投光手段で測定可能な領域、測定不可能な領域に関する情報を、一画面で纏めて、視覚的に把握し易い態様にて表示させることができ、測定画像取得条件の設定や調整に際して資することができる。
ここでは、ハイライト手段212で合成測定画像SG上に測定異常領域を重畳させて表示させた例を説明したが、これに限らず、第一測定画像や第二測定画像に対しても、それぞれ測定異常領域を重畳させて表示させることもできる。例えば、後述する図18の例では、第二測定光投光部110Bのみについて得られる第一測定画像S1に、測定不能領域及び飽和領域を重ねて表示させている。このように、単に測定光投光手段単体について生じる測定不能領域や飽和領域を表示させる他、上述した合成測定画像の場合と同様、他方の測定光投光手段での測定結果を加味して、いずれの測定光投光手段でも測定不能又は飽和となる領域のみをハイライト表示させることで、測定画像取得条件の設定を適切に調整し易くできる。
また、以上の例では、ハイライト手段212で測定画像上に測定不能領域や飽和領域を重畳させて表示させた例を説明したが、測定画像に限られず観察画像に対しても同様に、測定不能領域や飽和領域を重畳させて表示させることもできる。
さらに、以上の例では何れかの測定光投光手段で測定不能点又は飽和点となった領域を、測定不能領域、飽和点としてそれぞれ表示しているが、これらを、いずれの測定光投光手段で測定不能点あるいは飽和点となったのかを区別して表示させることもできる。例えば、第一測定光投光部110Aで測定不能となった第一測定不能領域を薄い赤色、第二測定光投光部110Bで測定不能となった第二測定不能領域を濃い赤色でそれぞれ表示する。また同様に、第一測定光投光部110Aでは飽和した第一飽和領域を薄い黄色、第二測定光投光部110Bでは飽和した第二飽和領域を濃い黄色でそれぞれ表示するよう、ハイライト手段212で測定画像に対して着色する。また、このような測定光投光手段を区別したハイライト処理は、第一測定画像や第二測定画像に対して行う他、合成測定画像SGに対して行うことも可能である。このようにすることで、測定不能若しくは飽和した領域を視覚的に区別でき、対象物Sの置き方や測定光のあて方の調整等に際して参考とできる。
例えば、第一測定光投光部110Aによる第一測定画像の明るさを調整する際に、第一測定光投光部110Aでは影となる第一測定不能領域、飽和となる第一飽和領域を、それぞれ濃い赤色、濃い黄色で表示させつつ、第二測定光投光部110Bによる第二測定不能領域、第二飽和領域をそれぞれ薄い赤色、薄い黄色で表示させることで、他方の測定光投光手段(ここでは第二測定光投光部110B)で測定可能な領域、いいかえると第一測定画像の不備を補ってくれる領域を加味した上で、測定不能や飽和となる領域が少なくなるように、最適な測定画像取得条件に調整し易い環境が提供される。
また、上述した実施の形態においてハイライト手段212により着色される色は一例であって、他の色を適宜利用できることはいうまでもない。なお、以上の測定画像合成手段211やハイライト手段212、後述する三次元画像合成手段213は、図1の例では制御手段200のCPUとしているが、この構成に限らず、専用の部材で構成することもできる。
(合成測定画像における測定異常点の扱い)
また、測定画像合成手段211が測定画像同士を合成するに際して、何れかの測定画像に測定異常点が含まれている場合の取り扱いの一例を、図12に示す。この図に示すように、第一測定光投光部110A、第二測定光投光部110Bでそれぞれ各点すなわち画素毎に取得された反射光に何らかの異常が見られる場合、具体的には測定不能の場合、飽和している場合の、各組み合わせについて、予めどのデータを合成測定画像に利用するかを決めておく。ここでは、何れかの投光手段で正常点が取得されている場合は、この正常点を利用する。また、飽和点と測定不能点が含まれている場合は、飽和点を利用する。このようにすることで、よりデータとして相対的に精度の高い方を採用することで、得られる合成測定画像の精度を向上できる。
また、このような扱いは、合成測定画像の生成のみならず、得られた合成測定画像を用いて何らかの測定処理を行う場合においても利用できる。例えば、合成測定画像の任意の位置同士の距離や高低差を測定する際、このような測定の基礎となるデータを、いずれの投光手段で得られたデータを採用するかについて、予め決めた一定の規則に基づいて処理を行う。この際、合成測定画像の生成時の規則と、測定時の規則とを同じとする他、異なる規則を設定することもできる。
なお、上記の例では測定不能点と飽和点についての扱いについて説明したが、測定異常点はこれら測定不能点や飽和点に限らず、例えば多重反射や光の潜り込みを生じている点についても、同様に扱いを決めておくこともできることはいうまでもない。
また、このようなデータの選択基準の持たせ方は、例えば図12のようなテーブルを予め記憶装置等に保持しておき、測定画像合成手段211がテーブルを参照して処理する方式とする他、優先度の高いデータを指定した手順(例えば正常点>飽和点>測定不能点)に基づいて処理させる方式としてもよい。さらに、図12のような規則を予め設定する方式の他、ユーザが、各組み合わせにおいていずれのデータを採用するかを任意に設定可能とすることもできる。
(計測顕微鏡装置操作プログラム)
上述の通り、図1の例では制御手段200であるPCに計測顕微鏡装置500を操作するための操作プログラムをインストールしている。この計測顕微鏡装置操作プログラムを実行させて、そのGUI画面を表示部400に表示させた状態で、ユーザは操作部であるマウスやキーボードを操作して、各種条件を設定して、測定画像を取得できる。計測顕微鏡装置操作プログラムのユーザインターフェース画面を、図5及び図13〜図18に示す。これらの図において、図13は計測顕微鏡装置操作プログラムのGUIで簡単モードを選択した状態を示すイメージ図、図14は図13の状態から「測定画像」ボタン428を押下した状態を示すイメージ図、図15は図13の状態から応用モードを選択した状態を示すイメージ図、図16は図15の状態から「測定画像」ボタン428を押下した状態を示すイメージ図、図17は図16の状態から画像表示領域410を分割表示させた状態を示すイメージ図、図18は図16の状態から測定方向「左側のみ」を選択した状態を示すイメージ図を、それぞれ示している。また各GUI画面において、測定画像や観察画像を表示させるための画像表示領域410を設けており、また画像表示領域410の右端には、各種の操作を行うボタン等を纏めた操作領域420を設けている。
(画像表示領域410)
画像表示領域410においては、観察画像や測定画像を表示できる。特に、取得、撮像した高解像度の測定画像や観察画像を表示させる他、撮像の対象となる対象物Sを、現在設定中の測定画像取得条件や撮像条件で撮像した場合に得られる測定画像や観察画像を簡易的に取得して、表示部400上でリアルタイムに更新することで、ユーザは画像表示領域410で表示される測定画像や観察画像の変化を、設定の前後で比較、参照しながら、測定画像取得条件や撮像条件の設定作業を行うことができる。すなわち、現在設定中のパラメータや対象物Sの位置で撮像した際に得られるであろう画像のイメージをリアルタイムで確認できることから、ユーザが望む画像イメージに視覚的に沿った撮像条件や測定画像取得条件に設定し易くできる。
(分割表示機能)
また表示部400は分割表示機能を備えており、画像表示領域410を、一の画像を表示させる態様の他、二画面以上に分割させることもできる。例えば図17の例では、画像表示領域410の左側に、やや大きく第一分割表示領域411を設け、やや狭いその右側を上下に二分割して、第二分割表示領域412、第三分割表示領域413としている。これら第一分割表示領域411〜第三分割表示領域413の縦横の比率は、同じとすることが好ましい。また、この際第一分割表示領域411は、上下にマスクを設けて、第二分割表示領域412、第三分割表示領域413と同じ比率となるよう調整している。
画像表示領域410の分割表示を行うには、例えば図16に示すように画像モード切替手段で「3Dスキャン」タブ421を選択し、測定画像取得モード選択手段で「エキスパート」ボタン425が選択され、かつ「測定方向」選択欄470で「両側」を選択した状態で、「測定用明るさ調整」欄440の「マニュアル」ボタンを選択する。これによって、図17に示すように3画面に分割表示される。また「測定用明るさ調整」欄440で「オート」ボタンを選択すると、分割表示が解除されて、図16に示すように画像表示領域410が一画面の表示に戻る。また各分割領域には、表示されている画像の種別を表示する種別表示欄415を付加することもできる。図17の例では、種別表示欄415として各分割表示領域の左上に「左右合成」、「左側投光」、「右側投光」等の種別を文字で表示させており、各画像を識別し易くしている。また種別表示欄415に、文字列に加えて、又はこれに代えて、測定光の方向を示すアイコンを表示させてもよい。図17の例では、文字列の左側に、測定光投光手段とここから投光される測定光の広がりを図示したアイコンを表示させることで、ユーザに対し各分割表示領域の表示内容を視覚的に判り易くしている。
なお、画像表示領域を三分割する態様は、上述した例に限らず、例えば画像表示領域を均等に三分割して、合成測定画像、第一測定画像、第二測定画像をそれぞれ表示させたり、あるいは別ウィンドウで各測定画像を表示させる等、種々の態様が適宜利用できる。
図17の例では、第一分割表示領域411に対象物Sの合成測定画像SG、第二分割表示領域412に同じ対象物Sの第二測定画像S2、第三分割表示領域413に第一測定画像S1を、それぞれ表示させている。リアルタイムで各画像を更新しながら表示させるために、第一測定光投光部110A、第二測定光投光部110Bから対象物Sに測定光が切り替わるように交互に照射される。第二分割表示領域412には、第二測定光投光部110Bから測定光が照射された場合における対象物Sの画像が表示される。また第三分割表示領域413には、第一測定光投光部110Aから測定光が照射された場合における対象物Sの画像が表示される。これにより、ユーザは第一測定光投光部110A、第二測定光投光部110Bの各々により測定光を照射された場合における対象物Sの画像を区別して認識することができる。測定光の切り替わりの頻度は、例えば数Hz〜数十Hz程度とする。
(操作領域420)
操作領域420には、各種の設定や操作を行うためのボタンやスライドバー、入力欄等が設けられる。また、各種モードを選択、変更することで、これに応じて表示されるボタン類も変更することができる。なお、以下に示すボタン類の配置は例示であって、任意の態様で配置できる。
(画像モード切替手段)
計測顕微鏡装置操作プログラムは、対象物Sの観察画像を撮像するための観察画像モードと、対象物Sの測定画像を取得する測定画像モードとを、画像モード切替手段で切り替え可能としている。この例では、画像モード切替手段として、観察モードに関するボタン類を集めた「マイクロスコープ」タブ422と、測定画像取得モードに関するボタン類を集めた「3Dスキャン」タブ421とを設けており、所望のタブを選択することで画像モードを観察画像モードと測定画像モードに切り替え可能としている。
(測定画像取得モード選択手段)
この計測顕微鏡装置操作プログラムは、測定画像取得条件の設定を初心者でも簡単に行えるようにした簡単モードと、ユーザによる、より詳細な測定画像取得条件の設定を可能とした応用モードを切り替え可能としている。このため操作領域420において、各画像モードのタブは、その上欄に、簡単モードと応用モードとを選択する測定画像取得モード選択手段が設けられている。図13の例では、測定画像取得モード選択手段として、簡単モードを選択する「1shot−3D」ボタン424と、応用モードを選択する「エキスパート」ボタン425が設けられている。
(画像切替手段)
さらに測定画像取得モード選択手段の下部には、表示中の画像を、観察画像と測定画像とに切り替え可能な画像切替手段が設けられている。この例では、画像切替手段として、「観察画像」ボタン427を押下すると、観察用照明光源を用いて撮像した観察画像が画像表示領域410に表示され、また「測定画像」ボタン428を押下すると、測定光投光手段を用いて取得した測定画像が画像表示領域410に表示される。ここでは、測定光の明るさを変えるパラメータを、カメラの露光時間としている。
(測定画像の取得手順)
次に、計測顕微鏡装置の操作プログラムを用いて測定画像を取得する手順を、図19のフローチャートに基づいて説明する。まず、ステップS1で対象物Sをステージ140にセットし、初期画像を表示させる。この段階では測定画像は未だ取得されていないため、初期画像として、例えば観察画像を用いる。ここで観察画像を撮像する際の照明光の明るさは、自動調整とする。図13に示す例では、画像表示領域410に観察画像SOをリアルタイムで表示させている。また初期画像として、観察画像に代えて、測定光投光手段から投光する測定光の構造化照明のパターンを、すべての点から投光させて取得した、構造化照明の全投影画像とすることもできる。この場合の測定光の明るさも、自動調整とする。
次にステップS2において、測定画像取得モードを測定画像取得モード選択手段から選択する。ここでは、簡単モードと応用モードのいずれかを測定画像取得モード選択手段で選択可能としている。図13の例では、「1shot−3D」ボタン424を押下すると簡単モードが選択され、「エキスパート」ボタン425を押下すると応用モードが選択される。
(簡単モード)
(測定光明るさ調整手段)
ステップS2において簡単モードが選択されると、ステップS3に進み、図13に示すような観察画像が表示される。ここで、図13の画面において右側の操作領域420の下部に設けられた「測定」ボタン430を押下すると、ステップ4に進み、測定光の明るさ(カメラの露光時間又は光量)を自動で調整した後、測定が開始される。
また、図13の状態で「測定画像」ボタン428を押下すると、測定画像が簡易的に取得されて、図14に示すように画像表示領域410に表示される。この状態では、測定画像の明るさは自動で調整されるが、測定光明るさ調整手段を用いて測定光の明るさ(カメラ露光時間又は光量)をユーザが手動で調整することもできる。(ステップS4)。
(三次元画像合成手段213)
このようにして明るさが調整された状態で、操作領域420の下部に設けられた「測定」ボタン430を押下すると、通常の測定画像が取得される(ステップS5)。さらに測定画像に観察画像SOが合成された合成画像STが三次元画像合成手段213で生成されて、表示部400上に表示される。三次元画像合成手段213は、前記観察用照明光源を用いて撮像した観察画像と、測定光投光手段を用いて撮像した測定画像とを合成して、3次元の合成画像STを生成する。すなわち、測定画像が有する高さ情報でもって、観察画像で得られたテクスチャ情報に凹凸を持たせた立体的な画像を生成することができる。図20に示す例では、測定画像の高さ情報を利用して、観察画像をテクスチャ画像として合成した合成画像STが、立体的に画像表示領域410上に表示される。合成画像STは三次元状であり、その位置や姿勢、角度を任意に変更できる。例えば画像表示領域410上で合成画像STをマウス等によりドラッグして、合成画像STを移動、回転させることができる。
(テクスチャ比率調整手段452)
合成画像STの、測定画像と観察画像の比率は、テクスチャ比率調整手段452によって調整される。テクスチャ比率調整手段452は、例えばスライダ状に構成され、スライダを左右に移動させることによって、測定画像(高さ画像)と観察画像(テクスチャ画像)の比率を連続的に変更できる。また、比率を数値で入力させたり、あるいは規定の数値(例えば0%、25%、50%、75%、100%;あるいは0:1、0.5:1、1:1、2:1、3:1、4:1等)をドロップボックスやコンボボタンで選択させる等、任意の方法で比率を指定できる。図20の例では、合成画像STの測定画像(高さ)と観察画像(テクスチャ)の比率を、観察画像(テクスチャ)の占める百分率で表しており、ここではテクスチャ比率調整手段452で観察画像(テクスチャ)の比率を100%に設定している。テクスチャ比率調整手段452で、例えば観察画像(テクスチャ)の比率を0%、すなわち測定画像(高さ)を100%に調整すれば、図21のような表示に切り替わる。画像表示領域410における合成画像STの表示は、テクスチャ比率調整手段452の調整に応答してリアルタイムで更新さる。ユーザは画像表示領域410で表示される合成画像STを参照しながら、テクスチャ比率調整手段452でもって測定画像と観察画像の比率を所望の値に調整できる。なお、この例では合成画像STの生成後におけるテクスチャ比率調整手段452の初期値を、観察画像(テクスチャ)100%としているが、例えば50%とする等、デフォルト値を任意の値、例えば50%に設定してもよい。
また測定画像は、高さを色分けして表示させることもできる。例えば等高線状に、高さの低い領域を青色、高い領域を赤色とし、その中間領域を青→緑→黄→橙→赤等と連続的に変化させるように着色して、視覚的に高さを認識しやすくできる。着色される色や、色を異ならせる高さの区切り等は任意に設定できる。この例では、画像表示領域410の左上に、高さ毎に色分けされたスケールを表示させ、色と高さの関係をユーザが視覚的に把握し易いようにしている。
さらに、合成画像STに対して様々な処理を行うためのボタン類が、操作領域420に設けられている。例えば高さ倍率スライドバー453を調整すれば、合成画像STの高さ方向の倍率を調整できる。これにより、細かな凹凸を強調させて表示させたり、逆に細かな凹凸を平滑化して全体の形状を把握するのに役立てることができる。また、合成画像ST上に測定異常点を重ねて表示させたり、光源を任意の位置に配置して陰影の変化によって立体感を強調させたり、目盛をグリッド状に表示させたり、簡易的な寸法計測を行う等、各種の操作が操作領域420から行える。
さらにまた、合成画像STの生成後においても、表示部400の表示を測定画像、観察画像に切り替えることができる。図20、図21の例では、操作領域420の上段に設けられた画像表示切替手段454でもって、画像表示領域410の表示をワンタッチで切り替え可能である。図20、図21の例では、画像表示切替手段454の「3D」ボタン455が選択されており、この状態で「テクスチャ」ボタン456を押下すると、図22の画面に切り替えられ、画像表示領域410上に観察画像が表示される。同様に画像表示切替手段454で「高さ」ボタン457を押下すると、画像表示領域410の表示が測定画像に切り替えられる。このようにして得られた合成画像STに対して、ユーザは必要に応じて各種の操作を行うことができる。また合成画像STや測定画像に対する解析用のプログラムに切り替えるには、操作領域420の上部に設けられた「解析アプリへ」ボタン450を押下する。これによって、解析用プログラムに切り替えられる。
以上のように、簡単モードによれば3次元の計測に関する設定項目を特に意識することなく、「測定」ボタンを押下することで3次元の合成画像STをほぼ自動的に取得できる。
(応用モード)
一方、ステップS2で応用モードが選択されると、ステップS6に進み、測定光の手動による調整を行う。ここでは図15に示すように、初期画像として図13と同様、観察画像を画像表示領域410に表示させている。この画面では、後に取得される測定画像に対して、合成画像STとして貼り付けるテクスチャ画像の選択が可能となる。さらに「画像改善」ボタン481を押下すると、図23に示すように操作領域420に画像改善パネル480が表示される。画像改善パネル480からは、観察画像のエッジ強調やオフセット、ガンマ補正、ホワイトバランス等を調整することができる。
(テクスチャ画像)
テクスチャ画像は、テクスチャ画像選択手段460で選択される。図15の例では、通常の観察画像の他、HDR画像、深度合成画像のいずれかを、ラジオボタンで選択できる。ここでHDR(ハイダイナミックレンジ)画像は、複数枚の観察画像をカメラ露光時間を変えて撮像した後、これらをハイダイナミックレンジ(HDR)合成して生成される。深度合成画像は、対象物Sの測定対象部分の高低差が被写界深度を超える場合、高さ方向を異ならせて個々に撮像した観察画像中から、ピントが合った部分だけを抜き出して合成した画像である。
このようにしてテクスチャ画像が選択されると、図15において操作領域420に設けられた画像切替手段から「測定画像」ボタン428を押下し、図16の画面に切り替える。この画面は、測定画像取得条件の設定画面であり、操作領域420には、測定画像取得条件を設定するための各種部材が配置される。この例では、上から順に「eプレビュー」ボタン、「測定モード」選択欄472、「測定方向」選択欄470、「測定用明るさ調整」欄440がそれぞれ設けられている。この画面において、測定画像取得条件を確認しながら、測定光の明るさを調整する。
(「測定モード」選択欄472)
「測定モード」選択欄472は、測定方法(縞パターン)を選択できる。この例では「スタンダード」を選択しており、他にも間接光を除去する「ファインモード」や、「ハレーション除去」も選択できる。「ハレーション除去」を選択すると、カメラ露光時間を変更して複数枚の画像を撮像し、これらを合成することで白飛びしている部分、黒つぶれしている部分を他の画像から補うことが可能となる。さらに「スーパーファイン」は、間接光を除去しつつ、ハレーション除去を行いながら測定することができる。図24の例では、「測定モード」選択欄472からプルダウンメニューにより、スタンダード、ファイン、ハレーション除去、スーパーファインのいずれかを選択できる。
(「測定方向」選択欄470)
また「測定方向」選択欄470では、測定光投光手段を選択する。ここでは、第一測定光投光部110A、第二測定光投光部110Bのいずれかを選択できる。図25の画面例では、「測定方向」選択欄470のプルダウンメニューから「左側のみ」を選択すると、測定光投光手段として第二測定光投光部110Bが選択されて、対象物Sの左側から第二測定光を照射した第二測定画像S2が画像表示領域410に表示される。また同様に「右側のみ」を選択すると、各第一測定光投光部110Aが選択されて、対象物Sの右側から第一測定光を照射した第一測定画像S1に画像表示領域410の表示内容が切り替わる。さらに「両側」を選択すると、これら第二測定画像と第一測定画像とを合成した合成測定画像SGが、画像表示領域410に表示される。
(測定光明るさ調整手段)
さらに測定光明るさ調整手段として、図16の右側の操作領域420の中段に「測定用明るさ調整」欄440が設けられている。測定光の明るさは、カメラ露光時間や光量によって調整される。ここでは、「測定用明るさ調整」欄440で「オート」を選択すると、その下方に設けられたスライダを左右に調整して、測定光の明るさを連続的に可変できる。このスライダは、上部に測定光の明るさを数値で表示している。また、測定光の明るさを数値で直接入力可能とすることもできる。このようにして測定光明るさ調整手段で測定光の明るさが調整されると、画像表示領域410で表示される測定画像の明るさが変更された状態に更新され、ユーザは明るさの調整結果をリアルタイムで確認しながら調整を行うことができる。
以上の例では、測定光明るさ調整手段で、合成測定画像SGにおける明るさを調整している。すなわち、図16に示すように「測定方向」選択欄470で「両側」を選択し、画像表示領域410に合成測定画像SGを表示させた状態で、操作領域420に測定光明るさ調整手段として「測定用明るさ調整」欄440を表示させている。この「測定用明るさ調整」欄440は、測定光投光手段である第一測定光投光部110A、第二測定光投光部110Bの光量を同様に調整する。また「測定方向」選択欄470で「左側のみ」又は「右側のみ」を選択すると、上述の通り画像表示領域410には選択された各測定光投光手段で撮像された測定画像が表示されるので、これら第二測定光投光部110B又は第一測定光投光部110Aの光量を、「測定用明るさ調整」欄440でそれぞれ調整できる。
(測定光明るさ個別調整手段442)
その一方で、第一測定光投光部110A、第二測定光投光部110Bの光量を個別に調整することもできる。図16に示すように「測定方向」選択欄470で「両側」を選択した状態で、「測定用明るさ調整」欄440で「マニュアル」を選択すると、図17の画面となり、第一測定光投光部110A及び第二測定光投光部110Bの明るさを個別に調整可能な測定光明るさ個別調整手段442が操作領域420に表示される。ここで測定光明るさ個別調整手段442は、各測定光投光手段毎に明るさを調整可能なスライダ状に構成されている。この例では第二測定光投光部110B用の明るさ調整スライダ446と、第一測定光投光部110A用の明るさ調整スライダ444とを、上下に配置している。これら明るさ調整スライダ444、446を個別に左右に移動させることで、各測定画像の明るさの強弱を個別に調整できる。また上述の通り、測定光明るさ個別調整手段442で調整された値に従って画像表示領域410における測定画像の表示が更新され、ユーザはリアルタイムで測定画像を確認しながら所望の明るさに調整することが可能となる。なお、ここでは説明の便宜上測定光投光部の光量を調整すると説明したが、第一測定画像、第二測定画像の明るさの調整が目的であることから、実際に測定光投光部の光量を調整するのみならず、カメラ露光時間の調整等によって明るさを調整できることは上述の通りである。
(画像連結モード)
また操作領域420の下段には、「画像連結モード」選択欄が設けられている。この「画像連結モード」選択欄をONすると、画像連結モードが選択され、縦・横にステージを動かしながら連続してデータを測定し、そのデータを1つの測定データとして結合することができる。
「測定方向」選択欄470では、上述の通り測定光の方向を選択できる。この例では、図25に示すように「両方」、「左側のみ」、「右側のみ」のいずれかを選択でき、選択された項目に応じて画像表示領域410の表示内容が対応する内容に切り替えられる。例えば図18の例では、「左側のみ」が選択されており、左側の測定光投光手段である第二測定光投光部110Bで得られた第二測定画像S2が、画像表示領域410に表示される。また、このとき第二測定画像S2にはハイライト手段212によって、第二測定光投光部110Bでは測定光が影になって測定できない測定不能領域が赤色で、飽和領域が黄色で、それぞれ表示されている。
この状態で「両方」に切り替えると、図16の画面に切り替わり、両方の測定光投光手段、すなわち第一測定光投光部110Aと第二測定光投光部110Bで得られた第一測定画像S1、第二測定画像S2を合成した合成測定画像SGが、画像表示領域410に表示される。また、このとき合成測定画像SGにはハイライト手段212によって、第一測定光投光部110A及び第二測定光投光部110Bのいずれでも測定光が影になって測定できない測定不能領域が赤色で、飽和領域が黄色で、それぞれ表示されている。
図16と図18を対比すれば明らかな通り、測定不能領域及び飽和領域のいずれも、合成測定画像SGの方が少ないことが判る。すなわち、得られる合成測定画像SGにおいては、一方の測定光投光手段から明らかとなる測定不能領域や飽和領域よりも、実際には測定異常領域がかなり狭いため、図16のような合成測定画像SGベースで測定異常領域が狭くなるように、測定画像取得条件を調整することが、より適切かつ容易であることが理解できる。
さらに必要に応じて、画像表示領域410を分割して、合成測定画像SGとその元となる各測定画像とを一画面で同時に表示させることもできる。すなわち、図16の画面において、操作領域420の「測定用明るさ調整」欄440で「マニュアル」を選択すると、図17に示すように画像表示領域410が三分割されて、第一分割表示領域411に合成測定画像SGが、第二分割表示領域412に第二測定画像S2が、第三分割表示領域413に第一測定画像S1が、それぞれ表示される。これにより、各測定光投光手段による測定異常領域がそれぞれ対比しながら確認できるので、一覧性に優れ、一層容易に対象物Sの位置や姿勢、測定光の明るさ等の測定画像取得条件を調整できる。加えて、図17の画面では上述の通り測定光明るさ個別調整手段442を用いて、各測定光の明るさを個別に調整できる。
なお、上述した簡単モードにおいても、このような測定不能点や飽和点の確認を行うことができる。例えばステップS3において、「測定画像」を表示すれば、両側合成の画像に測定不能点や飽和点を表示することができる。
このようにして、応用モードにおいて測定画像取得条件の設定や調整を行う。そして、図19のフローチャートのステップS7において測定光の明るさが適切かどうかを判定し、適切な場合はステップS9に進む。一方、測定光の明るさが未だ適切でない場合は、ステップS8に進み、測定モードの選択や測定明るさを調整する。
このようにして測定光の設定が適切に行われると、ステップS9に進み、テクスチャ画像の設定が必要かどうかを判定する。必要な場合はステップS10にてテクスチャ画像の設定を行う。ここでは図15の画面において、テクスチャ画像選択手段460を用いてテクスチャ画像の選択を行う。
(観察画像撮像条件設定手段490)
また必要に応じて、観察画像の撮像条件を設定する。図15の画像表示領域410の上段には、このような観察画像の撮像条件を設定するための観察画像撮像条件設定手段490が設けられている。観察画像撮像条件設定手段490は、例えば観察画像を撮像するシャッタースピード切り換えや撮像の倍率、フォーカス調整等の設定を含んでいる。図26に示す例では、撮像手段の明るさを「オート」又は「マニュアル」から選択する。「マニュアル」を選択した場合は、カメラ明るさ調整スライダ492でもって撮像手段の明るさを調整する。また、このような観察画像の撮像条件の設定は、簡単モードでも行うことができる。例えば図13でも、上記と同様に画像表示領域410の上段に観察画像撮像条件設定手段490を設けており、ここから倍率やフォーカス調整、シャッタースピードの切り替え等を行える。
なお、測定画像の取得においては、観察画像の撮像は任意であり、例えば合成測定画像や観察画像が不要の場合は、図19のフローチャートにおいてステップS9やS10を省略することもできる。
このようにしてすべての撮像条件の設定が終わると、ステップS11に進み、測定画像を取得する。ここでは、図17等の画面から、「測定」ボタン430を押下すると、測定画像が取得され、さらに測定画像にテクスチャ画像を加えた合成画像が、画像表示領域410に表示される(ステップS9)。引き続きユーザは、必要に応じて測定操作を行う。測定用のプログラムに切り替えるには、操作領域420の上部に設けられた「解析アプリへ」ボタン450を押下し、解析用プログラムに切り替える。
以上のように、応用モードではより測定画像の取得に関するより詳細な条件をユーザが調整できる。これにより、操作に詳しいユーザは所望の条件に設定することが可能となる。その一方で、操作に詳しくないユーザに対しては、上述の通り簡単モードを提供することで、一通りの設定を自動で行えるようにしている。このように、簡単モードと応用モードとで、提供する設定項目を変更し、ユーザが設定可能なパラメータを異ならせることで、ユーザの習熟度や要求に応じた操作環境を提供できる。