JP5841353B2

JP5841353B2 - 内視鏡装置および画像取得方法

Info

Publication number: JP5841353B2
Application number: JP2011116091A
Authority: JP
Inventors: 横田　政義; 政義横田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-05-24
Filing date: 2011-05-24
Publication date: 2016-01-13
Anticipated expiration: 2031-05-24
Also published as: EP2700347B1; EP2700347A4; US20140066784A1; WO2012161246A1; US9451872B2; EP2700347A1; JP2012239829A

Description

本発明は、内視鏡装置および画像取得方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置、および内視鏡装置を用いて複数の画像を取得する方法に関する。

従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡が使用されている。このような内視鏡の中には、被検物に対して縞パターンを投影した縞画像を、当該縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。例えば、特許文献１には、縞を投影するための２つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。

米国特許出願公開第２００９／０２２５３２１号公報

しかしながら、特許文献１に記載の内視鏡装置では、複数の画像を取得する際に内視鏡装置や被検物にブレが生じた場合に、取得された複数の画像間に位置ずれが生じる可能性があった。たとえば、被検物に照明光を照射して取得した明視野画像と、被検物に縞パターンを投影して取得した縞画像との間に位置ずれが生じると、縞画像を用いて三次元形状を解析した結果と明視野画像上の映像とを精度良く対応させることができなくなってしまう。

本発明は、上述した事情に鑑みてなされたものであって、その目的は、取得された複数の画像間の位置ずれを抑えることができる内視鏡装置および画像取得方法を提供することである。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、を備え、前記制御部は、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間と、前記第二光源からの前記投影光の出射が開始されてから前記投影光の光量が前記画像の取得に必要な光量に達するまでの時間とに基づいて、前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が長い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が短い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、ことを特徴とする内視鏡装置である。

本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、を備え、前記制御部は、前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間とに基づいて、前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が短い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が長い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、ことを特徴とする内視鏡装置である。

本発明の内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、を備え、前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも短い場合は、前記照明部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記パターン投影部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、また、前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも長い場合は、前記パターン投影部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記照明部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置である。

また、前記第一光源と前記第二光源との少なくともいずれかに、光の出射状態を切り替えるシャッターが設けられていることが好ましい。

また、前記制御部は、前記照明光が照射された状態で取得された前記被検物の画像と前記投影光が照射された状態で取得された前記被検物の画像とから少なくとも２枚の画像を選択して前記２枚の画像のずれ量に基づいて前記挿入部と前記被検物とのブレを検出するブレ検出手段を備えることが好ましい。

本発明の内視鏡装置および画像取得方法によれば、取得された画像間の位置ずれを抑えることができる。

本発明の一実施形態の内視鏡装置の構成を示すブロック図である。同内視鏡装置によって投影される明暗パターンを示す模式図である。同内視鏡装置の使用時の動作を説明するためのフローチャートである。同内視鏡装置の使用時における光量と時間との関係を示すグラフである。同実施形態の変形例の内視鏡装置の使用時における光量と時間との関係を示すグラフである。同実施形態の変形例の内視鏡装置の使用時における光量と時間との関係を示すグラフである。

以下、本発明の一実施形態の内視鏡装置および画像取得方法について説明する。
まず、本実施形態の内視鏡装置１の構成について説明する。図１は、内視鏡装置１の構成を示すブロック図である。図２は、内視鏡装置１によって投影される明暗パターンを示す模式図である。
内視鏡装置１は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部１０と、挿入部１０の基端が接続された本体部２０とを備える。

図１に示すように、挿入部１０は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部１０には、被検物の画像を取得する撮像部３０と、挿入部１０前方の観察視野を照明する照明部４０と、被検物に明暗パターンを投影するパターン投影部５０とが設けられている。
また、挿入部１０の先端面１０ａには、撮像部３０の対物光学系３２に外光を入射させるための開口１１と、照明部４０からの照明光を挿入部の前方に照射するための照明窓１２と、パターン投影部５０からの明暗パターンを挿入部の前方に照射するための投影窓１３とが設けられている。本実施形態では、パターン投影部５０は明暗パターンとして、縞パターンを披検物に投影するものとする。

撮像部３０は、挿入部１０の先端付近に配置されたイメージャー３１と、イメージャー３１の前方に配置された対物光学系３２と、イメージャー３１と接続されたイメージャー制御部３３とを備える。

イメージャー３１としては、ＣＣＤ、ＣＭＯＳ等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。

対物光学系３２は、挿入部１０の開口１１内に配置されている。対物光学系３２は、所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー３１に入射させ、被検物の像を結像させる。また、対物光学系３２は、開口１１を封止する光透過性のカバー部材３２ａを有する。

イメージャー制御部３３は、本体部２０内に設けられており、挿入部１０内を延びる配線３４によりイメージャー３１と接続されている。イメージャー制御部３３は、イメージャー３１の駆動および映像信号を取得する設定等の各種制御を行う。

照明部４０は、第一光源４１と、照明光学系４２と、第一光源４１の光を照明光学系４２に導く第一ファイバーバンドル４３と、第一光源４１と第一ファイバーバンドル４３との間に配置される第一入射光学系４４とを備える。

第一光源４１は、白色光を発する光源であり、本体部２０の内部に配置されている。第一光源４１としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源４１として、ハロゲンランプが採用されている。第一光源４１から発せられる光は、被検物を照明するための照明光となる。

照明光学系４２は、挿入部１０の先端または先端付近に取り付けられている。照明光学系４２は、挿入部１０の照明窓１２内に設けられた光透過性のカバー部材４２ａと、図示しないレンズ群とを有する。照明光学系４２は、第一光源４１から照射された光を対物光学系３２の画角に適した視野範囲に広げて照明窓１２から出射させ、観察視野をまんべんなく照明する。

第一ファイバーバンドル４３は、照明光学系４２の近傍から挿入部１０を通って本体部２０内の第一光源４１近傍まで延びている。第一ファイバーバンドル４３の種類には特に制限はなく、一般的なライトガイドを使用可能である。

第一入射光学系４４は、第一光源４１から発せられる光を第一ファイバーバンドル４３の径と同程度まで収束させて効率よく第一ファイバーバンドル４３内に導入する。

パターン投影部５０は、第二光源５１と、投影光学系５２と、第二光源５１の光を投影光学系５２に導く第二ファイバーバンドル５３と、第二光源５１と第二ファイバーバンドル５３との間に配置される第二入射光学系５４と、第二光源５１から出射された光の光路上に配置されたパターン生成部５５とを備える。

第二光源５１は、第一光源４１とは異なる光を発する光源であり、本体部２０の内部に配置されている。第二光源５１としては、ＬＥＤ光源やレーザー光源などを採用することができる。本実施形態では、第二光源５１としてＬＥＤ光源が採用されている。第二光源５１から発せられる光は、縞パターンを投影するための投影光となる。

投影光学系５２は、挿入部１０の先端または先端付近に取り付けられている。投影光学系５２は、挿入部１０の投影窓１３内に設けられた光透過性のカバー部材５２ａを有する。なお、投影窓１３に設けられたカバー部材５２ａはレンズ形状であっても構わない。投影光学系５２は、第二光源５１から照射された光を、対物光学系３２の画角に適した視野範囲に広げて１つの投影窓１３から観察視野内に投影する。

第二ファイバーバンドル５３は、投影光学系５２の近傍から挿入部１０を通って本体部２０内の第二光源５１近傍まで延びている。第二ファイバーバンドル５３としては、第一ファイバーバンドル４３と同様に一般的なライトガイドを使用することができる。

第二入射光学系５４は、第二光源５１から発せられた光を、第二ファイバーバンドル５３の径と同程度まで収束させて効率よく第二ファイバーバンドル５３内に導入する。

パターン生成部５５は、縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。

このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるＭＥＭＳ（マイクロ電子機器システム）ミラーモジュール等がパターン生成部５５として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部５５全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部５０の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部５５に接続されたパターン制御部５６によって行われる。

本体部２０内には、上述のイメージャー制御部３３と、照明部４０から照明光を出射する動作およびパターン投影部５０から投影光を出射する動作を制御する光源制御部２１と、メイン制御部２２とが設けられている。

イメージャー制御部３３には、イメージャー３１の取得した映像信号を処理するビデオプロセッサー２７と、イメージャー制御部３３の動作を制御するメイン制御部２２とが接続されている。ビデオプロセッサー２７およびメイン制御部２２は本体部２０内に設けられている。

ビデオプロセッサー２７には、ビデオプロセッサー２７によって処理された映像信号を画像として表示するモニター２８が接続されている。
光源制御部２１は、第一光源４１および第二光源５１、並びにメイン制御部２１に接続されており、メイン制御部２２による制御に基づいて第一光源４１および第二光源５１のオン／オフを制御する。

メイン制御部２２は、さらに、操作部２３、ＲＡＭ２４、ＲＯＭ２６、補助記憶装置２５、およびパターン制御部５６に接続されている。

操作部２３は、使用者が内視鏡装置１に各種入力を行うためのスイッチなどを有する。また、操作部２３として、モニター２８の表示画面と重ねて設けられたタッチパネルが採用されてもよい。

ＲＡＭ２４は、内視鏡装置１を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
ＲＯＭ２６は、たとえばファームウェア等が記録されており、内視鏡装置１の起動時にファームウェア等が読み出されるようになっている。
補助記憶装置２５は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。

次に、メイン制御部２２の構成について詳述する。
メイン制御部２２には、第一光源４１からの照明光の出射が開始されてから照明光の光量が安定するまでの時間ｗａ（図４参照）と、第二光源５１からの投影光の出射が開始されてから投影光の光量が安定するまでの時間ｗｂ（図４参照）とが予め記憶されている。これらの時間は、光源の種類によって、あるいは実測値に基づいて定めることができる。本実施形態では、第一光源４１がハロゲンランプであり第二光源５１がＬＥＤ光源であることにより、時間ｗａが時間ｗｂより長いという関係になっている。

メイン制御部２２は、上述の時間ｗａおよび時間ｗｂに基づいて、照明部４０とパターン投影部５０とのうち光量が安定するまでの時間が長い方を先に動作させ、照明部４０とパターン投影部５０とのうち光量が安定するまでの時間が短い方を後に動作させる。
メイン制御部２２は、照明光が照射された状態の被検物の画像（以下、「明視野画像」と称する。）と、投影光による縞パターンが投影された状態の被検物の画像（以下、「パターン投影画像」と称する。）とを、イメージャー制御部３３を制御することによって撮像部３０に取得させる。本実施形態では、明視野画像が先に取得される第一の画像であり、パターン投影画像が後に取得される第二の画像である。

また、メイン制御部２２は、明視野画像とパターン投影画像とから少なくとも２枚の画像を選択し、選択された２枚の画像のずれ量に基づいて挿入部１０と被検物とのブレを検出するブレ検出手段を備える。
ブレ検出手段には、２枚の画像において許容するずれ量の閾値が予め記憶されている。ブレ検出手段は、公知の手段により２枚の画像におけるずれ量を検出し、２枚の画像におけるずれ量が閾値を超えている場合には、挿入部１０と被検物との間の相対移動（以下、「ブレ」と称する。）があったと判定する。

さらに、メイン制御部２２は、パターン投影画像を用いて被検物の三次元形状を計測する計測プログラムを動作させることができるようになっている。

次に、本実施形態の画像取得方法について、内視鏡装置１の使用時の動作とともに説明する。
図３は、内視鏡装置１の使用時の動作を説明するためのフローチャートである。図４は、内視鏡装置１の使用時における光量と時間との関係を示すグラフである。
本実施形態の画像取得方法は、内視鏡装置を用いて、被検物に照明光を照射して被検物の画像を取得し、投影光を用いて縞パターンを被検物に投影して被検物の画像を取得する方法である。また、本実施形態の内視鏡装置１は、取得された画像を用いて被検物の三次元形状を計測することができる。

内視鏡装置１の使用時には、まず、使用者は、挿入部１０を被検物の内部や管路等の被検物へのアクセス経路等に挿入し、所定の観察部位まで挿入部１０の先端を進める。使用者は、被検物の所望の部位を観察する観察モードと、当該部位の三次元形状を計測する計測モードとを必要に応じて切り替えることにより、被検物の検査等を行う。

観察モードでは、メイン制御部２２の指令を受けて光源制御部２１が第一光源４１をオン制御し、第二光源５１をオフ制御する。その結果、パターン投影部５０からは縞パターンが投影されずに照明部４０から観察視野に白色光が照射され、観察視野が照明される（以下、この照明状態を「観察状態」と称する。）。照明された被検物の像は、対物光学系３２を通してイメージャー３１に結像される。イメージャー３１から送られた映像信号は、ビデオプロセッサー２７で処理されてモニター２８に表示される。使用者は、モニター２８に表示される被検物の画像により被検物を観察したり、必要に応じて画像を保存したりすることができる。

観察モードから計測モードへ切り替える場合には、モードを切り替える指示を使用者が入力する。観察モードから計測モードへ切り替える入力が使用者によって行われると、メイン制御部２２において、計測画像撮影処理（図３参照）が開始される。

計測画像撮影処理では、まず、内視鏡装置１が観察状態となっているか否かを判定する（図３に示すステップＳ１）。
ステップＳ１において観察状態となっていると判定された場合にはステップＳ３へ進み、ステップＳ１において観察状態以外（例えば後述する計測状態）となっている場合にはステップＳ２へ進む。
これでステップＳ１は終了する。

ステップＳ２は、内視鏡装置１を観察状態に切り替えるステップである。
ステップＳ２では、第一光源４１をオン制御し、第二光源５１をオフ制御する。これにより、パターン投影部５０からは縞パターンが投影されずに照明部４０から観察視野に白色光が照射され、観察視野が照明される。
図４に示すように、ステップＳ２において第一光源４１が時間ｔ_ａ０においてオン制御されると、第一光源４１の光量は増加し、時間ｔ_ａ１において第一光源４１の光量が安定する。本実施形態では、第一光源４１の光量が安定した時間ｔ_ａ１の後、明視野画像の取得をすることができる。
これでステップＳ２は終了し、ステップＳ３へ進む。

ステップＳ３は、縞パターンが投影されず、照明部４０からの照明光によって照明された被検物の画像を撮影するステップである。
ステップＳ３では、照明部４０からの照明光によって被検物を照明している状態で撮像部３０のイメージャー３１によって画像（明視野画像）を取得する。
ステップＳ３において撮影された明視野画像は、ＲＡＭ２４に一時記憶される。
これでステップＳ３は終了し、ステップＳ４へ進む。

ステップＳ４は、縞パターンを被検物に投影するステップである。
ステップＳ４では、メイン制御部２２の指令に基づいて、第一光源４１をオフ制御し、第二光源５１をオン制御する。図４に示すように、ステップＳ４において第二光源５１が時間ｔ_ｂ０においてオン制御されると、第二光源５１の光量は増加し、時間ｔ_ｂ１において第二光源５１の光量が安定する。本実施形態では、第二光源５１の光量が安定した時間ｔ_ｂ１の後、パターン投影画像の取得をすることができる。
被検物に投影される縞パターンは、図２に示すように、白色光源による明部Ｒ１と、縞パターン生成部５５によって遮光された暗部Ｒ２とが交互に並べられたパターンとなる。これにより、適切な縞が１ヶ所から被検物に投影されている状態（以下、この状態を「パターン投影状態」と称する。）となる。

なお本実施形態では、図４で示されている時間ｗａと時間ｗｂは、照明光または投影光の光量が一定となる安定状態に達するまでの時間として説明しているが、時間ｗａと時間ｗｂを、光量はまだ安定状態には達していないが、画像取得に必要な光量に達するまでの時間としてもよい。

また、図６に示すように、メイン制御部２２には、照明光を出射している第一光源４１の停止または照明光の遮断を開始してから照明光の光量が画像取得に影響がない光量まで減少するまでの時間ｗｅと、投影光を出射している第二光源５１の停止または投影光の遮断を開始してから投影光の光量が画像取得に影響がない光量まで減少するまでの時間ｗｆとが予め記憶されていてもよい。この場合、メイン制御部２２は、上述の時間ｗｅおよび時間ｗｆに基づいて、照明部４０とパターン投影部５０とのうち光量が画像取得に影響がない光量まで減少するまでの時間が短い方を先に動作させ、照明部４０とパターン投影部５０とのうち光量が画像取得に影響がない光量まで減少するまでの時間が長い方を後に動作させる。

さらにまた、図示しないが、照明光を出射している第一光源４１の停止または照明光の遮断を開始してから前記照明光の光量が画像取得に影響がない光量まで減少するまでの時間と、第二光源５１からの照明光の出射が開始されてから照明光の光量が画像取得に必要な光量に達するまでの時間との合計時間Ｄ３が、投影光を出射している第二光源５１の停止または投影光の遮断を開始してから投影光の光量が画像取得に影響がない光量まで減少するまでの時間と、第一光源４１からの照明光の出射が開始されてから照明光の光量が画像取得に必要な光量に達するまでの時間との合計時間Ｄ４よりも短い場合は、メイン制御部２２は、照明部４０を先に動作させ、パターン投影部５０を後に動作させてもよい。
また、合計時間Ｄ４の方が合計時間Ｄ３の方が短い場合は、メイン制御部２２は、パターン投影部５０を先に動作させ、照明部４０を後に動作させる。

なお、本実施形態では、第一光源４１が完全に消灯してから第二光源５１を点灯させる例を図４や図６に示している。必要に応じて、第一光源４１の停止あるいは遮断を開始したら、すぐに第二光源５１の点灯を開始させて、第一光源４１の光量が減少している期間と、第二光源５１の光量が増大している期間をオーバーラップしてもかまわない。
このようにすることで、第一の画像の取得を開始する時間ｔ_ａ１から下記ステップＳ５において第二の画像の取得を終了するまでの時間を、さらに短くすることができる。
これでステップＳ４は終了し、ステップＳ５へ進む。

ステップＳ５は、パターン投影状態でパターン投影画像を撮影するステップである。
ステップＳ５では、被検物に投影された縞パターンは、被検物の三次元形状に応じて変化したパターンとなっている。この状態で、撮像部３０のイメージャー３１によって１枚の画像を取得する（以下、パターン投影状態で撮影された画像を「パターン投影画像」と称する。）。
ステップＳ５において撮影されたパターン投影画像は、ＲＡＭ２４に一時記憶される。
これでステップＳ５は終了し、ステップＳ６へ進む。

本実施形態では、ステップＳ３において明視野画像の取得を開始する時間ｔ_ａ１からステップＳ５においてパターン投影画像の取得を終了する時間ｔ_ｂ２までの時間の長さＤ１は、第二光源５１の点灯が開始されてから第二光源５１の光量が安定するまでの時間ｗｂを含んでいる。
上記時間ｗｂは、第一光源４１の点灯が開始されてから第一光源４１の光量が安定するまでの時間ｗａよりも短い。このため、本実施形態の場合には、第二光源５１を第一光源４１よりも後に点灯させることにより、２枚の画像（明視野画像およびパターン投影画像）を取得する間隔が、第一光源４１を第二光源５１よりも後に点灯させる場合よりも短くなっている。
このように、上記ステップＳ２ないしステップＳ５では、照明光の出射が開始されてから照明光の光量が安定するまでの時間ｗａと、投影光の出射が開始されてから投影光の光量が安定するまでの時間ｗｂとに基づいて、光量が安定するまでの時間が長い照明光を用いて被検物の明視野画像を取得し、明視野画像を取得した後に、光量が安定するまでの時間が短い投影光を用いて被検物のパターン投影画像を取得する。

ステップＳ６は、ステップＳ２からステップＳ５までの間に撮影された画像（明視野画像とパターン投影画像）に基づいて、ステップＳ２からステップＳ５までの間における挿入部１０と被検体とのブレを検出するステップである。
ステップＳ６では、まず、ＲＡＭ２４に記憶された明視野画像とパターン投影画像とのそれぞれから同一の特徴点を検出し、２枚の画像における特徴点の座標を算出する。
これでステップＳ６は終了し、ステップＳ７に進む。

ステップＳ７は、ステップＳ６において検出された特徴点を用いて２つの画像のブレを判定して処理を分岐するステップである。
ステップＳ７では、２枚の画像における特徴点の座標がそれぞれの画像において同一の座標にあれば、最初の画像と後の画像とにブレは生じていないと判定し、ステップＳ８へ進む。逆に、２枚の画像における特徴点の座標がそれぞれの画像において異なる座標にあれば、最初の画像と後の画像とにブレが生じていると判定し、ブレが生じているので再度の撮影が必要であることを示すメッセージをモニター２８に表示し（ステップＳ１１）、一連の処理を終了する。
これでステップＳ７は終了する。

ステップＳ８は、撮影したパターン投影画像を用いた三次元計測を今行うか後で行うかを使用者に選択させるステップである。
ステップＳ８では、例えば「計測を実施？」などの問い合わせをモニター２８に表示し、撮影したパターン投影画像を用いた三次元計測の実施の可否の入力を使用者に促す。
計測の実施が可であるとの入力があった場合には、ステップＳ９へ進む。
計測の実施が否であるとの入力があった場合には、ステップＳ１２へ進む。
これでステップＳ８は終了する。

ステップＳ９は、三次元計測を行うための解析をするステップである。
ステップＳ９では、ＲＡＭ２４に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、１枚のパターン投影画像を用いて、例えば公知の空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
三次元形状の解析結果は、テキストファイルあるいはバイナリーファイルとして生成され、パターン投影画像とともに補助記憶装置２５に保存される。なお、ステップＳ９は、ステップＳ８の開始と同時にステップＳ８のバックグラウンド処理として行われてもよい。
これでステップＳ９は終了し、ステップＳ１０へ進む。

ステップＳ１０は、モニター２８上の表示を各種計測モードの画面に移行させ、ステップＳ１０で保存された情報を用いてモニター２８上に計測結果を表示するステップである。
ステップＳ１０では、ステップＳ３において取得した明視野画像上に、ステップＳ９において解析された結果をオーバーレイ表示する等、明視野画像に表示された被検物の三次元形状をモニター２８に表示する。これにより、使用者は、被検物の三次元形状を知ることができる。
これでステップＳ１０は終了し、一連の処理は終了する。

ステップＳ１２は、上記ステップＳ８から分岐したステップであり、計測結果の表示を後で行うために必要な情報処理を行うステップである。
ステップＳ１２では、上記ステップＳ９と同様に、ＲＡＭ２４に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、１枚のパターン投影画像を用いて、例えば公知の空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
また、明視野画像、パターン投影画像、三次元形状の解析結果、および解析に用いた光学的パラメータを、それぞれバイナリーファイルあるいはテキストファイルとして補助記憶装置２５に保存する。この場合、例えばファイル名の一部を共通としたり、１つのディレクトリ（フォルダ）にこれらのファイルをまとめて保存したりすることにより、後で一括して読み出すことができるように補助記憶装置２５にこれらのファイルが保存される。
これでステップＳ１２は終了し、一連の処理は終了する。

以上説明したように、本実施形態の内視鏡装置１および画像取得方法によれば、第一光源４１と第二光源５１とにおいて光量が安定するまでの時間ｗａ、時間ｗｂに基づいて、光量が安定するまでの時間が長い第一光源４１を用いた明視野画像の取得を先に行い、明視野画像が取得されたあと、パターン投影画像を取得するようになっている。このため、明視野画像とパターン投影画像とを取得する間隔を短縮することができる。これにより、取得された複数の画像間の位置ずれを抑えることができる。

また、光量や色などの光学的特性を最適化する目的で光量が安定するまでの時間が異なる複数種類の光源を組み合わせて使用する場合であっても、取得された複数の画像間の位置ずれが最も少なくなる順序で画像が取得されることにより、パターン投影画像を用いて三次元形状を解析した結果と明視野画像上の映像とを精度良く対応させることができる。

さらに、被検物の画像の取得を開始してから被検物の画像の取得を終了するまでの時間を短縮することもできる。

（変形例）
次に、上述の実施形態で説明した内視鏡装置１および画像取得方法の変形例について説明する。
図５は、本変形例の内視鏡装置１Ａの使用時における光量と時間との関係を示すグラフである。
本変形例の内視鏡装置１Ａ（図１参照）は、第一光源４１に代えて、シャッターモジュールを有する第一光源４１Ａが設けられている点と、メイン制御部２２の動作とが上述の内視鏡装置１と異なっている。
第一光源４１Ａのシャッターモジュールは、光源制御部２１によって開閉動作が制御されるシャッターである。

本変形例では、第一光源４１Ａは、内視鏡装置１Ａが起動している間は点灯しており、シャッターモジュールが開閉動作することにより、照明光のオンおよびオフ、並びに出射光量が光源制御部２１からの制御に従って調整される。なお、第一光源４１Ａを制御する光源制御部２１は、明視野画像を撮像する必要がないときに第一光源４１Ａを消灯させる省電力回路を有していてもよい。

本変形例では、シャッターモジュールを有する第一光源４１Ａからの照明光の出射が開始されてから照明光の光量が安定するまでの時間ｗｄ（図５参照）は、第一光源４１Ａのシャッターが開動作されてからシャッターが全開となるまでの時間である。時間ｗｄは、第二光源５１からの投影光の出射が開始されてから投影光の光量が安定するまでの時間ｗｃ（本変形例では図４に示す時間ｗｂと同じ長さ）よりも短い。

上述の時間ｗｃと時間ｗｄとの関係に対応し、メイン制御部２２は、照明部４０とパターン投影部５０とのうち光量が安定するまでの時間が長いパターン投影部５０を先に動作させ、照明部４０とパターン投影部５０とのうち光量が安定するまでの時間が短い照明部４０を後に動作させる。さらに、メイン制御部２２は、撮像部３０に対して、縞画像を先に取得させ、パターン投影画像が取得された後に明視野画像を取得させる。

本変形例の内視鏡装置１Ａおよび画像取得方法では、図５に示すように、パターン投影画像の取得を開始する時間ｔ_ｃ１から明視野画像の取得を終了する時間ｔ_ｄ２までの時間の長さＤ２は、第一光源４１Ａのシャッターが開動作されてからシャッターが全開となるまでの時間ｗｄを含んでいる。
上記時間ｗｄは、第二光源５１の点灯が開始されてから第二光源５２の光量が安定するまでの時間ｗｃよりも短い。このため、本変形例の場合には、第一光源４１Ａを第二光源５１よりも後に点灯させることにより、２枚の画像（明視野画像およびパターン投影画像）を取得する間隔が、第二光源５１を第一光源４１Ａよりも後に点灯させる場合よりも短くなっている。

このように、本変形例の内視鏡装置１Ａおよび画像取得方法でも、上述の実施形態で説明した内視鏡装置１および画像取得方法と同様の効果を奏する。
また、シャッターモジュールを有する第一光源４１Ａが採用されているので、第一光源４１Ａからの光の出射が開始されてから第一光源４１Ａの光量が安定する時間ｗｄは、光源自体の光量が安定するまでの時間ではなく、シャッターが開閉する時間に依存する。このため、光量が安定するまでにかかる時間が長い光源を採用してもよく、光源の選択の自由度が高まる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、上述の実施形態では、第一光源と第二光源との組み合わせとしてそれぞれハロゲンランプとＬＥＤ光源とによる例を示したが、第一光源がＬＥＤ光源であって第二光源がハロゲンランプである組み合わせを採用することもできる。この場合、光量が安定するまでの時間が長いのは第二光源となるので、上述の変形例で示した順序と同様に、パターン投影画像を先に取得させ、明視野画像をその後に取得させるようにメイン制御部は構成される。

また、光源にシャッターモジュールを設けても光量が安定するまでの時間の関係が逆転しない場合には、画像の取得順序を入れ替える必要はない。

また、第二光源にシャッターモジュールを設けることもできる。さらに、第一光源と第二光源との両方にシャッターモジュールを設けることもできる。

また、上述の実施形態および変形例では、挿入部の先端面の一箇所から縞パターンが投影される構成の内視鏡装置を例示したが、挿入部の先端面の複数個所から位相が異なる縞パターンが投影される構成の内視鏡装置であってもよい。この場合にも、上述の実施形態および変形例で説明したのと同様の効果を奏する。
また、挿入部の先端面に複数の照明窓が開口されていてもよい。

また、上述の実施形態では、パターン投影画像を１枚だけ取得する例を示したが、互いに位相が異なる複数の縞パターンを被検物に投影し、互いに位相が異なる複数のパターン投影画像を取得して時間的位相シフト法などによって三次元形状の解析を行ってもよい。

また、上述の実施形態において、パターン投影画像を取得したあとに、再度明視野画像を取得してもよい。この場合、パターン投影画像を取得する前後に取得した明視野画像を用いてブレを検出することができる。

また、パターン投影画像および明視野画像をそれぞれ複数枚取得し、三次元形状の解析およびブレの検出をするために最適な画像を適宜選択できるようにしてもよい。

また、明視野画像を取得するために必要な光量とパターン投影画像を取得するために必要な光量とが互いに異なっている場合もある。この場合、第一光源から出射される光量と第二光源から出射される光量は互いに異なっていてもよい。

また、上述の実施形態及び変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

１、１Ａ内視鏡装置
１０挿入部
１１開口
１２照明窓
１３投影窓
２０操作部
２１光源制御部
２２メイン制御部
３０撮像部
３２対物光学系
３３イメージャー制御部
４０照明部
４１第一光源
５０パターン投影部
５１第二光源

Claims

光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、
を備え、
前記制御部は、
前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間と、前記第二光源からの前記投影光の出射が開始されてから前記投影光の光量が前記画像の取得に必要な光量に達するまでの時間とに基づいて、
前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が長い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、
前記照明部と前記縞投影部とのうち光量が前記画像の取得に必要な光量に達するまでの時間が短い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置。
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、
を備え、
前記制御部は、
前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間とに基づいて、
前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が短い方を先に動作させて前記被検物の第一の画像を前記撮像部に取得させ、
前記照明部と前記パターン投影部とのうち前記画像の取得に影響がない光量まで減少するまでの時間が長い方を前記第一の画像の取得後に動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置。
光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
前記撮像部によって前記画像を取得する動作、前記照明部から前記照明光を出射する動作、および前記パターン投影部から前記投影光を出射する動作を制御する制御部と、
を備え、
前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、
前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも短い場合は、
前記照明部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記パターン投影部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、
また、
前記照明光を出射している前記第一光源の停止または前記照明光の遮断を開始してから前記照明光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第二光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間が、
前記投影光を出射している前記第二光源の停止または前記投影光の遮断を開始してから前記投影光の光量が前記画像の取得に影響がない光量まで減少するまでの時間と、前記第一光源からの前記照明光の出射が開始されてから前記照明光の光量が前記画像の取得に必要な光量に達するまでの時間との合計時間よりも長い場合は、
前記パターン投影部を先に動作させて前記被検物の第一の画像を前記撮像部に取得させた後に前記照明部を動作させて前記被検物の第二の画像を前記撮像部に取得させる、
ことを特徴とする内視鏡装置。
請求項１〜請求項３の何れか１項に記載の内視鏡装置であって、
前記第一光源と前記第二光源との少なくともいずれかに、光の出射状態を切り替えるシャッターが設けられていることを特徴とする内視鏡装置。
請求項１〜請求項４の何れか１項に記載の内視鏡装置であって、
前記制御部は、前記照明光が照射された状態で取得された前記被検物の画像と前記投影光が照射された状態で取得された前記被検物の画像とから少なくとも２枚の画像を選択して前記２枚の画像のずれ量に基づいて前記挿入部と前記被検物とのブレを検出するブレ検出手段を備えることを特徴とする内視鏡装置。