[go: up one dir, main page]

JP4812418B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP4812418B2
JP4812418B2 JP2005351773A JP2005351773A JP4812418B2 JP 4812418 B2 JP4812418 B2 JP 4812418B2 JP 2005351773 A JP2005351773 A JP 2005351773A JP 2005351773 A JP2005351773 A JP 2005351773A JP 4812418 B2 JP4812418 B2 JP 4812418B2
Authority
JP
Japan
Prior art keywords
bending
subject
imaging
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005351773A
Other languages
English (en)
Other versions
JP2007151862A (ja
JP2007151862A5 (ja
Inventor
健一 膳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005351773A priority Critical patent/JP4812418B2/ja
Publication of JP2007151862A publication Critical patent/JP2007151862A/ja
Publication of JP2007151862A5 publication Critical patent/JP2007151862A5/ja
Application granted granted Critical
Publication of JP4812418B2 publication Critical patent/JP4812418B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本発明は内視鏡装置に関する。例えば、外乱を受けても、被写体内の略一定位置を中心とする画像を安定して撮像することができる内視鏡装置に関する。
従来、内視鏡装置では、内視鏡挿入部の先端側を湾曲させる湾曲駆動機構を備え、その湾曲量を変更することにより、内視鏡挿入部の先端に設けられた撮像光学系の向きを制御して、所望位置の被写体の画像を取得できるようになっている。そして、例えば、検査のための内視鏡挿入部の移動や外乱などにより、撮像光学系と被写体との相対位置がずれた場合、湾曲駆動機構により湾曲量を調整して、撮像光学系と被写体との相対位置を補正するようにした装置が知られている。
例えば、特許文献1には、被写体像が拡大表示時にずれた場合、ずれ量をベクトルとして検出し、ずれ量を補正するように湾曲部の湾曲角を補正する内視鏡装置が記載されている。
特許文献2には、管内に挿入される内視鏡装置であって、被写体像の明るさ分布を検出する複数の光電素子を備え、その検出出力の偏差により湾曲量を制御して、先端構成部が被観察系の周壁の実質的中心方向に向かうようにする内視鏡が記載されている。
特許文献3には、被写体の画像を複数領域に分割し、分割された領域の明るさ情報を検出し、それらの明るさ情報を基にファジィ推論手段を用いて湾曲駆動手段の湾曲量を制御する内視鏡装置が記載されている。
特開2001−046331号公報(図4、17、18) 特公昭61−37927号公報(図1−5) 特許第2948833号公報(図1、5)
しかしながら、上記のような従来の内視鏡装置には、以下のような問題があった。
特許文献1に記載の技術では、被写体像の変化により移動方向、移動量を検出して湾曲量を補正するので、被写体像が撮像範囲内にある場合の移動には追従できるものの、撮像範囲から被写体が飛び出した場合には一旦低倍率に戻して被写体を撮像範囲に入れて湾曲量を補正してから、元の拡大倍率に戻すといった手間がかかる。そのため被写体が撮影範囲外に飛び出すような大きな外乱を受ける場合や、被写体を狭い視野角内で高倍率に拡大観察する場合に、安定した観察を効率よく行うことができないという問題がある。
特許文献2に記載の技術では、明るさ分布の偏差を検出して湾曲量を制御するので、管内の中心を観察する場合のように、明るさ分布が特定の分布を有する場合に限って湾曲量を安定的に制御することができるものである。したがって、撮像範囲内で明るさが略均一となるような偏差を抽出しにくい場合や特定の模様が同じパターン配列しているような場合などでは、湾曲量を正しく制御できなくなるという問題がある。
特許文献3に記載の技術では、明るさ分布を検出し、ファジィ推論を用いて湾曲量を制御する。そのため、被検体の明るさ分布に多少変動がある場合でも湾曲を制御することができるものの、ファジィ推論規則を設定するには、被写体、背景の明るさ分布にある程度の特徴がなければならない。そのため、程度の差はあっても特許文献2と同様の問題がある。
本発明は、上記のような問題に鑑みてなされたものであり、例えば外乱を受けるなどして撮像位置がずれ、被写体が撮像範囲外に飛び出すような場合でも、被写体を撮像範囲の略中心位置に迅速に捕捉し、安定した観察を行うことができる内視鏡装置を提供することを目的とする。
上記の課題を解決するために、請求項1に記載の発明では、被検体に挿入する内視鏡挿入部の先端側に湾曲部を有する内視鏡装置であって、前記湾曲部よりも先端に撮像光学系を設けた撮像手段と、前記湾曲部を湾曲させる湾曲駆動機構と、前記湾曲部の姿勢を検出する湾曲部位置姿勢検出手段と、前記撮像手段による前記被写体の撮像中心位置を略一定に保つ被写体捕捉動作の動作開始または動作解除する捕捉動作設定手段と、前記捕捉動作設定手段により前記捕捉動作開始が指示された場合に、前記湾曲部位置姿勢検出手段の検出出力から前記被写体の撮像中心位置を算出し、前記湾曲部位置姿勢検出手段の検出出力に応じて、前記撮像中心位置に前記撮像光学系の光軸が向くように、前記湾曲駆動機構を駆動制御する撮像位置安定化手段とを備える構成とする。
この発明によれば、捕捉動作設定手段により被写体捕捉動作の動作開始が設定されると、撮像位置安定化手段により、湾曲部位置姿勢検出手段の検出出力を取得し、その時点での被写体の撮像中心位置(以下、初期撮像中心位置と称する)を算出する。そして、湾曲部位置姿勢検出手段の検出出力に応じて、初期撮像中心位置に撮像光学系の光軸が向くように湾曲駆動機構が駆動される。
そのため、被写体捕捉動作の動作開始後に被写体が撮像範囲から外れた場合でも、倍率を変えたりすることなく被写体を迅速かつ容易に初期撮像中心位置に捕捉することができる。
請求項2に記載の発明では、請求項1に記載の内視鏡装置において、前記測距手段が、複数の視点で被写体を撮像するステレオ計測手段で構成され、少なくともその一部が前記撮像手段を兼ねる構成とする。
この発明によれば、測距手段が複数の支点で被写体を撮像するステレオ計測手段で構成され、少なくともその一部が撮像手段を兼ねるので簡素な構成とすることができる。
また、ステレオ計測手段により被写体の立体視画像を撮像することができるので、被写体の凹凸形状を参照して初期撮像中心位置の正確な位置決めを行うことができる。
ステレオ計測手段の全部が撮像手段である場合、撮像光学系が多焦点光学系となるが、本明細書では、この場合の撮像光学系の光軸は、特に断らない限り、多焦点の各光軸に対する対称軸を指すものとする。
請求項3に記載の発明では、請求項1または2に記載の内視鏡装置において、前記湾曲部位置姿勢検出手段が、前記湾曲部の先端および基端にそれぞれ設けられた複数の加速度検出手段である構成とする。
この発明によれば、湾曲部位置姿勢検出手段が、加速度検出手段であるので、外乱などによる変位にも高速に応答することができるとともに、小型のセンサで設置位置での変位と方向とともに検出できるので、内視鏡挿入部の内部にも容易に設置することができる。
請求項4に記載の発明では、請求項1〜3のいずれかに記載の内視鏡装置において、前記撮像手段により撮像される被写体の画像データから、前記被写体の撮像中心位置のずれ量を検出する画像ずれ検出手段を備え、前記被写体捕捉動作設定手段により前記捕捉動作開始が指示された場合に、前記撮像位置安定化手段が、前記画像ずれ検出手段により検出された前記撮像中心位置のずれ量に応じて、前記湾曲駆動機構を駆動制御できるようにした構成とする。
この発明によれば、撮像手段により撮像される被写体の画像データから被写体の撮像中心位置のずれ量を検出する画像ずれ検出手段を備えるので、被写体の画像データにより被写体の撮像中心位置を直接的に検出することができ、被写体捕捉動作の精度を向上することができる。
請求項5に記載の発明では、請求項1〜4のいずれかに記載の内視鏡装置において、前記画像ずれ検出手段が、前記画像データとして、前記被写体の画像のコントラスト情報を抽出し、該コントラスト情報の変化により前記被写体の撮像中心位置のずれ量を検出する構成とする。
この発明によれば、画像ずれ検出手段が、被写体の画像のコントラスト情報の変化により被写体の撮像中心位置のずれ量を検出するので、検出に用いる画像データ量を圧縮することができるので、迅速な被写体捕捉動作を行うことができる。
請求項6に記載の発明では、請求項4または5に記載の内視鏡装置において、前記撮像位置安定化手段が、
前記湾曲部位置姿勢検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第1の被写体捕捉動作を行い、該第1の被写体捕捉動作を完了させてから、前記画像ずれ検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第2の被写体捕捉動作を行う構成とする。
この発明によれば、湾曲部位置姿勢検出手段の検出出力を用いる第1の被写体捕捉動作を行い、それを完了させてから、画像ずれ検出手段の検出出力を用いる第2の被写体捕捉動作を行うので、湾曲部位置姿勢検出手段に検出誤差などが生じるような場合でも、被写体の撮像中心位置のずれ量を検出する第2の被写体捕捉動作を行うので、捕捉目標を確実かつ高精度に捕捉することができる。
本発明の内視鏡装置によれば、被写体捕捉動作設定手段により前記捕捉動作開始が指示された場合に、撮像位置安定化手段により、湾曲部位置姿勢検出手段の検出出力に応じて湾曲駆動機構を駆動して、撮像光学系の光軸を捕捉動作開始時の被写体の撮像中心位置に向けることができるので、例えば外乱を受けるなどして被写体が撮像範囲から飛び出すような場合でも、倍率を変えたりすることなく迅速に撮像範囲内の略中心位置に被写体を捕捉することができ、安定した観察を行うことができるという効果を奏する。
以下では、本発明の実施の形態について添付図面を参照して説明する。すべての図面において、実施形態が異なる場合であっても、同一または相当する部材には同一の符号を付し、共通する説明は省略する。
[第1の実施形態]
本発明の第1の実施形態に係る内視鏡装置について説明する。
図1は、本発明の第1の実施形態に係る内視鏡装置の概略構成を説明するために模式的に描いた構成説明図である。
本実施形態の内視鏡装置50は、例えば外力や振動などの外乱を受けた場合にも、観察中の被写体を撮像範囲の略中心位置に捕捉できるようにしたものである。被写体の種類は特に限定されず、例えば医療用、工業用、計測用など適宜の用途に用いることができるものである。
内視鏡装置50の概略構成は、図1に示すように、挿入部1(内視鏡挿入部)、装置本体部51、およびモニタ13からなる。
挿入部1は、被検体内部に挿入して先端から被検体内の被写体像を取得するために全体として細長形状に形成された機構であり、その先端側に、湾曲先端部3(湾曲部の先端)、湾曲部2、および湾曲基端部8(湾曲部の基端)をこの順に備える。湾曲基端部8と接続する挿入部1の基端側部分は可撓性を有しており、装置本体部51に接続されている。
湾曲先端部3は、湾曲部2と略同一外径を有する円板状または円柱状の硬質部分である。
湾曲先端部3の先端面3aには、入射光を内部に導く入射口(不図示)が形成され、その内部側には、双眼レンズ4A(撮像光学系)、撮像素子4Bが先端面3a側からこの順に配列されてなる撮像手段4が設けられている。
双眼レンズ4Aは、同一の焦点距離、画角を有する対物レンズ4a、4bをそれぞれの光軸を所定距離dだけ離間して配置した撮像光学系である。そのため先端面3aからの入射光による像を、同一平面に整列した結像面上に、視差dを有する視差画像として結像することができるようになっている。
このように双眼レンズ4Aは、多焦点光学系であるが、便宜上、以下では、対物レンズ4a、4bの光軸の対称軸のことを、双眼レンズ4Aの光軸と称する。
双眼レンズ4Aの光軸は、湾曲先端部3の軸線方向、すなわち先端面3aの法線方向に向けられている。
また、特に図示しないが、湾曲先端部3には、先端面3aから外部に向かって照明光を出射する照明系が設けられている。
撮像素子4Bは、双眼レンズ4Aにより結像される被写体像を光電変換するためのもので、例えばCCDなどの固体撮像素子からなる。
撮像素子4Bは、対物レンズ4a、4bのそれぞれに対応して2つ設けられていてもよいし、1つだけ設けて、対物レンズ4a、4bに対応する画像を1つの撮像面上で撮像するようにしてもよい。いずれの場合でも、撮像素子4Bの出力である画像信号300は、後述するカメラ制御ユニット(以下、CCUと略称する)104により、同一被写体に対する2つの視差画像301に適宜分離して処理することができるようになっている。
撮像素子4Bで撮像された画像信号300は、挿入部1内の信号ケーブル7を通して装置本体部51に送出される。
このように撮像手段4は、視差画像301を取得するステレオ計測手段を兼ねているものである。
撮像手段4の近傍には、3軸方向の加速度の変動分を検出して3次元の変位情報を取得するとともに、重力加速度との差分を元にして方向情報を取得する加速度センサ5A(加速度検出手段)が固定されている。そのため、加速度センサ5Aの出力により湾曲先端部3の変位と姿勢を検出できるようになっている。加速度センサ5Aの検出出力は、挿入部1内を通る信号ケーブル5aにより装置本体部51に送出される。
湾曲部2は、湾曲先端部3と湾曲基端部8との間に設けられた湾曲可能な管状部材からなり、その内部に、湾曲駆動力を伝達するワイヤ10A、10B、湾曲先端部3から延された信号ケーブル5a、7、および湾曲先端部3内の部材に必要な電流を供給する電源線(不図示)が挿通されている。
管状部材は、湾曲可能であれば適宜の構造を採用することができるが、例えば、ワイヤ10A、10Bや信号ケーブル5a、7などを挿通する挿通孔を備えた複数の板状の湾曲コマが軸中心位置で等ピッチで配列され、周縁部では隣接する湾曲コマとの距離がワイヤ10A、10Bの引張り力のバランスに応じて可変され、それぞれの湾曲コマが互いに傾斜することにより全体として湾曲するような構造を採用することができる。
ワイヤ10Aは、その両端部が、挿入部1の外周部近傍において挿入部1の中心軸線を挟んで対向された状態で配置され、湾曲先端部3の基端側に固定されている。そして、その中間部が後述する湾曲駆動機構52のプーリ11Aに巻架されている。
また、ワイヤ10Bは、ワイヤ10Aと同様にして、両端部が湾曲先端部3の基端側に固定され、中間部が湾曲駆動機構52のプーリ11Bに巻架されている。ただし、ワイヤ10Bの各端部の固定位置は、ワイヤ10Aの各端部の固定位置に対して90°ずらされている。例えば、湾曲先端部3の近傍では、ワイヤ10Aにおける対向するワイヤ対が、図1の紙面内に配置され、ワイヤ10Bにおける対向するワイヤ対が、図1の紙面垂直面内に配置される。
そのため、例えば、湾曲駆動機構52のモータ9Aを駆動させワイヤ10Aを巻き取るプーリ11Aが一方向に回転すると、紙面内で、端部の一方が引っ張られて他方が緩む。また湾曲駆動機構52のモータ9Bを駆動させワイヤ10Bを巻き取るプーリ11Bが一方向に回転すると、紙面垂直面で、端部の一方が引っ張られ他方が緩む。このようにそれぞれ独立したモータ9A、9Bを制御してプーリ11A、11Bの回転角をそれぞれ適宜設定することにより、遠方にある湾曲先端部3の向きを自由に変えられるようになっている。
湾曲基端部8は、湾曲部2を挿入部1の基端側の可撓管に接続する硬質部分で、湾曲部2の湾曲の基準端を構成している。そして、加速度センサ5Aと同様の構成を有する加速度センサ5B(加速度検出手段)を内蔵している。加速度センサ5Bの検出出力は、挿入部1の後端側の可撓管内に挿通された信号ケーブル5bにより装置本体部51に送出される。
加速度センサ5A、5Bは、湾曲部2の先端および基端の位置および姿勢を検出する湾曲部位置姿勢検出手段を構成している。
装置本体部51の概略構成は、図1に示すように、湾曲駆動機構52、張力検出部54、操作部14、および制御ユニット53からなる。
湾曲駆動機構52は、ワイヤ10A、10B(以下、それぞれ、単にワイヤ10と称する場合がある。)の中間部をそれぞれプーリ11A、11Bに巻き取って、湾曲先端部3と湾曲基端部8との間に張架されるワイヤ10A、10Bの長さを可変して湾曲部2の湾曲量を可変する機構であり、ワイヤ10A、10Bを巻き取るプーリ11A、11Bと、それらを正逆転自在に回転駆動するモータ9A、9B(以下、それぞれ、単にモータ9と称する場合がある。)とからなる。
各モータ9は、回転角の制御が可能であれば、適宜のモータを採用することができる。例えばロータリエンコーダなどの回転角検出手段を用いて回転角制御を行うDCサーボモータなどを採用することができる。
湾曲駆動機構52によれば、前述のようにして湾曲先端部3の向きを自由に変えられるようになっている。
張力検出部54は、各ワイヤ10の張力を検出するためのもので、各ワイヤ10に取り付けられた4つの歪みゲージ12からなる。図1には、ワイヤ10A、10Bに取り付けられた歪みゲージ12A、12Bを図示している。
歪みゲージ12の各検出出力は制御ユニット53に送出される。
各ワイヤ10の破断限界値、すなわち湾曲駆動機構52による牽引量限界値は、後述するメモリ101に予め設定されている。
操作部14は、内視鏡装置50の操作入力を行うためのもので、少なくとも、湾曲部2の2軸方向の湾曲量を操作する湾曲操作機構15と、撮像手段4により撮像された被写体の撮像中心位置を略一定に保つ被写体捕捉動作の動作開始を指示するロックボタン16a(捕捉動作設定手段)と、捕捉動作の解除を指示するロック解除ボタン16b(捕捉動作設定手段)とを備える。湾曲操作機構15は、例えばジョイスティックやアングルスイッチなどの機構を採用することができる。
ロック解除ボタン16bが押されると、後述する制御部100に対する割り込み信号が発生し、湾曲駆動機構52の動作が停止されるとともに、後述する捕捉サーボONフラグがリセットされるようになっている。それにより、被写体捕捉動作の実行中でも、被写体捕捉動作を強制終了し、湾曲操作機構15を用いたマニュアル操作による湾曲を行うことができるようになっている。
操作部14の操作により入力される各入力信号は、制御ユニット53に送出される。
制御ユニット53の概略構成は、制御部100、メモリ101(記憶手段)、モータドライバ102、およびCCU104からなる。
制御部100は、操作部14、メモリ101、モータドライバ102、CCU104、およびモニタ13と電気的に接続され、操作部14からの入力信号、加速度センサ5A、5B、張力検出部54の各検出出力、およびCCU104から送出される視差画像301に応じて、装置全体の制御や湾曲駆動機構52の制御に関する種々の制御動作、処理動作を行うものである。そして、撮像位置安定化手段を構成している。制御部100で処理された情報は、文字や画像などからなる適宜の画像データ303に変換して、モニタ13に表示できるようになっている。
制御部100は、適宜の制御回路群を有するハードウェアを用いて構成されていてもよいが、本実施形態では、不図示のCPUと入出力インタフェースとにより構成されている。そして後述する各制御動作、処理動作を行うためのプログラム群をメモリ101にロードし、それらをCPUが実行することにより、各プログラムに対応する各制御動作、処理動作を実現している。
モータドライバ102は、制御部100から送出された制御信号に応じて、各モータ9の回転角を制御するものである。
CCU104は、撮像素子4Bにより撮像された画像信号300を、必要に応じて適宜の画像処理、例えば、輝度補正、シャープネス補正、ステレオ画像データ処理などを行って、モニタ13に画像表示するための画像データ302を生成しモニタ13に送出するとともに、ステレオ計測を行うための2つの視差画像301を生成して制御部100に送出するものである。
次に、内視鏡装置50の動作について説明する。
まず、本実施形態における湾曲部2の湾曲の検出動作について説明する。
図2は、本発明の第1の実施形態に係る内視鏡装置の湾曲部の湾曲状態における先端と基端の位置関係について説明する斜視説明図である。
湾曲動作を行うには、操作部14の湾曲操作機構15などから、2軸方向の湾曲量を制御部100指示する。それにより、各ワイヤ10を適宜巻き取るための制御信号が、制御部100からモータドライバ102に送出され、モータドライバ102により各モータ9が回転される。その結果、例えば、図2に示すように、ベクトルB方向に沿う方向に延びていた湾曲部2がベクトルBの方向からずれて、湾曲先端部3の先端面3aの法線がベクトルAの方向に向くような湾曲を起こしたとする。
内視鏡装置50において湾曲部2を湾曲させる目的は、湾曲先端部3を移動して湾曲先端部3に内蔵された撮像手段4により所望の被写体を撮像することにある。そのため、湾曲部2の湾曲形状は、湾曲先端部3と湾曲基端部8との相対的な位置関係が記述できれば十分である。
本実施形態では、湾曲先端部3、湾曲基端部8にそれぞれ設けられた加速度センサ5A、5Bが検出する3軸方向の加速度に基づいて、湾曲先端部3、湾曲基端部8の位置および姿勢を検出する。
位置情報は、加速度センサ5A、5Bが検出する加速度の変動分を積分することにより、初期的に配置された基準位置からの3次元の変位量として取得される。
姿勢情報は、加速度センサ5A、5Bが検出する重力加速度成分に対する差分として3次元的に検出される。
加速度センサ5A、5Bは、湾曲先端部3、湾曲基端部8の所定位置に固定されているので、これらの位置情報、姿勢情報は、硬質部分をなし実質的に剛体と見なしうる湾曲先端部3、湾曲基端部8では、それぞれの内部の任意の位置における位置情報、姿勢情報に容易に換算することができる。
このため、加速度センサ5A、5Bにより検出された位置情報、姿勢情報により、湾曲先端部3、湾曲基端部8の剛体運動が、適宜のXYZ直交座標系内のベクトルにより記述できる。
例えば、図2に示す単位方向ベクトルA、Bは、それぞれ湾曲先端部3、湾曲基端部8の姿勢を表現するものである。
A=(A,A,A) ・・・(1)
B=(B,B,B) ・・・(2)
湾曲部2が湾曲したときの湾曲基端部8に対する湾曲先端部3の湾曲角度は、これら単位方向ベクトルA、Bとのなす角θとして次式のように定義される。
θ=cos−1{(A*B)/(|A|・|B|)} ・・・(3)
ここで、記号*、・は、それぞれベクトルの内積、スカラの乗算を表すものとする。また、|A|=|B|=1である。
また、湾曲方向は、単位方向ベクトルA、Bの差として定義される方向ベクトルWとして表現される。
W=A−B
=(A−B,A−B,A−B) ・・・(4)
本実施形態の内視鏡装置50は、被写体の撮像中心位置を略一定に保つことができるものであり、以下では、その被写体捕捉動作を中心に説明する。
図3は、本発明の第1の実施形態に係る内視鏡装置の動作について説明するためのフローチャートである。図4(a)は、本発明の第1の実施形態に係る内視鏡装置の被写体像捕捉動作の原理について説明するための動作説明図である。図4(b)は、図4(a)の変位ベクトルについて説明するためのベクトル図である。図5(a)、(b)は、図4(a)の捕捉動作における湾曲角度および湾曲方向を算出するための幾何学的な関係を示す補助説明図である。図6は、視差画像を用いた距離測定について説明するための原理説明図である。
操作者は、操作部14の湾曲操作機構15を操作することにより、湾曲部2を適宜方向に湾曲させることで、双眼レンズ4Aの光軸方向を可変し、被写体20を種々の方向から撮像して観察することができる。
そして、所望のタイミングで、ロックボタン16aを押すことにより、その時点で撮像された被写体20の撮像中心位置を略一定に保つ被写体捕捉動作を実行することができる。すなわち、ロックボタン16aを押すと、図3に示す動作フローが開始される。
ステップS1では、ロックボタン16aにより生成されたサーボ指令信号が制御部100に送出される。制御部100は、メモリ101に捕捉サーボONフラグを立てる。
ステップS2では、制御部100に加速度センサ5A、5Bの検出出力を取り込み、捕捉動作開始時での湾曲先端部3、湾曲基端部8の位置、姿勢を取得する。
例えば、図4(a)に破線で示すように、被写体20における被写体像中心p(初期撮像中心位置)をその法線方向に光路長hだけ離れた撮像素子4Bで撮像するものとする。
簡単のために、加速度センサ5Aは、湾曲先端部3の位置情報として、撮像素子4Bの撮像面の中心の点aの位置を検出するものとする。また、加速度センサ5Bは、湾曲基端部8内の点bの位置を検出するものとし、点a、bは、双眼レンズ4Aの光軸の上にあるものとする。点a、b間の距離はLである。
この場合、加速度センサ5A、5Bにより、位置情報として、点a、bの位置ベクトルを検出し、姿勢情報は、単位方向ベクトルA、Bを検出する。
この場合、式(3)において、A=A、B=Bとすることで、湾曲角度θ=0が得られる。
また、湾曲方向として方向ベクトルW=A−B=(0,0,0)が得られる。
ステップS3では、この状態における点a、bの位置情報および湾曲先端部3、湾曲基端部8の姿勢情報をメモリ101に記憶する。
ステップS4では、CCU104から送出される視差画像301から、被写体20の被写体像中心pまでの距離hを測定する。
この測定原理は、例えば特公平8−12332号公報などに記載されている公知技術であるが、図6を参照して簡単に説明する。
図6に示すように、視差dを有するように配置された対物レンズ4a、4bにより、被写体20の画像がそれぞれ画像I、Iとして撮像されるものとする。ここで、図中のO、Oは、それぞれ対物レンズ4a、4bの中心位置であり、fは各レンズの焦点距離を表す。
被写体像中心pは、対物レンズ4a、4bにより、画像I、I上で、点p、pの位置に撮像される。画像I、Iの撮像中心位置が一致するように重ね合わせると、点pは、画像I上で距離dだけずれた点qに対応する。
よって、△OpOと△qとの相似関係から、次式が成り立つ。
h=f・d/d ・・・(5)
=h+f ・・・(6)
ここで、hは、対物レンズ4a、4bの中心位置から被写体像中心pまでの距離を表す。
したがって、例えば、2つの視差画像301中の点p、pの位置を画像処理により抽出し、それらの画像上の位置ずれ量を算出することで、距離hを正確に算出することができる。また、各画像位置で、これらの計算を行うことにより、画像I、Iから立体画像を生成することが可能となり、被写体20上の立体測定が可能となる。
ステップS5では、ステップS4で算出した距離hをメモリ101に記憶する。
ステップS6では、ステップS2と同様の測定を行い、その結果をメモリ101の作業領域に格納する。これにより、現時点での情報が取得される。
例えば、現時点までの間に、挿入部1が外乱を受けて移動し、図4(a)に二点鎖線で示す状態となったとする。簡単のため、移動および回転はZX平面に一致する図示紙面内で発生するものとする。
すなわち、撮像素子4Bが点aに移動し、加速度センサ5Bが点bに移動し、それに応じて、位置ベクトル、単位方向ベクトルA、Bが検出され、方向ベクトルW=A−B、湾曲角度θ=αが得られ、それぞれメモリの作業領域に格納される。
このとき、図4(a)に示すように、光軸22上の点qに対する距離は、距離hとなっている。また、距離hは、外乱を受ける前の撮像位置と加速度センサ5Aとの間のZ軸方向の距離である。
ステップS7では、メモリ101に記憶された点a、bの位置、姿勢情報に基づく湾曲角度および湾曲方向と、距離hと、ステップS5、S6で測定された値とを比較し、ずれが生じている場合には、ずれを補正する湾曲目標値を算出する。
本実施形態では、初期撮像中心位置に撮像光学系の光軸が向くように制御する。そのため、ずれを補正する湾曲量は、図4(a)に実線で示すように、湾曲後の光軸24が被写体像中心pを通るように湾曲部2を湾曲させる湾曲角度γで表される。
この算出過程の考え方について、簡単に説明する。
図4(b)に示すように、外乱による変位を、変位ベクトルΔa、Δbで表す。
Δa=a−a
=(Δa,Δa,Δa) ・・・(7)
Δb=b−b
=(Δb,Δb.Δb) ・・・(8)
まず、図5(a)に示す幾何学的な関係から次式が求まる。
α=sin−1{(Δa−Δb)/L} ・・・(9)
湾曲部2が、図4(a)に示すように、点bを中心に角度αだけ、回転した状態を考えると、点aが点aに移動し、湾曲部2がΔbだけ平行移動した状態に相当する。
この場合、Δbの各成分と距離h、hとの間に、図5(b)に示すような幾何学的な関係が成り立つ。
図中の角度βは、湾曲先端部3が、点bを中心として回転する場合であり、角度βは、湾曲先端部3が点aを中心として回転する場合である。これらは、極端な場合であり、実際の湾曲による湾曲先端部3の回転運動は、湾曲部2の中間部に回転中心を有するものとなる。そのため、角度βは、角度β、βの間の値をとる。角度βは、湾曲部2の湾曲機構の湾曲特性に依存して決まる値である。
そこで、次式が成り立つ。
=h+Δb ・・・(10)
β=tan−1{Δb/(h+δ・L・cosα)} ・・・(11)
ここで、δ(ただし、0<δ<1)は、湾曲部2の湾曲機構の湾曲特性による回転中心の移動を考慮した補正係数であり、湾曲部2の構造の応じて、例えば実験などにより適宜設定することができる。本実施形態では、δ=0.6としている。
式(9)、(11)より、湾曲目標値の湾曲角度γは、次式のように求められる。
γ=α+β ・・・(12)
以上では、補正係数δの導入する算出方法を分かりやすく説明するため、単純化した幾何学的な計算の例で説明したが、制御部100で行う内部演算では、方向ベクトルから計算された湾曲角度θ、湾曲方向を規定する方向ベクトルW、および湾曲先端部3の回転中心の補正をする補正係数を用いて3次元のベクトル演算により、湾曲目標値である湾曲部2の湾曲角度、湾曲方向が決定される。これらの値は、メモリ101に格納される。
この場合、湾曲の初期状態は、上記の説明のように、真直状態である必要はない。
ステップS8では、ステップS7で算出された湾曲目標値が予めメモリ101に設定された湾曲の下限限界閾値以下かどうか判定する。
湾曲目標値が湾曲の下限限界閾値以下の場合、湾曲によりこれ以上の精度で捕捉することができない状態にあるので、湾曲動作を行わずに、ステップS11に移行する。
湾曲目標値が湾曲の下限限界閾値より大きい場合、ステップS9を実行する。
湾曲の下限限界閾値は、湾曲部2の最小湾曲量や、湾曲制御精度などを考慮して必要に応じた値を設定する。
ステップS9では、ステップS7で算出された湾曲目標値が予めメモリ101に設定された湾曲の上限限界閾値以上かどうか判定する。
湾曲目標値が湾曲の上限限界閾値以上の場合、ステップS12を実行し、警告表示を行う。例えば、限界を超えて湾曲しようとしたため捕捉動作が行えない旨を警告するメッセージが入った画像データ303をモニタ13に送出するとともに、捕捉サーボを終了するためメモリ101の捕捉サーボONフラグをリセットする。そして、ステップS11に移行する。
ステップS9のような判定を行うことで、湾曲可能な限界を超えた湾曲を実行しようとして、各ワイヤ10にかかる張力や、各モータ9の駆動負荷が過大となって、ワイヤ10が破断したり、モータ9が損傷したりするのを防止することができる。
湾曲目標値が湾曲の上限限界閾値より小さい場合、ステップS10を実行する。
湾曲の上限限界閾値は、湾曲部2の湾曲自由度や剛性などを考慮して必要に応じた値を設定する。
ステップS10では、ステップS7で算出した湾曲目標値にしたがって湾曲部2の湾曲動作を行う。この湾曲動作について、図7を参照して説明する。
図7は、湾曲動作の詳細について説明するためのフローチャートである。
ステップS20では、図3のステップS6と同様にして、現状(現在時点)の湾曲角度、湾曲方向の測定を行う。
ステップS21では、ステップS20で測定した湾曲角度、湾曲方向の値を、図3のステップS7で算出された湾曲目標値と比較する。
湾曲目標値に一致する場合は、ステップS24に移行する。
湾曲目標値に一致しない場合は、ステップS22に移行する。
ステップS24では、モータドライバ102に制御信号を送出し、湾曲駆動機構52の動作を停止する。本実施形態では、各モータ9を現状位置に停止する。
そして、湾曲動作を終了し、図3のステップS11に移行する。
ステップS22では、張力検出部54から、各歪みゲージ12の検出出力を取得し、それぞれが対応するワイヤ10の張力値に換算する。
ステップS23では、ステップS22で換算された張力値の中にメモリ101に予め記憶された張力の限界閾値以上のものがあるかどうか判定する。
張力の限界閾値以上のものがある場合、ステップS25に移行する。
すべての張力値が張力の限界閾値より小さい場合、ステップS26に移行する。
ステップS25では、ワイヤ10の張力が限界値を超えたため湾曲動作を行えない旨を警告するメッセージが入った画像データ303をモニタ13に送出するとともに、捕捉サーボを終了するために、メモリ101の捕捉サーボONフラグをリセットする。そして、ステップS24に移行する。
このため、ワイヤ10が破断するのを防止することができる。
ステップS26では、湾曲目標値と現在位置の湾曲状態との偏差に応じてモータドライバ102に制御信号を送って湾曲駆動機構52を駆動する。そして、ステップS20に戻り、上記の工程を繰り返す。
そのため、ワイヤ10の張力の異常が検出されない限り、ステップS26実行され、湾曲状態が湾曲目標値に一致した時点でステップS24が実行され、湾曲動作が終了する。
その後、図3のステップS11に移行する。
ステップS11では、メモリ101を参照して、捕捉サーボONフラグの有無を判定する。
捕捉サーボONフラグがセットされている場合、ステップS6に戻り、上記の工程を繰り返す。そのため、これらの工程の実行中に、例えば外乱を受けたとしても、ステップS6〜S7の実行のたびに、外乱分を補正する湾曲目標値が設定され、捕捉サーボループが有効に機能する。
捕捉サーボONフラグがリセットされている場合、捕捉動作を終了する。
以上により、例えば、外乱などにより挿入部1が移動し、湾曲先端部3の位置や方向が変化して、撮像手段4により撮像位置の中心が被写体像中心pから外れた場合でも、加速度センサ5A、5Bによる位置、姿勢の検出出力と、ステレオ計測による被写体像中心pまでの距離の計測結果に基づいて、湾曲先端部3を湾曲移動させ、外乱を受ける前の被写体像中心pを撮像範囲内の略同一位置に捕捉することができる。
そのため、外乱が発生するたびに、マニュアル操作で光軸の向きを微調したり、被写体を探し出したりするといった手間をかけることなく、被写体像を安定して観察することができる。
このような被写体捕捉動作では、距離測定のため、初期撮像中心位置の距離を被写体20の画像データを参照して測定するものの、それ以後は、被写体像中心pの画像を用いることなく捕捉動作を行うことができるので、例えば外乱などにより被写体像中心pの位置が撮像範囲外となる場合でも、湾曲可能な範囲にある限り容易に捕捉することができるという利点がある。そのため、湾曲可能範囲に応じて広範囲の捕捉範囲を備える。
また、被写体像中心pを捕捉するための湾曲量が、加速度センサ5A、5Bの検出出力と、ステレオ計測による距離情報などの少数のパラメータで算出されるので、例えば、撮像範囲の画像データを加工する画像処理を行う場合に比べると、高速な演算を行うことができ、迅速な捕捉動作を行うことができるという利点がある。
また、湾曲部2の位置、姿勢、湾曲状態を湾曲先端部3、湾曲基端部8に内蔵した加速度センサ5A、5Bにより検出し、それらの検出出力により捕捉サーボをかける構成としている。そのため、湾曲駆動機構52の駆動精度に依存したオープンループ制御により捕捉動作を行う場合に比べて、湾曲駆動機構52の駆動精度は同じでも、より高精度の捕捉動作を行うことができる。そのため安価な装置を構成することができるという利点がある。
[第2の実施形態]
次に、本発明の第2の実施形態に係る内視鏡装置について説明する。
図8は、本発明の第2の実施形態に係る内視鏡装置の概略構成を説明するために模式的に描いた構成説明図である。
本実施形態の内視鏡装置70は、図8に示すように、第1の実施形態のモータ9を用いてワイヤ10を駆動する湾曲駆動機構52に代えて、例えばエア圧駆動などの流体圧駆動により湾曲動作を行う湾曲駆動機構72を用いる点が異なる。それに応じて、内視鏡装置50の張力検出部54、制御ユニット53、および2本のワイヤ10に代えて、圧力検出部74、制御ユニット73、およびそれぞれ4本の供給チューブ36、湾曲チューブ37を備える。以下、第1の実施形態と異なる点を中心に説明する。
湾曲駆動機構72の概略構成は、エアボンベ30、レギュレータ31、圧力センサ32、チューブ継手29、および電磁弁33、34からなる。
エアボンベ30は、圧縮空気を内蔵するエア供給源である。
レギュレータ31は、後述する制御部105(撮像位置安定化手段)の制御信号に応じてエアボンベ30内の圧縮空気を一定圧に調整し、チューブ継手29に供給する手段である。そして、チューブによりエアボンベ30、チューブ継手29と接続されている。
レギュレータ31から供給されるエア圧は、圧力異常や突発的な圧力変動による湾曲の誤動作を防止するため、圧力センサ32により検出され制御部105によりモニタされるようになっている。
チューブ継手29は、レギュレータ31から供給される一定圧力のエアを4本の供給チューブ36に分配供給するものである。
4本の供給チューブ36は、可撓性を有するが供給されるエア圧の範囲でエア圧による膨張や伸縮がほとんどない硬質のチューブからなり、湾曲駆動機構72内、および挿入部1の基端部から湾曲基端部8が設けられている可撓管の範囲に配管されている。
各供給チューブ36は、挿入部1内では、第1の実施形態のワイヤ10と同様に、挿入部1の外周部近傍において外周方向を4等分する位置を通って挿入部1の中心軸線に対称に配置されている。
図8には、これらのうち対向する2本の供給チューブ36A、36Bが図示されている。
各供給チューブ36の先端側は、湾曲基端部8に設けられた不図示の管継手を介して、それぞれ供給されたエアの内圧により管路方向に伸縮が可能な軟質の湾曲チューブ37が接続されている。
湾曲チューブ37は、供給チューブ36と同様な位置関係を保って、湾曲部2内に配管され、その先端部が湾曲先端部3まで延され、先端が閉塞された状態で湾曲先端部3の基端側の端面に固定されている。
湾曲駆動機構72内において、各供給チューブ36の管路上には、チューブ継手29の側から、電磁弁33、34が、この順に配置されている。
電磁弁33は、制御部105の制御信号に応じて駆動されるソレノイドにより動作する3方向電磁弁である。すなわち、ソレノイドONのとき、図示のポートP、A間が開かれるとともにポートA、E間が閉じられ、ソレノイドOFFのとき、図示のポートA、E間が開かれるとともにポートP、A間が閉じられるものである。
電磁弁34は、制御部105の制御信号に応じて駆動されるソレノイドにより動作する2方向電磁弁である。すなわち、ソレノイドONのとき、図示のポートP、A間が開かれ、ソレノイドOFFのとき、図示のポートP、A間が閉じられるものである。
したがって、各電磁弁33、44の開閉を適宜操作することとにより、各電磁弁34の下流側の供給チューブ36、湾曲チューブ37内へのエア量の増減を制御することができるようになっている。
圧力検出部74は、湾曲チューブ37がエア圧異常により破裂して湾曲動作が困難となることを防止するためのものであり、電磁弁34の下流側の各供給チューブ36上に配置された4つの圧力センサ35からなる。
圧力センサ35は、湾曲チューブ37の破裂などを防止するために、電磁弁34の下流側のエア圧を検出し、その検出出力を制御部105に送出するようになっている。
制御ユニット73は、第1の実施形態の制御ユニット53の制御部100に代えて、制御部105を備える。
制御部105は、制御対象の一部が湾曲駆動機構52から湾曲駆動機構72に変更されたことに対応して、一部の制御方法を変えている点を除いて制御部100と同様の構成を採用することができる。
ただし、制御部100に予め記憶された張力の限界閾値は、湾曲チューブ37の破裂を防止するための内圧の限界閾値に置き換える。
ここで、圧力センサ35で測定されるのは、供給チューブ36内のエア圧であるが、互いに接続された湾曲チューブ37と供給チューブ36の内圧は共通である。そして、湾曲チューブ37が破裂しない内圧であれば、当然に供給チューブ36も破裂しないものである。
このような構成によれば、エアボンベ30から供給され、レギュレータ31により一定圧に整えられたエアが、チューブ継手29を介して、4本の供給チューブ36に供給される。
制御部105は、操作部14による指示入力や、図3のステップS1〜S7の動作の結果として得られる湾曲目標値に基づいて電磁弁33、34に制御信号を送出し、各供給チューブ36、湾曲チューブ37内のエア量を可変する。すなわち、電磁弁33、34のそれぞれのポートP、A間を開くことで、エアが供給される。また電磁弁34のポートP、A間を閉じることでエア量が保持される。
そして、電磁弁33のポートA、E間を開いた状態で、電磁弁34のポートP、A間を開閉制御することで、管路内のエアが適宜量だけ排気される。
そして、供給されたエアによる内圧に応じて、各湾曲チューブ37が管路方向に伸縮するため、それらの伸縮量のバランスに応じて湾曲部2を2軸方向に湾曲させることができるようになっている。
次に、本実施形態の内視鏡装置70の捕捉動作について説明する。
内視鏡装置70は、第1の実施形態の内視鏡装置50と同様に、被写体像を捕捉することができるもので、図3のステップS10の動作のみが異なる。そこで、ステップS10に対応する湾曲動作について説明する。
図9は、本発明の第2の実施形態の内視鏡装置の湾曲動作の詳細について説明するためのフローチャートである。
本実施形態の湾曲動作は、図9に示すように、図7のステップS20〜S24に対応して、ステップS30〜S34を備える。
ステップS30では、図3のステップS6と同様にして、現在位置の湾曲角度、湾曲方向の測定を行う。
ステップS31では、ステップS30で測定した湾曲角度、湾曲方向の値を、図3のステップS7で算出された湾曲目標値と比較する。
湾曲目標値に一致する場合は、ステップS34に移行する。
湾曲目標値に一致しない場合は、ステップS32に移行する。
ステップS34では、電磁弁33、34に制御信号を送出して、各電磁弁33、34を閉めてエアを封印し、湾曲駆動機構72の動作を停止する。
そして、湾曲動作を終了し、図3のステップS11に移行する。
ステップS32では、圧力検出部74、各圧力センサ35で検出される供給チューブ36、湾曲チューブ37の内圧値を取得する。
ステップS33では、ステップS32で取得された内圧値の中にメモリ101に予め記憶された湾曲チューブ37の内圧の限界閾値以上のものがあるかどうか判定する。
内圧の限界閾値以上のものがある場合、ステップS35に移行する。
すべての内圧値が内圧の限界閾値より小さい場合、ステップS36に移行する。
ステップS35では、湾曲チューブ37の内圧が限界値を超えたため湾曲動作を行えない旨を警告するメッセージが入った画像データ303をモニタ13に送出するとともに、捕捉サーボを終了するためにメモリ101の捕捉サーボONフラグをリセットする。そして、ステップS34に移行する。
このため、湾曲チューブ37(供給チューブ36)が破裂するのを防止することができる。
ステップS36では、湾曲目標値と現在位置の湾曲状態との偏差に応じて各電磁弁33、34に制御信号を送出し、各湾曲チューブ37内の内圧を制御することで湾曲動作を行う。
そして、ステップS30に戻り、上記の工程を繰り返す。
そのため、湾曲動作は、湾曲チューブ37(供給チューブ36)の内圧の異常が検出されない限り、ステップS36が実行され、湾曲状態が湾曲目標値に一致した時点でステップS34が実行され、湾曲動作が終了する。
その後、図3のステップS11に移行する。
このようにして、本実施形態の内視鏡装置70は、内視鏡装置50の湾曲駆動機構が流体圧駆動手段に置き換えた場合の例になっている。そして本実施形態の被写体捕捉動作は、内視鏡装置50の場合と本質的に同様に行うことができることが分かる。
[第3の実施形態]
次に、本発明の第3の実施形態に係る内視鏡装置について説明する。
本実施形態の内視鏡装置500は、図1に示すように、第1の内視鏡装置50の制御部100に代えて、制御部200を備えるものであり、捕捉動作の制御方法が異なるものである。以下、第1の実施形態と異なる点を中心に説明する。
図10は、本発明の第3の実施形態に係る内視鏡装置の動作について説明するためのフローチャートである。図11(a)は、被写体の全体像の一例を示す模式図である。図11(b)は、コントラスト測定について説明するための模式説明図である。図11(c)、(d)、(e)、(f)は、図11(a)上で初期の被写体像を捕捉する過程で取得される画像の例である。
本実施形態の内視鏡装置500は、撮像された画像情報から被写体20の位置ずれを検出する画像ずれ検出手段を備えることで、図10に示すように、図3と略同様な動作による粗動捕捉動作(第1の被写体捕捉動作)と、画像ずれ検出手段の検出出力により湾曲量を補正する微動捕捉動作(第2の被写体捕捉動作)を行うように、捕捉すべき被写体像中心pの位置精度の向上を図るものである。
本実施形態では、画像情報として、画像のコントラスト情報を用いる例で説明する。画像ずれ検出手段は、双眼レンズ4Aを有する撮像手段4による視差画像301を画像処理する制御部200により構成される。
図10のステップS40〜S44は、本実施形態の粗動捕捉動作に係る初期の湾曲状態を記憶するための動作であり、ぞれぞれ、図3のステップS1〜S5と同様の動作を行うようになっている。
ステップS44に続くステップS45は、微動捕捉動作を行うための初期の画像情報を取得するためのもので、本実施形態では、捕捉動作開始時において撮像手段4で撮像される画像、すなわち被写体20の被写体像中心p(図4(a)参照)を中心とした画像のコントラストの検出を行う。
例えば、被写体20が、図11(a)に示す不定形の濃淡画像であり、初期状態の撮像範囲がフレームFで表されるものとする。被写体像中心pは、フレームFの中心に位置する。
ステップS45では、フレームFの画像が、画像信号300としてCCU104に取り込まれる。そして、CCU104によりコントラスト検出画像305に加工した後に、それを制御部200に送出する。
コントラスト検出画像305は、画像の移動を迅速に検出できる画像であれば、適宜の画像を採用することができるが、本実施形態では、例えば、図11(b)に示すように、フレームF内をグリッド状に区分けして画像域Gに区分し、各区画内の平均輝度を算出してモザイク画像に変換した2次元輝度分布データを採用することができる。
ステップS46では、コントラスト検出画像305をメモリ101に記憶する。この画像をコントラスト検出画像305Aと称する。
続くステップS47〜S48は、粗動捕捉動作を行うための準備工程であり、それぞれ図3のステップS6〜S7と略同様の動作を行う。
ただし、ステップS48で算出される湾曲目標値を湾曲目標値Iと称する。
ステップS49では、ステップS48で算出された湾曲目標値Iが予めメモリ101に設定された粗動捕捉動作を行う下限閾値以下かどうか判定する。すなわち、湾曲目標値Iが微小で被写体像中心pが撮像範囲に捉えられる偏差以内と算出された場合、粗動捕捉動作の段階を省略し、微動捕捉動作のみを行うようにするための工程である。この場合、粗動捕捉動作を省略するので、その分だけ高速な捕捉動作を行うことができるという利点がある。
湾曲目標値Iが粗動捕捉動作を行う下限閾値以下の場合、ステップS53に移行する。
湾曲目標値Iが粗動捕捉動作を行う下限閾値より大きい場合、ステップS50を実行する。
ステップS50では、ステップS48で算出された湾曲目標値Iが予めメモリ101に設定された湾曲の上限限界閾値以上かどうか判定する。
湾曲目標値Iが湾曲の上限限界閾値以上の場合、ステップS52を実行し、警告表示を行う。例えば、限界を超えて湾曲しようとしたため捕捉動作が行えない旨を警告するメッセージが入った画像データ303をモニタ13に送出するとともに、捕捉サーボを終了するためメモリ101の捕捉サーボONフラグをリセットする。そして、ステップS57に移行する。
ステップS51は、図7に示す湾曲動作と同様の動作であり、ステップS51の終了により、粗動捕捉動作が終了する。
このような粗動捕捉動作は、第1の実施形態で説明したように、データ量が多くなる画像情報から被写体像中心pの位置情報を取得して湾曲量を決める場合に比べて有利な点が多い。
ただし、被写体像中心pの位置情報を被写体の画像から直接に取得してフィードバックするわけではないので、例えば、加速度の検出誤差などのため、被写体像中心pの位置が撮像中心から外れる場合も考えられる。
例えば、粗動捕捉動作の過程において、図4(a)に示すように、挿入部1が破線、二点鎖線、実線の状態に移動、湾曲され、撮像範囲の中心が、点p、q、r、pのように移動する場合、撮像画像は、例えば、それぞれ図11(c)、(d)、(e)、(f)に示すように変化する場合がある。
すなわち、粗動捕捉動作終了後、フレームFで捕捉された画像(図11(f)参照)は、捕捉誤差や撮像手段4と被写体像中心pとの距離が変化するなどの理由で、図11(c)に示す初期のフレームFよりやや広いフレームF内の画像となり、その画像中心は被写体像中心pとわずかにずれた点p’となっている。
本実施形態では、このように被写体像中心pが撮像範囲内に捉えられた状態において、以下のように、被写体20の画像情報を用いた微動捕捉動作を行う。
ステップS53では、ステップS45と同様にして、CCU104により現在位置における画像信号300からコントラスト検出画像305を加工し、制御部200に送出する。制御部200は、取得したコントラスト検出画像305をメモリ101の作業領域に格納する。この画像をコントラスト検出画像305Bと称する。
ステップS54では、制御部200で、ステップS46でメモリ101に記憶されたコントラスト検出画像305Aと、ステップS53でメモリ101に格納されたコントラスト検出画像305Bとを比較演算して、撮像範囲内の画像移動量を算出し、被写体像中心pのずれ量を求める。そして、このずれ量に応じて、湾曲角度と湾曲方向を算出し、現在位置からの湾曲目標値IIを算出する。
ステップS55では、ステップS54で算出された湾曲目標値IIが予めメモリ101に設定された微動捕捉動作を行う下限閾値以下かどうか判定する。
微動捕捉動作を行う閾値範囲の下限値は、捕捉の収束判定を行うもので、被写体像中心pの捕捉精度から必要に応じて設定しておく。
本実施形態では、ステップS55より前の工程で、粗動捕捉動作が実行されているか、粗動捕捉動作を行うまでもない程度の湾曲目標であることが判明しているので、上限閾値を設けて判定する工程は省略している。
湾曲目標値IIが微動捕捉動作を行う下限閾値以下の場合、ステップS57に移行する。
湾曲目標値IIが微動捕捉動作を行う下限閾値より小さい場合、ステップS56を実行する。
ステップS56は、図7の湾曲動作と同様の動作である。ステップS56が終了すると、ステップS57に移行する。
以上で、微動捕捉動作が終了する。
ステップS57では、図3のステップS11と同様の動作を行う。すなわち、メモリ101を参照して、捕捉サーボONフラグの有無を判定する。
捕捉サーボONフラグが立っている場合、ステップS47に戻り、上記の工程を繰り返す。そのため、これらの工程の実行中に、例えば外乱を受けたとしても、ステップS47〜S48、またはステップS53〜S54を実行するたびに、外乱分を補正する湾曲目標値I、またはIIが設定され、捕捉サーボが有効に機能する。
捕捉サーボONフラグがリセットされている場合、捕捉動作を停止する。
本実施形態によれば、外乱のため、被写体像中心pが撮像範囲を外れるような場合、粗動捕捉動作が実行され、被写体像中心pが撮像範囲に捕捉される。そして、被写体像中心p周りの画像情報に基づいて、被写体像中心pの撮像範囲の中心に対するずれ量を検出して微動捕捉動作が実行される。そのため、挿入部1が幅広い範囲で移動しても、粗動捕捉動作と微動捕捉動作とが、順次、あるいは場合によって選択的に行われるため、高精度かつ効率的な被写体捕捉動作を行うことができる。
次に、第3の実施形態の変形例について説明する。
本変形例の内視鏡装置700は、図8に示すように、第2の実施形態の制御部105に代えて、画像ずれ検知手段の機能を有する制御部205を備えるものである。
すなわち、本変形例は、湾曲駆動機構が流体圧駆動を用いる場合において、第3の実施形態の粗動捕捉動作と微動捕捉動作とを行うようにした例である。
制御部205の構成、および内視鏡装置700の動作は、上記、第2、第3の実施形態から容易に理解されるので、説明は省略する。
なお、上記の説明では、測距手段としてステレオ計測手段を用いる例で説明した。このようにすれば、撮像手段を兼用してステレオ計測手段に用いることができる利点があるが、被写体と撮像光学系と距離を測定できれば、このような構成に限定されるものではない。例えば、被写体に検出光を照射してその反射光により距離を測定する測距手段や、被写体にフォーカスして距離を測定する測距手段などを採用してもよい。
また、上記の説明では、撮像手段がステレオ計測手段を兼ねる例で説明したが、被写体のステレオ画像を撮像する必要がない場合には、撮像手段として、片側の対物レンズにより得られた画像をモニタに全面表示して観察を行い、被写体との距離を測定するときのみ、ステレオ画像を取得するようにしてもよい。
また、上記の説明では、湾曲部位置姿勢制御手段として、加速度検出手段を用いる例で説明したが、湾曲部の先端の位置、姿勢が検出できれば、これに限定されるものではない。例えば、湾曲先端部と基端部に複数のセンサコイルを配備して磁界中にさらしておくことにより、コイルの自己誘導起電力から傾きや変位、すなわち、位置、姿勢を検出するようにしてもよい。
また、上記の第3の実施形態の説明では、画像ずれ検出手段の画像情報として、コントラスト情報を用いる例で説明したが、画像情報はこれに限定されず、適宜に画像処理された画像情報を採用することができる。例えば、被写体画像をエッジ抽出処理することによりエッジ画像に加工し、エッジ画像の特徴抽出を行うことにより、画像ずれ量を検出するようにしてもよい。
また、上記の説明では、撮像光学系の光軸を初期撮像中心位置に向けるように被写体捕捉動作を行う例で説明したが、何らかのズーム機能を持たせ、測距手段により捕捉動作時に被写体との距離を測定し、その距離測定に応じてズーム範囲を可変することで、撮像範囲も一定に保持するように変形すれば、さらに好都合である。
ズーム機能は、電子ズームが容易であるが、撮像光学系に持たせてもよい。
本発明の第1の実施形態に係る内視鏡装置の概略構成を説明するために模式的に描いた構成説明図である。 本発明の第1の実施形態に係る内視鏡装置の湾曲部の湾曲状態における先端と基端の位置関係について説明する斜視説明図である。 本発明の第1の実施形態に係る内視鏡装置の動作について説明するためのフローチャートである。 本発明の第1の実施形態に係る内視鏡装置の被写体像捕捉動作の原理について説明するための動作説明図およびその変位ベクトルについて説明するためのベクトル図である。 図4(a)の捕捉動作における湾曲角度および湾曲方向を算出するための幾何学的な関係を示す補助説明図である。 視差画像を用いた距離測定について説明するための原理説明図である。 湾曲動作の詳細について説明するためのフローチャートである。 本発明の第2の実施形態に係る内視鏡装置の概略構成を説明するために模式的に描いた構成説明図である。 本発明の第2の実施形態の内視鏡装置の湾曲動作の詳細について説明するためのフローチャートである。 本発明の第3の実施形態に係る内視鏡装置の動作について説明するためのフローチャートである。 被写体の全体像の一例を示す模式図、コントラスト測定について説明するための模式説明図、および初期の被写体像を捕捉する過程で取得される画像の例である。
符号の説明
1 挿入部(内視鏡挿入部)
2 湾曲部
3 湾曲先端部(湾曲部の先端)
4 撮像手段
4A 双眼レンズ(撮像光学系)
4a、4b 対物レンズ
4B 撮像素子
5A、5B 加速度センサ(加速度検出手段)
8 湾曲基端部(湾曲部の基端)
9、9A、9B モータ
10、10A、10B ワイヤ
12、12A、12B 歪みゲージ
14 操作部
16a ロックボタン(捕捉動作設定手段)
16b ロック解除ボタン(捕捉動作設定手段)
20 被写体
21、22、23、24 光軸(撮像光学系の光軸)
33、33A、33B、34、34A、34B 電磁弁
35、35A、35B 圧力センサ
36、36A、36B 供給チューブ
37、37A、37B 湾曲チューブ
50、70、500、700 内視鏡装置
51、71 装置本体部
52、72 湾曲駆動機構
53、73 制御ユニット
54 張力検出部
74 圧力検出部
100、105、200、205 制御部(撮像位置安定化手段)
101 メモリ(記憶手段)
102 モータドライバ
104 カメラ制御ユニット(CCU)
p 被写体像中心(初期撮像中心位置)
q、r、p’ 被写体像中心(撮像中心位置)
、F、F、F フレーム(撮像範囲)

Claims (7)

  1. 被検体に挿入する内視鏡挿入部の先端側に湾曲部を有する内視鏡装置であって、
    前記湾曲部よりも先端に撮像光学系を設けた撮像手段と、
    前記湾曲部を湾曲させる湾曲駆動機構と、
    前記湾曲部の姿勢を検出する湾曲部位置姿勢検出手段と、
    前記撮像手段による前記被写体の撮像中心位置を略一定に保つ被写体捕捉動作の動作開始または動作解除する捕捉動作設定手段と、
    前記捕捉動作設定手段により前記捕捉動作開始が指示された場合に、前記湾曲部位置姿勢検出手段の検出出力から前記被写体の撮像中心位置を算出し、前記湾曲部位置姿勢検出手段の検出出力に応じて、前記撮像中心位置に前記撮像光学系の光軸が向くように、前記湾曲駆動機構を駆動制御する撮像位置安定化手段とを備えることを特徴とする内視鏡装置。
  2. 前記被写体と前記撮像光学系との間の距離を測定する測距手段をさらに備え、前記撮像中心位置は、前記湾曲部位置姿勢検出手段および前記測距手段の各検出出力から算出されてなることを特徴とする請求項1に記載の内視鏡装置。
  3. 前記測距手段が、複数の視点で被写体を撮像するステレオ計測手段で構成され、少なくともその一部が前記撮像手段を兼ねることを特徴とする請求項に記載の内視鏡装置。
  4. 前記湾曲部位置姿勢検出手段が、前記湾曲部の先端および基端にそれぞれ設けられた複数の加速度検出手段であることを特徴とする請求項1〜3のいずれかに記載の内視鏡装置。
  5. 前記撮像手段により撮像される被写体の画像データから、前記被写体の撮像中心位置のずれ量を検出する画像ずれ検出手段を備え、
    前記捕捉動作設定手段により前記捕捉動作開始が指示された場合に、前記撮像位置安定化手段が、前記画像ずれ検出手段により検出された前記撮像中心位置のずれ量に応じて、前記湾曲駆動機構を駆動制御できるようにしたことを特徴とする請求項1〜のいずれかに記載の内視鏡装置。
  6. 前記画像ずれ検出手段が、前記画像データとして、前記被写体の画像のコントラスト情報を抽出し、該コントラスト情報により前記被写体の撮像中心位置のずれ量を検出することを特徴とする請求項に記載の内視鏡装置。
  7. 前記撮像位置安定化手段が、
    前記湾曲部位置姿勢検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第1の被写体捕捉動作を行い、
    該第1の被写体捕捉動作を完了させてから、前記画像ずれ検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第2の被写体捕捉動作を行うようにしたことを特徴とする請求項またはに記載の内視鏡装置。
JP2005351773A 2005-12-06 2005-12-06 内視鏡装置 Expired - Fee Related JP4812418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005351773A JP4812418B2 (ja) 2005-12-06 2005-12-06 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005351773A JP4812418B2 (ja) 2005-12-06 2005-12-06 内視鏡装置

Publications (3)

Publication Number Publication Date
JP2007151862A JP2007151862A (ja) 2007-06-21
JP2007151862A5 JP2007151862A5 (ja) 2009-01-29
JP4812418B2 true JP4812418B2 (ja) 2011-11-09

Family

ID=38236953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005351773A Expired - Fee Related JP4812418B2 (ja) 2005-12-06 2005-12-06 内視鏡装置

Country Status (1)

Country Link
JP (1) JP4812418B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5214187B2 (ja) * 2007-07-13 2013-06-19 オリンパスメディカルシステムズ株式会社 内視鏡、内視鏡装置および内視鏡装置の作動方法
JP4705128B2 (ja) * 2008-04-15 2011-06-22 オリンパスメディカルシステムズ株式会社 マニピュレータ
US20120089014A1 (en) 2009-06-29 2012-04-12 Koninklijke Philips Electronics N.V. Method and apparatus for tracking in a medical procedure
JP5570769B2 (ja) 2009-07-23 2014-08-13 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
WO2011040104A1 (ja) * 2009-09-30 2011-04-07 オリンパスメディカルシステムズ株式会社 内視鏡装置及び湾曲駆動制御方法
JP5576698B2 (ja) * 2010-04-15 2014-08-20 オリンパス株式会社 ガイドチューブ装置および内視鏡システム
JP5085684B2 (ja) * 2010-05-19 2012-11-28 オリンパスメディカルシステムズ株式会社 処置具システム及びマニピュレータシステム
DE102010041857A1 (de) 2010-10-01 2012-04-05 Olympus Winter & Ibe Gmbh Stereoendoskop
JP2012139456A (ja) * 2011-01-05 2012-07-26 Olympus Corp 内視鏡画像再生装置
CN103228195B (zh) 2011-08-01 2016-01-20 奥林巴斯株式会社 插入部形状估计装置
JP5764472B2 (ja) * 2011-11-11 2015-08-19 富士フイルム株式会社 内視鏡診断装置
JP6218634B2 (ja) * 2014-02-20 2017-10-25 オリンパス株式会社 内視鏡システム及び内視鏡の作動方法
JP6257371B2 (ja) * 2014-02-21 2018-01-10 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6431678B2 (ja) * 2014-03-20 2018-11-28 オリンパス株式会社 挿入形状検出装置
CN107249425B (zh) * 2015-05-14 2019-09-27 奥林巴斯株式会社 内窥镜装置
US11330209B2 (en) 2018-03-29 2022-05-10 Sony Semiconductor Solutions Corporation Imaging device and electronic device enabled to control position of lens
JP2019184842A (ja) * 2018-04-11 2019-10-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器
CN111665258B (zh) * 2020-06-28 2025-02-14 广州特种承压设备检测研究院 气瓶的检测系统、检测装置及检测方法
US20250052996A1 (en) * 2023-08-08 2025-02-13 Baker Hughes Holdings Llc Automatic slap impact mitigation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5586436A (en) * 1978-12-22 1980-06-30 Olympus Optical Co Endoscope
JPH02116347A (ja) * 1988-10-27 1990-05-01 Toshiba Corp 電子内視鏡装置
JPH10309258A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP4119530B2 (ja) * 1998-06-18 2008-07-16 オリンパス株式会社 内視鏡装置および内視鏡に挿通する位置検出カテーテル
JP4447080B2 (ja) * 1999-08-06 2010-04-07 Hoya株式会社 内視鏡装置
JP4094543B2 (ja) * 2003-12-26 2008-06-04 オリンパス株式会社 カプセル型医療装置システム

Also Published As

Publication number Publication date
JP2007151862A (ja) 2007-06-21

Similar Documents

Publication Publication Date Title
JP4812418B2 (ja) 内視鏡装置
JP5559996B2 (ja) 内視鏡装置及び内視鏡システム並びに内視鏡装置の作動方法
KR102345763B1 (ko) 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템
JP4819957B1 (ja) ロボットの位置情報復元装置および位置情報復元方法
JP5484651B2 (ja) 医療装置位置検出システムおよび医療装置誘導システム
JP4136058B2 (ja) 内視鏡
US8465415B2 (en) Endoscope apparatus and measurement method
US20110060185A1 (en) Medical device system and calibration method for medical instrument
US20050148854A1 (en) Diagnosis supporting device
JP5450663B2 (ja) 内視鏡装置の作動方法および内視鏡カプセルのナビゲーション装置
JP5441679B2 (ja) 撮像装置
EP3031385A1 (en) Insertion system and method for adjusting shape detection characteristics of shape sensor
JPWO2019171471A1 (ja) 可撓管挿入装置、剛性制御装置、挿入部の挿入方法、及び剛性制御プログラムを記録した記録媒体
JP7236689B2 (ja) 3次元形状データ作成システムの作動方法、及び3次元形状データ作成システム
JP7734918B2 (ja) 制御装置、検査システム、制御方法、及びプログラム
US10517461B2 (en) Flexible tube insertion apparatus
US20120053412A1 (en) Endoscopic form detection device and form detecting method of insertion section of endoscope
CN119138825A (zh) 内窥镜状态检测系统及方法
JPWO2016136353A1 (ja) 内視鏡システム及び内視鏡較正方法
JP2008045983A (ja) ステレオカメラの調整装置
JP2009297435A (ja) 受動的多自由度システムおよび内視鏡装置
US10878563B2 (en) Three-dimensional shape data production method and three-dimensional shape data production system
JP5098714B2 (ja) 測距装置および撮像装置
JP5396178B2 (ja) 内視鏡装置及び内視鏡システム
CN117241718A (zh) 内窥镜系统、内腔构造计算系统以及内腔构造信息的制作方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110823

R151 Written notification of patent or utility model registration

Ref document number: 4812418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371