JP4812418B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP4812418B2 JP4812418B2 JP2005351773A JP2005351773A JP4812418B2 JP 4812418 B2 JP4812418 B2 JP 4812418B2 JP 2005351773 A JP2005351773 A JP 2005351773A JP 2005351773 A JP2005351773 A JP 2005351773A JP 4812418 B2 JP4812418 B2 JP 4812418B2
- Authority
- JP
- Japan
- Prior art keywords
- bending
- subject
- imaging
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005452 bending Methods 0.000 claims description 259
- 238000003384 imaging method Methods 0.000 claims description 86
- 238000001514 detection method Methods 0.000 claims description 85
- 230000007246 mechanism Effects 0.000 claims description 49
- 230000003287 optical effect Effects 0.000 claims description 41
- 230000001133 acceleration Effects 0.000 claims description 36
- 238000003780 insertion Methods 0.000 claims description 26
- 230000037431 insertion Effects 0.000 claims description 26
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 230000000087 stabilizing effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 30
- 239000013598 vector Substances 0.000 description 23
- 230000036544 posture Effects 0.000 description 22
- 238000005259 measurement Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000012530 fluid Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000009172 bursting Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Description
例えば、特許文献1には、被写体像が拡大表示時にずれた場合、ずれ量をベクトルとして検出し、ずれ量を補正するように湾曲部の湾曲角を補正する内視鏡装置が記載されている。
特許文献2には、管内に挿入される内視鏡装置であって、被写体像の明るさ分布を検出する複数の光電素子を備え、その検出出力の偏差により湾曲量を制御して、先端構成部が被観察系の周壁の実質的中心方向に向かうようにする内視鏡が記載されている。
特許文献3には、被写体の画像を複数領域に分割し、分割された領域の明るさ情報を検出し、それらの明るさ情報を基にファジィ推論手段を用いて湾曲駆動手段の湾曲量を制御する内視鏡装置が記載されている。
特許文献1に記載の技術では、被写体像の変化により移動方向、移動量を検出して湾曲量を補正するので、被写体像が撮像範囲内にある場合の移動には追従できるものの、撮像範囲から被写体が飛び出した場合には一旦低倍率に戻して被写体を撮像範囲に入れて湾曲量を補正してから、元の拡大倍率に戻すといった手間がかかる。そのため被写体が撮影範囲外に飛び出すような大きな外乱を受ける場合や、被写体を狭い視野角内で高倍率に拡大観察する場合に、安定した観察を効率よく行うことができないという問題がある。
特許文献2に記載の技術では、明るさ分布の偏差を検出して湾曲量を制御するので、管内の中心を観察する場合のように、明るさ分布が特定の分布を有する場合に限って湾曲量を安定的に制御することができるものである。したがって、撮像範囲内で明るさが略均一となるような偏差を抽出しにくい場合や特定の模様が同じパターン配列しているような場合などでは、湾曲量を正しく制御できなくなるという問題がある。
特許文献3に記載の技術では、明るさ分布を検出し、ファジィ推論を用いて湾曲量を制御する。そのため、被検体の明るさ分布に多少変動がある場合でも湾曲を制御することができるものの、ファジィ推論規則を設定するには、被写体、背景の明るさ分布にある程度の特徴がなければならない。そのため、程度の差はあっても特許文献2と同様の問題がある。
この発明によれば、捕捉動作設定手段により被写体捕捉動作の動作開始が設定されると、撮像位置安定化手段により、湾曲部位置姿勢検出手段の検出出力を取得し、その時点での被写体の撮像中心位置(以下、初期撮像中心位置と称する)を算出する。そして、湾曲部位置姿勢検出手段の検出出力に応じて、初期撮像中心位置に撮像光学系の光軸が向くように湾曲駆動機構が駆動される。
そのため、被写体捕捉動作の動作開始後に被写体が撮像範囲から外れた場合でも、倍率を変えたりすることなく被写体を迅速かつ容易に初期撮像中心位置に捕捉することができる。
この発明によれば、測距手段が複数の支点で被写体を撮像するステレオ計測手段で構成され、少なくともその一部が撮像手段を兼ねるので簡素な構成とすることができる。
また、ステレオ計測手段により被写体の立体視画像を撮像することができるので、被写体の凹凸形状を参照して初期撮像中心位置の正確な位置決めを行うことができる。
ステレオ計測手段の全部が撮像手段である場合、撮像光学系が多焦点光学系となるが、本明細書では、この場合の撮像光学系の光軸は、特に断らない限り、多焦点の各光軸に対する対称軸を指すものとする。
この発明によれば、湾曲部位置姿勢検出手段が、加速度検出手段であるので、外乱などによる変位にも高速に応答することができるとともに、小型のセンサで設置位置での変位と方向とともに検出できるので、内視鏡挿入部の内部にも容易に設置することができる。
この発明によれば、撮像手段により撮像される被写体の画像データから被写体の撮像中心位置のずれ量を検出する画像ずれ検出手段を備えるので、被写体の画像データにより被写体の撮像中心位置を直接的に検出することができ、被写体捕捉動作の精度を向上することができる。
この発明によれば、画像ずれ検出手段が、被写体の画像のコントラスト情報の変化により被写体の撮像中心位置のずれ量を検出するので、検出に用いる画像データ量を圧縮することができるので、迅速な被写体捕捉動作を行うことができる。
前記湾曲部位置姿勢検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第1の被写体捕捉動作を行い、該第1の被写体捕捉動作を完了させてから、前記画像ずれ検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第2の被写体捕捉動作を行う構成とする。
この発明によれば、湾曲部位置姿勢検出手段の検出出力を用いる第1の被写体捕捉動作を行い、それを完了させてから、画像ずれ検出手段の検出出力を用いる第2の被写体捕捉動作を行うので、湾曲部位置姿勢検出手段に検出誤差などが生じるような場合でも、被写体の撮像中心位置のずれ量を検出する第2の被写体捕捉動作を行うので、捕捉目標を確実かつ高精度に捕捉することができる。
本発明の第1の実施形態に係る内視鏡装置について説明する。
図1は、本発明の第1の実施形態に係る内視鏡装置の概略構成を説明するために模式的に描いた構成説明図である。
内視鏡装置50の概略構成は、図1に示すように、挿入部1(内視鏡挿入部)、装置本体部51、およびモニタ13からなる。
湾曲先端部3は、湾曲部2と略同一外径を有する円板状または円柱状の硬質部分である。
湾曲先端部3の先端面3aには、入射光を内部に導く入射口(不図示)が形成され、その内部側には、双眼レンズ4A(撮像光学系)、撮像素子4Bが先端面3a側からこの順に配列されてなる撮像手段4が設けられている。
双眼レンズ4Aは、同一の焦点距離、画角を有する対物レンズ4a、4bをそれぞれの光軸を所定距離dだけ離間して配置した撮像光学系である。そのため先端面3aからの入射光による像を、同一平面に整列した結像面上に、視差dを有する視差画像として結像することができるようになっている。
このように双眼レンズ4Aは、多焦点光学系であるが、便宜上、以下では、対物レンズ4a、4bの光軸の対称軸のことを、双眼レンズ4Aの光軸と称する。
双眼レンズ4Aの光軸は、湾曲先端部3の軸線方向、すなわち先端面3aの法線方向に向けられている。
また、特に図示しないが、湾曲先端部3には、先端面3aから外部に向かって照明光を出射する照明系が設けられている。
撮像素子4Bは、対物レンズ4a、4bのそれぞれに対応して2つ設けられていてもよいし、1つだけ設けて、対物レンズ4a、4bに対応する画像を1つの撮像面上で撮像するようにしてもよい。いずれの場合でも、撮像素子4Bの出力である画像信号300は、後述するカメラ制御ユニット(以下、CCUと略称する)104により、同一被写体に対する2つの視差画像301に適宜分離して処理することができるようになっている。
撮像素子4Bで撮像された画像信号300は、挿入部1内の信号ケーブル7を通して装置本体部51に送出される。
このように撮像手段4は、視差画像301を取得するステレオ計測手段を兼ねているものである。
管状部材は、湾曲可能であれば適宜の構造を採用することができるが、例えば、ワイヤ10A、10Bや信号ケーブル5a、7などを挿通する挿通孔を備えた複数の板状の湾曲コマが軸中心位置で等ピッチで配列され、周縁部では隣接する湾曲コマとの距離がワイヤ10A、10Bの引張り力のバランスに応じて可変され、それぞれの湾曲コマが互いに傾斜することにより全体として湾曲するような構造を採用することができる。
また、ワイヤ10Bは、ワイヤ10Aと同様にして、両端部が湾曲先端部3の基端側に固定され、中間部が湾曲駆動機構52のプーリ11Bに巻架されている。ただし、ワイヤ10Bの各端部の固定位置は、ワイヤ10Aの各端部の固定位置に対して90°ずらされている。例えば、湾曲先端部3の近傍では、ワイヤ10Aにおける対向するワイヤ対が、図1の紙面内に配置され、ワイヤ10Bにおける対向するワイヤ対が、図1の紙面垂直面内に配置される。
そのため、例えば、湾曲駆動機構52のモータ9Aを駆動させワイヤ10Aを巻き取るプーリ11Aが一方向に回転すると、紙面内で、端部の一方が引っ張られて他方が緩む。また湾曲駆動機構52のモータ9Bを駆動させワイヤ10Bを巻き取るプーリ11Bが一方向に回転すると、紙面垂直面で、端部の一方が引っ張られ他方が緩む。このようにそれぞれ独立したモータ9A、9Bを制御してプーリ11A、11Bの回転角をそれぞれ適宜設定することにより、遠方にある湾曲先端部3の向きを自由に変えられるようになっている。
加速度センサ5A、5Bは、湾曲部2の先端および基端の位置および姿勢を検出する湾曲部位置姿勢検出手段を構成している。
湾曲駆動機構52は、ワイヤ10A、10B(以下、それぞれ、単にワイヤ10と称する場合がある。)の中間部をそれぞれプーリ11A、11Bに巻き取って、湾曲先端部3と湾曲基端部8との間に張架されるワイヤ10A、10Bの長さを可変して湾曲部2の湾曲量を可変する機構であり、ワイヤ10A、10Bを巻き取るプーリ11A、11Bと、それらを正逆転自在に回転駆動するモータ9A、9B(以下、それぞれ、単にモータ9と称する場合がある。)とからなる。
各モータ9は、回転角の制御が可能であれば、適宜のモータを採用することができる。例えばロータリエンコーダなどの回転角検出手段を用いて回転角制御を行うDCサーボモータなどを採用することができる。
湾曲駆動機構52によれば、前述のようにして湾曲先端部3の向きを自由に変えられるようになっている。
歪みゲージ12の各検出出力は制御ユニット53に送出される。
各ワイヤ10の破断限界値、すなわち湾曲駆動機構52による牽引量限界値は、後述するメモリ101に予め設定されている。
ロック解除ボタン16bが押されると、後述する制御部100に対する割り込み信号が発生し、湾曲駆動機構52の動作が停止されるとともに、後述する捕捉サーボONフラグがリセットされるようになっている。それにより、被写体捕捉動作の実行中でも、被写体捕捉動作を強制終了し、湾曲操作機構15を用いたマニュアル操作による湾曲を行うことができるようになっている。
操作部14の操作により入力される各入力信号は、制御ユニット53に送出される。
制御部100は、操作部14、メモリ101、モータドライバ102、CCU104、およびモニタ13と電気的に接続され、操作部14からの入力信号、加速度センサ5A、5B、張力検出部54の各検出出力、およびCCU104から送出される視差画像301に応じて、装置全体の制御や湾曲駆動機構52の制御に関する種々の制御動作、処理動作を行うものである。そして、撮像位置安定化手段を構成している。制御部100で処理された情報は、文字や画像などからなる適宜の画像データ303に変換して、モニタ13に表示できるようになっている。
制御部100は、適宜の制御回路群を有するハードウェアを用いて構成されていてもよいが、本実施形態では、不図示のCPUと入出力インタフェースとにより構成されている。そして後述する各制御動作、処理動作を行うためのプログラム群をメモリ101にロードし、それらをCPUが実行することにより、各プログラムに対応する各制御動作、処理動作を実現している。
CCU104は、撮像素子4Bにより撮像された画像信号300を、必要に応じて適宜の画像処理、例えば、輝度補正、シャープネス補正、ステレオ画像データ処理などを行って、モニタ13に画像表示するための画像データ302を生成しモニタ13に送出するとともに、ステレオ計測を行うための2つの視差画像301を生成して制御部100に送出するものである。
まず、本実施形態における湾曲部2の湾曲の検出動作について説明する。
図2は、本発明の第1の実施形態に係る内視鏡装置の湾曲部の湾曲状態における先端と基端の位置関係について説明する斜視説明図である。
内視鏡装置50において湾曲部2を湾曲させる目的は、湾曲先端部3を移動して湾曲先端部3に内蔵された撮像手段4により所望の被写体を撮像することにある。そのため、湾曲部2の湾曲形状は、湾曲先端部3と湾曲基端部8との相対的な位置関係が記述できれば十分である。
本実施形態では、湾曲先端部3、湾曲基端部8にそれぞれ設けられた加速度センサ5A、5Bが検出する3軸方向の加速度に基づいて、湾曲先端部3、湾曲基端部8の位置および姿勢を検出する。
位置情報は、加速度センサ5A、5Bが検出する加速度の変動分を積分することにより、初期的に配置された基準位置からの3次元の変位量として取得される。
姿勢情報は、加速度センサ5A、5Bが検出する重力加速度成分に対する差分として3次元的に検出される。
加速度センサ5A、5Bは、湾曲先端部3、湾曲基端部8の所定位置に固定されているので、これらの位置情報、姿勢情報は、硬質部分をなし実質的に剛体と見なしうる湾曲先端部3、湾曲基端部8では、それぞれの内部の任意の位置における位置情報、姿勢情報に容易に換算することができる。
例えば、図2に示す単位方向ベクトルA、Bは、それぞれ湾曲先端部3、湾曲基端部8の姿勢を表現するものである。
A=(Ax,Ay,Az) ・・・(1)
B=(Bx,By,Bz) ・・・(2)
湾曲部2が湾曲したときの湾曲基端部8に対する湾曲先端部3の湾曲角度は、これら単位方向ベクトルA、Bとのなす角θとして次式のように定義される。
θ=cos−1{(A*B)/(|A|・|B|)} ・・・(3)
ここで、記号*、・は、それぞれベクトルの内積、スカラの乗算を表すものとする。また、|A|=|B|=1である。
また、湾曲方向は、単位方向ベクトルA、Bの差として定義される方向ベクトルWとして表現される。
W=A−B
=(Ax−Bx,Ay−By,Az−Bz) ・・・(4)
図3は、本発明の第1の実施形態に係る内視鏡装置の動作について説明するためのフローチャートである。図4(a)は、本発明の第1の実施形態に係る内視鏡装置の被写体像捕捉動作の原理について説明するための動作説明図である。図4(b)は、図4(a)の変位ベクトルについて説明するためのベクトル図である。図5(a)、(b)は、図4(a)の捕捉動作における湾曲角度および湾曲方向を算出するための幾何学的な関係を示す補助説明図である。図6は、視差画像を用いた距離測定について説明するための原理説明図である。
そして、所望のタイミングで、ロックボタン16aを押すことにより、その時点で撮像された被写体20の撮像中心位置を略一定に保つ被写体捕捉動作を実行することができる。すなわち、ロックボタン16aを押すと、図3に示す動作フローが開始される。
例えば、図4(a)に破線で示すように、被写体20における被写体像中心p(初期撮像中心位置)をその法線方向に光路長h1だけ離れた撮像素子4Bで撮像するものとする。
簡単のために、加速度センサ5Aは、湾曲先端部3の位置情報として、撮像素子4Bの撮像面の中心の点a0の位置を検出するものとする。また、加速度センサ5Bは、湾曲基端部8内の点b0の位置を検出するものとし、点a0、b0は、双眼レンズ4Aの光軸の上にあるものとする。点a0、b0間の距離はLである。
この場合、加速度センサ5A、5Bにより、位置情報として、点a0、b0の位置ベクトルを検出し、姿勢情報は、単位方向ベクトルA0、B0を検出する。
この場合、式(3)において、A=A0、B=B0とすることで、湾曲角度θ0=0が得られる。
また、湾曲方向として方向ベクトルW0=A0−B0=(0,0,0)が得られる。
この測定原理は、例えば特公平8−12332号公報などに記載されている公知技術であるが、図6を参照して簡単に説明する。
図6に示すように、視差dを有するように配置された対物レンズ4a、4bにより、被写体20の画像がそれぞれ画像I1、I2として撮像されるものとする。ここで、図中のO1、O2は、それぞれ対物レンズ4a、4bの中心位置であり、fは各レンズの焦点距離を表す。
被写体像中心pは、対物レンズ4a、4bにより、画像I1、I2上で、点pa、pbの位置に撮像される。画像I2、I1の撮像中心位置が一致するように重ね合わせると、点paは、画像I2上で距離diだけずれた点qaに対応する。
よって、△O1pO2と△qaO2pbとの相似関係から、次式が成り立つ。
h=f・d/di ・・・(5)
h1=h+f ・・・(6)
ここで、hは、対物レンズ4a、4bの中心位置から被写体像中心pまでの距離を表す。
したがって、例えば、2つの視差画像301中の点pa、pbの位置を画像処理により抽出し、それらの画像上の位置ずれ量を算出することで、距離h1を正確に算出することができる。また、各画像位置で、これらの計算を行うことにより、画像I1、I2から立体画像を生成することが可能となり、被写体20上の立体測定が可能となる。
ステップS6では、ステップS2と同様の測定を行い、その結果をメモリ101の作業領域に格納する。これにより、現時点での情報が取得される。
例えば、現時点までの間に、挿入部1が外乱を受けて移動し、図4(a)に二点鎖線で示す状態となったとする。簡単のため、移動および回転はZX平面に一致する図示紙面内で発生するものとする。
すなわち、撮像素子4Bが点a1に移動し、加速度センサ5Bが点b1に移動し、それに応じて、位置ベクトル、単位方向ベクトルA1、B1が検出され、方向ベクトルW1=A1−B1、湾曲角度θ=αが得られ、それぞれメモリの作業領域に格納される。
このとき、図4(a)に示すように、光軸22上の点qに対する距離は、距離h3となっている。また、距離h2は、外乱を受ける前の撮像位置と加速度センサ5Aとの間のZ軸方向の距離である。
本実施形態では、初期撮像中心位置に撮像光学系の光軸が向くように制御する。そのため、ずれを補正する湾曲量は、図4(a)に実線で示すように、湾曲後の光軸24が被写体像中心pを通るように湾曲部2を湾曲させる湾曲角度γで表される。
この算出過程の考え方について、簡単に説明する。
図4(b)に示すように、外乱による変位を、変位ベクトルΔa、Δbで表す。
Δa=a1−a0
=(Δax,Δay,Δaz) ・・・(7)
Δb=b1−b0
=(Δbx,Δby.Δbz) ・・・(8)
まず、図5(a)に示す幾何学的な関係から次式が求まる。
α=sin−1{(Δax−Δbx)/L} ・・・(9)
湾曲部2が、図4(a)に示すように、点b1を中心に角度αだけ、回転した状態を考えると、点a1が点a2に移動し、湾曲部2がΔbだけ平行移動した状態に相当する。
図中の角度β1は、湾曲先端部3が、点b1を中心として回転する場合であり、角度β2は、湾曲先端部3が点a2を中心として回転する場合である。これらは、極端な場合であり、実際の湾曲による湾曲先端部3の回転運動は、湾曲部2の中間部に回転中心を有するものとなる。そのため、角度βは、角度β1、β2の間の値をとる。角度βは、湾曲部2の湾曲機構の湾曲特性に依存して決まる値である。
そこで、次式が成り立つ。
h2=h1+Δbz ・・・(10)
β=tan−1{Δbx/(h2+δ・L・cosα)} ・・・(11)
ここで、δ(ただし、0<δ<1)は、湾曲部2の湾曲機構の湾曲特性による回転中心の移動を考慮した補正係数であり、湾曲部2の構造の応じて、例えば実験などにより適宜設定することができる。本実施形態では、δ=0.6としている。
式(9)、(11)より、湾曲目標値の湾曲角度γは、次式のように求められる。
γ=α+β ・・・(12)
この場合、湾曲の初期状態は、上記の説明のように、真直状態である必要はない。
湾曲目標値が湾曲の下限限界閾値以下の場合、湾曲によりこれ以上の精度で捕捉することができない状態にあるので、湾曲動作を行わずに、ステップS11に移行する。
湾曲目標値が湾曲の下限限界閾値より大きい場合、ステップS9を実行する。
湾曲の下限限界閾値は、湾曲部2の最小湾曲量や、湾曲制御精度などを考慮して必要に応じた値を設定する。
湾曲目標値が湾曲の上限限界閾値以上の場合、ステップS12を実行し、警告表示を行う。例えば、限界を超えて湾曲しようとしたため捕捉動作が行えない旨を警告するメッセージが入った画像データ303をモニタ13に送出するとともに、捕捉サーボを終了するためメモリ101の捕捉サーボONフラグをリセットする。そして、ステップS11に移行する。
ステップS9のような判定を行うことで、湾曲可能な限界を超えた湾曲を実行しようとして、各ワイヤ10にかかる張力や、各モータ9の駆動負荷が過大となって、ワイヤ10が破断したり、モータ9が損傷したりするのを防止することができる。
湾曲目標値が湾曲の上限限界閾値より小さい場合、ステップS10を実行する。
湾曲の上限限界閾値は、湾曲部2の湾曲自由度や剛性などを考慮して必要に応じた値を設定する。
図7は、湾曲動作の詳細について説明するためのフローチャートである。
ステップS21では、ステップS20で測定した湾曲角度、湾曲方向の値を、図3のステップS7で算出された湾曲目標値と比較する。
湾曲目標値に一致する場合は、ステップS24に移行する。
湾曲目標値に一致しない場合は、ステップS22に移行する。
そして、湾曲動作を終了し、図3のステップS11に移行する。
ステップS23では、ステップS22で換算された張力値の中にメモリ101に予め記憶された張力の限界閾値以上のものがあるかどうか判定する。
張力の限界閾値以上のものがある場合、ステップS25に移行する。
すべての張力値が張力の限界閾値より小さい場合、ステップS26に移行する。
このため、ワイヤ10が破断するのを防止することができる。
そのため、ワイヤ10の張力の異常が検出されない限り、ステップS26実行され、湾曲状態が湾曲目標値に一致した時点でステップS24が実行され、湾曲動作が終了する。
その後、図3のステップS11に移行する。
捕捉サーボONフラグがセットされている場合、ステップS6に戻り、上記の工程を繰り返す。そのため、これらの工程の実行中に、例えば外乱を受けたとしても、ステップS6〜S7の実行のたびに、外乱分を補正する湾曲目標値が設定され、捕捉サーボループが有効に機能する。
捕捉サーボONフラグがリセットされている場合、捕捉動作を終了する。
そのため、外乱が発生するたびに、マニュアル操作で光軸の向きを微調したり、被写体を探し出したりするといった手間をかけることなく、被写体像を安定して観察することができる。
また、被写体像中心pを捕捉するための湾曲量が、加速度センサ5A、5Bの検出出力と、ステレオ計測による距離情報などの少数のパラメータで算出されるので、例えば、撮像範囲の画像データを加工する画像処理を行う場合に比べると、高速な演算を行うことができ、迅速な捕捉動作を行うことができるという利点がある。
次に、本発明の第2の実施形態に係る内視鏡装置について説明する。
図8は、本発明の第2の実施形態に係る内視鏡装置の概略構成を説明するために模式的に描いた構成説明図である。
エアボンベ30は、圧縮空気を内蔵するエア供給源である。
レギュレータ31は、後述する制御部105(撮像位置安定化手段)の制御信号に応じてエアボンベ30内の圧縮空気を一定圧に調整し、チューブ継手29に供給する手段である。そして、チューブによりエアボンベ30、チューブ継手29と接続されている。
レギュレータ31から供給されるエア圧は、圧力異常や突発的な圧力変動による湾曲の誤動作を防止するため、圧力センサ32により検出され制御部105によりモニタされるようになっている。
4本の供給チューブ36は、可撓性を有するが供給されるエア圧の範囲でエア圧による膨張や伸縮がほとんどない硬質のチューブからなり、湾曲駆動機構72内、および挿入部1の基端部から湾曲基端部8が設けられている可撓管の範囲に配管されている。
各供給チューブ36は、挿入部1内では、第1の実施形態のワイヤ10と同様に、挿入部1の外周部近傍において外周方向を4等分する位置を通って挿入部1の中心軸線に対称に配置されている。
図8には、これらのうち対向する2本の供給チューブ36A、36Bが図示されている。
湾曲チューブ37は、供給チューブ36と同様な位置関係を保って、湾曲部2内に配管され、その先端部が湾曲先端部3まで延され、先端が閉塞された状態で湾曲先端部3の基端側の端面に固定されている。
電磁弁33は、制御部105の制御信号に応じて駆動されるソレノイドにより動作する3方向電磁弁である。すなわち、ソレノイドONのとき、図示のポートP、A間が開かれるとともにポートA、E間が閉じられ、ソレノイドOFFのとき、図示のポートA、E間が開かれるとともにポートP、A間が閉じられるものである。
電磁弁34は、制御部105の制御信号に応じて駆動されるソレノイドにより動作する2方向電磁弁である。すなわち、ソレノイドONのとき、図示のポートP、A間が開かれ、ソレノイドOFFのとき、図示のポートP、A間が閉じられるものである。
したがって、各電磁弁33、44の開閉を適宜操作することとにより、各電磁弁34の下流側の供給チューブ36、湾曲チューブ37内へのエア量の増減を制御することができるようになっている。
圧力センサ35は、湾曲チューブ37の破裂などを防止するために、電磁弁34の下流側のエア圧を検出し、その検出出力を制御部105に送出するようになっている。
制御部105は、制御対象の一部が湾曲駆動機構52から湾曲駆動機構72に変更されたことに対応して、一部の制御方法を変えている点を除いて制御部100と同様の構成を採用することができる。
ただし、制御部100に予め記憶された張力の限界閾値は、湾曲チューブ37の破裂を防止するための内圧の限界閾値に置き換える。
ここで、圧力センサ35で測定されるのは、供給チューブ36内のエア圧であるが、互いに接続された湾曲チューブ37と供給チューブ36の内圧は共通である。そして、湾曲チューブ37が破裂しない内圧であれば、当然に供給チューブ36も破裂しないものである。
制御部105は、操作部14による指示入力や、図3のステップS1〜S7の動作の結果として得られる湾曲目標値に基づいて電磁弁33、34に制御信号を送出し、各供給チューブ36、湾曲チューブ37内のエア量を可変する。すなわち、電磁弁33、34のそれぞれのポートP、A間を開くことで、エアが供給される。また電磁弁34のポートP、A間を閉じることでエア量が保持される。
そして、電磁弁33のポートA、E間を開いた状態で、電磁弁34のポートP、A間を開閉制御することで、管路内のエアが適宜量だけ排気される。
そして、供給されたエアによる内圧に応じて、各湾曲チューブ37が管路方向に伸縮するため、それらの伸縮量のバランスに応じて湾曲部2を2軸方向に湾曲させることができるようになっている。
内視鏡装置70は、第1の実施形態の内視鏡装置50と同様に、被写体像を捕捉することができるもので、図3のステップS10の動作のみが異なる。そこで、ステップS10に対応する湾曲動作について説明する。
図9は、本発明の第2の実施形態の内視鏡装置の湾曲動作の詳細について説明するためのフローチャートである。
ステップS30では、図3のステップS6と同様にして、現在位置の湾曲角度、湾曲方向の測定を行う。
ステップS31では、ステップS30で測定した湾曲角度、湾曲方向の値を、図3のステップS7で算出された湾曲目標値と比較する。
湾曲目標値に一致する場合は、ステップS34に移行する。
湾曲目標値に一致しない場合は、ステップS32に移行する。
そして、湾曲動作を終了し、図3のステップS11に移行する。
ステップS33では、ステップS32で取得された内圧値の中にメモリ101に予め記憶された湾曲チューブ37の内圧の限界閾値以上のものがあるかどうか判定する。
内圧の限界閾値以上のものがある場合、ステップS35に移行する。
すべての内圧値が内圧の限界閾値より小さい場合、ステップS36に移行する。
このため、湾曲チューブ37(供給チューブ36)が破裂するのを防止することができる。
そして、ステップS30に戻り、上記の工程を繰り返す。
そのため、湾曲動作は、湾曲チューブ37(供給チューブ36)の内圧の異常が検出されない限り、ステップS36が実行され、湾曲状態が湾曲目標値に一致した時点でステップS34が実行され、湾曲動作が終了する。
その後、図3のステップS11に移行する。
次に、本発明の第3の実施形態に係る内視鏡装置について説明する。
本実施形態の内視鏡装置500は、図1に示すように、第1の内視鏡装置50の制御部100に代えて、制御部200を備えるものであり、捕捉動作の制御方法が異なるものである。以下、第1の実施形態と異なる点を中心に説明する。
図10は、本発明の第3の実施形態に係る内視鏡装置の動作について説明するためのフローチャートである。図11(a)は、被写体の全体像の一例を示す模式図である。図11(b)は、コントラスト測定について説明するための模式説明図である。図11(c)、(d)、(e)、(f)は、図11(a)上で初期の被写体像を捕捉する過程で取得される画像の例である。
本実施形態では、画像情報として、画像のコントラスト情報を用いる例で説明する。画像ずれ検出手段は、双眼レンズ4Aを有する撮像手段4による視差画像301を画像処理する制御部200により構成される。
例えば、被写体20が、図11(a)に示す不定形の濃淡画像であり、初期状態の撮像範囲がフレームF1で表されるものとする。被写体像中心pは、フレームF1の中心に位置する。
ステップS45では、フレームF1の画像が、画像信号300としてCCU104に取り込まれる。そして、CCU104によりコントラスト検出画像305に加工した後に、それを制御部200に送出する。
コントラスト検出画像305は、画像の移動を迅速に検出できる画像であれば、適宜の画像を採用することができるが、本実施形態では、例えば、図11(b)に示すように、フレームF1内をグリッド状に区分けして画像域Gに区分し、各区画内の平均輝度を算出してモザイク画像に変換した2次元輝度分布データを採用することができる。
ステップS46では、コントラスト検出画像305をメモリ101に記憶する。この画像をコントラスト検出画像305Aと称する。
ただし、ステップS48で算出される湾曲目標値を湾曲目標値Iと称する。
ステップS49では、ステップS48で算出された湾曲目標値Iが予めメモリ101に設定された粗動捕捉動作を行う下限閾値以下かどうか判定する。すなわち、湾曲目標値Iが微小で被写体像中心pが撮像範囲に捉えられる偏差以内と算出された場合、粗動捕捉動作の段階を省略し、微動捕捉動作のみを行うようにするための工程である。この場合、粗動捕捉動作を省略するので、その分だけ高速な捕捉動作を行うことができるという利点がある。
湾曲目標値Iが粗動捕捉動作を行う下限閾値以下の場合、ステップS53に移行する。
湾曲目標値Iが粗動捕捉動作を行う下限閾値より大きい場合、ステップS50を実行する。
湾曲目標値Iが湾曲の上限限界閾値以上の場合、ステップS52を実行し、警告表示を行う。例えば、限界を超えて湾曲しようとしたため捕捉動作が行えない旨を警告するメッセージが入った画像データ303をモニタ13に送出するとともに、捕捉サーボを終了するためメモリ101の捕捉サーボONフラグをリセットする。そして、ステップS57に移行する。
ただし、被写体像中心pの位置情報を被写体の画像から直接に取得してフィードバックするわけではないので、例えば、加速度の検出誤差などのため、被写体像中心pの位置が撮像中心から外れる場合も考えられる。
例えば、粗動捕捉動作の過程において、図4(a)に示すように、挿入部1が破線、二点鎖線、実線の状態に移動、湾曲され、撮像範囲の中心が、点p、q、r、pのように移動する場合、撮像画像は、例えば、それぞれ図11(c)、(d)、(e)、(f)に示すように変化する場合がある。
すなわち、粗動捕捉動作終了後、フレームF4で捕捉された画像(図11(f)参照)は、捕捉誤差や撮像手段4と被写体像中心pとの距離が変化するなどの理由で、図11(c)に示す初期のフレームF1よりやや広いフレームF4内の画像となり、その画像中心は被写体像中心pとわずかにずれた点p’となっている。
本実施形態では、このように被写体像中心pが撮像範囲内に捉えられた状態において、以下のように、被写体20の画像情報を用いた微動捕捉動作を行う。
微動捕捉動作を行う閾値範囲の下限値は、捕捉の収束判定を行うもので、被写体像中心pの捕捉精度から必要に応じて設定しておく。
本実施形態では、ステップS55より前の工程で、粗動捕捉動作が実行されているか、粗動捕捉動作を行うまでもない程度の湾曲目標であることが判明しているので、上限閾値を設けて判定する工程は省略している。
湾曲目標値IIが微動捕捉動作を行う下限閾値以下の場合、ステップS57に移行する。
湾曲目標値IIが微動捕捉動作を行う下限閾値より小さい場合、ステップS56を実行する。
ステップS56は、図7の湾曲動作と同様の動作である。ステップS56が終了すると、ステップS57に移行する。
以上で、微動捕捉動作が終了する。
捕捉サーボONフラグが立っている場合、ステップS47に戻り、上記の工程を繰り返す。そのため、これらの工程の実行中に、例えば外乱を受けたとしても、ステップS47〜S48、またはステップS53〜S54を実行するたびに、外乱分を補正する湾曲目標値I、またはIIが設定され、捕捉サーボが有効に機能する。
捕捉サーボONフラグがリセットされている場合、捕捉動作を停止する。
本変形例の内視鏡装置700は、図8に示すように、第2の実施形態の制御部105に代えて、画像ずれ検知手段の機能を有する制御部205を備えるものである。
すなわち、本変形例は、湾曲駆動機構が流体圧駆動を用いる場合において、第3の実施形態の粗動捕捉動作と微動捕捉動作とを行うようにした例である。
制御部205の構成、および内視鏡装置700の動作は、上記、第2、第3の実施形態から容易に理解されるので、説明は省略する。
ズーム機能は、電子ズームが容易であるが、撮像光学系に持たせてもよい。
2 湾曲部
3 湾曲先端部(湾曲部の先端)
4 撮像手段
4A 双眼レンズ(撮像光学系)
4a、4b 対物レンズ
4B 撮像素子
5A、5B 加速度センサ(加速度検出手段)
8 湾曲基端部(湾曲部の基端)
9、9A、9B モータ
10、10A、10B ワイヤ
12、12A、12B 歪みゲージ
14 操作部
16a ロックボタン(捕捉動作設定手段)
16b ロック解除ボタン(捕捉動作設定手段)
20 被写体
21、22、23、24 光軸(撮像光学系の光軸)
33、33A、33B、34、34A、34B 電磁弁
35、35A、35B 圧力センサ
36、36A、36B 供給チューブ
37、37A、37B 湾曲チューブ
50、70、500、700 内視鏡装置
51、71 装置本体部
52、72 湾曲駆動機構
53、73 制御ユニット
54 張力検出部
74 圧力検出部
100、105、200、205 制御部(撮像位置安定化手段)
101 メモリ(記憶手段)
102 モータドライバ
104 カメラ制御ユニット(CCU)
p 被写体像中心(初期撮像中心位置)
q、r、p’ 被写体像中心(撮像中心位置)
F1、F2、F3、F4 フレーム(撮像範囲)
Claims (7)
- 被検体に挿入する内視鏡挿入部の先端側に湾曲部を有する内視鏡装置であって、
前記湾曲部よりも先端側に撮像光学系を設けた撮像手段と、
前記湾曲部を湾曲させる湾曲駆動機構と、
前記湾曲部の姿勢を検出する湾曲部位置姿勢検出手段と、
前記撮像手段による前記被写体の撮像中心位置を略一定に保つ被写体捕捉動作の動作開始または動作解除する捕捉動作設定手段と、
前記捕捉動作設定手段により前記捕捉動作開始が指示された場合に、前記湾曲部位置姿勢検出手段の検出出力から前記被写体の撮像中心位置を算出し、前記湾曲部位置姿勢検出手段の検出出力に応じて、前記撮像中心位置に前記撮像光学系の光軸が向くように、前記湾曲駆動機構を駆動制御する撮像位置安定化手段と、を備えることを特徴とする内視鏡装置。 - 前記被写体と前記撮像光学系との間の距離を測定する測距手段をさらに備え、前記撮像中心位置は、前記湾曲部位置姿勢検出手段および前記測距手段の各検出出力から算出されてなることを特徴とする請求項1に記載の内視鏡装置。
- 前記測距手段が、複数の視点で被写体を撮像するステレオ計測手段で構成され、少なくともその一部が前記撮像手段を兼ねることを特徴とする請求項2に記載の内視鏡装置。
- 前記湾曲部位置姿勢検出手段が、前記湾曲部の先端および基端にそれぞれ設けられた複数の加速度検出手段であることを特徴とする請求項1〜3のいずれかに記載の内視鏡装置。
- 前記撮像手段により撮像される被写体の画像データから、前記被写体の撮像中心位置のずれ量を検出する画像ずれ検出手段を備え、
前記捕捉動作設定手段により前記捕捉動作開始が指示された場合に、前記撮像位置安定化手段が、前記画像ずれ検出手段により検出された前記撮像中心位置のずれ量に応じて、前記湾曲駆動機構を駆動制御できるようにしたことを特徴とする請求項1〜4のいずれかに記載の内視鏡装置。 - 前記画像ずれ検出手段が、前記画像データとして、前記被写体の画像のコントラスト情報を抽出し、該コントラスト情報により前記被写体の撮像中心位置のずれ量を検出することを特徴とする請求項5に記載の内視鏡装置。
- 前記撮像位置安定化手段が、
前記湾曲部位置姿勢検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第1の被写体捕捉動作を行い、
該第1の被写体捕捉動作を完了させてから、前記画像ずれ検出手段の検出出力に応じて前記湾曲駆動機構を駆動することにより第2の被写体捕捉動作を行うようにしたことを特徴とする請求項5または6に記載の内視鏡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005351773A JP4812418B2 (ja) | 2005-12-06 | 2005-12-06 | 内視鏡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005351773A JP4812418B2 (ja) | 2005-12-06 | 2005-12-06 | 内視鏡装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2007151862A JP2007151862A (ja) | 2007-06-21 |
| JP2007151862A5 JP2007151862A5 (ja) | 2009-01-29 |
| JP4812418B2 true JP4812418B2 (ja) | 2011-11-09 |
Family
ID=38236953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005351773A Expired - Fee Related JP4812418B2 (ja) | 2005-12-06 | 2005-12-06 | 内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4812418B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5214187B2 (ja) * | 2007-07-13 | 2013-06-19 | オリンパスメディカルシステムズ株式会社 | 内視鏡、内視鏡装置および内視鏡装置の作動方法 |
| JP4705128B2 (ja) * | 2008-04-15 | 2011-06-22 | オリンパスメディカルシステムズ株式会社 | マニピュレータ |
| US20120089014A1 (en) | 2009-06-29 | 2012-04-12 | Koninklijke Philips Electronics N.V. | Method and apparatus for tracking in a medical procedure |
| JP5570769B2 (ja) | 2009-07-23 | 2014-08-13 | オリンパス株式会社 | 内視鏡装置、計測方法、およびプログラム |
| WO2011040104A1 (ja) * | 2009-09-30 | 2011-04-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び湾曲駆動制御方法 |
| JP5576698B2 (ja) * | 2010-04-15 | 2014-08-20 | オリンパス株式会社 | ガイドチューブ装置および内視鏡システム |
| JP5085684B2 (ja) * | 2010-05-19 | 2012-11-28 | オリンパスメディカルシステムズ株式会社 | 処置具システム及びマニピュレータシステム |
| DE102010041857A1 (de) | 2010-10-01 | 2012-04-05 | Olympus Winter & Ibe Gmbh | Stereoendoskop |
| JP2012139456A (ja) * | 2011-01-05 | 2012-07-26 | Olympus Corp | 内視鏡画像再生装置 |
| CN103228195B (zh) | 2011-08-01 | 2016-01-20 | 奥林巴斯株式会社 | 插入部形状估计装置 |
| JP5764472B2 (ja) * | 2011-11-11 | 2015-08-19 | 富士フイルム株式会社 | 内視鏡診断装置 |
| JP6218634B2 (ja) * | 2014-02-20 | 2017-10-25 | オリンパス株式会社 | 内視鏡システム及び内視鏡の作動方法 |
| JP6257371B2 (ja) * | 2014-02-21 | 2018-01-10 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
| JP6431678B2 (ja) * | 2014-03-20 | 2018-11-28 | オリンパス株式会社 | 挿入形状検出装置 |
| CN107249425B (zh) * | 2015-05-14 | 2019-09-27 | 奥林巴斯株式会社 | 内窥镜装置 |
| US11330209B2 (en) | 2018-03-29 | 2022-05-10 | Sony Semiconductor Solutions Corporation | Imaging device and electronic device enabled to control position of lens |
| JP2019184842A (ja) * | 2018-04-11 | 2019-10-24 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、電子機器 |
| CN111665258B (zh) * | 2020-06-28 | 2025-02-14 | 广州特种承压设备检测研究院 | 气瓶的检测系统、检测装置及检测方法 |
| US20250052996A1 (en) * | 2023-08-08 | 2025-02-13 | Baker Hughes Holdings Llc | Automatic slap impact mitigation system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5586436A (en) * | 1978-12-22 | 1980-06-30 | Olympus Optical Co | Endoscope |
| JPH02116347A (ja) * | 1988-10-27 | 1990-05-01 | Toshiba Corp | 電子内視鏡装置 |
| JPH10309258A (ja) * | 1997-05-13 | 1998-11-24 | Olympus Optical Co Ltd | 体腔内観察装置 |
| JP4119530B2 (ja) * | 1998-06-18 | 2008-07-16 | オリンパス株式会社 | 内視鏡装置および内視鏡に挿通する位置検出カテーテル |
| JP4447080B2 (ja) * | 1999-08-06 | 2010-04-07 | Hoya株式会社 | 内視鏡装置 |
| JP4094543B2 (ja) * | 2003-12-26 | 2008-06-04 | オリンパス株式会社 | カプセル型医療装置システム |
-
2005
- 2005-12-06 JP JP2005351773A patent/JP4812418B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007151862A (ja) | 2007-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4812418B2 (ja) | 内視鏡装置 | |
| JP5559996B2 (ja) | 内視鏡装置及び内視鏡システム並びに内視鏡装置の作動方法 | |
| KR102345763B1 (ko) | 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템 | |
| JP4819957B1 (ja) | ロボットの位置情報復元装置および位置情報復元方法 | |
| JP5484651B2 (ja) | 医療装置位置検出システムおよび医療装置誘導システム | |
| JP4136058B2 (ja) | 内視鏡 | |
| US8465415B2 (en) | Endoscope apparatus and measurement method | |
| US20110060185A1 (en) | Medical device system and calibration method for medical instrument | |
| US20050148854A1 (en) | Diagnosis supporting device | |
| JP5450663B2 (ja) | 内視鏡装置の作動方法および内視鏡カプセルのナビゲーション装置 | |
| JP5441679B2 (ja) | 撮像装置 | |
| EP3031385A1 (en) | Insertion system and method for adjusting shape detection characteristics of shape sensor | |
| JPWO2019171471A1 (ja) | 可撓管挿入装置、剛性制御装置、挿入部の挿入方法、及び剛性制御プログラムを記録した記録媒体 | |
| JP7236689B2 (ja) | 3次元形状データ作成システムの作動方法、及び3次元形状データ作成システム | |
| JP7734918B2 (ja) | 制御装置、検査システム、制御方法、及びプログラム | |
| US10517461B2 (en) | Flexible tube insertion apparatus | |
| US20120053412A1 (en) | Endoscopic form detection device and form detecting method of insertion section of endoscope | |
| CN119138825A (zh) | 内窥镜状态检测系统及方法 | |
| JPWO2016136353A1 (ja) | 内視鏡システム及び内視鏡較正方法 | |
| JP2008045983A (ja) | ステレオカメラの調整装置 | |
| JP2009297435A (ja) | 受動的多自由度システムおよび内視鏡装置 | |
| US10878563B2 (en) | Three-dimensional shape data production method and three-dimensional shape data production system | |
| JP5098714B2 (ja) | 測距装置および撮像装置 | |
| JP5396178B2 (ja) | 内視鏡装置及び内視鏡システム | |
| CN117241718A (zh) | 内窥镜系统、内腔构造计算系统以及内腔构造信息的制作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081204 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110823 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4812418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |