JP7535587B2 - 医療システムおよび医療システムの作動方法 - Google Patents

Description

本発明は、医療システムおよび制御方法に関するものであり、特に、対象物に内視鏡を追従させる機能を有する医療システムおよびその制御方法に関するものである。本願は、２０２０年０９月１０日に、アメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号に基づき優先権を主張し、その内容をここに援用する。

従来、内視鏡が処置具のような対象物に追従することによって半自律的に内視鏡の視野が移動するシステムが提案されている（例えば、特許文献１参照。）。
術者にとって使い勝手の良い追従を実現するためには、内視鏡の過度な追従を抑制し視野の過度な移動を防ぐことが望ましい。すなわち、対象物の全ての動きに内視鏡が追従する場合、視野が不安定になり、術者がストレスを感じることがある。また、鈍的剥離等の処置の際には視野が静止していることが望ましく、視野の移動は処置の妨げとなり得る。

特許文献１では、画像の中心領域の周囲に広がる許容領域が画像内に設定され、処置具が許容領域の外に出た場合に処置具が中心領域に戻るように内視鏡が追従し、処置具が中心領域に入った場合に追従が終了する。この構成によれば、処置具が許容領域および中心領域の内側に留まっている限りは処置具に対して内視鏡が追従しないので、視野の過度な移動を抑制することができる。

米国特許出願公開第２００２／０１５６３４５号明細書

術者にとって使い勝手の良い追従を実現するためには、内視鏡の過度な追従の抑制に加えて、対象物を画像内の中央に捉えること、および、対象物を奥行方向の適切な距離に捉えること、の３つの条件を満たすことがさらに望ましい。
特許文献１の許容領域は、内視鏡画像に対して設定された２次元の領域である。すなわち、特許文献１は、内視鏡を画像の奥行方向も含む３次元方向に処置具に追従させることを考慮していない。したがって、良好な使い勝手を実現することが困難である。

本発明は、上述した事情に鑑みてなされたものであって、使い勝手の良い対象物に対する内視鏡の追従を実現することができる医療システムおよび制御方法を提供することを目的とする。

本発明の一態様は、対象物を含む画像を取得する内視鏡と、該内視鏡を移動させる移動装置と、前記対象物の位置に基づいて前記移動装置を制御する制御装置と、を備え、該制御装置は、前記内視鏡を第１速度で前記対象物に追従させる第１制御モードおよび前記内視鏡を前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記移動装置を制御可能であり、前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記第１制御モードで前記移動装置を制御し、前記対象物が前記所定の３次元領域の内側に位置する場合、前記第２制御モードで前記移動装置を制御する、医療システムである。

本発明の他の態様は、対象物を含む画像を取得する内視鏡を移動させる移動装置を前記対象物の位置に基づいて制御する制御装置を備える医療システムの作動方法であって、前記制御装置が、前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記内視鏡を第１速度で前記対象物に追従させる第１制御モードで前記移動装置を制御し、前記対象物が前記所定の３次元領域の内側に位置する場合、前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記移動装置を制御する、医療システムの作動方法である。

本発明によれば、処置具の奥行方向の位置に関わらず処置具に対する内視鏡の過度な追従を抑制することができるという効果を奏する。

本発明の一実施形態に係る医療システムの外観図である。 図１の医療システムのブロック図である。 内視鏡の視野内に設定される３次元の特定領域を示す図である。 特定領域の横断面の一例を示す内視鏡画像である。 特定領域の横断面の他の例を示す内視鏡画像である。 特定領域の横断面の他の例を示す内視鏡画像である。 図３の深さ位置Ｘ１，Ｘ２，Ｘ３における特定領域の内視鏡画像上のサイズを説明する図である。 内視鏡の追従による内視鏡画像内での処置具の移動を説明する図である。 特定領域の算出方法の具体例を説明する図である。 特定領域の算出方法の具体例を説明する図である。 特定領域の算出方法の具体例を説明する図である。 特定領域の算出方法の具体例を説明する図である。 図１の制御装置によって実行される制御方法のフローチャートである。 図１の制御装置によって実行される制御方法の変形例のフローチャートである。 内視鏡の視野角に応じた特定領域のサイズの設定方法を説明する図である。 内視鏡の視野角に応じた特定領域のサイズの設定方法を説明する図である。 内視鏡の追従による内視鏡画像内での処置具の移動の変形例を説明する図である。 参考例における３次元の特定領域を示す図である。

以下に、本発明の一実施形態に係る医療システムおよび制御方法について図面を参照して説明する。
図１に示されるように、本実施形態に係る医療システム１０は、患者の体内に挿入される内視鏡１および処置具２と、内視鏡１を保持し内視鏡１を体内で移動させる移動装置３と、内視鏡１および移動装置３と接続され移動装置３を制御する制御装置４と、内視鏡画像を表示する表示装置５とを備える。

内視鏡１は、例えば硬性鏡であり、撮像素子を有し内視鏡画像を取得する撮像部１ａ（図２参照。）を備える。内視鏡１は、処置具２の先端２ａを含む内視鏡画像Ｄ（図５および図６参照。）を撮像部１ａによって取得し、内視鏡画像Ｄを制御装置４に送信する。撮像部１ａは、例えば、内視鏡１の先端部に設けられた３次元カメラであり、処置具２の先端２ａの３次元位置の情報を含むステレオ画像を内視鏡画像Ｄとして取得する。

移動装置３は、複数の関節３ｂを有するロボットアーム３ａを備え、ロボットアーム３ａの先端部において内視鏡１の基端部を保持する。一例において、ロボットアーム３ａは、Ｘ軸に沿う前後の直線移動、Ｙ軸回りの回転（ピッチ）およびＺ軸回りの回転（ヨー）の３つの運動の自由度を有し、好ましくはＸ軸回りの回転（ロール）の運動の自由度をさらに有する。Ｘ軸は、内視鏡１の光軸Ａと同一の直線上の軸であり、Ｙ軸およびＺ軸は、光軸Ａと直交し内視鏡画像Ｄの横方向および縦方向に対応する方向にそれぞれ延びる軸である。

図２に示されるように、制御装置４は、中央演算処理装置のような少なくとも１つのプロセッサ４ａと、メモリ４ｂと、記憶部４ｃと、入力インタフェース４ｄと、出力インタフェース４ｅと、ネットワークインタフェース４ｆとを備える。
内視鏡１から送信された内視鏡画像Ｄは、入力インタフェース４ｄを経由して制御装置４に逐次入力され、出力インタフェース４ｅを経由して表示装置５に逐次出力され、表示装置５に表示される。術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら体内に挿入された処置具２を操作し、処置具２によって体内の患部の処置を行う。

記憶部４ｃは、ＲＯＭ（read-only memory）またはハードディスク等の不揮発性の記録媒体であり、プロセッサ４ａに処理を実行させるために必要なプログラムおよびデータを記憶している。制御装置４の後述の機能は、プログラムがメモリ４ｂに読み込まれプロセッサ４ａによって実行されることによって、実現される。制御装置４の一部の機能は、専用の論理回路等によって実現されてもよい。

制御装置４は、マニュアルモードおよび追従モードを有する。マニュアルモードは、術者等の操作者が内視鏡１を手動で操作するモードであり、追従モードは、制御装置４が処置具（対象物）２の先端２ａに内視鏡１を自動的に追従させるモードである。
制御装置４は、操作者からの指示に基づいてマニュアルモードと追従モードとを切り替える。例えば、制御装置４は、人間の音声を認識することができる人工知能を備え、「マニュアルモード」の音声を認識したときにマニュアルモードへ切り替え、「追従モード」の音声を認識したときに追従モードへ切り替える。制御装置４は、内視鏡１に設けられたマニュアル操作スイッチ（図示略）のオンオフに従ってマニュアルモードと追従モードとを切り替えてもよい。

マニュアルモードにおいて、例えば、術者等の操作者は、制御装置４に接続された操作装置（図示略）を操作することによって、ロボットアーム３ａを遠隔操作することができる。
追従モードにおいて、制御装置４は、処置具２の先端２ａの３次元位置に基づいて移動装置３を制御することによって、内視鏡画像Ｄの中心に向かって、かつ、内視鏡画像Ｄの所定の深さに向かって先端２ａが移動するように、先端２ａに内視鏡１を３次元的に追従させる。具体的には、制御装置４は、内視鏡画像Ｄ内の処置具２を認識し、内視鏡画像Ｄを用いて先端２ａの３次元位置を算出する。次に、制御装置４は、内視鏡１の光軸Ａが先端２ａに向かって光軸Ａに交差する方向に移動し、かつ、内視鏡１の先端が先端２ａから所定の観察距離だけ離れた位置へ向かって光軸Ａに沿う奥行方向に移動するように、各関節３ｂを動作させる。

ここで、追従モードは、内視鏡１を第１速度で処置具２の先端２ａに追従させる第１制御モードと、内視鏡１を第１速度よりも遅い第２速度で処置具２の先端２ａに追従させる第２制御モードとを含む。図３に示されるように、制御装置４は、先端２ａが所定の特定領域Ｂの外側に存在する場合に第１制御モードで移動装置３を制御し、先端２ａが特定領域Ｂの内側に存在する場合に第２制御モードで移動装置３を制御する。したがって、先端２ａが特定領域Ｂ内に配置されているとき、先端２ａの移動に対する内視鏡１の追従の感度が低下し、先端２ａに対する内視鏡１の過度な追従が抑制される。

特定領域Ｂは、内視鏡１の視野Ｆ内に設定され、相互に直交するＸ方向、Ｙ方向およびＺ方向に寸法を有する所定の３次元領域である。Ｘ方向は、内視鏡１の光軸Ａに平行な奥行方向である。Ｙ方向およびＺ方向は、光軸Ａに直交する方向であり、内視鏡画像Ｄの横方向および縦方向にそれぞれ平行な方向である。

特定領域Ｂは、内視鏡１の先端からＸ方向に離れた位置に配置され、Ｘ方向において視野Ｆの一部の範囲に設定される。また、特定領域Ｂは、光軸Ａを含むと共に、横断面が内視鏡１の先端に近付く程小さくなる３次元形状を有する。したがって、内視鏡画像Ｄ上における特定領域Ｂは、内視鏡画像Ｄの中心を含む中央部分の領域である。図４Ａから図４Ｃに示されるように、光軸Ａに直交する特定領域Ｂの横断面の形状は、矩形、円形および楕円形のいずれであってもよく、多角形等の他の形状であってもよい。特定領域Ｂは、内視鏡画像Ｄに重畳表示されてもよく、非表示であってもよい。

一例において、特定領域Ｂの横断面の形状は、内視鏡画像Ｄの形状と同一である。例えば、内視鏡画像Ｄが矩形である場合、特定領域Ｂの横断面も矩形である。内視鏡画像Ｄ上に表示される特定領域Ｂは内視鏡画像Ｄの観察を妨げる可能性があるので、特定領域Ｂは非表示であることが好ましい。特定領域Ｂが内視鏡画像Ｄと同一形状である場合、術者は、非表示である特定領域Ｂの位置を認識し易くなる。

一般に、内視鏡１の視野Ｆは、内視鏡１の先端または先端の近傍に頂点を有する錐状である。特定領域Ｂは、内視鏡１の視野Ｆと共通の頂点を有する錐台状であることが好ましい。このような特定領域Ｂによれば、図５に示されるように、Ｘ方向の位置Ｘ１，Ｘ２，Ｘ３に関わらず、内視鏡画像Ｄ上における特定領域Ｂの見かけのサイズおよび位置は一定である。

内視鏡画像Ｄ上での特定領域Ｂのサイズ（すなわち、視野Ｆの横断面に対する特定領域Ｂの横断面のサイズ）は、内視鏡画像Ｄのサイズの２５％以上５５％以下であることが好ましい。錐台状の特定領域Ｂの場合、特定領域Ｂの頂角βは、内視鏡１の視野角αの２５％以上５５％であることが好ましい。この構成によれば、処置具２の先端２ａを内視鏡画像Ｄの中央に配置する中央配置と、先端２ａに対する内視鏡１の過度な追従の抑制とを両立することができる。

特定領域Ｂのサイズが内視鏡画像Ｄのサイズの２５％未満である場合、先端２ａの移動に対する内視鏡１の過度の追従を抑制する効果が不十分となり、視野Ｆの頻繁な移動を招き得る。特定領域Ｂのサイズが内視鏡画像Ｄのサイズの５５％よりも大きい場合、先端２ａが内視鏡画像Ｄの中心から離れた位置に配置されることが多くなり、先端２ａの中央配置の実現が困難になり得る。

図３から図５に示されるように、特定領域Ｂは、非追従領域Ｂ１および追従領域Ｂ２を含む。非追従領域Ｂ１は、光軸Ａを含む特定領域Ｂの中央部分の領域である。追従領域Ｂ２は、非追従領域Ｂ１を囲む特定領域Ｂの外側部分の領域である。特定領域Ｂと同様に、非追従領域Ｂ１は、内視鏡１の先端に近付く程横断面が小さくなる３次元形状を有し、好ましくは錐台状である。
図６に示されるように、処置具２の先端２ａが追従領域Ｂ２の外側に配置されているとき、制御装置４は、例えばロボットアーム３ａをＹ軸回りおよびＺ軸回りに回転させることによって、先端２ａに内視鏡１を第１速度Ｖ１で追従させる。

先端２ａが非追従領域Ｂ１内に配置されているとき、制御装置４は、先端２ａに内視鏡１を追従させず、内視鏡１の位置を維持する。具体的には、制御装置４は、各関節３ｂの角速度をゼロに制御する。したがって、非追従領域Ｂ１内での第２速度はゼロである。
先端２ａが追従領域Ｂ２内に配置されているとき、制御装置４は、１つ前の制御サイクルにおける内視鏡１の動作を継続する。すなわち、１つ前の制御サイクルにおいて内視鏡１の位置を維持していた場合、制御装置４は、現在の制御サイクルにおいても内視鏡１の位置を維持する。一方、１つ前の制御サイクルにおいて内視鏡１を先端２ａに追従させていた場合、制御装置４は、現在の制御サイクルにおいても内視鏡１を先端２ａに追従させる。このときの追従速度は、ゼロよりも大きい第２速度Ｖ２である。

上記の制御において、追従領域Ｂ２は、先端２ａへの内視鏡１の追従の開始のトリガとして機能し、非追従領域Ｂ１は、先端２ａへの内視鏡１の追従の終了のトリガとして機能する。すなわち、先端２ａが、追従領域Ｂ２から外側の領域Ｃへ出たときに、先端２ａに対する内視鏡１の追従が開始し、先端２ａが、外側の領域Ｃから追従領域Ｂ２を経由して非追従領域Ｂ１へ入ったときに、先端２ａに対する内視鏡１の追従が終了する。

第１速度Ｖ１および第２速度Ｖ２はそれぞれ一定であり、内視鏡１の追従速度は２段階で変化してもよい。
あるいは、第１速度Ｖ１および第２速度Ｖ２は、内視鏡画像Ｄの中心から先端２ａまでの距離に応じて変化してもよい。例えば、制御装置４は、内視鏡１の光軸Ａから先端２ａまでのＹ方向およびＺ方向の距離を算出し、距離が大きい程、各速度Ｖ１，Ｖ２を速くしてもよい。この場合、内視鏡１の追従速度Ｖ１，Ｖ２が、外側領域Ｃから非追従領域Ｂ１まで連続的に低下してもよい。

図７Ａから図７Ｄは、特定領域Ｂの算出方法の具体例を説明している。
図７Ａに示されるように、制御装置４は、処置具２の先端２ａを通り光軸Ａに垂直なＹＺ平面Ｐと光軸Ａとの交点を基準点Ｅに設定する。次に、制御装置４は、基準点Ｅを中心とする直方体または球形の領域を特定領域Ｂとして定義する。
図７Ｂから図７Ｃは、特定領域Ｂの実サイズ［ｍｍ］の算出方法を説明している。
観察距離ｄｉ（ｉ＝１，２，…）における内視鏡画像ＤのＺ方向（縦方向）のサイズ（Ｚ方向の視野Ｆのサイズ）Ｌｍａｘ＿ｄｚ［ｍｍ］は、図７Ｃの幾何学的関係から下式で表される。α［ｄｅｇ］は、内視鏡１の視野角（半画角）である。
Ｌｍａｘ＿ｄｚ＝ｄｉ＊ｔａｎα
また、内視鏡画像ＤのＺ方向のピクセルサイズＬｍａｘ＿ｄｚ＿ｐｉｘｅｌ［ｐｘ］は、既知であり、例えば下式の通りである。
Ｌｍａｘ＿ｄｚ＿ｐｉｘｅｌ＝１０８０／２［ｐｉｘｅｌ］
したがって、特定領域ＢのＺ方向の実サイズＬ＿ｄｚ［ｍｍ］は、特定領域ＢのＺ方向のピクセルサイズ［ｐｘ］を用いて下式から算出される。
Ｌ＿ｄｚ＝Ｌｍａｘ＿ｄｚ＊（ｄｚ／Ｌｍａｘ＿ｄｚ＿ｐｉｘｅｌ）

特定領域ＢのＹ方向の実サイズＬ＿ｄｙ［ｍｍ］も、Ｌ＿ｄｚと同様の方法によって算出される。
特定領域ＢのＸ方向の実サイズＬ＿ｄｘも設定される。例えば、実サイズＬ＿ｄｘは、観察距離ｄｉによらずに一定値に設定されてもよい。あるいは、図７Ｄに示されるように、基準となる観察距離ｄｉ（例えば、ｄ１）における実サイズＬ＿ｄｘが予め設定され、その他の観察距離ｄｉ（例えば、ｄ２）におけるＬ＿ｄｘは、観察距離の変化に比例した値に設定されてもよい。

次に、医療システム１０の作用について説明する。
術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら、体内に挿入された処置具２を操作することによって処置を行う。処置中、術者は、例えば音声によって、マニュアルモードから追従モードへ、または、追従モードからマニュアルモードへ切り替える。
図８Ａに示されるように、ステップＳ１において追従モードに切り替えられたとき、制御装置４は、ステップＳ２～Ｓ８の制御方法を実行し、追従モードで移動装置３を制御する。
制御方法は、処置具２の先端２ａの位置が特定領域Ｂ内であるか否かを判定するステップＳ２と、先端２ａの位置が特定領域Ｂ外である場合、処置具２の先端２ａが非追従領域Ｂ１内に到達するまで内視鏡１を処置具２に追従させるステップＳ３～Ｓ８とを含む。

追従モードの開始後（ステップＳ１のＹＥＳ）、制御装置４は、ステレオ画像である内視鏡画像Ｄを用いて先端２ａの３次元位置を算出し、先端２ａが所定の特定領域Ｂ内であるか否かを判定する（ステップＳ２）。先端２ａが特定領域Ｂ内に位置する場合（ステップＳ２のＹＥＳ）、制御装置４は、処置具２に内視鏡１を自動的に追従させる制御は実行せず、内視鏡１の位置を維持する。先端２ａが特定領域Ｂの外側に位置する場合（ステップＳ２のＮＯ）、制御装置４は、処置具２に対する内視鏡１の追従を開始する（ステップＳ３）。

処置具２の追従において、制御装置４は、先端２ａの位置に基づいて第１制御モードおよび第２制御モードのいずれかを選択する。図６に示されるように、追従開始時、先端２ａは特定領域Ｂの外側に位置するので（ステップＳ４のＮＯ）、制御装置４は、移動装置３を第１制御モードで制御することによって、内視鏡画像Ｄの中心に処置具２の先端２ａが向かうように第１速度Ｖ１で内視鏡１を処置具２の先端２ａに追従させる（ステップＳ５）。制御装置４は、先端２ａが特定領域Ｂ内に入るまで、移動装置３を第１制御モードで制御する。

先端２ａが特定領域Ｂ内に入った後（ステップＳ４のＹＥＳ）、制御装置４は、続いて第２制御モードで制御することによって、内視鏡画像Ｄの中心に処置具２の先端２ａが向かうように第２速度Ｖ２で内視鏡１を処置具２の先端２ａに追従させる。第２速度Ｖ２は第１速度Ｖ１よりも遅いので、先端２ａの動きに対する内視鏡１の追従の応答性が低下する。すなわち、先端２ａが外側の領域Ｃから特定領域Ｂに戻った後、処置具２の動きに内視鏡１が過度に追従することが抑制される。制御装置４は、先端２ａが非追従領域Ｂ１内に入るまで、移動装置３を第２制御モードで制御する。
処置具２の先端２ａが非追従領域Ｂ１内に入ったとき（ステップＳ６のＹＥＳ）、制御装置４は、処置具２に対する内視鏡１の追従を終了する（ステップＳ８）。
追従モードが継続している間（ステップＳ９のＮＯ）、制御装置４は、ステップＳ１～Ｓ８を繰り返す。

ここで、術者にとって使い勝手の良い内視鏡１の追従を実現するためには、過度な追従を抑制すること、処置具２の先端２ａを内視鏡画像Ｄの中央に捉えること、および、処置具２の先端２ａをＸ方向の適切な距離に捉えること、の３つの条件を満たすように、内視鏡１を処置具２に３次元的に追従させることが望ましい。
本実施形態によれば、特定領域Ｂが視野Ｆ内に設定された３次元領域であるので、内視鏡１の先端と特定領域Ｂとの間のＸ方向の距離およびＸ方向の各位置における特定領域Ｂの横断面のサイズ等、上記の３つの条件を満たすように特定領域Ｂを適切に設計することができる。これにより、使い勝手の良い処置具２に対する内視鏡１の追従を実現することができる。

また、特定領域Ｂは、横断面が内視鏡１の先端に近付く程小さくなる形状を有するので、Ｘ方向の位置の違いによる内視鏡画像Ｄ上での特定領域Ｂの見かけのサイズの違いが抑制され、好ましくは、Ｘ方向の位置に関わらず特定領域Ｂの見かけのサイズが一定である。これにより、先端２ａのＸ方向の位置に関わらず、内視鏡１の過度な追従の抑制と先端２ａの中央配置とを両立することができる。

図１１は、参考例としての特定領域Ｂ’を示している。図１１に示されるように、内視鏡画像Ｄの画像平面上の２次元の領域をＸ方向に単に拡張することによって特定領域Ｂ’を形成した場合、特定領域Ｂ’は、内視鏡１の先端からＸ方向に延びる領域となる。したがって、先端２ａをＸ方向の適切な距離に捉えるように内視鏡１を処置具２に追従させることができない。
また、特定領域Ｂ’の横断面のサイズが一定となるので、Ｘ方向の位置に応じて内視鏡画像Ｄ上で特定領域Ｂの見かけのサイズが異なり、処置具２に対する内視鏡１の過度な追従の抑制と先端２ａの中央配置との両立が困難になる。具体的には、内視鏡１の先端からＸ方向に離れた位置Ｘ３では特定領域Ｂの見かけのサイズが小さくなるので、先端２ａの中央配置は実現されるが、内視鏡１の過度な追従を抑制することができない。一方、内視鏡１の先端にＸ方向に近い位置Ｘ１では特定領域Ｂの見かけのサイズが大きくなるので、内視鏡１の過度な追従を抑制することはできるが、先端２ａの中央配置を実現することが困難になる。

上記実施形態において、先端２ａが追従領域Ｂ２内に配置されているとき、制御装置４は、１つ前の制御サイクルにおける内視鏡１の動作を継続させることとしたが、これに代えて、常に内視鏡１をゼロよりも大きい第２速度Ｖ２で先端２ａに追従させてもよい。すなわち、制御装置４は、先端２ａが外側領域Ｃから追従領域Ｂ２に入った場合、および、先端２ａが非追従領域Ｂ１から追従領域Ｂ２に入った場合のいずれにおいても、第２制御モードで移動装置３を制御してもよい。
この場合、図８Ｂに示されるように、制御装置４は、先端２ａが非追従領域Ｂ１内であるか否かを判定し（ステップＳ２’）、先端２ａが非追従領域Ｂ１から追従領域Ｂ２へ出たときに（ステップＳ２’のＮＯ）、処置具２に対する内視鏡１の追従を開始する（ステップＳ３）。

追従開始時、先端２ａは追従領域Ｂ２内に位置するので（ステップＳ４のＹＥＳかつステップＳ６のＮＯ）、制御装置４は、移動装置３を第２制御モードで制御することによって、内視鏡画像Ｄの中心に処置具２の先端２ａが向かうように第２速度Ｖ２で内視鏡１を処置具２の先端２ａに追従させる（ステップＳ７）。制御装置４は、先端２ａが非追従領域Ｂ１内に入るまで、移動装置３を第２制御モードで制御する。前述のように、第２速度Ｖ２は第１速度Ｖ１よりも遅いので、先端２ａが追従領域Ｂ２内を移動している間は、処置具２の動きに内視鏡１が過度に追従することが抑制される。
第２制御モードでの内視鏡１の追従に関わらず先端２ａが特定領域Ｂの外側へ出た場合（ステップＳ４のＮＯ）、制御装置４は、第２制御モードから第１制御モードへ切り替え（ステップＳ５）、先端２ａが特定領域Ｂ内に戻るまで、移動装置３を第１制御モードで制御する。

上記実施形態において、制御装置４は、図９Ａおよび図９Ｂに示されるように、内視鏡１の視野角αに応じて、特定領域Ｂの横断面のサイズを変更してもよい。
例えば、記憶部４ｃに、各型式の内視鏡１の視野角αの値が記憶されている。制御装置４は、ロボットアーム３ａに保持されている内視鏡１の型式を認識し、認識された型式の視野角αの値を記憶部４ｃから読み出し、特定領域Ｂの頂角βを視野角αの所定の比率に設定する。例えば、視野角αの値に２５％～５５％から選択される所定の比率ｋを乗算することによって、頂角βを算出する。これにより、視野角αに比例して特定領域Ｂの横断面のサイズが大きくなる。
この構成によれば、使用する内視鏡１の視野角αの差異に関わらず、視野Ｆの横断面に対する特定領域Ｂの横断面の面積比が一定となる。したがって、表示装置５に表示される内視鏡画像Ｄにおける特定領域Ｂの見かけのサイズを、内視鏡１の視野角αに関わらず同一にすることができる。

上記実施形態において、特定領域Ｂが、処置具２に内視鏡１を追従させない非追従領域Ｂ１を含むこととしたが、これに代えて、図１０に示されるように、特定領域Ｂが、非追従領域Ｂ１を含まなくてもよい。この変形例において、制御装置４は、処置具２の先端２ａが内視鏡画像Ｄの中心に配置されるまで内視鏡１を第２速度Ｖ２で処置具２に追従させ、先端２ａが内視鏡画像Ｄの中心に配置されたときに追従を終了する。
図６の場合、先端２ａが、内視鏡画像Ｄの中心から離れた追従領域Ｂ２の端に到達したときに追従が終了する。これに対し、図１０の場合、先端２ａが内視鏡画像Ｄの中心に到達するまで内視鏡１が追従するので、内視鏡画像Ｄの中心に先端２ａを配置した状態で処置を行うことができる。

図１０の変形例において、第２速度Ｖ２は、好ましくは第１速度Ｖ１の５０％以下である。第２速度Ｖ２は、一定であってもよく、処置具２の先端２ａが内視鏡画像Ｄの中心に近づくにつれて次第に低下してもよい。第２速度Ｖ２が第１速度Ｖ１の５０％よりも速い場合、内視鏡１の過度の追従を抑制する効果を十分に得ることが難しい。

上記実施形態において、特定領域Ｂの横断面の形状が変更可能であってもよい。例えば、横断面の形状が、図４Ａから図４Ｃに示される四角、円および楕円の中から選択可能であり、各形状における横断面のサイズを決定するパラメータｄｙ，ｄｚ，Ｒ，ａ，ｂが設定可能であってもよい。形状の選択およびパラメータの設定は、術者によって手動で行われてもよく、制御装置４によって自動で行われてもよい。
この構成によれば、特定領域Ｂの横断面の形状およびサイズを、術式、処置内容または術者の好み等に応じて設定することができる。

一例において、先端２ａが内視鏡画像Ｄの縦方向に頻繁に大きく移動する処置の場合、横断面を図４Ｃに示される縦長の楕円に設定することによって、視野Ｆが先端２ａの縦方向の移動に過度に応答して縦方向に振動してしまうことを防ぎ、処置中の先端２ａの縦方向の移動に関わらず視野Ｆを静止させることができる。

制御装置４は、処置具２または処置の種類を認識し、特定領域Ｂの形状、Ｘ、ＹおよびＺ方向のサイズ、ならびに位置の少なくとも１つを処置具２または処置の種類に応じて自動的に変更してもよい。さらに、制御装置４は、第１速度および第２速度を処置具２または処置の種類に応じて自動的に変更してもよい。例えば、制御装置４は、内視鏡画像Ｄに基づいて処置具２の種類を認識し、処置具２の種類から処置の種類を認識する。
特定領域Ｂの適切な形状、サイズおよび位置は、処置具２または処置の種類に応じて異なる。上記構成によれば、特定領域Ｂの形状、サイズおよび位置を、処置具２または処置の種類に適したものに自動的に設定することができる。

一例において、処置具２の種類が把持鉗子である場合、内視鏡１の先端からより離れた位置に、Ｘ方向により大きい特定領域Ｂが設定される。例えば、内視鏡１の先端から９０ｍｍ～１９０ｍｍの範囲が特定領域Ｂに設定される。
他の例において、処置具２の種類がエネルギ処置具である場合、精緻な処置を行うために、内視鏡１の先端により近い位置に特定領域Ｂが設定される。例えば、内視鏡１の先端から６０ｍｍ～９０ｍｍの範囲が特定領域Ｂに設定される。さらに、鈍的剥離操作中の視野Ｆの移動を防ぐために、特定領域Ｂの横断面のサイズを大きくしたり、第２速度を低下させたりしてもよい。
さらに他の例において、制御装置４が、処置中の先端２ａの動きを学習し、処置中の先端２ａの動作範囲が特定領域Ｂ内に含まれるように特定領域Ｂの形状およびサイズを変更してもよい。

上記実施形態において、特定領域Ｂと外側の領域Ｃとの間の明確な境界が存在しなくてもよい。すなわち、制御装置４は、内視鏡画像Ｄの中心から先端２ａまでの距離に応じて、追従速度を連続的に変化させてもよい。
例えば、制御装置４は、下式に基づいてＹ軸回りの回転の角速度ＶｐおよびＺ軸回りの回転の角速度Ｖｙを算出し、ロボットアーム３ａを算出された角速度Ｖｐ，Ｖｙでそれぞれ回転させてもよい。ｐｙは内視鏡画像Ｄの中心から先端２ａまでのＹ方向の距離であり、ｐｚは内視鏡画像Ｄの中心から先端２ａまでのＺ方向の距離であり、ＧｙおよびＧｚは所定の比例係数である。
Ｖｐ＝Ｇｚ＊ｐｚ
Ｖｙ＝Ｇｙ＊ｐｙ

上記実施形態において、内視鏡１が、３次元のステレオ画像を内視鏡画像Ｄとして取得することとしたが、これに代えて、２次元の内視鏡画像Ｄを取得してもよい。この場合、例えば、内視鏡１の先端に設けられた距離センサ等の他の測距手段によって、処置具２の先端２ａのＸ方向の位置を測定してもよい。

上記実施形態において、内視鏡１の追従の対象物が処置具２であることとしたが、対象物はこれに限定されるものではなく、手術中に内視鏡画像Ｄ内に映る任意の物体であってもよい。例えば、対象物は、病変部、臓器、血管、マーカ、ガーゼ等の医用材料、または、処置具２以外の医療器具であってもよい。

１ 内視鏡
１ａ 撮像部
２ 処置具（対象物）
３ 移動装置
３ａ ロボットアーム
３ｂ 関節
４ 制御装置
５ 表示装置
１０ 医療システム
Ａ 光軸
Ｂ 特定領域（所定の３次元領域）
Ｂ１ 非追従領域（特定領域）
Ｂ２ 追従領域（特定領域）
Ｃ 外側の領域
Ｄ 内視鏡画像
Ｆ 視野
α 視野角

Claims (9)

1. 対象物を含む画像を取得する内視鏡と、
   該内視鏡を移動させる移動装置と、
   前記対象物の位置に基づいて前記移動装置を制御する制御装置と、を備え、
   該制御装置は、
   前記内視鏡を第１速度で前記対象物に追従させる第１制御モードおよび前記内視鏡を前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記移動装置を制御可能であり、
   前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記第１制御モードで前記移動装置を制御し、
   前記対象物が前記所定の３次元領域の内側に位置する場合、前記第２制御モードで前記移動装置を制御する、医療システム。
2. 前記３次元領域は、前記内視鏡の光軸に直交する前記３次元領域の横断面が前記内視鏡の先端に近付く程小さくなる形状を有する、請求項１に記載の医療システム。
3. 前記内視鏡が、ステレオ画像を取得可能であり、
   前記制御装置が、前記ステレオ画像を用いて前記対象物の３次元位置を算出する、請求項１に記載の医療システム。
4. 前記対象物が、処置具であり、
   前記制御装置が、
   前記処置具の種類を認識し、
   前記処置具の前記種類に応じて、前記内視鏡の光軸に直交する前記３次元領域の横断面のサイズおよび形状の少なくとも一方を変更する、請求項１に記載の医療システム。
5. 前記制御装置は、前記画像の中心に前記対象物が向かうように前記移動装置を前記第１制御モードおよび前記第２制御モードで制御する、請求項１に記載の医療システム。
6. 前記制御装置は、前記対象物が前記３次元領域内に入るまで前記移動装置を前記第１制御モードで制御する、請求項１に記載の医療システム。
7. 前記制御装置が、
   処置の種類を認識し、
   前記処置の種類に応じて前記３次元領域のサイズおよび形状の少なくとも一方を変更する、請求項１に記載の医療システム。
8. 前記制御装置が、前記内視鏡の視野角に応じて、前記内視鏡の光軸に直交する前記３次元領域の横断面のサイズを変更する、請求項１に記載の医療システム。
9. 対象物を含む画像を取得する内視鏡を移動させる移動装置を前記対象物の位置に基づいて制御する制御装置を備える医療システムの作動方法であって、
   前記制御装置が、
   前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記内視鏡を第１速度で前記対象物に追従させる第１制御モードで前記移動装置を制御し、
   前記対象物が前記所定の３次元領域の内側に位置する場合、前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記移動装置を制御する、医療システムの作動方法。

Images