JP6038405B2 - ナビゲーションシステム、ナビゲーションシステムの作動方法 - Google Patents

Description

本発明は、予め取得した被検体に関する画像情報から３次元画像情報を構築して管腔臓器を抽出し、誘導情報を生成するナビゲーションシステム、ナビゲーションシステムの作動方法に関する。

内視鏡装置は、例えば、体腔内臓器の観察や必要に応じて処置具を用いて治療処置を行う医療用内視鏡として、広く用いられている。このような内視鏡装置で観察や治療処置を行う場合、内視鏡の挿入部を管腔内に挿入していき、挿入部の先端部を病変部等の目的地に早くかつ正確に到達させる必要がある。

そこで、内視鏡の挿入部を目的地まで到達させるために、ナビゲーション画像を表示して案内を行うナビゲーション技術が従来より提案されている。こうしたナビゲーション技術は、体腔内臓器の中でも、例えば気管支や腎臓などの、複数に分岐した管腔を有する管腔臓器に対して用いられている。

例えば、日本国特開２０１１−１８９０７４号公報には、光ファイバセンサ等を用いて湾曲部の湾曲形状を検出し、検出した湾曲形状と挿入部が挿入されている分岐管路の形状とをフィッティング処理して、内視鏡の挿入操作時に挿入部が挿入されている分岐管路と挿入されていない分岐管路を識別し、気管支に対する挿入部の挿入状態を精度良く表示する技術が記載されている。

また、日本国特開２００５−２１１５３５号公報には、モデル画像上において挿入支援始点と挿入支援終点を指定し、仮想内視鏡画像上においてポインタによって挿入部が挿入される分岐管路を指定することにより、挿入支援始点から挿入支援終点まで挿入部先端位置を誘導する技術が記載されている。

ところで、上述した体腔内臓器の内の例えば腎臓では結石が生じることがあり、こうした結石を取り除く処置が、内視鏡の先端から突出する処置具等を用いて、腎盂、腎杯内を内視鏡で観察しながら行われている。

具体的に、結石は、まず破砕されて細分化される。このときに、破砕片が飛び散って周辺の腎杯に入り込むことがあり、こうした破砕片も含めて抽石する必要がある。そのために、破砕後の残石の有無を確認するべく、腎盂、腎杯内を内視鏡でくまなく観察することが望まれる。

そこで、例えば日本国特表２００８−５３７７３０号公報には、結石破砕後の腎杯における残石の有無をもれなく確認できるようにするために、観察済みの腎杯に対してマーキング材料を注入し、未観察の腎杯を識別できるようにする技術が記載されている。

上記日本国特開２０１１−１８９０７４号公報や日本国特開２００５−２１１５３５号公報に記載の技術では、挿入部の挿入状態を表示したり、指定した目標位置までの誘導を行ったりすることは可能であったが、管腔臓器における複数に分岐した管腔に対してもれなく誘導を行うものとはなっていなかった。

また、上記日本国特表２００８−５３７７３０号公報に記載の技術では、観察済みの腎杯の全てに対してマーキング材料を注入する操作を行わなければ観察の有無を判定することができず、操作に手間を要していた。さらに、ある腎杯を観察した後に、術者の判断で別の未観察の腎杯へ移動を行うと、移動経路を短縮化するような最適な手順になるとは限らなかった。

本発明は上記事情に鑑みてなされたものであり、管腔臓器の複数に分岐した管路に対するもれのない検査を容易に行うことができるナビゲーションシステム、ナビゲーションシステムの作動方法を提供することを目的としている。

本発明のある態様によるナビゲーションシステムは、被検体内に挿入された内視鏡の視点の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記視点の位置情報を前記被検体の所定の管腔臓器の３次元画像に位置合わせした補正位置情報を生成する位置合わせ部と、前記補正位置情報に基づき前記所定の管腔臓器における複数の分岐管路に対して、前記内視鏡によりそれぞれ観察済みであるか未観察であるかを判定する判定部と、前記判定部により未観察であると判定された分岐管路を未観察管路とした際、前記位置情報取得部により取得された現在の前記視点の位置情報と当該未観察管路の距離に基づいて、１つの未観察管路を第１の目標領域として設定する目標設定部と、
前記目標設定部により設定された前記第１の目標領域への誘導情報を生成する誘導情報生成部と、を具備する。

本発明のある態様によるナビゲーションシステムの作動方法は、位置情報取得部と、位置合わせ部と、判定部と、目標設定部と、誘導情報生成部と、を具備するナビゲーションシステムの作動方法であって、前記位置情報取得部が、被検体内に挿入された内視鏡の視点の位置情報を取得し、前記位置合わせ部が、前記位置情報取得部で取得された前記視点の位置情報を前記被検体の所定の管腔臓器の３次元画像に位置合わせした補正位置情報を生成し、前記判定部が、前記補正位置情報に基づき前記所定の管腔臓器における複数の分岐管路に対して、前記内視鏡によりそれぞれ観察済みであるか未観察であるかを判定し、前記目標設定部が、前記判定部により未観察であると判定された分岐管路を未観察管路とした際、前記位置情報取得部により取得された現在の前記視点の位置情報と当該未観察管路の距離に基づいて、１つの未観察管路を第１の目標領域として設定し、前記誘導情報生成部が、前記目標設定部により設定された前記第１の目標領域への誘導情報を生成する。

本発明の実施形態１における内視鏡システムの構成を示す図。 上記実施形態１の画像処理装置の構成を示すブロック図。 上記実施形態１における内視鏡システムの作用を示すフローチャート。 上記実施形態１の内視鏡システムにおける自動観察済み判定プロセスを示すフローチャート。 上記実施形態１の内視鏡システムにおける目標分岐管路設定の処理を示すフローチャート。 上記実施形態１における表示装置の表示画面の表示例を示す図。 上記実施形態１において、仮想内視鏡画像内にある第１の小腎杯への案内矢印が表示されている状態を示す図。 上記実施形態１において、第１の小腎杯の観察が終了した後に、仮想内視鏡画像内にある第２の小腎杯への案内矢印が表示されている状態を示す図。 上記実施形態１において、仮想内視鏡画像内にある第１の小腎杯から第２の小腎杯を経て第３の小腎杯へナビゲーションの案内が移動していく様子を示す図。 上記実施形態１において、内視鏡画像内に案内矢印を表示する例を示す図。 上記実施形態１において、目標位置マークと挿入不可マークとを表示した挿入補助画像の例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、内視鏡システム１の構成を示す図である。本実施形態は、ナビゲーションシステムを内視鏡システム１に適用したものとなっており、内視鏡システム１により被検体を観察する際のナビゲーションを行うものとして構成されている。

図１に示すように、ナビゲーションシステムが適用された内視鏡システム１は、内視鏡２とカメラコントロールユニット（ＣＣＵ）３とを有する内視鏡装置４と、位置検出装置５と、サーバ６と、画像処理装置７と、表示装置８と、を備えている。

内視鏡２は、被検体内に挿入される可撓性を有する細長の挿入部１１と、この挿入部１１の基端部に連設された操作部１２と、この操作部１２の側面から延設されたケーブル１３と、を備えている。

操作部１２には、ナビゲーション表示を開始するためのナビゲーション表示開始指示データを発生させるナビゲーションボタン１２ａが設けられている。このナビゲーションボタン１２ａは、後述する誘導情報生成部３４による誘導情報の生成を開始させる命令が入力される誘導開始指示部ともなっている。なお、ナビゲーションボタン１２ａは、内視鏡２の操作部１２に設けるに限るものではなく、例えばフットスイッチとして設けても良いし、その他の構成のスイッチ等として設けても構わない。

挿入部１１の先端部には、被検体内を撮像するための撮像系１０が設けられている。この撮像系１０は、具体的には、被検体内の光学像を結像する対物光学系と、この対物光学系により結像された光学像を光電変換して撮像信号を生成するＣＣＤ等の撮像素子と、を備えている。内視鏡２は、ケーブル１３を介してＣＣＵ３に接続されていて、撮像系１０で撮像された撮像信号と、ナビゲーションボタン１２ａから入力されたナビゲーション表示開始指示データとは、ＣＣＵ３へ送信される。

ＣＣＵ３は、内視鏡２から送信された撮像信号に所定の画像処理を施して、内視鏡画像データを生成する。また、ＣＣＵ３は、ナビゲーションボタン１２ａから入力されたナビゲーション表示開始指示データを受信する。

上述した挿入部１１の先端部から基端部には、所定の間隔で図示しない複数の受信コイルが設けられている。これら複数の受信コイルは、位置検出装置５が発生する磁界に応じて、電気信号をそれぞれ出力する。内視鏡２は、ケーブル１４を介して位置検出装置５に接続されており、受信コイルから出力された各電気信号は位置検出装置５へ送信される。

位置情報取得部としての位置検出装置５は、複数の受信コイルの内の、挿入部１１の先端部に設けられた受信コイルからの電気信号に基づき、被検体内にある挿入部１１の先端における撮像系１０の視点の位置情報（この位置情報は、視点の３次元位置および視点の視線方向の各情報を含む）を演算して取得する。この位置検出装置５による位置情報の取得は、例えば、一定の時間間隔毎に繰り返して行われる。

そして、位置検出装置５は、上述した複数の受信コイルからの電気信号に基づいて、挿入部１１の挿入形状を示す挿入形状データを演算して取得する。なお、ここでは受信コイルを利用して湾曲形状データを取得するようにしたが、これに限らず、例えばＦＢＧ（ファイバブラッググレーティング：Fiber Bragg Grating）センサ等を用いて湾曲形状データを取得するようにしても構わない。

上述したＣＣＵ３、位置検出装置５、およびサーバ６は、画像処理装置７に接続されている。これらの内のサーバ６は、例えば、院内のＬＡＮ等の通信回線を介して、画像処理装置７に接続されている。

ＣＣＵ３は、上述したように生成した内視鏡画像データと、内視鏡２から受信したナビゲーション表示開始指示データと、を画像処理装置７へ送信する。

位置検出装置５は、視点の位置情報（位置および方向データ）と、挿入部１１の挿入形状データと、を画像処理装置７へ送信する。

一方、サーバ６は、例えば、この内視鏡システム１による検査を行う前にＣＴ、ＭＲＩ、あるいはＰＥＴ等により予め取得されている術前マルチスライス画像データ１６ａ〜１６ｎを格納している。そして、サーバ６は、これらの術前マルチスライス画像データ１６ａ〜１６ｎを画像処理装置７へ送信する。なお、ここでは画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ〜１６ｎを読み込んだが、これに代えて、術前マルチスライス画像データ１６ａ〜１６ｎを記憶させたＣＤ−ＲＯＭ等の可搬な記録媒体から読み込むようにしても構わないことは勿論である。

画像処理装置７は、ＣＣＵ３、位置検出装置５、およびサーバ６から取り込んだ各データに基づいて、後述する処理を行って画像データを作成する。

画像処理装置７は表示装置８と接続されていて、表示装置８は、画像処理装置７により作成された画像データを受信して表示する。この表示装置８は、後述するように画像処理装置７により作成されるナビゲーション画像を表示する表示部となっている。

次に、図２は、画像処理装置７の構成を示すブロック図である。

画像処理装置７は、画像情報記憶部２１と、画像処理部２２と、視点位置記憶部２３と、位置合わせ部２４と、座標変換部２５と、判定部２６と、入力部２７と、を備えている。

画像情報記憶部２１は、３次元画像情報を構築するための、予め取得した被検体に関する画像情報である術前マルチスライス画像データ１６ａ〜１６ｎを、サーバ６から読み込んで記憶する。

視点位置記憶部２３は、位置検出装置５により取得された視点の位置情報を記憶するものであり、上述したように、例えば一定の時間間隔毎に繰り返して位置検出装置５により取得される複数の時点の位置情報を蓄積することが可能となっている。

位置合わせ部２４は、位置検出装置５で取得され視点位置記憶部２３に記憶された視点の位置情報を記述する実空間座標と、後述するように管腔臓器抽出部３１により抽出される所定の管腔臓器を記述する３次元画像座標と、の位置合わせを行う。この位置合わせ部２４による位置合わせは、例えば、実空間座標から３次元画像座標への変換式の算出として行われる。

なお、位置合わせの方法は、上述した変換式を用いる方法に限るものでなく、例えば、日本国特開２００５−３１２７７０号公報に開示されているような、患者の体表の特徴点の位置検出と３次元画像データ上での特徴点指定とに基づく位置合わせ方法や、日本国特開２００９−２７９２５１号公報に開示されているような、内視鏡画像と仮想内視鏡画像とのマッチングによる位置合わせ方法などを採用しても構わない。

座標変換部２５は、位置合わせ部２４で算出された変換式に基づき、視点位置記憶部２３に記憶されている位置および方向データを３次元データ座標上の値に変換する。そして、座標変換部２５は、変換後の視点の位置および方向データを、変換前の位置および方向データと、タイムスタンプと、に関連付けて視点位置記憶部２３に記憶する。

このように、位置合わせ部２４および座標変換部２５により、位置情報取得部としての位置検出装置５で取得された視点の位置情報を、所定の管腔臓器の３次元画像座標情報に位置合わせした補正位置情報を生成する位置合わせ部が構成される。

判定部２６は、分岐管路抽出部３２により後述するように所定の領域内で抽出される分岐管路の位置情報と、位置合わせされた補正位置情報と、に基づいて、分岐管路の観察の有無を判定する。この判定部２６は、視点位置記憶部２３を介して受け取った補正位置情報により示される位置が上述した所定の領域内であるときの、判定部２６の判定結果を累積的に記憶する判定結果記憶部３６を備えている。そして、判定部２６は、一定の時間間隔で位置情報が取得される毎に、分岐管路の観察の有無を判定し、最新の判定結果を判定結果記憶部３６に累積して記憶するようになっている。これにより判定結果記憶部３６の記憶内容が、例えば、
「分岐管路１：未観察、 分岐管路２：未観察、 …、分岐管路ｎ：未観察 」
→「分岐管路１：未観察、 分岐管路２：観察済み、…、分岐管路ｎ：未観察 」
などのようになり、観察が進むにつれて、各分岐管路の観察状態が「未観察」から「観察済み」へと順次変化していくことになる。

入力部２７は、画像処理装置７に対する操作入力を行うためのものであり、分岐管路抽出部３２により分岐管路を抽出する対象となる所定の領域を指定可能な領域指定部を含んでいる。この領域指定部により指定される領域が、観察対象とする所定の領域となる。ここに、所定の領域は、管腔臓器抽出部３１により抽出される所定の管腔臓器に対して任意に指定することができ、所定の管腔臓器の一部であっても良いし全部であっても構わない。

画像処理部２２は、管腔臓器抽出部３１と、分岐管路抽出部３２と、目標設定部３３と、誘導情報生成部３４と、を備えている。

管腔臓器抽出部３１は、画像情報記憶部２１に記憶されている画像情報（術前マルチスライス画像データ１６ａ〜１６ｎ）を読み出して３次元画像情報を構築し、さらに、３次元画像情報から所定の管腔臓器を抽出する。ここでは、抽出する管腔臓器は、一例として腎臓の管腔構造であるものとする。このとき、管腔臓器抽出部３１は、管腔臓器５１として、例えば尿管５２、腎盂５３、大腎杯５４、小腎杯５５、腎乳頭５６（あるいはさらに必要に応じて膀胱や尿道）を含む所定の管腔臓器を抽出する（図６参照）。

分岐管路抽出部３２は、所定の管腔臓器から、入力部２７により設定された観察対象とする所定の領域内に存在する分岐管路を抽出する。なお、もれのない検査を行うために、分岐管路抽出部３２は、所定の領域内に存在する分岐管路を、全て抽出することが好ましい。

目標設定部３３は、判定部２６により未観察であると判定された未観察分岐管路の１つを目標分岐管路として設定する。この目標設定部３３による目標分岐管路の設定は、上述した判定結果記憶部３６の最新の記憶内容に基づき行われる。

具体的に、目標設定部３３は、補正位置情報により示される現在の視点位置に（好ましくは、挿入部１１の挿入方向の先端側において）最も近い未観察分岐管路を目標分岐管路として設定する。

また、目標設定部３３は、目標分岐管路が未観察であると判定部２６により判定されているときに、目標分岐管路が補正位置情報により示される現在の視点位置よりも先端側であるか否かを判定して、現在の視点位置よりも先端側でない場合には、補正位置情報に基づいて目標分岐管路を更新するようになっている。これは後述するように、術者がナビゲーション経路から外れる操作を行った場合に、現在の視点位置に基づいて新たな目標分岐管路を設定し、常に適切なナビゲーションを行うことができるようにするためである。

誘導情報生成部３４は、目標分岐管路が観察済みであると判定部２６により判定された場合には、目標設定部３３に目標分岐管路を、未観察分岐管路の他の１つに更新させながら、目標分岐管路への誘導情報を生成する。これにより、未観察分岐管路へのナビゲーションが次々と行われることになる。

上述した分岐管路抽出部３２が所定の領域内に存在する分岐管路を全て抽出する場合には、誘導情報生成部３４は、抽出された全ての分岐管路について挿入部１１を挿入可能か否かを判定して、挿入可能であると判定した全ての分岐管路への誘導情報を順次生成する。

このとき誘導情報生成部３４は、上述したように一定の時間間隔毎に繰り返して行われる位置検出装置５による位置情報の取得に応じて、一定の時間間隔毎に誘導情報を生成すると良い。これにより、誘導情報をリアルタイムで表示することが可能になる。

上述したように、ナビゲーションボタン１２ａは、誘導情報生成部３４による誘導情報の生成を開始させる命令が入力される誘導開始指示部であり、誘導情報生成部３４は、ナビゲーションボタン１２ａに命令が入力された時点から誘導情報を生成する。従って、術者がナビゲーション不要であると考えてナビゲーションボタン１２ａを操作していないときは、誘導情報は生成されず、つまり表示装置８に表示されない。

画像処理部２２は、誘導情報生成部３４により生成された誘導情報を仮想内視鏡画像４２、あるいは内視鏡画像４３などに重畳してナビゲーション画像とし、その他の表示情報と共に表示用の画像データを作成して表示装置８へ出力する。これにより表示装置８には、ナビゲーション画像が表示される。

ここで図６は、表示装置８の表示画面８ａの表示例を示す図である。なお、実施形態の説明において、図６の表示画面８ａに表示される画像中の符号を適宜用いることにする。

図６に示すように、表示装置８の表示画面８ａには、例えば俯瞰画像４１と、仮想内視鏡画像４２と、内視鏡画像４３と、が表示されている。ここに、俯瞰画像４１は３次元画像データとして構築された管腔臓器を俯瞰したときの、立体的に観察される管腔臓器の２次元画像である。また、仮想内視鏡画像４２は、３次元画像データとして構築された管腔臓器を、撮像系１０の視点位置から観察したときの２次元画像である。そして、内視鏡画像４３は撮像系１０によって撮像された撮像画像である。なお、図６に示す表示例は単なる一例であり、その他の情報を表示する、あるいは幾つかの情報の表示を省略する等を行っても構わない。

図６に示す俯瞰画像４１には、管腔臓器５１における、尿管５２、腎盂５３、大腎杯５４、小腎杯５５、腎乳頭５６が表示され、さらに、ナビゲーションとしての現在の挿入部１１の挿入形状を示す挿入部画像６１が表示されている。この挿入部画像６１の先端が、現在の視点位置６０である。図６の俯瞰画像４１に示す例では、現在の視点位置６０は大腎杯５４内となっている。

図６に示す内視鏡画像４３は、現在の撮像系１０の視点位置６０が大腎杯５４内にあるのに対応して、大腎杯５４から観察される複数の小腎杯５５の開口が表示されている。

また、仮想内視鏡画像４２は、現在の撮像系１０の視点位置６０から観察されるはずの複数の小腎杯５５の開口が表示されている。

次に、図３は内視鏡システム１の作用を示すフローチャートである。

図３に示す処理を開始すると、画像処理装置７がサーバ６にアクセスして、術前マルチスライス画像データ１６ａ〜１６ｎを読み出し、画像情報記憶部２１に記憶する。そして、管腔臓器抽出部３１が、画像情報記憶部２１に記憶した術前マルチスライス画像データ１６ａ〜１６ｎから３次元画像情報を構築し、さらに、構築した３次元画像情報から所定の管腔臓器を抽出する（ステップＳ１）。

続いて、分岐管路抽出部３２が、管腔臓器抽出部３１により抽出された所定の管腔臓器から、入力部２７により設定された観察対象とする所定の領域内に存在する分岐管路をさらに抽出する（ステップＳ２）。

そして、図４に示す自動観察済み判定プロセスを起動する（ステップＳ３）。

ここで、図４は内視鏡システムにおける自動観察済み判定プロセスを示すフローチャートである。

このプロセスが起動されると、位置検出装置５から最新の視点位置情報を取得して視点位置記憶部２３に記憶する（ステップＳ２１）。

次に、取得した最新の視点位置情報を、位置合わせ部２４および座標変換部２５により３次元画像座標情報に対して位置合わせし、補正位置情報を生成する（ステップＳ２２）。

続いて、補正位置情報に基づいて、判定部２６が、観察対象とする所定の領域の分岐管路の観察済み判定を行う（ステップＳ２３）。

そして、判定結果を判定結果記憶部３６に上述したように累積的に記憶し（ステップＳ２４）、プロセス終了シグナルを受信したか否か等に基づき、このプロセスを終了するか否かを判定する（ステップＳ２５）。

ここで、まだ終了でないと判定された場合にはステップＳ２１へ戻って次の最新の視点位置情報を取得して上述したような処理を行い、一方、終了すると判定された場合にはこのプロセスを終える。

このような処理を行うことにより、判定結果記憶部３６には、所定の領域内の各分岐管路が、観察済みであるか未観察であるかの最新の情報が格納されていることになる。

図３の説明に戻って、ステップＳ３において自動観察済み判定プロセスを起動した後に、ナビゲーションボタン１２ａがナビゲーション表示オンに操作されるのを待機する（ステップＳ４）。ここに、ナビゲーション表示オンの操作を待機する間も、ステップＳ３において起動した自動観察済み判定プロセスは上述したように並列して実行され続けている。

こうしてステップＳ４においてナビゲーション表示オンに操作されたと判定された場合には、判定結果記憶部３６に記憶されている自動観察済み判定プロセスの最新の判定結果に基づいて、観察対象とする所定の領域内に未観察の分岐管路が存在するか否かを判定する（ステップＳ５）。

ここで、未観察の分岐管路が存在すると判定された場合には、目標分岐管路設定の処理を行う（ステップＳ６）。

ここで、図５は、内視鏡システム１における目標分岐管路設定の処理を示すフローチャートである。

この処理を開始すると、判定結果記憶部３６に記憶されている自動観察済み判定プロセスの最新の判定結果に基づいて、現在の視点位置よりも先端側に未観察分岐管路が存在するか否かを判定する（ステップＳ３１）。ここでの先端側とは、管腔の分岐管路沿いに未観察分岐管路までの経路をたどったときに、内視鏡２の基端部側に内視鏡２を引き戻す経路となる方向でなく、現在の内視鏡２の先端部側に内視鏡２を進める経路となる方向を示す。

ここで、現在の視点位置よりも先端側に未観察分岐管路が存在すると判定された場合には、現在の視点位置よりも先端側にあって最も近い未観察分岐管路を選択分岐管路として選択する（ステップＳ３２）。

また、ステップＳ３１において、現在の視点位置よりも先端側に未観察分岐管路が存在しないと判定された場合には、先端側を除いて、現在の視点位置の最も近くに位置する未観察分岐管路を選択分岐管路として選択する（ステップＳ３３）。このときの近さは、分岐管路に沿った経路の距離で判定する。

そして、ステップＳ３２またはステップＳ３３で選択された選択分岐管路の内径が、挿入部１１の外径以上であるか否か、つまり、挿入部１１を挿入可能であるか否かを判定する（ステップＳ３４）。

ここで挿入可能であると判定された場合には、選択分岐管路をナビゲーションの目標分岐管路に設定する（ステップＳ３５）。

また、ステップＳ３４において挿入不可能であると判定された場合には、選択分岐管路を、目標分岐管路の選択対象から除外する（ステップＳ３６）。

こうして、ステップＳ３５またはステップＳ３６を行ったら、この処理から図３に示す処理にリターンする。

ステップＳ６の目標分岐管路設定の処理から図３に示す処理に戻ったら、ステップＳ６において目標分岐管路の設定が行われたか否かを判定する（ステップＳ７）。すなわち、上述したように、ステップＳ３５の処理が行われていれば目標分岐管路が設定されているし、ステップＳ３６の処理が行われていれば目標分岐管路がまだ設定されていないことになるために、ここではその判定を行う。

ここで目標分岐管路がまだ設定されていないと判定された場合には、上述したステップＳ５の処理へ戻って未観察の分岐管路が存在するかを判定し、存在する場合にはステップＳ６の処理を再び行って目標分岐管路を設定し直すことになる。

また、ステップＳ７において目標分岐管路が設定されていると判定された場合には、現在の視点位置から、目標分岐管路へ案内するためのナビゲーション情報を生成する（ステップＳ８）。

そして、判定結果記憶部３６に記憶されている最新の判定結果に基づいて、目標分岐管路が観察済みになったか否かを判定する（ステップＳ９）。

ここで、目標分岐管路が観察済みになったと判定された場合には、ステップＳ５の処理へ戻って上述したような処理を繰り返して行う。

また、目標分岐管路が観察済みになっていないと判定された場合には、目標分岐管路の位置が、現在の視点位置よりも先端側であるか否かを判定する（ステップＳ１０）。これは、術者がナビゲーションに従って挿入部１１の挿入を行っているときには目標分岐管路の位置が現在の視点位置よりも先端側となるはずであるが、術者がナビゲーション経路から外れる操作を行った場合、例えば、ナビゲーションで示される目標分岐管路とは別の分岐管路へ挿入部１１を挿入した場合などには、目標分岐管路の位置が現在の視点位置よりも先端側とならないこともある。このステップＳ１０は、このようなケースを識別するための判定である。

ここで、現在の視点位置よりも先端側であると判定された場合には、ステップＳ９へ戻って、目標分岐管路が観察済みになるのを待機する。

一方、ステップＳ１０において、現在の視点位置よりも先端側でないと判定された場合には、現在の視点位置に基づいて、より適切な目標分岐管路を再設定するために、上述したステップＳ５の処理へ戻る。

こうして、ステップＳ５において、所定の領域内に未観察の分岐管路が存在しないと判定された場合には、つまり、所定の領域内の分岐管路を全て観察したことになるために、ステップＳ３において起動した自動観察済み判定プロセスにプロセス終了シグナルを送信する等により、プロセスを終了させてから（ステップＳ１１）、この処理を終了する。

次に、図７は仮想内視鏡画像４２内にある第１の小腎杯５５ａへの案内矢印６２が表示されている状態を示す図、図８は第１の小腎杯５５ａの観察が終了した後に仮想内視鏡画像４２内にある第２の小腎杯５５ｂへの案内矢印６２が表示されている状態を示す図、図９は仮想内視鏡画像４２内にある第１の小腎杯５５ａから第２の小腎杯５５ｂを経て第３の小腎杯５５ｃへナビゲーションの案内が移動していく様子を示す図である。

例えば、図６の俯瞰画像４１に示すように、現在の撮像系１０の視点位置６０が、大腎杯５４内にあって、この視点位置６０から、仮想内視鏡画像４２または内視鏡画像４３に示すように、３つの小腎杯５５が観察されるものとする。

このとき、図７に示すように、現在の視点位置６０よりも先端側にあって最も近い未観察分岐管路である例えば第１の小腎杯５５ａが目標分岐管路に設定され、目標分岐管路となった第１の小腎杯５５ａへのナビゲーションの一例として、案内矢印６２が例えば仮想内視鏡画像４２内に表示される。この案内矢印６２は、図７に示す例においては、現在の視点位置６０に対応する仮想内視鏡画像４２の中央位置を起点とし、目標分岐管路である第１の小腎杯５５ａを終点とする方向の矢印となっている。ただし、この図７（および図８）に示す案内矢印６２はナビゲーション表示の一例であり、この表示態様に限定されるものではなく、その他の態様のナビゲーション表示を用いるようにしても構わない。

こうして第１の小腎杯５５ａの観察が終了すると、第１の小腎杯５５ａは観察済みとなるために、現在の視点位置６０よりも先端側にあって最も近い未観察分岐管路である例えば第２の小腎杯５５ｂが次の目標分岐管路に設定され、目標分岐管路となった第２の小腎杯５５ｂへのナビゲーションとして図８に示すような案内矢印６２が表示される。

このようにナビゲーション表示による案内は、現在の視点位置６０よりも先端側にある未観察分岐管路の中から近い順に、例えば、第１の小腎杯５５ａから第２の小腎杯５５ｂを経て第３の小腎杯５５ｃへと、図９に示すように、順に移動していく。

なお、図７〜図９には仮想内視鏡画像４２においてナビゲーション表示を行う例を示したが、図１０に示すように、内視鏡画像４３においてナビゲーション表示の一例としての案内矢印６２を表示するようにしても良い。ここに、図１０は、内視鏡画像４３内に案内矢印６２を表示する例を示す図である。また、これらに限らず、俯瞰画像４１にナビゲーション表示を行うようにしても構わない。

さらに、図１１は、目標位置マーク６３と挿入不可マーク６４とを表示した挿入補助画像の例を示す図である。

この図１１に示す例においては、俯瞰画像４１中に、目標位置マーク６３と、挿入不可マーク６４と、を表示することにより、挿入補助画像としている。ここに、目標位置マーク６３は、上述したステップＳ３５の処理により設定された現在の目標分岐管路の位置を示すマークである。また、挿入不可マーク６４は、上述したステップＳ３６の処理により目標分岐管路の選択対象から除外された分岐管路の位置を示すマークである。なお、目標位置マーク６３や挿入不可マーク６４等の挿入補助情報は、仮想内視鏡画像４２や内視鏡画像４３に表示するようにしても構わない。

このような実施形態１によれば、未観察であると判定された未観察分岐管路の１つを目標分岐管路として設定して、目標分岐管路が観察済みであると判定された場合には、目標分岐管路を未観察分岐管路の他の１つに更新しながら目標分岐管路への誘導情報を生成するようにしたために、管腔臓器の複数に分岐した管路に順次挿入していく操作が補助されることとなり、もれのない検査を容易に行うことが可能となる。

このとき、所定の領域内に存在する分岐管路を全て抽出して、抽出された全ての分岐管路について挿入部を挿入可能か否かを判定して、挿入可能であると判定した全ての分岐管路への誘導情報を順次生成することにより、所定の領域内に存在する検査可能な分岐管路を網羅して検査することが可能となる。

また、分岐管路を抽出する対象となる所定の領域を指定可能な領域指定部である入力部２７をさらに備えたために、所望の領域を検査対象に設定することが可能となる。

そして、補正位置情報により示される現在の視点位置に最も近い未観察分岐管路を目標分岐管路として設定するようにしたために、観察順序を適正化して、挿入部１１の移動量を小さくし、検査時間を短縮して検査の効率化を図ることができる。

このとき、現在の視点位置の先端側において最も近い未観察分岐管路を目標分岐管路として設定することにより、観察順序を最適化することができる。

また、未観察である目標分岐管路が現在の視点位置よりも先端側であるか否かを判定して、現在の視点位置よりも先端側でない場合には、補正位置情報に基づいて目標分岐管路を更新するようにしたために、術者の操作によって現在の視点位置がナビゲーション経路から外れた場合でも、その時点での最適な目標分岐管路を随時設定することでき、常に適切なナビゲーションを行うことが可能となる。

そして、補正位置情報により示される位置が領域内であるときには観察済みか否かの判定結果を累積的に記憶し、最新の記憶内容に基づき目標分岐管路を設定するようにしたために、目標分岐管路を設定しようとする毎に分岐管路が観察済みであるか否かの判定を行う必要がなくなり、無駄を省いて処理負荷を軽減し、処理時間の短縮も図ることができる。

加えて、誘導開始指示部であるナビゲーションボタン１２ａに命令が入力された時点から誘導情報生成部３４が誘導情報を生成するようにしたために、術者が所望のタイミングで、ナビゲーション表示のオン／オフを切り替えることが可能となる。

なお、上述では主としてナビゲーションシステムについて説明したが、ナビゲーションシステムを上述したように作動させる作動方法であっても良いし、ナビゲーションシステムの作動方法をコンピュータに実現させるためのプログラム、該プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１４年７月１５日に日本国に出願された特願２０１４−１４５３１２号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

1. 被検体内に挿入された内視鏡の視点の位置情報を取得する位置情報取得部と、
   前記位置情報取得部で取得された前記視点の位置情報を前記被検体の所定の管腔臓器の３次元画像に位置合わせした補正位置情報を生成する位置合わせ部と、
   前記補正位置情報に基づき前記所定の管腔臓器における複数の分岐管路に対して、前記内視鏡によりそれぞれ観察済みであるか未観察であるかを判定する判定部と、
   前記判定部により未観察であると判定された分岐管路を未観察管路とした際、前記位置情報取得部により取得された現在の前記視点の位置情報と当該未観察管路の距離に基づいて、１つの未観察管路を第１の目標領域として設定する目標設定部と、
   前記目標設定部により設定された前記第１の目標領域への誘導情報を生成する誘導情報生成部と、
   を具備することを特徴とするナビゲーションシステム。
2. 前記目標設定部は、複数の前記未観察管路のうち、前記位置情報取得部により取得された現在の前記視点の位置情報に最も近い未観察管路を第１の目標領域として設定することを特徴とする請求項１に記載のナビゲーションシステム。
3. 前記目標設定部は、前記判定部により前記第１の目標領域が観察済みであると判定された場合には、前記第１の目標領域を除く未観察管路のうち、現在の視点位置に最も近い未観察管路を第２の目標領域として設定し、
   前記誘導情報生成部は、前記第２の目標領域への誘導情報を生成することを特徴とする請求項２に記載のナビゲーションシステム。
4. 前記内視鏡で取得された前記被検体内の光学像を表す２次元画像データを生成する画像処理部をさらに備え、
   前記画像処理部は、前記２次元画像データ上に、前記誘導情報生成部により生成された前記誘導情報を重畳して表示部へ出力することを特徴とする請求項１に記載のナビゲーションシステム。
5. 前記目標設定部は、前記補正位置情報により示される現在の視点位置に、挿入部の挿入方向の先端側において最も近い未観察分岐管路を前記第１の目標領域として設定することを特徴とする請求項１に記載のナビゲーションシステム。
6. 予め取得した前記被検体に関する画像情報を記憶する画像情報記憶部と、
   前記画像情報から前記所定の管腔臓器を抽出する管腔臓器抽出部と、
   前記所定の管腔臓器から所定の領域内に存在する分岐管路を抽出する分岐管路抽出部と、
   をさらに備えることを特徴とする請求項１に記載のナビゲーションシステム。
7. 前記分岐管路抽出部は、前記所定の領域内に存在する分岐管路を全て抽出し、
   前記誘導情報生成部は、前記分岐管路抽出部によって抽出された全ての分岐管路について挿入部を挿入可能か否かを判定して、挿入可能であると判定した全ての分岐管路への誘導情報を順次生成することを特徴とする請求項６に記載のナビゲーションシステム。
8. 前記分岐管路抽出部により前記分岐管路を抽出する対象となる前記所定の領域を指定可能な領域指定部をさらに具備したことを特徴とする請求項６に記載のナビゲーションシステム。
9. 前記目標設定部は、前記第１の目標領域が未観察であると前記判定部により判定されているときに、該第１の目標領域が前記補正位置情報により示される現在の視点位置よりも先端側であるか否かを判定して、現在の視点位置よりも先端側でない場合には、前記補正位置情報に基づいて、前記第１の目標領域を除く未観察管路のうち、現在の視点位置に最も近い未観察管路を第２の目標領域として設定することを特徴とする請求項５に記載のナビゲーションシステム。
10. 前記補正位置情報により示される位置が前記所定の管腔臓器の所定の領域内であるときの、前記判定部の判定結果を累積的に記憶する判定結果記憶部をさらに具備し、
    前記目標設定部は、前記判定結果記憶部の最新の記憶内容に基づき、前記第１の目標領域を設定することを特徴とする請求項１に記載のナビゲーションシステム。
11. 前記誘導情報生成部による前記誘導情報の生成を開始させる命令が入力される誘導開始指示部をさらに具備し、
    前記誘導情報生成部は、前記誘導開始指示部に前記命令が入力された時点から前記誘導情報を生成することを特徴とする請求項１に記載のナビゲーションシステム。
12. 位置情報取得部と、位置合わせ部と、判定部と、目標設定部と、誘導情報生成部と、を具備するナビゲーションシステムの作動方法であって、
    前記位置情報取得部が、被検体内に挿入された内視鏡の視点の位置情報を取得し、
    前記位置合わせ部が、前記位置情報取得部で取得された前記視点の位置情報を前記被検体の所定の管腔臓器の３次元画像に位置合わせした補正位置情報を生成し、
    前記判定部が、前記補正位置情報に基づき前記所定の管腔臓器における複数の分岐管路に対して、前記内視鏡によりそれぞれ観察済みであるか未観察であるかを判定し、
    前記目標設定部が、前記判定部により未観察であると判定された分岐管路を未観察管路とした際、前記位置情報取得部により取得された現在の前記視点の位置情報と当該未観察管路の距離に基づいて、１つの未観察管路を第１の目標領域として設定し、
    前記誘導情報生成部が、前記目標設定部により設定された前記第１の目標領域への誘導情報を生成することを特徴とするナビゲーションシステムの作動方法。

Images