JP5947707B2 - 仮想内視鏡画像表示装置および方法並びにプログラム - Google Patents

Description

本発明は、被検体の３次元画像に基づいて、内視鏡によって撮影が行われたものとして仮想的な内視鏡画像を生成し、その仮想内視鏡画像を表示させる仮想内視鏡画像表示装置および方法並びにプログラムに関するものである。

近年、ＣＴ（Computed Tomography）装置などのモダリティによって撮影された３次元画像から患者の大腸、小腸、気管支および血管などの管状組織を抽出し、その抽出した管状組織の３次元画像を画像診断に用いることが行われている。

たとえば、大腸コロノグラフィーにおいては、大腸領域の３次元画像に基づいて、その大腸領域の内部を通過する内視鏡の経路を決定し、その決定した経路に沿って視点を動かしながら実際にその視点から内視鏡によって撮影された画像と類似した仮想内視鏡画像を生成し、この仮想内視鏡画像を表示することによって目標とする地点までの経路をナビゲーションする技術が提案されている。

特開２０１１−２０６２９７号公報

ここで、上述したような大腸コロノグラフィーにおいて、たとえば腫瘤のような病変部と疑われる部分が発見された場合には、その病変部を仮想内視鏡画像上において確認したい場合がある。

このような場合、従来は、その病変部に近いと思われる内視鏡の視点位置と、病変部へ向いた内視鏡の視線方向とをユーザが設定入力する必要があり、煩わしい作業となっていた。また、必ずしも病変部に向いた視線方向がユーザによって設定入力されているとは限らず、これらに基づいて生成された仮想内視鏡画像内の適切な位置に病変部が現れていない場合もあり、視点位置と視線方向の微調整が必要となっていた。

また、病変部近傍だけでなく、病変部の周囲の状態も観察したい場合もあり、このような場合、ユーザがわざわざ視点位置と視線方向とを改めて設定入力する必要があり、さらに煩わしい作業となっていた。特に、大腸内の襞に病変部らしき部分が存在する場合には、その襞の一方の面から見た仮想内視鏡画像だけでなく、他方の面、すなわち襞の裏側から見た仮想内視鏡画像を観察したい場合もあり、このような場合にも、これらの仮想内視鏡画像を生成するために視点位置と視線方向をわざわざ設定入力し直す必要があり、診断効率の低下を招くことになっていた。

なお、特許文献１には、所望の注目点を含む仮想内視鏡画像を生成する際、その注目点を正面から見た仮想内視鏡画像を自動的に生成することによって注目点を観察し易くする方法が提案されているが、特許文献１に記載の方法では、注目点を正面から見た仮想内視鏡画像しか観察することができず、その注目点の周辺の仮想内視鏡画像を観察することができず、このような仮想内視鏡画像を生成するためには、やはり視点位置と視線方向の設定入力が改めて必要である。

本発明は、上記事情に鑑み、マウスなどの操作部による簡易な操作のみによって、病変部など注目点の周辺の仮想内視鏡画像を順次生成して表示することができるとともに、注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示することができる仮想内視鏡画像表示装置および方法並びにプログラムを提供することを目的とするものである。

本発明の仮想内視鏡画像表示装置は、被検体の３次元画像に基づいて、被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、仮想内視鏡画像を表示させる表示制御部とを備えた仮想内視鏡画像表示装置において、被検体の３次元画像上における内視鏡の経路を設定する経路設定部と、仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、操作量取得部によって取得された操作量に基づいて、仮想的な内視鏡の経路上の初期視点からの移動距離を取得する移動距離取得部と、移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部とを備え、仮想内視鏡画像生成部が、視線ベクトル設定部において設定された視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、表示制御部が、視線ベクトルの変更に応じて仮想内視鏡画像を順次表示させるものであることを特徴とする。

また、上記本発明の仮想内視鏡画像表示装置においては、視線ベクトル設定部を、最短視線ベクトルの視点から経路上に沿ってさらに進めた視点と注目点とを結ぶ視線ベクトルをさらに設定するものとできる。

また、視線ベクトル設定部を、操作部における操作が終了した際、現在設定している視線ベクトルの視点を初期視点に変更して視点ベクトルを設定するものとできる。

また、視線ベクトル設定部を、現在設定している視線ベクトルの視点から初期視点に変更するまで視線ベクトルを順次変更して設定するものとし、表示制御部を、視線ベクトルの変更に応じて仮想内視鏡画像を順次表示させるものとできる。

また、仮想内視鏡画像生成部を、操作部における操作中において、仮想内視鏡画像の記録指示を受け付け、その記録指示を受け付けた時点において設定されている視線ベクトルに基づいて生成された仮想内視鏡画像を記録するものとできる。

また、視線ベクトル設定部を、視点が注目点に近づくにつれて視線方向が徐々に注目点の方向に近づくように視線ベクトルを順次設定するものとできる。

また、視線ベクトル設定部を、視点が初期視点側に存在するときよりも注目点から最短距離である経路上の視点側に存在するときの方が、視線ベクトルが最短視線ベクトルに近づく変化量を大きくするものとできる。

また、視線ベクトル設定部において最短視線ベクトルが設定されていることを報知する報知部を設けることができる。

また、視線ベクトル設定部において現在設定されている視線ベクトルが、最短視線ベクトルの視点よりも経路上をさらに進んだ視点を含む視線ベクトルであることを報知する報知部を設けることができる。

また、３次元画像上における初期視点の指定を受け付ける初期視点指定受付部を設けることができる。

また、注目点指定受付部をマウスを備えたものとし、仮想内視鏡画像上に表示されたカーソルの位置の指定とマウスにおけるクリック操作とを受け付けることによって注目点の指定を受け付けるものとできる。

また、操作部をマウスを備えたものとし、操作量取得部を、マウスのドラッグ操作またはホイール操作の操作量を取得するものとできる。

本発明の仮想内視鏡画像表示方法は、被検体の３次元画像に基づいて、被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成し、その生成した仮想内視鏡画像を表示させる仮想内視鏡画像表示方法において、被検体の３次元画像上における内視鏡の経路を設定し、仮想内視鏡画像上における注目点の指定を受け付け、注目点の受付け後、操作部において受け付けられた操作量を取得し、その取得した操作量に基づいて、仮想的な内視鏡の経路上の初期視点からの移動距離を取得し、その取得した移動距離に基づいて、仮想的な内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させることを特徴とする。

本発明の仮想内視鏡画像表示プログラムは、コンピュータを、被検体の３次元画像に基づいて、被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、仮想内視鏡画像を表示させる表示制御部として機能させる仮想内視鏡画像表示プログラムであって、コンピュータを、さらに被検体の３次元画像上における内視鏡の経路を設定する経路設定部と、仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、操作量取得部によって取得された操作量に基づいて、仮想的な内視鏡の経路上の初期視点からの移動距離を取得する移動距離取得部と、移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部として機能させ、仮想内視鏡画像生成部が、視線ベクトル設定部において設定された視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、表示制御部が、視線ベクトルの変更に応じて仮想内視鏡画像を順次表示させるものであることを特徴とする。

本発明の仮想内視鏡画像表示装置および方法並びにプログラムによれば、注目点の指定を受付け、その後、マウスなどの操作部において受け付けられた操作量に基づいて初期視点からの経路上の移動距離を取得し、その取得した移動距離に基づいて、内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから注目点と視点との距離が最短となる最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させるようにしたので、マウスなどの操作部による簡易な操作のみによって、注目点の周辺の仮想内視鏡画像を順次生成して表示することができるとともに、最短視線ベクトルに基づく仮想内視鏡画像、すなわち注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示することができる。

本発明の仮想内視鏡画像表示装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 図１に示す内視鏡画像診断支援システムの作用を説明するためのフローチャート 初期視線ベクトルに基づいて生成された仮想内視鏡画像の一例を示す図 仮想内視鏡画像とカーソルの一例を示す図 視線ベクトルの設定方法を説明するための図 視線ベクトルの変更に応じて順次生成される仮想内視鏡画像の一例を示す図 視点位置の移動に応じて左右に移動するマーカＭと経路上における位置を示すスケールの一例を示す図

以下、本発明の仮想内視鏡画像表示装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。

本実施形態の内視鏡画像診断支援システムは、図１に示すように、内視鏡画像診断支援装置１と、３次元画像保管サーバ２と、ディスプレイ３と、入力装置４とを備えている。

内視鏡画像診断支援装置１は、コンピュータに本実施形態の仮想内視鏡画像表示プログラムがインストールされたものである。
そして、内視鏡画像診断支援装置１は、中央処理装置（ＣＰＵ）および半導体メモリや、本実施形態の仮想内視鏡画像表示プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えており、これらのハードウェアによって、図１に示すような３次元画像取得部１０、管状組織領域取得部１１、経路設定部１２、操作量取得部１３、移動距離取得部１４、視線ベクトル設定部１５、仮想内視鏡画像生成部１６および表示制御部１７が構成されている。そして、ハードディスクにインストールされた本実施形態の仮想内視鏡画像表示プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。

３次元画像取得部１０は、内視鏡装置を用いた手術前または検査前などに予め撮影された被検体の３次元画像５を取得するものである。３次元画像５としては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像５は、３次元画像保管サーバ２に被検体の識別情報とともに予め保管されており、３次元画像取得部１０は、入力装置４において入力された被検体の識別情報に対応する３次元画像５を３次元画像保管サーバ２から読み出すものである。
管状組織領域取得部１１は、３次元画像取得部１０によって取得された３次元画像５が入力され、その入力された３次元画像５から被検体内の管状組織領域を取得するものである。上記管状組織としては、たとえば大腸、小腸、気管支または冠動脈などの血管があるが、これに限らずその他の管状組織でもよい。なお、本実施形態においては大腸の形状を抽出して取得するものとする。

大腸領域を抽出する方法としては、具体的には、まず、３次元画像５に基づいて体軸に垂直な断面（軸位断；axial）の軸位断画像を複数生成し、その各軸位断画像に対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像に対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のＣＴ値に対応する閾値（たとえば、−６００以下）を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを抽出することによって大腸領域を取得する。なお、大腸領域を取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。

経路設定部１２は、上記のようにして取得された大腸領域の３次元画像を細線化して大腸の中心線を推定することによって大腸の木構造を抽出し、これを仮想的な内視鏡の経路として設定するものである。なお、細線化処理については、公知な方法を採用することができ、たとえば“安江正宏,森 健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”や、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた3次元細線化手法の改善一ひげの発生を制御できる一手法.電子情報通信学会論文誌(E日刷中),2001”などに記載の方法を用いることができる。

経路設定部１２は、上述したようにして取得した内視鏡の経路の情報を表示制御部１７に出力するものであり、内視鏡経路は、表示制御部１７によってディスプレイ３に表示されるものである。

操作量取得部１３は、ディスプレイ３に表示された仮想内視鏡画像上においてユーザによって所定の注目点の指定が行われた後の、ユーザによるマウス４ａのドラッグ操作またはホイール操作の操作量を取得するものである。

移動距離取得部１４は、操作量取得部１３によって取得された操作量に基づいて、内視鏡の経路上の初期視点からの移動距離を取得するものである。移動距離の取得方法については、後で詳述する。なお、初期視点とは、ユーザによって最初に指定される仮想内視鏡画像の視点である。

視線ベクトル設定部１５は、移動距離取得部１４によって取得された移動距離に基づいて、初期視点を内視鏡の経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定するものである。

すなわち、視線ベクトル設定部１５は、視点位置が注目点に次第に近づくとともに、視線方向が注目点の正面方向に次第に近づくような視線ベクトルを順次設定するものである。なお、視線ベクトルの設定方法については、後で詳述する。

仮想内視鏡画像生成部１６は、視線ベクトル設定部１５において設定された視線ベクトルと、管状組織領域取得部１１において取得された大腸領域の３次元画像とが入力され、これらに基づいて仮想内視鏡画像を生成するものである。具体的には、仮想内視鏡画像生成部１６は、入力された視線ベクトルを中心として放射線状に伸ばした複数の視線上の３次元画像を所定の投影面に投影した中心投影による投影画像を仮想内視鏡画像として取得するものである。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。

表示制御部１７は、仮想内視鏡画像生成部１６によって生成された仮想内視鏡画像や、ユーザによって指定された注目点をディスプレイ３に表示させるものである。

また、表示制御部１７は、管状組織領域取得部１１において取得された大腸領域の３次元画像が入力され、その３次元画像に対してボリュームレンダリングやサーフェスレンダリングを施して、大腸全体の３次元画像をボクセルモデルまたはサーフェスモデルによってディスプレイ３に表示させるものである。

また、表示制御部１７は、経路設定部１２において設定された内視鏡の経路を大腸全体の３次元画像内に重ねて表示させるものであり、ユーザは、この経路上の点を指定することによって上述した初期視点を指定する。

入力装置４は、マウス４ａ（操作部に相当する）とキーボード４ｂとを備えたものであり、ユーザによる操作入力を受け付けるものである。

本実施形態においては、ユーザがマウス４ａを用いて仮想内視鏡画像上におけるカーソルの位置を指定し、マウス４ａによってクリック操作を行うことによって上記カーソルの位置が注目点の位置として指定される。すなわち、入力装置４は、請求項における注目点指定受付部に相当するものである。

また、本実施形態においては、ユーザによるマウス４ａのドラッグ操作またはホイール操作を受け付けることによって初期視点の移動を受け付ける。上述したように操作量取得部１３は、マウス４ａのドラッグ操作またはホイール操作の操作量を取得するものであり、移動距離取得部１４は、その操作量に基づいて初期視点からの移動距離を取得するものである。

次に、本実施形態の内視鏡画像診断支援システムの作用について、図２に示すフローチャートおよび図３から図６を参照しながら説明する。

まず、入力装置４のキーボード４ｂなどを用いてユーザによって被検体の識別情報が入力され、内視鏡画像診断支援装置１の３次元画像取得部１０は、その入力された被検体の識別情報に対応する３次元画像５を３次元画像保管サーバ２から読み出して取得する（Ｓ１０）。

３次元画像取得部１０によって取得された３次元画像は、管状組織領域取得部１１に入力され、管状組織領域取得部１１は、入力された３次元画像に基づいて大腸領域を抽出して取得する（Ｓ１２）。

管状組織領域取得部１１によって取得された大腸領域の３次元画像は、表示制御部１７に出力され、表示制御部１７は、大腸領域全体の３次元画像をディスプレイ３に表示させる（Ｓ１４）。

また、管状組織領域取得部１１によって取得された大腸領域の３次元画像は経路設定部１２に入力され、経路設定部１２は、入力された大腸領域の３次元画像に基づいて、上述したように仮想的な内視鏡の経路を取得して設定する（Ｓ１６）。そして、経路設定部１２によって取得された内視鏡の経路は表示制御部１７に出力され、表示制御部１７は、入力された内視鏡の経路をディスプレイ３に表示させる。このとき表示制御部１７は、大腸領域の３次元画像に重ねて内視鏡の経路を表示させる。

そして、ユーザが、マウス４ａ（初期視点指定受付部に相当する）を用いて内視鏡経路上における所定の点を初期視点Ｐ１（０≦Ｐ１≦Ｌ，Ｌは経路の長さ）として指定し、その初期視点の座標値（ｘＰ１，ｙＰ１，ｚＰ１）が視線ベクトル設定部１５に出力される（Ｓ１８）。

視線ベクトル設定部１５は、入力された初期視点Ｐ１の座標値（ｘＰ１，ｙＰ１，ｚＰ１）と予め初期設定された視線方向とに基づいて初期視線ベクトルＶ１を設定し、その初期視線ベクトルＶ１の情報を仮想内視鏡画像生成部１６に出力する（Ｓ２０）。図５は、本実施形態における視線ベクトルの設定方法を説明するための図であり、ここでは図５に示すような初期視線ベクトルＶ１が設定される。なお、初期視線ベクトルＶ１の視線方向は、必ずしも後で指定される注目点の方向ではなく、予め初期設定された方向である。

仮想内視鏡画像生成部１６は、入力された初期視線ベクトルＶ１の情報に基づいて仮想内視鏡画像を生成し、その仮想内視鏡画像を表示制御部１７に出力する。表示制御部１７は、入力された仮想内視鏡画像をディスプレイ３に表示させる（Ｓ２２）。図３は、初期視線ベクトルＶ１に基づいて生成された仮想内視鏡画像の一例を示すものである。

さらに、図４に示すように、表示制御部１７によって仮想内視鏡画像上にカーソルｃが表示され、ユーザが、マウス４ａを用いてカーソルｃを注目点まで移動させ、注目点の位置でマウス４ａをクリック操作することによって仮想内視鏡画像上における注目点の位置が指定される（Ｓ２４）。図６の一番上に示された図は、カーソルｃによって注目点が指定された時点における仮想内視鏡画像の一例を示すものである。

そして、ユーザによって指定された注目点の画面上の位置情報（Ｘ，Ｙ）が取得され、その位置情報（Ｘ，Ｙ）が視線ベクトル設定部１５に出力される。視線ベクトル設定部１５は、入力された画面上の位置情報（Ｘ，Ｙ）に対応する３次元画像上の注目点の座標値（ｘ，ｙ，ｚ）を算出する。なお、仮想内視鏡画像はボリュームレンダリングによって得られた画像であるため、画面上の座標値（Ｘ，Ｙ）に対応する３次元画像上の座標値（ｘ，ｙ，ｚ）を求めることは可能である。

次いで、視線ベクトル設定部１５は、図５に示すような注目点から最短距離である経路上の視点である最近点Ｐ２（０≦Ｐ２≦Ｌ，Ｌは経路の長さ）の座標値（ｘＰ２，ｙＰ２，ｚＰ２）を算出し、この最近点Ｐ２の座標値（ｘＰ２，ｙＰ２，ｚＰ２）と注目点の座標値（ｘ，ｙ，ｚ）とを結ぶ最短視線ベクトルＶ２（ｘ−ｘＰ２，ｙ−ｙＰ２，ｚ−ｚＰ２）を設定する。

次に、ユーザによって注目点がクリックされている状態からドラッグ操作が行われた場合またはクリックが解除されてホイール操作が行われた場合には、操作量取得部１３によってその操作量が取得される（Ｓ２６）。具体的には、たとえばマウス４ａによるドラッグ操作中またはドラッグ操作後のカーソルｃの画面上の座標値（Ｘ’，Ｙ’）とすると、マウス４ａによる操作量ｄは、
ｄ＝√（（Ｘ’−Ｘ）^２＋（Ｙ’−Ｙ）^２）
となる。

そして、操作量取得部１３によって取得された操作量ｄは移動距離取得部１４に出力され、移動距離取得部１４は、入力された操作量ｄに基づいて、初期視点Ｐ１からの経路上に沿った移動距離を取得する（Ｓ２８）。具体的には、制御量Ｃ＝ｄ×ａ（ａ：定数）を用いて、下式を算出することによって、図５に示すような移動距離Ｌ１を取得する。
Ｌ１＝Ｃ／（Ｐ２−Ｐ１）

次いで、移動距離取得部１４によって取得された移動距離Ｌ１は視線ベクトル設定部１５に出力され、視線ベクトル設定部１５は、上述した初期視線ベクトルＶ１と最短視線ベクトルＶ２と移動距離Ｌ１とを用いて、下式を算出することによって新たな視線ベクトルＶを設定する（Ｓ３０）。なお、下式のＤは、Ｄ＝Ｌ２／（Ｌ１＋Ｌ２）によって表され、Ｌ２は、図５に示すように初期視点Ｐ１から最近点Ｐ２までの経路上の距離から移動距離Ｌ１を減算した値である。
Ｖ＝Ｖ１×（１．０−Ｄ）＋Ｖ２×Ｄ

上述したようにして、マウス４ａにおける操作量に応じて新たに設定された視線ベクトルＶは、仮想内視鏡画像生成部１６に出力され、仮想内視鏡画像生成部１６において新たな視線ベクトルＶに基づく仮想内視鏡画像が生成されて表示制御部１７に出力される。表示制御部１７は、入力された視線ベクトルＶに基づく仮想内視鏡画像をディスプレイ３に表示させる。図６の上から２番目に示す図は、マウス４ａによるドラッグ操作またはホイール操作の開始から間もない時点における仮想内視鏡画像の一例を示すものである。このときの仮想内視鏡画像は、初期視線ベクトルＶ１に基づく仮想内視鏡画像に近いものとなる。

そして、視線ベクトル設定部１５は、上述したようにしてマウス４ａによる操作量に応じて初期視線ベクトルＶ１から最短視線ベクトルＶ２までの視線ベクトルＶを順次変更して設定し、これを仮想内視鏡画像生成部１６に出力する。

仮想内視鏡画像生成部１６は、入力された視線ベクトルＶに基づいて仮想内視鏡画像を順次生成して表示制御部１７に出力し、表示制御部１７は、仮想内視鏡画像を順次更新してディスプレイ３に表示させる。

なお、視線ベクトルＶの算出式は、上式に限らず、たとえば下式に基づいて算出するようにしてもよい。上式も下式とも、マウス４ａによる操作によって視点が注目点に近づくにつれて視線方向が徐々に注目点の方向に近づくように視線ベクトルＶを順次設定するものであるが、下式は、視点が注目点付近にある程度移動した後に視線方向を注目点の方向に向けるようにしたものである。すなわち、視点が初期視点側Ｐ１に存在するときよりも最近点Ｐ２側に存在するときの方が、視線ベクトルが最短視線ベクトルＶ２に近づく変化量を大きくしたものである。このように視線ベクトルＶを順次設定して仮想内視鏡画像を順次更新して表示させた方が、仮想内視鏡画像の変化がより円滑であり、注目点の観察もし易くなる。
Ｖ＝Ｖ１×（１．０−Ｄ^２）＋Ｖ２×Ｄ^２

そして、マウス４ａのドラッグ操作またはホイール操作によって視点の位置が最近点Ｐ２まで移動した際には、視線ベクトル設定部１５は、最短視線ベクトルＶ２を仮想内視鏡画像生成部１６に出力し、仮想内視鏡画像生成部１６は、入力された最短視線ベクトルＶ２に基づく仮想内視鏡画像を生成する。最短視線ベクトルＶ２に基づく仮想内視鏡画像は、表示制御部１７に出力されてディスプレイ３に表示される（Ｓ３２）。すなわち、このとき注目点が中央に位置し、注目点を正面方向から見た仮想内視鏡画像がディスプレイ３に表示される。図６の上から３番目に示す図は、視点の位置が最近点Ｐ２に近づいた時点における視線ベクトルＶに基づく仮想内視鏡画像の一例を示すものである。なお、最近点Ｐ２を視点とした最短視線ベクトルＶ２に基づく仮想内視鏡画像においては、注目点が仮想内視鏡画像の中心に位置することになる。

そして、さらにマウス４ａによるドラッグ操作またはホイール操作が行われた場合には、最近点Ｐ２からさらに進んだ視点Ｐ３の座標値が取得され、視線ベクトル設定部１５は、その視点Ｐ３の座標値と注目点の座標値とを結ぶ新たな視線ベクトルＶを設定し、仮想内視鏡画像生成部１６に出力する。

仮想内視鏡画像生成部１６は、入力された新たな視線ベクトルＶに基づいて仮想内視鏡画像を生成して表示制御部１７に出力し、表示制御部１７は、仮想内視鏡画像を更新してディスプレイ３に表示させる。すなわち、このとき注目点が中央に位置し、注目点を裏側から見た仮想内視鏡画像がディスプレイ３に表示される（Ｓ３４）。図６の一番下に示す図は、上述したように注目点を裏側から見た仮想内視鏡画像の一例を示すものである。

次いで、ユーザが、マウス４ａのクリックを解除することによってドラッグ操作を終了した場合、またはホイール操作後、ホイールをクリックなどしてホイール操作の終了の指示が入力された場合には、その操作終了の信号が視線ベクトル設定部１５に出力される（Ｓ３６）。

そして、視線ベクトル設定部１５は、上述した操作終了の信号が入力された場合には、現在設定している視線ベクトルの視点を初期視点に変更して再び初期視線ベクトルを設定し、その初期視線ベクトルの情報を仮想内視鏡画像生成部１６に出力する。

仮想内視鏡画像生成部１６は、入力された初期視線ベクトルに基づく仮想内視鏡画像を再び生成して表示制御部１７に出力し、表示制御部１７は、仮想内視鏡画像を更新して表示させる（Ｓ３８）。すなわち、マウス４ａによるドラッグ操作またはホイール操作が終了した場合には、再び最初の仮想内視鏡画像がディスプレイ３に表示される。

上記実施形態の内視鏡画像診断支援システムによれば、注目点の指定を受付け、その後、マウス４ａにおいて受け付けられた操作量に基づいて初期視点からの経路上の移動距離を取得し、その取得した移動距離に基づいて、内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ視線方向を注目点の方向に近づけるように変更することによって、初期視線ベクトルから最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させるようにしたので、マウス４ａによる簡易な操作のみによって、注目点の周辺の仮想内視鏡画像を順次生成して表示することができるとともに、最短視線ベクトルに基づく仮想内視鏡画像、すなわち注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示することができる。

なお、上記実施形態の説明においては、マウス４ａによるドラッグ操作またはホイール操作が終了した場合、視線ベクトル設定部１５が、現在設定している視線ベクトルから初期視線ベクトルに即座に変更するようにしたが、これに限らず、たとえば現在設定している視線ベクトルの視点から初期視点に変更するまでの間の視線ベクトルを順次変更して設定し、その視線ベクトルの変更に応じて仮想内視鏡画像を順次更新して表示させるようにしてもよい。すなわち、現在設定されている視線ベクトルに基づく仮想内視鏡画像が表示されるまでに順次更新された仮想内視鏡画像を逆の順番で順次表示させて元に戻すようにしてもよい。

上述したようにマウス４ａによるドラッグ操作またはホイール操作が終了した場合に、再び初期視線ベクトルに基づく仮想内視鏡画像を生成して表示するようにすれば、再度、初期視点から視点を変更して仮想内視鏡画像を観察したい場合や、最初に表示されていた仮想内視鏡画像に戻したい場合などに改めて視点や視線方向の設定を行う必要がない。

また、上記実施形態の説明では、視点が最近点Ｐ２を通過し、視点Ｐ３の位置まで移動した後にドラッグ操作またはホイール操作を終了するようにしたが、これに限らず、視点が初期視点Ｐ１から最近点Ｐ２まで移動する途中においてドラッグ操作またはホイール操作を終了してもよく、その場合においても、上述したように現在設定されている視線ベクトルに基づく仮想内視鏡画像から初期視線ベクトルに基づく仮想内視鏡画像に更新されて表示される。

また、上記実施形態の内視鏡画像診断支援システムにおいて、マウス４ａによるドラッグ操作中またはホイール操作中において、仮想内視鏡画像の記録指示を受け付け、仮想内視鏡画像生成部１６が、その記録指示を受け付けた時点において設定されている視線ベクトルに基づいて生成された仮想内視鏡画像を記録するようにしてもよい。このように所望の視点位置の仮想内視鏡画像を記録しておくことによって、後から読み出して再度確認したりして所望の用途に用いることができる。なお、仮想内視鏡画像の記録指示については、たとえばキーボード４ｂにおける「Enter」キーを用いて入力するようにすればよい。

また、上記実施形態の内視鏡画像診断システムにおいては、現在設定されている視線ベクトルが最短視線ベクトルＶ２であることをユーザに報知するようにしてもよい。すなわち、現在、ディスプレイ３に表示されている仮想内視鏡画像が、注目点を正面方向から見た仮想内視鏡画像であることをユーザに報知するようにしてもよい。ユーザに報知する方法としては、たとえば表示制御部１７（報知部に相当する）が、ディスプレイ３にメッセージやマークなどを表示するようにしてもよいし、音声によって知らせるようにしてもよい。このような報知を行うことによって、ユーザが、現在表示されている仮想内視鏡画像が注目点を正面方向から見た仮想内視鏡画像であることを容易に把握することができる。

また、現在設定されている視線ベクトルが、最短視線ベクトルＶ２の最近点Ｐ２よりも経路上をさらに進んだ視点を含む視線ベクトルであることをユーザに報知するようにしてもよい。すなわち、現在、ディスプレイ３に表示されている仮想内視鏡画像が、注目点を裏側から見た仮想内視鏡画像であることをユーザに報知するようにしてもよい。具体的には、たとえば表示制御部１７が、図７に示すような視点位置の移動に応じて左右に移動するマーカＭと経路上における位置を示すスケールとをディスプレイ３に表示させ、マーカＭをスケール上の最近点よりも左側に表示させることによってユーザに報知するようにしてもよい。このような報知を行うことによって、ユーザが、現在表示されている仮想内視鏡画像が注目点を裏側から見た仮想内視鏡画像であることを容易に把握することができる。

また、視線ベクトル設定部１５が、現在設定されている視線ベクトルの視点と注目点との間の距離を算出し、表示制御部１７が、その距離をディスプレイ３に表示させるようにしてもよい。

１ 内視鏡画像診断支援装置
２ ３次元画像保管サーバ
３ ディスプレイ
４ 入力装置
４ａ マウス
４ｂ キーボード
１０ ３次元画像取得部
１１ 管状組織領域取得部
１２ 経路設定部
１３ 操作量取得部
１４ 移動距離取得部
１５ 視線ベクトル設定部
１６ 仮想内視鏡画像生成部
１７ 表示制御部

Claims (14)

1. 被検体の３次元画像に基づいて、前記被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、前記仮想内視鏡画像を表示させる表示制御部とを備えた仮想内視鏡画像表示装置において、
   前記被検体の３次元画像上における前記内視鏡の経路を設定する経路設定部と、
   前記仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、
   前記注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、
   該操作量取得部によって取得された操作量に基づいて、仮想的な内視鏡の前記経路上の初期視点からの移動距離を取得する移動距離取得部と、
   該移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を前記初期視点から前記経路上に沿って前記注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を前記注目点の方向に近づけるように変更することによって、前記初期視点を始点とする初期視線ベクトルから、前記注目点から最短距離である前記経路上の視点と前記注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部とを備え、
   前記仮想内視鏡画像生成部が、前記視線ベクトル設定部において設定された視線ベクトルに基づいて、前記仮想内視鏡画像を順次生成し、
   前記表示制御部が、前記視線ベクトルの変更に応じて前記仮想内視鏡画像を順次表示させるものであることを特徴とする仮想内視鏡画像表示装置。
2. 前記視線ベクトル設定部が、前記最短視線ベクトルの視点から前記経路上に沿ってさらに進めた視点と前記注目点とを結ぶ視線ベクトルをさらに設定するものであることを特徴とする請求項１記載の仮想内視鏡画像表示装置。
3. 前記視線ベクトル設定部が、前記操作部における操作が終了した際、現在設定している視線ベクトルの視点を前記初期視点に変更して視点ベクトルを設定するものであることを特徴とする請求項１または２記載の仮想内視鏡画像表示装置。
4. 前記視線ベクトル設定部が、前記現在設定している視線ベクトルの視点から前記初期視点に変更するまで視線ベクトルを順次変更して設定するものであり、
   前記表示制御部が、前記視線ベクトルの変更に応じて前記仮想内視鏡画像を順次表示させるものであることを特徴とする請求項３記載の仮想内視鏡画像表示装置。
5. 前記仮想内視鏡画像生成部が、前記操作部における操作中において、前記仮想内視鏡画像の記録指示を受け付け、該記録指示を受け付けた時点において設定されている視線ベクトルに基づいて生成された仮想内視鏡画像を記録するものであることを特徴とする請求項１から４いずれか1項記載の仮想内視鏡画像表示装置。
6. 前記視線ベクトル設定部が、前記視点が注目点に近づくにつれて前記視線方向が徐々に前記注目点の方向に近づくように前記視線ベクトルを順次設定するものであることを特徴とする請求項１から５いずれか１項記載の仮想内視鏡画像表示装置。
7. 前記視線ベクトル設定部が、前記視点が初期視点側に存在するときよりも前記注目点から最短距離である前記経路上の視点側に存在するときの方が、前記視線ベクトルが前記最短視線ベクトルに近づく変化量を大きくするものであることを特徴とする請求項６記載の仮想内視鏡画像表示装置。
8. 前記視線ベクトル設定部において前記最短視線ベクトルが設定されていることを報知する報知部を備えたことを特徴とする請求項１から７いずれか１項記載の仮想内視鏡画像表示装置。
9. 前記視線ベクトル設定部において現在設定されている視線ベクトルが、前記最短視線ベクトルの視点よりも前記経路上をさらに進んだ視点を含む視線ベクトルであることを報知する報知部を備えたことを特徴とする請求項１から７いずれか１項記載の仮想内視鏡画像表示装置。
10. 前記３次元画像上における前記初期視点の指定を受け付ける初期視点指定受付部を備えたことを特徴とする請求項１から９いずれか１項記載の仮想内視鏡画像表示装置。
11. 前記注目点指定受付部がマウスを備え、前記仮想内視鏡画像上に表示されたカーソルの位置の指定と前記マウスにおけるクリック操作とを受け付けることによって前記注目点の指定を受け付けるものであることを特徴とする請求項１から１０いずれか１項記載の仮想内視鏡画像表示装置。
12. 前記操作部がマウスを備え、
    前記操作量取得部が、前記マウスのドラッグ操作またはホイール操作の操作量を取得するものであることを特徴とする請求項１から１１いずれか１項記載の仮想内視鏡画像表示装置。
13. 被検体の３次元画像に基づいて、前記被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成し、該生成した仮想内視鏡画像を表示させる仮想内視鏡画像表示方法において、
    前記被検体の３次元画像上における前記内視鏡の経路を設定し、
    前記仮想内視鏡画像上における注目点の指定を受け付け、
    前記注目点の受付け後、操作部において受け付けられた操作量を取得し、
    該取得した操作量に基づいて、仮想的な前記内視鏡の前記経路上の初期視点からの移動距離を取得し、
    該取得した移動距離に基づいて、仮想的な内視鏡の視点を前記初期視点から前記経路上に沿って前記注目点に向かって近づけ、かつ仮想的な前記内視鏡の視線方向を前記注目点の方向に近づけるように変更することによって、前記初期視点を始点とする初期視線ベクトルから、前記注目点から最短距離である前記経路上の視点と前記注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定し、
    該設定した視線ベクトルに基づいて、前記仮想内視鏡画像を順次生成し、
    該生成した前記仮想内視鏡画像を順次表示させることを特徴とする仮想内視鏡画像表示方法。
14. コンピュータを、被検体の３次元画像に基づいて、前記被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、前記仮想内視鏡画像を表示させる表示制御部として機能させる仮想内視鏡画像表示プログラムであって、
    コンピュータを、さらに前記被検体の３次元画像上における前記内視鏡の経路を設定する経路設定部と、
    前記仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、
    前記注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、
    該操作量取得部によって取得された操作量に基づいて、仮想的な前記内視鏡の前記経路上の初期視点からの移動距離を取得する移動距離取得部と、
    該移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を前記初期視点から前記経路上に沿って前記注目点に向かって近づけ、かつ仮想的な前記内視鏡の視線方向を前記注目点の方向に近づけるように変更することによって、前記初期視点を始点とする初期視線ベクトルから、前記注目点から最短距離である前記経路上の視点と前記注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部として機能させ、
    前記仮想内視鏡画像生成部が、前記視線ベクトル設定部において設定された視線ベクトルに基づいて、前記仮想内視鏡画像を順次生成し、
    前記表示制御部が、前記視線ベクトルの変更に応じて前記仮想内視鏡画像を順次表示させるものであることを特徴とする仮想内視鏡画像表示プログラム。