JP6608111B2 - 医用画像保存再生装置および方法並びにプログラム - Google Patents

Description

本発明は、撮影対象を撮影した動画像を保存し、その保存した動画像を所望の時点から再生する医用画像保存再生装置および方法並びにプログラムに関するものである。

近年、肝臓または肺の切除手術、頭部の開頭手術、心臓カテーテルの挿入、および硬性内視鏡または軟性内視鏡を用いた検査などのあらゆる医療の場面において、手術を支援するナビゲーション技術が注目されている。それぞれの分野において共通する目的は、腫瘍などの特徴領域の位置を指し示すことにある。これにより、特徴領域を避けるように、あるいは特徴領域に向かうように処置を行うことが可能となる。

また、手術の記録のため、手術中の動画像の撮影が行われている。たとえば手術状況全貌がビデオカメラによって撮影されたり、内視鏡などの撮影装置を用いて手術の状況が撮影されたりしている。このような撮影記録により、手技が正しかったか、あるいはどこで誤ったかなどの手術のフィードバックを実施できる。

特開２０１６−４２９８２号公報 特開２０１１−０３６３７２号公報 国際公開第２００６／００１０５５号公報 特開２００５−２６７０３３号公報

しかしながら、手術は数十分から数時間に及ぶものまで様々であり、その中の一部の時刻の動画像を確認しようとすると、探し出すことが非常に困難である。たとえば、気管支内視鏡によって撮影した動画像を確認しようとしたとき、気管支内の所望のルートに気管支内視鏡が挿入されたときの動画像を確認しようとしても、気管支の入り口から撮影された動画像を確認しなければ場所を特定しにくいため、動画像を最初から再生する必要がある。

なお、一般的に動画像を所望の時点から確認する方法として、動画像に対してチャプター情報を付与する方法がある。たとえば特許文献１には、撮影装置に対する操作指示に基づいて、動画像にチャプター情報を付与することが提案されている。しかしながら、特許文献１には、記録された動画像の所望の時点から動画像を再生する方法については、何も提案されていない。また、撮影装置に対する操作指示の時点が、必ずしも手術の動画像を再生する場合において重要な時点とは限らない。

また、特許文献２には、手術中の動画像を撮影している間に、手術具の操作または生体情報などを検出し、手術具の操作が行われた時点または生体情報が閾値範囲外となった時点を特徴点として検出し、その特徴点をつなぎ合わせることによって短縮された動画像を生成して表示させる方法が提案されている。しかしながら、特許文献２には、記録された動画像の所望の時点から動画像を再生する方法については、何も提案されていない。

また、特許文献３には、術者の生体情報を計測し、その計測された情報に応じて動画像に索引を付与することが提案されている。しかしながら、特許文献３においても、索引が付された時点の静止画を取り出すことは提案されているが、記録された動画像の所望の時点から動画像を再生する方法については、何も提案されていない。

また、特許文献４には、実空間と仮想空間とを複合表示するヘッドマウントディスプレイにおいて、仮想空間の物体に対する操作情報を実空間の映像と一緒に記録し、その操作情報に基づいて、映像を再生させることが提案されている。しかしながら、特許文献４では、視野を変更するために行った操作などに対してもチャプター情報が付与されるため、無駄なチャプター情報が付与されやすい問題がある。

本発明は、上記事情に鑑み、手術中および検査中などの場面を撮影した動画像に対して、より適切な時点でチャプター情報を付与することができ、かつユーザの所望の時点から動画像を再生することができる医用画像保存再生装置および方法並びにプログラムを提供することを目的とするものである。

本発明の第１の医用画像保存再生装置は、撮影対象を撮影した動画像を保存する保存部と、撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成する仮想画像生成部と、動画像の各フレームの更新に応じて、その更新後のフレームに対応する仮想画像から解剖学的な特徴または機能的な特徴を検出し、その検出時点に基づいて、動画像にチャプター情報を付与するチャプター情報付与部と、動画像に付与された複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させる表示制御部とを備え、表示制御部が、選択画面において受け付けられたチャプター情報に基づいて、保存された動画像を再生して表示部に表示させる。

また、本発明の医用画像保存再生装置において、表示制御部は、選択画面において複数のチャプター情報が選択された場合には、複数のチャプター情報の選択の順番に基づいて、保存された動画像を再生して表示部に表示させることができる。

また、本発明の医用画像保存再生装置において、表示制御部は、３次元医用画像を選択画面に表示させ、かつ表示された３次元医用画像に対してチャプター情報を表示させることができる。

また、本発明の医用画像保存再生装置において、表示制御部は、解剖学的な特徴または機能的な特徴の３次元医用画像上における位置情報に基づいて、３次元医用画像に対してチャプター情報を表示させることができる。

また、本発明の医用画像保存再生装置においては、解剖学的な特徴または機能的な特徴の検出時点に基づいて、動画像のフレームおよび仮想画像の少なくとも１つを含むサムネイルを生成し、サムネイルとチャプター情報とを対応付けて保存するサムネイル生成部を備え、表示制御部は、チャプター情報およびそのチャプター情報に対応付けられたサムネイルを選択画面に表示させることができる。

また、本発明の医用画像保存再生装置において、保存部は、撮影対象としての気管支を内視鏡によって撮影した動画像を保存し、仮想画像生成部は、気管支内の仮想内視鏡画像を仮想画像として生成することができる。

また、本発明の医用画像保存再生装置において、表示制御部は、気管支の３次元医用画像を選択画面に表示させ、かつ解剖学的な特徴または機能的な特徴の３次元医用画像上における位置情報に基づいて、気管支の３次元医用画像に対して複数のチャプター情報を表示させ、選択画面において複数のチャプター情報のうちの１つが選択された場合には、気管支の基端から、上記選択された１つのチャプター情報の３次元医用画像上における位置までの最短経路上のチャプター情報を選択し、その選択した最短経路上のチャプター情報に基づいて、気管支の基端から、上記選択された１つのチャプター情報の３次元医用画像上の位置までの保存された動画像を再生して表示部に表示させることができる。

また、本発明の医用画像保存再生装置において、表示制御部は、気管支の３次元医用画像を選択画面に表示させ、かつ解剖学的な特徴または機能的な特徴の３次元医用画像上における位置情報に基づいて、気管支の３次元医用画像に対して複数のチャプター情報を表示させ、選択画面において複数のチャプター情報のうちの２つが選択された場合には、選択された２つのチャプター情報のうちの一方のチャプター情報の３次元医用画像上における位置から他方のチャプター情報の３次元医用画像上における位置までの最短経路上のチャプター情報を選択し、その選択した最短経路上のチャプター情報に基づいて、一方のチャプター情報の３次元医用画像上の位置から他方のチャプター情報の３次元医用画像上の位置までの保存された動画像を再生して表示部に表示させることができる。

また、本発明の医用画像保存再生装置において、チャプター情報付与部は、解剖学的な特徴として仮想内視鏡画像から気管支の分岐を検出することができる。

また、本発明の医用画像保存再生装置において、保存部は、撮影対象として肝臓を撮影した動画像を保存し、仮想画像生成部は、肝臓の仮想画像を生成することができる。

また、本発明の医用画像保存再生装置において、チャプター情報付与部は、解剖学的な特徴として肝臓の仮想画像から肝臓の切除部分を検出することができる。

また、本発明の医用画像保存再生装置において、表示制御部は、動画像の各フレームと各フレームに対応する仮想画像とを表示部に並べて表示させることができる。

本発明の第２の医用画像保存再生装置は、気管支を内視鏡によって撮影した動画像を保存する保存部と、気管支を予め撮影した３次元医用画像に基づいて、仮想内視鏡画像を生成する仮想画像生成部と、仮想内視鏡画像から気管支の分岐を検出し、その検出時点に基づいて、動画像にチャプター情報を付与するチャプター情報付与部と、気管支の分岐の３次元医用画像上における位置情報に基づいて、３次元医用画像に対して動画像に付与された複数のチャプター情報を表示させることによって、複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させる表示制御部とを備え、表示制御部が、選択画面において受け付けられたチャプター情報に基づいて、保存された動画像を再生して表示部に表示させる。

本発明の医用画像保存再生方法は、撮影対象を撮影した動画像を保存し、保存した動画像を再生する医用画像保存再生方法であって、撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成し、動画像の各フレームの更新に応じて、その更新後のフレームに対応する仮想画像から解剖学的な特徴または機能的な特徴を検出し、その検出時点に基づいて、動画像にチャプター情報を付与し、動画像に付与された複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させ、選択画面において受け付けられたチャプター情報に基づいて、保存された動画像を再生して表示部に表示させる。

本発明の医用画像保存再生プログラムは、撮影対象を撮影した動画像を保存する手順と、保存した動画像を再生する手順とをコンピュータに実行させる医用画像保存再生プログラムであって、撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成する手順と、動画像の各フレームの更新に応じて、その更新後のフレームに対応する仮想画像から解剖学的な特徴または機能的な特徴を検出し、その検出時点に基づいて、動画像にチャプター情報を付与する手順と、動画像に付与された複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させる手順と、選択画面において受け付けられたチャプター情報に基づいて、保存された動画像を再生して表示部に表示させる手順とをコンピュータにさらに実行させる。

本発明の第１および第２の医用画像保存再生装置、医用画像保存再生方法並びにプログラムによれば、撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成し、動画像の各フレームの更新に応じて、その更新後のフレームに対応する仮想画像から解剖学的な特徴または機能的な特徴を検出し、その検出時点に基づいて、動画像にチャプター情報を付与する。これにより手術中および検査中などの場面を撮影した動画像に対して、より適切な時点でチャプター情報を付与することができる。

また、動画像に付与された複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させ、選択画面において受け付けられたチャプター情報に基づいて、保存された動画像を再生するようにしたので、ユーザの所望の時点から動画像を再生することができる。

本発明の医用画像保存再生装置の一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 動画像、仮想画像および３次元医用画像を表示するウィンドウ画面の一例を示す図 チャプター情報の付与方法の一例を説明するための図 チャプター情報の選択を受け付ける選択画面の一例を示す図 チャプター情報の選択を受け付ける選択画面のその他の例を示す図 本発明の医用画像保存再生装置の一実施形態を用いた医用画像診断支援システムにおける動画像の保存の作用を説明するためのフローチャート 本発明の医用画像保存再生装置の一実施形態を用いた医用画像診断支援システムにおける動画像の再生の作用を説明するためのフローチャート 気管支の最短経路の動画像を再生する実施形態を説明するための図 本発明の医用画像保存再生装置のその他の実施形態を用いた医用画像診断支援システムにおける動画像の保存の作用を説明するためのフローチャート 肝臓の動画像、仮想画像および３次元医用画像を表示するウィンドウ画面の一例を示す図 肝臓の一部が切除された場合の仮想画像の表示を説明するための図 肝臓の動画像に付与されたチャプター情報の選択を受け付ける選択画面の一例を示す図

以下、本発明の医用画像保存再生装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。

本実施形態の医用画像診断支援システムは、手術中または検査中などの医療の場面において、患者を撮影した動画像を取得して保存するものである。そして、その保存した動画像を再生する際、医者などのユーザが、所望の時点から動画像を再生して観察することができるものである。

本実施形態の医用画像診断支援システムは、具体的には、図１に示すように、医用画像保存再生装置１と、医用画像保管サーバ２と、表示装置３（表示部に相当するものである）と、入力装置４と、動画撮影装置５とを備えている。

医用画像保存再生装置１は、コンピュータに本実施形態の医用画像保存再生プラグラムをインストールしたものである。

医用画像保存再生装置１は、中央処理装置（ＣＰＵ（central processing unit））、半導体メモリ、およびハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の医用画像保存再生プログラムがインストールされており、この医用画像保存再生プログラムが中央処理装置によって実行されることによって、図１に示す医用画像取得部１０、仮想画像生成部１１、動画像取得部１２、チャプター情報付与部１３、サムネイル生成部１４、保存部１５および表示制御部１６が動作する。

医用画像保存再生プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、医用画像保存再生プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。

医用画像取得部１０は、予め撮影された患者の３次元医用画像６を取得するものである。３次元医用画像６は、たとえばＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などによって患者の撮影したものである。本実施形態では、患者の胸部の３次元医用画像６を取得する場合について説明する。

３次元医用画像６は、医用画像保管サーバ２に患者の識別情報とともに予め保管されており、医用画像取得部１０は、入力装置４などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する３次元医用画像６を医用画像保管サーバ２から読み出して一時記憶するものである。

仮想画像生成部１１は、医用画像取得部１０によって取得された３次元医用画像６に基づいて、仮想画像を生成するものである。本実施形態の仮想画像生成部１１は、胸部の３次元医用画像６を取得し、その３次元医用画像６から気管支（撮影対象）の領域を抽出し、その気管支の領域の３次元医用画像６に基づいて、仮想内視鏡画像を生成するものである。仮想内視鏡画像とは、気管支などの管腔臓器を内視鏡によって撮影した内視鏡画像を仮想空間上で表した画像である。

仮想画像生成部１１は、具体的には、例えば特開２０１０−２２０７４２号公報等に記載された手法を用いて、入力された３次元医用画像６に含まれる気管支領域のグラフ構造を抽出する。以下、このグラフ構造の抽出方法の一例を説明する。

３次元医用画像６においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、画素毎に画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。仮想画像生成部１１は、異なるサイズの気管支を検出することができるように、３次元医用画像６を多重解像度変換して解像度が異なる複数の３次元医用画像を生成し、各解像度の３次元医用画像毎に検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。

まず、各解像度において、３次元医用画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元医用画像６全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価する。これにより複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、仮想画像生成部１１は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を得ることができる。ここで、分岐点は、３以上の連結数を持つボクセルとなる。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。

さらに仮想画像生成部１１は、気管支のグラフ構造に沿って、気管支の開始点から端点までの経路に沿って、予め定められた間隔に設定された複数の位置を視点として設定する。なお、分岐点も視点として設定する。そして、視点から内視鏡先端の進行方向に放射線状に伸ばした複数の視線上の３次元医用画像６を投影面上に投影した中心投影による投影画像を、仮想内視鏡画像として取得する。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像の画角（視線の範囲）および視野の中心（投影方向の中心）は、使用者による入力等によってあらかじめ設定されているものとする。

なお、仮想画像生成部１１は、予め設定された気管支内の目標ルートに沿った仮想内視鏡画像のみを生成するようにしてもよい。

動画像取得部１２は、動画撮影装置５によって撮影された動画像を取得するものである。本実施形態における動画撮影装置５は、気管支に挿入されて気管支内を撮影する気管支内視鏡である。気管支内視鏡は、ＣＣＤ（Charge-Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えたものである。気管支内視鏡は、この撮像素子によって、予め設定されたフレームレートで気管支の内壁を撮影し、各フレームの画像信号を医用画像保存再生装置１に出力するものである。なお、本明細書では、各フレームの画像信号のことを、単にフレームという。

本実施形態においては、表示装置３によって、図２に示すようなウィンドウ画面５０が表示される。ウィンドウ画面５０内には、動画像表示領域５０ａと、仮想画像表示領域５０ｂと、３次元医用画像表示領域５０ｃとが設けられている。そして、動画像取得部１２によって取得された動画像は表示制御部１６に出力され、表示制御部１６は、入力された動画像を動画像表示領域５０ａに表示させる。

また、表示制御部１６は、仮想画像生成部１１によって生成された気管支の仮想内視鏡画像を仮想画像表示領域５０ｂに表示させ、気管支領域の外観の３次元医用画像を３次元医用画像表示領域５０ｃに表示させる。

ここで、表示制御部１６は、気管支の仮想内視鏡画像を仮想画像表示領域５０ｂに表示させる際、動画像表示領域５０ａに表示されるフレームに対応する仮想内視鏡画像を特定し、その特定した仮想内視鏡画像を仮想画像表示領域５０ｂに表示させる。そして、表示制御部１６は、動画像の各フレームと各フレームに対応する仮想内視鏡画像とを連動させて更新しながら表示させる。

動画像の各フレームに対応する仮想内視鏡画像とは、動画像の各フレームの撮影位置とほぼ同じ位置を視点として生成された仮想内視鏡画像のことである。動画像の各フレームを特定する方法としては、たとえば動画像のフレームと各視点の仮想内視鏡画像とのマッチング処理を行い、各視点の仮想内視鏡画像の中から動画像のフレームに対応する仮想内視鏡画像を特定するようにすればよい。マッチング処理としては、２次元画像のマッチング処理として用いられる方法および動画像のフレームから気管支の分岐構造を認識し、気管支の３次元医用画像にマッチングする方法など公知な方法を用いることができる。

チャプター情報付与部１３は、動画像の各フレームの更新に応じて、その更新後のフレームに対応する仮想内視鏡画像から解剖学的な特徴または機能的な特徴を検出し、その検出時点に基づいて、動画像に対してチャプター情報を付与するものである。

気管支の分岐構造の検出方法としては、たとえば仮想内視鏡画像から円形の暗い画像を検出することによって分岐構造を検出するようにすればよい。

ここで、チャプター情報とは、動画像の区切りを示す情報である。本実施形態においては、上述したように動画像の各フレームに対応する仮想内視鏡画像から分岐構造を検出し、その検出時点に基づいて、動画像に対してチャプター情報を付与する。したがって、本実施形態のチャプター情報は、気管支内を撮影した動画像内に分岐構造が現れた時点、すなわち気管支の各分岐が始まる時点を示す情報となる。このように動画像に対してチャプター情報を付与することによって、気管支内を撮影した動画像を、気管支の各分岐が現れる時点で区切ることができる。チャプター情報としては、たとえば１，２，３・・・などの数値を、仮想内視鏡画像内に分岐構造が現れる度にインクリメントして動画像に付与するようにすればよい。ただし、数値に限らず、ａ，ｂ，ｃ・・・などのアルファベットでもよいし、その他のテキスト情報でもよい。また、チャプター情報は、チャプター情報が付与された時点における時刻でもよい。また、チャプター情報は、上述した数値または文字と時刻との組み合わせでもよい。

なお、たとえば図３に示すように、気管支内視鏡が、気管支の位置Ａまで到達した後に気管支の基端Ｓ側に戻る経路を撮影した際、位置Ａに向かう途中で現れた分岐Ｂ１，Ｂ２，Ｂ３を、再び気管支内視鏡が基端Ｓ側に戻る際に通過する場合においても、その２回目に現れた分岐Ｂ１，Ｂ２，Ｂ３に対して新たなチャプター情報が付与される。具体的には、たとえばチャプター情報として数値を付与する場合には、気管支内視鏡の先端が位置Ａまで向かう際に分岐Ｂ１が検出された時点でチャプター情報「１」が付与され、分岐Ｂ２が検出された時点でチャプター情報「２」が付与され、分岐Ｂ３が検出された時点でチャプター情報「３」が付与される。そして、気管支内視鏡の先端が位置Ａに到達した後、基端Ｓまで戻る際には、分岐Ｂ３が検出された時点でチャプター情報「４」が付与され、分岐Ｂ２が検出された時点でチャプター情報「５」が付与され、分岐Ｂ１が検出された時点でチャプター情報「６」が付与される。

なお、本実施形態においては、上述したように仮想内視鏡画像から解剖学的な特徴として、気管支の分岐構造を検出するようにしたが、これに限らず、気管支の機能的な特徴を検出し、その検出時点に基づいて、動画像に対してチャプター情報を付与するようにしてもよい。気管支の機能的な特徴とは、気管支の機能を反映した特徴のことである。機能的な特徴としては、たとえば気管支の内壁が炎症を起こし形状的に変化していることを検出することができる。具体的には、気管支の内壁が炎症を起こし腫れまたはむくみがあったり、嘆などの気管支粘液などがある場合、仮想内視鏡画像上において形状的変化を赤い色で表現することができる。したがって、その赤色を検出した時点に基づいて、動画像にチャプター情報を付与するようにしてもよい。このように動画像に対してチャプター情報を付与することによって、気管支内を撮影した動画像を、気管支の内壁の炎症が現れた時点で区切ることができる。なお、形状的変化としては、上述した例に限らず、異物のつまりなどであってもよい。また、機能的な特徴の検出時点に基づいて、チャプター情報を付与する場合、機能的な特徴が検出された仮想内視鏡画像の３次元医用画像上における視点位置を求めることによって、その３次元医用画像上における表示位置を取得することができる。

次に、サムネイル生成部１４は、上述したように仮想内視鏡画像から解剖学的な特徴として気管支の分岐構造が検出された場合には、その検出時点における仮想内視鏡画像のサムネイルを生成し、サムネイルとそのサムネイルが生成された時点のチャプター情報とを対応付けるものである。なお、本実施形態においては、仮想内視鏡画像のサムネイルを生成するようにしたが、これに限らず、気管支の分岐構造が検出された時点の仮想内視鏡画像に対応する動画像のフレームのサムネイルを生成してもよい。また、仮想内視鏡画像と動画像のフレームとを並べたウィンドウ画面５０のサムネイルを生成してもよい。サムネイルは、仮想内視鏡画像、動画像のフレーム、またはウィンドウ画面５０全体を表す画像に対して縮小処理を施すことによって生成される。

保存部１５は、動画像取得部１２によって取得された動画像を保存するものである。具体的には、動画像取得部１２によって取得された動画像には、上述したようにチャプター情報が付与され、そのチャプター情報にサムネイルが対応づけられる。したがって、保存部１５には、動画像と一緒に、チャプター情報およびその各チャプター情報に対応付けられたサムネイルが保存される。保存部１５は、たとえば半導体メモリまたはハードディスクなどから構成されるものである。

表示制御部１６は、上述したように、動画像取得部１２によって取得された動画像、気管支の内壁の仮想内視鏡画像、および気管支の外観の３次元医用画像を表示装置３のウィンドウ画面５０に表示させるものである。

さらに、本実施形態の表示制御部１６は、保存部１５に対して、動画像と一緒にチャプター情報およびサムネイルが保存された後、動画像に付与された複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示装置３に表示させるものである。図４は、チャプター情報の選択を受け付ける選択画面６０の一例を示す図である。本実施形態の選択画面６０内には、気管支の外観の３次元医用画像Ｇと、チャプター情報を表す数値と、チャプター情報に対応するサムネイルＳ１，Ｓ２が表示される。図４に示すように、チャプター情報およびサムネイルＳ１，Ｓ２は、そのチャプター情報が付与された時点において検出された分岐構造の位置近傍に表示される。なお、チャプター情報については、分岐構造が検出された仮想内視鏡画像の３次元医用画像上における視点位置を求めることによって、その表示位置を取得することができる。

選択画面６０は、上述したウィンドウ画面５０とは別に表示させるようにしてもよいし、ウィンドウ画面５０内の３次元医用画像表示領域５０ｃに表示させるようにしてもよい。また、選択画面６０は、ユーザによる入力装置４からの指示入力によって、表示と非表示とを切り換えるようにしてもよい。また、３次元医用画像表示領域５０ｃに選択画面６０を表示させる場合には、チャプター情報およびサムネイルの表示と非表示とを切り換えるようにしてもよい。

また、選択画面６０については、図４に示すような表示態様に限らず、チャプター情報の選択を受け付けることが可能であれば、その他の表示態様でもよい。具体的には、たとえば、図５に示すように、気管支の外観の３次元医用画像を表示させることなく、チャプター情報とサムネイルの組み合わせを並べた選択画面を表示させるようにしてもよい。

そして、図４に示す選択画面６０において、チャプター情報「１」およびチャプター情報「２」の少なくとも１つが選択され、その選択情報が、表示制御部１６によって受け付けられる。チャプター情報の選択については、たとえばユーザがポインティングデバイスなどの入力装置４を用いて、所望のチャプター情報またはサムネイルを指定する。または、表示装置３が、タッチパネルを備えたものである場合には、ユーザが、そのタッチパネル上において所望のチャプター情報またはサムネイルを指定するようにしてもよい。

表示制御部１６は、選択画面６０内においてチャプター情報が選択された場合には、そのチャプター情報が付与された時点以降の動画像を保存部１５から再生し、表示装置３に表示させる。なお、たとえば図４に示すチャプター情報「１」が選択された場合、チャプター情報「１」が付与された時点から最後までの動画像を再生するようにしてもよいし、チャプター情報「１」が付与された時点からチャプター情報「２」が付与された時点までの動画像を再生するようにしてもよい。

表示装置３は、液晶ディスプレイなどの表示デバイスを備えたものであり、上述したウィンドウ画面５０および選択画面６０などを表示するものである。

入力装置４は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置４は、たとえば患者の識別情報の設定入力およびチャプター情報の設定入力などを受け付けるものである。なお、タッチパネルを用いることによって表示装置３と入力装置４と兼用するようにしてもよい。医用画像保存再生装置１と表示装置３と入力装置４とをタブレット端末から構成するようにしてもよい。

次に、本実施形態の医用画像診断支援システムの作用について、図６に示すフローチャートを参照しながら説明する。まずは、気管支内視鏡による撮影およびその撮影された動画像の保存の作用について説明する。

まず、ユーザによる患者の識別情報などの入力に基づいて、医用画像取得部１０によって医用画像保管サーバ２から３次元医用画像６が読み出されて取得される（Ｓ１０）。

医用画像取得部１０によって取得された３次元医用画像６は仮想画像生成部１１に入力され、仮想画像生成部１１は、入力された３次元医用画像６に基づいて、気管支の仮想内視鏡画像を生成する（Ｓ１２）。

一方、患者の気管支に気管支内視鏡（動画撮影装置５）が挿入され、気管支の内壁の動画像の撮影が開始される（Ｓ１４）。気管支内視鏡によって撮影された動画像は、動画像取得部１２によって取得され、表示制御部１６によって表示装置３に表示される。具体的には、表示装置３に表示された図２に示すウィンドウ画面５０内の動画像表示領域５０ａに気管支内視鏡によって撮影された動画像が表示される。また、表示制御部１６は、動画像表示領域５０ａに表示されるフレームに対応する仮想内視鏡画像を特定し、その特定した仮想内視鏡画像を仮想画像表示領域５０ｂに表示させる。そして、表示制御部１６は、動画像の各フレームと各フレームに対応する仮想内視鏡画像とを連動させて更新しながら表示させる（Ｓ１６）。

そして、動画像取得部１２によって取得された動画像は、保存部１５に保存される（Ｓ１８）。一方、動画像の各フレームに対応して更新される仮想内視鏡画像がチャプター情報付与部１３に入力され、チャプター情報付与部１３は、入力される仮想内視鏡画像に対して気管支の分岐構造の検出処理を施す。そして、チャプター情報付与部１３は、仮想内視鏡画像から分岐構造が検出された場合には（Ｓ２０，ＹＥＳ）、その分岐構造の検出時点に基づいて、動画像に対してチャプター情報を付与する（Ｓ２２）。さらに、この際、サムネイル生成部１４において、分岐構造が検出された仮想内視鏡画像のサムネイルが生成される（Ｓ２４）。そして、動画像と一緒にチャプター情報およびサムネイルが保存部１５に保存される（Ｓ２６）。

そして、気管支内視鏡による撮影終了指示が、ユーザによって入力装置４を用いて入力された場合には（Ｓ２８，ＹＥＳ）、そのまま気管支の動画像の撮影を終了する。一方、Ｓ２８において、撮影終了指示が入力されない場合には（Ｓ２８，ＮＯ）、Ｓ１６〜Ｓ２６までの処理が繰り返して行われ、引き続き気管支内視鏡によって撮影された動画像が保存部１５に保存される。

以上が、気管支内視鏡による撮影およびその撮影された動画像の保存の作用に関する説明である。

次に、保存部１５に保存された動画像の再生表示について、図７に示すフローチャートを参照しながら説明する。

保存部１５に保存された動画像を再生表示する際には、まず、図４に示すような選択画面６０が表示装置３に表示される（Ｓ３０）。

次に、選択画面６０上において、ユーザによって所望のチャプター情報が選択される（Ｓ３２）。表示制御部１６は、ユーザによって選択されたチャプター情報に基づいて、保存部１５に保存された動画像を再生して表示装置３に表示させる（Ｓ３４）。具体的には、ユーザによって選択されたチャプター情報が付与された時点以降の動画像を保存部１５から再生し、表示装置３に表示させる。

上記実施形態の医用画像診断支援システムによれば、気管支を予め撮影した３次元医用画像に基づいて、仮想内視鏡画像を生成し、仮想内視鏡画像から気管支の分岐を検出し、その検出時点に基づいて、動画像にチャプター情報を付与するようにしたので、気管支観察により重要な時点にチャプター情報を付与することができる。

また、気管支の３次元医用画像に対して複数のチャプター情報を表示させることによって、複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示させ、その選択画面において受け付けられたチャプター情報に基づいて、保存された動画像を再生するようにしたので、ユーザの所望の時点から動画像を再生することができる。

なお、チャプター情報の選択については、必ずしも気管支の分岐が現れる順番でなくてもよく、たとえば図４に示すチャプター情報「２」を選択した後に、チャプター情報「１」を選択するようにしてもよく。この場合、チャプター情報「２」が付与された時点以降の動画像が再生された後に、チャプター情報「１」が付与された時点以降の動画像が再生される。

また、上記実施形態においては、チャプター情報付与部１３が、チャプター情報を自動的に付与するようにしたが、その自動付与されたチャプター情報に加えて、さらにユーザが手動でチャプター情報を付与するようにしてもよい。たとえ動画像の撮影開始時点においてチャプター情報を付与したり、ユーザが、入力装置４を用いてチャプター情報を付与するトリガを設定入力するようにしてもよい。

また、上記実施形態の説明においては、ユーザによって選択されたチャプター情報に基づいて、動画像を再生させるようにしたが、さらにユーザによって選択されたチャプター情報に基づいて、気管支の基端Ｓからその選択されたチャプター情報の３次元医用画像上の位置までの最短経路を求め、その最短経路の動画像を再生するようにしてもよい。

具体的には、たとえば図８に示すようにチャプター情報「１」〜「１２」までが付与され、選択画面に表示された場合において、たとえばチャプター情報「１０」が選択された場合には、表示制御部１６は、気管支の基端からチャプター情報「１０」の３次元医用画像上における位置までの最短経路上のチャプター情報「８」および「９」を選択して、チャプター情報「１」、「８」、「９」および「１０」からなるプレイリストを生成する。

そして、そのプレイリストのチャプター情報の順番で動画像を再生することによって、気管支の基端Ｓからチャプター情報「１０」の３次元医用画像上の位置まで動画像が再生される。なお、本実施形態においては、気管支の基端、すなわち動画像の撮影開始時点においてもチャプター情報「１」が付与されているものとする。また、気管支の最短経路については、既に公知なアルゴリズムを用いて算出するようにすればよい。また、チャプター情報「１０」が付与された時点以降の動画像は再生してもよいし、再生しなくてもよい。

また、上記説明では、ユーザがチャプター情報「１０」のみを選択するようにしたが、これに限らず、チャプター情報「１」とチャプター情報「１０」とを選択した場合に、表示制御部１６が、チャプター情報「１」の３次元医用画像上における位置からチャプター情報「１０」の３次元医用画像上における位置までの最短経路上のチャプター情報「８」および「９」を選択し、チャプター情報「１」、「８」、「９」および「１０」からなるプレイリストを生成するようにしてもよい。また、プレイリストの最初のチャプター情報は、必ずしも気管支の基端に付与されたチャプター情報でなくてもよく、たとえばチャプター情報「８」とチャプター情報「１０」とがユーザによって選択された場合に、チャプター情報「８」、「９」および「１０」からなるプレイリストを生成するようにしてもよい。

また、上記実施形態においては、気管支の分岐を検出するようにしたが、これに限らず、さらに腫瘍およびポリープなどを検出し、これらが検出された時点においてチャプター情報を付与してもよい。その場合、たとえば腫瘍などが存在するチャプター情報を選択して上述したようなプレイリストを生成することによって、たとえば気管支の基端から腫瘍などが存在する位置まで最短経路の動画像を再生することができる。

また、上記実施形態においては、動画像のフレームと各視点における仮想内視鏡画像とのマッチング処理を行うことによって、仮想内視鏡画像を自動的に更新するようにしたが、これに限らない。具体的には、たとえば患者に挿入された気管支内視鏡の先端位置を、センサなどを用いて検出し、その先端位置の検出情報を用いて、仮想内視鏡画像を自動的に更新するようにしてもよい。

また、上記実施形態においては、動画撮影装置５として気管支内視鏡を用い、気管支内視鏡によって撮影された動画像を保存部１５に保存する場合について説明したが、動画撮影装置５の撮影対象としては気管支に限らず、たとえば肝臓の病変部を切除する切除手術を行う場合において、その手術対象の肝臓を撮影対象としてもよい。そして、この場合においても、肝臓の動画像の各フレームに更新に対応させて肝臓の仮想画像を更新し、その肝臓の仮想画像の解剖学的な特徴を検出した時点に基づいて、肝臓の動画像に対してチャプター情報を付与するようにしてもよい。以下、肝臓の切除手術の動画像を撮影して保存する場合の作用について、図９に示すフローチャートおよび図１０〜図１２を参照しながら説明する。

まず、上記実施形態と同様に、ユーザによる患者の識別情報などの入力に基づいて、医用画像取得部１０によって医用画像保管サーバ２から３次元医用画像６が読み出されて取得される（Ｓ４０）。

医用画像取得部１０によって取得された３次元医用画像６は仮想画像生成部１１に入力され、仮想画像生成部１１は、入力された３次元医用画像６に基づいて、肝臓の仮想画像を生成する（Ｓ４２）。ここで、肝臓の仮想画像は、たとえば腹部の３次元医用画像６から肝臓領域を抽出し、その肝臓領域の３次元医用画像に対してボリュームレンダリングを施すことによって生成される。なお、肝臓領域の抽出方法については、既に公知な方法を用いることができる。また、本実施形態においては、上述したように、肝臓の病変部を切除する切除手術の動画像を撮影するので、仮想画像としては、その切除手術を事前にシミュレーンした時系列の仮想画像が生成される。

一方、患者の腹部が開腹され、肝臓の撮影が開始される（Ｓ４４）。なお、肝臓を撮影する動画撮影装置５としては、手術室に固定されたビデオカメラ装置でもよいし、携帯用のビデオカメラ装置でもよい。

動画撮影装置５によって撮影された肝臓の動画像は、動画像取得部１２によって取得され、表示制御部１６によって表示装置３に表示される。具体的には、表示装置３に表示された図１０に示すウィンドウ画面５０内の動画像表示領域５０ａに肝臓の動画像が表示される。

また、表示制御部１６は、動画像表示領域５０ａに表示されるフレームに対応する仮想画像を仮想画像表示領域５０ｂに表示させる。ここで、動画像の各フレームに対応する仮想画像を特定する方法としては、たとえば動画像のフレームと、事前シミュレーションで生成された時系列の仮想画像とのマッチング処理を行い、時系列の仮想画像の中から最も類似度が高い仮想画像を特定するようにすればよい。また、表示制御部１６は、３次元医用画像表示領域５０ｃに肝臓の外観の３次元医用画像を表示させる。

そして、表示制御部１６は、動画像の各フレームと各フレームに対応する仮想画像とを連動させて更新しながら表示させる（Ｓ４６）。

そして、動画像取得部１２によって取得された動画像は、保存部１５に保存される（Ｓ４８）。一方、動画像の各フレームに対応して更新される仮想画像がチャプター情報付与部１３に入力され、チャプター情報付与部１３は、入力される仮想画像に対して肝臓の輪郭検出処理を施す。

そして、チャプター情報付与部１３は、肝臓の仮想画像の一部（病変部）が切除されたことを検出した場合には（Ｓ５０，ＹＥＳ）、その検出時点に基づいて、動画像に対してチャプター情報を付与する（Ｓ５２）。具体的には、たとえば図１０に示す動画像表示領域５０ａ内に表示された肝臓Ｌの一部が、切除ラインＣ１に沿って切除された場合には、図１１に示すように、そのフレームに対応する仮想画像が特定され、仮想画像表示領域５０ｂ内に表示される。そして、チャプター情報付与部１３は、仮想画像表示領域５０ｂ内に表示された仮想画像の切除部分を輪郭検出処理によって検出し、その検出時点に基づいて、動画像に対してチャプター情報を付与する。チャプター情報としては、たとえば「Ｃ１」が付与される。さらに、この際、サムネイル生成部１４において、肝臓の一部が切除された仮想画像のサムネイルが生成される（Ｓ５４）。そして、動画像と一緒にチャプター情報およびサムネイルが保存部１５に保存される（Ｓ５６）。

そして、撮影終了指示が、ユーザによって入力装置４を用いて入力された場合には（Ｓ５８，ＹＥＳ）、そのまま肝臓の動画像の撮影を終了する。一方、Ｓ５８において、撮影終了指示が入力されない場合には（Ｓ５８，ＮＯ）、Ｓ４６〜Ｓ５６までの処理が繰り返して行われ、引き続き肝臓の動画像が保存部１５に保存される。

たとえば、引き続き肝臓Ｌの異なる場所の切除を行う場合には、引き続き肝臓の動画像の撮影が継続され、表示制御部１６は、上記と同様に、動画像の各フレームと各フレームに対応する仮想画像とを連動させて更新しながら表示させる（Ｓ４６）。

そして、動画像取得部１２によって取得された動画像は、保存部１５に保存される（Ｓ４８）。一方、上記と同様に、動画像の各フレームに対応して更新される仮想画像がチャプター情報付与部１３に入力され、チャプター情報付与部１３は、入力される仮想画像に対して肝臓の輪郭検出処理を施す。

そして、たとえば図１２に示すように、さらに肝臓Ｌの一部が切除ラインＣ２に沿って切除された場合には、図１２に示すように、そのフレームに対応する仮想画像が特定され、仮想画像表示領域５０ｂ内に表示される。そして、チャプター情報付与部１３は、仮想画像表示領域５０ｂ内に表示された仮想画像の切除部分を輪郭検出処理によって検出した場合には（Ｓ５０，ＹＥＳ）、その検出時点に基づいて、動画像に対してチャプター情報を付与する（Ｓ５２）。チャプター情報としては、たとえば「Ｃ２」が付与される。さらに、この際、サムネイル生成部１４において、肝臓の一部が切除された仮想画像のサムネイルが生成される（Ｓ５４）。そして、動画像と一緒にチャプター情報およびサムネイルが保存部１５に保存される（Ｓ５６）。

そして、撮影終了指示が、ユーザによって入力装置４を用いて入力された場合には（Ｓ５８，ＹＥＳ）、そのまま肝臓の動画像の撮影を終了する。

そして、表示制御部１６は、保存部１５に対して、動画像と一緒にチャプター情報およびサムネイルが保存された後、動画像に付与された複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を３次元医用画像表示領域５０ｃに表示させる。図１２は、チャプター情報の選択を受け付ける選択画面の一例を示す図である
選択画面内には、肝臓の外観の３次元医用画像ＬＧと、チャプター情報を表す文字「Ｃ１」および「Ｃ２」と、チャプター情報に対応するサムネイルＳ１，Ｓ２が表示される。図１２に示すように、チャプター情報を表す文字「Ｃ１」および「Ｃ２」並びにサムネイルＳ１，Ｓ２は、そのチャプター情報が付与された時点において検出された切除ラインの近傍に表示される。

そして、保存部１５に保存された動画像を再生表示する際には、選択画面上において、ユーザによってチャプター情報「Ｃ１」または「Ｃ２」が選択される。表示制御部１６は、ユーザによって選択されたチャプター情報に基づいて、保存部１５に保存された動画像を再生して表示装置３に表示させる。具体的には、ユーザによって選択されたチャプター情報が付与された時点以降の動画像を保存部１５から再生し、表示装置３に表示させる。

なお、上記説明では、動画像の各フレームと事前シミュレーションで生成された時系列の仮想画像とのマッチング処理を行うことによって、仮想画像を自動的に更新するようにしたが、これに限らず、手動で更新するようにしてもよい。具体的には、たとえば肝臓の一部が切除された場合に、ユーザが入力装置４を用いて仮想画像の肝臓の一部を切除する指示入力し、その指示入力に応じて仮想画像を更新するようにしてもよい。この場合も、チャプター情報付与部１３は、仮想画像の一部が切除されていることを輪郭検出処理によって検出し、その検出時点に基づいて、動画像に対してチャプター情報を付与する。

また、上記実施形態の説明では、動画撮影装置５としてビデオカメラを用いた例を説明したが、たとえば動画撮影装置５として、Ｘ線透視像を撮影するＸ線撮影装置を用いるようにしてもよい。たとえば心臓のカテーテル治療を行う場合に、Ｘ線撮影装置を用いて胸部の動画像を撮影して保存部１５に保存するようにしてもよい。この場合も、予め事前シミュレーションによって心臓のＸ線透視像の仮想画像を生成する。そして、上記と同様に、マッチング処理などを用いて、動画像の各フレームに対応する仮想画像を特定して、表示させる。そして、たとえば仮想画像において、心臓の冠動脈の目標位置にカテーテルが到達したことを検出した時点に基づいて、動画像に対してチャプター情報を付与するようにしてもよい。

１ 医用画像保存再生装置
２ 医用画像保管サーバ
３ 表示装置
４ 入力装置
５ 動画撮影装置
６ ３次元医用画像
１０ 医用画像取得部
１１ 仮想画像生成部
１２ 動画像取得部
１３ チャプター情報付与部
１４ サムネイル生成部
１５ 保存部
１６ 表示制御部
５０ ウィンドウ画面
５０ａ 動画像表示領域
５０ｂ 仮想画像表示領域
５０ｃ 次元医用画像表示領域
６０ 選択画面
Ｂ１，Ｂ２，Ｂ３ 分岐
Ｃ１ 切除ライン
Ｃ２ 切除ライン
Ｇ ３次元医用画像
Ｌ 肝臓
ＬＧ 肝臓の３次元医用画像
Ｓ 気管支の基端
Ｓ１，Ｓ２ サムネイル

Claims (13)

1. 撮影対象を撮影した動画像を保存する保存部と、
   前記撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成する仮想画像生成部と、
   前記動画像の各フレームの更新に応じて、該更新後のフレームに対応する前記仮想画像から解剖学的な特徴または機能的な特徴を検出し、前記検出時点に基づいて、前記動画像にチャプター情報を付与するチャプター情報付与部と、
   前記３次元医用画像を表示させ、かつ、前記解剖学的な特徴または前記機能的な特徴の前記３次元医用画像上における位置情報に基づいて、前記３次元医用画像に対して複数のチャプター情報を表示させて、前記動画像に付与されたチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させる表示制御部とを備え、
   前記表示制御部が、前記選択画面において受け付けられた前記チャプター情報に基づいて、前記保存された動画像を再生して前記表示部に表示させる医用画像保存再生装置。
2. 前記表示制御部が、前記選択画面において複数のチャプター情報が選択された場合には、前記複数のチャプター情報の選択の順番に基づいて、前記保存された動画像を再生して前記表示部に表示させる請求項１記載の医用画像保存再生装置。
3. 前記解剖学的な特徴または機能的な特徴の検出時点に基づいて、前記動画像のフレームおよび前記仮想画像の少なくとも１つを含むサムネイルを生成し、前記サムネイルと前記チャプター情報とを対応付けて保存するサムネイル生成部を備え、
   前記表示制御部が、前記チャプター情報および該チャプター情報に対応付けられた前記サムネイルを前記選択画面に表示させる請求項１または２に記載の医用画像保存再生装置。
4. 前記保存部が、前記撮影対象としての気管支を内視鏡によって撮影した動画像を保存し、
   前記仮想画像生成部が、前記気管支内の仮想内視鏡画像を前記仮想画像として生成する請求項１から３いずれか１項に記載の医用画像保存再生装置。
5. 前記選択画面において前記複数のチャプター情報のうちの１つが選択された場合には、前記気管支の基端から、前記選択された１つのチャプター情報の前記３次元医用画像上における位置までの最短経路上のチャプター情報を選択し、該選択した最短経路上のチャプター情報に基づいて、前記気管支の基端から、前記選択された１つのチャプター情報の３次元医用画像上の位置までの前記保存された動画像を再生して前記表示部に表示させる請求項４に記載の医用画像保存再生装置。
6. 前記選択画面において前記複数のチャプター情報のうちの２つが選択された場合には、前記選択された２つのチャプター情報のうちの一方のチャプター情報の前記３次元医用画像上における位置から他方のチャプター情報の前記３次元医用画像上における位置までの最短経路上のチャプター情報を選択し、該選択した最短経路上のチャプター情報に基づいて、前記一方のチャプター情報の３次元医用画像上の位置から前記他方のチャプター情報の３次元医用画像上の位置までの前記保存された動画像を再生して前記表示部に表示させる請求項４に記載の医用画像保存再生装置。
7. 前記チャプター情報付与部が、前記解剖学的な特徴として前記仮想内視鏡画像から前記気管支の分岐を検出する請求項４から６いずれか１項に記載の医用画像保存再生装置。
8. 前記保存部が、前記撮影対象として肝臓を撮影した動画像を保存し、
   前記仮想画像生成部が、前記肝臓の仮想画像を生成する請求項１から３いずれか１項に記載の医用画像保存再生装置。
9. 前記チャプター情報付与部が、前記解剖学的な特徴として前記肝臓の仮想画像から前記肝臓の切除部分を検出する請求項８に記載の医用画像保存再生装置。
10. 前記表示制御部が、前記動画像の各フレームと前記各フレームに対応する仮想画像とを前記表示部に並べて表示させる請求項１から９いずれか１項に記載の医用画像保存再生装置。
11. 気管支を内視鏡によって撮影した動画像を保存する保存部と、
    前記気管支を予め撮影した３次元医用画像に基づいて、仮想内視鏡画像を生成する仮想画像生成部と、
    前記仮想内視鏡画像から前記気管支の分岐を検出し、前記検出時点に基づいて、前記動画像にチャプター情報を付与するチャプター情報付与部と、
    前記気管支の分岐の前記３次元医用画像上における位置情報に基づいて、前記３次元医用画像に対して前記動画像に付与された複数のチャプター情報を表示させることによって、前記複数のチャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させる表示制御部とを備え、
    前記表示制御部が、前記選択画面において受け付けられた前記チャプター情報に基づいて、前記保存された動画像を再生して前記表示部に表示させる医用画像保存再生装置。
12. 撮影対象を撮影した動画像を保存し、前記保存した動画像を再生する医用画像保存再生方法であって、
    前記撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成し、
    前記動画像の各フレームの更新に応じて、該更新後のフレームに対応する前記仮想画像から解剖学的な特徴または機能的な特徴を検出し、前記検出時点に基づいて、前記動画像にチャプター情報を付与し、
    前記３次元医用画像を表示させ、かつ、前記解剖学的な特徴または前記機能的な特徴の前記３次元医用画像上における位置情報に基づいて、前記３次元医用画像に対して複数のチャプター情報を表示させて、前記動画像に付与された前記チャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させ、
    前記選択画面において受け付けられた前記チャプター情報に基づいて、前記保存された動画像を再生して前記表示部に表示させる医用画像保存再生方法。
13. 撮影対象を撮影した動画像を保存する手順と、前記保存した動画像を再生する手順とをコンピュータに実行させる医用画像保存再生プログラムであって、
    前記撮影対象を予め撮影した３次元医用画像に基づいて、仮想画像を生成する手順と、
    前記動画像の各フレームの更新に応じて、該更新後のフレームに対応する前記仮想画像から解剖学的な特徴または機能的な特徴を検出し、前記検出時点に基づいて、前記動画像
    にチャプター情報を付与する手順と、
    前記３次元医用画像を表示させ、かつ、前記解剖学的な特徴または前記機能的な特徴の前記３次元医用画像上における位置情報に基づいて、前記３次元医用画像に対して複数のチャプター情報を表示させて、前記動画像に付与された前記チャプター情報の中から、１以上のチャプター情報の選択を受け付ける選択画面を表示部に表示させる手順と、
    前記選択画面において受け付けられた前記チャプター情報に基づいて、前記保存された動画像を再生して前記表示部に表示させる手順とを前記コンピュータにさらに実行させる医用画像保存再生プログラム。