JP6510301B2 - 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム - Google Patents

Description

本発明は、患者体内の３次元画像を表示して医療を支援する技術に関する。

上記技術分野において、特許文献１には、超音波画像と断面が一致するＣＴまたはＭＲＩの断層画像を表示する技術が開示されている。また、特許文献２には、超音波画像の表示位置をＣＴまたはＭＲＩの断層画像上に表示する技術が開示されている。また、特許文献３には、３次元超音波画像と断面が略一致するＣＴまたはＭＲＩの３次元画像を表示する技術が開示されている。

特開２００８−１８８１９３号公報 特開２０１２−２２３４１６号公報 特開２０１３−０６３３４２号公報

しかしながら、上記文献に記載の技術は、超音波画像とＣＴあるいはＭＲＩ画像との位置合わせをして同じ断面画像を参照可能に並べて表示するが、患者の生体内部の実時間における部位の状態を認識することが難しかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る医療支援システムは、
患者の断層撮影画像群に基づいて、３次元部位モデルのデータを生成する部位モデル生成手段と、
前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出手段と、
前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積し、前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成手段と、
前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出手段と、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形手段と、
前記変形手段により変形された前記３次元部位モデルの投影画像を表示する表示手段と、
を備え、
前記変形手段は、
前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成手段と、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結手段と、
を有し、
前記表示手段は、前記分割領域連結手段が連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として表示する。

上記目的を達成するため、本発明に係る医療支援方法は、
患者の断層撮影画像群に基づいて、３次元部位モデルのデータを生成する部位モデル生成ステップと、
前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出ステップと、
前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積手段に蓄積する蓄積ステップと、
前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成ステップと、
前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出ステップと、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形ステップと、
前記変形ステップにおいて変形された前記３次元部位モデルの投影画像を表示する表示ステップと、
を含み、
前記変形ステップは、
前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成ステップと、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結ステップと、
を含み、
前記表示ステップにおいては、前記分割領域連結ステップにおいて連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として表示する。

上記目的を達成するため、本発明に係る画像処理装置は、
患者の断層撮影画像群に基づいて生成された３次元部位モデルのデータを受信する受信手段と、
前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出手段と、
前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積する蓄積手段と、
前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成手段と、
前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出手段と、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形手段と、
前記変形手段により変形された前記３次元部位モデルの投影画像を表示手段に送信する送信手段と、
を備え、
前記変形手段は、
前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成手段と、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結手段と、
を有し、
前記送信手段は、前記分割領域連結手段が連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として前記表示手段に送信する。

上記目的を達成するため、本発明に係る画像処理装置の制御方法は、
患者の断層撮影画像群に基づいて生成された３次元部位モデルのデータを受信する受信ステップと、
前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出ステップと、
前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積手段に蓄積する蓄積ステップと、
前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成ステップと、
前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出ステップと、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形ステップと、
前記変形ステップにおいて変形された前記３次元部位モデルの投影画像を表示手段に送信する送信ステップと、
を含み、
前記変形ステップは、
前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成ステップと、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結ステップと、
を含み、
前記送信ステップにおいては、前記分割領域連結ステップにおいて連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として前記表示手段に送信する。

上記目的を達成するため、本発明に係る画像処理装置の制御プログラムは、
患者の断層撮影画像群に基づいて生成された３次元部位モデルのデータを受信する受信ステップと、
前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出ステップと、
前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積手段に蓄積する蓄積ステップと、
前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成ステップと、
前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出ステップと、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形ステップと、
前記変形ステップにおいて変形された前記３次元部位モデルの投影画像を表示手段に送信する送信ステップと、
をコンピュータに実行させる画像処理装置の制御プログラムであって、
前記変形ステップにおいては、
前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成ステップと、
前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結ステップと、
をコンピュータに実行させ、
前記送信ステップにおいては、前記分割領域連結ステップにおいて連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として前記表示手段に送信するようコンピュータに実行させる。

本発明によれば、患者の生体内部の実時間における部位の状態を容易に認識することができる。

本発明の第１実施形態に係る医療支援システムの構成を示すブロック図である。 本発明の第２実施形態に係る医療支援システムの処理概要を示す図である。 本発明の第２実施形態に係る第１特徴点群および第２特徴点群の抽出処理の概要を示す図である。 本発明の第２実施形態に係る医療支援システムの構成を示すブロック図である。 本発明の第２実施形態に係る医療支援システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第２実施形態に係る分割領域テーブルの構成を示す図である。 本発明の第２実施形態に係る超音波画像テーブルの構成を示す図である。 本発明の第２実施形態に係る第２特徴点テーブルの構成を示す図である。 本発明の第２実施形態に係る表示画像生成部の機能構成を示すブロック図である。 本発明の第２実施形態に係る分割領域連結部の処理を説明する図である。 本発明の第２実施形態に係る分割領域連結テーブルの構成および位置合わせ用情報の例を示す図である。 本発明の第２実施形態に係る表示データ生成テーブルの構成を示す図である。 本発明の第２実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る画像処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る特徴点抽出処理の手順を示すフローチャートである。 本発明の第２実施形態に係る領域分割処理の手順を示すフローチャートである。 本発明の第３実施形態に係る医療支援システムの処理概要を示すブロック図である。 本発明の第３実施形態に係る医療支援システムの構成を示すブロック図である。 本発明の第３実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第４実施形態に係る医療支援システムの構成を示すブロック図である。 本発明の第４実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第５実施形態に係る医療支援システムの構成を示すブロック図である。 本発明の医療支援システムの種々の構成例を示す図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、本明細書で使用する「部位」は、生体内部の全体あるいはその一部を表わし、例えば、下腹部などの広い範囲から肺、肝臓、胃などの内臓器官やその病巣部分、あるいは血管やリンパ線、神経の一部などの狭い範囲までを表現する文言である。

［第１実施形態］
本発明の第１実施形態としての医療支援システム１００について、図１を用いて説明する。医療支援システム１００は、患者体内の３次元部位モデルを表示して医療を支援するシステムである。

図１に示すように、医療支援システム１００は、部位モデル生成部１１０と、第１特徴点抽出部１２０と、超音波モデル生成部１３０と、第２特徴点抽出部１４０と、変形部１５０と、表示部１６０と、を含む。部位モデル生成部１１０は、患者１０１の断層撮影画像群に基づいて、３次元部位モデル１１１のデータを生成する。第１特徴点抽出部１２０は、３次元部位モデル１１１から、所定の特徴を有する複数の第１特徴点の位置情報を抽出する。超音波モデル生成部１３０は、患者１０１に対して超音波プローブ１０３を用いて取得した超音波データ１０４と、超音波データ１０４を取得した超音波プローブ１０３の位置および向きデータとを対応付けて蓄積し、超音波データ１０４と位置および向きデータとを用いて、３次元超音波モデル１３１のデータを生成する。第２特徴点抽出部１４０は、３次元超音波モデル１３１から、所定の特徴を有する複数の第２特徴点の位置情報を抽出する。変形部１５０は、複数の第１特徴点と複数の第２特徴点とが重なるように、３次元部位モデル１１１を変形する。表示部１６０は、変形部１５０により変形された３次元部位モデルの投影画像１６０を表示する。

なお、変形部１５０は、３次元部位モデル１１１を、各々が少なくとも１つの第１特徴点を含む複数の３次元領域に分割する分割領域生成部１５１と、複数の第１特徴点と複数の第２特徴点とが重なるように複数の３次元領域のそれぞれを位置調整し、位置調整された複数の３次元領域１５３を互いに連結する分割領域連結部１５２と、を有し、表示部１６０は、分割領域連結部１５２が連結した複数の３次元領域１６１を３次元部位モデルとして表示する。

本実施形態によれば、超音波プローブにより取得した３次元超音波画像に対応して、断層撮影画像群に基づく３次元部位モデルを変換して表示することにより、患者の生体内部の実時間における部位の状態を容易に認識することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る医療支援システムについて説明する。本実施形態に係る医療支援システムは、ＣＴ画像やＭＲＩ画像から生成された３次元部位モデルデータの注目部位に含まれる３次元血管モデルの第１特徴点を抽出して、注目部位を、第１特徴点を含む領域に分割する。また、超音波プローブで取得した超音波画像データの注目部位に含まれる３次元血管モデルの第２特徴点を抽出する。そして、第２特徴点の３次元位置に第１特徴点の３次元位置を合わせるように分割領域を位置調整して連結することにより、３次元部位モデルデータを変換して３次元部位モデルを変形し、変形された３次元部位モデルを患者の生体に重なるように表示する。３次元部位モデルの詳細な変形が、さらに非剛体変形などにより行なわれてもよい。

また、患者の生体に重なるように表示するには、患者の生体に固定された光学マーカを撮像し、光学マーカの位置および向きに基づいた位置、形状および大きさの３次元部位モデルデータを生成する。光学マーカは、光学マーカ付きの磁気センサとして提供される。超音波プローブに固定された磁気センサおよび生体に固定された磁気センサから超音波プローブの正確な位置および向きを検出する。３次元部位モデルは、オプティカルシースルー型のヘッドマウンティンディスプレイ（以下、ＨＭＤ：Head Mounted Display）に表示される。なお、本実施形態においては、光学マーカや磁気センサを患者の生体に固定した例を示したが、手術中に開腹している場合は、手術対象臓器に直接、光学マーカや磁気センサを固定して、より正確な位置を算出することもできる。

《医療支援システム》
図２Ａ、図２Ｂ、図２Ｃおよび図３を参照して、本実施形態の医療支援システムの構成および動作について説明する。

（システム概要）
図２Ａは、本実施形態に係る医療支援システム２００の概要を示す図である。

医療支援システム２００においては、コンピュータ断層撮影画像の１つであるＣＴ画像２１０から生成した、例えば、ＳＴＬ(Standard Triangulated Language)形式の３次元モデルデータで表わされた３次元部位モデルや３次元部位モデルから抽出された３次元血管モデルなどから、モデルの特徴を表わす３次元座標上に配置された第１特徴点群２４０を抽出する。なお、第１特徴点群２４０は、３次元モデルデータにおいて生体組織の特徴ある位置を表わすものであれば限定されないが、例えば、血管の枝分かれ点における、枝分かれ数や枝分かれベクトル、あるいは全体のパターンが特有の点を第１特徴点としてよい。次に、第１特徴点群２４０から少なくとも１つ、望ましくは少なくとも３つの隣接した第１特徴点を含む領域への分割処理２６０を行なう。なお、第１特徴点が領域の分割面や分割点にあるのが、分割領域の連結が容易であり望ましい。

一方、診察室や手術室２３０において、位置検出用器具（例えば、磁気センサ）を用いて位置判定された超音波プローブ２０３により実時間に取得した時系列の２次元超音波画像群２２０から、あるいは、３次元超音波画像から３次元血管モデルを生成し、モデルの特徴を表わす３次元座標上に配置された第２特徴点群２５０を抽出する。なお、第２特徴点群２５０も、３次元超音波画像データにおいて生体組織の特徴ある位置を表わすものであれば限定されないが、第１特徴点と同様の、血管の枝分かれ点における、枝分かれ数や枝分かれベクトル、あるいは全体のパターンが特有の点を第２特徴点とするのが望ましい。ここで、超音波プローブ２０３の位置検出用器具は、診察や手術中に医師などにより遮断される光学マーカよりも、遮断されることのない磁気センサが望ましい。

そして、医療支援システム２００においては、第１特徴点と第２特徴点との３次元マッチングが行なわれ、第１特徴点群２４０が第２特徴点群２５０に重なるように、分割領域が位置調整されて連結されることによって、３次元モデルデータの変形が行なわれる。なお、３次元モデルデータの変形は、さらに分割領域や連結後の３次元部位モデルの非剛性変形を含んでもよい。

次に、医療支援システム２００においては、実時間に生体２０１上に固定した位置検出用器具を用いて計測された、生体と３次元画像データに基づく３次元部位モデルとの位置関係に基づき、実時間の超音波画像に対応して変形された３次元部位モデル２７０を生体内部にあるように調整して３次元表示する。なお、３次元部位モデル２７０の３次元表示をする表示部は、オプティカルシースルー型ＨＭＤが望ましく、医師はＨＭＤの表示画面上の３次元部位モデルの先に実際の生体を目視する。ここで、生体上の位置検出用器具は、生体と３次元部位モデルの表示との位置関係を高い精度で得るための光学マーカ付きの磁気センサが望ましい。

図２Ｂは、本実施形態に係る第１特徴点群２４０および第２特徴点群２５０の抽出処理の概要を示す図である。なお、図２Ｂにおいては第１特徴点群２４０の抽出を代表して説明するが、第２特徴点群２５０の抽出も同様である。

取得した３次元血管画像２４１に対して、まず、各血管画像の中心線（芯線）２４２を抽出する。次に、複数の芯線２４２の分岐点や変曲点などの特徴点２４３を抽出して、分割処理２６０に使用する。

（システム構成）
図２Ｃは、本実施形態に係る医療支援システム２００の構成を示すブロック図である。

医療支援システム２００は、ＣＴ装置２１１と、３次元モデル生成装置２１２と、画像処理装置２８０と、診察室や手術室２３０に配置された診察／手術器具群と、を備える。

ＣＴ装置２１１は、患者２０１のコンピュータ断層撮影画像をあらかじめ取得する。なお、取得された目的の臓器に対して生成した３次元ＣＴ画像は、ＳＴＬ形式などの３次元データに変換するのが望ましい。３次元データの範囲に限定はないが、患者２０１の注目器官単位であることが望ましい。３次元モデル生成装置２１２は、ＣＴ装置２１１からのコンピュータ断層撮影画像群から、例えば３次元血管モデルを含む３次元部位モデルを生成して、画像処理装置２８０に渡す。なお、図２Ｃの画像処理装置２８０では、ＣＴ装置２１１によるコンピュータ断層撮影画像群に基づく３次元部位モデルの取得としたが、ＭＲＩ装置であっても他のコンピュータ断層撮影装置に基づく３次元部位モデルであってもよい。また、３次元部位モデルのデータは、患者２０１の生体内部の生体組織の構成あるいは器官や患部の構成を表わすものであれば、ＳＴＬ形式に限定されない。なお、本実施形態においては、画像処理装置２８０が、外部の３次元モデル生成装置２１２で生成された３次元部位モデルのデータを取得する場合を示すが、画像処理装置２８０が３次元モデル生成装置２１２の機能を含む構成であってもよい。

一方、診察室や手術室２３０の診察／手術器具群としては、超音波プローブ２０３と、磁気センサ２３１と、光学マーカ付き磁気センサ２９３と、Ｗｅｂカメラ２９４と、ＨＭＤ２９５と、を有する。なお、Ｗｅｂカメラ２９４とＨＭＤ２９５とは、オプティカルシースルー型ＨＭＤとして一体化されている。超音波プローブ２０３は、実時間の診察中あるいは手術中に、患者２０１から超音波画像を取得する。磁気センサ２３１は、超音波プローブ２０３上に配置されて、超音波プローブ２０３の位置を検出する。光学マーカ付き磁気センサ２９３は、患者２０１に配置されて、磁気センサにより光学マーカの位置を検出し、光学マーカは患者２０１の生体とＷｅｂカメラ２９４との位置関係を判定するために使用される。Ｗｅｂカメラ２９４は、光学マーカ付き磁気センサ２９３の光学マーカを撮像して、患者２０１の生体とＷｅｂカメラ２９４との位置関係を判定する。なお、患者２０１の生体とＷｅｂカメラ２９４との位置関係を測定するためにＨＭＤに磁気センサを取り付けてもよい。ＨＭＤ２９５は、超音波画像に合致するように変形された３次元データで表わされる３次元モデルを、医師２０２が目視する患者２０１の位置に表示する。

画像処理装置２８０は、３次元データで表わされる３次元部位モデルを、磁気センサ２３１の検出信号によって位置および向きを判定した超音波プローブ２０３が取得した超音波画像に合致するように変形する。かかる変形には、３次元部位モデルを血管の分岐点などの特徴点に基づき領域に分割する分割処理と、超音波画像の特徴点に合致するように分割領域を連結する連結処理とが含まれる。次に、画像処理装置２８０は、光学マーカ付き磁気センサ２９３の磁気センサの検出信号と光学マーカを撮像したＷｅｂカメラ２９４の画像データによって、患者２０１の位置および向きと、患者２０１とＨＭＤ２９５との位置関係とを算出する。なお、Ｗｅｂカメラ２９４とＨＭＤ２９５との位置関係は一体のＨＭＤとして固定されている。そして、画像処理装置２８０は、変形した３次元部位モデルが患者２０１の生体内部の正確な位置にあるように３次元表示データを生成して、ＨＭＤ２９５に３次元表示させる。このように生体にセンサを固定するメリットは、生体が動いた時でも正確に３次元位置を推定することができることである。

（動作手順）
図３は、本実施形態に係る医療支援システム２００の動作手順を示すシーケンス図である。

ＣＴ装置２１１は、ステップＳ３０１において、患者２０１のコンピュータ断層撮影画像群を取得する。３次元モデル生成装置２１２は、ステップＳ３０２において、コンピュータ断層撮影画像群から肝臓などの部位あるいはその血管を抜き出して３次元表示する、３次元部位モデルデータを生成して、画像処理装置２８０に送信する。画像処理装置２８０は、ステップＳ３０３において、３次元モデル生成装置２１２から３次元部位モデルデータを受信する。画像処理装置２８０は、ステップＳ３０５において、３次元血管モデルのような３次元部位モデルに基づいて第１特徴点群を抽出する。そして、画像処理装置２８０は、ステップＳ３０７において、３次元部位モデルを、少なくとも１つの第１特徴点を含む３次元領域に分割して保持する。

ステップＳ３０９において、磁気センサ２３１は超音波プローブ２０３の位置および向きを取得して画像処理装置２８０に送信し、超音波プローブ２０３はその時の超音波信号を取得して画像処理装置２８０に送信する。画像処理装置２８０は、ステップＳ３１１において、複数の継時的な位置情報と超音波信号とに基づいて超音波の２次元データを蓄積した後に、例えば血管モデルを示す３次元超音波モデルデータを生成する。次に、画像処理装置２８０は、ステップＳ３１３において、血管モデルを示す３次元超音波モデルデータに基づいて第２特徴点群を抽出する。

さらに、画像処理装置２８０は、ステップＳ３１５において、第１特徴点群が第２特徴点群に合致するように、３次元部位モデルから生成した分割領域を位置変換する。そして、画像処理装置２８０は、位置変換した分割領域を連結する。なお、分割領域の連結を正確にするためには、第１特徴点を分割領域の面や稜線あるいは頂点などに含むのが望ましい。

光学マーカ付きの磁気センサ２９３の磁気センサは、ステップＳ３１７において、配置した患者２０１の生体の位置および向きを取得して、画像処理装置２８０に送信する。また、Ｗｅｂカメラ２９４は、ステップＳ３１９において、光学マーカ付きの磁気センサ２９３の光学マーカを撮像して、光学マーカの撮像データを画像処理装置２８０に送信する。画像処理装置２８０は、ステップＳ３２１において、光学マーカの撮像データから生体と表示部であるＨＭＤ２９５との位置関係（距離と向き）を算出する。

なお、光学マーカ付きの磁気センサ２９３と超音波プローブ２０３の磁気センサ２３１とにより、超音波プローブ２０３の位置をより正確に検出することができる。すなわち、超音波プローブ２０３に光学マーカを配置することにより正確な位置を検出できるが、光学マーカがカメラの視界から隠れないことが条件となる。本実施形態においては、超音波プローブ２０３に磁気センサ２３１を配置して、超音波プローブ２０３を自由に移動することを可能にした。しかしながら、光学マーカに比較して正確性が低下するので、光学マーカ付きの磁気センサ２９３を生体２０１に配置することで、正確さを確保する。したがって、ＨＭＤ２９５に磁気センサを取り付けた場合はＨＭＤ２９５と超音波プローブ２０３との位置関係が検出できるので、カメラによる撮像の必要はない。

そして、画像処理装置２８０は、ステップＳ３２３において、分割領域の連結により変形した３次元部位モデルを、患者２０１の生体内部にあるかのように表示する表示データを生成して、ＨＭＤ２９５に送信する。ＨＭＤ２９５は、ステップＳ３２５において、受信した表示データにより３次元部位モデルを患者２０１の生体内部にあるかのように表示する。

《画像処理装置の機能構成》
図４は、本実施形態に係る画像処理装置２８０の機能構成を示すブロック図である。

画像処理装置２８０は、３次元部位モデル受信部４１１と、第１特徴点抽出部４１２と、分割領域生成部４２４と、を備える。また、画像処理装置２８０は、通信制御部４１３と、磁気信号受信部４１４と、超音波プローブ位置検出部４１５と、超音波信号受信部４１６と、超音波モデルデータ生成部４１７と、第２特徴点抽出部４１８と、を備える。さらに、画像処理装置２８０は、磁気信号受信部４１９と、患者位置検出部４２０と、光学マーカ画像受信部４２１と、ＨＭＤ位置算出部４２２と、表示画像生成部４２３と、表示画像送信部４２５と、を備える。表示画像生成部４２３は、分割領域マッチング部４３１と、分割領域連結部４３２と、ＨＭＤ画像生成部４３３と、を含む。

３次元部位モデル受信部４１１は、外部の３次元モデル生成装置２１２においてコンピュータ断層撮影画像群から生成した血管モデルなどの３次元部位モデルを受信する。３次元部位モデルの受信は、記憶媒体を介してもよいし、通信制御部４１３を介してもよい。なお、断層画像からのＳＴＬデータなどの３次元データの生成を画像処理装置２８０で実行する場合は、画像処理装置２８０はＳＴＬデータ生成部を有する。第１特徴点抽出部４１２は、血管モデルなどの３次元部位モデルから第１特徴点を抽出する。分割領域生成部４２４は、ＳＴＬデータなどで表わされた３次元部位モデルを、近接する第１特徴点を含む３次元の小領域に分割する。なお、各分割領域には少なくとも１つの第１特徴点が含まれる。分割領域の超音波画像の第２特徴点とのマッチングによる位置変換のためには、各分割領域には少なくとも３つの第１特徴点が含まれるのが望ましい。さらに、分割領域の連結を容易にするために、第１特徴点が各分割領域の面、稜線、頂点にあるよう分割するのが望ましい。

通信制御部４１３は、診察／手術器具群２９０に含まれる各器具との情報交換を行なう。なお、診察室や手術室２３０の診察／手術器具群との通信は有線であっても無線であってもよいが、無線通信であるのが望ましい。磁気信号受信部４１４は、通信制御部４１３を介して、超音波プローブ２０３に配置した磁気センサ２３１からの磁気検出信号を受信する。超音波プローブ位置検出部４１５は、磁気センサ２３１からの磁気検出信号に基づいて、超音波プローブ２０３の位置および向きを検出する。詳細には、磁気検出信号に基づく磁気センサ２３１による位置および向きの検出は、磁場発生装置（不図示）と、コントローラ部（不図示）と、磁気センサ２３１と、を含む位置検出システムにおいて、コントローラ部で向きと座標を算出して送信する構成となっている。なお、磁気センサ２３１が磁気検出信号から位置および向きを検出するための記憶部を有する場合は、磁気センサ２３１から位置および向きを示すデータ（例えば、座標とベクトル）を受信してもよい。超音波信号受信部４１６は、通信制御部４１３を介して、超音波プローブ２０３から超音波信号を受信する。なお、超音波信号受信部４１６は、超音波プローブ２０３が超音波信号から超音波画像データを生成する機能を有する場合には、超音波画像データを受信してもよい。

超音波モデルデータ生成部４１７は、超音波信号受信部４１６が受信した超音波信号を、超音波プローブ位置検出部４１５が検出した超音波プローブ２０３の位置および向きに対応して、３次元座標の超音波モデルデータを生成する。なお、超音波モデルデータ生成部４１７は、超音波プローブ２０３が取得した各断面画像を３次元に接続して３次元超音波モデルデータを生成する。本実施形態では、超音波プローブ２０３が取得した各断面画像から血管などの構造物を抽出して、それらを３次元に接続して３次元超音波モデルデータを生成する。第２特徴点抽出部４１８は、超音波モデルデータ生成部４１７が生成した血管モデルなどの３次元超音波モデルデータから、例えば血管の枝分かれなどの第２特徴点を抽出する。

磁気信号受信部４１９は、通信制御部４１３を介して、光学マーカ付き磁気センサ２９３から磁気検出信号を受信する。なお、光学マーカ付き磁気センサ２９３が磁気検出信号から位置および向きを検出するための記憶部を有する場合は、位置および向きを示すデータ（例えば、座標とベクトル）を受信してもよい。患者位置検出部４２０は、光学マーカ付き磁気センサ２９３からの磁気検出信号に基づいて、患者２０１の位置および向きを検出する。詳細には、磁気検出信号に基づく光学マーカ付き磁気センサ２９３による位置および向きの検出は、磁場発生装置（不図示）と、コントローラ部（不図示）と、磁気センサ２９３と、を含む位置検出システムにおいて、コントローラ部で向きと座標を算出して送信する構成となっている。

光学マーカ画像受信部４２１は、通信制御部４１３を介して、ＨＭＤ２９５に設置されたＷｅｂカメラ２９４が撮像した光学マーカ付き磁気センサ２９３の光学マーカの撮影画像を受信する。ＨＭＤ位置算出部４２２は、光学マーカ画像受信部４２１が受信した光学マーカの撮影画像に基づいて、ＨＭＤ２９５と患者２０１との位置関係を算出する。なお、前述のように、ＨＭＤ２９５に位置判定用の磁気センサを配置すれば、光学マーカの撮影画像に基づくＨＭＤ２９５と患者２０１との位置関係の算出はなくてもよい。

表示画像生成部４２３の分割領域マッチング部４３１は、分割領域生成部４２４が生成した各分割領域に含まれる第１特徴点と第２特徴点抽出部４１８が抽出した第２特徴点とをマッチングして、互いの特徴点が合致するように各分割領域を移動および回転する。そして、分割領域連結部４３２は、各分割領域を第１特徴点により連結して、３次元超音波画像に合致するように変形された、ＳＴＬデータなどで表わされた３次元部位モデルを生成する。次に、ＨＤＭ画像生成部４３３は、患者位置検出部４２０が検出した患者２０１の位置に変形した３次元部位モデルが重なるように、ＨＭＤ位置算出部４２２で算出したＨＭＤ位置に３次元表示するための画像データを生成する。すなわち、計測されたＨＭＤ２９５の位置から観察した時に、患者２０１の生体に重なる３次元部位モデルがどのように見えるかを計算した３次元画像を生成する。表示画像送信部４２５は、ＨＭＤ画像生成部４３３が生成した患者２０１の位置に重なる画像データを、通信制御部４１３を介して、ＨＭＤ２９５に表示すべく送信する。

（分割領域テーブル）
図５は、本実施形態に係る分割領域テーブル５００の構成を示す図である。分割領域テーブル５００は、コンピュータ断層撮影画像の１つであるＣＴ画像から３次元形式の血管モデルなどの部位モデルデータから抽出した第１特徴点と、第１特徴点を含む分割領域とを保持するテーブルである。なお、分割領域テーブル５００の構成は、図５に限定されない。また、図５においては、血管の枝分かれ場所を第１特徴点とする例を示すが、これに限定されず固有の特徴を表わす場所であればよい。

分割領域テーブル５００は、複数断層のＣＴデータから生成され、受信したＳＴＬ形式などの３次元部位モデルデータ５０１と、３次元部位モデルデータ５０１に含まれる３次元血管モデルデータ５０２と、血管の芯線を抽出した血管芯線５０３と、を記憶する。なお、本例では、抽象化して普遍的な特徴を考慮するため、血管芯線５０３に基づき特徴点を抽出するが、特徴点が有する特徴がマッチング可能な程度に不変であれば、血管の太さの比率などを考慮してもよい。なお、受信した３次元部位モデルデータ５０１が、血管のみを抜き出したＳＴＬファイルであってもよい。

分割領域テーブル５００は、本例の第１特徴点データ５０４として、血管芯線５０３のパターンから、枝分かれ点を特徴点として、枝分かれＩＤと、枝分かれ特徴データと、特徴点の３次元位置データと、を記憶する。枝分かれ特徴データとしては、枝分かれ数５１１、各枝分かれの始点と方向を示す枝分かれベクトル５１２、全体の枝分かれをパターン化した枝分かれパターン５１３、その他の例えば血流方向など５１４、の少なくともいずれかを記憶する。枝分かれ特徴データは、特徴ＩＤ５１５としてあらかじめ類別されていてもよい。第１特徴点データ５０４は、図５に限定されない。マッチングにおける信頼性を高めるデータを加え、信頼性を低めるデータを除くことができる。

分割領域テーブル５００は、第１特徴点を含む分割領域を識別する分割領域ＩＤ５０５と、分割領域データ５０６と、を記憶する。ここで、分割領域データ５０６としては、第１特徴点以外の血管データや、分割領域の形状データ、重心データなどが含まれる。なお、図５においては、分割領域が、３つの第１特徴点、あるいは、４つの第１特徴点、を含む場合を例に図示しているが、分割領域が含む第１特徴点の数には限定はない。また、隣接する分割領域は、面や稜線、頂点に共通の第１特徴点を有するように生成することで、連結処理が容易となる。

（超音波画像テーブル）
図６Ａは、本実施形態に係る超音波画像テーブル６１０の構成を示す図である。超音波画像テーブル６１０は、超音波プローブ２９１から受信した超音波信号から超音波プローブ２９１の位置および向きを考慮した３次元の超音波モデルデータを生成するために使用される。

超音波画像テーブル６１０は、超音波画像データＩＤ６１１、患者ＩＤと患部とを含む患者情報６１２、取得日時（タイムスタンプ）６１３、に対応つけて、超音波プローブ２０３の形式に対応した取得パラメータ６１４と、取得パラメータ６１４により処理された受信した超音波画像データ６１５と、を記憶する。

また、超音波画像テーブル６１０は、磁気センサ２３１および磁気センサ２９３からの磁気センサ相対信号６１６と、磁気センサ相対信号６１６から検出した超音波プローブ２０３の位置および向きを示す超音波プローブの３次元位置データ６１７と、を記憶する。ここで、磁気センサ２３１および磁気センサ２９３からの磁気センサ相対信号６１６により超音波プローブ２０３の位置および向きを検出するのは、磁気センサ２３１による超音波プローブ２０３の位置情報だけでは、生体が動いた時に３次元位置がずれるためである。そのため、超音波プローブ２０３の位置および向きは、生体につけた磁気センサ２９３からの相対的な位置と方向として記録する。

そして、超音波画像テーブル６１０は、超音波プローブ２０３の位置および向きに対応して受信した超音波画像データ６１５を３次元座標変換した、３次元の超音波画像データ６１８を記憶する。さらに、各スキャンに対応する３次元の超音波画像データ６１８を接続した患者の器官単位あるいは患部単位の３次元超音波モデルデータ６１９を生成して記憶する。

（第２特徴点テーブル）
図６Ｂは、本実施形態に係る第２特徴点テーブル６２０の構成を示す図である。第２特徴点テーブル６２０は、超音波画像データ６１８から抽出した特徴点を保持するテーブルである。なお、第２特徴点テーブル６２０の構成は、図６Ｂに限定されない。また、図６Ｂにおいては、血管の枝分かれ場所を特徴点とする例を示すが、これに限定されず固有の特徴を表わす場所であればよいが、第１特徴点と共通の特徴であるのが望ましい。

第２特徴点テーブル６２０は、超音波画像テーブル６１０の超音波画像データＩＤ６１１および超音波画像データ６１８に対応付けて、血管部位抽出画像データ６２１を記憶する。なお、血管部位抽出は、超音波画像データ６１８の２値化および輪郭抽出、そして環状輪郭の選別などにより行なわれる。

また、第２特徴点テーブル６２０は、血管部位抽出画像データ６２１を接続することで抽出される血管モデルデータ６２２と、血管の芯線を抽出した血管芯線６２３と、を記憶する。なお、本例では、抽象化して普遍的な特徴を考慮するため、血管芯線６２３により特徴点を抽出するが、特徴点が有する特徴がマッチング可能な程度に不変であれば、血管の太さの比率などを考慮してもよい。

そして、第２特徴点テーブル６２０は、本例の第２特徴点データ６２４として、血管芯線６２３のパターンから、枝分かれ点を特徴点として、枝分かれＩＤと、枝分かれ特徴データと、特徴点の３次元位置データと、を記憶する。枝分かれ特徴データについては、図５と同様であるので、詳細な説明を省略する。

《表示画像生成部》
図７Ａは、本実施形態に係る表示画像生成部４２３の機能構成を示すブロック図である。

表示画像生成部４２３は、３次元部位モデル取得部７０１と、分割領域取得部７０２と、３次元部位モデル配置部７０３と、分割領域配置部７０４と、第２特徴点データ取得部７０５と、分割領域マッチング部４３１と、を備える。ここで、３次元部位モデル配置部７０３と、分割領域配置部７０４とが、分割領域連結部４３２に相当する。また、表示画像生成部４２３は、患者位置データ取得部７０７と、患者位置のモデル生成部７０８と、ＨＭＤ位置データ取得部７０９と、ＨＭＤ画像生成部４３３と、を備える。

３次元部位モデル取得部７０１は、３次元部位モデル受信部４１１で受信された３次元血管モデルを含む３次元部位モデルを取得する。分割領域取得部７０２は、分割領域生成部４２４で生成された分割領域を取得する。３次元部位モデル配置部７０３は、分割領域の配置に対応付けて３次元部位モデル取得部７０１が取得した３次元部位モデルデータを位置調整して配置する。分割領域配置部７０４は、分割領域に含まれる第１特徴点と第２特徴点とのマッチングにより分割領域が３次元超音波画像に合致するように、分割領域を位置調整して配置する。第２特徴点データ取得部７０５は、第２特徴点抽出部４１８から抽出された第２特徴点データを取得する。分割領域マッチング部４３１は、分割領域に含まれる第１特徴点と第２特徴点とをマッチングし、位置調整された分割領域の第１特徴点データが第２特徴点データに合致するように、３次元部位モデル配置部７０３および分割領域配置部７０４に対して位置調整による変形をさせる。なお、位置調整による変形としては、分割領域の形状を維持した並行移動や回転移動、あるいは、サイズ変更が含まれる。さらに、分割領域の配置後の特徴点を合致させる形状変化を含んでもよい。

患者位置データ取得部７０７は、患者位置検出部４２０から検出された患者位置データを取得する。患者位置のモデル生成部７０８は、分割領域連結部４３２において超音波画像に合致されるように位置調整された３次元部位モデルから、患者位置に重なる３次元モデルを生成する。ＨＭＤ位置データ取得部７０９は、ＨＭＤ位置算出部４２２から算出されたＨＭＤ位置データを取得する。ＨＭＤ画像生成部７１０は、ＨＭＤ位置データに対応して、患者位置のモデル生成部７０８が生成したモデルから、患者の生体に重なって見えるようＨＭＤ２９５に３次元表示するＨＭＤ画像を生成して、表示画像送信部４２５に出力する。

（表示画像生成部の処理）
図７Ｂは、本実施形態に係る分割領域連結部４３２の処理７２０を説明する図である。なお、分割領域連結部４３２の処理７２０は、図７Ｂに限定されない。分割領域に含まれる第１特徴点が第２特徴点に合致するように、分割領域を位置調整することによって３次元部位モデルを変形する方式であればいずれの処理も適用可能である。

分割領域連結部４３２の処理７２０は、初期の３次元部位モデルから分割された分割領域データと分割領域に含まれる第１特徴点データとの組７２１から、分割領域の第１特徴点組と第２特徴点とのマッチングにより、サイズ変更や３次元の位置変換や方向変換をして分割領域を結合した３次元部位モデルデータ７２２への変換を含む。また、分割領域連結部４３２の処理７２０は、分割領域を結合した３次元部位モデルデータ７２２から生体の位置に合わせたサイズ調整データ７２３への変換を含む。

分割領域データと分割領域に含まれる第１特徴点データとの組７２１から、分割領域を結合した３次元部位モデルデータ７２２への変換は、第２特徴点データ７２６との分割領域マッチング７２４による分割領域の位置調整と連結を繰り返すことによって実現する。例えば、同一の特徴を有する第１特徴点と第２特徴点との最小２乗距離により、３次元超音波モデルに最も近いサイズや向きの分割領域に位置調整するが、他の方式も採用可能である。

次に、分割領域を結合した３次元部位モデルデータ７２２から生体の位置に合わせたサイズ調整データ７２３への変換は、患者位置データ取得部７０７により取得した生体位置７２７に重畳させるように、分割領域を結合した３次元部位モデルデータ７２２のサイズを変更する（７２５）。

図７Ｃは、本実施形態に係る分割領域連結テーブル７３０の構成および位置合わせ用情報の例７４０を示す図である。

分割領域連結テーブル７３０は、分割領域連結部４３２において、分割領域を連結して３次元超音波画像に合致した３次元部位モデルを生成するために使用される。

分割領域連結テーブル７３０は、図５の分割領域テーブル５００の分割領域ＩＤ５０５と、分割領域データ５０６と、第１特徴点データ５０４と、を記憶する。分割領域連結テーブル７３０は、変更された分割領域のサイズ、方向および位置の現在値７３１と、現在値７３１に基づいて変更された第１特徴点データの変更位置７３２と、を記憶する。そして、分割領域連結テーブル７３０は、第１特徴点データの変更位置７３２と一致した第２特徴点データ７３３と、一致した第２特徴点データ７３３に基づいて、分割領域の連結位置７３４を記憶する。

また、位置合わせ用情報の例７４０は、位置合わせの対象部位（臓器）において、特に、位置合わせの目標とすべき位置であり、マーカやセンサの配置位置、超音波プローブによる走査位置、を定めるために使用される。

位置合わせ用情報の例７４０は、位置合わせ対象部位７４１に対応付けて、位置合わせ用目標位置７４２と、その目標位置が有する条件７４３と、を記憶する。

なお、分割領域の位置調整と連結処理中、あるいは、連結処理後に合致を補う非剛性変形を組み合わせてもよい。その場合、材質パラメータに基づく変換行列により非剛性変形をして最適解を求める方式であっても、単純に同一の特徴を有する第１特徴点と第２特徴点との距離のズレを変形補正する方式であってもよい。なお、材質パラメータとしては、一般的な内臓の非剛性パラメータを用いてもよいが、各患者について、あるいは、患部について、非剛性パラメータを測定して用いるのが望ましい。

さらに、非剛性材質が含む特徴点を合致させる他の方式が採用されてもよい。例えば、非剛性材質についての変形を学習情報として蓄積しておき、それを利用する方式であってもよい。３次元モデルが肝臓、胃、膵臓など器官単位である場合は、それら器官の多数の変形例を学習しておき、患者特有の変形を少ないパラメータで表現することも可能である。

また、３次元部位を細かい格子状に特徴点を含む制御点を配置して、その制御点間を非剛体変形する方式でもよい。あるいは、B-Spline関数を利用した非剛体変形（ＦＦＤ：Free-form deformation）を用いて、空間的に滑らかで不規則な変形（揺らぎ）を高精度に推定して、領域ベースの位置合わせを用いた超解像を行う方式であってもよい。

また、非剛体変形としては、アフィン変換や高次多項式を用いた変換も適用可能である。３次元モデルの合致評価としては、残差２乗和（ＳＳＤ：Sum of squared difference）のよるものや、正規化相互相関（ＮＣＣ：Normalized cross correlation）によるもの、相互情報量または正規化相互情報量（ＭI:Mutual information）によるもの、などが考えられる。

また、ＭＲＩやＸ線ＣＴで得られた解剖学的情報を持つ画像と、ＰＥＴやＳＰＥＣＴなどの機能的情報を持つ画像とを重ねることも行なわれており、その重ね合わせ技術も非剛体変形に適用可能である。

（表示データ生成テーブル）
図８は、本実施形態に係る表示データ生成テーブル８００の構成を示す図である。表示データ生成テーブル８００は、患者２０１から実時間で取得した超音波画像データに合致する３次元部位モデルを患者２０１に重なるようにＨＭＤ２９５に表示するために使用するテーブルである。

表示データ生成テーブル８００は、実時間を示すタイムスタンプ８０１に対応付けて、超音波プローブ位置情報８０２と、患者位置情報８０３と、ＨＭＤ位置情報８０４と、を記憶する。超音波プローブ位置情報８０２は、磁気センサ２９２の検出データと超音波プローブ２９１の位置データとを有する。患者位置情報８０３は、光学マーカ付き磁気センサ２９３の検出データと患者２０１の位置データとを有する。ＨＭＤ位置情報８０４は、光学マーカ付き磁気センサ２９３の光学マーカの画像データとＨＭＤ位置データとを有する。

そして、表示データ生成テーブル８００は、上記位置情報を参照して生成されたＨＭＤ表示情報８０５を記憶する。ＨＭＤ表示情報８０５は、上記位置情報を参照して生成された３次元部位モデルデータと、右目用ＨＭＤ画像データと、左目用ＨＭＤ画像データと、を含む。

《画像処理装置のハードウェア構成》
図９は、本実施形態に係る画像処理装置２８０のハードウェア構成を示すブロック図である。

図９で、ＣＰＵ９１０は演算制御用のプロセッサであり、プログラムを実行することで図４の画像処理装置２８０の機能構成部を実現する。ＲＯＭ９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部４１３は、ネットワークを介して診察室や手術室２３０の診察／手術器具群や他の装置と通信する。なお、ＣＰＵ９１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。また、通信制御部４１３は、ＣＰＵ９１０とは独立したＣＰＵを有して、ＲＡＭ９４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ９４０とストレージ９５０との間でデータを転送するＤＭＡＣを設けるのが望ましい（図示なし）。さらに、入出力インタフェース９６０は、ＣＰＵ９１０とは独立したＣＰＵを有して、ＲＡＭ９４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ９１０は、ＲＡＭ９４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ９１０は、処理結果をＲＡＭ９４０に準備し、後の送信あるいは転送は通信制御部４１３やＤＭＡＣ、あるいは入出力インタフェース９６０に任せる。

ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。３次元部位モデルデータ５０１は、ＣＴデータから生成されて受信された３次元ＳＴＬ形式の３次元血管モデルを含む３次元部位モデルデータである。第１特徴点データ５０４は、３次元部位モデルデータ５０１から抽出された第１特徴点のデータである。分割領域データ５０６は、第１特徴点データ５０４を含み、３次元部位モデルデータ５０１から分割された分割領域のデータである。超音波モデルデータ６１９は、超音波プローブ２０３で実時間に検出した超音波信号から生成された３次元血管画像を含む３次元画像データである。第２特徴点データ６２４は、超音波モデルデータ６１９から抽出された第２特徴点のデータである。分割領域マッチングテーブル７３０は、図７Ｃに示した、分割領域マッチング部４３１が、分割領域が含む第１特徴点と第２特徴点とのマッチングをして分割領域を連結するためのテーブルである。ＨＭＤ位置データ８０４は、Ｗｅｂカメラ２９４が撮像した光学マーカの画像に基づいて算出されたＨＭＤ２９５の位置データである。表示画像データ８０５は、位置調整して連結した分割領域に基づく３次元部位モデルを患者２０１に重ねて、ＨＭＤ２９５に３次元表示するために生成されたデータである。なお、ＲＡＭ９４０の各データは、前出の図５、図６Ａ、図６Ｂ、図７Ｃ、図８のようにテーブルとして記憶されてもよい。

ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。特徴点抽出アルゴリズム９５１は、第１特徴点あるいは第２特徴点を抽出するためのアルゴリズムである。領域分割アルゴリズム９５２は、第１特徴点を含む小領域に３次元部位モデルを分割するためのアルゴリズムである。分割領域マッチングアルゴリズム９５３は、第１特徴点を含む分割領域を第２特徴点に合致させるためのアルゴリズムである。

ストレージ９５０には、以下のプログラムが格納される。画像処理プログラム９５５は、本画像処理装置２８０の全体を制御するプログラムである。特徴点抽出モジュール９５６は、特徴点抽出アルゴリズム９５１に従って第１特徴点あるいは第２特徴点を抽出するモジュールである。領域分割モジュール９５７は、領域分割アルゴリズム９５２に従って第１特徴点を含む分割領域を生成するモジュールである。分割領域マッチングモジュール９５８は、分割領域マッチングアルゴリズム９５３に従って分割領域が含む第１特徴点を第２特徴点に合致させるように分割領域を位置調整して連結するモジュールである。表示画像生成モジュール９５９は、変形された３次元部位モデルを表わすＳＴＬデータを患者２０１の生体内部にあるように、ＨＭＤ２９５に３次元表示する表示画像を生成するモジュールである。

入出力インタフェース９６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース９６０には、必要であれば、表示部９６１、操作部９６２、が接続される。なお、診察／手術器具群を有線接続する場合は、診察／手術器具群に含まれる磁気センサ２３１付きの超音波プローブ２０３や、光学マーカ付き磁気センサ２９３、Ｗｅｂカメラ２９４、ＨＭＤ２９５が入出力インタフェース９６０に接続される。また、入出力インタフェース９６０には、必要であれば、音声入出力部や、ＧＰＳ位置判定部が接続されてもよい。

なお、図９のＲＡＭ９４０やストレージ９５０には、画像処理装置２８０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

《画像処理装置の処理手順》
図１０は、本実施形態に係る画像処理装置２８０の処理手順を示すフローチャートである。このフローチャートは、図９のＣＰＵ９１０がＲＡＭ９４０を使用して実行し、図４および図７Ａの機能構成部を実現する。

画像処理装置２８０は、ステップＳ１００１において、外部の３次元モデル生成装置２１２から３次元血管モデルを含む３次元部位モデルデータを受信する。なお、画像処理装置２８０内部でＣＴデータからＳＴＬデータを生成する場合は、ＣＴデータを受信してＳＴＬデータを生成した後、３次元部位モデルデータを生成する。画像処理装置２８０は、ステップＳ１００３において、３次元部位モデルデータに基づいて第１特徴点抽出処理を実行する。画像処理装置２８０は、ステップＳ１００５において、例えばＳＴＬ形式で表わされる３次元部位モデルを、第１特徴点を含む小領域への領域分割処理を実行する。

画像処理装置２８０は、ステップＳ１００７において、超音波プローブ２０３からの超音波画像データおよび磁気センサ２３１および磁気センサ２９３からの磁気センサ位置（超音波プローブ位置）を取得する。そして、画像処理装置２８０は、ステップＳ１００９において、各超音波プローブ２０３の位置と超音波画像データとを蓄積して、３次元超音波モデルデータを生成する。画像処理装置２８０は、ステップ１０１１において、３次元超音波モデルデータに基づいて第２特徴点抽出処理を実行する。

画像処理装置２８０は、ステップＳ１０１３において、分割領域に含まれる第１特徴点と第２特徴点とのマッチングを行ない、分割領域の第１特徴点が第２特徴点に合致するか否かを判定する。分割領域の第１特徴点が第２特徴点に合致しない場合、画像処理装置２８０は、ステップＳ１０１５において、分割領域の位置調整を行ない、第１特徴点を調整する。ＳＴＬ形式の分割領域データの場合は、ＳＴＬデータの変換を行なう。このように、分割領域の第１特徴点と第２特徴点とのマッチングを繰り返す。

分割領域の第１特徴点が第２特徴点に合致する場合、画像処理装置２８０は、ステップＳ１０１７において、分割領域を他の分割領域と連結する。そして、画像処理装置２８０は、ステップＳ１０１９において、ステップＳ１００５で分割された小領域の連結が完了したか否かを判定する。分割領域の連結が完了していない場合、画像処理装置２８０は、ステップＳ１０１３に戻って、次の分割領域について分割領域の位置調整と連結処理を継続する。

分割領域の連結が完了すると、３次元超音波モデルに対応する３次元部位モデルが生成されているので、画像処理装置２８０は、ステップＳ１０２１において、患者２０１に配置した光学マーカ付き磁気センサ２９３から磁気センサ位置（患者位置）を取得して、患者２０１の生体内部に、分割処理と連結処理とにより変形した３次元部位モデルを表示するように調整する。次に、画像処理装置２８０は、ステップＳ１０２３において、Ｗｅｂカメラ２９４から光学マーカ付き磁気センサ２９３の光学マーカ画像を取得する。そして、画像処理装置２８０は、光学マーカ画像から患者２０１とＨＭＤ２９５との位置関係を算出して、分割処理と連結処理とにより変形した３次元部位モデルが患者目視と重なるように、ＨＭＤ２９５の表示データを生成して出力する。

画像処理装置２８０は、ステップＳ１０２５において、患者２０１の生体内部への３次元部位モデルの表示の終了か否かを判定する。３次元部位モデルの表示の終了でなければ、画像処理装置２８０は、ステップＳ１０２１に戻って、超音波画像に位置合わせした３次元部位モデルの患者２０１の生体内部への表示を実時間に繰り返す。そして、例えば、肝臓の形が変形した時には、もう一度、超音波を使ったスキャンをして、新たな位置合わせを行う。すなわち、肝臓の形が変わらなければ、超音波によるスキャンなしで肝臓の観察を続ける。

（特徴点抽出処理）
図１１は、本実施形態に係る特徴点抽出処理（Ｓ１００３／Ｓ１０１１）の手順を示すフローチャートである。

画像処理装置２８０は、ステップＳ１１１１において、対象とする３次元モデルデータを取得する。第１特徴点抽出処理（Ｓ１００３）の場合は、対象とする３次元モデルデータは３次元部位モデルデータであり、第２特徴点抽出処理（Ｓ１０１１）の場合は、対象とする３次元モデルデータは超音波モデルデータである。画像処理装置２８０は、ステップＳ１１１３において、取得した３次元モデルデータから血管モデルデータを抽出する。なお、第１特徴点抽出処理（Ｓ１００３）の場合、あらかじめ血管モデルデータが取得されていれば、ステップＳ１１１３は必要ない。

画像処理装置２８０は、ステップＳ１１１５において、血管モデルデータに基づいて血管芯線を抽出して、抽象化された血管パターンを生成する。次に、画像処理装置２８０は、ステップＳ１１１７において、血管芯線のパターンに基づき、血管の枝分かれ点を特徴点として抽出する。そして、画像処理装置２８０は、ステップＳ１１１９において、枝分かれ点の特徴データおよびその３次元位置との組を比較可能に格納する。

（領域分割処理）
図１２は、本実施形態に係る領域分割処理（Ｓ１００５）の手順を示すフローチャートである。

画像処理装置２８０は、ステップＳ１２０１において、本例では、血管芯線において少なくとも３つの枝分かれ点を第１特徴点として含む領域に、３次元部位モデルを分割する。次に、画像処理装置２８０は、ステップＳ１２０３において、各分割領域に識別子（ＩＤ）を付与する。そして、画像処理装置２８０は、ステップＳ１２０５において、分割領域ＩＤに対応付けて第１特徴点組を記憶する。

なお、本実施形態においては、オプティカルシースルー型ＨＭＤへの変形された３次元部位モデルの表示を示したが、Ｗｅｂカメラ２９４で撮像した患者の生体画像に、変形された３次元部位モデルを重畳して、ビデオスルー型ＨＭＤやモニタ、あるいは、携帯端末などに表示してもよい。

本実施形態によれば、３次元超音波モデルに対応して変形された３次元部位モデルを患者の生体に重ねて表示するので、患者の生体内部の実時間における部位の状態を、生体内部の正確な位置において認識することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る医療支援システムについて説明する。本実施形態に係る医療支援システムは、上記第２実施形態と比べると、ＣＴ画像などから得た３次元部位モデルを超音波画像に対応して変形して、腹腔鏡により観察する内部画像に重畳して表示する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《医療支援システムの構成》
図１３Ａおよび図１３Ｂを参照して、本実施形態の医療支援システムの構成および動作について説明する。

（システム概要）
図１３Ａは、本実施形態に係る医療支援システム１３００の処理概要を示すブロック図である。なお、図１３Ａにおいて、図２Ａと同様の構成要素には同じ参照番号を付して、説明を省略する。

医療支援システム１３００においては、棒状の超音波プローブ１３０３を体内に挿入し、腹腔鏡１３９１で観察している部位周囲の超音波画像を取得する。また、手術室１３３０において実時間に生体内部を観察する腹腔鏡１３９１に固定した位置検出用器具を用いて、腹腔鏡１３９１の観察画像と実時間の超音波画像に対応して変形された３次元部位モデルとの位置関係が計測される。そして、計測された位置関係に基づき、３次元部位モデルを調整して、腹腔鏡１３９１の観察画像に重畳して３次元表示１３７０をする。図１３Ａでは、３次元表示１３７０において、腹腔鏡１３９１の観察画像である点描の肝臓画像１３７２に重畳した部位モデルとして血管モデル１３７１を分かり易く示しているが、実際には腹腔鏡１３９１では観察できない組織内部の結果が重畳表示される。なお、腹腔鏡１３９１の観察画像に重畳して３次元部位モデルの３次元表示をする表示部は、携帯端末やモニタ、あるいは、ビデオシースルー型ＨＭＤが望ましい。ここで、位置検出用器具は、腹腔鏡１３９１の先端に固定した磁気センサが使用される。また、観察画像と３次元部位モデルの表示との位置関係を高い精度で得るためには、臓器に光学マーカを固定するのが望ましい。

（システム構成）
図１３Ｂは、本実施形態に係る医療支援システム１３００の構成を示すブロック図である。なお、図１３Ｂにおいて、図２Ｂと同様の構成要素には同じ参照番号を付して、説明を省略する。

医療支援システム１３００は、ＣＴ装置２１１と、３次元モデル生成装置２１２と、画像処理装置１３８０と、診察室や手術室１３３０の診察／手術器具群と、を備える。

診察室や手術室１３３０の診察／手術器具群は、棒状の超音波プローブ１３０３と、超音波プローブに固定された磁気センサ１３３１と、腹腔鏡１３９１と、腹腔鏡に固定された磁気センサ１３９２と、モニタ１３７０と、生体または対象臓器に固定された磁気センサ１３９３とを有する。磁気センサ１３３１および磁気センサ１３９３により、超音波プローブ１３０３の安定した位置検出ができる。腹腔鏡１３９１は、実時間の診察中あるいは手術中に、患者２０１から生体内の画像を取得する。磁気センサ１３９２は、腹腔鏡１３９１の先端位置に配置されて、腹腔鏡１３９１の観察位置を検出する。磁気センサ１３９２および磁気センサ１３９３により、腹腔鏡１３９１の安定した位置検出ができる。

画像処理装置１３８０は、３次元データで表わされる３次元部位モデルを領域分割し、磁気センサ１３３１の検出信号によって位置および向きを判定した超音波プローブ１３０３が取得した３次元超音波画像に合致するように連結することにより変形する。そして、画像処理装置１３８０は、変形した３次元部位モデルを、腹腔鏡１３９１が取得した観察画像に重畳させた３次元表示データを生成して、モニタ１３７０に表示させる。また、術者２０２が操作する腹腔鏡手術の処置具１３７３が、腹腔鏡１３９１により観察されて、モニタ１３７０に表示されている。

なお、図１３Ｂには、術者２０２しか図示されていないが、実際の腹腔鏡手術では、腹腔鏡を操作するスコピストと超音波プローブを操作する術者あるいは助手など複数の人間により操作されることになる。また、腹腔鏡１３９１が取得した観察画像に合致させた３次元部位モデルを重畳させてビデオシースルー型ＨＭＤに表示してもよい。

《画像処理装置の機能構成》
図１４は、本実施形態に係る画像処理装置１３８０の機能構成を示すブロック図である。なお、図１４において、図４と同様の機能構成部には同じ参照番号を付して、説明を省略する。

磁気信号受信部１４１９は、通信制御部４１３を介して、腹腔鏡１３９１に配置した磁気センサ１３９２からの磁気検出信号を受信する。腹腔鏡位置検出部１４２０は、磁気センサ１３９２からの磁気検出信号と磁気センサ１３９３からの磁気検出信号とに基づいて、腹腔鏡１３９１の位置および向きを検出する。なお、磁気センサ１３９２が磁気検出信号から位置および向きを検出するための記憶部を有する場合は、位置および向きを示すデータ（例えば、座標とベクトル）を受信してもよい。腹腔鏡画像受信部１４２１は、通信制御部４１３を介して、腹腔鏡１３９１から観察画像を受信する。なお、腹腔鏡画像受信部１４２１は、腹腔鏡１３９１が腹腔鏡画像データを生成する機能を有する場合には、腹腔鏡画像データを、直接、受信してもよい。磁気信号受信部１４２２は、通信制御部４１３を介して、生体２０１または生体内の対象臓器に配置した磁気センサ１３９３からの磁気検出信号を受信する。

表示画像生成部１４２３の生成モデル重畳部１４３３は、ＳＴＬ形式などで表わされる３次元部位モデルを領域分割して特徴点が対応するように連結することによって、実時間の３次元超音波モデルに合致するよう変形された３次元部位モデルを、腹腔鏡１３９１が取得した観察画像に重畳した画像を生成する。そして、生成モデル重畳部１４３３は、生成した重畳画像を、表示画像送信部４２５からモニタ１３７０や携帯端末、あるいは、ビデオシースルー型ＨＭＤに送信して表示させる。

本実施形態によれば、腹腔鏡により取得した生体内部画像に、３次元超音波画像に対応して変形された３次元部位モデルを重ねて表示するので、患者の生体内部の実時間における部位の状態を、生体内部の画像を伴い正確に認識することができる。

［第４実施形態］
次に、本発明の第４実施形態に係る医療支援システムについて説明する。本実施形態に係る医療支援システムは、上記第２実施形態と比べると、３次元超音波モデルに対応して変形した３次元部位モデルを患者の生体上のシートディスプレイに表示する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《医療支援システムの構成》
図１５は、本実施形態に係る医療支援システム１５００の構成を示すブロック図である。なお、図１５において、図２Ｂまたは図１３Ｂと同様の構成要素は同じ参照番号を付して、説明を省略する。

医療支援システム１５００は、ＣＴ装置２１１と、３次元モデル生成装置２１２と、画像処理装置１５８０と、診察室や手術室１５３０の診察／手術器具群と、を備える。

診察室や手術室１５３０の診察／手術器具群は、超音波プローブ２０３と、超音波プローブに固定された磁気センサ２３１と、光学マーカ付き磁気センサ２９３と、ビデオカメラ１５９４と、シートディスプレイ１５９５と、を有する。ビデオカメラ１５９４は、シートディスプレイ１５９５に配置された光学マーカ付き磁気センサ２９３の光学マーカを撮像する。患者２０１の表面に配置されたシートディスプレイ１５９５は、３次元超音波モデルに合致するように変形された３次元データで表わされる３次元モデルを、生体内部の正確な位置に表示する。

画像処理装置１５８０は、３次元データで表わされる３次元部位モデルを、超音波プローブ２０３からの超音波信号と超音波プローブ２０３の位置情報とを蓄積して得た３次元超音波モデルに合致するように変形する。そして、画像処理装置１５８０は、変形した３次元部位モデルが患者２０１の生体内部の正確な位置にあるように３次元表示データを生成して、シートディスプレイ１５９５に３次元表示させる。

なお、本実施形態において、シートディスプレイ１５９５は患者２０１の生体表面と同じなので、画像処理装置１５８０は、患者２０１およびシートディスプレイ１５９５の位置および向きを光学マーカの撮像画像から検出すればよく、患者２０１とシートディスプレイ１５９５との位置関係を算出する必要はない。

《画像処理装置の機能構成》
図１６は、本実施形態に係る画像処理装置１５８０の機能構成を示すブロック図である。なお、図１６において、図４または図１４と同様の機能構成部には同じ参照番号を付して、説明を省略する。

シート位置算出部１６２２は、光学マーカ画像受信部４２１が受信した光学マーカの撮影画像に基づいて、シートディスプレイ１５９５の正確な位置を算出する。

表示画像生成部１６２３のシート画像生成部１６３３は、患者位置検出部４２０が検出した患者２０１の位置に調整したＳＬＴデータによる３次元部位モデルが重なるように、シート位置算出部１６２２で算出したシートディスプレイ位置に３次元表示する表示画像を生成する。表示画像送信部１６２５は、シート画像生成部１６３３が生成した患者２０１の位置に重なる画像データを、通信制御部４１３を介して、シートディスプレイ１５９５に表示すべく送信する。

なお、シート画像生成部１６３３の構成および動作は、３次元部位モデルの表示先がＨＭＤ２９５からシートディスプレイ１５９５に変わるのみで第２実施形態と同様なので、ここでは詳説を省略する。しかし、本例では、シートディスプレイ１５９５が非剛体変形するので、シート状非剛体の変形操作が必要であり、既存の技術が利用できる。

本実施形態によれば、変形された３次元部位モデルを患者の生体上のシートディスプレイに表示するので、視線などを考慮することなく普通に患者の生体内部の実時間における部位の状態を正確な位置において認識することができる。

［第５実施形態］
次に、本発明の第５実施形態に係る医療支援システムについて説明する。本実施形態に係る医療支援システムは、上記第３実施形態と比べると、腹腔鏡１３９１の観察画像に変形した３次元部位モデルを重畳した画像を、ネットワークを介して通信端末に表示させる点で異なる。その他の構成および動作は、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《医療支援システムの構成》
図１７は、本実施形態に係る医療支援システム１７００の構成を示すブロック図である。なお、図１７において、図２Ｂ、図１３Ｂ、図１５と同様の構成要素には同じ参照番号を付して、説明を省略する。

図１７において、画像処理装置１７８０は、図１３Ｂの画像処理装置と同様に腹腔鏡１３９１の観察画像に重畳して３次元部位モデルを表示する。同時に、画像処理装置１７８０は、腹腔鏡１３９１で撮像した観察画像に３次元部位モデルを重畳した画像を生成し、ネットワーク１７９０を介して、外部の他の医師やユーザに配信する。配信先には、ノートＰＣ１７９１や、スマートフォンやタブレットなどの携帯端末１７９２、モニタ１７９i、サーバ１７９ｎなどが接続されてよい。

本実施形態によれば、診察室や手術室の外部において他の医師や第三者も患者の生体内部の腹腔鏡の観察画像を監視でき、より正確な医療を支援することができる。

［他の実施形態］
上記実施形態においては、本発明の医療支援システムの限られた構成例しか示されていない。図１８は、本発明の医療支援システムの種々の構成例１８００を示す図である。本発明は図１８の例に限定されないが、図１８から本発明の適用範囲が明らかである。

図１８の構成例１８００には、変形して表示する３次元部位モデル１８０１と、３次元部位モデル１８０１の位置合わせに使用される３次元超音波モデル１８０２と、部位モデル合致方法（位置合わせ方法）１８０３と、３次元部位モデル１８０１を重ね合わせる対象１８０４と、表示部１８０５と、が示されている。これらは、それぞれ独立して組み合わされて、より好適な位置合わせと重ね合わせが実現される。

また、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (14)

1. 患者の断層撮影画像群に基づいて、３次元部位モデルのデータを生成する部位モデル生成手段と、
   前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出手段と、
   前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積し、前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成手段と、
   前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出手段と、
   前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形手段と、
   前記変形手段により変形された前記３次元部位モデルの投影画像を表示する表示手段と、
   を備え、
   前記変形手段は、
   前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成手段と、
   前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結手段と、
   を有し、
   前記表示手段は、前記分割領域連結手段が連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として表示する医療支援システム。
2. 前記複数の第１特徴点は、前記３次元部位モデルの注目部位に含まれる３次元血管モデルの特徴点であり、前記複数の第２特徴点は、前記３次元超音波モデルの前記注目部位に含まれる３次元血管モデルの特徴点であり、
   前記表示手段は、前記３次元血管モデルを前記３次元部位モデルとして表示する、請求項１に記載の医療支援システム。
3. 前記患者の生体と、前記生体の位置および向きまたは生体画像の位置および向きを検出するための第１位置検出用器具とを撮像する撮像手段と、
   撮像された前記第１位置検出用器具の位置および向きに基づいて、前記変形手段により変形された前記３次元部位モデルの位置、向きおよび大きさを調整する第１調整手段と、
   をさらに備え、
   前記表示手段は、前記変形され調整された３次元部位モデルの投影画像を、前記患者の生体または生体画像に重なるように表示する、請求項１または２に記載の医療支援システム。
4. 前記第１位置検出用器具は、光学マーカ付きの磁気センサまたは光学マーカである請求項３に記載の医療支援システム。
5. 前記患者の生体の内部を撮像する、第２位置検出用器具が固定された腹腔鏡と、
   前記第２位置検出用器具の位置および向きと前記超音波プローブの位置および向きとに基づいて、前記変形手段により変形された前記３次元部位モデルの位置、向きおよび大きさを調整する第２調整手段と、
   をさらに備え、
   前記表示手段は、前記変形され調整された３次元部位モデルの投影画像を、前記腹腔鏡が撮像した生体内画像に重なるように表示する、請求項１または２に記載の医療支援システム。
6. 前記第２位置検出用器具は、磁気センサである請求項５に記載の医療支援システム。
7. 前記超音波プローブに固定された第３位置検出用器具の位置および向きを検出する超音波プローブ位置検出手段を有する請求項１乃至６のいずれか１項に記載の医療支援システム。
8. 前記第３位置検出用器具は光学マーカまたは磁気センサである、請求項７に記載の医療支援システム。
9. 前記表示手段は、前記変形され調整された３次元部位モデルの投影画像と前記患者の生体とを重なるように表示するオプティカルシースルー型のヘッドマウントディスプレイ、または、前記変形され調整された３次元部位モデルの投影画像と前記患者の生体画像とを重なるように表示するビデオシースルー型のヘッドマウントディスプレイである請求項１乃至８のいずれか１項に記載の医療支援システム。
10. 前記表示手段は、前記変形され調整された３次元部位モデルの投影画像と、前記患者の生体または生体画像とが重なるように表示するシートディスプレイである請求項１乃至８のいずれか１項に記載の医療支援システム。
11. 患者の断層撮影画像群に基づいて、３次元部位モデルのデータを生成する部位モデル生成ステップと、
    前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出ステップと、
    前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積手段に蓄積する蓄積ステップと、
    前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成ステップと、
    前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出ステップと、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形ステップと、
    前記変形ステップにおいて変形された前記３次元部位モデルの投影画像を表示する表示ステップと、
    を含み、
    前記変形ステップは、
    前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成ステップと、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結ステップと、
    を含み、
    前記表示ステップにおいては、前記分割領域連結ステップにおいて連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として表示する医療支援方法。
12. 患者の断層撮影画像群に基づいて生成された３次元部位モデルのデータを受信する受信手段と、
    前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出手段と、
    前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積する蓄積手段と、
    前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成手段と、
    前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出手段と、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形手段と、
    前記変形手段により変形された前記３次元部位モデルの投影画像を表示手段に送信する送信手段と、
    を備え、
    前記変形手段は、
    前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成手段と、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結手段と、
    を有し、
    前記送信手段は、前記分割領域連結手段が連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として前記表示手段に送信する画像処理装置。
13. 患者の断層撮影画像群に基づいて生成された３次元部位モデルのデータを受信する受信ステップと、
    前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出ステップと、
    前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積手段に蓄積する蓄積ステップと、
    前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成ステップと、
    前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出ステップと、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形ステップと、
    前記変形ステップにおいて変形された前記３次元部位モデルの投影画像を表示手段に送信する送信ステップと、
    を含み、
    前記変形ステップは、
    前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成ステップと、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結ステップと、
    を含み、
    前記送信ステップにおいては、前記分割領域連結ステップにおいて連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として前記表示手段に送信する画像処理装置の制御方法。
14. 患者の断層撮影画像群に基づいて生成された３次元部位モデルのデータを受信する受信ステップと、
    前記３次元部位モデルから、所定の特徴を有する複数の第１特徴点の位置情報を抽出する第１特徴点抽出ステップと、
    前記患者に対して超音波プローブを用いて取得した超音波データと、前記超音波データを取得した前記超音波プローブの位置および向きデータとを対応付けて蓄積手段に蓄積する蓄積ステップと、
    前記超音波データと前記位置および向きデータとを用いて、３次元超音波モデルのデータを生成する超音波モデル生成ステップと、
    前記３次元超音波モデルから、前記所定の特徴を有する複数の第２特徴点の位置情報を抽出する第２特徴点抽出ステップと、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように、前記３次元部位モデルを変形する変形ステップと、
    前記変形ステップにおいて変形された前記３次元部位モデルの投影画像を表示手段に送信する送信ステップと、
    をコンピュータに実行させる画像処理装置の制御プログラムであって、
    前記変形ステップにおいては、
    前記３次元部位モデルを、各々が少なくとも１つの前記第１特徴点を含む複数の３次元領域に分割する分割領域生成ステップと、
    前記複数の第１特徴点と前記複数の第２特徴点とが重なるように前記複数の３次元領域のそれぞれを位置調整し、位置調整された前記複数の３次元領域を互いに連結する分割領域連結ステップと、
    をコンピュータに実行させ、
    前記送信ステップにおいては、前記分割領域連結ステップにおいて連結した前記複数の３次元領域の投影画像を前記３次元部位モデルの投影画像として前記表示手段に送信するようコンピュータに実行させる画像処理装置の制御プログラム。

Images