JP7164345B2 - 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム - Google Patents

Description

本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。

従来、実空間で用いられる超音波プローブで得られる情報を基に、ＣＴ（Computed Tomography）装置で得られるボリュームデータに基づく画像を生成することが知られている。例えば、特許文献１では、超音波プローブの実空間における位置座標を取得して、取得された位置座標に対応するＭＰＲ（Multi Planer Reconstruction）画像を生成することが知られている（特許文献１参照）。

また、近年、仮想的に超音波プローブを用いて撮像されたような画像（仮想超音波画像）を生成する技術が普及しつつある。

米国特許出願公開第２０１４／０１８７９１６号明細書

ＣＴデータを用いて診断及び手術計画を立て、実際の手術において超音波画像で術前計画（Pre-operative planning）通りに手術が進行していることを確認することがある。特許文献１の技術を仮想超音波画像の生成に適用することで、超音波プローブの仮想空間における位置座標を取得して、取得された位置座標に対応するＭＰＲ画像を術中に生成できる。ここで、術前に超音波プローブをあてるべき場所も術前計画に盛り込まれることがある。また、医師による診断の際においても、３次元画像を用いて被検体を観察するよりも２次元画像を用いて被検体を観察する方が、被検体における病変等の正確な位置を理解し易いと考えられる。また、３次元画像は、被検体全体を俯瞰して観察する際に有益である。したがって、例えばユーザが超音波画像を想起しながら２次元画像を操作して表示を更新する場合、変更後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できることが好ましい。

本開示は、上記事情に鑑みてなされたものであり、ユーザが２次元画像を操作して表示を更新する場合、変更後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。

本開示の一態様は、取得部と処理部を備える医用画像処理装置であって、前記取得部は、被検体のボリュームデータを取得し、前記処理部は、前記ボリュームデータをレンダリングした画像である３次元画像を、表示部に表示させ、前記３次元画像上に、前記被検体の体表上の点と、前記ボリュームデータに対する向きのベクトルと、を表現する第１のオブジェクトを、表示部に表示させ、前記ボリュームデータにおける面であって、前記体表上の点を含み前記向きのベクトルを基に決定される面における画像である２次元画像を、前記表示部に表示させ、３次元空間における前記２次元画像の位置を変更するための前記２次元画像に対する第１の操作の情報を取得し、前記第１の操作における３次元空間上の位置の変更の情報を基に、前記体表上の点を前記被検体の体表に沿って移動させ、移動後の前記体表上の点を基に、前記第１のオブジェクト及び前記２次元画像の表示を更新する、医用画像処理装置、である。

本開示の一態様は、医用画像処理装置における医用画像処理方法であって、被検体のボリュームデータを取得するステップと、前記ボリュームデータをレンダリングした画像である３次元画像を表示させるステップと、前記３次元画像上に、前記被検体の体表上の点と、前記ボリュームデータに対する向きのベクトルと、を表現する第１のオブジェクトを表示させるステップと、前記ボリュームデータにおける面であって、前記体表上の点を含み前記向きのベクトルを基に決定される面、における画像である２次元画像を表示させるステップと、３次元空間における前記２次元画像の位置を変更するための前記２次元画像に対する操作の情報を取得するステップと、前記操作における３次元空間上の位置の変更の情報を基に、前記体表上の点を前記被検体の体表に沿って移動させ、移動後の前記体表上の点を基に、前記第１のオブジェクト及び前記２次元画像の表示を更新するステップと、を有する医用画像処理方法、である。

本開示の一態様は、上記医用画像処理方法の各ステップをコンピュータに実行させるための医用画像処理プログラムである。

本開示によれば、ユーザが２次元画像を操作して表示を更新する場合、変更後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できる。

第１の実施形態における医用画像処理装置のハードウェア構成例を示すブロック図 医用画像処理装置の機能構成例を示すブロック図 ３次元画像で表現された被検体の体表面上での仮想プローブの移動例を示す図 ３次元画像で表現された被検体の体表面上での仮想プローブの回転例を示す図 ３Ｄ仮想プローブの一例を示す図 ２Ｄ仮想プローブの一例を示す図 ３次元空間における被検体と仮想プローブとＭＰＲ面との位置関係の一例を示す図 ディスプレイによる表示例を示す図 ＭＰＲ画像にスケール表示を重畳した例を示す図 医用画像処理装置の動作の概要の一例を示すフローチャート ＭＰＲ画像に対する各操作に応じた医用画像処理装置の動作の説明を補足するための図 ＭＰＲ画像に対するスライス送り操作時の医用画像処理装置の動作例を示すフローチャート 比較例におけるスライス送り操作に応じたスライス送りを説明するための図 第１の実施形態におけるスライス送り操作に応じたスライス送りを説明するための図 第１の実施形態におけるＭＰＲ画像に対するスライス送り操作に応じたＭＰＲ画像及び２Ｄ仮想プローブの遷移例を示す図 第１の実施形態におけるＭＰＲ画像に対するスライス送り操作に応じた３次元画像及び３Ｄ仮想プローブの遷移例を示す図 ＭＰＲ画像に対するパン操作時の医用画像処理装置の動作例を示すフローチャート 比較例におけるパン操作に応じたＭＰＲ画像及び２Ｄ仮想プローブの遷移を示す図 第１の実施形態におけるＭＰＲ画像に対するパン操作に応じたＭＰＲ画像及び２Ｄ仮想プローブの遷移例を示す図 第１の実施形態におけるＭＰＲ画像に対するパン操作に応じた３次元画像及び３Ｄ仮想プローブの遷移例を示す図 ＭＰＲ画像に対する回転操作時の医用画像処理装置の動作例を示すフローチャート 比較例における回転操作に応じたＭＰＲ画像及び２Ｄ仮想プローブの遷移を示す図 第１の実施形態におけるＭＰＲ画像に対する回転操作に応じたＭＰＲ画像及び２Ｄ仮想プローブの遷移例を示す図 第１の実施形態におけるＭＰＲ画像に対する回転操作に応じた３次元画像及び３Ｄ仮想プローブの遷移例を示す図

以下、本開示の実施形態について、図面を用いて説明する。

（第１の実施形態）
図１は、第１の実施形態における医用画像処理装置１００の構成例を示すブロック図である。医用画像処理装置１００は、ポート１１０、ユーザインタフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）１２０、ディスプレイ１３０、プロセッサ１４０、及びメモリ１５０を備える。

医用画像処理装置１００には、ＣＴ（Computed Tomography）装置２００が接続される。医用画像処理装置１００は、ＣＴ装置２００からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置１００は、ＰＣ（Personal Computer）とＰＣに搭載されたソフトウェアにより構成されてもよい。

ＣＴ装置２００は、生体へＸ線を照射し、体内の組織によるＸ線の吸収の違いを利用して、画像（ＣＴ画像）を撮像する。生体としては人体等が挙げられる。生体は、被検体の一例である。

ＣＴ画像は、時系列に複数撮像されてもよい。ＣＴ装置２００は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器（例えば脳、心臓、腎臓、大腸、小腸、肺、胸部、乳腺、前立腺、肺）を含んでもよい。ＣＴ画像が撮像されることにより、ＣＴ画像における各画素（ボクセル）の画素値（ＣＴ値、ボクセル値）が得られる。ＣＴ装置２００は、ＣＴ画像としてのボリュームデータを医用画像処理装置１００へ、有線回線又は無線回線を介して送信する。

具体的に、ＣＴ装置２００は、ガントリ（図示せず）及びコンソール（図示せず）を備える。ガントリは、Ｘ線発生器（図示せず）やＸ線検出器（図示せず）を含み、コンソールにより指示された所定のタイミングで撮像することで、人体を透過したＸ線を検出し、Ｘ線検出データを得る。Ｘ線発生器は、Ｘ線管（図示せず）を含む。コンソールは、医用画像処理装置１００に接続される。コンソールは、ガントリからＸ線検出データを複数取得し、Ｘ線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、医用画像処理装置１００へ送信する。コンソールは、患者情報、ＣＴ撮像に関する撮像条件、造影剤の投与に関する造影条件、その他の情報を入力するための操作部（図示せず）を備えてよい。この操作部は、キーボードやマウスなどの入力デバイスを含んでよい。

ＣＴ装置２００は、連続的に撮像することで３次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の３次元のボリュームデータによる動画のデータは、４Ｄ（４次元）データとも称される。

ＣＴ装置２００は、複数のタイミングの各々でＣＴ画像を撮像してよい。ＣＴ装置２００は、被検体が造影された状態で、ＣＴ画像を撮像してよい。ＣＴ装置２００は、被検体が造影されていない状態で、ＣＴ画像を撮像してよい。

医用画像処理装置１００内のポート１１０は、通信ポートや外部装置接続ポートを含み、ＣＴ画像から得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ１４０に送られて各種処理されてもよいし、メモリ１５０において保管された後、必要時にプロセッサ１４０へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。

ＣＴ装置２００により撮像されたボリュームデータは、ＣＴ装置２００から画像データサーバ（ＰＡＣＳ：Picture Archiving and Communication Systems）（不図示）に送られ、保存されてよい。ポート１１０は、ＣＴ装置２００から取得する代わりに、この画像データサーバからボリュームデータを取得してよい。このように、ポート１１０は、ボリュームデータ等の各種データを取得する取得部として機能する。

ＵＩ１２０は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。ＵＩ１２０は、医用画像処理装置１００のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者（Paramedic Staff）を含んでよい。

ＵＩ１２０は、ボリュームデータにおける関心領域（ＲＯＩ：Region of Interest）の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織（例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流）の領域を含んでよい。組織は、病変組織、正常組織、臓器、器官、など生体の組織を広く含んでよい。また、ＵＩ１２０は、ボリュームデータやボリュームデータに基づく画像（例えば後述する３次元画像、２次元画像）における関心領域の指定や輝度条件の設定等の操作を受け付けてもよい。

ディスプレイ１３０は、ＬＣＤ（Liquid Crystal Display）を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる３次元画像や２次元画像を含んでよい。３次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像（ＶＥ画像）、仮想超音波画像、ＣＰＲ（Curved Planar Reconstruction）画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム（RaySum）画像（単に「ＳＵＭ画像」とも称する）、ＭＩＰ(Maximum Intensity Projection)画像、ＭｉｎＩＰ(Minimum Intensity Projection)画像、平均値（Average）画像、又はレイキャスト（Raycast）画像を含んでもよい。２次元画像は、アキシャル（Axial）画像、サジタル（Sagittal）画像、コロナル（Coronal）画像、ＭＰＲ（Multi Planer Reconstruction）画像、等を含んでよい。３次元画像及び２次元画像は、カラーフュージョン画像を含んでよい。

メモリ１５０は、各種ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）の一次記憶装置を含む。メモリ１５０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）の二次記憶装置を含んでもよい。メモリ１５０は、ＵＳＢメモリやＳＤカードの三次記憶装置を含んでもよい。メモリ１５０は、各種情報やプログラムを記憶する。各種情報は、ポート１１０により取得されたボリュームデータ、プロセッサ１４０により生成された画像、プロセッサ１４０により設定された設定情報、各種プログラムを含んでもよい。メモリ１５０は、プログラムが記録される非一過性の記録媒体の一例である。

プロセッサ１４０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ１４０は、メモリ１５０に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部１６０として機能する。

図２は、処理部１６０の機能構成例を示すブロック図である。

処理部１６０は、領域抽出部１６１、画像生成部１６２、仮想プローブ処理部１６３、操作情報取得部１６４、及び表示制御部１６６を備える。

処理部１６０は、医用画像処理装置１００の各部を統括する。なお、処理部１６０に含まれる各部は、１つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部１６０に含まれる各部は、専用のハードウェア部品により実現されてもよい。

領域抽出部１６１は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、ＵＩ１２０がユーザからの指示を受け付け、指示の情報が領域抽出部１６１に送られる。領域抽出部１６１は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出（ｓｅｇｍｅｎｔ）してもよい。また、ユーザからの詳細な指示により、手動で関心領域を設定（ｓｅｔ）してもよい。また、観察対象が予め定められている場合、領域抽出部１６１は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。抽出される領域には、各種組織（例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流、乳腺、胸部、腫瘍）の領域を含んでよい。

領域抽出部１６１は、関心領域として、被検体ｐｓの体幹部を抽出してよい。領域抽出部１６１は、例えば領域拡張法（Region Growing）に従って、被検体ｐｓの体幹部を抽出してよい。体幹部は、例えば被検体ｐｓの胴体部分に対応してよく、胸部と腹部とを含む部分でよい。また、体幹部は、頭部、胴体部、腕部、足部、等の被検体ｐｓの体幹に係る部位を含んでよい。

画像生成部１６２は、ポート１１０により取得されたボリュームデータに基づいて、３次元画像（例えばレイキャスト画像）や２次元画像（例えばＭＰＲ画像）を生成してよい。画像生成部１６２は、ポート１１０により取得されたボリュームデータから、指定された領域や領域抽出部１６１により抽出された領域に基づいて、３次元画像や２次元画像を生成してよい。

仮想プローブ処理部１６３は、実空間で使用される超音波プローブを模したＵＩオブジェクトとしての仮想プローブｐｒを生成する。仮想プローブｐｒは、３次元画像とともに表示される３Ｄ仮想プローブｐｒ１を含んでよい。３Ｄ仮想プローブｐｒ１は、３次元画像に重畳して表示されてよい。３Ｄ仮想プローブｐｒ１は、仮想空間における３次元画像において、３次元画像で示された被検体ｐｓに接触し、被検体ｐｓの体表面上を移動可能である。３Ｄ仮想プローブｐｒ１は、被検体ｐｆの体表面に沿って移動してよい。

仮想プローブｐｒは、２次元画像とともに表示される２Ｄ仮想プローブｐｒ２を含んでよい。２Ｄ仮想プローブｐｒ２は、２次元画像に重畳して表示されてよい。３次元画像とともに表示される３Ｄ仮想プローブｐｒ１は、２次元画像とともに表示される２Ｄ仮想プローブｐｒ２に対応する。つまり、３次元空間上の３Ｄ仮想プローブｐｒ１の位置や向きと、２次元平面における２Ｄ仮想プローブｐｒ２の位置や向きと、が一致又は対応する。

したがって、３次元空間における３Ｄ仮想プローブｐｒ１の位置や向きが変化した場合、２次元平面における２Ｄ仮想プローブｐｒ２の位置や向きが変化してよい。逆に、２次元平面における２Ｄ仮想プローブｐｒ２の位置や向きが変化した場合、３次元空間における３Ｄ仮想プローブｐｒ１の位置や向きが変化してよい。仮想プローブ処理部１６３は、２次元平面における２次元画像の表示範囲が変化しても、３次元画像とともに表示される３Ｄ仮想プローブｐｒ１が、３次元画像で示される被検体ｐｓの体表面に対する接触を維持するよう、３Ｄ仮想プローブｐｒ１の位置や向きを決定する。

操作情報取得部１６４、ＵＩ１２０を介して２次元画像に対する各種操作の情報を取得する。

各種操作は、ボリュームデータにおける任意の断面（例えばＭＰＲ面ＳＦ、スライスとも称する）を表現した２次元画像を奥行方向に移動するための操作（スライス送り（slice paging）操作とも称する）を含んでよい。また、スライス送り操作は、ＭＰＲ面ＳＦを、このＭＰＲ面ＳＦに平行な他のＭＰＲ面ＳＦに変更するための操作でよい。操作情報取得部１６４は、ＵＩ１２０の一例としてのスライダＧＵＩ（不図示）が、例えば上下方向へのスライドを検出することで、ＭＰＲ画像Ｇ１に対するスライス送り取得を検出してよい。

また、各種操作は、ボリュームデータにおける任意の断面（断面内）において２次元画像を移動するための操作（パン操作とも称する）を含んでよい。つまり、パン操作は、ＭＰＲ面ＳＦのＭＰＲ画像Ｇ１において、このＭＰＲ面ＳＦの表示範囲を平行移動するための操作でよい。操作情報取得部１６４は、ＵＩ１２０がディスプレイ１３０に表示されたＭＰＲ画像Ｇ１に対するドラッグ操作を検出することで、ＭＰＲ画像Ｇ１に対するパン操作を取得してよい。

また、各種操作は、ボリュームデータにおける任意の断面において、任意の画像を回転するための操作（回転操作とも称する）を含んでよい。つまり、回転操作は、ＭＰＲ面ＳＦのＭＰＲ画像Ｇ１のＭＰＲ面ＳＦを変更せずに、ＭＰＲ画像Ｇ１を回転する操作でよい。操作情報取得部１６４は、ＵＩ１２０がディスプレイ１３０に表示された２Ｄ仮想プローブｐｒ２の回転指示部ｒｐ（図４Ｂ参照）に対して回転するためのドラッグ操作を検出することで、回転操作を取得してよい。

画像生成部１６２は、操作情報取得部１６４により取得された操作情報を基に、３次元画像や２次元画像を生成してよい。仮想プローブ処理部１６３は、操作情報取得部１６４により取得された操作情報を基に、仮想プローブｐｒ（３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２）を生成してよい。

表示制御部１６６は、各種データ、情報、画像をディスプレイ１３０に表示させる。表示制御部１６６は、画像生成部１６２により生成された３次元画像又は２次元画像を表示させてよい。表示制御部１６６は、仮想プローブ処理部１６３により生成された仮想プローブｐｒを表示させてよい。この場合、表示制御部１６６は、３次元画像に３Ｄ仮想プローブｐｒ１を重畳して表示させてよい。また、表示制御部１６６は、２次元画像に２Ｄ仮想プローブｐｒ２を重畳して表示させてよい。

このように、表示制御部１６６は、ＣＴ装置２００から取得されたボリュームデータを基に、３次元画像又は２次元画像として可視化してよい。また、表示制御部１６６は、３次元画像と２次元画像との位置関係を示すように、３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２を可視化してよい。

本実施形態では、３次元画像Ｇ２として主にレイキャスト画像を例示するが、他の３次元画像でもよい。また、２次元画像として主にＭＰＲ画像Ｇ１を例示するが、他の２次元画像でもよい。

３次元画像Ｇ２は、スライス送り操作の際に移動する３Ｄ仮想プローブｐｒ１を重畳した３次元画像Ｇ２Ａ、パン操作の際に移動する３Ｄ仮想プローブｐｒ１を重畳した３次元画像Ｇ２Ｂ、及び回転操作の際に回転する３Ｄ仮想プローブｐｒ１を重畳した３次元画像Ｇ２Ｃを含んでよい。ＭＰＲ画像Ｇ１は、スライス送り操作の際に得られるＭＰＲ画像Ｇ１Ａ、パン操作の際に得られるＭＰＲ画像Ｇ１Ｂ、及び回転操作の際に得られるＭＰＲ画像Ｇ１Ｃを含んでよい。

次に、３次元画像Ｇ２上での３Ｄ仮想プローブｐｒ１の移動例について説明する。

図３Ａは、３次元画像Ｇ２で表現された被検体ｐｓの体表面ｐｓｆ上での３Ｄ仮想プローブｐｒ１の移動例を示す図である。図３Ｂは、３次元画像Ｇ２で表現された被検体ｐｓの体表面ｐｓｆ上での３Ｄ仮想プローブｐｒ１の回転例を示す図である。図３Ｂでは、被検体ｐｓの体表面ｐｓｆの図示を省略している。

３Ｄ仮想プローブｐｒ１は、ＵＩ１２０を介したＭＰＲ画像Ｇ１に対する操作に応じて、体表面ｐｓｆ上を移動してよい。なお、３Ｄ仮想プローブｐｒ１は、ＵＩ１２０を介した３次元画像Ｇ２に対する操作に応じて、体表面ｐｓｆ上を移動してもよい。

仮想プローブｐｆ１は、被検体ｐｓの体表面ｐｓｆに沿って移動してよい。仮想プローブｐｆ１は、被検体ｐｓの体表面ｐｓｆにおいて回転してよい。したがって、仮想プローブｐｆ１は、体表面ｐｓｆから離れず、少なくとも１点が接触し、面で接触してもよい。仮想プローブｐｆ１は、体表面ｐｓｆとの接触を維持したまま、移動や回転を行うことができる。

図３Ａに示すように、３Ｄ仮想プローブｐｒ１は、体表面ｐｓｆ上においてｕ方向及びｖ方向の２自由度で移動可能である。また、図３Ｂに示すように、３Ｄ仮想プローブｐｒ１は体表面ｐｓｆにおいてθ方向、φ方向、又はψ方向の３自由度で回転可能である。

また、３次元画像Ｇ２において受け付ける３Ｄ仮想プローブｐｒ１の回転方向は、上記の３方向のうちのいずれか２方向又は１方向（例えばψ方向）に限定されてよい。３Ｄ仮想プローブｐｒ１の回転方向の自由度が制限されることで、３Ｄ仮想プローブｐｒ１を操作するユーザが、操作による回転を直感的に分かりやすくなり、操作性が向上する。

図４Ａ及び図４Ｂは、仮想プローブｐｒ（３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２）の一例を示す図である。図４Ａに示す３Ｄ仮想プローブｐｒ１は、３次元画像とともに表示される。図４Ｂに示す２Ｄ仮想プローブｐｒ２は、ＭＰＲ画像Ｇ１とともに表示される。

３Ｄ仮想プローブｐｒ１及び２Ｄ仮想プローブｐｒ２は、同じ３次元のＵＩオブジェクトでよいが、図４Ａでは斜視されており、図４Ｂでは側面視されているので、見え方が異なっている。仮想プローブｐｒは、上面ｕｓと下面ｄｓとを有し、上面ｕｓから下面ｄｓに向かう方向に沿って、仮想的に超音波を送出すると仮定する。つまり、仮想プローブｐｒが仮想超音波を発すると仮定する。仮想プローブｐｒの下面ｄｓは、被検体ｐｓの体表面ｐｓｆに接触するので、下面ｄｓから被検体ｐｓの体内（円筒形で模した体表面ｐｓｆの内側）に向かって仮想超音波が送出される。仮想超音波が通過する通路は、１次元の直線や、この直線を含む（直線に平行な）２次元の平面における領域で示されてよい。この２次元平面が、ＭＰＲ面ＳＦとなる。

図５は、３次元空間における被検体ｐｓと仮想プローブｐｒとＭＰＲ面ＳＦとの位置関係の一例を示す図である。

図５では、被検体ｐｓを円筒に模して示し、仮想プローブｐｒを板に模して示している。図５では、仮想プローブｐｒから送出された仮想超音波は、３Ｄ仮想プローブｐｒ１を模した板の延長線上に沿って、被検体ｐｓの体内を進行するとする。この場合、この延長線は、仮想超音波の通り道であり、ＭＰＲ面ＳＦに沿う。ＭＰＲ面ＳＦにおける様子が、ＭＰＲ画像として表現される。つまり、ＭＰＲ画像が、仮想超音波画像に相当する。

図６は、ディスプレイ１３０による表示例を示す図である。

ディスプレイ１３０は、３次元画像Ｇ２及び３Ｄ仮想プローブｐｒ１とＭＰＲ画像Ｇ１及び２Ｄ仮想プローブｐｒ２とを表示する。ディスプレイ１３０は、３次元画像Ｇ２と３Ｄ仮想プローブｐｒ１とＭＰＲ画像Ｇ１と２Ｄ仮想プローブｐｒ２とを同時に表示してよい。これにより、ユーザは、ＭＰＲ画像Ｇ１及び３次元画像Ｇ２の内容と、３次元画像Ｇ２における被検体ｐｓのどの位置や向きがＭＰＲ画像Ｇ１に対応するか、を容易に把握できる。よって、例えば、ユーザは、被検体ｐｓのどの位置やどの向きに仮想プローブｐｒを当てることで、仮想プローブｐｒに基づいて生成されるＭＰＲ画像Ｇ１において、被検体ｐｓのどの臓器が見えるかを認識できる。

なお、ディスプレイ１３０は、３次元画像Ｇ２及び３Ｄ仮想プローブｐｒ１と、ＭＰＲ画像Ｇ１及び２Ｄ仮想プローブｐｒ２とを、異なるタイミングで表示してもよい。また、ディスプレイ１３０は、ＭＰＲ画像Ｇ１に対応する２Ｄ仮想プローブｐｒ２を表示せず、２Ｄ仮想プローブｐｒ２の表示を省略してもよい。

図７は、ＭＰＲ画像Ｇ１にスケール表示を重畳した例を示す図である。

図７では、２Ｄ仮想プローブｐｒ２と接する被検体ｐｓの体表面ｐｓｆからの距離が重畳表示されている。ここでは一例として、距離の情報として０～１００ｍｍの範囲が示されている。このように、医用画像処理装置１００がＭＰＲ画像Ｇ１にスケール表示を重畳することで、ユーザは、例えば被検体ｐｓにおける観察対象の患部までの距離を容易に確認できる。また、ユーザは、２Ｄ仮想プローブｐｒ２から送出された仮想超音波が進行する直線上に、重要な臓器や血管が存在するか否かを容易に確認できる。また、医用画像処理装置１００は、スケール表示を確認しながら穿刺のシミュレーションを行うことができ、穿刺における安全性を向上できる。穿刺の処置は、患部の焼灼を含んでよい。また、スケールは、超音波内視鏡下穿刺針を模して２Ｄ仮想プローブｐｒ２の脇から斜めに表示してもよい。このように、医用画像処理装置１００は、ＭＰＲ画像Ｇ１上にスケール表示することで、術前計画を立てやすくなる。

次に、ＭＰＲ画像Ｇ１に対する操作に応じた医用画像処理装置１００の動作について説明する。

図８は、医用画像処理装置１００の動作の概要の一例を示すフローチャートである。

まず、ポート１１０は、被検体ｐｓを含むボリュームデータを、ＣＴ装置２００等から取得する（Ｓ１１）。被検体ｐｓは、例えば人体である。

領域抽出部１６１は、人体を含むボリュームデータを基に、体幹部の輪郭情報を生成する（Ｓ１２）。この場合、領域抽出部１６１は、人体を含むボリュームデータから、体幹部の輪郭で囲まれた範囲のボリュームデータ（つまり体幹部のボリュームデータ）を抽出してよい。

画像生成部１６２は、レイキャスト法に従って、被検体ｐｓの体幹部を可視化する（Ｓ１３）。つまり、画像生成部１６２は、被検体ｐｓの体幹部を表現した３次元画像Ｇ２を生成してよい。この場合、３次元画像Ｇ２はレイキャスト画像でよい。表示制御部１６６は、生成された３次元画像Ｇ２をディスプレイ１３０に表示（３Ｄ表示）させてよい（Ｓ１３）。なお、３次元画像Ｇ２は、レイキャスト画像以外の画像でもよい。

仮想プローブ処理部１６３は、３Ｄ仮想プローブｐｒ１を生成する。この３Ｄ仮想プローブｐｒ１は、初期状態では、例えば、生成された３次元画像Ｇ２の中心画素に仮想光線を投射し、最初に体表に接触した点に３Ｄ仮想プローブｐｒ１が体表面ｐｄｆの法線方向に仮想超音波を送出するように、設置されてよい。この初期状態の情報は、メモリ１５０に保持されていてよい。表示制御部１６６は、３次元表示に（つまり３次元画像Ｇ２とともに）、３Ｄ仮想プローブｐｒ１を設置（配置）して表示させる（Ｓ１４）。

画像生成部１６２は、仮想プローブｐｒ（３Ｄ仮想プローブｐｒ１）の座標を基準とした面を導出（例えば算出）する。画像生成部１６２は、導出された面を、ＭＰＲ法に従って可視化する（Ｓ１５）。導出された面は、ＭＰＲ面ＳＦとなる。つまり、画像生成部１６２は、被検体ｐｓの体幹部におけるＭＰＲ面ＳＦを表現したＭＰＲ画像Ｇ１を生成してよい。表示制御部１６６は、生成されたＭＰＲ画像Ｇ１をディスプレイ１３０に表示（２Ｄ表示）させてよい（Ｓ１５）。なお、ＭＰＲ画像Ｇ１以外の２次元画像でもよい。

仮想プローブ処理部１６３は、２Ｄ仮想プローブｐｒ２を生成する。この２Ｄ仮想プローブｐｒ２は、３Ｄ仮想プローブｐｒ１の座標を用いる。表示制御部１６６は、２次元表示に（つまりＭＰＲ画像Ｇ１とともに）、２Ｄ仮想プローブｐｒ２を設置（配置）して表示させる（Ｓ１６）。

操作情報取得部１６４は、ＵＩ１２０を介してＭＰＲ画像Ｇ１に対する各種操作を取得する。画像生成部１６２は、取得された各種操作を基に、新たなＭＰＲ画像Ｇ１を生成する（Ｓ１７）。この各種操作は、スライス送り操作、パン操作、回転操作、等を含んでよい。また、仮想プローブ処理部１６３は、取得された各種操作を基に、新たな３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２を生成する（Ｓ１７）。

表示制御部１６６は、３Ｄ表示において、３Ｄ仮想プローブｐｒ１の表示を更新する（Ｓ１８）。つまり、表示制御部１６６は、生成された新たな３次元画像Ｇ２とともに、生成された新たな３Ｄ仮想プローブｐｒ１を表示させる。表示制御部１６６は、２Ｄ表示において、２Ｄ仮想プローブｐｒ２の表示を更新する（Ｓ１８）。つまり、表示制御部１６６は、生成された新たなＭＰＲ画像Ｇ１とともに、生成された新たな２Ｄ仮想プローブｐｒ２を表示させる。なお、３次元画像Ｇ２自体を回転させない場合などは３次元画像Ｇ２は、再生成されなくてもよく、元の３次元画像Ｇ２が用いられてもよい。

図９は、ＭＰＲ画像Ｇ１に対する各操作に応じた医用画像処理装置１００の動作の説明を補足するための図である。図９では、３次元の被検体ｐｓや２次元のＭＰＲ画像Ｇ１における位置や向きが示されている。図９では、３次元空間における位置は、（ｘ，ｙ，ｚ）で示される。図９では、ＭＰＲ画像Ｇ１の２次元平面における位置は、（ｕ，ｖ）で示される。

図９では、斜視の被検体ｐｓにおけるＭＰＲ面ＳＦの法線ベクトルが、法線ベクトルＮ（ｘ，ｙ，ｚ）（単に「Ｎ」とも記載する）で示されている。また、３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２の向きが、３次元空間ではベクトルＤ（ｘ，ｙ，ｚ）（単に「Ｄ」とも記載する）で示され、ＭＰＲ画像Ｇ１の２次元平面ではベクトルＤｍｐｒ（ｕ，ｖ）（単に「Ｄｍｐｒ」とも記載する）で示されている。また、３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２の被検体ｐｓに接する面の中心座標は、３次元空間では座標Ｐ（ｘ，ｙ，ｚ）（単に「Ｐ」とも記載する）で示され、ＭＰＲ画像Ｇ１の２次元平面では座標Ｐｍｐｒ（ｕ，ｖ）（単に「Ｐｍｐｒ」とも記載する）で示されている。

なお、各データの初期値は、各符号の末尾に「０」を付して示されてよい。例えば、座標Ｐの初期値はＰ０で示され、座標Ｐｍｐｒの初期値はＰｍｐｒ０で示され、ベクトルＤの初期値はＤ０で示され、ベクトルＤｍｐｒの初期値はＤｍｐｒ０で示されてよい。

図９で示した各符号は、図１０，図１５，図１９におけるフローチャートの説明において用いられている。

図１０は、ＭＰＲ画像Ｇ１に対するスライス送り操作時の医用画像処理装置１００の動作例を示すフローチャートである。

処理部１６０は、各種パラメータを初期設定する（Ｓ２１）。つまり、処理部１６０は、仮想プローブｐｒの被検体ｐｓに接する面の中心座標Ｐ０、仮想プローブｐｒの向きＤ、ＭＰＲ面ＳＦの法線ベクトルＮに初期値を設定する。

ＵＩ１２０は、ＭＰＲ画像Ｇ１（ＭＰＲ面ＳＦ）をＮ方向に距離ｓ移動させるための操作（スライス送り操作）を受け付ける（Ｓ２２）。操作情報取得部１６４は、ＵＩ１２０を介して、このスライス送り操作の情報を取得する。

画像生成部１６２は、スライス送り操作を基に、仮想プローブｐｒの被検体ｐｓに接する新たな面の中心座標Ｐを導出（例えば算出）する（Ｓ２３）。この場合、画像生成部１６２は、座標Ｐ０からＮ方向にｓ移動させた座標（座標Ｐ０＋ｓＮとも記載する）を通り、仮想プローブｐｒの向きＤに平行な直線上に位置し、被検体ｐｓの体幹部の輪郭（つまり体表面ｐｓｆ）との交点を、仮想プローブｐｒの被検体ｐｓに接する新たな面の中心座標Ｐとしてよい。

また、Ｓ２３において上記の中心座標Ｐが複数導出された場合、画像生成部１６２は、複数の中心座標Ｐのうち、座標Ｐ０＋ｓＮに近い座標を選択してよい。この場合、医用画像処理装置１００は、例えば体表面ｐｓｆを中心座標Ｐが連続的に移動するように決定できる。つまり、医用画像処理装置１００は、体表面ｐｓｆ上を仮想プローブｐｒが非連続的に移動することを抑制できる。例えば、ＣＴ装置２００によりＣＴ画像が撮像されてボリュームデータが得られる際に、仮想超音波の送出方向において、体幹部とともに腕部が存在するとする。この場合でも、医用画像処理装置１００は、体幹部から腕部に中心座標Ｐが非連続的に移動することを抑制して、体幹部において中心座標Ｐが連続的に移動するように調整できる。よって、例えば、ボリュームデータに患者の腕が含まれている場合でも、医用画像処理装置１００は、体幹部において中心座標Ｐが連続的に移動するように調整できる。

画像生成部１６２は、中心座標Ｐ、仮想プローブｐｒの向きＤ、法線ベクトルＮを基に、新たなＭＰＲ面ＳＦを決定し、新たなＭＰＲ面ＳＦの新たなＭＰＲ画像Ｇ１を生成する（Ｓ２４）。

仮想プローブ処理部１６３は、中心座標Ｐ、仮想プローブｐｒの向きＤ、法線ベクトルＮを基に、新たな３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２を生成する。表示制御部１６６は、新たな３Ｄ仮想プローブｐｒ１を、３次元画像Ｇ２上に表示させる（Ｓ２５）。表示制御部１６６は、新たな２Ｄ仮想プローブｐｒ２を、ＭＰＲ画像Ｇ１上に表示させる（Ｓ２５）。

なお、ＭＰＲ画像Ｇ１に対するスライス送り操作が継続される場合、操作情報取得部１６４によってＵＩ１２０を介して、スライス送り操作の情報の取得が継続される。この場合、処理部１６０は、Ｓ２２～Ｓ２５の処理を反復してよい。

このように、医用画像処理装置１００は、ＭＰＲ画像Ｇ１に対するスライス送り操作時の動作により、ＭＰＲ画像Ｇ１を奥行き方向に移動させた(スライス送りした)場合に、移動後のＭＰＲ画像Ｇ１における体表位置に、仮想プローブｐｒ（３Ｄ仮想プローブｐｒ１）を移動させる。よって、医用画像処理装置１００は、移動後においても仮想プローブｐｒが体表面ｐｓｆから離れずに、体表面に沿って移動させることができる。よって、ユーザは、体表面ｐｓｆ上を滑らせて超音波診断を行う場合と同様の部位の画像を、ＭＰＲ画像Ｇ１に対するスライス送り操作を基点として簡単に得ることができる。

図１１は、比較例におけるスライス送り操作に応じたスライス送りを説明するための図である。なお、比較例の説明では、本実施形態の説明における対象と同様の対象について説明する場合、本実施形態の説明で用いる符号の末尾に「ｘ」を付して説明する。他の操作に関する比較例の説明においても同様である。なお、比較例での説明に登場する符号は、図示されていない場合もある。

図１１では、被検体ｐｓｘの体表面ｐｓｆｘに対してＭＰＲ面ＳＦｘが垂直ではなく、所定の角度を成している。これは、体表の凹凸を模したものである。ＭＰＲ面ＳＦ１１ｘに対してスライス送りすると、ＭＰＲ面ＳＦｘがＭＰＲ面ＳＦ１１ｘと平行なＭＰＲ面ＳＦ１２ｘ，ＳＦ１３ｘ，・・・に変更される。よって、ＭＰＲ画像Ｇ１ｘにおける奥行方向又は手前方向に平行移動するように、ＭＰＲ画像Ｇ１ｘが変更される。

ＭＰＲ画像Ｇ１ｘにおける奥行方向や手前方向は、矢印αｘに沿う方向である。矢印αｘは、図１１における体表面ｐｓｆｘの上下方向と平行ではない。よって、３Ｄ仮想プローブｐｒ１ｘは、体表面ｐｓｆｘに沿って移動するよう工夫しない場合、矢印αｘに沿って移動することで、被検体ｐｓｘの体内又は体外に進行し、体表面ｐｓｆｘから離れていく。そのため、被検体ｐｓｘにおけるユーザが意図しない部位のＭＰＲ画像Ｇ１ｘが表示される可能性がある。よって、仮想プローブｐｒが体表から離れてしまうことにより、超音波プローブをあてるべき場所を検討するには不適切となる。

図１２は、本実施形態におけるスライス送り操作に応じたスライス送りを説明するための図である。図１２では、被検体ｐｓの体表面ｐｓｆに対してＭＰＲ面ＳＦが垂直ではなく、所定の角度を成している。ＭＰＲ面ＳＦ１１に対してスライス送りすると、ＭＰＲ面ＳＦがＭＰＲ面ＳＦ１１と平行なＭＰＲ面ＳＦ１２，ＳＦ１３，・・・に変更される。

仮想プローブ処理部１６３は、ＭＰＲ画像Ｇ１をスライス送りした場合、つまりＭＰＲ画像Ｇ１における奥行方向又は手前方向にＭＰＲ画像を変更した場合、スライス送りされて得られたＭＰＲ画像Ｇ１と体表面ｐｓｆとの交点（つまりＭＰＲ画像Ｇ１における体表位置）に、３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２を移動させる。よって、図１２では、３Ｄ仮想プローブｐｒ１は、体表面ｐｓｆから離れることなく、体表面ｐｓｆに沿って移動する。つまり、３Ｄ仮想プローブｐｒ１は、矢印αに沿って、体表面ｐｓｆ上を移動するので、被検体ｐｓにおいてユーザの意図に沿う部位のＭＰＲ画像Ｇ１が表示される。

なお、仮想プローブ処理部１６３は、被検体ｐｓの体表に対して３Ｄ仮想プローブｐｒ１を当てる角度を固定してよい。つまり、被検体ｐｓの体表と仮想超音波の送出方向との角度が固定されてよい。このようにすると、医用画像処理装置１００は、体表面ｐｓｆの曲面（丸み）に合わせて超音波プローブの向きを変えつつなぞる動きを模すことができるので、術者によっては超音波プローブの動きに近くなる。また、３Ｄ仮想プローブｐｒ１を当てる向きを固定してよい。この向きは、仮想超音波の送出方向を示してよい。このようにすると、医用画像処理装置１００は、体表面ｐｓｆの曲面（丸み）に関わらずＭＰＲ面ＳＦに対して平行に保つことができるので、ユーザによるＭＰＲ画像Ｇ１上の病変等の見落としを減らすことができる。また、３Ｄ仮想プローブｐｒ１の向きを、ＭＰＲ面ＳＦがターゲット（病変等の観察対象）を必ず含むように保ってもよい。被検体ｐｓに対して３Ｄ仮想プローブｐｒ１を当てる角度は、仮想超音波が送出されて進行する方向に対応してよい。

図１３は、ＭＰＲ画像Ｇ１Ａに対するスライス送り操作に応じたＭＰＲ画像Ｇ１Ａ（Ｇ１１Ａ、Ｇ１２Ａ、Ｇ１３Ａ）及び２Ｄ仮想プローブｐｒ２の遷移例を示す図である。図１４は、ＭＰＲ画像Ｇ１Ａに対するスライス送り操作に応じた３次元画像Ｇ２Ａ（Ｇ２１Ａ、Ｇ２２Ａ、Ｇ２３Ａ）及び３Ｄ仮想プローブｐｒ１の遷移例を示す図である。

図１３では、スライス送り操作に伴って、ＭＰＲ画像Ｇ１ＡがＭＰＲ画像Ｇ１１Ａ、Ｇ１２Ａ、Ｇ１３Ａの順に変更している。図１４では、スライス送り操作に伴って、３次元画像Ｇ２Ａが３次元画像Ｇ２１Ａ、Ｇ２２Ａ、Ｇ２３Ａの順に変更している。なお、ＭＰＲ画像Ｇ１１Ａと３次元画像Ｇ２１Ａとが同じタイミングの被検体ｐｓを示し、ＭＰＲ画像Ｇ１２Ａと３次元画像Ｇ２２Ａとが同じタイミングの被検体ｐｓを示し、ＭＰＲ画像Ｇ１３Ａと３次元画像Ｇ２３Ａとが同じタイミングの被検体ｐｓを示す。

なお、図１３では、２Ｄ仮想プローブｐｒ２が被検体ｐｓの体表面ｐｓｆにあまり接していないようにも見えるが、輝度が高い白い部分の近傍の黒い部分には、被検体ｐｓの脂肪層が存在している。そのため、ＭＰＲ画像Ｇ１１Ａ，Ｇ１２Ａ，Ｇ１３Ａのいずれの画像においても、２Ｄ仮想プローブｐｒ２は、被検体ｐｓの体表面ｐｓｆに接している。

図１３及び図１４を参照すると、医用画像処理装置１００は、ＭＰＲ画像Ｇ１Ａに対してスライス送り操作が行われた場合でも、変更されたＭＰＲ面ＳＦのＭＰＲ画像Ｇ１Ａの位置や向きを示す仮想プローブｐｒ（３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２）が、体表面ｐｓｆから離れること抑制して、体表面ｐｓｆ上を移動することが理解できる。よって、医用画像処理装置１００は、実際の超音波検査において得られる超音波画像側を操作して、３次元空間における位置や向きを示す３Ｄ仮想プローブｐｒ１の位置や向きを、超音波画像側を操作に追従して更新できる。よって、ユーザは、ＭＰＲ画像Ｇ１Ａにおいて細かな操作を行いながら、被検体ｐｓ全体における部位を俯瞰して確認できる。なお、スライス送り操作として、ＭＰＲ画像Ｇ１を奥行き方向に平行移動させた例を示したが、仮想プローブ処理部１６３は、２Ｄ仮想プローブｐｒ２が画像上で動かないようにパンを伴いながら平行移動させてもよい。また、仮想プローブ処理部１６３は、スライス送り操作として、被検体ｐｓの体表に対して３Ｄ仮想プローブｐｒ１を当てる角度を固定して、ＭＰＲ画像Ｇ１を奥行き方向に移動させてもよい。

図１５は、ＭＰＲ画像Ｇ１に対するパン操作時の医用画像処理装置１００の動作例を示すフローチャートである。

処理部１６０は、各種パラメータを初期設定する（Ｓ３１）。つまり、処理部１６０は、仮想プローブｐｒの被検体ｐｓに接する面の中心座標Ｐ０、仮想プローブｐｒの向きＤ、ＭＰＲ面ＳＦの法線ベクトルＮに初期値を設定する。

ＵＩ１２０は、ＭＰＲ画像Ｇ１をＭＰＲ面ＳＦの面内でベクトルＳ移動させるための操作（パン操作）を受け付ける（Ｓ３２）。操作情報取得部１６４は、ＵＩ１２０を介して、このパン操作の情報を取得する。

画像生成部１６２は、パン操作を基に、仮想プローブｐｒの被検体ｐｓに接する新たな面の中心座標Ｐを導出（例えば算出）する（Ｓ３３）。この場合、画像生成部１６２は、座標Ｐ０から、Ｓ３２におけるＳの移動方向と逆方向にＳ移動させた（つまり逆方向に同じ距離移動させた）座標（座標Ｐ０－Ｓとも記載する）を通り、仮想プローブｐｒの向きＤに平行な直線上に位置し、被検体ｐｓの体幹部の輪郭（つまり体表面ｐｓｆ）との交点を、仮想プローブｐｒの被検体ｐｓに接する新たな面の中心座標Ｐとしてよい。

このように、ＭＰＲ画像Ｇ１を操作してＭＰＲ面ＳＦの面内でＭＰＲ画像Ｇ１の表示範囲を移動させるが、中心座標Ｐの位置は、ＭＰＲ画像Ｇ１の移動方向と逆方向に、ＭＰＲ画像Ｇ１の移動距離と同じ距離移動される。そのため、ＭＰＲ画像Ｇ１上では、２Ｄ仮想プローブｐｒ２の位置はあまり動かないように見える。

また、Ｓ３３において上記の中心座標Ｐが複数導出された場合、画像生成部１６２は、複数の中心座標Ｐのうち、座標Ｐ０－Ｓに近い座標を選択してよい。この場合、医用画像処理装置１００は、例えば体表面ｐｓｆを中心座標Ｐが連続的に移動するように決定できる。つまり、医用画像処理装置１００は、体表面ｐｓｆ上を仮想プローブｐｒが非連続的に移動することを抑制できる。例えば、ＣＴ装置２００によりＣＴ画像が撮像されてボリュームデータが得られる際に、仮想超音波の送出方向において、体幹部とともに腕部が存在するとする。この場合でも、医用画像処理装置１００は、体幹部から腕部に中心座標Ｐが非連続的に移動することを抑制して、体幹部において中心座標Ｐが連続的に移動するように調整できる。

また、Ｓ３３において上記の中心座標Ｐが存在しない場合、画像生成部１６２は、体幹部の輪郭（つまり体表面ｐｓｆ）上の点のうち、座標Ｐ０－Ｓに最も近い点を、仮想プローブｐｒの被検体ｐｓに接する新たな面の中心座標Ｐとしてよい。この場合、医用画像処理装置１００は、パン操作の操作量が多く、移動後のＭＰＲ画像Ｇ１上に座標Ｐ０－Ｓの位置が不在である場合でも、体表面ｐｓｆから２Ｄ仮想プローブｐｒ２が離れないように、２Ｄ仮想プローブｐｒ２の位置を移動させて、体表面ｐｓｆに２Ｄ仮想プローブｐｒ２を追従させることができる。また、ＭＰＲ画像Ｇ１上で２Ｄ仮想プローブｐｒ２の向きＤｍｐｒを固定する例を示したが、仮想プローブ処理部１６３は、被検体ｐｓの体表に対して３Ｄ仮想プローブｐｒ１を当てる角度を固定して、２Ｄ仮想プローブｐｒ２の向きＤｍｐｒを回転させてもよい。

画像生成部１６２は、中心座標Ｐ、仮想プローブｐｒの向きＤ、法線ベクトルＮを基に、新たなＭＰＲ面ＳＦを決定し、新たなＭＰＲ面ＳＦの新たなＭＰＲ画像Ｇ１を生成する（Ｓ３４）。

仮想プローブ処理部１６３は、中心座標Ｐ、仮想プローブｐｒの向きＤ、法線ベクトルＮを基に、新たな３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２を生成する。表示制御部１６６は、新たな３Ｄ仮想プローブｐｒ１を、３次元画像Ｇ２上に表示させる（Ｓ３５）。表示制御部１６６は、新たな２Ｄ仮想プローブｐｒ２を、ＭＰＲ画像Ｇ１上に表示させる（Ｓ３５）。

なお、ＭＰＲ画像Ｇ１に対するパン操作が継続される場合、操作情報取得部１６４によってＵＩ１２０を介して、パン操作の情報の取得が継続される。この場合、処理部１６０は、Ｓ３２～Ｓ３５の処理を反復してよい。

このように、医用画像処理装置１００は、ＭＰＲ画像Ｇ１に対するパン操作時の動作により、被検体のｐｓの体表を滑らすように３Ｄ仮想プローブをｐｒ１及び２Ｄ仮想プローブｐｒ２を移動させる。この場合、医用画像処理装置１００は、中心座標Ｐの位置を微調整することで、３Ｄ仮想プローブをｐｒ１及び２Ｄ仮想プローブｐｒ２を体表に追従させることができる。よって、医用画像処理装置１００は、移動後においても仮想プローブｐｒが体表面ｐｓｆから離れずに、体表面に沿って移動させることができる。よって、ユーザは、体表面ｐｓｆ上を滑らせて超音波診断を行う場合と同様の部位の画像を、ＭＰＲ画像Ｇ１に対するパン操作を基点として簡単に得ることができる。

図１６は、比較例におけるパン操作に応じたＭＰＲ画像Ｇ１Ｂｘ（Ｇ１１Ｂｘ、Ｇ１２Ｂｘ、Ｇ１３Ｂｘ）及び２Ｄ仮想プローブｐｒ２ｘの遷移を示す図である。

図１６では、パン操作によりＭＰＲ画像Ｇ１ＢｘをＭＰＲ面ＳＦｘ内でいずれかの方向に移動すると、ディスプレイ１３０に表示されるＭＰＲ画像Ｇ１１Ｂｘ上の各点の位置が移動する。図１６では、ＭＰＲ画像Ｇ１１Ｂｘ、Ｇ１２Ｂｘ、Ｇ１３Ｂｘ、・・・の順に変更される。この場合、ＭＰＲ面ＳＦｘの面内の移動に伴って、２Ｄ仮想プローブｐｒ２ｘが移動する。つまり、パン操作に応じて２Ｄ仮想プローブｐｒ２ｘのディスプレイ１３０における表示位置が同様に変化する。そのため、パン操作に応じて２Ｄ仮想プローブｐｒ２ｘを動かすことができなくなってしまう。

また、比較例として、パン操作によりＭＰＲ画像Ｇ１ＢｘをＭＰＲ面ＳＦｘ内でいずれかの方向に移動する場合に、２Ｄ仮想プローブｐｒ２ｘが全く追従して動かず、２Ｄ仮想プローブｐｒ２ｘのディスプレイ１３０における表示位置が全く動かず、静止したままとされることも考えられる。この場合は、２Ｄ仮想プローブｐｒ２ｘが体表面ｐｓｆから離れてしまい、超音波プローブをあてるべき場所を検討するには不適切となる。

図１７は、本実施形態におけるＭＰＲ画像Ｇ１Ｂに対するパン操作に応じたＭＰＲ画像Ｇ１Ｂ（Ｇ１１Ｂ、Ｇ１２Ｂ、Ｇ１３Ｂ）及び２Ｄ仮想プローブｐｒ２の遷移例を示す図である。図１８は、本実施形態におけるＭＰＲ画像Ｇ１Ｂに対するパン操作に応じた３次元画像Ｇ２Ｂ（Ｇ２１Ｂ、Ｇ２２Ｂ、Ｇ２３Ｂ）及び３Ｄ仮想プローブｐｒ１の遷移例を示す図である。

図１７では、パン操作によりＭＰＲ画像Ｇ１１ＢをＭＰＲ面ＳＦ内でいずれかの方向に移動すると、ディスプレイ１３０に表示されるＭＰＲ画像Ｇ１１Ｂの各点の位置が移動する。図１７では、ＭＰＲ画像Ｇ１Ｂは、ＭＰＲ画像Ｇ１１Ｂ、Ｇ１２Ｂ、Ｇ１３Ｂ、・・・の順に遷移する。この場合、２Ｄ仮想プローブｐｒ２は、ＭＰＲ画像Ｇ１のＭＰＲ面ＳＦ内での平行移動と逆方向に、同じ移動距離で移動する。また、２Ｄ仮想プローブｐｒ２は、体表面ｐｓｆ上の点に２Ｄ仮想プローブｐｒ２が接した状態を維持して移動する。

このように、図１７では、表示制御部１６６は、ＭＰＲ画像Ｇ１Ｂに対してパン操作した場合、体表面ｐｓｆを滑らすように仮想プローブｐｒを移動させて表示させる。この場合、２Ｄ仮想プローブｐｒ２の左右方向の中央は、ＭＰＲ画像Ｇ１Ｂの左右方向の中央に位置を合わせて固定し、２Ｄ仮想プローブｐｒ２の上下方向の中央は、体表に沿って移動する。

よって、医用画像処理装置１００は、なるべくディスプレイ１３０に対する２Ｄ仮想プローブｐｒ２の表示位置の変化を抑制しながら、体表面ｐｓｆに対する２Ｄ仮想プローブｐｒ２の接触状態を維持できる。したがって、医用画像処理装置１００は、操作後の２Ｄ仮想プローブｐｒ２を用いて超音波プローブをあてるべき場所を検討するのに用いることができる。

図１８では、パン操作によりＭＰＲ画像Ｇ１１ＢをＭＰＲ面ＳＦ内でいずれかの方向に移動すると、３次元画像Ｇ２１Ｂは、移動せずに、３Ｄ仮想プローブｐｒ１の表示位置が変化する。つまり、３Ｄ仮想プローブｐｒ１から送出される仮想超音波の送出位置が、パン操作に応じて変化していることを示している。図１８では、３次元画像Ｇ２Ｂは、３次元画像Ｇ２１Ｂ、Ｇ２２Ｂ、Ｇ２３Ｂ、・・・の順に遷移し、それぞれ、ＭＰＲ画像Ｇ１１Ｂ、Ｇ１２Ｂ、Ｇ１３Ｂ、・・・に対応する。よって、ユーザは、３次元画像Ｇ２Ｂとともに３Ｄ仮想プローブｐｒ１の位置や向きを確認することで、３次元画像Ｇ２Ｂに対するＭＰＲ画像Ｇ１Ｂの位置や向きを容易に把握できる。

なお、仮想プローブｐｒの向きＤｍｐｒが－ｖ方向（図９参照）を向いており、ＭＰＲ画像Ｇ１Ｂがｖ方向にパン操作に応じてＭＰＲ面ＳＦに沿って平行移動する場合、仮想プローブｐｒは、＋ｖ方向に移動してよい。また、仮想プローブｐｒの向きＤｍｐｒが－ｖ方向を向いており、ＭＰＲ画像Ｇ１Ｂがｖ方向に垂直なｕ方向にパン操作に応じてＭＰＲ面ＳＦに沿って平行移動する場合、仮想プローブｐｒは、ｕ方向に移動せず、体表面ｐｓｆに沿ってｖ方向に移動してよい。

図１９は、ＭＰＲ画像Ｇ１に対する回転操作時の医用画像処理装置１００の動作例を示すフローチャートである。

処理部１６０は、各種パラメータを初期設定する（Ｓ４１）。つまり、処理部１６０は、仮想プローブｐｒの被検体ｐｓに接する面の中心座標Ｐ０、仮想プローブｐｒの向きＤ０、ＭＰＲ面ＳＦの法線ベクトルＮ、仮想プローブｐｒの被検体ｐｓに接する面の２次元平面（ＭＰＲ面ＳＦ）での中心座標Ｐｍｐｒ、仮想プローブｐｒの２次元平面（ＭＰＲ面ＳＦ）での向きＤｍｐｒ０、に初期値を設定する。

ＵＩ１２０は、ＭＰＲ画像Ｇ１をＭＰＲ面ＳＦ内で角度ψ回転させるための操作（回転操作）を受け付ける（Ｓ４２）。操作情報取得部１６４は、ＵＩ１２０を介して、この回転操作の情報を取得する。

画像生成部１６２は、回転操作を基に、仮想プローブｐｒの２次元平面（ＭＰＲ面ＳＦ）での向きＤｍｐｒを導出（例えば算出）する（Ｓ４３）。この場合、画像生成部１６２は、回転操作前の２Ｄ仮想プローブｐｒ２の向きＤｍｐｒ０から、２次元平面において角度ψ回転させた場合の２Ｄ仮想プローブｐｒ２の向きＤｍｐｒを算出してよい。

画像生成部１６２は、回転操作を基に、仮想プローブｐｒの３次元空間での向きＤを導出（例えば算出）する（Ｓ４４）。この場合、画像生成部１６２は、回転操作前の３Ｄ仮想プローブｐｒ１の向きＤ０から、３次元空間において、ＭＰＲ面ＳＦの法線ベクトルＮを軸として、角度ψ回転させた場合の３Ｄ仮想プローブｐｒ１の３次元空間での向きＤを算出してよい。

画像生成部１６２は、中心座標Ｐ０、仮想プローブｐｒの向きＤ、法線ベクトルＮを基に、ＭＰＲ面ＳＦ内で回転された新たなＭＰＲ画像Ｇ１を生成する（Ｓ４５）。

仮想プローブ処理部１６３は、中心座標Ｐ０、仮想プローブｐｒの向きＤ、法線ベクトルＮを基に、新たな３Ｄ仮想プローブｐｒ１を生成する。仮想プローブ処理部１６３は、中心座標Ｐ０、仮想プローブｐｒの向きＤｍｐｒ、法線ベクトルＮを基に、新たな２Ｄ仮想プローブｐｒ２を生成する。表示制御部１６６は、新たな３Ｄ仮想プローブｐｒ１を、３次元画像Ｇ２上に表示させる（Ｓ４６）。表示制御部１６６は、新たな２Ｄ仮想プローブｐｒ２を、ＭＰＲ画像Ｇ１上に表示させる（Ｓ４６）。

なお、ＭＰＲ画像Ｇ１に対する回転操作が継続される場合、操作情報取得部１６４によってＵＩ１２０を介して、回転操作の情報の取得が継続される。この場合、処理部１６０は、Ｓ４２～Ｓ４６の処理を反復してよい。

このように、医用画像処理装置１００は、ＭＰＲ画像Ｇ１に対する回転操作時の動作により、例えば仮想プローブｐｒと体表面ｐｓｆとの接触点を固定して、この接触点を基準にＭＰＲ画像Ｇ１を回転できる。つまり、中心座標Ｐの位置が変化しなくてよい。なお、回転操作時には、仮想プローブｐｒを体表に追従させなくても、仮想プローブｐｒの表示の更新を実施できる。

図２０は、比較例における回転操作に応じたＭＰＲ画像Ｇ１Ｃｘ（Ｇ１１Ｃｘ、Ｇ１２Ｃｘ、Ｇ１３Ｃｘ）及び２Ｄ仮想プローブｐｒ２ｘの遷移を示す図である。

図２０では、回転操作によりＭＰＲ画像Ｇ１ＣｘがＭＰＲ面ＳＦｘ内で回転すると、ディスプレイ１３０に表示されるＭＰＲ画像Ｇ１Ｃｘの各点の位置が、ＭＰＲ画像Ｇ１Ｃｘ上の基準点を中心に回転する。図１６では、ＭＰＲ画像Ｇ１１Ｃｘ、Ｇ１２Ｃｘ、Ｇ１３Ｃｘ、・・・の順に遷移する。この場合、ＭＰＲ面ＳＦｘの面内で体表面ｐｓｆｘでの回転に伴って、３次元画像Ｇ２Ｃｘ上の３Ｄ仮想プローブｐｒ１ｘが回転する。つまり、回転操作に応じて、２Ｄ仮想プローブｐｒ２ｘのディスプレイ１３０における２Ｄ仮想プローブｐｒ２ｘの向きが、ＭＰＲ画像Ｇ１Ｃｘの回転と同様に変化する。そのため、ＭＰＲ画像Ｇ１に対する回転操作に応じて２Ｄ仮想プローブｐｒ２ｘを回転させることができなくなってしまう。

図２１は、本実施形態におけるＭＰＲ画像Ｇ１Ｃに対する回転操作に応じたＭＰＲ画像Ｇ１Ｃ（Ｇ１１Ｃ、Ｇ１２Ｃ、Ｇ１３Ｃ）及び２Ｄ仮想プローブｐｒ２の遷移例を示す図である。図２２は、本実施形態におけるＭＰＲ画像Ｇ１Ｃに対する回転操作に応じた３次元画像Ｇ２Ｃ（Ｇ２１Ｃ、Ｇ２２Ｃ、Ｇ２３Ｃ）及び３Ｄ仮想プローブｐｒ１の遷移例を示す図である。

図２１では、回転操作によりＭＰＲ画像Ｇ１１ＣをＭＰＲ面ＳＦ内でいずれかの方向に回転すると、ディスプレイ１３０に表示されるＭＰＲ画像Ｇ１１Ｂの各点の位置が、２Ｄ仮想プローブｐｒ２の位置（例えば２Ｄ仮想プローブｐｒ２の超音波の送出位置（下面ｄｓの中心座標Ｐ））を中心に、回転する。なお、ここでの回転の中心は、下面ｄｓの中心座標Ｐの１点に限らず、下面ｄｓの中心座標Ｐ近傍の範囲でよく、下面ｄｓの中心座標Ｐからある程度の幅をもってよい。図２１では、ＭＰＲ画像Ｇ１Ｃは、ＭＰＲ画像Ｇ１１Ｃ、Ｇ１２Ｃ、Ｇ１３Ｃ、・・・の順に遷移する。一方、図２１では、２Ｄ仮想プローブｐｒ２は、ＭＰＲ画像Ｇ１のＭＰＲ面ＳＦ内での回転に関わらず、回転しない。つまり、図２１では、２Ｄ仮想プローブｐｒ２では、仮想超音波の送出方向が下方向で一定となっている。したがって、２Ｄ仮想プローブｐｒ２が被検体ｐｓの体表面ｐｓｆに対して反時計回り（左回り）に回転しているが、図２１では、２Ｄ仮想プローブｐｒ２が回転せずに、２Ｄ仮想プローブｐｒ２に対して被検体ｐｓが時計回り（右回り）に相対的に回転しているように見える。

また、２Ｄ仮想プローブｐｒ２は、体表面ｐｓｆ上の点に２Ｄ仮想プローブｐｒ２が接した状態を維持して、回転する。よって、医用画像処理装置１００は、観察対象の被検体ｐｓをＭＰＲ面ＳＦに沿って様々な角度から確認でき、体表面ｐｓｆに対する２Ｄ仮想プローブｐｒ２の接触状態を維持できる。

したがって、医用画像処理装置１００は、操作後の２Ｄ仮想プローブｐｒ２の位置や向きの表示の正確性を向上でき、３次元画像Ｇ２と回転操作後のＭＰＲ画像Ｇ１との相対的な位置や向きがずれることを抑制できる。

図２２では、回転操作によりＭＰＲ画像Ｇ１１ＣをＭＰＲ面ＳＦ内でいずれかの方向に回転すると、３次元画像Ｇ２１Ｃは、回転せずに、３Ｄ仮想プローブｐｒ１の表示向きが変化する。つまり、３Ｄ仮想プローブｐｒ１から送出される仮想超音波の送出方向が、回転操作に応じて変化していることを示している。図２１では、３次元画像Ｇ２Ｃは、３次元画像Ｇ２１Ｃ、Ｇ２２Ｃ、Ｇ２３Ｃ、・・・の順に遷移し、それぞれ、ＭＰＲ画像Ｇ１１Ｃ、Ｇ１２Ｃ、Ｇ１３Ｃ、・・・に対応する。よって、ユーザは、３次元画像Ｇ２Ｃとともに３Ｄ仮想プローブｐｒ１の位置や向きを確認することで、３次元画像Ｇ２Ｃに対するＭＰＲ画像Ｇ１Ｃの位置や向きを容易に把握できる。

このように、本実施形態の医用画像処理装置１００によれば、ユーザが、ＵＩ１２０を介してＭＰＲ画像Ｇ１の位置や向きを操作することで、ＭＰＲ画像Ｇ１が表現する３次元画像やＭＰＲ画像Ｇ１と３次元画像Ｇ２との位置関係を示す仮想プローブｐｒの表示を更新できる。よって、医用画像処理装置１００は、受け付けた操作（例えばスライス送り操作、パン操作、回転操作）に応じて、ＭＰＲ画像Ｇ１の位置や向きが３次元画像においてどの位置や向きであるかを、仮想プローブｐｒの位置や向きにより示すことができる。よって、ユーザは、仮想プローブｐｒの向きや位置を確認することで、位置関係を容易に把握できる。

よって、例えば、ユーザは、ディスプレイ１３０に表示されたＭＰＲ画像Ｇ１で被検体ｐｓ内を観察しつつ、詳細な確認を要する部位が存在する場合には、ディスプレイ１３０に表示された３次元画像Ｇ２において当該部位を俯瞰して観察することができる。

医用画像処理装置１００は、仮想超音波診断を行うための画像処理に用いることができる。仮想超音波診断は、仮想的な経食道超音波診断を含んでよい。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

第１の実施形態では、領域抽出部１６１は、被検体ｐｓの腕部を除いて、体幹部を抽出してよい。つまり、領域抽出部１６１は、腕部を除く体幹部を抽出するためのアルゴリズムを実行してよい。これにより、ＭＰＲ画像Ｇ１に対するユーザ操作に応じて、例えば体幹部に含まれる胴体部から腕部に非連続的に仮想プローブｐｒが移動することを抑制できる。

第１の実施形態では、領域抽出部１６１が、被検体ｐｓの体幹部の輪郭（つまり体表面ｐｓｆ）全体をまとめて抽出することを例示したが、これに限られない。領域抽出部１６１は、操作情報取得部１６４によりＭＰＲ画像Ｇ１に対する操作の情報が取得された場合に、仮想プローブｐｒ近傍における体幹部の輪郭に範囲を限定して、体幹部の輪郭を抽出してもよい。そして、領域抽出部１６１は、ＭＰＲ画像Ｇ１に対する操作に応じて、移動した仮想プローブｐｒ近傍における体幹部の輪郭を順次抽出してよい。これにより、被検体ｐｓの体幹部の輪郭のうち、例えば仮想プローブｐｒと人体との接触点の導出に不要な輪郭の部分については、輪郭抽出を省略できる。この場合でも、医用画像処理装置１００は、３Ｄ仮想プローブｐｒ１の位置や向きをＭＰＲ画像Ｇ１上や３次元画像Ｇ２上で規定しつつ、処理部１６０による演算量を低減できる。

第１の実施形態では、領域抽出部１６１が、領域拡張法に従って体幹部の輪郭を抽出することを例示したが、他の手法で体幹部の輪郭を抽出してもよい。例えば、領域抽出部１６１は、レイキャスト画像を導出する際に用いられる反射光が発生した座標や、反射光が閾値ｔｈ１以上蓄積された座標を、体幹部の輪郭として導出（例えば算出）してよい。これにより、医用画像処理装置１００は、体幹部の輪郭を導出するための演算とレイキャスト画像を生成するための演算との一部を共用でき、処理部１６０の演算量を低減できる。

第１の実施形態では、３次元画像Ｇ２上の３Ｄ仮想プローブｐｒ１の形状として、図４Ａに示した形状を例示したが、これに限られない。例えば、３Ｄ仮想プローブｐｒ１は、仮想超音波の送出位置（送出開始位置）と送出方向を示す矢印で示されてよい。また、３Ｄ仮想プローブｐｒ１は、仮想超音波の送出開始位置と仮想超音波の通過位置とを示す２点で示されてもよい。例えば、３Ｄ仮想プローブｐｒ１を仮想超音波の送出開始位置の１点と、ターゲット内の１点とを示す２点で示されてもよい。これらの場合でも、仮想超音波が送出される位置と向きを十分に認識可能であり、３Ｄ仮想プローブｐｒ１を簡略化可能である。

第１の実施形態では、ＭＰＲ画像Ｇ１上の２Ｄ仮想プローブｐｒ２の形状として、図４Ｂに示した形状を例示したが、これに限られない。例えば、２Ｄ仮想プローブｐｒ２は、ＭＰＲ画像Ｇ１における仮想超音波の送出位置（送出開始位置）と送出方向を示す矢印で示されてよい。また、２Ｄ仮想プローブｐｒ２は、ＭＰＲ画像Ｇ１上での超音波の送出方向（例えば画像上で下方向）が予め固定的に定まっている場合、仮想超音波の送出位置を示す１点で示されてもよい。よって、２Ｄ仮想プローブｐｒ２を簡略化可能である。

また、ＭＰＲ画像Ｇ１の中心点の座標を用いて、仮想超音波の送出位置及び送出向きを暗に表現することで、ＭＰＲ画像Ｇ１上に２Ｄ仮想プローブｐｒ２が明示されなくてもよい。暗に表現することには、穿刺の線をディスプレイ１３０に表示すること、仮想超音波画像を示唆する扇状の枠をディスプレイ１３０に表示すること、等が含まれてよい。

このように、２Ｄ仮想プローブｐｒ２は、ディスプレイ１３０に表示されても表示されなくてもよい。表示制御部１６６は、２Ｄ仮想プローブｐｒ２の表示の有無を決定してよく、表示の有無を切り替えてもよい。これにより、医用画像処理装置１００は、ユーザの意図に沿って、２Ｄ仮想プローブｐｒ２の表示の有無を決定できる。

第１の実施形態では、仮想プローブ処理部１６３は、ＭＰＲ画像Ｇ１に対する操作に応じて３次元画像Ｇ２と３Ｄ仮想プローブｐｒ１との表示を更新する場合、３次元画像Ｇ２上の３Ｄ仮想プローブｐｒ１の向きＤと、被検体ｐｓの体表面ｐｓｆの法線の向きと、の成す角度が維持されるように、３Ｄ仮想プローブｐｒ１を生成してよい。３Ｄ仮想プローブｐｒ１の向きＤは、ＭＰＲ面ＳＦと平行でよい。３Ｄ仮想プローブｐｒ１の向きＤと、被検体ｐｓの体表面ｐｓｆの法線の向きとは、平行でも平行でなくてもよい。

この場合、仮想プローブ処理部１６３は、被検体ｐｓの体幹部を円筒に見立て、体幹部の円周方向に３Ｄ仮想プローブｐｒ１が移動する場合、３Ｄ仮想プローブｐｒ１の向きを回転させて（つまり可変して）よい。また、仮想プローブ処理部１６３は、被検体ｐｓの体幹部を円筒に見立て、体幹部の軸方向に３Ｄ仮想プローブｐｒ１が移動する場合、３Ｄ仮想プローブｐｒ１の向きを固定してよい。また、逆に、体幹部の円周方向に３Ｄ仮想プローブｐｒ１が移動する場合に、３Ｄ仮想プローブｐｒ１の向きを固定とし、体幹部の軸方向に３Ｄ仮想プローブｐｒ１が移動する場合に３Ｄ仮想プローブｐｒ１の向きを可変としてもよい。

また、仮想プローブ処理部１６３は、体幹部を円筒に見立て、体幹部の円周方向に３Ｄ仮想プローブｐｒ１が移動する場合、被検体ｐｓの体表の法線の向きを回転させて（つまり可変して）よい。また、仮想プローブ処理部１６３は、被検体ｐｓの体幹部を円筒に見立て、体幹部の軸方向に３Ｄ仮想プローブｐｒ１が移動する場合、被検体ｐｓの体表の法線の向きを固定してよい。また、逆に、体幹部の円周方向に３Ｄ仮想プローブｐｒ１が移動する場合に、被検体ｐｓの体表の法線の向きを固定とし、体幹部の軸方向に３Ｄ仮想プローブｐｒ１が移動する場合に、被検体ｐｓの体表の法線の向きを可変としてもよい。

これにより、仮想プローブ処理部１６３は、上記の角度を維持するか否かを決定してよい。上記の角度を維持することで、ユーザは、ＭＰＲ画像Ｇ１に対する操作に依存せずに、３次元の被検体ｐｓに対するＭＰＲ画像Ｇ１の向きを認識し易くできる。また、上記の角度を維持しないことで、ユーザは、ＭＰＲ画像Ｇ１に対する操作に応じて、３次元の被検体ｐｓに対するＭＰＲ画像Ｇ１の向きを様々に変更しながら、被検体ｐｓを観察できる。

第１の実施形態は、被検体ｐｓの体表の代わりに、被検体ｐｓの内腔に適用されてもよい。つまり、ＭＰＲ画像Ｇ１に対する操作に応じて、ＭＰＲ画像Ｇ１が移動したり回転したりして、３Ｄ仮想プローブｐｒ１，２Ｄ仮想プローブｐｒ２が、内腔に接触して、内腔に沿って、移動したり回転したりしてよい。また、被検体ｐｓの体表は、体幹部に限定されず、頭部や四肢の体表であってもよい。また、被検体ｐｓの体表の代わりに、臓器表面であってもよい。また、被検体ｐｓの体幹部は、腹部から胸頸部であってよい。

第１の実施形態では、画像生成部１６２は、レイキャスト法、体幹部領域に限定したＭＩＰ法、体幹部領域に限定したＲａｙＳＵＭ、体幹部表面のサーフィスを含むサーフェスレンダリング法、等のいずれの方法で可視化してもよい。また、上記の体幹部領域に対する限定などはなくてもよい。３Ｄ仮想プローブｐｒ１が体表に沿って移動しつつも、画像生成部１６２は、患部や患部周辺の臓器のみ可視化してよい。

第１の実施形態では、画像生成部１６２は、ＭＰＲ画像として、いわゆる厚み付きＭＰＲ画像、厚みの範囲でＳＵＭを行う厚み付きＭＰＲ画像、厚みの範囲でＳＵＭを行う厚み付きＭＩＰ画像、等のいずれの方法で可視化してもよい。また、画像生成部１６２は、ＭＰＲ画像として、ボリュームデータから反射波をシミュレートしたり辺縁部の歪みを加えたりするなどの加工を施した、いわゆる疑似超音波画像で可視化してもよい。

第１の実施形態では、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時に医用画像処理装置１００のポート１１０が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体（不図示）を介して取得してもよい。

第１の実施形態では、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へポート１１０を経由して送信されることを例示した。これは、実質的にＣＴ装置２００と医用画像処理装置１００とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置１００がＣＴ装置２００のコンソールとして扱われている場合も含む。

第１の実施形態では、ＣＴ装置２００により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、血管造影装置（Angiography装置）、又はその他のモダリティ装置を含む。また、ＰＥＴ装置は、他のモダリティ装置と組み合わせて用いられてもよい。

第１の実施形態では、被検体として人体を例示したが、動物の体でもよい。

本開示は、第１の実施形態の医用画像処理装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介して医用画像処理装置に供給し、医用画像処理装置内のコンピュータが読み出して実行するプログラムも適用範囲である。

以上のように、上記実施形態の医用画像処理装置１００では、取得部（例えばポート１１０）は、被検体ｐｓのボリュームデータを取得する。処理部１６０は、ボリュームデータをレンダリングした画像である３次元画像Ｇ２を、表示部（例えばディスプレイ１３０）に表示させる。処理部１６０は、３次元画像Ｇ２上に、被検体ｐｓの体表（例えば体表面ｐｓｆ）上の点（例えば中心座標Ｐ）と、ボリュームデータに対するベクトルの向き（例えば仮想プローブｐｒの向きＤ）と、を表現する第１のオブジェクト（例えば３Ｄ仮想プローブｐｒ１）を、表示部に表示させる。処理部１６０は、ボリュームデータにおける面であって、体表上の点を含みベクトルの向きを基に決定される面（例えばＭＰＲ面ＳＦ）における画像である２次元画像（例えばＭＰＲ画像Ｇ１）を、表示部に表示させる。処理部１６０は、２次元画像の表示を変更するための第１の操作の情報を取得する。処理部１６０は、上記の第１の操作を基に、体表上の点を被検体ｐｓの体表に沿って移動させ、第１のオブジェクト及び前記２次元画像の表示を更新する。

これにより、ユーザは、例えば診断の際に、２次元画像を用いて被検体ｐｓを観察し、被検体ｐｓにおける病変等の正確な位置を理解し易くなる。また、ユーザは、３次元画像Ｇ２を用いて、被検体ｐｓ全体を俯瞰して観察できる。この場合に、ユーザは、２次元画像が３次元画像Ｇ２においてどの位置やどの向きに対応するかを把握できる。

また、医用画像処理装置１００は、３次元画像Ｇ２上の３Ｄ仮想プローブｐｒ１の位置を、被検体ｐｓの体表に沿って追従させることで、被検体ｐｓの観察をし易い状態を維持できる。よって、ユーザの利便性が向上する。

また、２次元画像上での移動操作では、２次元平面が考慮されるので、３次元画像の表面が通常考慮されない。これに対し、医用画像処理装置１００は、２次元画像における操作に合わせて３次元画像Ｇ２上で３Ｄ仮想プローブｐｒ１を追従させることで、被検体ｐｓにおける表面（体表面ｐｓｆ）を認識できる。また、ユーザは、３次元画像Ｇ２に対してではなく、２次元画像に対して操作するので、移動に関する方向を認識し易く、細かい操作がし易くなる。

したがって、ユーザが２次元画像を操作して表示を更新する場合、更新後の２次元画像が３次元画像Ｇ２においてどの位置やどの向きに対応するかを把握し易くなる。

また、上記の第１の操作は、２次元画像が示される面（例えばＭＰＲ面ＳＦ）をスライス送りするための操作を含んでよい。

これにより、医用画像処理装置１００は、操作部（例えばＵＩ１２０）を介して２次元画像に対してスライス送り操作を行った場合でも、操作後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できる。

これにより、医用画像処理装置１００は、操作部（例えばＵＩ１２０）を介して２次元画像に対してスライス送り操作を行うことによって、仮想プローブのｐｒ１の位置を容易に動かすことができる。

また、上記の第１の操作は、面（例えばＭＰＲ面ＳＦ）において２次元画像の表示範囲を平行移動するための操作を含んでよい。

これにより、医用画像処理装置１００は、操作部（例えばＵＩ１２０）を介して２次元画像に対してパン操作を行った場合でも、操作後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できる。

これにより、医用画像処理装置１００は、操作部（例えばＵＩ１２０）を介して２次元画像に対してパン操作を行うことによって、仮想プローブのｐｒ１の位置を容易に動かすことができる。

また、処理部１６０は、第１の操作に加え、面（例えばＭＰＲ面ＳＦ）において２次元画像を回転するための第２の操作の情報を取得してよい。処理部１６０は、第２の操作を基に、体表上の点を固定して、３次元画像上の第１のオブジェクトと、２次元画像と、を更新してよい。

これにより、医用画像処理装置１００は、操作部（例えばＵＩ１２０）を介して２次元画像に対して回転操作を行った場合でも、操作後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できる。また、医用画像処理装置１００は、体表上の点を固定して２次元画像を回転することで、ユーザは、同じ２次元画像を回転して任意の方向から観察でき、観察し易くなる。

これにより、医用画像処理装置１００は、操作部（例えばＵＩ１２０）を介して２次元画像に対して回転操作を行うことによって、仮想プローブのｐｒ１の向きを容易に動かすことができる。

また、処理部１６０は、被検体ｐｓのボリュームデータから体幹部のボリュームデータを抽出し、体幹部のボリュームデータの３次元画像及び２次元画像を生成してよい。

これにより、医用画像処理装置１００は、２次元画像が描画される面（例えばＭＰＲ面ＳＦ）と被検体ｐｓの体表との交点が複数発生することを抑制できる。よって、２次元画像に対する操作に伴って、３次元画像上の第１のオブジェクトが非連続的に移動し、２次元画像で表現される被検体ｐｓの部位が大きく変化することを抑制できる。よって、ユーザは、２次元画像に対する操作を行いながら、被検体ｐｓを観察し易くなる。

また、処理部１６０は、上記の操作を基に、ベクトルの向きと体表に対する法線の向きとの成す角度を維持して、第１のオブジェクト及び２次元画像の表示を更新してよい。

これにより、ユーザは、医用画像処理装置１００が上記の角度を維持することで、ＭＰＲ画像Ｇ１に対する操作に依存せずに、３次元の被検体ｐｓに対するＭＰＲ画像Ｇ１の向きを認識し易くできる。

これにより、ユーザは、医用画像処理装置１００が上記の角度を維持することで、超音波プローブで患者の体表をなぞる動きに近い動作をすることによって、観察しやすくなる。

また、処理部１６０は、上記の操作を基に、向きのベクトルの向きを維持して、第１のオブジェクト及び２次元画像の表示を更新してよい。

これにより、ユーザは、医用画像処理装置１００が向きのベクトルの向きを維持することで、ＭＰＲ画像Ｇ１に対する操作に依存せずに、３次元の被検体ｐｓに対するＭＰＲ画像Ｇ１の向きを認識し易くできる。

これにより、ユーザは、医用画像処理装置１００がベクトルの向きを維持することで、超音波プローブで患者の体表をなぞる動きに近い動作をすることによって、観察しやすくなる。

また、処理部１６０は、２次元画像において、被検体ｐｓの体表上の点と、向きのベクトルと、を表現する第２のオブジェクト（例えば２Ｄ仮想プローブｐｒ２）を、表示部に表示させてよい。

これにより、医用画像処理装置１００は、２次元画像とともに、第１のオブジェクトと同様に位置や向きを示す第２のオブジェクトを表示できる。よって、ユーザは、３次元画像における２次元画像の位置や向きの情報を、２次元画像上で確認できる。したがって、ユーザの利便性が向上する。

また、向きのベクトルは、仮想超音波の送出方向を示してよい。上記の面は、仮想超音波が通過する通路に沿った面を示してよい。

これにより、医用画像処理装置１００は、仮想超音波に関する向きのベクトルや面を設定できる。よって、ユーザが仮想超音波画像を用いた診断を行う場合に、２次元画像が３次元画像Ｇ２においてどの位置やどの向きに対応するかを把握し易くなる。

本開示は、ユーザが２次元画像を操作して表示を更新する場合、変更後の２次元画像が３次元画像においてどの位置やどの向きに対応するかを把握できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム等に有用である。

１００ 医用画像処理装置
１１０ ポート
１２０ ユーザインタフェース（ＵＩ）
１３０ ディスプレイ
１４０ プロセッサ
１５０ メモリ
１６０ 処理部
１６１ 領域抽出部
１６２ 画像生成部
１６３ 仮想プローブ処理部
１６４ 操作情報取得部
１６６ 表示制御部
２００ ＣＴ装置
Ｇ１ ＭＰＲ画像
Ｇ２ ３次元画像
ｐｒ 仮想プローブ
ｐｒ１ ３Ｄ仮想プローブ
ｐｒ２ ２Ｄ仮想プローブ
ＳＦ ＭＰＲ面

Claims (11)

1. 取得部と処理部を備える医用画像処理装置であって、
   前記取得部は、被検体のボリュームデータを取得し、
   前記処理部は、
   前記ボリュームデータをレンダリングした画像である３次元画像を、表示部に表示させ、
   前記３次元画像上に、前記被検体の体表上の点と、前記ボリュームデータに対する向きのベクトルと、を表現する第１のオブジェクトを、前記表示部に表示させ、
   前記ボリュームデータにおける面であって、前記体表上の点を含み前記向きのベクトルを基に決定される面における画像である２次元画像を、前記表示部に表示させ、
   ３次元空間における前記２次元画像の位置を変更するための前記２次元画像に対する第１の操作の情報を取得し、
   前記第１の操作における３次元空間上の位置の変更の情報を基に、前記体表上の点を前記被検体の体表に沿って移動させ、移動後の前記体表上の点を基に、前記第１のオブジェクト及び前記２次元画像の表示を更新する、
   医用画像処理装置。
2. 前記第１の操作は、前記２次元画像が示される前記面をスライス送りするための操作を含む、
   請求項１に記載の医用画像処理装置。
3. 前記第１の操作は、前記面において前記２次元画像の表示範囲を平行移動するための操作を含む、
   請求項１または２に記載の医用画像処理装置。
4. 前記処理部は、
   前記第１の操作に加え、前記面において前記２次元画像を回転するための第２の操作の情報を取得し、
   前記第２の操作を基に、前記体表上の点を回転中心として、前記面に沿って、前記３次元画像上の前記第１のオブジェクトを回転させるとともに、前記２次元画像を回転させる、
   請求項１～３のいずれか１項に記載の医用画像処理装置。
5. 前記処理部は、
   前記被検体のボリュームデータから体幹部のボリュームデータを抽出し、
   前記体幹部のボリュームデータの前記３次元画像及び前記２次元画像を生成する、
   請求項１～４のいずれか１項に記載の医用画像処理装置。
6. 前記処理部は、前記移動後の体表上の点を基にし、更に、前記向きのベクトルと前記体表に対する法線の向きとの成す角度を維持して、前記第１のオブジェクト及び前記２次元画像の表示を更新する、
   請求項１～５のいずれか１項に記載の医用画像処理装置。
7. 前記処理部は、前記移動後の体表上の点を基にし、更に、前記向きのベクトルの向きを維持して、前記第１のオブジェクト及び前記２次元画像の表示を更新する、
   請求項１～５のいずれか１項に記載の医用画像処理装置。
8. 前記処理部は、前記２次元画像において、前記被検体の体表上の点と、前記向きのベクトルと、を表現する第２のオブジェクトを、前記表示部に表示させる、
   請求項１～７のいずれか１項に記載の医用画像処理装置。
9. 前記向きのベクトルは、仮想超音波の送出方向を示し、
   前記面は、前記仮想超音波が通過する通路に沿った面を示す、
   請求項１～８のいずれか１項に記載の医用画像処理装置。
10. 医用画像処理装置における医用画像処理方法であって、
    被検体のボリュームデータを取得するステップと、
    前記ボリュームデータをレンダリングした画像である３次元画像を表示させるステップと、
    前記３次元画像上に、前記被検体の体表上の点と、前記ボリュームデータに対する向きのベクトルと、を表現する第１のオブジェクトを表示させるステップと、
    前記ボリュームデータにおける面であって、前記体表上の点を含み前記向きのベクトルを基に決定される面、における画像である２次元画像を表示させるステップと、
    ３次元空間における前記２次元画像の位置を変更するための前記２次元画像に対する操作の情報を取得するステップと、
    前記操作における３次元空間上の位置の変更の情報を基に、前記体表上の点を前記被検体の体表に沿って移動させ、移動後の前記体表上の点を基に、前記第１のオブジェクト及び前記２次元画像の表示を更新するステップと、
    を有する医用画像処理方法。
11. 請求項１０に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。

Images