JP6517953B2

JP6517953B2 - インタラクティブ・メッシュ編集システム及び方法

Info

Publication number: JP6517953B2
Application number: JP2017567675A
Authority: JP
Inventors: ヘイコシュテーレ，トマス; ヴェンツェル，ファビアン; マイヤー，カルステン; ザゴルチェフ，ゲオルギエフ; ベルクトホルト，マルティン; ペーテルス，ヨッヘン
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2015-06-29
Filing date: 2016-06-29
Publication date: 2019-05-22
Anticipated expiration: 2036-06-29
Also published as: EP3314582A1; EP3314582B1; US20180158252A1; JP2018526057A; WO2017001476A1; CN107851337A; CN107851337B; US10282917B2

Description

本発明はインタラクティブ・メッシュ編集(interactive mesh editing)のためのシステム及び方法に関連する。本発明は、本システムを有するワークステーション及びイメージング装置に更に関連する。本発明は、本方法をプロセッサ・システムに実行させる命令を有するコンピュータ・プログラム・プロダクトに関連する。

メッシュは、医療画像に含まれる1つ以上の解剖学的構造をセグメント化するために医療画像にしばしば適用又はマッピングされる。ここで、「セグメント化(segmantation)」とう用語は、例えば、解剖学的構造の境界を描写すること、境界で包囲されるボクセルをラベル付けすること等により、医療画像中の解剖学的構造を識別することに関連する。そのようなセグメンテーションが実行されると、例えば、心内構造物、心室体積、壁厚などのような臨床パラメータを取り出すことが可能である。そのようなセグメンテーションは、しばしば、デリニエーション又はアノテーション(delineation or annotation)と言及される。

適用されるメッシュ又はマッピングされるメッシュは、解剖学的構造の形状及び位置などのような情報を可視化するために、医療画像と一緒に表示されても良い。例えば、メッシュは、コンピュータ断層撮影(CT)、磁気共鳴イメージング(MRI)又は超音波(US)画像などのような3次元(3D)医療画像に対するオーバーレイとして示されても良い。そのような3D画像は、適用されるメッシュと一緒に、様々な方法で可視化されて良い。従って、適用されるメッシュに対する代替的な用語は、マッピングされたメッシュ、適合させられたメッシュ、オーバーレイされたメッシュ、重ね合わせられたメッシュ等であっても良い。適用されるメッシュ又はマッピングされるメッシュを利用して3次元(3D)医療画像をセグメント化する具体例は、WO2004047030A2に見受けられる。例えば、3D画像は、3D画像及び適用されるメッシュ又はマッピングされるメッシュが交わる2D表示を生成するためにマルチ・プレーナ再編成により視角化されても良い。そのような2D表示では、メッシュが輪郭(a contour)のように示されるかもしれない。他の表示生成技術も3D画像視覚化の分野で知られており、ボリューム・レンダリング及び最大強度プロジェクションを含む。

メッシュは、自動的に、マニュアルで又は半自動的に医療画像に適用又はマッピングされても良い。自動的又は半自動的な適用は、アダプテーション技術を利用することを含み、「メッシュ・アダプテーション(mesh adaptation)」又は「メッシュ・フィッティング(mesh fitting)」とも言及される。アダプテーション技術は、例えば、画像データにメッシュを適合させる外部エネルギー項と、メッシュの剛性(a rigidness)を維持する内部エネルギー項とに基づいて、エネルギー関数を最適化しても良い。医療画像に自動的にメッシュを適用するために、様々なアダプテーション技術が知られている。自動的な技術の具体例は次の文献に記載されており、この文献は、3次元(3D)コンピュータ断層撮影(CT)画像からの心臓の自動セグメンテーションを説明している：
“Automatic Model-based Segmentation of the Heart in CT Images” by O. Ecabert et al., IEEE Transactions on Medical Imaging 2008, 27(9), pp. 1189-1201。

従来適用されているメッシュ又はマッピングされるメッシュは、ユーザーによる編集を必要とするかもしれない。例えば、メッシュは、診断の目的、基準データベースの生成、或いは、機械学習アルゴリズムに対する入力としてのグランド・トゥルース・データの生成に役立つように、正確に適用されるには不十分であるかもしれない。そのようなメッシュ編集は、編集されるメッシュの一部分を示すマッピングされるメッシュ又は適用されるメッシュ及び3D画像の表示を利用して、インタラクティブに実行され得る。そのような編集は、例えば、メッシュ部分の配置し直し、メッシュ部分の解像度の増加などを含むかもしれない。

不都合なことに、3D画像における眺めの向きは、予定されている編集処理には不適当であるかもしれない。従来の画像表示アプリケーションでは、眺めの向きは、冠状、矢状及び横断の向きの間で切り替えられるかもしれない。しかしながら、これは、適切な眺めを得るには不十分な柔軟性しか提供しないかもしれない。あるアプリケーションでは、任意の向きに眺めをインタラクティブにフォーマットし直すことが可能であるが、メッシュ編集中に最適な向きにオンザフライで(on-the-fly)適用しており、そのような適用は法外に時間のかかるものである。

3D画像及びマッピングされたメッシュの適切な表示を自動的に提供するインタラクティブメッシュ編集のためのシステム又は方法をもたらすことは好都合である。

本発明の第1形態はインタラクティブなメッシュ編集のためのシステムを提供し、本システムは：
- 解剖学的な構造を示す3次元画像を表現する画像データにアクセスする画像データ・インターフェース；
- プロセッサであって：
i) 解剖学的な構造をセグメント化するために3次元画像に過去にマッピングされたメッシュを規定するメッシュ・データを取得し；
ii) 3次元画像及びマッピングされたメッシュの表示を、その表示を規定する1つ以上の表示パラメータに基づいて生成し；及び
iii) ディスプレイにおける表示のための眺めを表現する表示データを生成するように構成されるプロセッサ；
- 表示の中で示されるメッシュの少なくとも一部に対してマッピングされる編集処理(an editing action)を表すユーザー入力データを受信するユーザー入力インターフェース；
を有し、プロセッサは、編集処理を表すユーザー入力データを受信すると、メッシュの一部分の局所的な向き(a local orientation) に基づいて、1つ以上の表示パラメータを設定するように構成され；
メッシュの一部分は一群のメッシュ表面要素を含み、プロセッサは、一群のメッシュ表面要素のうちのメッシュ表面要素の法線ベクトルに統計関数を適用することで、メッシュの一部分の局所的な向きを決定するように構成される。

本発明の別の形態は、本システムを有するワークステーション又はイメージング装置を提供する。

本発明の別の形態は、インタラクティブなメッシュ編集のための方法を提供し、本方法は：
- 解剖学的な構造を示す3次元画像を表現する画像データにアクセスするステップ；
- 解剖学的な構造をセグメント化するために3次元画像に過去にマッピングされたメッシュを規定するメッシュ・データを取得するステップ；
- 表示の中で示されるメッシュの少なくとも一部に対して適用される編集処理を表すユーザー入力データを受信するステップ；
- 3次元画像及びマッピングされたメッシュの表示を、その表示を規定する1つ以上の表示パラメータに基づいて生成するステップ；
- ディスプレイにおける表示のための眺めを表現する表示データを生成するステップ；
を有し、表示を生成することは、編集処理を表すユーザー入力データ(082)を受信すると、メッシュの一部分の局所的な向きに基づいて、1つ以上の表示パラメータを設定することを含む。

本発明の別の形態は、上記の方法をプロセッサ・システムに実行させる命令を有するコンピュータ・プログラム・プロダクトを提供する。

上記の手段は、3D画像の画像データにアクセスすることを含み、画像データは限定ではないが例えば体積画像データ、2D画像スライスのスタック等を含む。3D画像は、臓器、臓器の一部、組織などのような解剖学的な構造を示す。3D画像に適用又はマッピングされるメッシュを規定するメッシュ・データが取得される。例えば、メッシュ・データは、3D画像の座標系におけるメッシュ表面要素の座標を規定しても良い。従って、メッシュ・データは、解剖学的な構造のセグメンテーションを提供しても良い。従って、適用されるメッシュに対する代替的な用語は、マッピングされるメッシュ、フィッティングされるメッシュ、オーバーレイされるメッシュ、又は、重ね合わせられるメッシュであって良い。

表示に適用又はマッピングされるメッシュの及び3D画像の表示が生成される。従って、3D画像の少なくとも一部分と、適用されたマップ又はマッピングされたメッシュとが、ユーザーに示される。表示はパラメータにより規定される。例えば、パラメータは幾何学的なパラメータであっても良い。パラメータが3D画像を通る表示面を規定しても良いことは、特定の具体例であり、その表示面は表示を生成するために3D画像のマルチ・プレーナ再構成(multi-planar reformatting)に使用されても良い。そして、表示は、例えばアプリケーションのビューポートの中で、ディスプレイで表示されても良い。

ユーザーは、対応するユーザー入力データを提供することにより、メッシュの一部分に関して実行されるべき編集処理を指示しても良い。この指示は、通常のユーザーの相互作用技術を含んでも良く、その技術は例えばユーザーがポインティング・デバイスを利用してオンスクリーン・ポインタを操作すること及びメッシュの一部分をダブル・クリックすることであっても良いが、これらに限定されず、その部分は例えばビューポートに示されるような3D画像と適用されたメッシュ又はマッピングされたメッシュとの初期表示において編集されるべきものである。

上記の手段によれば、表示に対する表示パラメータは、メッシュの部分の局所的な向きに基づいて設定される。ここで、「局所的な向き(local orientation)」という用語は、3D画像内のメッシュの一部分の向きを指し、その局所的な部分における向きは、メッシュ全体ではなくメッシュのその部分のみを表現する。

上記手段は、編集されるメッシュの一部分の局所的な向きが、表示を生成する場合に考慮に入れられることを効果として有する。従って、ユーザー入力データを受信する場合に生成される表示であって、編集処理が指示された時点で示されていた初期表示と置き換わる表示は、編集されるべきメッシュの一部分を示すような方法で生成されても良く、有利なことに、その最適な表示をもたらす。即ち、メッシュの一部分の局所的な向きは、ユーザーが編集処理を実行することを可能にするために妥当なものであり得る。例えば、メッシュの一部分の解像度を向上させる場合、メッシュの一部分についての正面の並列的な表示(a ‘head-on’ parallel view)が望ましいかもしれない。しかしながら、メッシュの一部分を配置し直すことを求める場合、再配置を最適に実行することをユーザーに許容するために、メッシュ部分と垂直に交わる表示が望ましいかもしれない。

選択的に、プロセッサは、メッシュの一部分に実質的に垂直に3次元画像と交わるように表示を規定する1つ以上の表示パラメータを設定し、それにより、直交表示(an orthogonal view)を設定するように構成される。発明者等は、メッシュの一部分の再配置(re-positioning)を含む多くの編集処理に関し、編集されるべきメッシュの一部分と垂直に交わる表示は非常に相応しいことを認識した。即ち、例えば、解剖学的構造の一部分の周辺で「過剰に狭く」又は「過剰に広く」適用されてしまうような、解剖学的構造に局所的に不十分にフィッティングされるメッシュに起因して、そのような再配置はしばしばメッシュに垂直に行われる。そのような表示の追加的な利点は、メッシュのうち異なる隣接する部分が修正されることを必要とする場合、ユーザーは3D画像により更にナビゲートしても良いことである。表示がメッシュ部分に垂直に交わる場合、フォワード・ナビゲーション又はバックワード・ナビゲーションは、一般に、以後のナビゲーション表示の中で比較的静的なまま残るメッシュ交差をもたらす結果となる。しかしながら、非常に斜めに(a very oblique manner)メッシュが交差する場合、そのようなフォワード及びバックワード・ナビゲーションは、ナビゲーション表示中のメッシュ交差についての劇的な変化を招き、その劇的な変化はユーザーを混乱させるかもしれないし、及び/又は、解釈するためにユーザーにかなりの精神的負担を要求してしまう。「実質的に直交」という用語は、直角に交わることを指しても良いし、或いは、例えば垂直に対して+/-5，+/-10，又は+/-20度のような狭い範囲内にあるものを指しても良い点に留意を要する。

選択的に、プロセッサは、編集処理を示すユーザー入力データを受信すると、メッシュの一部分を表示する初期表示から、直交表示へ切り替えるように構成される。直交表示は、従って、ユーザーが編集処理を実行する彼/彼女の意向を指示することに応じて、直交表示が表示されても良い。

選択的に、プロセッサは、初期表示がメッシュの一部分と平行に3次元画像と交わる場合、又は、所定の角度未満の交差角度(an intersection angle)で交わる場合に、切り替えを行うように構成されても良い。従って表示は初期表示から直交表示へ条件付きで切り替えられても良く、例えば、初期表示がメッシュ部分に平行である場合あるいは例えば平行から+/-10，+/-20，又は+/-45度のような傾斜した仕方で交わる場合に限って切り替えられても良い。従って、初期表示が最適ではないが編集処理の実行には適切である場合には、表示の切り替えは回避されても良い。

選択的に、メッシュの一部分は一群のメッシュ表面要素を含み、プロセッサは、一群のメッシュ表面要素のうちのメッシュ表面要素の法線ベクトルに統計関数を適用することにより、その部分の局所的な向きを決定するように構成される。メッシュ表面要素の具体例は、三角形、四角形などを含む。

選択的に、統計関数は平均又はメジアンである。

選択的に、プロセッサは、メッシュの一部分が3D画像と交わる場所又はその近辺において、3D画像の1つ以上の濃淡値画像勾配(one or more gray value image gradients)を判定することにより、メッシュのその部分の局所的な向きを決定するように構成されても良い。これは一般にメッシュ表面要素の法線ベクトルを利用することに対する代替法を提供する。例えば、濃淡値画像勾配は、濃淡値構造テンソル(a gray value structure tensor)を決定及び評価することにより判定されても良い。

選択的に、一群のメッシュ表面要素は、リファレンス・メッシュ表面要素から或る半径の範囲内にある。従って、所定のリファレンス・メッシュ表面要素から或る半径の範囲内にある一群の表面要素に、統計関数が適用されても良い。リファレンス・メッシュ表面要素は、例えば、ユーザーにより選択されても良いし、初期表示の中で中心に位置付けられていても良いし、或いは、別の方法でプロセッサにより決定又は特定されても良い。半径は、例えば、局所的なメッシュの曲率に基づいてプロセッサにより自動的に適合させられても良い。

選択的に、プロセッサは、a)メッシュ表面要素の法線ベクトルに統計関数が適用された結果とb)リファレンス・メッシュ表面要素の法線ベクトルとの間の差分を決定し、差分が第1の所定の閾値を超える場合、統計関数の結果を、決定された局所的な向きとして利用することを省略するように構成される。従って、統計関数の結果は、リファレンス・メッシュ表面要素の法線ベクトルに対する差分が所定の閾値未満である場合に限って使用される。これは所定の状況で有利であり得る。例えば、法線ベクトルを平均化することにより局所的な向きが決定される場合、そのような平均化は、メッシュ部分が強い曲率を示す場合や複雑な形状を有する等の場合には、メッシュ部分の局所的な向きを不正確に伝えてしまうかもしれない。

選択的に、プロセッサは、差分が前記第1の所定の閾値を超える場合：
- メッシュ表面要素の法線ベクトルが統計関数の結果から第2の所定の閾値未満しか逸脱していない、一群のメッシュ表面要素の部分集合を決定し；及び
- 前記部分集合のうちのメッシュ表面要素の法線ベクトルに統計関数を適用することにより、メッシュの一部分の局所的な向きを決定するように構成される。従って、法線ベクトルの観点から見てリファレンス・メッシュ表面要素から所定の閾値未満しか逸脱していないメッシュ表面要素の部分集合のみに基づいて、局所的な向きが決定されても良い。従って、外れ値(an outlier)除外手段が提供され得る。上記のステップはプロセッサにより反復的に実行されて良いことに留意を要する。

選択的に、プロセッサは、メッシュの一部分の場所の関数として決定される解剖学的構造の中心線に実質的に垂直に3次元画像と交わる表示を規定するために、1つ以上の表示パラメータを設定するように構成される。メッシュの一部分に垂直に交わる代わりに又はそれに加えて、表示は、メッシュ部分の場所の関数として決定される解剖学的構造の中心線に垂直に交わっても良い。例えば、中心線はメッシュの2つのサイド(two sides)の間に位置付けられるように規定されても良い。従って、プロセッサは、この中心線に垂直に交わるように表示を生成しても良い。中心線はメッシュ部分に平行に規定されるので、多くの場合、これは、中心線を規定するメッシュ部分が実質的に垂直に交差する結果をもたらすことに留意を要する。

本発明についての上記の実施形態、実現手段及び/又は選択的な形態のうちの2つ以上が、有用であると考えられる任意の方法で組み合わせられて良いことが、当業者に認められるであろう。

システムについての上記の修正及び変形に対応する、イメージング装置、ワークステーション、方法及び/又はコンピュータ・プログラム・プロダクトについての修正及び変形は、本説明に基づいて当業者により実行されることが可能である。

方法は、限定ではないが例えば標準的なX線イメージング、コンピュータ断層診断撮影(CT)、磁気共鳴イメージング(MRI)、超音波(US)、ポジトロン放出断層撮影(PET)、単光子放出コンピュータ断層撮影(SPECT)及び核医学(NM)等のような様々な捕捉モダリティにより取得される多次元画像データ(例えば、3次元(3D)画像又は4次元(4D)画像)に適用されても良いことを、当業者は認めるであろう。

本発明のこれら及び他の形態は、以下の説明及び添付図面における例により説明される実施形態から明らかになり且つその実施形態に関連して更に説明される。
図1はインタラクティブ・メッシュ編集のためのシステムを示し、そのシステムでは、メッシュの一部分に実質的に垂直に3D画像と交わるように眺めが形成される。図2Aは小脳をセグメント化するために画像に適用されたメッシュとともに、小脳を示す3D画像の初期表示を示す。図2Bは、図2Aに示される表示面に沿う直交表示を示し、直交表示はメッシュの一部分と直交する。図3Aは、脳梁(corpus callosum)をセグメント化するために画像に適用されたメッシュとともに、脳梁を示す3D画像の初期表示を示す。図3Bは、図3Aに示される表示面に沿う直交表示を示し、直交表示は脳梁の中心線と直交し、中央線はメッシュの少なくとも一部の場所の関数として決定されている。図4はインタラクティブ・メッシュ編集方法を示し、その方法ではメッシュの一部に実質的に垂直に3D画像と交わるように眺めが生成される。図5は本方法をプロセッサ・システムに実行させる命令を有するコンピュータ読み取り可能な媒体を示す。図面は単に図式的なものであるに過ぎず、寸法を描いているわけではない点に留意すべきである。図中、説明済みの要素に対応する要素は同じ参照番号を有し得る。

［符合の説明］
以下の参照番号のリストは、図面の理解を促すために提供されているに過ぎず、特許請求の範囲を限定するように解釈されてはならない。
020 画像リポジトリ
022 3次元画像の画像データ
040 メッシュ・データ・ストレージ
042 メッシュを規定するデータ
060 ディスプレイ
062 表示データ
080 ユーザー入力デバイス
082 ユーザー入力データ
100 インタラクティブ・メッシュ編集システム
120 画像データ・インターフェース
140 メッシュ・データ・インターフェース
160 プロセッサ
180 ユーザー入力インターフェース
200, 202 初期表示
220, 222 メッシュ輪郭
230 メッシュの一部分
232 解剖学的構造の中心線
240, 242 直交表示面
250, 252 直交表示
300 インタラクティブ・メッシュ編集方法
310 画像データにアクセスする
320 メッシュデータを取得する
330 ユーザー入力データを受信する
340 表示を生成する
350 表示データを生成する
370 コンピュータ読み取り可能な媒体
380 非一時的なデータとして保存される命令

図1はインタラクティブ・メッシュ編集のためのシステム100を示す。システム100は、画像データ022にアクセスするための画像データ・インターフェース120を有する。画像データは、解剖学的な構造(又は生体構造)を示す3次元(3D)画像を表現しても良い。図1の例では、画像データ・インターフェース120は、画像データ022を含む外部の画像リポジトリ020に接続されるように示されている。例えば、画像リポジトリ020は、病院情報システムのピクチャ・アーカイブ通信システム(a Picture Archiving and Communication System (PACS) of a Hospital Information System (HIS))により構成されても良いし或いはその一部分であっても良く、本システムはPACS-HISに接続又は包含されていても良い。従って、システム100はHISを介して画像データ022へのアクセスを得ても良い。代替的に、画像データ022は、システム100の内部データ・ストレージからアクセスされても良い。一般に、画像データ・インターフェース120は、ローカル又はワイド・エリア・ネットワーク(例えば、インターネット)に対するネットワーク・インターフェース、内部又は外部データ・ストレージに対するストレージ・インターフェース等のような様々な形態をとって良い。必要に応じて、3D画像への言及は、3D画像の画像データ022への言及として理解されても良いことに、更に留意を要する。

システム100は、メッシュ・データ042を取得するように構成されるプロセッサ160を更に有する。メッシュ・データは、解剖学的な構造を区分けするために、3次元画像に過去にマッピングされたメッシュを規定していても良い。図1の例では、プロセッサ160は、外部のメッシュ・データ・ストレージ040から、メッシュ・データ・インターフェース140を介してメッシュ・データ042を取得するように示されている。しかしながら、メッシュ・データ042は、例えば、電子メモリ又はディスク・ドライブ等のような内部ストレージから内的にアクセスされても良い。

システム100は、表示の中で示されるメッシュの少なくとも一部分に適用される編集処理を示すユーザー入力データ082を受信するユーザー入力インターフェース180を更に有する。ユーザー入力データ082は、ユーザーにより動作させることが可能なユーザー・デバイス080により提供されても良い。ユーザー・デバイス080は様々な形態をとっても良く、例えば、コンピュータ・マウス080、タッチ・スクリーン、キーボード等を含むがそれらに限定されない。ユーザー入力インターフェース180は、ユーザー・デバイス080のタイプに対応するタイプによるものであって良く、即ち、追加的な対応するユーザー・デバイス・インターフェースであって良い。

システム100の動作中に、プロセッサ160は、3次元画像及び適用されたメッシュ又はマッピングされたメッシュの表示を生成しても良く、その生成は、表示を規定する1つ以上の表示パラメータに基づいており、プロセッサ160はディスプレイ060における表示の眺めを表現する表示データ062を生成しても良い。表示は2D表示であっても良いが、同様に、例えば3Dディスプレイにおける立体的な表示のための3D表示であっても良い。表示データ062は、例えば、直接的にプロセッサ160により又は(図1には示されていない)ディスプレイ出力により、ディスプレイ060に出力されても良い。一例では、生成される表示は、アプリケーションのビューポートの一部として示されても良い。表示を生成するために、プロセッサは、先ず、メッシュの一部分のローカルな向きに基づいて、1つ以上の表示パラメータを設定しても良い。例えば、表示がメッシュの一部分に対して実質的に垂直に3次元画像と交わり、それにより、直交表示を設定するように、表示パラメータが設定されても良い。

システムの様々な選択的な形態を含むシステム100の様々なオペレーションは図2A-3Bに関して更に詳細に説明される点に留意を要する。

システム100は、例えばワークステーション又はイメージング装置のような単独のデバイス又は装置として又はその内部に具現化されても良い。デバイス又は装置は、適切なソフトウェアを実行する1つ以上のマイクロプロセッサを有する。ソフトウェアは、ダウンロードされても良いし、及び/又は、対応するメモリ(例えば、RAMのような揮発性メモリ又はフラッシュのような不揮発性メモリ)に保存されていても良い。代替的に、システムの機能ユニットは、例えばフィールド・プログラマブル・ゲート・アレイ(FPGA)のようなプログラム可能な論理部の形式でデバイス又は装置に実装されても良い。一般に、システムの各機能ユニットは回路の形式で実現されても良い。システム100は、例えば様々なデバイス又は装置を含む分散された形式で実現されても良い点に留意を要する。例えば、そのような分散は、クライアント・サーバー・モデルに従っていても良い。

図2Aは、小脳をセグメント化するために画像に適用又はマッピングされたメッシュとともに、小脳を示す3D画像の初期表示200を示す。初期表示200は、3D画像及びマッピングされたメッシュ220と交わる。その結果、マッピングされたメッシュ220は、初期表示200の中で輪郭として示されている。ユーザーは、例えば破線で示されるメッシュの一部分230のようにメッシュの一部分の編集を望んでいる。編集は様々な方法でシステムに指示されて良い。例えば、ユーザーは、編集モードを起動し、その後に、例えば画面上のカーソル(オンスクリーン・カーソル)(図2Aでは図示せず)を利用して、メッシュの一部分230を選択しても良い。別の例は、ユーザーが編集モードを単に起動し、編集されるべきメッシュの一部分をビューポート内の中心に配置しても良い。従って、システムは、システムとのユーザーのインタラクションにより(即ち、ユーザーの入力から)、メッシュ部分を編集するユーザーの意図の知らせを受けても良い。

ユーザーの入力に応じて、次にプロセッサは、編集処理のために相応しい又は最適なものでさえあり得る以後の表示を規定するために、1つ以上の表示パラメータを設定しても良い。図2A及び図2Bの例では、それは、メッシュ部分230において3D画像と実質的に垂直に交わる表示であっても良い。表示パラメータは様々な形式を採用して良い。例えば、表示パラメータは表示面を規定しても良く、その表示面から表示が生成される。そのような表示面240は、点と曲線の記号(the dot-and-curve symbol)により示される、メッシュ部分230と垂直に交わる線として図2Aにおいて示されている。図2Bは、メッシュ220の別の輪郭を示す結果的に得られる直交表示250を示す。今やユーザーは、例えば、(図2Bでは示されていない) メッシュ部分を選択し、それを3D画像に対して再配置することにより、直交表示250に基づいて編集処理を実行しても良い。

図3A及び3Bは、解剖学的な構造の中心線に対して垂直であるように表示が生成される別の例を示す。即ち、図3Aは、脳梁をセグメント化するために画像に適用されたメッシュとともに、脳梁を示す3D画像の初期表示202を示す。初期表示202は、3D画像と交わり、それにより、マッピングされたメッシュ222の輪郭が見えている。ユーザーは、メッシュの一部分を編集しても良く、それを示すユーザー入力を提供しても良い。ユーザー入力に応答して、プロセッサは、編集処理に相応しい又は最適でさえあり得る以後の表示を規定するために、1つ以上の表示パラメータを設定しても良い。図3A及び図3Bの例では、それは、解剖学的な好悪図の中心線232に対して実質的に垂直に3D画像と交わる表示であっても良い。中心線232は、破線として図3Aに示され、プロセッサにとって既知であって良い。即ち、中心線232は、メッシュ232の場所の関数として決定されて良い。非限定的な一例では、メッシュ232の2つの側方端(the two lateral sides)の間に配置されるように中心線232が規定される。

図3Aは、点と曲線の記号で示される、中心線232と垂直に交わる線の形式で表示面242を規定するように設定された表示パラメータを示す。この例では、メッシュ222の2つの側方端は中心線232に実質的に平行に走っているので、表示面242も実質的に垂直にメッシュ222のサイドと交わる。図3Bは結果的に得られる直交表示252を示し、メッシュ222の別の輪郭を示す。今やユーザーは例えば(図2Bでは明示的には示されていない)編集されるべきメッシュ部分を選択し、それを3D画像に関連して配置し直すことにより、直交表示に関して編集処理を実行して良い。

例えば、表示面を規定する座標、仮想カメラを規定する座標、ボリューム・レンダリングを規定するパラメータ、スライス数、画像の座標等のように、表示パラメータは様々な形態をとっても良いことが認められるであろう。

メッシュの一部分の局所的な向きは、メッシュ・トライアングルのように、単独のメッシュ表面要素から導出されても良いことが、認められるであろう。これは、メッシュ部分が単独のメッシュ表面要素により構成される場合であっても良いし、或いは、単独のメッシュ表面要素が、局所的な向きを決定するために使用するリファレンス要素として考えられる場合であっても良い。局所的な向きは、単独のメッシュ表面要素の法線ベクトルにより直接的に決定されても良い。代替的に、図2A及び図2Bの例に示される場合のように、メッシュの一部分が、一群のメッシュ表面要素を含む場合、メッシュのその部分の局所的な向きは、一群のメッシュ表面要素のうちのメッシュ表面要素の(複数の)法線ベクトルに統計的な関数を適用することにより、決定されても良い。例えば、統計的な関数は、平均値又は多数選択(a majority selection)(例えば、メジアン)であっても良い。一群のメッシュ表面要素は、リファレンス・メッシュ表面要素の半径の内側にあるように規定されても良い。従って、プロセッサは、指示されるリファレンス・メッシュ表面要素及び所定の半径に基づいて、その群に属する全てのメッシュ表面要素を決定しても良い。半径は、例えば、メッシュ部分の曲率に基づいて、プロセッサにより動的に決定されても良い。例えば、プロセッサは、減少する曲率に対して半径を増やしても良いし、その逆でもよい。

プロセッサは、a)メッシュ表面要素の法線ベクトルに統計関数を適用した結果とb)リファレンス・メッシュ表面要素の法線ベクトルとの間の差分を決定し、かつ、差分が第1の所定の閾値を超える場合に、決定された局所的な向きとして、統計的な関数の結果を利用することを省略するように構成されても良い。差分が第1の所定の閾値を超える場合、プロセッサは、一群のメッシュ表面要素のうちの部分集合を決定し(その部分集合が含むメッシュ表面要素の法線ベクトルは、統計関数の結果からの逸脱が第2の所定の閾値より少ない)、そして、その部分集合からのメッシュ表面要素の法線ベクトルに統計関数を適用することでメッシュのその部分の局所的な向きを決定しても良い。

以下、メッシュの一部分の局所的な向きがプロセッサにより如何にして決定されるかについての具体的ではあるが限定ではない例を提供する。ここで、メッシュ表面要素は三角形である。先ず、唯一つのリファレンス三角形が使用される場合、その法線ベクトルは、局所的な向きを表すものとしてそのまま使用されて良い。そうでない場合、プロセッサは、a)半径Rを決定し(その半径Rの内側の三角形は背筋化の計算に含まれることになる)、b)幾何学的距離がR以下に収まる場所にある三角形を判別し、c)三角形の法線ベクトルの平均A_vを算出しても良い。A_vは、リファレンス三角形の法線ベクトルから閾値T₁より大きく逸脱すべきではない。逸脱する場合、プロセッサは、d)Avからの逸脱が閾値T₂未満である三角形の法線ベクトルを判別し、そして、e)メッシュ部分の法線ベクトルの安定した推定値にたどり着くように、残りの三角形とともに手順c)ないしd)を反復的に繰り返しても良い。最終的に、画像ボリュームは、上述したように算出された法線ベクトルに垂直な、選択されたメッシュ表面ポイントを通じて分けられても良い。そして、シーン・カメラの軸が、算出された法線ベクトルに一致するように、シーン・カメラが配置されて良い。即ち、その軸は、選択された地点でその表面を貫通し、かつ、法線方向に平行であって良い。

図4はインタラクティブ・メッシュ編集方法を示し、本方法は図1に関連して説明されたシステム100の動作に対応しても良い。

方法300は、「画像データにアクセスする」というタイトルの動作において、画像データにアクセスすること(310)を含み、画像データは、解剖学的な好悪図を示す3次元画像を表現する。方法300は、「メッシュデータを取得する」というタイトルの動作において、メッシュデータを取得すること(320)を更に含み、メッシュ・データは、解剖学的な構造をセグメント化するために3次元画像にマッピングされるメッシュを規定する。方法300は、「ユーザー入力データを受信する」というタイトルの動作において、表示の中に示されるメッシュの少なくとも一部分にマッピングされる編集処理を示すユーザー入力データを受信すること(330)を含む。方法300は、「表示を生成する」というタイトルの動作において、3次元画像及びマッピングされたメッシュの表示を生成すること(340)を更に含み、その生成は表示を規定する1つ以上の表示パラメータに基づいており、表示を生成すること(340)は、下位の動作(a sub-operation)として、メッシュの一部分の局所的な向きに基づいて、1つ以上の表示パラメータを設定することを含む。方法300は、「表示データを生成する」というタイトルの動作において、ディスプレイでの表示の眺めを表現する表示データを生成すること(350)を更に含む。選択的に、方法300は、「インタラクティブ・メッシュ編集」というタイトルの動作において、生成された表示の中で編集処理をユーザーが実行できるようにすることを更に含んでも良い。

上記の動作は、例えば連続的に、同時に、又はそれらの組み合わせにより、適切な任意の順序で実行されても良く、必要に応じて、特定の順序が例えば入力/出力の関係により必要とされることが、認められるであろう。例えば、画像データ及びメッシュ・データは同時に又は任意の順序で取得されてもよい。

方法300は、コンピュータ実現方法として、上述したハードウェアとして、或いは、それら双方の組み合わせとして実現されても良い。図5に示されるように、例えば実行可能なコードのようなコンピュータ用の命令は、例えば、一連のマシン読み取り可能な物理的なマークの形式で、及び/又は、様々な電気的、磁気的、光学的な特性又は値を有する一連の要素として、コンピュータ読み取り可能な媒体370に保存されて良い。実行可能なコードは、一時的又は非一時的な形式で保存されても良い。コンピュータ読み取り可能な媒体の具体例は、メモリ・デバイス、光学的ストレージ・デバイス、集積回路、サーバー、オンライン・ソフトウェア等を含む。図5は光ディスク370を示す。

本願の要約によれば、提供されるシステム及び方法は、表示される解剖学的構造をセグメント化するように3D画像に適用又はマッピングされたメッシュをユーザーがインタラクティブに編集することを可能にすることが、認められるであろう。マッピングされたメッシュのインタラクティブな編集を促すために、3D画像の表示は、メッシュ部分の局所的な向きに基づいて設定される表示とともに、編集されるべきメッシュ部分を示す3D画像の表示が生成されても良い。有利なことに、表示は、メッシュ部分に実質的に垂直に、或いは、メッシュ部分に応じて決定される解剖学的構造の中心線に実質的に垂直に生成されて良い。従って、メッシュ部分に関して編集処理を実行する際にユーザーを支援する直交表示が設定され得る。従って、メッシュ編集に相応しい表示を取得するために3D画像を介してマニュアルでナビゲートすることは、一般的に時間のかかることであるが、ユーザーにとって必要とされない。

例えば、非限定的であるように示されているか否かによらず、実施形態又は選択的な特徴は、保護が請求される発明を限定するように理解されるべきではない。

本発明はコンピュータ・プログラムに適用され、特に、本発明を実装するように構成されたキャリア上又はキャリア内にあるコンピュータ・プログラムにも適用されることが、認められるであろう。プログラムは、ソース・コード、オブジェクト・コード、コード中間ソース及びオブジェクト・コードの形式であっても良く、例えば、特にそれらの組み合わせの形式であっても良いし、或いは、本発明による方法の実現に使用するために相応しい他の任意の形式であっても良い。そのようなプログラムは多くの様々なアーキテクチャ設計を有し得ることが認められるであろう。例えば、本発明による方法又はシステムの機能を実現するプログラム・コードは、1つ又は複数のサブルーチンに小分けされても良い。これらのサブルーチンの間で機能を分配する多種多様の方法が当業者に明らかであろう。複数のサブルーチンが、自己完結型プログラムを形成するように1つの実行可能ファイルに一緒に保存されていても良い。そのような実行可能ファイルは、コンピュータで実行可能な命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Java(登録商標)インタプリタ命令)を含んでいても良い。代替的に、1つ以上又は全てのサブルーチンが、少なくとも1つの外部ライブラリ・ファイルに保存され、かつ、例えば実行時に動的に又は静的にメイン・プログラムにリンクされていても良い。メイン・プログラムは、少なくとも1つのサブルーチンに対する少なくとも1つのコール(call)を含む。サブルーチンは、互いに対するファンクション・コールを含んでいても良い。コンピュータ・プログラム・プロダクトに関連する実施形態は、本願で説明された少なくとも何れかの方法の処理ステージ各々に対応するコンピュータで実行可能な命令を有する。これらの命令は、複数のサブルーチンに小分けされても良いし、及び/又は、静的又は動的にリンクされる1つ以上のファイルに保存されていても良い。コンピュータ・プログラム・プロダクトに関連する他の実施形態は、上記の少なくとも何れかのシステム及び/又はプロダクトの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、複数のサブルーチンに小分けされても良いし、及び/又は、静的又は動的にリンクされる1つ以上のファイルに保存されていても良い。

コンピュータ・プログラムのキャリアは、プログラムを搬送することが可能な任意のエンティティ又はデバイスであって良い。例えば、キャリアはデータ・ストレージを含んでも良く、例えば、CD-ROM又は半導体ROMのようなROM、或いは、例えばハード・ディスクのような磁気記録媒体を含んでも良い。更に、キャリアは電気的又は光学的な信号のような伝送可能なキャリアであっても良く、そのキャリアは電気的又は光学的なケーブルを介して或いは無線その他の手段により搬送されるものである。プログラムがそのような信号で具現化される場合、キャリアはそのようなケーブル又はその他のデバイス又は手段により構成されて良い。代替的に、キャリアはプログラムが組み込まれる集積回路であっても良く、集積回路は関連する方法を実行するように構成され、或いは、パフォーマンスを発揮する際に使用される。

上記の実施形態は本発明を限定するものではなく例示であり、当業者は添付の特許請求の範囲から逸脱することなく多くの代替的な実施形態を設計することが可能である点に留意すべきである。特許請求の範囲において、括弧内に示される任意の参照符合は特許請求の範囲を限定するように解釈されてはならない。「有する(comprise)」という動詞及びその活用形は、請求項に述べられているもの以外の要素又はステップの存在を排除していない。「或る("a" or "an")」という要素に先行する語は、そのような要素が複数個存在することを排除していない。本発明は、幾つもの個別的な要素を有するハードウェアを利用することにより、及び、適切にプログラムされたコンピュータを利用することにより実現されて良い。幾つもの手段を列挙する装置の請求項では、これらの手段のうちの幾つかが1つの同じハードウェア・アイテムにより具現化されても良い。所定の複数の事項が互いに異なる従属請求項で引用されているという単なるその事実は、これらの事項の組み合わせが有益に使用されることが不可能であることを示してはいない。

Claims

インタラクティブなメッシュ編集のためのシステムであって：
解剖学的な構造を示す３次元画像を表現する画像データにアクセスするように構成される画像データ・インターフェース；
プロセッサであって：
前記解剖学的な構造をセグメント化するために前記３次元画像に過去にマッピングされたメッシュを規定するメッシュ・データを取得し；
前記３次元画像及び前記マッピングされたメッシュの表示を、前記表示を規定する１つ以上の表示パラメータに基づいて生成し；及び
ディスプレイにおいてディスプレイするための表示を表現する表示データを生成するように構成されるプロセッサ；
前記表示の中で示されるメッシュの少なくとも一部に対してマッピングされる編集処理を表すユーザー入力データを受信するユーザー入力インターフェース；
を有し、前記プロセッサは、前記編集処理を表すユーザー入力データを受信すると、前記メッシュの一部分の局所的な向きに基づいて、１つ以上の表示パラメータを設定するように構成され；
前記メッシュの一部分は一群のメッシュ表面要素を含み、前記プロセッサは、前記一群のメッシュ表面要素のうちの前記メッシュ表面要素の法線ベクトルに統計関数を適用することで、前記メッシュの一部分の局所的な向きを決定するように構成され；
前記一群のメッシュ表面要素は、リファレンス・メッシュ表面要素の或る半径の範囲内にあり、
前記プロセッサは、ａ）前記メッシュ表面要素の法線ベクトルに統計関数を適用した結果と、ｂ）前記リファレンス・メッシュ表面要素の法線ベクトルとの間の差分を決定し、前記差分が第１の所定の閾値を超える場合、前記統計関数の結果を、決定された局所的な向きとして利用することを省略するように構成される、システム。
前記プロセッサは、前記メッシュの一部分に実質的に垂直に前記３次元画像と交わるように前記表示を規定する１つ以上の表示パラメータを設定することにより、直交表示を設定するように構成される、請求項１に記載のシステム。
前記プロセッサは、前記編集処理を示すユーザー入力データを受信すると、前記メッシュの一部分を示す初期表示から、前記直交表示へ切り替えるように構成される、請求項２に記載のシステム。
前記プロセッサは、前記初期表示が前記メッシュの一部分と平行に前記３次元画像と交わる場合、又は所定の角度未満の交差角度で交わる場合に、切り替えを行うように構成される、請求項３に記載のシステム。
前記統計関数は平均又はメジアンである、請求項１に記載のシステム。
前記プロセッサは、前記差分が前記第１の所定の閾値を超える場合：
メッシュ表面要素の法線ベクトルが前記統計関数の結果から第２の所定の閾値未満しか逸脱していない、前記一群のメッシュ表面要素の部分集合を決定し；及び
前記部分集合のうちのメッシュ表面要素の法線ベクトルに前記統計関数を適用することにより、前記メッシュの一部分の局所的な向きを決定するように構成される、請求項１に記載のシステム。
前記プロセッサは、前記メッシュの一部分の場所の関数として決定される解剖学的な構造の中心線に実質的に垂直に前記３次元画像と交わるように表示を規定するために、前記１つ以上の表示パラメータを設定するように構成される、請求項１に記載のシステム。
請求項１に記載のシステムを有するワークステーション。
請求項１に記載のシステムを有するイメージング装置。
インタラクティブなメッシュ編集のための方法であって：
解剖学的な構造を示す３次元画像を表現する画像データにアクセスするステップ；
前記解剖学的な構造をセグメント化するために前記３次元画像に過去にマッピングされたメッシュを規定するメッシュ・データを取得するステップ；
表示の中で示されるメッシュの少なくとも一部に対して適用される編集処理を表すユーザー入力データを受信するステップ；
前記３次元画像及び前記マッピングされたメッシュの表示を、前記表示を規定する１つ以上の表示パラメータに基づいて生成するステップ；
ディスプレイにおいてディスプレイするための表示を表現する表示データを生成するステップ；
を有し、前記表示を生成することは、前記編集処理を表すユーザー入力データを受信すると、前記メッシュの一部分の局所的な向きに基づいて、１つ以上の表示パラメータを設定することを含み、
前記メッシュの一部分は一群のメッシュ表面要素を含み、プロセッサは、前記一群のメッシュ表面要素のうちの前記メッシュ表面要素の法線ベクトルに統計関数を適用することで、前記メッシュの一部分の局所的な向きを決定するように構成され；
前記一群のメッシュ表面要素は、リファレンス・メッシュ表面要素の或る半径の範囲内にあり、
前記プロセッサは、ａ）前記メッシュ表面要素の法線ベクトルに統計関数を適用した結果と、ｂ）前記リファレンス・メッシュ表面要素の法線ベクトルとの間の差分を決定し、前記差分が第１の所定の閾値を超える場合、前記統計関数の結果を、決定された局所的な向きとして利用することを省略するように構成される、方法。
請求項１０に記載の方法をプロセッサ・システムに実行させる命令を有するコンピュータ・プログラムを有する非一時的なコンピュータ読み取り可能な記憶媒体。