添付図面に従って本開示の技術に係る切開シミュレーション装置、切開シミュレーション方法、及びプログラムの実施形態の一例について説明する。
一例として図1に示すように、医療業務支援装置10は、画像処理装置12、受付装置14、及びディスプレイ16を備えており、ユーザ18によって使用される。ここで、ユーザ18としては、例えば、医師及び技師等が挙げられる。
画像処理装置12には、受付装置14が接続されている。受付装置14は、ユーザ18からの指示を受け付ける。受付装置14は、キーボード20及びマウス22等を有している。図1に示す例では、受付装置14として、キーボード20及びマウス22が示されているが、これは、あくまでも一例に過ぎず、キーボード20又はマウス22のいずれか一方のみを備えても良い。また、キーボード20及び/又はマウス22に代えて、近接入力を受け付ける近接入力装置、音声入力を受け付ける音声入力装置、ジェスチャー入力を受け付けるジェスチャー入力装置のうちの少なくとも1つを適用しても良い。のうちの少なくとも1つを、受付装置14として用いてもよい。近接入力装置は、例えば、タッチパネルやタブレット等である。また、受付装置14と画像処理装置12との接続は、有線であっても無線であってもよい。
画像処理装置12には、ディスプレイ16が接続されている。ディスプレイ16としては、例えば、EL(Electro-Luminescence)ディスプレイ又は液晶ディスプレイ等が挙げられる。ディスプレイ16は、画像処理装置12の制御下で、各種情報(例えば、画像及び文字等)を表示する。
一例として図2に示すように、医療業務支援装置10は、画像処理装置12、受付装置14、及びディスプレイ16の他に、通信I/F(Interface)30、外部I/F32、及びバス34を備えている。
画像処理装置12は、本開示の技術に係る「切開シミュレーション装置」及び「コンピュータ」の一例であり、プロセッサ24、ストレージ26、及びRAM(Random access memory)28を備えている。プロセッサ24、ストレージ26、RAM28、通信I/F30、及び外部I/F32は、バス34に接続されている。
プロセッサ24には、メモリが接続されている。メモリは、ストレージ26及びRAM28を含む。プロセッサ24は、例えば、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を有する。GPUは、CPUの制御下で動作し、画像に関する処理の実行を担う。画像に関する処理には、例えば、後述の切開シミュレーション処理が含まれる。
ストレージ26は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ26の一例としては、フラッシュメモリ(例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)及び/又はSSD(Solid State Drive))及び/又はHDD(Hard Disk Drive)が挙げられる。
RAM28は、一時的に情報が記憶されるメモリであり、プロセッサ24によってワークメモリとして用いられる。RAM28としては、例えば、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等が挙げられる。
通信I/F30は、ネットワーク(図示省略)に接続されている。ネットワークは、例えば、LAN(Local Area Network)及びWAN(Wide Area Network)等のうちの少なくとも1つで構成されていても良い。ネットワークには、外部装置(図示省略)等が接続されており、通信I/F30は、ネットワークを介して外部通信装置との間の情報の授受を司る。外部通信装置は、例えば、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、パーソナル・コンピュータ、及びスマートデバイス等のうちの少なくとも1つを含んでもよい。例えば、通信I/F30は、プロセッサ24からの要求に応じた情報を、ネットワークを介して外部通信装置に送信する。また、通信I/F30は、外部通信装置から送信された情報を受信し、受信した情報を、バス34を介してプロセッサ24に出力する。
外部I/F32は、医療業務支援装置10の外部に存在する外部装置(図示省略)との間の各種情報の授受を司る。外部装置は、例えば、スマートデバイス、パーソナル・コンピュータ、サーバ、USB(Universal Serial Bus)メモリ、メモリカード、及びプリンタ等のうちの少なくとも1つであってもよい。外部I/F32の一例としては、USBインタフェースが挙げられる。USBインタフェースには、外部装置が直接的又は間接的に接続される。
ところで、肺癌及び/又は肝臓癌などの悪性腫瘍を臓器から摘出する手術前には、CT装置及び/又はMRI装置等のモダリティによって被検体である患者が撮像されることで得られた複数の2次元スライス画像等を用いて手術前に切除領域が決定されてプランニングされることによって、手術の安全性を高めることが行われている。
しかし、実際にはプランニングされた切開ラインから、いきなり目標とする切除領域まで切除するのではなく、連続的な切開をしながら手術が行われることがある。連続的な切開とは、ある切開ラインから一次的な切開をした後、切開後の領域に対して新たに定めた次の切開ラインから切開を行う手法を指す。実際の手術では、連続的な切開を行い、最終的に目標とする切除領域を切除する方法が採られることが多い。このような連続的な切開のシミュレーションについては、これまで考慮されておらず、切開シミュレーションには改善の余地があった。
そこで、本実施形態では、連続的な切開をシミュレーションできるようにするために、一例として図2に示すように、プロセッサ24によって切開シミュレーション処理が行われる。ストレージ26には、切開シミュレーション処理プログラム36が記憶されている。プロセッサ24は、ストレージ26から切開シミュレーション処理プログラム36を読み出し、読み出した切開シミュレーション処理プログラム36をRAM28上で実行することにより切開シミュレーション処理を行う。切開シミュレーション処理は、プロセッサ24が抽出部24A、レンダリング部24B、制御部24C、切開パラメータ取得部24D、第1切除領域算出部24E、第2切除領域算出部24F、及び領域特定部24Gとして動作することによって実現される。なお、切開シミュレーション処理プログラム36は、本開示の技術に係る「プログラム」の一例である。
一例として図3に示すように、ストレージ26には、3次元画像38が記憶されている。3次元画像38は、モダリティによって患者が撮像されることで得られた複数の2次元スライス画像40が積み重ねられてボクセルVに分割されることで得られた画像である。モダリティの一例としては、CT装置が挙げられる。CT装置は、一例に過ぎず、モダリティの他の例としては、MRI装置又は超音波診断装置等が挙げられる。また、図3に示す例では、2次元スライス画像40として、横断面の2次元スライス画像が示されているが、これに限らず、冠状面の2次元スライス画像であってもよいし、矢状面の2次元スライス画像であってもよい。3次元画像を規定している全てのボクセルVの各々の位置は3次元座標で特定される。各ボクセルVには、例えば、CT値のような白黒の濃淡値が付与されている。
抽出部24Aは、ストレージ26から3次元画像38を取得し、取得した3次元画像38から3次元臓器画像42を抽出する。3次元臓器画像42は、臓器を示す3次元画像である。例えば、3次元画像38には、複数の3次元臓器画像42が含まれており、各3次元臓器画像42には固有の識別子が付与されている。3次元臓器画像42は、受付装置14によって受け付けられた指示に従って3次元画像38から抽出される。例えば、抽出部24Aは、受付装置14によって受け付けられた識別子に対応する3次元臓器画像42を3次元画像38から抽出する。図3に示す例では、3次元臓器画像42の一例として、肝臓を示す画像が示されている。また、3次元画像38の各ボクセルVに対して、臓器ごとの固有の識別子が付与され、臓器ごとの識別子には、不透明度、赤(R)、緑(G)及び青(B)の色情報が設定されていても良い。このようにすることで、各ボクセルVには、白黒の濃淡値情報に加えて、対応する臓器に応じた不透明度、赤(R)、緑(G)及び青(B)の色情報等のデータが付与される(以下、これらを「ボクセルデータという」)。
なお、ここでは、3次元臓器画像42の一例として、肝臓を示す画像を例示しているが、これは、あくまでも一例に過ぎず、心臓及び/又は肺等の他の臓器を示す画像であってもよい。また、固有の識別子を用いて3次元臓器画像42が抽出される方法は、あくまでも一例に過ぎず、受付装置14を介してユーザ18によって何等かの方法で指定された3次元臓器画像42が抽出部24Aによって抽出される方法であってもよいし、AI(artificial intelligence)方式及び/又はパターンマッチング方式等による画像認識処理を用いて3次元臓器画像42が抽出部24Aによって抽出される方法であってもよい。また、3次元臓器画像42は、単一の臓器を示す画像に限られない。例えば、肝臓に加えて、肝臓の隣接する血管、胆管、胆のう等の複数の臓器を抽出した画像であっても良い。
一例として図4に示すように、レンダリング部24Bは、レイキャスティングを行うことで、ディスプレイ16の画面に対応する投影面44に対して3次元臓器画像42をレンダリングする。投影面44には、レンダリング画像46が投影される。
投影面44は、例えば、ディスプレイ16の画面の解像度に相当する解像度で規定された仮想的な平面である。レンダリング部24Bによってレイキャスティングが行われることで、投影面44の各画素(すなわち、ピクセル)に対応する各視点48から仮想的な光線50が3次元臓器画像42の中を通って投影面44に投射される。3次元臓器画像42に対する各視点48の位置は、例えば、受付装置14によって受け付けられた指示に従って変更され、これによって、様々な方向から3次元臓器画像42を観察した場合のレンダリング画像46が投影面44に投影される。なお、投影面44に投影されたレンダリング画像46は、例えば、ディスプレイ16に表示されたり、既定の記憶デバイス(例えば、ストレージ26等)に記憶されたりする。
一例として図5に示すように、光線50は、3次元臓器画像42の中を通過する間に、指定ボクセル、すなわち、指定された位置のボクセルVまでのサンプリングポイント(例えば、1ボクセル間隔で規定されたポイント)で得たボクセルデータを累積したデータ(以下、「累積データ」とも称する)を投影面44に投影する。これにより、投影面44の各画素には、画素値として累積データが付与される。レンダリング部24Bは、各画素に付与された累積データに応じてレンダリング画像46を生成する。
一例として図6に示すように、制御部24Cは、受付装置14によって受け付けられた指示に応じて表示制御を行うことで、ディスプレイ16に対して画面56を表示させる。また、制御部24Cは、受付装置14によって受け付けられた指示に応じた各種設定を行う。
画面56には、レンダリング部24Bによって生成されたレンダリング画像46が表示される。画面56には、案内メッセージ表示領域56Aが含まれている。案内メッセージ表示領域56Aには、案内メッセージ56A1が表示される。案内メッセージ56A1は、レンダリング画像46を介した3次元臓器画像42に対する第1切開ライン60の設定をユーザ18に案内するメッセージである。図6に示す例では、案内メッセージ56A1の一例として、「第1切開ラインを設定して下さい。」というメッセージが示されている。
画面56にはポインタ58が表示されている。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することでレンダリング画像46に対して第1切開ライン60を形成する。図6に示す例では、ポインタ58が操作されることによってレンダリング画像46に対して形成された第1切開ライン60の一例として、直線的なラインが示されている。レンダリング画像46に対して形成された第1切開ライン60は、受付装置14によって受け付けられた指示に従って確定される。
第1切開ライン60の設定が終了すると、一例として図7に示すように、制御部24Cによってディスプレイ16に表示される画面が画面56から画面62に切り替えられる。画面62には、第1切開ライン60が描かれたレンダリング画像46が表示されている。また、画面62には、深さ設定ボックス62Aが含まれている。深さ設定ボックス62Aは、案内メッセージ62A1、入力ボックス62A2、及び確定キー62A3を有する。
案内メッセージ62A1は、3次元臓器画像42に対する切開の第1深さ64(図8参照)の設定をユーザ18に対して案内するメッセージである。以下、説明の便宜上、3次元臓器画像42に対する切開の第1深さ64を、単に「第1深さ64」と称する。図7に示す例では、「切開の深さを設定して下さい。」というメッセージが示されている。ここで、第1深さ64は、第1切開ライン60上の指定された位置における深さであり、例えば、第1切開ライン60の中間部における深さである。第1切開ライン60の中間部とは、例えば、第1切開ライン60の長さを3等分したとき、第1切開ライン60の中点を含む領域である。また、特に第1深さ64は、第1切開ライン60における中点での深さである。
入力ボックス62A2は、第1深さ64が入力されるボックスである。例えば、入力ボックス62A2には、第1深さ64がミリメートル単位の数値で入力される。ユーザ18は、受付装置14(ここでは、一例として、キーボード20)を介して入力ボックス62A2に第1深さ64を入力する。
確定キー62A3は、入力ボックス62A2に入力された第1深さ64を確定する場合にオンされるソフトキーである。ユーザ18は、入力ボックス62A2に第1深さ64が入力された場合に、受付装置14(ここでは、一例として、マウス22)を介して確定キー62A3をオンする。これにより、入力ボックス62A2に入力された第1深さ64が確定される。
第1深さ64の設定が終了すると、一例として図8に示すように、切開パラメータ取得部24Dは、受付装置14によって受け付けられた第1切開ライン60、及び第1深さ64を取得する。以下では、説明の便宜上、第1切開ライン60、第1深さ64を区別して説明する必要がない場合、符号を付さずに「切開パラメータ」とも称する。
一例として図8に示すように、第1切除領域算出部24Eは、切開パラメータ取得部24Dから第1切開ライン60及び第1深さ64を取得する。第1切除領域算出部24Eは、第1切開ライン60及び第1深さ64に基づいて第1切除領域65を算出する。
具体的には、第1切除領域算出部24Eは、第1深さ64に基づいて第1切開ライン60の各位置の深さを算出する。このとき、第1切開ライン60の各位置の深さは、第1切開ライン60上の各位置において第1深さ64から第1切開ライン60の端に向うに従って浅くなる。図8に示す例では、第1切開ライン60の各位置の深さの変化は、非線形的な変化となっている。すなわち、第1切開ライン60と第1深さ64とで規定される平面の法線方向視で曲線状に深さが変化している。非線形的な変化は、あくまでも一例に過ぎない。例えば、第1切開ライン60の各位置の深さの変化は、線形的な変化であってもよい。すなわち、第1切開ライン60と第1深さ64とで規定される平面の法線方向視で直線的に深さが変化してもよい。第1切開ライン60の各位置の深さは、例えば、第1切除領域算出部24Eによって、第1切開ライン深さ演算式(図示省略)から算出される。第1切開ライン深さ演算式は、第1切開ライン60の幾何特性を特定するパラメータ(例えば、第1切開ライン60の長さ)及び第1深さ64を独立変数とし、第1切開ライン60の各位置の深さを従属変数とした演算式である。
第1切除領域算出部24Eは、第1切開ライン60、第1深さ64、及び第1切開ライン60の各位置の深さに基づいて第1切除領域65を算出する。第1切除領域65は、例えば、第1切除領域算出部24Eによって、第1切除領域演算式(図示省略)から算出される。第1切除領域演算式は、第1切開ライン60の幾何特性を特定するパラメータ(例えば、第1切開ライン60の長さ)、第1深さ64、及び第1切開ライン60の各位置の深さを独立変数とし、第1切除領域65を従属変数とする演算式である。第1切除領域65を算出するとは、例えば、第2切除領域75の幾何特性を特定するパラメータ(例えば、3次元臓器画像42において第2切除領域75の外縁を特定する3次元座標)を算出することを示す。
また、第1切除領域算出部24Eは、第1切開ライン60の各位置の深さに基づいて、第1切開ライン60の各位置の切開幅である第1切開幅67を算出する。第1切開幅67は、第1切開ライン60上の各位置において第1深さ64の位置から第1切開ライン60の端に向かうに従って狭くなる。図8に示す例では、第1切開ライン60の各位置における第1切開幅67は、非線形的に変化となっている。すなわち、第1切除領域65を平面視した場合において、曲線状に幅が変化している。非線形的な変化は、あくまでも一例に過ぎない。例えば、第1切開幅67は、線形的な変化であってもよい。すなわち、第1切除領域65を平面視した場合において、直線状に幅が変化してもよい。第1切開幅67は、例えば、第1切除領域算出部24Eによって第1切開幅算式(図示省略)から算出される。第1切開幅演算式は、第1切開ライン60の幾何特性を特定するパラメータ(例えば、第1切開ライン60の長さ)、及び第1切開ライン60の各位置の深さを独立変数とし、第1切開幅67を従属変数とする演算式である。
第1切除領域算出部24Eは、第1切開ライン60、第1深さ64、及び第1切開幅67に基づいて第1切除領域65を算出する。第1切除領域算出部24Eは、上述した第1切除領域演算式において、独立変数として第1切開幅67を加えて、従属変数である第1切除領域65を算出する。
また、第1切除領域算出部24Eは、第1切開ライン60の各位置の深さに基づいて第1切開幅67の各位置の深さを算出する。第1切開幅67の各位置の深さは、第1切開ライン60上の位置から第1切開幅67の端に向かうに従って浅くなる。図8に示す例では、第1切開幅67の各位置の深さの変化は、非線形的な変化となっている。すなわち、第1切開ライン60と直交する平面の法線方向視で曲線状に深さが変化している。非線形的な変化は、あくまで一例に過ぎない。例えば、第1切開幅67の各位置の深さの変化は、線形的であってもよい。すなわち、第1切開ライン60と直交する平面の法線方向視で曲線状に深さが変化してもよい。第1切開幅67の各位置の深さは、例えば、第1切開幅深さ演算式(図示省略)から算出される。第1切開幅深さ演算式は、第1切開幅67、及び深さを算出しようとする第1切開幅67と第1切開ライン60との交点における深さを独立変数とし、第1切開幅67の各位置の深さを従属変数とする演算式である。
第1切除領域算出部24Eは、第1切開ライン60、第1深さ64、及び第1切開幅67の各位置の深さに基づいて第1切除領域65を算出する。第1切除領域算出部24Eは、上述した第1切除領域演算式において、独立変数として第1切開幅67の各位置の深さを加えて、従属変数として第1切除領域65を算出する。
領域特定部24Gは、第1切除領域算出部24Eによる算出結果を用いて3次元臓器画像42から第1切除領域65を特定する。第1切除領域65の特定とは、例えば、3次元臓器画像42で第1切除領域65の位置を特定する3次元座標の決定を意味する。3次元臓器画像42で第1切除領域65の位置を特定する3次元座標は、例えば、第1切開ライン60、第1深さ64、第1切開幅67、第1切開ライン60の各位置の深さ、第1切開幅67の各位置の深さ、及び第1切除領域65等を独立変数とし、3次元臓器画像42で第1切除領域65の外縁の位置を特定する3次元座標を従属変数とした演算式に従って算出されることによって決定される。領域特定部24Gによって第1切除領域65が特定されると、一例として図9に示すように、レンダリング部24Bは、第1切除領域65内(例えば、第1切除領域65の切開面(すなわち、露出されている領域))に対するレンダリングを行う。これにより、レンダリング画像46のうちの第1切除領域65の外縁に対応する領域46Bに、第1切除領域65の切開面を示すレンダリング画像であるレンダリング画像46B1が生成される。
一例として図9に示すように、制御部24Cは、表示制御を行うことで、レンダリング画像46B1を含むレンダリング画像46をディスプレイ16に対して表示させる。制御部24Cは、表示される画面を画面62(図7参照)から画面66に切り替える。画面66には、レンダリング部24Bによって生成されたレンダリング画像46B1が表示される。また、画面66には、案内メッセージ表示領域66Aが含まれている。案内メッセージ表示領域66Aには、案内メッセージ66A1が表示される。案内メッセージ66A1は、レンダリング画像46を介した3次元臓器画像42に対する第2切開ライン70の設定をユーザ18に案内するメッセージである。図9に示す例では、案内メッセージ66A1の一例として、「第2切開ラインを設定して下さい。」というメッセージが示されている。
画面66にはポインタ58が表示されている。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することでレンダリング画像46に対して第2切開ライン70を形成する。図9に示す例では、ポインタ58が操作されることによってレンダリング画像46に対して形成された第2切開ライン70の一例として、直線的なラインが示されている。レンダリング画像46に対して形成された第2切開ライン70は、受付装置14によって受け付けられた指示に従って確定される。
第2切開ライン70の設定が終了すると、一例として図10に示すように、制御部24Cによってディスプレイ16に表示される画面が画面66から画面68に切り替えられる。画面68には、第2切開ライン70が描かれたレンダリング画像46が表示されている。また、画面68には、深さ設定ボックス68Aが含まれている。深さ設定ボックス68Aは、案内メッセージ68A1、入力ボックス68A2、及び確定キー68A3を有する。
案内メッセージ68A1は、3次元臓器画像42に対する切開の第2深さ74(以下、単に「第2深さ74」とも称する)の設定をユーザ18に対して案内するメッセージである。図10に示す例では、「切開の深さを設定して下さい。」というメッセージが示されている。ここで、第2深さ74は、第2切開ライン70上の指定された位置において、第1切除領域65が切除された後の表面を始点とする深さである。第2深さ74は、例えば、第2切開ライン70の中間部における深さである。第2切開ライン70の中間部とは、例えば、第2切開ライン70の長さを3等分したとき、第2切開ライン70の中点を含む領域である。また、特に第2深さ74は、第2切開ライン70における中点での深さである。
入力ボックス68A2は、第2深さ74が入力されるボックスである。例えば、入力ボックス68A2には、第2深さ74がミリメートル単位の数値で入力される。ユーザ18は、受付装置14(ここでは、一例として、キーボード20)を介して入力ボックス68A2に第2深さ74を入力する。
確定キー68A3は、入力ボックス68A2に入力された第2深さ74を確定する場合にオンされるソフトキーである。ユーザ18は、入力ボックス68A2に第2深さ74が入力された場合に、受付装置14(ここでは、一例として、マウス22)を介して確定キー68A3をオンする。これにより、入力ボックス68A2に入力された第2深さ74が確定される。
第2深さ74の設定が終了すると、一例として図11に示すように、切開パラメータ取得部24Dは、受付装置14によって受け付けられた第2切開ライン70、及び第2深さ74を取得する。以下では、説明の便宜上、第2切開ライン70、及び第2深さ74を区別して説明する必要がない場合、符号を付さずに「切開パラメータ」とも称する。
一例として図11に示すように、第2切除領域算出部24Fは、切開パラメータ取得部24Dから第2切開ライン70及び第2深さ74を取得する。また、第2切除領域算出部24Fは、第1切除領域算出部24Eにおいて算出された第1切除領域65を取得する。第2切除領域算出部24Fは、第1切除領域65、第2切開ライン70及び第2深さ74に基づいて第2切除領域75を算出する。
ところで、連続的な切開シミュレーションが行われる場合、第1切除領域65が特定された後の3次元臓器画像42に対して第2切除領域75が特定される。しかし、第1切除領域65が切除された3次元臓器画像42には第1切除領域65に対応する空間(すなわち、窪み)が生じている。そのため、連続的な切開シミュレーションにおいて、窪み等の表面形状の変化を含めて第2切除領域75を特定する演算を行うと計算コストが高くなる場合がある。
そこで、本実施形態では、プロセッサ24によって、一例として図11に示す処理が行われる。第2切除領域算出部24Fは、第1切除領域65の深さ及び第2深さ74に基づいて、第3深さ77を算出する。第1切除領域65の深さは、第1切除領域65が切除される前の3次元臓器画像42示す臓器の表面から、第1切除領域65が切除された後の3次元臓器画像42の示す臓器の表面までの距離βである。また、第2深さ74は、上述したように、第2切開ライン70上の指定された位置において、第1切除領域65が切除された後の表面を始点とする深さγである。第3深さ77は、例えば、第1切除領域65の深さと第2深さ74との和(すなわち、β+γ)である。第2切除領域算出部24Fは、第2切開ライン70及び第3深さ77に基づいて、第2切除領域75を算出する。
具体的には、第2切除領域算出部24Fは、第3深さ77に基づいて、第2切開ライン70の各位置における深さを算出する。このとき、第2切開ライン70の各位置の深さは、第2切開ライン70上の各位置において第3深さ77から第2切開ライン70の端に向かうに従って浅くなる。図11に示す例では、第2切開ライン70の各位置の深さの変化は、非線形的な変化となっている。すなわち、第2切開ライン70と第3深さ77とで規定される平面の法線方向視で曲線状に深さが変化している。非線形的な変化は、あくまで一例に過ぎない。例えば、第2切開ライン70の各位置の深さの変化は、線形的であってもよい。すなわち、第2切開ライン70と第3深さ77とで規定される平面の法線方向視で直線的に深さが変化してもよい。第2切開ライン70の各位置の深さは、例えば、第2切除領域算出部24Fによって第2切開ライン深さ演算式(図示省略)から算出される。第2切開ライン深さ演算式は、第2切開ライン70の幾何特性を特定するパラメータ(例えば、第2切開ライン70の長さ)、及び第3深さ77を独立変数とし、第2切開ライン70の各位置の深さを従属変数とした演算式である。また、第2切開ライン深さ演算式は、第1切開ライン深さ演算式と同一の演算式でも良い。具体的には、第1切開ライン60の幾何特性を特定するパラメータの独立変数に第2切開ライン70の幾何特性を特定するパラメータを入力し、第1深さ64の独立変数に第3深さ77を入力し、第1切開ライン60の各位置の深さの代わりに第2切開ライン70の各位置の深さを従属変数として出力しても良い。
第2切除領域算出部24Fは、第2切開ライン70、第3深さ77、及び第2切開ライン70の各位置の深さに基づいて第2切除領域75を算出する。第2切除領域75は、例えば、第2切除領域算出部24Fによって第2切除領域演算式(図示省略)から算出される。第2切除領域演算式は、第2切開ライン70の幾何特性を特定するパラメータ(例えば、第2切開ライン70の長さ)、第3深さ77、及び第2切開ライン70の各位置の深さを独立変数とし、第2切除領域75を従属変数とする演算式である。ここで、第2切除領域75を算出するとは、例えば、第2切除領域75の幾何特性を特定するパラメータ(例えば、3次元臓器画像42において第2切除領域75の外縁を特定する3次元座標)を算出することを示す。また、第2切除領域演算式は、第1切除領域演算式と同一の演算式でも良い。具体的には、第1切開ライン60の幾何特性を特定するパラメータの独立変数に第2切開ライン70の幾何特性を特定するパラメータを入力し、第1深さ64の独立変数に第3深さ77を入力し、第1切開ライン60の各位置の深さの独立変数に2切開ライン70の各位置の深さを入力し、第1切除領域65の代わりに第2切除領域75を従属変数として出力しても良い。
また、第2切除領域算出部24Fは、第2切開ライン70の各位置の深さに基づいて、第2切開ライン70の各位置の切開幅である第2切開幅79を算出する。第2切開幅79は、第2切開ライン70上の各位置において第3深さ77の位置から第2切開ライン70の端に向かうに従って狭くなる。図11に示す例では、第2切開ライン70の各位置における第2切開幅79は、非線形的な変化となっている。すなわち、第2切除領域75を平面視した場合において、曲線状に幅が変化している。非線形的な変化は、あくまでも一例に過ぎない。例えば、第2切開幅79は、線形的な変化であってもよい。すなわち、第2切除領域75を平面視した場合において、直線状に幅が変化してもよい。第2切開幅79は、例えば、第2切除領域算出部24Fによって第2切開幅算式(図示省略)から算出される。第2切開幅演算式は、第2切開ライン70の幾何特性を特定するパラメータ(例えば、第2切開ライン70の長さ)、及び第2切開ライン70の各位置の深さを独立変数とし、第2切開幅79を従属変数とする演算式である。また、第2切開幅演算式は、第1切開幅演算式と同一の演算式でも良い。具体的には、第1切開ライン60の幾何特性を特定するパラメータの独立変数に第2切開ライン70の幾何特性を特定するパラメータを入力し、第1切開ライン60の各位置の深さの独立変数に第2切開ライン70の各位置の深さを入力し、第1切開幅67の代わりに第2切開幅79を従属変数として出力しても良い。
第2切除領域算出部24Fは、第2切開ライン70の幾何特性を特定するパラメータ(例えば、第2切開ライン70の長さ)、第3深さ77、及び第2切開幅79に基づいて第2切除領域75を算出する。第2切除領域算出部24Fは、上述した第2切除領域演算式において、独立変数として第2切開幅79を加えて、従属変数として第2切除領域75を算出する。また、第2切除領域演算式は、第1切除領域演算式と同一の演算式でも良い。具体的には、第1切開幅67の独立変数に第2切開幅79を入力し、第1切除領域65の代わりに第2切除領域75を従属変数として出力しても良い。
また、第2切除領域算出部24Fは、第2切開ライン70の各位置の深さに基づいて第2切開幅79の各位置の深さを算出する。第2切開幅79の各位置の深さは、第2切開ライン70上の位置から第2切開幅79の端に向かうに従って浅くなる。図11に示す例では、第2切開幅79の各位置の深さの変化は、非線形的な変化となっている。すなわち、第2切開ライン70と直交する平面の法線方向視で曲線状に深さが変化している。非線形的な変化は、あくまで一例に過ぎない。例えば、第2切開幅79の各位置の深さの変化は、線形的であってもよい。すなわち、第2切開ライン70と直交する平面の法線方向視で直線状に深さが変化してもよい。第2切開幅79の各位置の深さは、例えば、第2切開幅深さ演算式(図示省略)から算出される。第2切開幅深さ演算式は、第2切開幅79、及び深さを算出しようとする第2切開幅79との交点における第2切開ライン70の深さを独立変数とし、第2切開幅79の各位置の深さを従属変数とする演算式である。また、第2切開幅深さ演算式は、第1切開幅深さ演算式と同一の演算式でも良い。具体的には、第1切開幅67の独立変数に第2切開幅79を入力し、深さを算出しようとする第1切開幅67と第1切開ライン60との交点における深さの独立変数に深さを算出しようとする第2切開幅79との交点における第2切開ライン70の深さを入力し、第1切開幅67の各位置の深さの代わりに第2切開幅79の各位置の深さを従属変数として出力しても良い。
第2切除領域算出部24Fは、第2切開ライン70の幾何特性を特定するパラメータ(例えば、第2切開ライン70の長さ)、第3深さ77、及び第2切開幅79の各位置の深さに基づいて第2切除領域75を算出する。第2切除領域算出部24Fは、上述した第2切除領域演算式において、独立変数として第2切開幅79の各位置の深さを加えて、従属変数として第2切除領域75の幾何特性を特定するパラメータ(例えば、3次元臓器画像42において第2切除領域75の外縁を特定する3次元座標)を算出する。また、第2切除領域演算式は、第1切除領域演算式と同一の演算式でも良い。具体的には、第1切開幅67の各位置の深さの独立変数に第2切開幅79の各位置の深さを入力し、第1切除領域65の代わりに第2切除領域75を従属変数として出力しても良い。
領域特定部24Gは、第2切除領域算出部24Fによる算出結果を用いて3次元臓器画像42から第2切除領域75を特定する。第2切除領域75の特定とは、例えば、3次元臓器画像42で第2切除領域75の位置を特定する3次元座標の決定を意味する。3次元臓器画像42で第2切除領域75の位置を特定する3次元座標は、例えば、第2切開ライン70、第3深さ84、第2切開幅79、第2切開ライン70の各位置の深さ、第2切開幅79の各位置の深さ、及び第2切除領域75等を独立変数とし、3次元臓器画像42で第2切除領域75の外縁の位置を特定する3次元座標を従属変数とした演算式に従って算出されることによって決定される。
領域特定部24Gによって第2切除領域75が特定されると、領域特定部24Gは、第1切除領域65及び第2切除領域75に含まれる対象領域80を特定する。対象領域80の特定とは、対象領域80を構成する複数のボクセルの3次元座標の特定を指す。対象領域80は、第1切除領域65と第2切除領域75とを合わせた領域の一部または全部を構成する領域である。対象領域80は、本開示の技術に係る「第1領域」の一例である。
図11に示す例では、第1切除領域65が第2切除領域75に全て含まれ、対象領域80が第2切除領域75と同じ領域となる例が示されている。対象領域80は、ユーザ18が第2切除領域75内で指定した範囲が受付装置14を介して受け付けられた結果に基づいて特定されてもよいし、予め定められた条件(例えば、臓器の種類に応じて予め定められた範囲)に従って特定されてもよい。
レンダリング部24Bは、対象領域80を非表示とした状態のレンダリング画像46を生成する。一例として図12に示すように、レンダリング部24Bは、領域特定部24Gによって特定された対象領域80を取得する。レンダリング部24Bは、対象領域80内(例えば、対象領域80が第2切除領域75と同じである場合、第2切除領域75の切開面(すなわち、露出されている領域))に対するレンダリングを行う。これにより、レンダリング画像46における対象領域80の外縁に対応する領域46Bに、対象領域80の外縁に接する表面を示すレンダリング画像46B2が生成される。例えば、対象領域80が第2切除領域75と同じである場合、レンダリング画像46B2とは、第2切除領域75の切開面を示すレンダリング画像である。
制御部24Cは、表示制御を行って、レンダリング画像46B2を含むレンダリング画像46をディスプレイ16に対して表示させる。一例として図12に示すように、画面82には、レンダリング画像46B2を含むレンダリング画像46が表示される。
また、領域特定部24Gは、3次元臓器画像42における対象領域80内において、血管系、リンパ系、神経系、及び/又は病変部位(例えば、腫瘍)を各々示す領域を特定する。血管系、リンパ系、神経系、及び/又は病変部位を特定するとは、それぞれ血管系、リンパ系、神経系、及び/又は病変部位として特定された領域を構成する複数のボクセルの3次元座標の特定を指す。領域特定部24Gは、3次元臓器画像42において対象領域80内に対して画像認識処理を行うことで、血管系、リンパ系、神経系、及び/又は病変部位を特定する。画像認識処理は、特に限定されないが、例えば、AI(artificial intelligence)方式及び/又はパターンマッチング方式等による画像認識処理を用いて血管系、リンパ系、神経系、及び/又は病変部位を示す領域が抽出部24Aによって抽出される方法が挙げられる。
レンダリング部24Bは、対象領域80を非表示とし、対象領域80に含まれる血管系、リンパ系、神経系、及び/又は病変部位を表示した状態のレンダリング画像46を生成する。この場合、対象領域80は、血管系を示す領域、リンパ系を示す領域、神経系を示す領域、及び病変部位を示す領域のうちの少なくとも何れか1つを除いた領域である。一例として図13に示すように、レンダリング部24Bは、領域特定部24Gによって特定された血管系、リンパ系、神経系、及び/又は病変部位を各々示す領域に基づいて、対象領域80内に対するレンダリングを行う。これにより、レンダリング画像46における対象領域80内に対応する領域46C内に、レンダリング画像46C1が生成される。レンダリング画像46C1として、対象領域80が非表示となり、かつ血管系、リンパ系、神経系、及び/又は病変部位を各々示す領域が表示された状態のレンダリング画像46C1が生成される。
制御部24Cは、表示制御を行って、レンダリング画像46C1を含むレンダリング画像46をディスプレイ16に対して表示させる。一例として図13に示すように、画面82には、レンダリング画像46C1を含むレンダリング画像46が表示される。
次に、医療業務支援装置10の作用について図14及び図15を参照しながら説明する。
図14及び図15には、プロセッサ24によって行われる切開シミュレーション処理の流れの一例が示されている。なお、図14及び図15に示す切開シミュレーション処理の流れは、本開示の技術に係る「切開シミュレーション方法」の一例である。
図14に示す切開シミュレーション処理では、先ず、ステップST10で、抽出部24Aは、ストレージ26から3次元画像38を取得する(図3参照)。ステップST10の処理が実行された後、切開シミュレーション処理はステップST12へ移行する。
ステップST12で、抽出部24Aは、ステップST10で取得した3次元画像38から3次元臓器画像42を抽出する(図3参照)。ステップST12の処理が実行された後、切開シミュレーション処理はステップST14へ移行する。
ステップST14で、レンダリング部24Bは、ステップST12で抽出された3次元臓器画像42に対してレンダリングを行うことでレンダリング画像46を生成する(図4及び図5参照)。ステップST14の処理が実行された後、切開シミュレーション処理はステップST16へ移行する。
ステップST16で、制御部24Cは、ステップST14で生成されたレンダリング画像46をディスプレイ16に表示させる(図6及び図7参照)。ステップST16の処理が実行された後、切開シミュレーション処理はステップST18へ移行する。
ステップST18で、切開パラメータ取得部24Dは、受付装置14によって受け付けられた切開パラメータ(すなわち、第1切開ライン60及び第1深さ64)を取得する(図8参照)。ステップST18の処理が実行された後、切開シミュレーション処理はステップST20へ移行する。
ステップST20で、第1切除領域算出部24Eは、ステップST18で取得された切開パラメータに基づいて第1切除領域65を算出する(図8参照)。ステップST20の処理が実行された後、切開シミュレーション処理はステップST22へ移行する。
ステップST22で、領域特定部24Gは、ステップST20で算出された第1切除領域65を用いて、ステップST12で抽出された3次元臓器画像42から第1切除領域65を特定する(図8参照)。ステップST22の処理が実行された後、切開シミュレーション処理はステップST24へ移行する。
ステップST24で、レンダリング部24Bは、ステップST22で特定された第1切除領域65に対するレンダリングを行うことで第1切除領域レンダリング画像46B1を生成する。ステップST24の処理が実行された後、切開シミュレーション処理はステップST26へ移行する。
ステップST26で、制御部24Cは、ステップST24で生成された第1切除領域レンダリング画像46B1を含むレンダリング画像46をディスプレイ16に対して表示させる。ステップST26の処理が実行された後、切開シミュレーション処理は、一例として図15に示す切開シミュレーション処理の流れにおけるステップST28へ移行する。
図15に示す切開シミュレーション処理では、ステップST28で、切開パラメータ取得部24Dは、受付装置14によって受け付けられた切開パラメータ(すなわち、第2切開ライン70及び第2深さ74)を取得する(図11参照)。ステップST28の処理が実行された後、切開シミュレーション処理はステップST30へ移行する。
ステップST30で、第2切除領域算出部24Fは、ステップST28で取得された切開パラメータに基づいて第2切除領域75を算出する(図11参照)。ステップST30の処理が実行された後、切開シミュレーション処理はステップST32へ移行する。
ステップST32で、領域特定部24Gは、ステップST32で算出された第2切除領域75を用いて、ステップST12で抽出された3次元臓器画像42から第2切除領域75を特定する(図11参照)。ステップST32の処理が実行された後、切開シミュレーション処理はステップST34へ移行する。
ステップST34で、領域特定部24Gは、ステップST22で特定された第1切除領域及びステップST32で特定された第2切除領域75に含まれる対象領域80を特定する。ステップST34の処理が実行された後、切開シミュレーション処理はステップST36へ移行する。
ステップST36で、レンダリング部24Bは、ステップST34で特定された対象領域80に基づいて、対象領域80を除いた状態の3次元臓器画像42に対するレンダリングを行うことでレンダリング画像46B2を生成する。ステップST36の処理が実行された後、切開シミュレーション処理は、ステップST38へ移行する。
ステップST38で、制御部24Cは、ステップST36で生成されたレンダリング画像46B2を含むレンダリング画像46をディスプレイ16に対して表示させる。ステップST38の処理が実行された後、切開シミュレーション処理は、ステップST40へ移行する。
ステップST40で、領域特定部24Gは、ステップST34で特定された対象領域80に含まれる血管系、リンパ系、神経系、及び/又は病変部位を含む領域を特定する。ステップST40の処理が実行された後、切開シミュレーション処理は、ステップST42へ移行する。
ステップST42で、レンダリング部24Bは、ステップST40で特定された血管系、リンパ系、神経系、及び/又は病変部位を含む領域に対するレンダリングを行うことでレンダリング画像46C1を生成する。ステップST42の処理が実行された後、切開シミュレーション処理は、ステップST44へ移行する。
ステップST44で、制御部24Cは、ステップST42で生成されたレンダリング画像46C1を含むレンダリング画像46をディスプレイ16に対して表示させる。ステップST42の処理が実行された後、切開シミュレーション処理は、ステップST46へ移行する。
ステップST46で、制御部24Cは、切開シミュレーション処理が終了する条件(以下、「終了条件」と称する)を満足したか否かを判定する。終了条件の一例としては、切開シミュレーション処理を終了させる指示が受付装置14によって受け付けられた、との条件が挙げられる。ステップST46において、終了条件を満足していない場合は、判定が否定されて、切開シミュレーション処理はステップST18へ移行する。ステップST46において、終了条件を満足した場合は、判定が肯定されて、切開シミュレーション処理が終了する。
以上説明したように、医療業務支援装置10では、第1切除領域65が算出され、第1切除領域65に基づいて第2切除領域75が算出される。従って、本構成によれば、連続的な切開により得られた切除領域内を特定することができる。
また、医療業務支援装置10では、第2切開ライン70上の指定された位置における第1切除領域65の深さと第2深さ74とに基づく深さである第3深さ77に基づいて、第2切除領域75が算出される。従って、本構成によれば、第3深さ77を用いずに第2切除領域75が算出される場合と比較して、簡便に第2切除領域75が算出される。すなわち、第1切除領域65の形状に関わらず、指定された位置における第1切除領域65の深さと第2深さ74とに基づいて第2切除領域75が算出される。従って、第1切除領域65を切除した後の空間を考慮して第2切除領域75が算出される場合と比較して、第2切除領域75が算出される計算コストが低減される。
また、医療業務支援装置10では、第3深さ77は、第1切除領域65の深さと第2深さ74との和であるので、第3深さ77を第2深さ74と第1切除領域65の深さとの和以外で規定する場合と比較して、簡便に第2切除領域75が算出される。
また、医療業務支援装置10では、第2切開ライン70の各位置の深さが、第3深さ77に基づいて算出され、第2切除領域75が、第2切開ライン70の各位置の深さに基づいて算出される。従って、本構成によれば、第3深さ77を用いずに第2切除領域75が算出される場合と比較して、簡便に第2切除領域75が算出される。
また、医療業務支援装置10では、第2切開ライン70の各位置の深さは、第2切開ライン70上の各位置において指定された位置から第2切開ライン70の端に向かうに従って浅くなる。従って、本構成によれば、第2切開ライン70の各位置の深さが一定である場合と比較して、第2切除領域75が高精度に算出される。
また、医療業務支援装置10では、第2切開ライン70の各位置の深さに基づいて、第2切開ライン70の各位置の第2切開幅79が算出され、第2切除領域75が、第2切開幅79に基づいて算出される。従って、本構成によれば、第2切開幅79を用いずに第2切除領域75が算出される場合と比較して、簡便に第2切除領域75が算出される。
また、医療業務支援装置10では、第2切開ライン70の各位置の第2切開幅79は、第2切開ライン70上の各位置において指定された位置から第2切開ライン70の端に向かうに従って狭くなる。従って、本構成によれば、第2切開ライン70の各位置の第2切開幅79が一定である場合と比較して、第2切除領域75が高精度に算出される。
また、医療業務支援装置10では、第2切開幅の各位置の深さは、第2切開ライン70上の位置から第2切開幅79の端に向かうに従って浅くなり、第2切除領域75が、第2切開幅79の各位置の深さに基づいて算出される。従って、本構成によれば、第2切開幅79の各位置の深さが一定である場合と比較して、高精度に第2切除領域75が算出される。
また、医療業務支援装置10では、第2切開ライン70上の指定された位置は、第2切開ライン70の中間部である。従って、本構成によれば、第3深さ77が、第2切開ライン70の中間部以外の位置における第1切除領域65の深さ及び第2深さ74に基づいて規定された深さである場合と比較して、簡便に第2切除領域75が算出される。
また、医療業務支援装置10では、第2切開ライン70上の指定された位置は、第2切開ライン70の中点である。従って、本構成によれば、第3深さ77が、第2切開ライン70の中点以外の位置における第1切除領域65の深さ及び第2深さ74に基づいて規定された深さである場合と比較して、簡便に第2切除領域75が算出される。
また、医療業務支援装置10では、第1切開ライン60の各位置の深さが、第1深さ64に基づいて算出され、第1切除領域65が、第1切開ライン60の各位置の深さに基づいて算出される。従って、本構成によれば、第1切開ライン60の各位置の深さを用いずに第1切除領域65が算出される場合と比較して、簡便に第1切除領域65が算出される。また、第1切開ライン60の各位置の深さの算出の仕方が第2切開ライン70の場合と共通であるので、第1切開ライン60と第2切開ライン70とで異なる算出方法を用いる場合と比較して計算コストが低減される。
また、医療業務支援装置10では、第1切開ライン60の各位置の深さは、第1切開ライン60上の各位置において第1深さ64の位置から第1切開ライン60の端に向かうに従って浅くなる。従って、本構成によれば、第1切開ライン60の各位置の深さが一定である場合と比較して、第1切除領域65が高精度に算出される。また、第1切開ライン60の各位置の深さの変化の仕方が第2切開ライン70の場合と共通であるので、第1切開ライン60と第2切開ライン70とで変化の仕方が異なる場合と比較して計算コストが低減される。
また、医療業務支援装置10では、第1切開ライン60の各位置の深さに基づいて、第1切開ライン60の各位置の第1切開幅67が算出され、第1切除領域65が、第1切開幅67に基づいて算出される。従って、本構成によれば、第1切開幅67を用いずに第1切除領域65が算出される場合と比較して、簡便に第1切除領域65が算出される。また、第1切開幅67の算出の仕方が第2切開幅79の場合と共通であるので、第1切開幅67と第2切開幅79とで異なる算出方法を用いる場合と比較して計算コストが低減される。
また、医療業務支援装置10では、第1切開ライン60の各位置の第1切開幅67は、第1切開ライン60上の各位置において第1深さ64の位置から第1切開ライン60の端に向かうに従って狭くなる。従って、本構成によれば、第1切開ライン60の各位置の第1切開幅67が一定である場合と比較して、第1切除領域65が高精度に算出される。また、第1切開幅67の変化の仕方が第2切開幅79の場合と共通であるので、第1切開幅67と第2切開幅79とで変化の仕方が異なる場合と比較して計算コストが低減される。
また、医療業務支援装置10では、第1切開幅67の各位置の深さは、第1切開ライン60上の位置から第1切開幅67の端に向かうに従って浅くなり、第1切除領域65が、第1切開幅67の各位置の深さに基づいて算出される。従って、本構成によれば、第1切開幅67の各位置の深さが一定である場合と比較して、高精度に第1切除領域65が算出される。また、第1切開幅67の各位置の深さ変化の仕方が第2切開幅79の場合と共通であるので、第1切開幅67と第2切開幅79とで深さ変化の仕方が異なる場合と比較して計算コストが低減される。
また、医療業務支援装置10では、第1切開ライン60の第1深さ64の位置は、第1切開ライン60の中間部である。従って、本構成によれば、第1深さ64が、第1切開ライン60の中間部以外の位置において規定された深さである場合と比較して、簡便に第1切除領域65が算出される。
また、医療業務支援装置10では、第1切開ライン60の第1深さ64の位置は、第1切開ライン60の中点である。従って、本構成によれば、第1深さ64が、第1切開ライン60の中点以外の位置において規定された深さである場合と比較して、簡便に第1切除領域65が算出される。
また、医療業務支援装置10では、対象領域80は、血管系を示す領域、リンパ系を示す領域、神経系を示す領域、及び病変部位を示す領域のうちの少なくとも何れか1つを除いた領域である。従って、本構成によれば、連続的な切開後の領域において、血管系を示す領域、リンパ系を示す領域、神経系を示す領域、及び病変部位を示す領域のうちの少なくとも1つをユーザ18に対して視覚的に認識させることができる。
なお、上記実施形態では、第1切開ライン60及び第1深さ64に基づいて第1切除領域65が算出され、さらに第2切開ライン70及び第3深さ77に基づいて第2切除領域75が算出される連続的な切開シミュレーション処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、3回以上の切開が行われる場合の連続的な切開シミュレーション処理が行われてもよい。
また、上記実施形態では、図11に示すように第1切除領域65が第2切除領域75に含まれる形態例を挙げて説明したが、第1切除領域65と第2切除領域75とが、深さ方向視で重なり合う部分があればよく、本開示の技術はこれに限定されない。例えば、第1切除領域65と第2切除領域75とを深さ方向視したとき、第1切除領域65及び第2切除領域75の領域が互いにずれていてもよい。
また、上記実施形態では、受付装置14を介して受け付けられた切開パラメータを元に演算式を用いて、第1切開ライン60及び第2切開ライン70(以下、単に「切開ライン」と称する。)の各位置における深さ、第1切開幅67及び第2切開幅79(以下、単に「切開幅」と称する。)の変化、切開幅の各位置における深さ、又は第1切除領域65及び第2切除領域75(以下単に「切除領域」と称する。)が求められる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、切開パラメータを入力値とし、切開ラインの各位置における深さ、切開幅の変化、切開幅の各位置における深さ、又は切除領域の各々を出力値とする各種テーブルを用いてもよい。
また、上記実施形態では、切開ラインの各位置における深さ、切開幅、及び切開幅の各位置における深さが、単調に変化していく形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、切開ラインの各位置における深さ、切開幅、及び/又は切開幅の各位置における深さが、ある領域では一定の値であり、値が一定とされた領域の端部から単調に変化する形態であってもよい。
また、上記実施形態では、切開パラメータが受付装置14を介して受け付けられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、切開パラメータは、各種条件(例えば、臓器の種類)に応じて定められていてもよく、切開対象物に対して与えられた条件を満たす値であればよい。また、上記実施形態における切開ラインの各位置における深さ、切開幅、及び切開幅の各位置における深さに基づいて切除領域を算出する各種演算式は、各種条件に応じて異なる演算式を有し、各種条件に基づいて選択されても良い。例えば、臓器の種類ごとに異なる演算式を有し、3次元臓器画像42の対象臓器に対応する演算式が選択されても良い。更に、上記実施形態では、切開パラメータとして、切開ライン及び切開の深さの入力を受付装置14を介して受け付けられる形態例を挙げたが、これに限定されない。例えば、各種条件(例えば、臓器の種類)に応じて複数の切開ラインと切開の深さとの関係式を有しており、切開ライン又は切開の深さのいずれか一方の入力のみを受け付け、3次元画像38又は3次元臓器画像42が満たす条件に応じた切開ラインと切開の深さとの関係式を用いて、他方の値を算出するとしても良い。例えば、臓器ごとに複数の切開ラインと切開深さとの関係式を保持し、受付装置14を介して切開ラインの入力のみを受け付け、3次元臓器画像42の対象臓器に対応する切開ラインと切開の深さの関係式を用いて、切開の深さが算出されるようになっていても良い。
また、上記実施形態では、第1切除領域65は、第1切開ライン60及び第1深さ64に加えて、第1切開ライン60の各位置の深さ、第1切開幅67、及び第1切開幅67の各位置の深さに基づいて算出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第1切除領域65を算出する場合に、第1切開ライン60の各位置の深さ、第1切開幅67、及び第1切開幅67の各位置の深さのうちのいずれか1つが用いられてもよいし、2つが組み合わされて用いられてもよい。また、第1切除領域65は、第1切開ライン60及び第1深さ64のみから算出されてもよい。
また、上記実施形態では、第2切除領域75は、第2切開ライン70及び第3深さ77に加えて、第2切開ライン70の各位置の深さ、第2切開幅79、及び第2切開幅79の各位置の深さに基づいて算出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第2切除領域75を算出する場合に、第2切開ライン70の各位置の深さ、第2切開幅79、及び第2切開幅79の各位置の深さのうちのいずれか1つが用いられてもよいし、2つが組み合わされて用いられてもよい。また、第2切除領域75は、第2切開ライン70及び第3深さ77のみから算出されてもよい。
また、上記実施形態では、対象領域80が、第2切除領域75と同じである形態例を挙げて説明したが、本開示の技術はこれに限定されない。対象領域80は、第1切除領域65及び第2切除領域75に含まれていればよく、対象領域80は、第1切除領域65及び/又は第2切除領域75の一部であってもよい。
また、上記実施形態では、対象領域80内の血管系、リンパ系、神経系、及び/又は病変部位を示す領域がレンダリング画像46の領域46Cに表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。一例として図16に示すように、血管系、リンパ系、神経系、及び/又は病変部位を示すレンダリング画像46C1のみが、画面82に表示されてもよい。また、一例として図17に示すように、血管系、リンパ系、神経系、及び/又は病変部位に加えて、臓器組織(すなわち、対象領域80に含まれる血管系等以外の組織)を示すレンダリング画像46C2が、画面82に表示されてもよい。
また、上記実施形態では、一例として図12に示す対象領域80を非表示としたレンダリング画像46を示し、さらに、一例として図13に示す血管系、リンパ系、神経系、及び/又は病変部位を示す領域を表示したレンダリング画像46を示す形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図12に示す対象領域80を非表示としたレンダリング画像46と、図13に示す血管系、リンパ系、神経系、及び/又は病変部位を示す領域を表示したレンダリング画像46のいずれか一方のみを表示するとしても良いし、2つのレンダリング画像46を切り換えられるようにしても良い。また、例えば、血管系、リンパ系、神経系、及び/又は病変部位を示す領域を表示したレンダリング画像46を示すための処理が行われず、対象領域80を非表示としたレンダリング画像46のみが示される態様であってもよい。
また、例えば、図12、図13、図16又は図17に示すレンダリング画像46を切り替えて表示することができてもよい。制御部24Cは、受付装置14を介して受け付けられた指示に基づいて、ディスプレイ16に対して表示制御を行うことにより、図12、図13、図16又は図17に示すレンダリング画像46を示す画面82を切り替える。
また、上記実施形態では、医療業務支援装置10に含まれる画像処理装置12のプロセッサ24によって切開シミュレーション処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、切開シミュレーション処理を行うデバイスは、医療業務支援装置10の外部に設けられていてもよい。
この場合、一例として図18に示すように、医療業務支援システム100を用いればよい。医療業務支援システム100は、情報処理装置101と外部通信装置102を備えている。情報処理装置101は、上記実施形態で説明した医療業務支援装置10に含まれる画像処理装置12のストレージ26から切開シミュレーション処理プログラム36が除かれた装置である。外部通信装置102は、例えば、サーバである。サーバは、例えば、メインフレームによって実現される。ここでは、メインフレームを例示しているが、これは、あくまでも一例に過ぎず、サーバは、クラウドコンピューティングによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部通信装置102の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも1台のパーソナル・コンピュータ等を外部通信装置102として用いてもよい。
外部通信装置102は、プロセッサ104、ストレージ106、RAM108、及び通信I/F110を備えており、プロセッサ104、ストレージ106、RAM108、及び通信I/F110は、バス112で接続されている。通信I/F110は、ネットワーク114を介して情報処理装置101に接続されている。ネットワーク114は、例えば、インターネットである。なお、ネットワーク114は、インターネットに限らず、WAN、及び/又は、イントラネット等のLANであってもよい。
ストレージ106には、切開シミュレーション処理プログラム36が記憶されている。プロセッサ104は、RAM108上で切開シミュレーション処理プログラム36を実行する。プロセッサ104は、RAM108上で実行する切開シミュレーション処理プログラム36に従って、上述した切開シミュレーション処理を行う。
情報処理装置101は、外部通信装置102に対して切開シミュレーション処理の実行を要求する要求信号を送信する。外部通信装置102の通信I/F110は、ネットワーク114を介して要求信号を受信する。プロセッサ104は、切開シミュレーション処理プログラム36に従って切開シミュレーション処理を行い、処理結果を通信I/F110を介して情報処理装置101に送信する。情報処理装置101は、外部通信装置102から送信された処理結果(例えば、領域特定部24Gによる処理結果)を通信I/F30(図2参照)で受信し、受信した処理結果をディスプレイ16等の各種装置に対して出力する。
なお、図18に示す例において、外部通信装置102は、本開示の技術に係る「切開シミュレーション装置」の一例であり、プロセッサ104は、本開示の技術に係る「プロセッサ」の一例である。
また、切開シミュレーション処理は、情報処理装置101及び外部通信装置102を含む複数の装置によって分散されて行われるようにしてもよい。また、上記実施形態では、医療業務支援装置10のストレージ26に3次元画像38が記憶されているとしたが、外部通信装置102のストレージ106に記憶されており、切開シミュレーション処理を行うタイミングで、外部通信装置102からネットワークを介して取得する様にしても良い。
また、上記実施形態では、プロセッサ24がCPU及びGPUによって実現される形態例を挙げたが、本開示の技術は、これに限定されず、プロセッサ24は、少なくとも1つのCPU、少なくとも1つGPU、少なくとも1つのGPGPU(General-purpose computing on graphics processing units)、及び/又は、少なくとも1つのTPU(Tensor processing unit)によって実現されるプロセッサであってもよい。
また、上記実施形態では、ストレージ26に切開シミュレーション処理プログラム36が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、切開シミュレーション処理プログラム36がSSD又はUSBメモリなどの記憶媒体(図示省略)に記憶されていてもよい。記憶媒体は、可搬型の非一時的記憶媒体である。記憶媒体に記憶されている切開シミュレーション処理プログラム36は、医療業務支援装置10の画像処理装置12にインストールされる。プロセッサ24は、切開シミュレーション処理プログラム36に従って切開シミュレーション処理を実行する。
また、ネットワーク(図示省略)を介して医療業務支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置に切開シミュレーション処理プログラム36を記憶させておき、医療業務支援装置10の要求に応じて切開シミュレーション処理プログラム36がダウンロードされ、画像処理装置12にインストールされるようにしてもよい。つまり、本実施形態で説明したプログラム(すなわち、プログラム製品)は、記録媒体で提供するほか、外部のコンピュータから配信する形態であっても良い。
医療業務支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ26に切開シミュレーション処理プログラム36の全てを記憶させておく必要はなく、切開シミュレーション処理プログラム36の一部を記憶させておいてもよい。なお、記憶媒体、医療業務支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置、及びその他の外部ストレージ(例えば、データベース等)は、プロセッサ24に直接的又は間接的に接続されて用いられるメモリとして位置付けられる。
また、上記実施形態では、画像処理装置12がコンピュータとして例示されているが、本開示の技術はこれに限定されず、コンピュータに代えて、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、及び/又はPLD(Programmable Logic Device)を含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した切開シミュレーション処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、切開シミュレーション処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで切開シミュレーション処理を実行する。
切開シミュレーション処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、切開シミュレーション処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、切開シミュレーション処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、切開シミュレーション処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、切開シミュレーション処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の切開シミュレーション処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。