JP6251681B2 - 血管ツリー画像の内視鏡的位置合わせ - Google Patents

Description

本出願は、２０１１年９月１３日に出願された、ＰＣＴ／ＩＢ２０１１／０５３９９８「血管ツリー画像に基づく内視鏡のロボット制御」という名称の共同所有された特許出願の優先権を主張する。

本発明は、一般に、術前３次元（「３Ｄ」）血管ツリー画像を、術中内視鏡血管ツリー画像と術中位置合わせすることに関する。本発明は、詳細には、心臓の外科的手術の間における血管ツリーのトポロジの任意の変化に対処する方法を組み込んだ術中位置合わせに関する。

冠動脈バイパス術（「ＣＡＢＧ」：Coronary Artery Bypass Grafting）は、閉塞した冠動脈の血管再生のための外科的手術である。約５０万件の手術が、毎年米国で実施されている。従来のＣＡＢＧでは、患者の胸骨が切開され、患者の心臓が、外科医に十分に露出される。心臓が露出しているにもかかわらず、いくつかの動脈は、それら動脈より上の脂肪組織層に起因して、部分的に見えないことがある。このような動脈に関して、外科医は、心臓表面を触診し、動脈からの脈打つ血液及び動脈の狭窄を感じることができる。しかしながら、このデータは、貧弱であり、外科的な計画を外科的な現場に移すには十分でないことがある。

最小侵襲性のＣＡＢＧにおいて、外科医は、心臓表面を触診することができないので、従来のＣＡＢＧの上述の問題が増幅される。さらに、最小侵襲性のＣＡＢＧにおいて使用される外科器具の長さは、ツールの近位端からの触覚フィードバックを妨げる。

従来のＣＡＢＧに関する問題に対処するための１つの知られている技術は、術中の部位を、術前３Ｄ冠動脈ツリーと位置合わせすることである。具体的には、光学的に追跡されるポインタが、開かれた心臓状況で動脈の位置をデジタル化するために使用され、位置データが、当分野で知られている反復的な最近接点（「ＩＣＰ」：Iterative Closest Point）アルゴリズムを使用して術前ツリーと位置合わせされる。しかしながら、この技術は、デジタル化された動脈及び術前データをマッチングする任意の関連するアプローチの場合のように、小さいポートアクセスによって課される空間的制約のため、最小侵襲性のＣＡＢＧに関して実際的でない。さらに、この技術は、動脈の大部分が目に見えること又は外科医によって触診されることを必要とするが、これは、最小侵襲性のＣＡＢＧでは不可能である。

最小侵襲性のＣＡＢＧに関する問題に対処するための１つの知られている技術は、心臓表面が、光学的に追跡される内視鏡を使用して再構成され、同じ表面の術前コンピュータトモグラフィ（「ＣＴ」：Computer Tomography）データとマッチングされる、位置合わせ方法を実施することである。しかしながら、この技術は、表面を導出するために使用される内視鏡ビューがあまりに小さい場合、表面ベースのマッチングを提案する任意の関連するアプローチと同様に、失敗することがある。さらに、心臓表面は、特定の表面特徴がなく相対的に滑らかであるので、この技術のアルゴリズムは、多くの場合、アルゴリズムの準最適の極大で機能する。

最小侵襲性のＣＡＢＧに関する問題に対処するための別の知られている技術は、以前にラベル付けされたケース及びグラフベースのマッチングのデータベースを使用して、新しい患者から抽出される冠動脈ツリーをラベル付けすることである。しかしながら、この技術は、完全なツリーが利用可能な場合のみ機能し、その目標は、ジオメトリをマッチングすることではなく、ツリーをラベル付けすることである。

術前３Ｄ画像に対する大局的な位置合わせが達成されると、最小侵襲性のＣＡＢＧのさらなる問題は、内視鏡の向き及びガイダンスである。位置合わせの目標は、吻合部位及び狭窄の位置特定を容易にすることである。標準の手順において、内視鏡は、アシスタントによって保持され、外科医は、２つの器具を保持する。外科医は、アシスタントに命令を出し、アシスタントは、それに応じて内視鏡を移動させる。この種の手順は、アシスタントが、一般に外科医の基準フレームで発行される外科医の命令を、アシスタントの基準フレーム及び内視鏡の基準フレームに直観的に変換する必要があるので、外科医の手−目の協調を妨げる。複数の座標系は、様々なハンドリングエラーを引き起こし、又は外科手術を長引かせ、又は冠動脈の誤った識別を引き起こし得る。

外科医が、外科医の頭部の検知される動きを通じて内視鏡を直接制御することを可能にするように設計される外科内視鏡アシスタントは、制御ループからアシスタントを除去することによって、それらの問題のいくつかを解決することができるが、外科医の基準フレームと内視鏡の基準フレームとの間の変換の問題は依然として残る。

本発明は、術前３次元（「３Ｄ」）画像（例えば、ＣＴ画像、コーンビームＣＴ画像、３ＤＸ線画像、又はＭＲＩ画像）及び術中内視鏡画像に示される血管ツリーの各分岐部（例えば、動脈の各点、毛細血管の各点、静脈の各点、及び複数分岐される解剖学的構造）におけるグラフィック表現をマッチングする画像位置合わせ方法を提供する。この画像位置合わせ方法は、さらに、特にＣＡＢＧといった外科的手術の間における血管ツリーのトポロジの任意の変化に対処することができる。

本発明の目的上、「分岐部」という語は、２以上のブランチに分岐する血管ツリーに沿う任意の点として、本明細書において広義に定義される。

本発明の第１の形態は、内視鏡及び内視鏡コントローラを用いる位置合わせシステムである。動作中において、内視鏡は、解剖学的領域内の血管ツリー（例えば、動脈ツリー、静脈ツリー、又は人体における他の任意の筒状構造）の術中内視鏡画像を生成し、内視鏡コントローラは、血管ツリーの術中内視鏡画像を、血管ツリーの術前３次元画像と画像位置合わせする。画像位置合わせすることは、血管ツリーの術中内視鏡画像内における血管ツリーの各分岐部のグラフィック表現を、血管ツリーの術前３次元画像内における血管ツリーの各分岐部のグラフィック表現と画像マッチングすることを含む。

本発明の第２の形態は、解剖学的領域内の血管ツリーの術前３次元画像を生成するステップと、解剖学的領域内の血管ツリーの術中内視鏡画像を生成するステップと、血管ツリーの術中内視鏡画像を、血管ツリーの術前３次元画像と画像位置合わせするステップと、を含む、画像位置合わせ方法である。画像位置合わせするステップは、血管ツリーの術中内視鏡画像内における血管ツリーの各分岐部のグラフィック表現を、血管ツリーの術前３次元画像内における血管ツリーの各分岐部のグラフィック表現と画像マッチングするステップを含む。

本明細書で用いられる「術前（pre-operative）」という語は、解剖学的領域の３次元画像を取得するために、解剖学的領域の内視鏡イメージングの前、最中、又は後に実行される任意のアクティビティを記述するものとして広義に定義される。本明細書で用いられる「術中（intra-operative）」という語は、解剖学的領域の内視鏡イメージングの間の、又は解剖学的領域の内視鏡イメージングに関連する任意のアクティビティを記述するものとして広義に定義される。解剖学的領域の内視鏡イメージングの例は、ＣＡＢＧ、気管支鏡検査、大腸内視鏡検査、腹腔鏡検査、及び脳内視鏡検査を含むが、これらに限定されるものではない。

本発明の上述の形態及び他の形態並びに本発明の様々な特徴及び利点が、添付の図面を参照して理解される本発明の様々な実施形態の以下の詳細な説明から、さらに明らかになる。詳細な説明及び図面は、単に本発明を例示するものであって、本発明を限定するものではなく、本発明の範囲は、添付の特許請求の範囲及びそれと均等なものによって定められる。

本発明に従った、ロボットガイディングシステムの例示的な実施形態を示す図。 本発明に従った、ロボットガイダンス方法の例示的な実施形態を示すフローチャート。 図２に示されるフローチャートの例示的な外科的実施例を示す図。 本発明に従った、グラフマッチング方法の例示的な実施形態を示すフローチャート。 本発明に従った、血管ツリーのメイングラフの例示的な順序付けを示す図。 本発明に従った、血管ツリーのメイングラフの例示的な順序付けを示す図。 本発明に従った、幾何学的表現の内視鏡画像に対する例示的なオーバレイを示す図。 本発明に従った、図７に示されるオーバレイ内の例示的なロボットパスを示す図。 本発明に従った、静脈位置合わせ方法を示すフローチャート。 本発明に従った、静脈／動脈統合位置合わせ方法の第１の実施形態を示すフローチャート。 本発明に従った、静脈／動脈統合位置合わせ方法の第２の実施形態を示すフローチャート。 本発明に従った、位置合わせ修正方法の第２の実施形態を示すフローチャート。

図１に示されるように、ロボットガイディングシステムは、１以上の分岐部（すなわちブランチ）を有する血管ツリーの内視鏡イメージングを伴う任意の内視鏡手術のために、ロボットユニット１０及び制御ユニット２０を用いる。このような内視鏡手術の例は、最小侵襲性の心臓手術（例えば、冠動脈バイパス術又は僧帽弁置換術）を含むが、これに限定されるものではない。

ロボットユニット１０は、ロボット１１、ロボット１１に堅固に取り付けられた内視鏡１２、及び内視鏡１２に取り付けられたビデオキャプチャ装置１３を含む。

ロボット１１は、特定の内視鏡手術用に必要に応じてエンドエフェクタを操作するための１以上の関節のモータ制御を備えるよう構造的に構成される任意のロボット装置として、本明細書において広義に定義される。実際、ロボット１１は、４自由度を有することができ、例えば、剛体セグメントと連続的に接続された関節を有するシリアルロボット、並列に搭載される関節及び剛体セグメントを有するパラレルロボット（例えば、当分野で知られているＳｔｅｗａｒｔプラットフォーム）、又はシリアル運動力学及びパラレル運動力学の混合組合せであってよい。

内視鏡１２は、身体の内側からイメージングを行う能力を備えるよう構造的に構成される任意の装置として、本明細書において広義に定義される。本発明の目的を達成するための内視鏡１２の例は、可撓性又は剛性の任意のタイプのスコープ（例えば、内視鏡、関節鏡、気管支鏡、胆道鏡、結腸内視鏡、膀胱鏡、十二指腸内視鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、耳鏡、プッシュ腸鏡、鼻咽頭内視鏡、Ｓ状結腸鏡、副鼻腔内視鏡、胸鏡など）、及び画像システムを備えるスコープと同様の装置（例えばイメージング能力を有する入れ子式カニューレ）を含むが、これらに限定されるものではない。イメージングは、局所的であり、表面画像は、ファイバ光学素子、レンズ、及び小型化された（例えばＣＣＤベースの）イメージングシステムによって、光学的に取得することができる。

実際、内視鏡１２は、ロボット１１のエンドエフェクタに搭載される。ロボット１１のエンドエフェクタの姿勢は、ロボット１１のアクチュエータの座標系の範囲におけるエンドエフェクタの位置及び向きである。内視鏡１２が、ロボット１１のエンドエフェクタに搭載される場合、解剖学的領域内における内視鏡１２の視野の所与の姿勢は、ロボット座標系におけるロボット１１のエンドエフェクタの個別の姿勢に対応する。したがって、内視鏡１２によって生成される血管ツリーの各個別の内視鏡画像は、解剖学的領域内の内視鏡１２の対応する姿勢に関連付けることができる。

ビデオキャプチャ装置１３は、内視鏡１２からの術中内視鏡ビデオ信号を、術中内視鏡画像（「ＩＯＥＩ」：Intra-Operative Endoscopic Image）１４のコンピュータ読み取り可能な時間シーケンスに変換する能力を備えるよう構造的に構成される任意の装置として、本明細書において広義に定義される。実際、ビデオキャプチャ装置１３は、術中内視鏡ビデオ信号から個別のデジタル静止画フレームを取得するために、任意のタイプのフレーム取り込み装置（frame grabber）を用いることができる。

図１を参照すると、制御ユニット２０は、ロボットコントローラ２１及び内視鏡コントローラ２２を含む。

ロボットコントローラ２１は、内視鏡手術用に必要に応じてロボット１１のエンドエフェクタの姿勢を制御するために、１以上のロボットアクチュエータコマンド（「ＲＡＣ」：Robot Actuator Command）２６をロボット１１に提供するよう構造的に構成される任意のコントローラとして、本明細書において広義に定義される。より詳しくは、ロボットコントローラ２１は、内視鏡コントローラ２２からの内視鏡位置コマンド（「ＥＰＣ」：Endoscope Position Command）２５を、ロボットアクチュエータコマンド２６に変換する。例えば、内視鏡位置コマンド２５は、解剖学的領域内における内視鏡１２の視野の所望の３Ｄ位置に至る内視鏡パスを示すことができる。それによって、ロボットコントローラ２１は、コマンド２５を、内視鏡１２を所望の３Ｄ位置へ移動させるのに必要なロボット１１の各モータ用駆動電流を含むコマンド２６に変換する。

内視鏡コントローラ２２は、図２に例示的に示される本発明に従ったロボットガイダンス方法を実施するよう構造的に構成される任意のコントローラとして、本明細書において広義に定義される。このために、内視鏡コントローラ２２は、画像処理モジュール（「ＩＰＭ」：Image Processing Module）２３を組み込むことができる。画像処理モジュール（「ＩＰＭ」）２３は、本発明の解剖学的対象の画像位置合わせを実行するよう構造的に構成される任意のモジュールとして、本明細書において広義に定義される。具体的には、解剖学的対象の画像位置合わせは、図２に示されるフローチャート３０の段階Ｓ３２及び段階Ｓ３３によって例示的に実施されるような血管ツリー画像の位置合わせである。内視鏡コントローラ２２は、視覚サーボモジュール（「ＶＳＭ」：Visual Servo Module）２４をさらに組み込むことができる。視覚サーボモジュール（「ＶＳＭ」）２４は、解剖学的領域内における内視鏡１２の視野の所望の３Ｄ位置に至る内視鏡パスを示す内視鏡位置コマンド２５を生成するよう構造的に構成される任意のモジュールとして、本明細書において広義に定義される。具体的には、内視鏡位置コマンド２５は、図２に示されるフローチャート３０の段階Ｓ３４によって例示的に実施されるように、血管ツリー画像の位置合わせから導出される。

次に、フローチャート３０の説明が、内視鏡コントローラ２２のさらなる理解を容易にするために、本明細書において提供される。

図２を参照すると、フローチャート３０の段階Ｓ３１は、身体の任意の解剖学的領域における術前３Ｄ画像から、血管ツリー（例えば、動脈の分岐部、毛細血管の分岐部、又は静脈の分岐部）の幾何学的表現を抽出することを含む。例えば、図３に示されるように、３Ｄイメージング装置（例えば、ＣＴ装置、Ｘ線装置、又はＭＲＩ装置）は、患者５０の左冠動脈５１及び右冠動脈５２を示す、患者５０の胸部領域の術前３Ｄ画像４２を生成するよう動作する。その後、血管ツリー抽出器４３が、画像４２から冠動脈ツリーの幾何学的表現４４を抽出するよう動作する。冠動脈ツリーの幾何学的表現４４は、データベース４５に記憶することができる。実際、Ｐｈｉｌｉｐｓにより販売されているＢｒｉｌｌｉａｎｃｅ ｉＣＴスキャナを使用して、画像４２を生成し、画像４２から冠動脈ツリーの３Ｄデータセットを抽出することができる。

図２を再び参照すると、フローチャート３０の段階Ｓ３２は、画像処理モジュール２３が、血管ツリーの１以上の術中内視鏡画像１４（図１）のグラフィック表現を、血管ツリーの術前３Ｄ画像４４（図１）のグラフィック表現とマッチングすることを含む。例えば、図３に示されるように、内視鏡１２は、ビデオキャプチャ装置１３によってキャプチャされ術中内視鏡画像１４に変換される、患者５０の胸部領域の術中内視鏡検査ビデオを生成する。それにより、内視鏡コントローラ２２の画像処理モジュール２３は、冠動脈ツリーの１以上の術中内視鏡画像１４のグラフィック表現を、冠動脈ツリーの術前３Ｄ画像４４のグラフィック表現とマッチングする。１つの例示的な実施形態において、画像処理モジュール２３は、図４に示されるフローチャート６０によって例示的に表される本発明の血管ツリー画像マッチング方法を実行する。これは、冠動脈ツリーである血管ツリーのコンテキストにおいて、本明細書で説明される。

図４を参照すると、フローチャート６０の段階Ｓ６１は、画像処理モジュール２３が、当分野で知られている任意の表現方法に従って、冠動脈ツリーの幾何学的表現から、冠動脈ツリーメイングラフを生成することを含む。例えば、段階Ｓ６１に示されるように、冠動脈ツリーの幾何学的表現７０は、冠動脈ツリーの幾何学的表現７０の各分岐部（例えば、二分岐又は三分岐）を表すノードと、さらにノード間のブランチ接続とを有するメイングラフ７１に変換される。段階Ｓ６１は、術前（例えば、内視鏡外科手術の数日前又は患者５０内に内視鏡１２が導入される前の任意の時間）に実施されてもよいし、又は、Ｃアーム血管造影法若しくは他の適切なシステムによって術中に実施されてもよい。

フローチャート６０の段階Ｓ６２は、画像処理モジュール２３が、当分野で知られている任意のグラフィック表現方法に従って、術中内視鏡画像１４において目に見える冠動脈ツリーの一部から、冠動脈ツリーサブグラフを生成することを含む。具体的には、内視鏡１２が、患者５０に導入されることによって、画像処理モジュール２３は、術中内視鏡画像１４内の冠動脈の構造の検出を実施する。実際、いくつかの動脈の構造は目に見えるが、他の動脈の構造は、脂肪組織の層によって隠されることがある。したがって、画像処理モジュール２３は、知られている画像処理動作によって、目に見える冠動脈の構造の自動検出（例えば、目に見える冠動脈の構造のはっきりした赤色による閾値検出）を実施することができ、又は、外科医は、入力装置を使用して、コンピュータディスプレイ上で目に見える冠動脈の構造の輪郭を手作業で描くことができる。動脈の構造が検出されると、画像処理モジュール２３は、冠動脈ツリーメイングラフの生成と同様に、冠動脈ツリーグラフを生成する。例えば、段階Ｓ６２に示されるように、冠動脈の構造の幾何学的表現７２は、冠動脈ツリーの幾何学的表現７２の各分岐部（例えば、二分岐又は三分岐）を表すノードと、さらにノード間のブランチ接続とを有するグラフ７３に変換される。どちらのツリーも同じ人からのものであるので、内視鏡検査画像から導出されるグラフは、３Ｄ画像から導出されるグラフのサブグラフであることが理解されよう。

フローチャート６０の段階Ｓ６３は、画像処理モジュール２３が、任意の知られているグラフマッチング方法（例えば、最大共通サブグラフ又はＭｃＧｒｅｇｏｒ共通サブグラフ）に従って、サブグラフをメイングラフとマッチングすることを含む。例えば、段階Ｓ６３に示されるように、サブグラフ７３のノードは、メイングラフ７１のノードのサブセットとマッチングされる。

実際、サブグラフ７３は、術中内視鏡画像１４内で部分的に検出されることもあるし、又は、サブグラフ７３のいくつかのノード／接続は、術中内視鏡画像１４から欠けていることもある。段階Ｓ６２のマッチング精度を向上させるために、メイングラフ７１及びサブグラフ７３の付加的な順序付けが、実施されてもよい。

一実施形態において、メイングラフ７１の垂直方向のノード順序付けが、段階Ｓ６１の画像スキャニングの間に、患者５０の知られている向きに基づいて実施される。具体的には、メイングラフのノードは、実線矢印によって図５に例示的に示されるように、上から下への順序を維持するように、方向的に関連付けることができる。サブグラフ７３に関して、内視鏡１２に対する患者５０の向きは、知られていないことがある。しかしながら、冠動脈ツリーのブランチは、それらが上から下へと広がるにつれて、ブランチの直径が小さくなることが分かるので、術中内視鏡画像１４における動脈ブランチの変化する動脈サイズは、向きを示すことができる。

別の実施形態において、メイングラフ７０の水平方向のノード順序付けは、段階Ｓ６１の画像スキャニングの間に、患者５０の知られている向きに基づいて実施することができる。具体的には、メイングラフのノードは、破線矢印によって図６に例示的に示されるように、左から右へのノード順序を維持するように、方向的に関連付けることができる。サブグラフ７３に関して、内視鏡１２に対する患者５０の向きは知られていない可能性が高いので、サブグラフ７３の水平方向のノード順序は、グラフィカルユーザインタフェースを介して、手術外科医又はアシスタントによって設定することができる。

順序付けの使用は、グラフをマッチングする時間を低下させることができ、可能性がある合致の数を低減することができるが、理論的には、グラフ間の複数の合致は、マッチングアルゴリズムによって、さらに得ることができる。複数の合致のこのようなケースは、フローチャート３０の段階Ｓ３３の間に対処される。

図２を再び参照すると、フローチャートの段階Ｓ３３は、グラフのマッチングに基づいて、血管ツリーの術前３Ｄ画像４４（図１）の幾何学的表現を、血管ツリーの術中内視鏡画像１４にオーバレイすることを含む。これは、メイングラフに一意的に関連付けられる幾何学的表現を使用することによって行われる。したがって、全体のジオメトリは、パースペクティブ変換を使用して、術中内視鏡画像１４に直接変換することができる。パースペクティブ変換は、（ホモグラフィマッチングのような）当分野で知られているマッチングアルゴリズムを使用して、術中内視鏡画像１４及び術前３Ｄ画像４４におけるノードから検出することができる。

例えば、図７は、術中内視鏡画像９０のノード９１〜ノード９５と合致したノードを有する冠動脈ツリーの幾何学的表現８０を示している。ノード９１〜ノード９５の間における各ノードペア間の距離を使用して、幾何学的表現８０に関するスケーリングファクタを決定することができる。それにより、幾何学的表現８０が、図示されるように術中内視鏡画像９０にオーバレイすることを可能にする。

実際、段階Ｓ３２（図２）のグラフマッチングが、複数の結果をもたらす場合、可能性のある全てのオーバレイを、外科医に対し表示することができる。それにより、外科医は、自分が最も見込みのある合致であると思うマッチング結果を、グラフィカルユーザインタフェースを介して選択することができる。外科医が、術中内視鏡画像１４の少なくともいくつかの構造に対する内視鏡１２の位置を知っている場合、選択は、相対的に単純であり得る。

図２を再び参照すると、フローチャート３０の段階Ｓ３４は、視覚サーボモジュール２４が、血管ツリーの術前３Ｄ画像４４（図１）の幾何学的表現の、血管ツリーの術中内視鏡画像１４（図１）に対するオーバレイ内に、内視鏡パスを生成することを含む。視覚サーボモジュール２４は、内視鏡パスに基づいて、ロボットコントローラ２１に対する内視鏡位置コマンド２５を生成し、それにより、解剖学的領域内の所望の位置に、内視鏡パスに沿って内視鏡１２（図１）をガイドする。具体的には、正確なオーバレイが見つけられると、外科医が術前３Ｄ画像４４上の選択する位置へ、内視鏡１２をガイドするよう、ロボット１１に命じることができる。外科医又はアシスタントは、血管ツリーの或る点を選択することができ、ロボット１１は、任意の適切なパスに沿って、その所望の位置へ内視鏡１２をガイドすることができる。例えば、図８に示されるように、ロボット１１は、最短パス１０１に沿って所望の位置１００へ、又は冠動脈パス１０２に沿って所望の位置１００へ、内視鏡１２を移動させることができる。冠動脈パス１０２は、ロボット１１が内視鏡１２を移動させる場合において外科医が目に見える動脈を観察することを可能にするので、冠動脈パス１０２は、好適な実施形態である。さらに、外科医が、マッチングが成功したかどうかを判定することを助けることができる。冠動脈パス１０２は、当分野で知られている方法（例えば、Ｄｉｊｋｓｔｒａ最短パスアルゴリズム）を使用して規定することができる。

実際、ロボット１１の動きは、遠隔運動中心に関して非較正の視覚サーボを使用して命じることができ、内視鏡１２の視野は、マッチング段階Ｓ３２の間に、より大きいサブグラフを可能にするよう拡大することができる（例えば、当分野で知られているように、術中内視鏡画像１４をステッチする）。

本明細書において前述したように、図２に示されるフローチャート３０の段階Ｓ３２及び段階Ｓ３３は、単一の血管ツリーを含む、本発明の血管ツリー画像位置合わせを表す。さらに、段階Ｓ３２及び段階Ｓ３３の前述の説明は、段階Ｓ３２及び段階Ｓ３３の理解を容易にするために、冠動脈ツリーのコンテキストにおいて提供された。実際には、本発明の血管ツリー画像位置合わせは、身体の任意の解剖学的領域内における任意のタイプの２以上の血管ツリーを伴うこともある。

図９〜図１１は、身体の任意の解剖学的領域内、特に心臓領域内での動脈ツリー及び静脈ツリーのコンテキストにおいて、段階Ｓ３２及び／又は段階Ｓ３３（図１）の追加の実施形態を示している。これらの実施形態は、本明細書において前に教示したフローチャート６０（図４）の原理に従って、グラフの生成及びノードのマッチングを実施する。

図９を参照すると、フローチャート１１０は、静脈ツリーの術中内視鏡画像のメイングラフを静脈ツリーの術前画像とマッチングすることを含む、静脈ツリー画像位置合わせ方法を表している。このマッチングは、解剖学的領域の術中内視鏡画像を、解剖学的領域の術前３Ｄ画像と位置合わせする基礎となる。

具体的には、フローチャート１１０の段階Ｓ１１１は、画像処理モジュール２３が、静脈ツリーの術中内視鏡画像と静脈ツリーの術前３Ｄ画像との間で、静脈ツリーグラフのマッチングを実行することを含む。例えば、図９の段階Ｓ１１１に示されるように、静脈ツリーの術前３Ｄ画像１２０のメイングラフ１２１と、静脈ツリーの術中内視鏡画像１２２のサブグラフ１２３とが生成され、サブグラフ１２３のノードが、メイングラフ１２１のノードの特定のサブセットとマッチングされる。この結果が、解剖学的領域の術中内視鏡画像と、解剖学的領域の術前３Ｄ画像との位置合わせである。

フローチャート１１０の段階Ｓ１１２は、画像処理モジュール２３が、当分野で知られているように、解剖学的領域の術前画像内における、動脈ツリーの静脈ツリーに対する相対位置から導出される、動脈ツリーの術前画像のオーバレイの生成を実行する。例えば、図９の段階Ｓ１１２に示されるように、動脈ツリーの術前画像１３０の、動脈ツリーの術中内視鏡画像１３２に対するオーバレイは、（破線によって示されている）動脈ツリーの術前画像１３０の、静脈ツリーの術前画像１２０に対する相対位置から導出される。

図１０を参照すると、フローチャート１４０は、（１）動脈ツリーの術中内視鏡画像のサブグラフと動脈ツリーの術前画像のメイングラフとの動脈ツリーのマッチングと、（２）静脈ツリーの術中内視鏡画像のサブグラフと静脈ツリーの術前画像のメイングラフとの静脈ツリーのマッチングと、の組合せを含む、血管ツリー画像位置合わせ方法を表している。

具体的には、フローチャート１４０の段階Ｓ１４１は、画像処理モジュール２３が、動脈ツリーの術中内視鏡画像と動脈ツリーの術前３Ｄ画像との間で、動脈ツリーグラフのマッチングを実行することを含む。例えば、図１０の段階Ｓ１４１に示されるように、動脈ツリーの術前３Ｄ画像１３０のメイングラフ１３１と、動脈ツリーの術中内視鏡画像１３２のサブグラフ１３３とが生成され、サブグラフ１３３のノードが、メイングラフ１３１のノードの特定のサブセットとマッチングされる。

フローチャート１４０の段階Ｓ１４２は、画像処理モジュール２３が、静脈ツリーの術中内視鏡画像と静脈ツリーの術前３Ｄ画像との間で、静脈ツリーグラフのマッチングを実行することを含む。例えば、図１０の段階Ｓ１４２に示されるように、静脈ツリーの術前３Ｄ画像１２０のメイングラフ１２１と、静脈ツリーの術中内視鏡画像１２２のサブグラフ１２３とが生成され、サブグラフ１２３のノードが、メイングラフ１２１のノードの特定のサブセットとマッチングされる。

フローチャート１４０の段階Ｓ１４３は、画像処理モジュール２３が、当分野で知られているように、段階Ｓ１４１の動脈ツリーのマッチングと、段階Ｓ１４２の静脈ツリーのマッチングとを幾何学的に組み合わせることを含む。

実際、段階Ｓ１４１及び段階Ｓ１４２は、任意の順番で連続的に実行されてもよいし、又は、並行して実行されてもよい。

図１１を参照すると、フローチャート１５０は、（１）動脈ツリーの術中内視鏡画像のサブグラフと動脈ツリーの術前画像のメイングラフとの動脈ツリーのマッチングと、（２）静脈ツリーの術中内視鏡画像のサブグラフと静脈ツリーの術前画像のメイングラフとの静脈ツリーのマッチングと、の統合を含む、血管ツリー画像位置合わせ方法を表している。

具体的には、フローチャート１５０の段階Ｓ１５１は、画像処理モジュール２３が、動脈ツリーの術前画像及び静脈ツリーの術前画像のそれぞれから、動脈ツリーのメイングラフ及び静脈ツリーのメイングラフを生成することを含む。フローチャート１５０の段階Ｓ１５２は、動脈ツリーのメイングラフと静脈ツリーのメイングラフとを統合することを含む。実際、心臓領域に関しては、動脈ツリー及び静脈ツリーが現実的に接続される血管点は１つも存在しない。したがって、動脈ツリーのメイングラフと静脈ツリーのメイングラフとは、基本的に分離している。それでも、心臓領域の構造内において、動脈ノード及び静脈ノードがわずかな距離しか離れていない複数の点が存在し得る。これらのノードは、段階Ｓ１５２の目的上、何らかの関係性があるとみなすことができる。したがって、これらのノードにおいて結合された単一のツリーを構成することができる。

例えば、図１１の段階Ｓ１５２に示されるように、静脈ツリーのメイングラフ１２１のノード１２４と、動脈ツリーのメイングラフ１３１のノード１３４とは、心臓領域の術前体積画像内において、わずかな距離しか離れていない。したがって、静脈ツリーのメイングラフ１２１のノード１２４と、動脈ツリーのメイングラフ１３１のノード１３４とは、心臓領域の術前体積画像内において、点１６１にて結合され、統合血管ツリーグラフ１６０が形成される。

フローチャート１５０の段階Ｓ１５３は、画像処理モジュール２３が、動脈ツリーの術中内視鏡画像及び静脈ツリーの術中内視鏡画像のそれぞれから、動脈ツリーのサブグラフ及び静脈ツリーのサブグラフを生成することを含む。フローチャート１５０の段階Ｓ１５４は、動脈ツリーのサブグラフ及び静脈ツリーのサブグラフを、統合血管グラフとノードに関してマッチングすることを含む。例えば、図１１の段階Ｓ１５４に示されるように、動脈ツリーの生成されたサブグラフ１３２と、静脈ツリーの生成されたサブグラフ１２２とが、統合血管グラフ１６０とマッチングされる。

実際、代替として、静脈ツリーのメイングラフの統合は、静脈ツリーのサブグラフと対応するメイングラフとの個別のマッチング時に生じてもよい。

図２を再び参照すると、段階Ｓ３２〜段階Ｓ３４は、一度に実行されてもよいし、又は、ロボット１１が解剖学的領域内の所望の位置へ内視鏡１２を移動させる時間まで周期的に実行されてもよいし、又は、外科医によって指示される回数実行されてもよい。

フローチャート１３０の代替実施形態において、外科手術が、特に心臓領域といった解剖学的領域における１以上の血管ツリーに対して実施される場合、段階Ｓ３５が、画像位置合わせを更新するために、実行されてもよい。例えば、バイパスが完了した後、動脈ツリーの新たに導入されるトポロジが、心臓領域におけるバイパスの術中外科画像（例えば、内視鏡画像又はＸ線血管造影画像）内で目に見えるものとなり、心臓領域の術前体積画像では目に見えないものとなる。術中外科画像から提供される動脈ツリーが、本明細書において前述した本発明のグラフマッチングアルゴリズムを用いて、術前体積画像から提供される動脈ツリーとマッチングされる。位置合わせ時に、術前体積画像のメイングラフは、１つの新たなノード（遠位吻合部位）と１つの接続（バイパス）とを追加することにより、更新することができる。

図１２に示されるフローチャート１７０は、段階Ｓ３５及び段階Ｓ３１（図２）の一実施形態を表している。フローチャート１７０の段階Ｓ１７１は、解剖学的領域の術中外科画像から、血管ツリーを抽出することを含む。段階Ｓ１７２は、術中外科画像を術前体積画像と位置合わせすることを含む。例えば、図１２の段階Ｓ１７２に示されるように、動脈ツリー１３３の外科画像１８０が、バイパス１８１を示す画像１８０を含む術中内視鏡画像１４又は術中Ｘ線血管造影画像１５から抽出される。画像１８０のメイングラフ１８２が、バイパスを表す新たに接続されたノード１８３を伴って生成される。メイングラフ１８２は、術前体積画像のメイングラフとノードに関してマッチングされる（例えば、図１０に示される動脈ツリー画像１３０及びメイングラフ１３１）。

フローチャート１７０の段階Ｓ１７３は、術前体積画像を更新することを含む。実際、更新された画像１３３は、完全な動脈ツリーを十分に示してもよいし、又は、完全な動脈ツリーのバイパスされた部分を取り除いてもよい。例えば、図１２の段階Ｓ１７３に示されるように、術前体積画像１３３の更新された画像１３３ａは、バイパス１８１を含む完全な動脈ツリーを示している。あるいは、術前体積画像１３３の更新された画像１３３ｂは、動脈ツリーのバイパスされた部分を除いた動脈ツリーを示している。

フローチャート１７０は、段階Ｓ３２（図２）へ戻り、段階Ｓ３２〜段階Ｓ３４の間に、術中内視鏡画像１４を術前体積画像４４と再位置合わせし、ロボット１１をガイドするために、更新された画像１３３が使用され得る。

図１を再び参照すると、実際、モジュール２３及びモジュール２４は、図示されるように、内視鏡コントローラ２２内に一体化されたハードウェア、ソフトウェア、及び／又はファームウェアにより実装されてもよい。

本明細書における図１〜図１２の説明から、当業者は、本発明を任意のタイプの血管に対して実施される任意のタイプの内視鏡手術に応用することを含め、本発明の多数の利点を理解するであろう。ただし、本発明の利点は、本発明を任意のタイプの血管に対して実施される任意のタイプの内視鏡手術に応用することに限定されるものではない。

例示的な態様、特徴、及び実施例を参照しながら、本発明について説明されたが、開示したシステム及び方法は、そのような例示的な態様、特徴、及び／又は実施例に限定されるものではない。そうではなく、本明細書で提供された説明から、開示したシステム及び方法は、本発明の趣旨又は範囲から逸脱することなく、様々な変形、変更、及び改良を受け入れる余地があることが当業者には容易に明らかになるであろう。したがって、本発明は、本発明の範囲内のそのような変形、変更、及び改良を明確に含むものである。

Claims (8)

1. 解剖学的領域内の血管ツリーの術中内視鏡画像を生成するよう動作可能な内視鏡と、
   前記血管ツリーの前記術中内視鏡画像を、前記血管ツリーの術前３次元画像と画像位置合わせするよう動作可能な内視鏡コントローラと、を備え、
   前記画像位置合わせすることは、前記血管ツリーの前記術中内視鏡画像内における前記血管ツリーの各分岐部のグラフィック表現を、前記血管ツリーの前記術前３次元画像内における前記血管ツリーの各分岐部のグラフィック表現と画像マッチングすることを含む、画像位置合わせシステムであって、
   前記画像マッチングすることは、
   前記血管ツリーの前記術前３次元画像の幾何学的表現から導出されるメイングラフを生成することであって、前記メイングラフは、前記血管ツリーの前記術前３次元画像内における前記血管ツリーの各分岐部を表す接続されたノードのメインセットを含む、生成することと、
   前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導出されるサブグラフを生成することであって、前記サブグラフは、前記血管ツリーの前記術中内視鏡画像内における前記血管ツリーの各分岐部を表す、接続されたノードの前記メインセットのサブセットを含む、生成することと、
   前記サブグラフを前記メイングラフとノードマッチングすることと、
   を含み、
   前記内視鏡コントローラは、前記血管ツリーのトポロジの術中の外科的変化に応じて、前記血管ツリーの前記術中内視鏡画像と、前記血管ツリーの前記術前３次元画像との画像位置合わせを術中に更新するようさらに動作可能であり、
   前記メイングラフは、前記血管ツリーの前記トポロジの術中の外科的変化を反映するよう術中に変更される、画像位置合わせシステム。
2. 動脈ツリー及び静脈ツリーを含む、解剖学的領域の術中内視鏡画像を生成するよう動作可能な内視鏡と、
   前記術中内視鏡画像内の前記動脈ツリーを、前記解剖学的領域の術前３次元画像と画像位置合わせするよう動作可能な内視鏡コントローラと、を備え、
   前記画像位置合わせすることは、前記解剖学的領域の前記術中内視鏡画像内における前記静脈ツリーの各分岐部のグラフィック表現を、前記解剖学的領域の前記術前３次元画像内における前記静脈ツリーの各分岐部のグラフィック表現と静脈画像マッチングすることを含む、画像位置合わせシステムであって、
   前記画像位置合わせすることは、前記解剖学的領域の前記術中内視鏡画像内における前記動脈ツリーの各分岐部のグラフィック表現を、前記解剖学的領域の前記術前３次元画像内における前記動脈ツリーの各分岐部のグラフィック表現と動脈画像マッチングすることを含み、
   前記動脈画像マッチングすることは、
   前記解剖学的領域の前記術前３次元画像の幾何学的表現から導出される動脈メイングラフを生成することであって、前記動脈メイングラフは、前記解剖学的領域の前記術前３次元画像内における前記動脈ツリーの各分岐部を表す動脈ノードのメインセットを含む、生成することと、
   前記解剖学的領域の前記術中内視鏡画像の幾何学的表現から導出される動脈サブグラフを生成することであって、前記動脈サブグラフは、前記解剖学的領域の前記術中内視鏡画像内における前記動脈ツリーの各分岐部を表す、動脈ノードの前記メインセットのサブセットを含む、生成することと、
   を含み、
   前記内視鏡コントローラは、血管ツリーのトポロジの術中の外科的変化に応じて、前記血管ツリーの前記術中内視鏡画像と、前記血管ツリーの前記術前３次元画像との画像位置合わせを術中に更新するようさらに動作可能であり、
   前記動脈メイングラフは、前記血管ツリーの前記トポロジの術中の外科的変化を反映するよう術中に変更される、画像位置合わせシステム。
3. 前記画像位置合わせすることは、前記解剖学的領域の前記術前３次元画像内における前記動脈ツリーの、前記解剖学的領域の前記術前３次元画像内における前記静脈ツリーに対する相対位置を決定することをさらに含む、請求項２記載の画像位置合わせシステム。
4. 前記静脈画像マッチングすることは、
   前記解剖学的領域の前記術前３次元画像の幾何学的表現から導出される静脈メイングラフを生成することであって、前記静脈メイングラフは、前記解剖学的領域の前記術前３次元画像内における前記静脈ツリーの各分岐部を表す静脈ノードのメインセットを含む、生成することと、
   前記解剖学的領域の前記術中内視鏡画像の幾何学的表現から導出される静脈サブグラフを生成することであって、前記静脈サブグラフは、前記解剖学的領域の前記術中内視鏡画像内における前記静脈ツリーの各分岐部を表す、静脈ノードの前記メインセットのサブセットを含む、生成することと、
   を含む、請求項２記載の画像位置合わせシステム。
5. 前記静脈画像マッチングすることは、前記静脈サブグラフを前記静脈メイングラフと静脈ノードマッチングすることをさらに含み、
   前記動脈画像マッチングすることは、前記動脈サブグラフを前記動脈メイングラフと動脈ノードマッチングすることをさらに含み、
   前記画像位置合わせすることは、前記静脈ノードマッチングすることと、前記動脈ノードマッチングすることとの組合せをさらに含む、請求項４記載の画像位置合わせシステム。
6. 前記画像位置合わせすることは、前記静脈メイングラフ及び前記動脈メイングラフを統合することをさらに含み、
   前記静脈画像マッチングすることは、前記静脈サブグラフを、前記静脈メイングラフ及び前記動脈メイングラフを統合したものと静脈ノードマッチングすることをさらに含み、
   前記動脈画像マッチングすることは、前記動脈サブグラフを、前記静脈メイングラフ及び前記動脈メイングラフを統合したものと動脈ノードマッチングすることをさらに含む、請求項４記載の画像位置合わせシステム。
7. 前記動脈メイングラフの変更は、新たなノードを前記メイングラフに接続することを含み、前記新たなノードは、前記血管ツリーの追加の分岐部の外科的創出を表す、請求項２記載の画像位置合わせシステム。
8. 前記動脈メイングラフの変更は、前記メイングラフの前記ノードのうち１つのノードを分離することを含み、前記分離されたノードは、前記血管ツリーの前記分岐部のうち１つの分岐部の外科的除去を表す、請求項２記載の画像位置合わせシステム。

Images