JP7725720B2 - 拡張現実ナビゲーションを使用してオブジェクトを位置決めするための外科手術システム及び方法 - Google Patents

Description

関連出願の相互参照
本開示は、２０２１年９月８日に出願され、かつその全体が参照により本明細書に組み込まれる、米国仮特許出願第６３／２４１，７５８号に対する優先権を主張する。

本開示は、術前外科手術計画の態様を実際の外科手術部位に移すために、拡張現実ナビゲーション及び可視化技術を利用する外科手術システム及び方法に関する。

本開示は、外科手術の分野に関し、より具体的には、例えば、拡張現実ナビゲーション及び可視化技術を利用することによって、外科手術ガイドピンなどのオブジェクトを術中に位置決めするための整形外科手術システム及び方法に関する。

関節形成術は、罹患関節を修復又は置換するために実施される整形外科手術処置の一種である。外科医は、関節形成術を実施する前に、外科手術部位の調製、インプラントの選択、及び外科手術部位でのインプラントの配置に関連する術前外科手術計画を確立することを望む場合がある。

一部の技術では、外科医は、ガイドピンを利用して、関節形成インプラントを外科手術部位に位置決めするために骨表面のリーミングをガイドし得る。外科医は、外科手術結果を改善するために、術前外科手術計画の態様を外科手術部位に移すための改善された術中ガイダンスを望む場合がある。

外科手術システムのための例示的な拡張現実システムは、とりわけ、拡張現実可視化デバイス及びプロセッサを含み得る。プロセッサは、拡張現実可視化デバイスを制御して、患者の解剖学的構造に対して拡張現実環境を提供するようにプログラムされ得る。プロセッサは、ユーザが、患者の解剖学的構造に対する外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に達成するために、拡張現実環境とインターフェースすることを可能にするように更にプログラムされ得る。

例示的な外科手術方法は、とりわけ、拡張現実システムによって生成された拡張現実環境内の外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に画定することを含み得る。拡張現実環境内の外科手術位置決めオブジェクトの実際の軌道と所望の軌道との間の精度の視覚的表示が提供され得る。

別の例示的な外科手術方法は、とりわけ、外科手術ガイドピンの先端を、仮想クロスヘアによって示される解剖学的構造の骨表面の場所に位置決めすることと、場所にへこみを準備することと、へこみによって確立された旋回点を中心に外科手術ガイドピンを旋回させることと、拡張現実環境内で、外科手術ガイドピンの実際の軌道を外科手術ガイドピンの仮想軌道に整列させることと、を含み得る。

例示的な整形外科手術システムを概略的に例示する。 図１の整形外科手術システムの拡張現実システムの態様を概略的に例示する。 外科手術位置決めオブジェクトの位置決めをガイドするための標的化プロセスを概略的に例示する。 図１の整形外科手術システムを使用して、術前に計画され、かつ術中に実施され得る、例示的な外科手術方法を概略的に例示する。 整形外科手術システムの拡張現実システムによって提供され得る拡張現実環境を例示する。 図５の拡張現実環境の登録モジュールの例示的な態様を例示する。 整形外科手術システムの拡張現実システムによって実施され得る、多段階登録プロセスの例示的な初期化ステップを例示する。 整形外科手術システムの拡張現実システムによって実施され得る、多段階登録プロセスの例示的な初期化ステップを例示する。 整形外科手術システムの拡張現実システムによって実施され得る、多段階登録プロセスの例示的な３Ｄスキャンステップを例示する。 整形外科手術システムの拡張現実システムによって実施され得る、多段階登録プロセスの例示的な３Ｄスキャンステップを例示する。 整形外科手術システムの拡張現実システムによって提供され得る別の拡張現実環境を例示する。 拡張現実環境の伝達モジュールの例示的な態様を例示する。 拡張現実環境の伝達モジュールの追加の態様を例示する。 拡張現実環境の伝達モジュールの追加の態様を例示する。

本開示は、例えば、関節形成術処置などの外科手術処置中に拡張現実可視化を提供するための整形外科手術システム及び方法を説明する。開示された外科手術システム及び方法は、拡張現実ナビゲーション及び可視化技術を利用して、術前外科手術計画の態様を患者の術中解剖学的構造に移す。

一部の実装形態では、本開示の整形外科手術システム及び方法は、実際の外科手術部位と関連付けられた術前外科手術計画と術中解剖学的構造との間のリーミング処置をガイドするためのガイドピンなどの外科手術位置決めオブジェクトの正確な整列を達成するために利用され得る。拡張現実は、処置中に術中解剖学的構造を閉塞することを回避する様式で、外科手術位置決めオブジェクトの進入点及びドリル軌道の両方の可視化を達成するために利用され得る。本開示のこれら及び他の特徴は、以下に更に詳述される。

本開示の例示的な態様による外科手術システムのための拡張現実システムは、拡張現実可視化デバイス及びプロセッサを含み得る。プロセッサは、拡張現実可視化デバイスを制御して、患者の解剖学的構造に対して拡張現実環境を提供するようにプログラムされ得る。プロセッサは、ユーザが、患者の解剖学的構造に対する外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に達成するために、拡張現実環境とインターフェースすることを可能にするように更にプログラムされ得る。

更なる実装形態では、プロセッサは、拡張現実可視化デバイスを制御して、仮想オブジェクトで所望の進入点を仮想的に示すように更にプログラムされている。

更なる実装形態では、仮想オブジェクトは、仮想クロスヘアを含む。

更なる実装形態では、プロセッサは、拡張現実可視化デバイスを制御して、方向インジケータ又は角度差インジケータで所望の軌道を仮想的に示すように更にプログラムされている。

更なる実装形態では、方向インジケータ又は角度差インジケータは、外科手術位置決めオブジェクトに接続されている軌道マーカ上にオーバーレイされている。

更なる実装形態では、プロセッサは、拡張現実可視化デバイスを制御して、拡張現実環境内の患者の解剖学的構造に仮想骨モデルを登録するための登録プロセスを実施するように更にプログラムされている。

更なる実装形態では、プロセッサは、拡張現実可視化デバイスを制御して、拡張現実環境内に複数の登録基準点を提示するように更に構成されている。複数の登録基準点の各々は、仮想骨モデルの患者の解剖学的構造への近似を初期化するために、ユーザが患者の解剖学的構造に物理的に接触するべき場所を視覚的に示す。

更なる実装形態では、プロセッサは、拡張現実可視化デバイスを制御して、拡張現実環境内の外科手術位置決めオブジェクトの実際の軌道と所望の軌道との間の精度を視覚的に示すように更にプログラムされている。

更なる実装形態では、プロセッサは、拡張現実可視化デバイスを制御して、拡張現実環境内に提示された仮想インジケータの色を変更することによって、精度を視覚的に示すように更にプログラムされている。

更なる実装形態では、外科手術位置決めオブジェクトは、外科手術ガイドピンである。

本開示の例示的な態様による外科手術方法は、拡張現実システムによって生成された拡張現実環境内の外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に画定することを含み得る。拡張現実環境内の外科手術位置決めオブジェクトの実際の軌道と所望の軌道との間の精度の視覚的表示が提供され得る。

更なる実装形態では、所望の進入点を術中に画定することは、拡張現実環境内に仮想クロスヘアを提示することを含む。

更なる実装形態では、所望の軌道を術中に画定することは、拡張現実環境内に仮想軌道を提示することを含む。

更なる実装形態では、精度の視覚的表示を提供することは、拡張現実環境内に方向インジケータを提示することを含む。

更なる実施形態では、精度の視覚的表示を提供することは、拡張現実環境内に角度差インジケータを提示することを含む。

更なる実施形態では、精度の視覚的表示は、外科手術位置決めオブジェクトに接続されている軌道マーカ上に仮想的にオーバーレイされている。

更なる実装形態では、軌道マーカは、外科手術位置決めオブジェクトの実際の軌道をデジタル化するように構成されている。

更なる実装形態では、方法は、所望の進入点及び所望の軌道を術中に画定する前に、仮想骨モデルを拡張現実環境内の患者の解剖学的構造に登録することを含む。

更なる実装形態では、外科手術位置決めオブジェクトは、外科手術ガイドピンである。

本開示の別の例示的な態様による外科手術方法は、外科手術ガイドピンの先端を、仮想クロスヘアによって示される解剖学的構造の骨表面の場所に位置決めすることと、場所にへこみを準備することと、へこみによって確立された旋回点を中心に外科手術ガイドピンを旋回させることと、拡張現実環境内で、外科手術ガイドピンの実際の軌道を外科手術ガイドピンの仮想軌道に整列させることと、を含み得る。

図１は、本開示の例示的な実施形態による例示的な整形外科手術システム１０（以下、「システム１０」と称する）を例示する。システム１０は、例えば、関節を修復するために関節形成術を実施するための外科手術計画などの外科手術計画を作成、編集、レビュー、及び／又は実行するために使用され得る。本開示の教示は、ヒト筋骨格系の任意の特定の関節に限定されることを意図しておらず、したがって、肩、膝、腰、足首、手首などに適用可能である。

システム１０は、他のサブシステムの中でも特に、外科手術計画システム１２、拡張現実（ＡＲ）システム１４、記憶システム１６、及びネットワーク１８を含み得る。システム１０は、本開示の範囲内で、より多い又はより少ない数のサブシステムを含み得る。以下でより詳細に論じるように、外科手術計画システム１２は、１人以上のユーザが外科手術計画を術前に作成することができるように構成され得、ＡＲシステム１４は、１人以上のユーザが術前外科手術計画を術中にレビュー、編集、更新、検証、及び／又は実行することができるように構成され得る。一実施形態では、ＡＲシステム１４は、所望のインプラントサイズ及び位置決めなどの態様、並びに所望のインプラントサイズ及び位置決めを受容するための天然解剖学的構造を準備するために必要なリーミング処置をガイドするための所望のガイドピン配置を含むが、これらに限定されない、術前外科手術計画の特定の態様を外科手術部位に移すために使用される。

本開示では、「拡張現実」という用語は、所与の環境内に存在する実際のオブジェクト（例えば、患者の解剖学的構造）が、１つ以上の感覚モダリティ（例えば、視覚、聴覚、触覚など）にわたってコンピュータ生成知覚情報で拡張され得る、対話型体験を提供する能力を指すことが意図される。加えて、「拡張現実」という用語は、混合現実、仮想現実、拡張現実、ホログラフィック投影などの態様を包含することが意図される。

外科手術計画システム１２は、外科手術処置を術前に計画するように構成され得る。外科手術計画システム１２によって提供される術前計画は、患者の解剖学的構造の仮想モデルを構築すること、仮想モデル内の目印を識別すること、仮想モデル内の仮想インプラントを選択及び配向すること、仮想モデル内の外科手術リーミング処置をガイドするための最適な挿入点及び軌道を識別することなどの特徴を含み得るが、これらに限定されない。システム１０の外科手術計画システム１２としての使用に適した例示的な外科手術計画システムは、Ａｒｔｈｒｅｘ，Ｉｎｃ．から入手可能なＶｉｒｔｕａｌ Ｉｍｐｌａｎｔ Ｐｏｓｉｔｉｏｎｉｎｇ（商標）（ＶＩＰ）システムである。

外科手術計画システム１２は、メモリ２４に作動可能に結合されたプロセッサ２２を含むコンピューティングデバイス２０を含み得る。コンピューティングデバイス２０は、ソフトウェア命令を連続的に又は並列に処理するように構成された単一のコンピュータ又は多数のコンピュータであり得る。コンピューティングデバイス２０は、ネットワーク１８を介してＡＲシステム１４及び／又は他のコンピューティングデバイスと通信するように構成され得る。

プロセッサ２２は、カスタム作製又は市販のプロセッサ、中央処理装置（ＣＰＵ）、又はソフトウェア命令を実行するための一般に任意のデバイスであり得る。メモリ２４は、揮発性メモリ要素及び／又は不揮発性メモリ要素のうちのいずれか１つ又はそれらの組み合わせを含み得る。プロセッサ２２は、メモリ２４に作動可能に結合され得、他のデバイス又はデータソースから受信した様々な入力に基づいて、メモリ２４に記憶された１つ以上のプログラムを実行するように構成され得る。

一実施形態では、コンピューティングデバイス２０のプロセッサ２２は、外科手術の術前、術中、及び／又は術後段階の間に、１つ以上の外科手術計画３４を作成、編集、実行、及び／又はレビューするための計画環境２６にアクセスし、局所的かつ／又は遠隔的に実行するように作動可能であり得る。計画環境２６は、スタンドアロンのソフトウェアパッケージであり得るか、又は別の外科手術ツールに組み込まれ得る。計画環境２６は、例えば、１つ以上の骨モデル３０及び関連画像、並びに１つ以上のインプラントモデル３２及び関連画像のディスプレイ又は視覚化を、１つ以上のグラフィカルユーザインターフェース（ＧＵＩ）を介して提供し得る。各骨モデル３０、インプラントモデル３２、並びに関連画像及び他の情報は、指定されたデータ構造に従って、１つ以上のファイル又は記録に記憶され得る。

計画環境２６は、所望の計画機能を実施するための様々なモジュールを含み得る。一実施形態では、計画環境２６は、外科手術計画３４に関するデータにアクセス、取得、及び／又は記憶するためのデータモジュールと、データを表すためのディスプレイモジュール（例えば、ＧＵＩ内）と、ディスプレイモジュールによって表されたデータを修正するための空間モジュールと、例えば、選択された骨モデルと選択されたインプラントモデルとの間の１つ以上の関係を決定するための比較モジュールとを含む。しかしながら、より大きい若しくはより少ない数のモジュールが利用され得、かつ／又はモジュールのうちの１つ以上を組み合わせて、開示された機能を提供し得る。

記憶システム１６は、外科手術計画システム１２及びＡＲシステム１４から／にデータを記憶するか、又はそうでなければ提供するように構成され得る。記憶システム１６は、例えば、ネットワーク１８を介して外科手術計画システム１２及びＡＲシステム１４と通信するように構成された記憶エリアネットワークデバイス（ＳＡＮ）であり得る。別個のデバイスとして示されているが、記憶システム１６は、外科手術計画システム１２のコンピューティングデバイス２０内に組み込まれ得るか、又はそれに直接的に結合され得る。記憶システム１６は、コンピュータソフトウェア命令、データ、データベースファイル、構成情報などのうちの１つ以上を記憶するように構成され得る。

一実施形態では、外科手術計画システム１２は、コンピューティングデバイス２０上でコンピュータソフトウェアを実行するように構成されたクライアント－サーバアーキテクチャを含み、これは、コンピューティングデバイス２０上で実行されたシンクライアントアプリケーション又はウェブブラウザのいずれかを使用してアクセス可能である。コンピューティングデバイス２０は、コンピュータソフトウェア命令をローカルストレージ又は記憶システム１６からメモリ２４にロードし得、プロセッサ２２を使用してコンピュータソフトウェアを実行し得る。

システム１０は、１つ以上のデータベース２８を更に含み得る。データベース２８は、例えば、記憶システム１６などの中央の位置に記憶され得る。各データベース２８は、１つ以上の骨モデル３０、１つ以上のインプラントモデル３２、及び１つ以上の伝達モデル３３を、相互に、かつ／又は外科手術計画３４と関連付けるように構成されたリレーショナルデータベースであり得る。各外科手術計画３４は、それぞれの患者と関連付けられ得る。各骨モデル３０、インプラントモデル３２、伝達モデル３３、及び外科手術計画３４は、データベース２８内の固有の識別子又はデータベースエントリ又は記録が割り当てられ得る。データベース２８は、骨モデル３０、インプラントモデル３２、伝達モデル３３、及び外科手術計画３４に対応するデータを、１つ以上のデータベース記録若しくは入力に記憶するように構成され得、かつ／又は各それぞれの骨モデル３０、インプラントモデル３２、伝達モデル３３、及び外科手術計画３４に対応する１つ以上のファイルをリンクする、若しくはそれ以外の方法で関連付けるように構成され得る。データベース２８に記憶された骨モデル３０は、以前の外科手術例からのそれぞれの患者の解剖学的構造に対応し得、性別、年齢、人種、欠陥カテゴリー、処置の種類などの１つ以上の所定のカテゴリーに分類され得る。

各骨モデル３０は、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像法（ＭＲＩ）機械、及び／又は患者の１つ以上の画像を取得するＸ線機械などの１つ以上の医療デバイス又はツールから取得された情報を含み得る。骨モデル３０は、医療デバイスから取得又は導出され得る、患者の解剖学的構造に関連する１つ以上のデジタル画像及び／又は座標情報を含み得る。

各インプラントモデル３２は、所定のインプラント設計と関連付けられた座標情報を含み得る。計画環境２６は、モデル３０、３２を、二次元（２Ｄ）及び／又は三次元（３Ｄ）の容積又は構築物として描画するために、コンピュータ支援設計（ＣＡＤ）パッケージなどの１つ以上のモデリングパッケージを組み込み、かつ／又はそれらと連結し得る。所定の設計は、１つ以上の構成要素に対応し得る。インプラントモデル３２は、様々な形状及び大きさのインプラント及び構成要素に対応し得る。各インプラントは、ねじ、アンカー、移植片などを含む外科手術部位に配置され得る１つ以上の構成要素を含み得る。各インプラントモデル３２は、単一の構成要素に対応し得るか、又は組立品を確立するように構成され得る２つ以上の構成要素を含み得る。各骨モデル３０、インプラントモデル３２、及び伝達モデル３３は、２Ｄ及び／又は３Ｄ幾何学形状に対応し得、グラフィカルディスプレイにおいてワイヤフレーム、メッシュ、及び／又はソリッド構造を生成するために利用するために利用され得る。

各伝達モデル３３は、それぞれの関節の機能を回復させるために、外科手術部位を準備し、１つ以上のインプラントを骨又は他の組織に固定することを含む、各外科手術計画３４を実装するために使用される様々な計器及びデバイスに対応し得る。伝達モデル３３の各々は、それぞれの外科手術器具若しくはデバイス（例えば、ガイドピン、伝達ガイドなど）、及び／又はそれぞれのインプラントモデル３２と関連付けられ得る。各伝達モデル３３は、所定の器具設計と関連付けられた座標情報を含み得る。

外科手術計画３４は、様々な計器、デバイス、及び／又はインプラントを位置決め及び配向するために、組織内に固定されるように寸法設定されたガイドピン（例えば、ガイドワイヤ又はＫｉｒｓｃｈｎｅｒワイヤ）などの１つ以上の外科手術位置決めオブジェクトと関連付けられ得る。一部の実装形態では、外科手術位置決めオブジェクトは、所望のインプラントを受容するための患者の解剖学的構造を準備するために必要なリーミング処置をガイドするために使用される。例示的な伝達モデル３３は、１つ以上の骨モデル３０に対して、１つ以上の外科手術位置決めオブジェクトの仮想進入位置又は挿入位置及び仮想軌道軸を術前に確立するように構成され得る。仮想位置は、患者の解剖学的構造（骨モデル３０によって表されるような）に対する外科手術位置決めオブジェクトの指定された挿入点及び軌道と関連付けられ得る。仮想軌道軸は、仮想位置を通って延在し得、任意の所与の手術計画３４についての患者の解剖学的構造に対する外科手術位置決めオブジェクトの指定された配向と関連付けられ得る。

計画環境２６は、骨モデル３０及び関連する患者の解剖学的構造に対するそれぞれのインプラントモデル３２の配置に応答して、外科手術位置決めオブジェクトの仮想位置及び／又は仮想軸を設定するように構成され得る。仮想位置及び／又は仮想軸は、選択された骨モデル３０に対する選択されたインプラントモデル３２の位置及び配向に基づいて、かつ／又は計画環境２６とのユーザの相互作用に応答して、自動的に設定及び／又は調整され得る。

各外科手術計画３４は、骨モデル３０、インプラントモデル３２、及び伝達モデル３３のうちの１つ以上と関連付けられ得る。外科手術計画３４は、骨モデル３０に対する１つ以上の修正、元のかつ／又は修正された骨モデル３０に対するインプラントモデル３２の所望の位置に関連する情報、及び元のかつ／又は修正された骨モデル３０に対する伝達モデル３３の外科手術位置決めオブジェクトの所望の位置に関連する情報（例えば、所望の進入点及び軌道）を含み得る。外科手術計画３４は、修正された骨モデルに関連する座標情報及び所定のデータ構造におけるインプラントモデル３２及び／又は伝達モデル３３の相対位置を含み得る。各骨モデル３０、及び外科手術計画３４の修正は、自動的に、かつ／又は外科手術計画システム１２とのユーザの相互作用に応答して、データベース２８に記憶され得る。

１人以上の外科医及び他のユーザは、コンピューティングデバイス２０又は外科手術計画システム１２に作動可能にリンクされた別のコンピュータを介して、計画環境２６を提示され得る。ユーザは、データベース２８に記憶された各骨モデル３０、インプラントモデル３２、伝達モデル３３、及び外科手術計画３４に同時にアクセスし得る。各ユーザは、外科手術計画３４の様々な態様を作成、表示、及び／又は修正するために、計画環境２６と相互作用し得る。コンピューティングデバイス２０は、骨モデル３０、インプラントモデル３２、伝達モデル３３、及び／又は外科手術計画３４のローカルインスタンスを記憶するように構成され得、それらは、データベース２８とリアルタイムで又は定期的に同期され得る。

ＡＲシステム１４は、１人以上のユーザが、所与の患者の外科手術計画３４を術中にレビュー、編集、更新、検証、及び／又は実行することを可能にし得る。一実施形態では、ＡＲシステム１４は、医療施設（例えば、病院、外科手術センターなど）内、より具体的には、医療施設の手術室３６内に存在する実際のオブジェクトが、１つ以上の知覚モダリティにわたってコンピュータ生成知覚情報で拡張される、対話式外科手術体験を、１人以上のユーザに提供する。したがって、外科手術処置の前又はその間にＡＲシステム１４を使用する場合、ユーザは、現実のオブジェクト及び仮想のオブジェクトの両方を含む画像を認識して相互作用し得る。

ＡＲシステム１４は、とりわけ、可視化デバイス３８、プロセッサ４０、及びプロセッサ４０に作動可能に結合されたメモリ４２を含み得る。可視化デバイス３８は、ネットワーク１８を介して外科手術計画システム１２、記憶システム１６、及び／又は他のＡＲ可視化デバイスと通信するように構成され得る。プロセッサ４０及びメモリ４２は、例えば、可視化デバイス３８に作動可能に接続されているコンピューティングデバイス内など、可視化デバイス３８上若しくは可視化デバイス３８内に提供され得るか、又は可視化デバイス３８から分離され得る。

一実施形態では、可視化デバイス３８は、ユーザの頭部に着用され得るヘッドマウントディスプレイ又はヘッドアップディスプレイである。しかしながら、他のタイプの可視化デバイスがまた、本開示の範囲内で企図される。システム１０のＡＲシステム１４内での使用に適した例示的な可視化デバイスは、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセットである。他の実施形態では、ＡＲシステム１４は、対話式外科手術体験を提供するために一緒に使用され得る複数の異なる可視化デバイスを含み得る。

ＡＲシステム１４のプロセッサ４０は、カスタム作製又は市販のプロセッサ、中央処理装置（ＣＰＵ）、又はソフトウェア命令を実行するための一般に任意のデバイスであり得る。メモリ４２は、揮発性メモリ要素及び／又は不揮発性メモリ要素のうちのいずれか１つ又はそれらの組み合わせを含み得る。プロセッサ４０は、メモリ４２に作動可能に結合され得、他のデバイス又はソースから受信した様々な入力に基づいて、メモリ４２に記憶された１つ以上のプログラムを実行するようにプログラムされ得る。例えば、プロセッサ４０は、対話式外科手術体験を提供するために、メモリ４２上に記憶された様々なソフトウェア命令を実行するようにプログラムされ得る。一実施形態では、以下でより詳細に論じるように、プロセッサ４０は、１つ以上のＡＲ環境をユーザに提示するための可視化デバイス３８を制御するようにプログラムされている。ＡＲ環境は、術前外科手術計画３４の態様を術中解剖学的構造に移すための様々なユーザインターフェース、メニュー、仮想オブジェクトなどを含み得る。

プロセッサ４０は、記憶システム１６のデータベース２８から、特定の患者のための関連する骨モデル３０、インプラントモデル３２、伝達モデル３３、及び外科手術計画３４に選択的にアクセスするように更にプログラムされ得る。一部の実施形態では、特定の患者のための骨モデル３０、インプラントモデル３２、及び／又は外科手術計画３４と関連付けられた特定の態様は、メモリ４２内に直接的に記憶され得、メモリ４２は、データベース２８とリアルタイムで又は定期的に同期され得、プロセッサ４０によって実行され得る。別の実施形態では、外科手術計画システム１２と関連付けられた特定の態様及び機能は、メモリ４２上に記憶され得、プロセッサ４０によって実行され得る。

可視化デバイス３８は、複数のセンサ（例えば、画像センサ、光学センサ、奥行きセンサ、動きセンサなど）を含むセンサシステム４４を追加的に含み得る。センサシステム４４は、手術室３６の実際の環境に対してＡＲ環境内の仮想オブジェクトを提示、位置決め、移動、及び／又は調整するために、プロセッサ４０によって処理され得るデータを収集するように構成され得る。一実施形態では、センサシステム４４は、可視化デバイス３８によって投影される仮想オブジェクトと相互作用するために、プロセッサ４０によって処理され得る手のしぐさ、可聴コマンドなどを検出することができる。

一実施形態では、センサシステム４４は、飛行時間カメラ４５及び可視光ステレオカメラ４７の両方を含む。飛行時間カメラ４５及び可視光ステレオカメラ４７は各々、可視化デバイス３８に作動可能に結合され得る。飛行時間カメラ４５及び可視光ステレオカメラ４７からの画像データは、患者の解剖学的構造上に配置される基準マーカの使用を必要としないインサイドアウト登録プロセスを実施するために、プロセッサ４０によって処理され得る。インサイドアウト登録プロセスは、捕捉された画像の３Ｄ再構成を行い、その後、術前画像データを患者の解剖学的構造に登録することを含み得る。

一実施形態では、ＡＲシステム１４のプロセッサ４０は、捕捉された画像のステレオ再構成を提供するためにステレオ変圧器モデルを実行するようにプログラムされ得る。ステレオ変圧器モデルは、単一の画像内のセルフアテンション及び複数の画像間のクロスアテンションの両方を利用して、捕捉された画像間のピクセルコレスポンデンスを識別し得る。ステレオ変圧器モデルのアテンション機構は、関心点に近接する識別可能な特徴に付随することによって、モデルがテクスチャなし表面上の特徴対応の曖昧さを軽減することを可能にし得る。したがって、ステレオ変圧器モデルは、比較的テクスチャのない骨表面上であっても、合理的な高密度再構成を生成し得る。

ここで図２を参照すると、ＡＲシステム１４の可視化デバイス３８は、ユーザ４６（例えば、外科医又は他の医療従事者）によって着用され得、手術室３６内に位置する実際のオブジェクト５２（例えば、患者の解剖学的構造、手術台など）上にオーバーレイされ得るＡＲ環境４８を提供するように構成されている。したがって、可視化デバイス３８は、ユーザ４６が手術室３６内の仮想オブジェクト及び現実のオブジェクトの両方を術中に可視化することを可能にする。

ＡＲ環境４８は、可視化デバイス３８のスクリーン５０上にホログラフィック画像として投影され得、とりわけ、外科手術計画システム１２を使用して術前に計画された１つ以上の外科手術計画３４と関連付けられた仮想詳細を含む１つ以上のユーザインターフェースを提示し得る。一旦投影されると、ＡＲ環境４８は、手術室３６のフォアグラウンドにおけるユーザ４６によって視覚的に知覚可能であり、実際のオブジェクト５２は、投影された仮想画像のフォアグラウンドに現れる。以下で更に論じるように、ユーザ４６は、ライブ外科手術処置中に所与の患者の外科手術計画３４を実行するために、ＡＲ環境４８を可視化し、それと相互作用し得る。

ＡＲシステム１４によって生成されたＡＲ環境４８は、整形外科処置中に術前外科手術計画３４の特定の態様を術中解剖学的構造に移すために利用され得る。例えば、以下で更に詳述するように、ユーザは、外科手術位置決めオブジェクト（例えば、ガイドピン８０）をそれぞれの患者の解剖学的構造５６内に位置決めするための標的化プロセスを実施するために、ＡＲ環境４８を利用することができる。一部の実装形態では、この標的化プロセスは、ＡＲ環境４８内のガイドピン８０の所望の進入点Ｐ及び所望の軌道Ｔを示すことを含み得る。図３は、ガイドピン８０のこうした標的化プロセスを視覚的に示す。標的化プロセスを個別のステップに分解することにより、進入点位置精度（ミリメートル単位）及び軌道回転精度（度単位）の指標を互いに分離し、整形外科処置中のドリル作業性能を評価するために使用されることが可能になる。

解剖学的構造５６の所望の進入点Ｐにガイドピン８０を位置決めする第１のステップは、ガイドピン８０の所望の並進態様を確立すると称され得る。並進距離ｄは、ガイドピン８０の所望の進入点Ｐとガイドピン８０の先端の実際の位置Ｐ２との間の距離（例えば、ｍｍ単位）を指し得る。

ガイドピン８０の所望の軌道Ｔを確立する第２のステップは、ガイドピン８０の回転軌道態様を確立すると称され得る。回転は、所望の軌道Ｔとガイドピン８０の実際の軌道Ｔ２との間の回転の量Θ（例えば、度数）を指し得る。

図４は、引き続き図１～図３を参照すると、整形外科手術処置を計画及び実行するためのシステム１０を使用して実施され得る例示的な外科手術方法１００を概略的に例示する。外科手術方法１００は、それぞれの外科手術計画３４を作成、編集、及び実行するために、術前及び術中に利用され得る。一実施形態では、外科手術方法１００は、肩関節又は任意の他の関節に対する機能を回復させるための関節形成術を実施するために利用される。

外科手術方法１００は、肩関節形成術中に関節窩の欠損を修復することに関して本明細書で説明されているが、外科手術方法１００は、患者の他の場所で、かつ他の整形外科手術処置のために利用され得ることが理解されるべきである。したがって、以下に列挙されるよりも少ない又は追加のステップが、本開示の範囲内で実施され得る。更に、列挙されたステップの順序は、本開示を限定することを意図するものではない。

整形外科手術処置は、ブロック１０２でシステム１０の外科手術計画システム１２を使用して、術前に計画され得る。術前計画は、患者の解剖学的構造の画像を取得することと、患者の解剖学的構造の仮想モデルを構築することと、仮想モデル内の目印を識別することと、仮想モデル内の仮想インプラントを選択及び配向することと、解剖学的構造５６などにリーミングするためのリーミング処置をガイドするためのガイドピン８０の所望の進入点Ｐ及び所望の軌道Ｔを識別及びマーキングすることと、それぞれの患者の外科手術計画３４の作成をもたらすことと、を含み得る。

ユーザは、ＡＲシステム１４の可視化デバイス３８を使用してＡＲ環境４８を術中に生成して、ブロック１０４で１つ以上の知覚モダリティにわたってコンピュータ生成知覚情報を用いて、医療施設の手術室３６内に存在する実際のオブジェクトを増強し得る。例示的なＡＲ環境４８を図５に例示する。ＡＲ環境４８は、所与の外科手術処置中に多数の情報をユーザに提示するように設計された様々なユーザインターフェースモジュール又はメニューを含み得る。ユーザインターフェースモジュールの特定の配置が本開示の図に示されているが、他の配置が本開示の範囲内で更に企図される。したがって、本明細書に示されるＡＲモジュールの特定のサイズ、位置決め、及び全体的な配置は、本開示を限定することを意図するものではない。

方法１００のステップ１０４の間、ユーザは、仮想骨モデル５４を解剖学的構造５６に登録し得る。一実施形態では、ＡＲ環境４８は、ユーザが仮想骨モデル５４（例えば、外科手術計画３４から導出される）を患者の実際の解剖学的構造５６上にオーバーレイすることを可能にする、登録モジュールを含む。登録モジュールは、ユーザが外科手術処置の前に、かつ／又はその間にＡＲ環境４８と相互作用することを可能にするように構成され得る。ユーザは、例えば、手のしぐさ又は可聴コマンドを使用して、選択可能なボタン、メニュー、ウィジェットなどと相互作用し得る。例えば、ユーザは、仮想骨モデル５４を解剖学的構造５６に対して所望の位置に位置決めするために、自身の手５８を使用して、ＡＲ環境４８内のカーソル５９と相互作用し得る。

所望の位置が達成されると、ユーザは、手のしぐさ６０を実施して、登録メニュー６２をＡＲ環境４８内に提示させ得る（図６を参照）。ユーザは、登録メニュー６２の確認ボタン６４を押すか、又は可聴コマンドを使用することによって、オーバーレイの完了を確認することができる。

他の実装形態では、ＡＲ環境４８の登録モジュールは、ユーザ（又は作動可能に接続されている可視化デバイスを有するユーザのグループ）が、多段階登録プロセスを使用して仮想骨モデル５４を解剖学的構造５６に登録することを可能にするように構成され得る。多段階登録プロセスの初期化ステップは、仮想骨モデル５４の位置及び配向を解剖学的構造５６に近似させるために最初に実施され得る。初期化ステップの間、システム１０は、仮想骨モデル５４上に複数の登録基準点８５を提示し得る（図７を参照）。３つの登録基準点８５－１（例えば、上方基準点）、８５－２（例えば、下方基準点）、及び８５－３（例えば、前方／後方基準点）が示されているが、ＡＲ環境４８内の仮想骨モデル５４に対して、より多くの又はより少ない数の登録基準点８５が提供され得る。更に、当業者であれば、登録基準点８５が仮想骨モデル５４の任意の場所に提示され得ることを理解するであろう。

登録基準点８５－１、８５－２、８５－３は、仮想骨モデル５４の解剖学的構造５６への近似を初期化するために、ユーザが解剖学的構造５６に物理的に接触するべき場所を視覚的に示し得る。登録基準点８５－１、８５－２、８５－３は、解剖学的構造５６に対して仮想骨モデル５４を配向及び位置決めするために、患者部位によって画定される物理的空間における基準平面を本質的に画定する。概略的に示されるように、ユーザは、登録基準点８５－１、８５－２、８５－３によって示される場所に可能な限り近く対応する、複数の接触点８７－１、８７－２、及び８７－３で解剖学的構造５６に物理的に接触し得る（図７を参照）。接触点８７－１、８７－２、及び８７－３は、ユーザの手５８の指９９、ポインタツール、又は何らかの他の好適なオブジェクトを使用して接触され得る。次に、システム１０は、仮想骨モデル５４のシルエットを解剖学的構造５６の対応する特徴に大まかに整列させることによって、初期化ステップを完了し得る（図８を参照）。

多段階登録プロセスの３Ｄスキャンステップは、次に、患者部位と関連付けられた解剖学的構造５６の３Ｄ点群メッシュを使用して、解剖学的ボリュームを捕捉、セグメント化、及び分類するために実施され得る。初期化ステップの間、システム１０は、解剖学的構造５６を三次元的に再構成して、解剖学的構造５６に対する仮想骨モデル５４の位置精度を改善するために、様々な角度から解剖学的構造５６を分析し得る。システム１０は、３Ｄスキャンが実施されるにつれて、ＡＲ環境４８内に進捗インジケータ８９を提示し得る（図９を参照）。進捗インジケータ８９は、解剖学的構造５６の上にオーバーレイされ得、ユーザへの３Ｄスキャン動作の進行を視覚的に示すように構成され得る。３Ｄスキャンステップが完了すると、システム１０は、３Ｄスキャンが完了したことをユーザに視覚的に示すために、進捗インジケータ８９に隣接する場所でＡＲ環境４８内にグラフィック９１（例えば、チェックマークなど）を提示し得る（図１０を参照）。

初期化及び３Ｄスキャン動作は、仮想骨モデル５４の解剖学的構造５６への登録を生成することができる。初期化、３Ｄスキャン、及び登録が完了した後、方法１００の多段階登録プロセスは、可視化デバイス３８からのカメラフィードを連続的に分析して、少なくとも可視化デバイス３８の動き及び姿勢に基づいて、仮想構造の正確な混合（空間アンカーリング）を維持し得る。

仮想骨モデル５４を解剖学的構造５６に登録した後、ユーザは、術前外科手術計画３４の特定の態様を術中解剖学的構造５６に移すために、ＡＲ環境４８を利用し得る。例えば、以下で更に詳述するように、ユーザは、外科手術位置決めオブジェクト（例えば、ガイドピン８０）を解剖学的構造５６内に正確に位置決めするための標的化プロセスを実施するために、ＡＲ環境４８を利用することができる。

再び図４を参照すると、ユーザは次に、方法１００のブロック１０６で、ＡＲ環境４８のガイドピン配置モジュールを開始し得る。ガイドピン配置モジュールは、インプラント（例えば、グレノイドベースプレート）の配置をガイドするために、患者の解剖学的構造５６（例えば、グレノイド）内に配置されるガイドピン８０の入口位置及び軌道を正確に設定するために使用され得る。ＡＲ環境４８のガイドピン配置モジュールは、ＡＲ環境４８の別のメニュー６８内に提示され得るガイドピン配置ボタン６６を作動させることによって初期化され得る（例えば、図１１を参照）。

仮想クロスヘア７０（又は何らかの他の視覚的インジケータ）は、ブロック１０８でＡＲ環境４８内の解剖学的構造５６上に表示され得る（図１２を参照）。仮想クロスヘア７０の場所は、術前外科手術計画３４に記憶された情報から導出され得る。仮想クロスヘア７０は、ガイドピン８０の所望の進入点Ｐを識別し得、したがって、ガイドピン８０の最適な挿入場所の可視化を提供する。

次に、ブロック１１０で、ユーザは、ガイドピン８０のドリル先端を使用して、仮想クロスヘア７０の場所で解剖学的構造５６の骨表面７６（例えば、グレノイド表面）に浅いくぼみ７４（例えば、へこみ）を準備し得る（図１３を参照）。浅いくぼみ７４は、骨表面７６に対するガイドピン８０の回転位置、したがって軌道を調整するための旋回点として作用し得る。ガイドピン８０は、外科手術ドリル７８などの電動式外科手術器具によって保持され得る（図１３を参照）。外科手術ドリル７８は、骨表面７６に浅いくぼみ７４を穿孔するために、ガイドピン８０を回転させるように構成され得る。

ブロック１１２では、ユーザは、ガイドピン８０の軌道を、ＡＲ環境４８内に提示され得る仮想軌道８２に整列させ得る。仮想軌道８２は、ＡＲ環境４８内に提示され、かつガイドピン８０の所望の軌道Ｔの視覚的表示を提供することが意図される、ドット又は軸によって示され得る。

方法１００のブロック１１２の整列ステップは、図１４に視覚的に示され、ガイドピン８０の中心軸を追跡するためにガイドピン８０に接続され得る軌道マーカ８４を使用することによって達成され得る。軌道マーカ８４は、例えば、ガイドピン８０の中心軸の軌道をデジタル化するために利用され得る。

一実施形態では、軌道マーカ８４は、ガイドピン８０の外径よりもわずかに大きい内径を含む、自己較正されたスライドオンディスク設計を含む。軌道マーカ８４は、外科手術ドリル７８の後面８８から近位に突出するガイドピン８０の近位部分８６の上に摺動され得る。一実施形態では、ガイドピン８０は、外科手術ドリル７８のハウジング７９を完全に通って延在する。

ユーザは、ガイドピン８０を浅いくぼみ７４によって確立された旋回点を中心に旋回させることによって、ガイドピン８０の軌道を仮想軌道８２に整列させ得る。ガイドピン８０が旋回点の周りを移動すると、ガイドピン８０の軌道を仮想軌道８２に整列させるための標的化ガイダンスを提供するために、ＡＲ環境４８内のユーザに様々な視覚的インジケータが提示され得る。例えば、方向インジケータ９０は、仮想軌道８２によって示される所望の軌道の近くを移動するために、ユーザがガイドピン８０を旋回させる必要がある方向を視覚的に示すために提供され得る。ガイドピン８０の実際の軌道と仮想軌道８２との間の角度差を示すための角度差インジケータ９２は、ＡＲ環境４８内の視覚的基準として更に提供され得る。

一部の実装形態では、軌道マーカ８４をオーバーレイするインジケータリング９４は、ＡＲ環境４８内に提示され得る（例えば、図１４を参照）。インジケータリング９４は、ガイドピン８０の軌道が、不十分な整列位置（例えば、約３度超の誤差）から仮想軌道８２に対して適切な整列位置（例えば、約３度未満の誤差）に移動するときに、第１の色（例えば、赤色又は琥珀色）から第２の色（例えば、緑色）に自動的に変化するように構成され得る。

軌道マーカ８４によって提供される支援を介して所望の軌道を達成した後に、ガイドピン８０は、ブロック１１４で解剖学的構造５６内にドリル加工され得る。次いで、所望の関節形成インプラント（例えば、グレノイドベースプレート）を受容するための解剖学的構造５６を準備するために、ブロック１１６でその後のリーミングプロセスを実施し得る。

上述の例示的な外科手術方法１００は、関節形成術中にインプラントを受容するための骨又は関節を調製するためのガイドピンの使用を想定する。しかしながら、本開示は、位置決めガイドピンに限定されず、術前外科手術計画の態様を術中解剖学的構造に移すために使用され得る任意の外科手術位置決めオブジェクトの位置決めまで拡張することができる。

本開示の例示的な外科手術システム及び方法は、有利なことに、整形外科手術処置中に術前外科手術計画を術中解剖学的構造に移すための改善された術中ガイダンスを提供する。術中ガイダンスは、自然解剖学的構造のユーザの視界を遮ることなく、インサイチュ解剖学的構造上にオーバーレイされ得る、１つ以上の拡張現実環境内に提示され得る。したがって、伝達中の改善されたガイダンスは、改善された外科手術結果を提供する。

異なる非限定的な実施形態が、特定の構成要素又はステップを有するものとして例示されているが、本開示の実施形態は、それらの特定の組み合わせに限定されない。非限定的な実施形態のうちのいずれかからの構成要素又は特徴のいくつかを、他の非限定的な実施形態のうちのいずれかからの特徴又は構成要素と組み合わせて使用することが可能である。

同様の参照番号は、いくつかの図面全体にわたって、対応する又は同様の要素を識別すると理解されたい。これらの例示的な実施形態では、特定の構成要素の配置が開示され、例示されるが、他の配置もまた、本開示の教示から利益を得ることができると更に理解されたい。

前述の説明は、例示的であって、いかなる限定的な意味でも解釈されないものとする。当業者は、ある特定の修正が、本開示の範囲内になる場合があることを理解するであろう。これらの理由により、以下の特許請求の範囲は、本開示の真の範囲及び内容を決定するために研究されるべきである。

１０ 整形外科手術システム
１２ 外科手術計画システム
１４ 拡張現実（ＡＲ）システム
１６ 記憶システム
１８ ネットワーク
２０ コンピューティングデバイス
２２ プロセッサ
２４ メモリ
２６ 計画環境
２８ データベース
３０ 骨モデル
３２ インプラントモデル
３３ 伝達モデル
３４ 術前外科手術計画
３６ 手術室
３８ 可視化デバイス
４０ プロセッサ
４２ メモリ
４４ センサシステム
４５ 飛行時間カメラ
４６ ユーザ
４７ 可視光ステレオカメラ
４８ ＡＲ環境
５０ スクリーン
５２ オブジェクト
５４ 仮想骨モデル
５６ 解剖学的構造
５８ 手
５９ カーソル
６２ 登録メニュー
６４ 確認ボタン
６６ ガイドピン配置ボタン
６８ メニュー
７０ 仮想クロスヘア
７６ 骨表面
７８ 外科手術ドリル
７９ ハウジング
８０ ガイドピン
８２ 仮想軌道
８４ 軌道マーカ
８５ 登録基準点
８５－１ 登録基準点
８５－２ 登録基準点
８５－３ 登録基準点
８６ 近位部分
８７－１ 接触点
８７－２ 接触点
８８ 後面
８９ 進捗インジケータ
９０ 方向インジケータ
９１ グラフィック
９２ 角度差インジケータ
９４ インジケータリング
９９ 指
１００ 外科手術方法

Claims (16)

1. 外科手術システムのための拡張現実システムであって、
   拡張現実可視化デバイスと、
   前記拡張現実可視化デバイスを制御して、
   患者の解剖学的構造に対して拡張現実環境を提供することと、
   ユーザが、前記患者の解剖学的構造に対する外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に達成するために、前記拡張現実環境とインターフェースすることを可能にすることと、
   前記拡張現実可視化デバイスを制御して、方向インジケータ又は角度差インジケータで前記所望の軌道を仮想的に示すことと
   を行うようにプログラムされたプロセッサと、
   を備え、
   前記方向インジケータ又は前記角度差インジケータが、前記外科手術位置決めオブジェクトに接続されている軌道マーカ上にオーバーレイされている
   拡張現実システム。
2. 前記プロセッサが、前記拡張現実可視化デバイスを制御して、仮想オブジェクトで前記所望の進入点を仮想的に示すように更にプログラムされている、請求項１に記載の拡張現実システム。
3. 前記仮想オブジェクトが、仮想クロスヘアを含む、請求項２に記載の拡張現実システム。
4. 前記プロセッサが、前記拡張現実可視化デバイスを制御して、前記拡張現実環境内の前記患者の解剖学的構造に仮想骨モデルを登録するための登録プロセスを実施するように更にプログラムされている、請求項１に記載の拡張現実システム。
5. 前記プロセッサが、前記拡張現実可視化デバイスを制御して、前記拡張現実環境内に複数の登録基準点を提示するように更に構成されており、更に、前記複数の登録基準点の各々が、前記仮想骨モデルの前記患者の解剖学的構造への近似を初期化するために、前記ユーザが前記患者の解剖学的構造に物理的に接触するべき場所を視覚的に示す、請求項４に記載の拡張現実システム。
6. 前記プロセッサが、前記拡張現実可視化デバイスを制御して、前記拡張現実環境内の前記外科手術位置決めオブジェクトの実際の軌道と前記所望の軌道との間の精度を視覚的に示すように更にプログラムされている、請求項１に記載の拡張現実システム。
7. 前記プロセッサが、前記拡張現実可視化デバイスを制御して、前記拡張現実環境内に提示された仮想インジケータの色を変更することによって、前記精度を視覚的に示すように更にプログラムされている、請求項６に記載の拡張現実システム。
8. 前記外科手術位置決めオブジェクトが、外科手術ガイドピンである、請求項１に記載の拡張現実システム。
9. 外科手術のためにコンピュータによって実行される方法であって、
   患者の解剖学的構造に対して拡張現実環境を提供するステップと、
   ユーザが、前記患者の解剖学的構造に対する外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に達成するために、拡張現実可視化デバイスを拡張現実環境とインターフェースするステップと、
   拡張現実システムによって生成された拡張現実環境内の外科手術位置決めオブジェクトの所望の進入点及び所望の軌道を術中に画定するステップと、 前記拡張現実可視化デバイスを制御して、方向インジケータ又は角度差インジケータで前記所望の軌道を仮想的に示すステップと
   を含み、
   前記方向インジケータ又は前記角度差インジケータが、前記外科手術位置決めオブジェクトに接続されている軌道マーカ上にオーバーレイされている
   方法。
10. 前記所望の進入点を術中に画定するステップが、前記拡張現実環境内に仮想クロスヘアを提示するステップを含む、請求項９に記載の方法。
11. 前記所望の軌道を術中に画定するステップが、前記拡張現実環境内に仮想軌道を提示するステップを含む、請求項９に記載の方法。
12. 前記所望の軌道を仮想的に示すステップが、前記拡張現実環境内に方向インジケータを提示するステップを含む、請求項９に記載の方法。
13. 前記所望の軌道を仮想的に示すステップが、前記拡張現実環境内に角度差インジケータを提示するステップを含む、請求項９に記載の方法。
14. 前記軌道マーカが、前記外科手術位置決めオブジェクトの実際の軌道をデジタル化するように構成されている、請求項９に記載の方法。
15. 前記所望の進入点及び前記所望の軌道を術中に画定する前に、仮想骨モデルを前記拡張現実環境内の患者の解剖学的構造に登録することを含む、請求項９に記載の方法。
16. 前記外科手術位置決めオブジェクトが、外科手術ガイドピンである、請求項９に記載の方法。