本開示は、複合現実システムで使用される変換マトリックスの基準を提供するために、患者の骨(例えば、肩甲骨など)に位置合わせマーカーを取り付けるクランプツールに関する。クランプツールは、骨の表面(例えば、肩甲骨の烏口突起など)上に載置されてこれに耐えるように構成された対向可能な表面を備える。位置合わせマーカーは、複合現実システムを介してオーバーレイされる患者の配向と画像(複数可)の配向との整列を容易にするために、コンピュータービジョンシステムによって認識可能なパターン(例えば、QRコード(登録商標)、バーコード、画像など)を有する多面体を、1つ以上の面上に備えてもよい。
位置合わせマーカーは、外科的処置の前及び間の手術計画の作成、実行、検証、及び/または修正を支援するために、複合現実(MR)視覚化システムとともに使用してもよい。MR、または場合によってはVRを使用して、手術計画と対話することができるので、本開示では、手術計画を「仮想」手術計画と呼ぶこともある。複合現実視覚化システム以外の、またはそれに追加した視覚化ツールを、本開示の技術に従って使用することができる。例えば、Wright Medical Group,N.V.から入手可能なBLUEPRINT(商標)システム、または別の手術計画プラットフォームによって作成される手術計画には、例えば、骨または組織の準備ステップ及び/またはインプラント構成要素の選択、修正及び/または配置のためのステップを含む手術計画に従って、外科医によって患者に対して行われる特定の外科的処置ステップの特徴などの種々の外科的処置の特徴を規定する情報を含み得る。このような情報としては、様々な実施例において、外科医によって選択または修正されるインプラント構成要素の寸法、形状、角度、表面輪郭、及び/または方向、骨または組織の準備ステップにおける外科医によって骨または組織内に画定される寸法、形状、角度、表面輪郭及び/または方向、及び/または患者の骨または組織に対する外科医によってインプラント構成要素の配置を画定する位置、軸、平面、角度及び/または入口点が挙げられ得る。患者の解剖学的特徴の寸法、形状、角度、表面輪郭、及び/または方向などの情報は、画像化(例えば、X線、CT、MRI、超音波またはその他の画像)、直接観察、またはその他の技術から得られてもよい。いくつかの実施例では、仮想
本開示では、「複合現実」(MR)という用語は、ユーザーが現実の物理オブジェクト及び仮想オブジェクトの両方を含む画像を見るような仮想オブジェクトの表示を指す。仮想オブジェクトとしては、テキスト、2次元表面、3次元モデル、またはそれらが共存している物理的な現実世界の環境には実際には存在しない、ユーザーが知覚可能な他の要素が含まれ得る。さらに、本開示の様々な実施例で説明される仮想オブジェクトとしては、例えば、3D仮想オブジェクトまたは2D仮想オブジェクトとして提示される、グラフィックス、画像、アニメーション、またはビデオが挙げられ得る。仮想オブジェクトはまた、仮想要素と呼ばれてもよい。このような仮想要素は、現実世界のオブジェクトの類似物である場合も、そうでない場合もある。いくつか実施例では、複合現実において、カメラは現実世界の画像をキャプチャし、その画像を変更して現実世界のコンテキスト内で仮想オブジェクトを提示し得る。このような実施例では、改変された画像は、ヘッドマウント型、手持ち式、またはその他の方法でユーザーが見ることができるスクリーン上に表示し得る。いくつかの実施例では、複合現実において、導波路と呼ばれることもあるシースルー(例えば、透明)ホログラフィックレンズにより、ユーザーは、現実世界のオブジェクト、すなわち、現実世界の環境における実際のオブジェクト、例えば、現実の解剖学的構造を、ホログラフィックレンズを通して見ることが可能になり、また同時に仮想オブジェクトを見ることも可能になる場合がある。
ワシントン州レドモンドのMicrosoft Corporationから入手可能なMicrosoft HOLOLENS(商標)ヘッドセットは、導波路とも呼ばれることがあるシースルーホログラフィックレンズを備えたMRデバイスの一例であり、これにより、ユーザーはレンズを通して現実世界のオブジェクトを見ること、及び投影された3Dホログラフィックオブジェクトを同時に見ることが可能になる。Microsoft HOLOLENS(商標)ヘッドセット、または同様の導波路ベースの視覚化デバイスは、本開示のいくつかの実施例に従って使用され得るMR視覚化デバイスの実施例である。一部のホログラフィックレンズは、ユーザーが現実世界のオブジェクト及び仮想のホログラフィックオブジェクトを見るように、シースルーホログラフィックレンズを通じてホログラフィックオブジェクトをある程度の透明度で表示し得る。いくつかの実施例では、一部のホログラフィックレンズは、時には、ユーザーが現実世界のオブジェクトを見ることを完全に妨げ、その代わりにユーザーが完全に仮想環境を見ることを可能にし得る。複合現実という用語には、1人以上のユーザーがホログラフィック投影によって生成された1つ以上の仮想オブジェクトを認識できるシナリオも含まれる場合がある。言い換えれば、「複合現実」には、ユーザーの実際の物理環境に存在するようにユーザーに見える要素のホログラムをホログラフィックプロジェクターが生成する場合が含まれる場合がある。
いくつかの実施例では、複合現実において、提示された仮想オブジェクトの一部またはすべての位置は、現実世界の物理オブジェクトの位置に関連している。例えば、仮想オブジェクトを現実世界のテーブルに結び付けて、ユーザーがテーブルの方向を見ると仮想オブジェクトが見えるが、テーブルがユーザーの視野にない場合は仮想オブジェクトが見えないようにしてもよい。いくつかの実施例では、複合現実において、提示された仮想オブジェクトの一部またはすべての位置は、現実世界の物理オブジェクトの位置に関連していない。例えば、仮想アイテムは、ユーザーがどこを見ているかに関係なく、常にユーザーの視野の右上に表示される場合がある。
拡張現実(AR)は、現実世界と仮想要素の両方の提示という点でMRに似ているが、ARとは一般に、ほとんどが現実であり、現実世界の提示を「拡張」するためにいくつかの仮想的な追加が加えられた提示を指す。この開示の目的では、MRにはARが含まれると見なされる。例えば、ARでは、ユーザーの物理環境の他の領域を明るくすることなく、影になっているユーザーの物理環境の部分を選択的に明るくし得る。この実施例は、選択的に明るくされた領域が、影になっているユーザーの物理環境の部分に重ね合わされた仮想オブジェクトと見なされるという点で、MRの例でもある。
さらに、本開示では、「仮想現実」(VR)という用語は、コンピューターによって提供される感覚刺激(視覚や音など)を通じてユーザーが経験する没入型の人工環境を指す。したがって、仮想現実では、ユーザーは現実世界に存在する物理オブジェクトをまったく見ることができない場合がある。空想の世界を舞台にしたビデオゲームは、VRの一般的な例である。「VR」という用語には、一部の仮想オブジェクトの位置が、ユーザーに関連する対応する物理オブジェクトの位置に基づく完全に人工的な環境がユーザーに提示されるというシナリオも含まれる。ウォークスルーVRアトラクションは、このタイプのVRの例である。
「エクステンデッドリアリティ」(XR)という用語は、仮想現実、複合現実、拡張現実、及びユーザーの環境に存在する(ユーザーの現実世界の環境には存在しない)ものとして少なくともいくつかの知覚可能な要素の提示を伴うその他のユーザーエクスペリエンスを含む、様々なユーザーエクスペリエンスを包含する用語である。したがって、「エクステンデッドリアリティ」という用語は、MRとVRの一種と考えてもよい。XR視覚化は、本開示の他の場所で説明される複合現実を提示するための任意の技術で提示されてもよいし、VRゴーグルなどのVRを提示するための技術を使用して提示されてもよい。
患者の画像データを利用して骨輪郭の3次元モデルを生成し、関節修復及び置換の術前計画を容易にする視覚化ツールが利用可能である。これらのツールによって、外科医は患者の解剖学的構造に厳密に一致するサージカルガイド及びインプラント構成要素を設計及び/または選択することが可能になる。これらのツールは、患者ごとに手術計画をカスタマイズすることで、手術結果を向上し得る。肩修復のためのそのような視覚化ツールの一例は、Wright Medical Group,N.V.から入手可能なBLUEPRINT(商標)システムである。BLUEPRINT(商標)システムは、外科医に骨修復領域の2次元平面図、及び修復領域の3次元仮想モデルを提供する。外科医は、BLUEPRINT(商標)システムを使用して、適切なインプラント構成要素を選択、設計、または修正し、インプラント構成要素の最適な配置及び方向付け方法、ならびにこの構成要素を受け入れる骨の表面の形状を決定し、手術計画を実行するためのサージカルガイドツール(複数可)または器具を設計、選択、または修正することができる。BLUEPRINT(商標)システムによって生成された情報は、患者の術前手術計画にまとめられ、適切な場所(例えば、ワイドエリアネットワーク、ローカルエリアネットワーク、またはグローバルネットワークのサーバーなど)にあるデータベース)(例えば、実際の手術前及び手術中に、外科医または他の医療提供者がアクセスできる場所)に保存される。
図1は、本開示の実施例による整形外科手術システム100のブロック図である。整形外科手術システム100は、一組のサブシステムを備える。図1の実施例では、サブシステムには、仮想計画システム102、計画支援システム104、製造及び送達システム106、術中ガイダンスシステム108、医学教育システム110、モニタリングシステム112、予測分析システム114、及び通信ネットワーク116が含まれる。他の実施例では、整形外科手術システム100は、より多い、より少ない、または異なるサブシステムを含んでもよい。例えば、整形外科手術システム100は、医学教育システム110、モニタリングシステム112、予測分析システム114、及び/または他のサブシステムを省いてもよい。いくつかの実施例では、整形外科手術システム100は、手術追跡に使用してもよく、この場合、整形外科手術システム100は、手術追跡システムと呼ばれることがある。他の場合には、整形外科手術システム100は、一般に、医療デバイスシステムと呼ばれることもある。
整形外科手術システム100のユーザーは、仮想計画システム102を使用して整形外科手術を計画し得る。整形外科手術システム100のユーザーは、計画支援システム104を使用して、整形外科手術システム100を使用して作成された手術計画を検討し得る。製造及び送達システム106は、整形外科手術を行うために必要な品目の製造及び送達を支援し得る。術中ガイダンスシステム108は、整形外科手術システム100のユーザーが整形外科手術を行うのを支援するためのガイダンスを提供する。医学教育システム110は、医療専門家、患者、及び他の種類の個人などのユーザーの教育を支援し得る。術前及び術後モニタリングシステム112は、患者が手術を受ける前後に患者をモニタリングするのを支援し得る。予測分析システム114は、様々な種類の予測によって医療専門家を支援し得る。例えば、予測分析システム114は、人工知能技術を適用して、例えば、整形外科用関節の状態の分類、例えば診断を決定し、患者にどのタイプの手術を行うべきか、及び/またはその処置にどのタイプのインプラントを使用するかを決定し、手術中に必要となる可能性のあるアイテムの種類を決定し得る。
整形外科手術システム100のサブシステム(すなわち、仮想計画システム102、計画支援システム104、製造及び送達システム106、術中ガイダンスシステム108、医学教育システム110、術前及び術後モニタリングシステム112、及び予測分析システム114)は種々のシステムを含んでもよい。整形外科手術システム100のサブシステム内のシステムは、サーバーコンピューター、パーソナルコンピューター、タブレットコンピューター、スマートフォン、表示デバイス、モノのインターネット(IoT)デバイス、視覚化デバイス(例えば、複合現実(MR)視覚化デバイス、仮想現実(VR)視覚化デバイス、ホログラフィックプロジェクター、またはエクステンデッドリアリティ(XR)視覚化を提示するためのその他のデバイス)、手術ツールなどを含む、様々なタイプのコンピューターシステム、計算デバイスを含み得る。いくつかの実施例では、ホログラフィックプロジェクターは、ヘッドセットを装着したユーザーだけが見るのではなく、複数のユーザーまたはヘッドセットを持たない単一のユーザーが一般に見るためのホログラムを投影し得る。例えば、仮想計画システム102は、MR視覚化デバイス及び1つ以上のサーバーデバイスを備えてもよく、計画支援システム104は、1つ以上のパーソナルコンピューター及び1つ以上のサーバーデバイスなどを備えてもよい。コンピューターシステムは、システムとして動作するように構成された1つ以上のコンピューターシステムのセットである。いくつかの実施例では、1つ以上のデバイスが、整形外科手術システム100の2つ以上のサブシステム間で共有され得る。例えば、前の実施例では、仮想計画システム102と計画支援システム104は、同じサーバーデバイスを備えてもよい。
図1の実施例では、整形外科手術システム100のサブシステムに含まれるデバイスは、通信ネットワーク116を使用して通信し得る。通信ネットワーク116は、インターネット、ローカルエリアネットワークなどのような1つ以上のワイドエリアネットワークを含む様々なタイプの通信ネットワークを備え得る。いくつかの実施例では、通信ネットワーク116は、有線及び/または無線通信リンクを備えてもよい。
本開示の技術に従って、整形外科手術システム100の多くの変形が可能である。このような変形例としては、図1に示される整形外科手術システム100のバージョンよりも多くのまたは少ないサブシステムが含まれてもよい。例えば、図2は、本開示の一例による、1つ以上の複合現実(MR)システムを含む整形外科手術システム200のブロック図である。整形外科手術システム200は、手術計画を作成、検証、更新、修正、及び/または実施するために使用され得る。いくつかの実施例では、手術計画は、仮想手術計画システム(例えば、BLUEPRINT(商標)システム)を使用することなどにより術前に作成され、その後、例えば手術計画のMR視覚化を使用して、手術中に検証、修正、更新、及び表示され得る。他の実施例では、整形外科手術システム200は、必要に応じて、手術の直前または手術中に手術計画を作成するために使用され得る。いくつかの実施例では、整形外科手術システム200は、手術追跡に使用してもよく、この場合、整形外科手術システム200は、手術追跡システムと呼ばれる場合もある。他の場合には、整形外科手術システム200は、一般に、医療デバイスシステムと呼ばれることもある。
図2の実施例では、整形外科手術システム200は、術前手術計画システム202、医療施設204(例えば、外科センターまたは病院)、記憶システム206、及びネットワーク208(医療施設204のユーザーが保存された患者情報、例えば、病歴、損傷した関節または骨に対応する画像データ、及び術前に作成された手術計画に対応する様々なパラメーター(例として)にアクセスできるようにする)を含む。術前手術計画システム202は、図1の仮想計画システム102と同等であってもよく、いくつかの実施例では、一般に、BLUEPRINT(商標)システムと類似または同一の仮想計画システムに対応し得る。
図2の実施例では、医療施設204は複合現実(MR)システム212を備える。本開示のいくつかの実施例では、MRシステム212は、以下でさらに詳細に説明する機能を提供するために、1つ以上の処理デバイス(複数可)(P)210を備える。処理デバイス(複数可)210は、プロセッサー(複数可)と呼ばれる場合もある。さらに、MRシステム212の1人以上のユーザー(例えば、外科医、看護師、または他の医療提供者)は、処理デバイス(複数可)(P)210を使用して、ネットワーク208を介して記憶システム206に送信される、特定の手術計画または他の患者情報に対する要求を生成し得る。これに応答して、記憶システム206は、要求された患者情報をMRシステム212に返す。いくつかの実施例では、ユーザーは、MRシステム212の一部であるが視覚化デバイスの一部ではない1つ以上の処理デバイス、またはMRシステム212の視覚化デバイス(例えば、視覚化デバイス213)の一部である1つ以上の処理デバイス、またはMRシステム212の一部であるが視覚化デバイスの一部ではない1つ以上の処理デバイスの組み合わせ、ならびにMRシステム212の一部である視覚化デバイス(例えば、視覚化デバイス213)の一部である1つ以上の処理デバイスなどの、他の処理デバイス(複数可)を使用して情報を要求及び受信し得る。
いくつかの実施例では、複数のユーザーが同時にMRシステム212を使用し得る。例えば、MRシステム212は、複数のユーザーがそれぞれ自分の視覚化デバイスを使用する傍観者モードで使用し得、その結果、ユーザーは同じ情報を同時に、かつ同じ視点から見ることができる。いくつかの実施例では、MRシステム212は、複数のユーザーがそれぞれ自分の視覚化デバイスを使用するモードで使用し得、その結果、そのユーザーは同じ情報を異なる視点から見ることができる。
いくつかの実施例では、処理デバイス(複数可)210は、データを表示し、医療施設204のユーザーからの入力を受信するためのユーザーインターフェースを提供し得る。処理デバイス(複数可)210は、ユーザーインターフェースを提示するために視覚化デバイス213を制御するように構成され得る。さらに、処理デバイス(複数可)210は、3D仮想モデル、2D画像などの仮想画像を提示するために視覚化デバイス213を制御するように構成され得る。処理デバイス(複数可)210は、サーバー、デスクトップコンピューター、ラップトップコンピューター、タブレット、携帯電話及び他の電子計算デバイス、またはそのようなデバイス内のプロセッサーなどの、様々な異なる処理デバイスまたは計算デバイスを備えてもよい。いくつかの実施例では、1つ以上の処理デバイス(複数可)210は、医療施設204から遠隔に配置されてもよい。いくつかの実施例では、処理デバイス(複数可)210は、視覚化デバイス213内に常駐する。いくつかの実施例では、処理デバイス(複数可)210の少なくとも1つは、視覚化デバイス213の外部にある。いくつかの実施例では、1つ以上の処理デバイス(複数可)210は、視覚化デバイス213内に常駐し、1つ以上の処理デバイス(複数可)210は、視覚化デバイス213の外部にある。
図2の実施例では、MRシステム212はまた、処理デバイス(複数可)210によって実行され得るソフトウェアのデータ及び命令を記憶するための1つ以上のメモリまたは記憶デバイス(複数可)(M)215を備える。ソフトウェアの命令は、本明細書で説明されるMRシステム212の機能に対応し得る。いくつかの実施例では、BLUEPRINT(商標)システムなどの仮想手術計画アプリケーションの機能はまた、メモリ記憶デバイス(複数可)(M)215と連動して処理デバイス(複数可)210によって記憶され、実行され得る。例えば、メモリまたは記憶システム215は、仮想手術計画の少なくとも一部に対応するデータを記憶するように構成され得る。いくつかの実施例では、記憶システム206は、仮想手術計画の少なくとも一部に対応するデータを記憶するように構成され得る。いくつかの実施例では、メモリまたは記憶デバイス(複数可)(M)215は、視覚化デバイス213内に常駐する。いくつかの実施例では、メモリまたは記憶デバイス(複数可)(M)215は、視覚化デバイス213の外部にある。いくつかの実施例では、メモリまたは記憶デバイス(複数可)(M)215は、視覚化デバイス213内の1つ以上のメモリまたは記憶デバイスと、視覚化デバイスの外部の1つ以上のメモリまたは記憶デバイスとの組み合わせを備える。
ネットワーク208はネットワーク116と同等である場合がある。ネットワーク208は、術前手術計画システム202及びMRシステム212を記憶システム206に接続する、1つ以上のワイドエリアネットワーク、ローカルエリアネットワーク、及び/またはグローバルネットワーク(例えば、インターネット)を備えてもよい。記憶システム206は、患者情報、医療情報、患者画像データ、及び手術計画を定義するパラメーターを含み得る1つ以上のデータベースを備えてもよい。例えば、患者の罹患または損傷した骨の医用画像は通常、術前に、整形外科的処置の準備の際、作成される。医用画像には、患者の体の矢状面及び冠状面に沿って撮影された関連する骨(複数可)の画像が含まれる場合がある。医用画像としては、X線画像、磁気共鳴画像法(MRI)画像、コンピューター断層撮影法(CT)画像、超音波画像、及び/または関連する手術領域に関する情報を提供する任意の他の種類の2Dもしくは3D画像が挙げられ得る。記憶システム206はまた、特定の患者用に選択されたインプラント構成要素(例えば、タイプ、サイズなど)、特定の患者用に選択されたサージカルガイド、及び外科的処置の詳細、例えば、入口点、切断面、穿孔軸、リーミング深さなどを特定するデータを含んでもよい。記憶システム206は、例えば、クラウドベースの記憶システム(図示のように)であってもよいし、医療施設204もしくは術前手術計画システム202の場所に配置されてもよいし、またはMRシステム212もしくは視覚化デバイス(VD)213の一部であってもよい。
MRシステム212は、外科医によって、手術計画を作成、検討、検証、更新、修正、及び/または実施するために、外科的処置の前(例えば、術前)または外科的処置中(例えば、手術中)に使用され得る。いくつかの例では、MRシステム212はまた、外科的処置の結果を検討するか、修正が必要か否かを評価するか、または他の術後のタスクを実行するために、外科的処置の後(例えば、術後)に使用されてもよい。そのために、MRシステム212は、外科医が装着し得る(以下でさらに詳細に説明するように)、また種々の種類の情報、例としては、患者の罹患した関節、損傷した関節、または術後の関節の3D仮想画像、及び手術計画の詳細、例えば、手術計画のために選択された補綴物インプラント構成要素の3D仮想画像、補綴物構成要素を配置するための入口点の3D仮想画像、整列軸及び整列切断のための切断面、または骨表面を成形するためのリーミングツール、または骨表面に1つ以上の穴を画定するための穿孔ツール、(外科的処置において、補綴物構成要素、サージカルガイド及び器具、ならびに損傷した関節へのそれらの配置を適切に方向付け及び位置合わせするための)、ならびに外科医が手術計画を実行するのに役立ち得る任意のその他の情報を表示するように動作可能な視覚化デバイス213を備えてもよい。MRシステム212は、外科的処置の前及び/または間に視覚化デバイス213のユーザーが知覚できるこの情報の画像を作成し得る。
いくつかの実施例では、MRシステム212は、複数のユーザーが同時に同じ画像を見て同じ3Dシーンを共有できるように、複数の視覚化デバイス(例えば、視覚化デバイス213の複数の実例)を含む。いくつかのそのような実施例では、視覚化デバイスのうちの1つをマスターデバイスとして指定してもよく、他の視覚化デバイスを観察者または傍観者として指定してもよい。MRシステム212のユーザーの要望に応じて、任意のオブザーバデバイスをいつでもマスターデバイスとして再指定し得る。
このようにして、図2は、特定の患者の目的の解剖学的構造を修復するためにカスタマイズされた仮想手術計画を作成する術前手術計画システム202を含む手術計画システムを示す。例えば、仮想手術計画は、標準全肩関節形成術またはリバース型肩関節形成術のうちの1つなどの整形外科的関節修復外科的処置の計画を含んでもよい。この実施例では、仮想手術計画の詳細は、関節窩骨の準備または上腕骨の準備のうちの少なくとも1つに関連する詳細を含んでもよい。いくつかの実施例では、整形外科的関節修復外科的処置は、ステムレス標準全肩関節形成術、ステム付き標準全肩関節形成術、ステムレスリバース型肩関節形成術、ステム付きリバース型肩関節形成術、増強関節窩標準全肩関節形成術、及び増強関節窩リバース型肩関節形成術のうちの1つである。
仮想手術計画は、特定の患者の目的の解剖学的構造に対応する3D仮想モデルと、目的の解剖学的構造を修復するために特定の患者に適合された、または目的の解剖学的構造を修復するように選択された、1つ以上のツールの3Dモデル及び/または補綴物構成要素の3Dモデルとを含んでもよい。いくつかの実施例では、3Dモデルは、対応するオブジェクトの特徴を表す点群またはメッシュ(例えば、多角形メッシュ、ワイヤフレームなど)を含み得る。一例として、患者の骨の3Dモデルには、骨の壁を表す点群またはメッシュが含まれる場合がある。別の実施例として、患者の骨の3Dモデルは、骨の内壁を表す第1の点群またはメッシュと、骨の外壁を表す第2の点群またはメッシュとを含んでもよい。別の実施例として、補綴物構成要素(例えば、インプラント)の3Dモデルは、補綴物構成要素の少なくとも一部(例えば、骨に挿入される部分)の外面を表す点群またはメッシュを含んでもよい。別の実施例として、インプラントツールの3Dモデルは、インプラントツールの少なくとも一部(例えば、骨に挿入される部分)の外面を表す点群またはメッシュを含んでもよい。
さらに、図2の例では、手術計画システムは、仮想手術計画に対応するデータを記憶する記憶システム206を備える。図2の手術計画システムはまた、視覚化デバイス213を備え得るMRシステム212を含む。いくつかの実施例では、視覚化デバイス213はユーザーによって装着可能である。いくつかの実施例では、視覚化デバイス213は、ユーザーによって保持されるか、またはユーザーがアクセスできる場所の表面上に載置される。MRシステム212は、視覚化デバイス213を介してユーザーインターフェースを提示するように構成され得る。ユーザーインターフェースは、視覚化デバイス213を使用するユーザーにとって視覚的に認識可能である。例えば、一例では、視覚化デバイス213のスクリーンは、スクリーン上に現実世界の画像及びユーザーインターフェースを表示し得る。いくつかの実施例では、視覚化デバイス213は、仮想ホログラフィック画像をシースルーホログラフィックレンズ上に投影し、また、ユーザーがレンズを通して現実世界環境の現実世界のオブジェクトを見ることを可能にし得る。換言すれば、視覚化デバイス213は、1つ以上のシースルーホログラフィックレンズと、ホログラフィックレンズを介してユーザーに画像を提示してユーザーインターフェースをユーザーに提示する1つ以上の表示デバイスとを備え得る。
いくつかの実施例では、視覚化デバイス213は、ユーザーがユーザーインターフェース(ユーザーが視覚化デバイス213を装着しているとき、そうでない方法で使用しているときにユーザーが視覚的に認識できる)を操作して、特定の患者のための仮想手術計画の詳細を要求及び見ることができるように構成され、これには、目的の解剖学的構造の3D仮想モデル(例えば、目的の解剖学的構造の3D仮想骨)及び目的の解剖学的構造を修復するために選択された補綴物構成要素の3Dモデルが含まれる。いくつかのそのような実施例では、視覚化デバイス213は、ユーザーが、(少なくともいくつかの実施例では)目的の解剖学的構造の3D仮想モデル(例えば、目的の解剖学的構造の3D仮想骨)を含む仮想手術計画を術中に見ることができるように、ユーザーインターフェースを操作できるように構成される。いくつかの実施例では、MRシステム212は、ユーザーが、現実環境、例えば特定の患者の目的の現実の解剖学的構造上に投影された仮想手術計画の詳細を視覚的に認識できるように、ユーザーが術中にユーザーインターフェースを操作できる拡張手術モードで動作し得る。本開示では、現実及び現実世界という用語が同様の方法で使用される場合がある。例えば、MRシステム212は、骨表面の準備及び骨表面への補綴物インプラントの配置のためのガイダンスを提供する1つ以上の仮想オブジェクトを提示し得る。視覚化デバイス213は、例えば、ユーザーがホログラフィックレンズを通して見る実際の現実世界の患者の解剖学的構造による仮想オブジェクト(複数可)を表示することによって、現実世界環境内で、仮想オブジェクトが患者の実際の現実の解剖学的オブジェクトに重なって見える方法で、1つ以上の仮想オブジェクトを提示し得る。例えば、仮想オブジェクトは、実際の現実の解剖学的オブジェクトとともに現実世界環境内に存在するように見える3D仮想オブジェクトであってもよい。
図3は、外科的ライフサイクル300の例示的な段階を示すフローチャートである。図3の実施例では、外科的ライフサイクル300は、術前段階(302)から始まる。術前段階で、手術計画が策定される。術前段階の後には、製造及び送達段階が続く(304)。製造及び送達段階では、手術計画の実行に必要な部品及び機器などの患者固有のアイテムが製造され、手術部位に送達される。いくつかの実施例では、手術計画を実行するために患者固有のアイテムを製造する必要はない。術中段階の後に、製造及び送達段階が続く(306)。手術計画が術中段階で実行される。言い換えれば、1人以上の人が術中段階で患者の手術を行う。術中段階の後には術後段階が続く(308)。術後段階には、手術計画が完了した後に発生する活動が含まれる。例えば、患者は、合併症に関して術後段階でモニタリングされる場合がある。
本開示で説明されるように、整形外科手術システム100(図1)は、術前段階302、製造及び送達段階304、術中段階306、及び術後段階308のうちの1つ以上で使用され得る。例えば、仮想計画システム102及び計画支援システム104は、術前段階302で使用され得る。製造及び送達システム106は、製造及び送達段階304で使用され得る。術中ガイダンスシステム108は、術中段階306で使用され得る。図1のシステムのいくつかは、図3の多段階で使用されてもよい。例えば、医学教育システム110は、術前段階302、術中段階306、及び術後段階308のうちの1つ以上で使用され得る;術前及び術後モニタリングシステム112は、術前段階302及び術後段階308で使用され得る。予測分析システム114は、術前段階302及び術後段階308で使用され得る。
上述したように、整形外科手術システム100の1つ以上のサブシステムは、MRシステム212(図2)などの1つ以上の複合現実(MR)システムを含み得る。各MRシステムは、視覚化デバイスを備えてもよい。例えば、図2の実施例では、MRシステム212は視覚化デバイス213を備える。いくつかの実施例では、MRシステムは、視覚化デバイスを備えることに加えて、視覚化デバイスの動作をサポートする外部コンピューティングリソースを備えてもよい。例えば、MRシステムの視覚化デバイスは、外部コンピューティングリソースを提供する計算デバイス(例えば、パーソナルコンピューター、バックパックコンピューター、スマートフォンなど)に通信可能に結合され得る。あるいは、視覚化デバイスの必要な機能を実行するために、視覚化デバイス213上または内に適切なコンピューティングリソースを提供してもよい。
図4は、本開示の一例による、図2のMRシステム212などのMRシステムで使用するための視覚化デバイス213の概略図である。図4の実施例に示すように、視覚化デバイス213は、フレーム518上または内に搭載され得る1つ以上のプロセッサー(複数可)514(例えば、マイクロプロセッサーまたは他のタイプの処理ユニット)及びメモリ516を含む、コンピューターシステムに見られる様々な電子構成要素を備えてもよい。さらに、図4の実施例では、視覚化デバイス213は、視覚化デバイス213がユーザーによって装着されたときに目の高さに配置される透明なスクリーン520を備えてもよい。いくつかの実施例では、スクリーン520は、1つ以上の液晶ディスプレイ(LCD)、または視覚化デバイス213を装着しているか、そうでなければそれをスクリーン520を介して使用している外科医が画像を知覚できる他のタイプの表示スクリーンを備えてもよい。他のディスプレイの例としては、有機発光ダイオード(OLED)ディスプレイが挙げられる。いくつかの実施例では、視覚化デバイス213は、当技術分野で公知の技術を使用して、ユーザーの網膜上に3D画像を投影するように動作し得る。
いくつかの実施例では、スクリーン520は、導波路と呼ばれることもあるシースルーホログラフィックレンズを備えてもよく、これにより、ユーザーは、レンズを通して(例えば、レンズを越えて)現実世界のオブジェクトを見ることが可能になり、またレンズ内及びユーザーの網膜上に、視覚化デバイス213内のホログラフィック投影システム538の一例として動作する、光エンジンまたはプロジェクターと呼ばれることもある液晶オンシリコン(LCoS)表示デバイスなどのディスプレイによって投影された、ホログラフィック画像も見ることが可能になる。換言すれば、視覚化デバイス213は、ユーザーに仮想画像を提示するために、1つ以上のシースルーホログラフィックレンズを備えてもよい。したがって、いくつかの実施例では、視覚化デバイス213は、例えば、ホログラフィックレンズによって形成されたスクリーン520を介して、ユーザーの網膜に3D画像を投影するように動作し得る。このようにして視覚化デバイス213を、スクリーン520によって観察される現実世界のビュー内で、例えば仮想画像が現実世界の環境の一部を形成しているように見えるように、3D仮想画像をユーザーに提示するように構成してもよい。いくつかの実施例では、視覚化デバイス213は、Microsoft Corporation(Redmond,Washington,USA)から入手可能なMicrosoft HOLOLENS(商標)ヘッドセット、または類似のデバイス、例えば導波路を含む類似のMR視覚化デバイスであってよい。HOLOLENS(商標)デバイスを用いて、ホログラフィックレンズまたは導波路によって3D仮想オブジェクトを表示してもよく、一方で、ユーザーがホログラフィックレンズを通して、現実世界のシーンにおける、すなわち現実世界の環境における実際のオブジェクトを見ることを可能にすることができる。
図4の実施例は、頭部装着型デバイスとしての視覚化デバイス213を示しているが、視覚化デバイス213は、他の形態及び形状因子を有してもよい。例えば、いくつかの実施例では、視覚化デバイス213は手持ち式のスマートフォンまたはタブレットであってもよい。
視覚化デバイス213は、例えば、上述のようにシースルーホログラフィックレンズに投影されるホログラフィック画像として、ユーザーに可視のユーザーインターフェース(UI)522を生成し得る。例えば、UI522は、ユーザーが図2のMRシステム212などの複合現実(MR)システムと対話することを可能にする様々な選択可能なウィジェット524を備えてもよい。視覚化デバイス213によって提示される画像は、例えば、1つ以上の3D仮想オブジェクトを含んでもよい。UI 522の実施例の詳細は、本開示の他の箇所で説明されている。視覚化デバイス213は、ユーザーの耳に隣接して配置され得るスピーカーまたは他の感覚デバイス526を備えてもよい。感覚デバイス526は、聴覚情報または他の知覚可能な情報(例えば振動)を伝達して、視覚化デバイス213のユーザーを支援し得る。
視覚化デバイス213は、有線通信プロトコルまたは無線プロトコル、例えばWi-Fi、Bluetooth(登録商標)などを介して、視覚化デバイス213を、処理デバイス510及び/またはネットワーク208及び/またはコンピューティングクラウドに接続するためのトランシーバー528も備えてもよい。視覚化デバイス213はまた、センサーデータを収集するための様々なセンサー、例えば、フレーム518の上または内部に取り付けられた1つ以上の光学カメラ(複数可)530(または他の光学センサー)及び1つ以上の深度カメラ(複数可)532(または他の深度センサー)などを備える。いくつかの実施例では、光学センサー(複数可)530は、MRシステム212のユーザーが位置する物理的環境(例えば、手術室)のジオメトリをスキャンし、二次元(2D)の光学画像データ(モノクロまたはカラーのいずれか)を収集するように動作可能である。深度センサー(複数可)532は、深度を求めて、それによって3次元の画像データを生成するために、飛行時間、ステレオ、または他の公知のもしくは将来開発される技術を使用することなどによって、3D画像データを提供するように動作可能である。他のセンサーとしては、追跡運動を支援するモーションセンサー533(例えば、慣性質量ユニット(IMU)センサー、加速度計など)を挙げることができる。
MRシステム212は、センサーデータを処理して、ユーザーの環境または「シーン」における幾何学的なランドマーク、環境のランドマーク、テクスチャのランドマーク等(例えば角部、エッジまたは他の線、壁、床、オブジェクト)を定義し得、かつシーン内の動きを検出し得る。一例として、種々のタイプのセンサーデータを結合または融合してもよく、これによって視覚化デバイス213のユーザーは、シーン内で配置または固定及び/または移動できる3D画像を知覚し得る。シーンに固定されている場合、ユーザーは、3D画像を巡って歩き、異なる視点から3D画像を見て、手のジェスチャー、音声コマンド、注視ライン(gaze line)(または方向)及び/または他の制御入力を使用して、シーン内の3D画像を操作し得る。別の実施例として、ユーザーがシーン内の観察される物理的なオブジェクト(例えば表面、患者の現実の骨など)上に3D仮想オブジェクト(例えば、骨モデル)を配置し、及び/またはそのシーン内に表示される他の仮想画像とともに3D仮想オブジェクトを配向できるように、センサーデータを処理し得る。さらに別の実施例として、ユーザーが手術計画(または他のウィジェット、画像、または情報)の仮想表現を手術室の壁のような表面に配置し、固定し得るように、センサーデータを処理し得る。さらに、センサーデータを使用して、手術器具ならびにそれらの器具の位置及び/または配置を認識し得る。
視覚化デバイス213は、1つ以上のプロセッサー514と、例えば、視覚化デバイスのフレーム518内のメモリ516とを備え得る。いくつかの実施例では、1つ以上の外部のコンピューティングリソース536は、インフレームプロセッサー(複数可)514及びメモリ516の代わりに、あるいはそれらに加えて、センサーデータなどの情報を処理及び記憶する。このようにして、データ処理及び記憶を、視覚化デバイス213内の1つ以上のプロセッサー514及びメモリ516によって実行してもよく、及び/または処理及び記憶要件の一部を視覚化デバイス213からオフロードしてもよい。したがって、いくつかの実施例では、視覚化デバイス213の動作を制御する1つ以上のプロセッサーは、例えばプロセッサー(複数可)514として視覚化デバイス内に存在し得る。これに代えて、いくつかの実施例では、視覚化デバイス213の動作を制御するプロセッサーのうち少なくとも1つが、視覚化デバイスの外部にあり、例えば、プロセッサー(複数可)210であってもよい。同様に、いくつかの実施例では、視覚化デバイス213の動作は、視覚化デバイス内の1つ以上のプロセッサー514と、視覚化デバイスの外部の1つ以上のプロセッサー210との組み合わせによって部分的に制御され得る。
例えば、いくつかの実施例では、視覚化デバイス213が図2の状況にある場合には、センサーデータの処理は、メモリまたは記憶デバイス(複数可)(M)215に関連する処理デバイス(複数可)210によって実行可能である。いくつかの実施例では、フレーム518に取り付けられたプロセッサー(複数可)514及びメモリ516により、カメラ530、532及びモーションセンサー533が収集したセンサーデータを処理するのに十分なコンピューティングリソースを提供し得る。いくつかの実施例では、センサーデータは、2D画像データ及び3D画像データを処理及びマッピングし、3Dシーンにおける視覚化デバイス213の位置を追跡するために、同時位置特定及びマッピング(Simultaneous Localization and Mapping)(SLAM)アルゴリズム、または他の公知のもしくは将来開発されるアルゴリズムを使用して処理してもよい。いくつかの実施例では、画像追跡は、Microsoft HOLOLENS(商標)システムによって提供されるセンサー処理及び追跡機能を使用して、例えば、実質的にMicrosoft HOLOLENS(商標)デバイスまたは類似する複合現実(MR)視覚化デバイスに準拠する視覚化デバイス213内の1つ以上のセンサー及びプロセッサー514によって実行してもよい。
いくつかの実施例では、MRシステム212はまた、ユーザーがMRシステム212を操作すること、MRシステム212を傍観者モード(マスタまたはオブザーバとして)で使用すること、UI522と対話すること、及び/または他の態様で処理デバイス(複数可)210またはネットワーク208に接続された他のシステムにコマンドまたは要求を提供することを可能にするユーザー操作型制御デバイス(複数可)534も含み得る。例として、制御デバイス(複数可)234は、マイクロフォン、タッチパッド、制御パネル、モーションセンサー、またはユーザーが対話できる他の種類の制御入力デバイスを備えてもよい。
図5は、MRシステムで使用するための視覚化デバイス213の例示的な構成要素を示すブロック図である。図5の実施例では、視覚化デバイス213は、プロセッサー514と、電源600と、表示デバイス(複数可)602と、スピーカー604と、マイクロフォン(複数可)606と、入力デバイス(複数可)608と、出力デバイス(複数可)610と、記憶デバイス(複数可)612と、センサー(複数可)614と、通信デバイス616とを備える。図5の実施例では、センサー(複数可)616は、深度センサー(複数可)532、光学センサー(複数可)530、モーションセンサー(複数可)533、及び配向センサー(複数可)618を備えてもよい。光学センサー(複数可)530は、カメラ、例えば赤・緑・青(RGB)ビデオカメラ、赤外線カメラ、または光から画像を形成する他の種類のセンサーを備えてもよい。表示デバイス(複数可)602は、ユーザーインターフェースをユーザーに提示するために画像を表示し得る。
いくつかの実施例では、スピーカー604は、図4に示した感覚デバイス526の一部を形成し得る。いくつかの実施例では、表示デバイス602は、図4に示されるスクリーン520を含み得る。例えば、図4を参照して考察したとおり、表示デバイス(複数可)602は、プロジェクターと組み合わされたシースルーホログラフィックレンズを備えてもよく、これは、ユーザーが、現実世界の環境で、レンズを通して、現実世界のオブジェクトを見ることを可能にし、また例えばホログラフィック投影システムによってレンズに、及びユーザーの網膜に投影された仮想3Dホログラフィック画像も見ることも可能にする。この実施例では、仮想3Dホログラフィックオブジェクトが、現実世界の環境内に配置されているように見える場合がある。いくつかの実施例では、表示デバイス602は、1つ以上のディスプレイスクリーン、例えば、LCDディスプレイスクリーン、OLEDディスプレイスクリーンなどを含む。ユーザーインターフェースは、特定の患者に対する仮想手術計画の詳細の仮想画像を提示し得る。
いくつかの実施例では、ユーザーは、種々の方法で視覚化デバイス213と対話して、これを制御し得る。例えば、マイクロフォン606及び関連する音声認識処理回路またはソフトウェアは、ユーザーが話した音声コマンドを認識し、これに応答して、手術計画、手術中ガイダンスなどと関連する様々な機能の選択、活動化、または非活動化などの様々な動作のいずれかを実行し得る。別の実施例として、センサー614の1つ以上のカメラまたは他の光学センサー530は、上述した動作を実行するためにジェスチャーを検出して解釈し得る。さらなる実施例として、センサー614は、注視の方向を検知し得、本開示の他の箇所で説明するように種々の動作を実施し得る。いくつかの実施例では、入力デバイス608は、例えば1つ以上のボタン、キーパッド、タッチスクリーン、ジョイスティック、トラックボール、及び/または他の手動入力媒体を含む手持ち式コントローラーを介して、ユーザーからの手動入力を受信し、手動ユーザー入力に応じて、上述の様々な操作を実行し得る。
上述のように、外科的ライフサイクル300は、術前段階302(図3)を含んでもよい。1人以上のユーザーが、術前段階302において整形外科手術システム100を使用し得る。例えば、整形外科手術システム100は、1人以上のユーザーが、特定の患者の目的の解剖学的構造に合わせてカスタマイズされ得る仮想手術計画を作成するのを支援するための仮想計画システム102を備えてもよい。本明細書で説明するように、仮想手術計画は、特定の患者の目的の解剖学的構造に対応する3次元仮想モデルと、目的の解剖学的構造を修復するために特定の患者に適合された、または目的の解剖学的構造を修復するように選択された、1つ以上の補綴物構成要素の3次元モデルとを備え得る。仮想手術計画は、外科的処置を実行する際に、例えば、骨表面または組織を準備し、そのような骨表面または組織に対して埋込み型補綴物ハードウェアを配置する際に、外科医を誘導するためのガイダンス情報の3次元仮想モデルも備えてもよい。
図6は、外科的ライフサイクル300の術前段階302の例示的なステップを示すフローチャートである。他の実施例では、術前段階302は、より多い、より少ない、または異なるステップを含んでもよい。さらに、他の実施例では、図6の1つ以上のステップが異なる順序で実行されてもよい。いくつかの実施例では、ステップのうちの1つ以上を、仮想計画システム102(図1)または202(図2)などのような手術計画システム内で、自動的に実施し得る。
図6の実施例では、目的の領域のモデルが生成される(800)。例えば、目的の領域のスキャン(例えば、CTスキャン、MRIスキャンまたは他のタイプのスキャン)を実施することができる。例えば、目的の領域が患者の肩である場合、患者の肩のスキャンを実施してもよい。仮想計画システムは、スキャンに基づいて目的の領域の仮想モデル(例えば、三次元仮想モデル)を生成し得る。さらに、目的の領域における病理を分類し得る(802)。いくつかの実施例では、目的の領域の病理は、目的の領域のスキャンに基づいて分類されてもよい。例えば、目的の領域がユーザーの肩である場合、外科医は、患者の肩のスキャンに基づいて、患者の肩の問題を判断し、肩分類を提供して、例えば、原発性関節窩上腕骨関節炎(PGHOA)、肩腱板裂断裂関節症(RCTA)不安定性、大幅な回転筋腱板断裂(MRCT)、慢性関節リウマチ、外傷後関節炎及び変形性関節症などの診断結果を示すことができる。
さらに、手術計画を病理に基づいて選択し得る(804)。手術計画は、病理に対処する計画である。例えば、目的の領域が患者の肩である実施例では、手術計画は、解剖学的肩関節形成術、リバース型肩関節形成術、外傷後の肩関節形成術、または以前の肩関節形成術への変更から選択されてもよい。次いで手術計画を患者に合わせて調整し得る(806)。例えば、手術計画を調整することは、選択された手術計画を実施するために必要とされる手術品目の選択及び/またはサイジングを含み得る。さらに、手術計画は、患者に特有の問題、例えば骨炎の存在に対処するために、患者に合わせて調整されてもよい。本開示の他の箇所で詳細に説明されているように、1人以上のユーザーは、患者に合わせて手術計画を調整するために、整形外科手術システム100の複合現実システムを使用し得る。
次いで手術計画を検討してもよい(808)。例えば、診療外科医は、手術計画が実行される前に、手術計画を検討し得る。本開示の他の箇所で詳細に説明されているように、1人以上のユーザーは、手術計画を検討するために、整形外科手術システム100の複合現実(MR)システムを使用し得る。いくつかの実施例では、外科医は、例えば、異なる処置の選択、インプラントのサイジング、形状もしくは配置の変更、あるいはインプラントに適応するための骨表面の角度、深さまたは切断もしくはリーミングの量の変更のために、UI及び表示される要素との対話によってMRシステムを使用して手術計画を変更し得る。
図7には、クランプツールに取り付けられた位置合わせマーカーを使用して仮想画像を物理空間に位置合わせすることができる、肩部手術のための例示的な外科的プロセスが示されている。外科医は、外科的プロセスの各ステップ中に視覚化デバイス213を装着してもよいし、または他の方法で使用してもよい。他の実施例では、肩の手術は、より多い、より少ない、または異なるステップを含んでもよい。例えば、肩の手術は、骨移植片を追加するステップ、セメントを追加するステップ、及び/または他のステップを含んでもよい。いくつかの実施例では、視覚化デバイス213は、手術用ワークフローのステップを通して、外科医、看護師または他のユーザーを誘導するための仮想ガイダンスを提示し得る。
図7の実施例では、外科医が切開プロセスを実施する(1900)。切開プロセス中、外科医は患者の肩関節を露出させるために一連の切開を行う。いくつかの実施例では、MRシステム(例えばMRシステム212、MRシステム1800Aなど)は、例えば、切開を行う方法及び場所を示す仮想ガイダンス画像を表示することにより、外科医が切開プロセスを行うのを支援し得る。
さらに、図7の実施例では、外科医は、上腕骨切断プロセスを実行し得る(1902)。上腕骨切断プロセス中、外科医は、患者の上腕骨の上腕骨頭の一部を除去し得る。上腕骨頭の一部を除去することにより、外科医は患者の関節窩にアクセスすることが可能になり得る。さらに、上腕骨頭の一部を除去することにより、外科医は、その後に上腕骨頭の一部を、外科医が患者の関節窩に移植することを計画する関節窩インプラントと適合する上腕骨インプラントと交換することを可能にし得る。
上述したように、上腕骨作製プロセスによって、外科医は患者の関節窩へのアクセスが可能になる場合がある。図7の実施例では、上腕骨作製プロセスを実行した後、外科医は、視覚化デバイス213によって外科医に提示された視野において、仮想関節窩オブジェクトを患者の実際の関節窩骨に位置合わせする位置合わせプロセス(1904)を実行し得る。
図8は、物理的マーカー(例えば、受動的な物理的マーカー及び能動的な物理的マーカーの任意の組み合わせ)を使用して、3D仮想骨モデルを、患者の現実に観察された骨構造に位置合わせするための技術2500の一例を示す。換言すれば、図8は、図2の複合現実システム212などの複合現実システムにおいて実行される、観察された骨に仮想骨モデルを位置合わせするための、例えば視覚化デバイス213によって実行されるプロセスフローの一例である。3D仮想骨モデルは、1つ以上の骨の全部または一部のモデルであり得る。図8のプロセスフローは、図7のステップ1904の位置合わせプロセスの一部として実行可能であり得る。
動作中、施術者は、特定の位置(例えば、下の図9、図11A及び図11Bの位置合わせマーカー900)に1つ以上の物理的マーカーを配置し得る。いくつかの実施例では、MRシステム212は、施術者が物理的マーカーを配置すべき場所についての指示を出力し得る。例えば、物理的マーカーは、関節窩の上面に載置されてこれに耐えるように配置されてもよい。所定の位置は、観察された骨構造に対応する仮想モデル上の特定の位置に対応し得る。
MRシステム212は、1つ以上のセンサー(例えば、図5の視覚化デバイス213の1つ以上のセンサー614)からのデータを利用して、位置合わせマーカー(複数可)の位置(例えば、下の図9、図11A及び図11Bの位置合わせマーカー900)を特定し得る(2510)。例えば、MRシステム212は、深度センサー532及び/または光学センサー530の任意の組み合わせによって生成されたデータを使用して、位置合わせマーカー(複数可)の特定の位置(例えば座標)を特定し得る。特定の一例として、MRシステム212は、光学センサー530によって生成された光学データを使用して、位置合わせマーカーの重心を特定し得る。次いで、MRシステム212は、深度センサー532によって生成された深度データ及び/または光学センサー530によって生成された光学データを利用して、特定された重心の位置及び/または向きを判定し得る。MRシステム212は、重心と位置合わせマーカーの取り付け点との間の距離を決定し得る。決定された距離(すなわち、重心と取り付け点との間)及び重心の決定された位置/向きに基づいて、MRシステム212は、取り付け点の位置/向きを決定し得る。
MRシステム212は、位置合わせマーカー(複数可)の特定された位置に基づいて、仮想モデルと観察された解剖学的構造を位置合わせし得る(2512)。例えば、位置合わせマーカー(複数可)が、観察された骨構造に対応する仮想モデル上の特定の位置(複数可)に対応する位置で、観察された骨構造上に配置される場合、MRシステム212は、仮想モデルと観察された骨構造212との間の変換マトリックスを生成し得る。この変換マトリックスによって、仮想モデルのx軸、y軸、及びz軸に沿った並進と、x軸、y軸、及びz軸を中心とした回転とを可能にし得、これによって、仮想の骨と観測された骨との間の位置合わせを達成及び維持することが可能になる場合がある。いくつかの実施例では、位置合わせが完了すると、MRシステム212は位置合わせの結果を利用して、対応する観察オブジェクトに対する仮想モデルの整列を維持するための同時の位置特定及びマッピング(SLAM)を実行する。
いくつかの実施例では、施術者は(例えば位置合わせが完了した後)物理的マーカーを除去することができる。例えば、MRシステム212が物理的マーカーを用いて位置合わせプロセスを完了した後、MRシステム212は、物理的マーカーを除去可能であるという表示を出力し得る。物理的マーカーが除去される実施例では、MRシステム212は引き続き、仮想マーカーまたは任意の他の適切な追跡技術を用いて、観察される骨に対する仮想骨モデルの位置合わせを維持し得る。
いくつかの実施例では、施術者は、外科手術のその後の時点まで物理的マーカーを除去しない場合がある。例えば、施術者は、観察される骨への仮想モデルの位置合わせがもはや必要なくなるまで(例えば、位置合わせを使用するすべての仮想ガイダンスが表示され、対応する手術ステップが完了した後)、物理的マーカーを除去しなくてもよい。
いくつかの実施例では、MRシステム212は、処置全体を通して、仮想骨モデルと、観察された骨(例えば、関節窩、上腕骨、または他の骨構造)との間の位置合わせを維持することができる場合がある。しかしながら、場合によっては、MRシステム212は、仮想骨モデルと観察された骨との間の位置合わせを失う場合もあり、またはそうでない場合には維持できなくなる場合もある。例えば、MRシステム212は、位置合わせマーカー(複数可)の追跡を失う場合がある。この喪失は、マーカーを遮蔽する体液(例えば、血液)、マーカーの脱離(例えば、物理的マーカーが位置から外れる)などを含むがこれらに限定されない、多数の要因の結果であり得る。したがって、MRシステム212は、位置合わせが失われたか否かを定期的に判定し得る(2516)。
いくつかの実施例では、MRシステム212は、仮想ポイントと対応する物理ポイントとの間の信頼距離が閾値信頼距離(例えば臨床値)を超えた場合に、位置合わせが失われたことを決定し得る。MRシステム212は、現在の位置合わせの精度を表す値として信頼距離を定期的に決定し得る。例えば、MRシステム212は、仮想ポイントと対応する物理ポイントとの間の距離が3mm未満であることを決定し得る。
いくつかの実施例では、MRシステム212は、信頼距離の表現を出力し得る。一例として、MRシステム212は、視覚化デバイス213に信頼距離の数値を表示させ得る。別の実施例として、MRシステム212は、閾値信頼距離に関する信頼距離のグラフィック表現を視覚化デバイス213に表示させ得る(例えば、信頼距離が閾値信頼距離の半分よりも小さい場合には緑色の円を表示し、信頼距離が閾値信頼距離の半分と閾値信頼距離との間である場合には黄色の円を表示し、信頼距離が閾値信頼距離よりも大きい場合には赤色の円を表示する)。
いくつかの実施例では、MRシステム212は、外科的処置全体にわたって同じ閾値信頼距離を利用し得る。いくつかの実施例では、MRシステム212は、外科的処置の様々なパーツのために異なる閾値信頼距離を利用し得る。例えば、MRシステム212は、第1の作業ステップのセットに対して第1の閾値信頼距離を利用し、第2の作業ステップのセットに対して第1の作業ステップのセットについて第2の閾値信頼距離(第1の閾値信頼距離とは異なる)を利用し得る。
位置合わせが失われていない場合(2516の「イイエ(No)」分岐)、MRシステム212は、仮想ガイダンスを表示し続け得る(2514)。しかし、MRシステム212が位置合わせを失う(2516の「ハイ(Yes)」分岐)場合、MRシステム212は、観察された骨に仮想骨モデルを再位置合わせするための1つ以上の動作を実行し得る。一例として、MRシステム212は、施術者からのさらなる行動を伴わずに自動的に位置合わせプロセスの実行を試みることができる。例えば、物理的マーカーは除去されていない場合。MRシステム212は、物理的マーカーを使用して位置合わせプロセスを実行し得る。代替的に、物理的マーカーが取り外された(または配置されなかった)場合、MRシステム212は、物理的マーカーを配置するための施術者に対する要求を出力し得る。したがって、MRシステム212は、観察された骨に仮想モデルを定期的に位置合わせすると考えることができる。
いくつかの実施例では、位置合わせが失われた場合に自動的に再位置合わせを試みるのではなく、MRシステム212は、位置合わせがまだ必要かどうかに基づいて再位置合わせを選択的に実行することができる(2518)。いくつかの実施例では、MRシステム212は、追加的な仮想ガイダンスが表示される場合には、位置合わせが依然として必要であると判定し得る。MRシステム212が、位置合わせがもはや必要ないことを決定した場合(2518の「イイエ(No)」分岐)、MRシステム212は位置合わせ手順を終了し得る。
上述のように、MRシステム212は、仮想モデルを対応する観察された構造に位置合わせすることを可能にするために、仮想マーカー及び物理的マーカーの任意の組み合わせを利用し得る。MRシステム212は、初期位置合わせを実行するために任意のマーカーを使用することができ、必要な場合には、MRシステム212は、再位置合わせを実行するために任意のマーカーを使用することができる。初期位置合わせに使用されるマーカーは、任意の再位置合わせに使用されるマーカーと同じでも異なっていてもよい。
いくつかの実施例では、位置合わせの精度及び品質を向上させるために、位置合わせプロセスの初期化段階の間、MRシステム212は、ユーザーの頭部姿勢及び向きに関する空間的制約を計算して表示し得る。これらの制約は、リアルタイムで計算されてもよく、ユーザーの位置、及び/または観察された骨までの方向、及び/または距離、及び/または深度カメラ特性に依存してもよい。例えばMRシステム212は、ユーザーに、観察される骨に近づくよう促すこと、ユーザー注視ラインが観察される骨の目的の面に垂直になるように頭部位置を調整すること、または位置合わせプロセスを向上させるのに役立ち得る他の任意の調整を行うことができ、これは特定の外科用途及び/または特定の目的の解剖学的構造の属性及び/またはMRシステム212に使用される光学センサー及び深度センサーの特性に依存し得る。
いくつかの実施例では、深度カメラ(複数可)532は、構造化光法または適切な波長を有する光信号の飛行時間を使用して距離を検出する。一般に、光信号の波長は、深度カメラ(複数可)532によって送信された光学信号による、観察された解剖学的構造の表面の貫通が最小限に抑えられるように選択される。しかしながら、距離を検出するための他の公知のまたは将来開発される技術も使用可能であることを理解されたい。
以下で述べるように、本明細書で説明する位置合わせ技術を、仮想モデルと観察されるオブジェクトとの任意のペアに対して実施し得る。一例として、MRシステムは、骨の仮想モデルを観察された骨に位置合わせするために位置合わせ技術を利用し得る。別の実施例として、MRシステムは、位置合わせ技術を利用して、観察されたインプラントにインプラントの仮想モデルを位置合わせし得る。MRシステムは、この位置合わせ技術を利用して、ツールの仮想モデルを観測されたツールに位置合わせし得る。
いくつかの実施例では、MRシステムは、仮想モデルと観察されるオブジェクトとの特定のペアに対して(例えば、特定の外科的処置内で)、一度、位置合わせ技術を実行し得る。例えば、MRシステムは、関節窩の仮想モデルを観察された関節窩に位置合わせし、この位置合わせを利用して外科的処置の複数のステップのための仮想ガイダンスを提供し得る。いくつかの実施例では、MRシステムは、仮想モデルと観察されるオブジェクトとの特定のペアに対して(例えば、特定の外科的処置内で)、位置合わせ技術を何度も実行し得る。例えば、MRシステムはまず、関節窩の仮想モデルを観察された関節窩に位置合わせして、この位置合わせを利用して外科的処置の1つ以上のステップのための仮想ガイダンスを提供し得る。次に、例えば、材料が関節窩から(例えば、リーミングによって)除去された後、MRシステムは(除去された材料を説明する)関節窩の別の仮想モデルを、観察された関節窩に位置合わせして、その後の位置合わせを使用して、外科的処置の1つ以上の他のステップのための仮想ガイダンスを提供し得る。
位置合わせプロセスは、本開示の他の箇所で説明する仮想計画プロセス及び/または手術中ガイダンスと組み合わせて使用してもよい。したがって1つの実施例では、特定の患者の目的の解剖学的構造(例えば、特定の患者の肩関節)を修復するために、仮想手術計画が作成されるか、さもなければ取得される。仮想手術計画が取得される事例では、別のコンピューターシステムが仮想手術計画を作成して、MRシステム(例えば、MRシステム212)または他のコンピューターシステムが、仮想手術計画を通信媒体または非一時的記憶媒体などのコンピューター可読媒体から取得する。この実施例では、仮想手術計画は、術前画像データに基づき生成された目的の解剖学的構造の3D仮想モデルと、この目的の解剖学的構造を修復するために特定の患者のために選択された補綴物構成要素とを含んでもよい。さらにこの実施例では、ユーザーは、MRシステム(例えば、MRシステム212)を使用して、仮想手術計画を実行し得る。本実施例では、MRシステムの使用の一部として、ユーザーは特定の患者に対する仮想手術計画を要求し得る。
これに加えユーザーは、現実環境内に投影された手術計画の仮想画像を見る場合がある。例えば、MRシステム212は、この開示の種々の実施例で説明されているように、オブジェクトが現実環境内に、例えば患者の現実の解剖学的構造に存在するように見えるように、3D仮想オブジェクトを提示し得る。この実施例では、手術計画の仮想画像は、目的の解剖学的構造の3D仮想モデル、補綴物構成要素の3Dモデル、及び目的の解剖学的構造を修復するための手術用ワークフローの仮想画像のうちの1つ以上を含んでもよい。さらに、この実施例において、ユーザーは、3D仮想モデルを特定の患者の目的の現実の解剖学的構造と位置合わせし得る。次いでユーザーは、この位置合わせに基づき、目的の現実の解剖学的構造を修復するために、仮想的に作成された手術計画を実行し得る。換言すれば、拡張手術モードにおいて、ユーザーは視覚化デバイスを使用して、目的の解剖学的構造の3D仮想モデルを、目的の現実の解剖学的構造と整列し得る。
いくつかの実施例において、目的の現実の解剖学的構造と3D仮想モデルを位置合わせすることの一部として、3D仮想モデルを(例えば、ユーザーによって)目的の現実の解剖学的構造と整列させ、この整列に基づいて、3D仮想モデルと目的の現実の解剖学的構造との間において変換マトリックスを生成し得る。変換マトリックスによって、仮想的に作成された手術計画を目的の現実の解剖学的構造に変換するための座標システムが提供される。例えば、位置合わせプロセスによって、ユーザーが、目的の現実の解剖学的構造に投影された仮想手術計画のステップを見ることを可能にし得る。例えば、3D仮想モデルと目的の現実の解剖学的構造との位置合わせによって変換マトリックスを生成し得、これにより、ユーザーは、目的の現実の解剖学的構造に投影された仮想手術計画のステップを見ることができる(例えば、目的の現実の解剖学的構造を修復するために補綴物インプラントを配置するための入口点の特定)。
引き続き図7を参照すると、位置合わせプロセスを実施した後、外科医は、リーミング軸穿孔プロセスを実施し得る(1906)。リーミング軸穿孔プロセス中、外科医は、リーミングガイドピンを受けるために患者の関節窩内にリーミング軸ガイドピン穴を穿孔加工し得る。肩外科手術の後の段階において、外科医は、リーミング軸ガイドピン穴にリーミング軸ピンを挿入し得る。いくつかの実施例では、MRシステム(例えば、MRシステム212、MRシステム1800Aなど)は、仮想リーミング軸を提示して、外科医がリーミング軸に整列させて穿孔を実行するのを支援することができ、それによって、リーミングガイドピンを正しい位置に正しい向きで配置し得る。
外科医は、種々の手法のうちの1つでリーミング軸穿孔プロセスを実施し得る。例えば、外科医は、ガイドに基づくプロセスを実施して、リーミング軸ピン穴を穿孔し得る。その際、関節窩に物理ガイドを設置し、リーミング軸ピン穴の穿孔を誘導する。他の実施例では、外科医は、ガイドなしのプロセスを実行し得、例えば、適切な整列でリーミング軸ピン穴を穿孔するように外科医を誘導する仮想リーミング軸の提示を実行し得る。MRシステム(例えば、MRシステム212、MRシステム1800Aなど)は、外科医がリーミング軸ピン穴を穿孔するためにこれらのプロセスのいずれかを実施するのを支援することができる。
さらに、図7の外科的プロセスでは、外科医は、リーミング軸ピン挿入プロセス(1908)を実行し得る。リーミング軸ピン挿入プロセスの間、外科医は、患者の肩甲骨に穿孔されたリーミング軸ピン穴にリーミング軸ピンを挿入する。いくつかの実施例では、MRシステム(例えば、MRシステム212、MRシステム1800Aなど)は、外科医がリーミング軸ピン挿入プロセスを実行するのを支援するための仮想ガイダンス情報を提示し得る。
リーミング軸挿入プロセスを実行した後、外科医は関節窩リーミングプロセスを実行し得る(1910)。関節窩リーミングプロセス中、外科医は患者の関節窩をリーミングする。患者の関節窩のリーミングにより、関節窩インプラントの取り付けのための適切な表面が生じ得る。いくつかの実施例では、患者の関節窩をリーミングするために、外科医はリーミングビットを外科用ドリルに取り付けてもよい。リーミングビットは、リーミングビットの回転軸線に沿った軸方向キャビティを画定する。軸方向キャビティは、リーミング軸ピンの外径に対応する内径を有している。リーミングビットを外科用ドリルに取り付けた後、外科医は、リーミング軸ピンがリーミングビットの軸方向キャビティ内に位置するように、リーミングビットを位置合わせし得る。よって、関節窩リーミングプロセス中、リーミングビットはリーミング軸ピンを中心としてスピンし得る。この方法で、リーミング軸ピンは、関節窩リーミングプロセス中にリーミングビットが動き回る(wandering)ことを阻止し得る。いくつかの実施例では、複数のツールを使用して、患者の関節窩をリーミングし得る。MRシステム(例えばMRシステム212、MRシステム1800Aなど)は、外科医または他のユーザーが関節窩リーミングプロセスを実行するのを支援するための仮想ガイダンスを提示し得る。例えば、MRシステムは、外科医のようなユーザーが関節窩リーミングプロセスで使用するリーミングビットを選択することを支援し得る。いくつかの実施例では、MRシステムは、外科医がユーザーの関節窩にリーミングする深さを制御するのを支援する仮想ガイダンスを提示する。いくつかの実施例では、関節窩リーミングプロセスは、パレオリーミングステップ及びネオリーミングステップ(患者の関節窩の様々な部分をリーミングする)を含む。
さらに、図7の外科的プロセスでは、外科医は、関節窩インプラントの取り付けプロセス(1912)を実行し得る。関節窩インプラントの取り付けプロセス中、外科医は、患者の関節窩に関節窩インプラントを取り付ける。いくつかの実例では、外科医が解剖学的な肩関節形成術を行うとき、関節窩インプラントは、ユーザーの生来の関節窩の置換物として作用する凹面を有する。他の実例では、外科医がリバース型肩関節形成術を行っているとき、関節窩インプラントは、ユーザーの自然な上腕骨頭の置換物として作用する凸面を有する。このリバース型肩関節形成術では、外科医は、関節窩インプラントの凸面の上にスライドする凹面を有する上腕骨インプラントを取り付けてもよい。図7の肩部手術の他のステップと同様に、MRシステム(例えば、MRシステム212、MRシステム1800Aなど)は、外科医が関節窩の取り付けプロセスを実施するのを支援するための仮想ガイダンスを提示し得る。
いくつかの実施例では関節窩移植プロセスは、関節窩インプラントを患者の肩甲骨に固定するプロセスを含む(1914)。いくつかの実施例では、患者の肩甲骨に関節窩インプラントを固定するプロセスは、1つ以上のアンカー穴または1つ以上のねじ穴を患者の肩甲骨に穿孔すること、1つ以上のペグまたはインプラントのキールなどのアンカーをこのアンカー穴(複数可)に配置すること、及び/または関節窩インプラント及びねじ穴を通して、場合によってはセメントまたは他の接着剤を使用して、ねじを挿入することを含む。MRシステム(例えばMRシステム212、MRシステム1800Aなど)は、例えば、関節窩に穿孔するか、または他の方法で形成すべきアンカーまたはねじ穴、及びその穴でのアンカーまたはねじの配置を示す仮想ガイダンスを含む、関節窩インプラントを関節窩骨に固定するプロセスにおいて、外科医を支援するための仮想ガイダンスを提示し得る。
さらに、図7の実施例では、外科医は、上腕骨準備プロセスを実行し得る(1916)。上腕骨準備プロセスの間、外科医は、上腕骨インプラントの取り付けのために上腕骨を準備する。外科医が解剖学的肩関節形成術を実施している場合、上腕骨インプラントは、患者の自然な上腕骨頭の置換物として作用する凸面を有してもよい。上腕骨インプラントの凸面は、関節窩インプラントの凹面内でスライドする。外科医がリバース型肩関節形成術を実施している場合には、上腕骨インプラントは、凹面を有してもよく、関節窩インプラントは、対応する凸面を有する。本開示の他の箇所で説明するように、MRシステム(例えばMRシステム212、MRシステム1800Aなど)は、外科医が上腕骨準備プロセスを実行するのを支援するための仮想ガイダンス情報を提示し得る。
さらに、図7の例示的な外科的プロセスでは、外科医は、上腕骨移植片取り付けプロセスを実施し得る(1918)。上腕骨インプラントの取り付けプロセス中、外科医は、患者の上腕骨に上腕骨インプラントを取り付ける。本開示の他の箇所で説明するように、MRシステム(例えばMRシステム212など)は、外科医が上腕骨準備プロセスを実行するのを支援するための仮想ガイダンスを提示し得る。
上腕骨インプラントの取り付けプロセスを実施した後、外科医は、取り付けられた関節窩インプラントと、取り付けられた上腕骨インプラントとを整列させるインプラント整列プロセスを実施し得る(1920)。例えば、外科医が解剖学的肩関節形成術を実施している例では、外科医は、上腕骨インプラントの凸面を関節窩インプラントの凹面にネスティングしてもよい。外科医がリバース型肩関節形成術を実施している場合には、外科医は、関節窩インプラントの凸面を、上腕骨インプラントの凹面にネスティングし得る。次いで、外科医は、創傷閉鎖プロセスを実施し得る(1922)。創傷閉鎖プロセス中、外科医は、患者の肩の創傷を閉鎖するために切開プロセス中に切断された組織を再接続してもよい。
肩関節形成術用途の場合、位置合わせプロセスは、例えば、手術計画システム102によって患者の解剖学的構造の術前画像から生成された、患者の肩甲骨及び関節窩の3D仮想骨モデルをユーザーに提示する仮想化デバイス213によって開始されてもよい。次いで、ユーザーは、3D仮想骨モデルを、ユーザーが手術環境内で観察している患者の現実の肩甲骨及び関節窩と整列させ配向する方式で、3D仮想骨モデルを操作し得る。したがって、いくつかの実施例では、MRシステムは、初期化及び/または位置合わせを支援するためのユーザー入力を受信し得る。しかしながら、上述のように、いくつかの実施例では、MRシステムは、(例えば3D骨モデルを位置合わせするためのユーザー入力を受け取ることなく)初期化及び/または位置合わせプロセスを自動的に実行してもよい。膝、臀部、足、足首または肘などの他の種類の関節形成術では、異なる関連する骨構造を仮想3D画像として表示し、患者の実際の現実の解剖学的構造と同様の方式で位置合わせして配向してもよい。
関与する関節または解剖学的構造の特定のタイプにかかわらず、増強手術モードの選択は、3D仮想骨モデルが、観察された骨構造に位置合わせされる手順を開始する。一般的に、位置合わせ手順を古典的な最適化問題(例えば、最小化または最大化)と見なすことができる。肩関節形成術処置の場合、最適化(例えば、最小化)分析への既知の入力は、観察された患者の骨の3Dジオメトリ(深度カメラ(複数可)532からの深度データを含む、視覚化デバイス213からのセンサーデータから導出された)及び仮想手術計画状態中に導出された3D仮想骨のジオメトリ(BLUEPRINT(商標)システムを使用することなどによって)である。他の入力としては、入口点の位置及び向き、切断平面、リーミング軸及び/または穿孔軸、ならびに骨構造を成形するためのリーミングまたは穿孔深さ、補綴物構成要素の種類、サイズ及び形状、ならびに補綴物構成要素が配置される位置及び向き、または骨折の場合には、骨構造が再構築される方法などの、手術計画(BLUEPRINT(商標)システムを使用するなどして、仮想手術計画段階の間に導出された)の詳細が挙げられる。
MRシステム212(図4)によって提示されたUIのウェルカムページから特定の患者が選択されると、この患者に関連する手術計画パラメーターが、例えば視覚化デバイス213の1つ以上のプロセッサーによって、患者の3D仮想骨モデルに接続される。増強手術モードでは、視覚化デバイス213により、観察された骨に3D仮想骨モデル(接続された事前計画パラメーターを伴う)を位置合わせすることにより、外科医は、患者の手術計画パラメーターの仮想表現を視覚化することが可能になる。
3D仮想骨モデルと現実の骨との位置合わせを達成するために実施される最適化(例えば、最小化)分析は、一般に、初期化段階と最適化(例えば、最小化)段階との2つの段階で実行される。初期化段階の間、ユーザーは、注視方向、手のジェスチャー及び/または音声コマンドを使用して、観察される現実の骨との仮想骨の配置を位置合わせ及び方向付け、または他の手法で調整するなどして、3D仮想骨モデルと患者の現実の骨との近似的な整列を行う。初期化段階については、以下でさらに詳しく説明する。最適化(例えば、最小化)段階中に、以下でも詳細に説明するように、最適化(例えば、最小化)アルゴリズムを実行する。これは、目的の観察された解剖学的構造と3Dモデルの位置合わせをさらに改善するために、光学カメラ(複数可)530及び/または深度カメラ(複数可)532及び/または任意の他の取得センサー(例えば、モーションセンサー533)からの情報を使用する。いくつかの実施例では、最適化(例えば最小化)アルゴリズムは、任意の既知または将来開発される最小化アルゴリズム、例として反復最密点アルゴリズム(Iterative Closest Point algorithm)または遺伝的アルゴリズムを含む、最小化アルゴリズムであってもよい。
このようにして、1つの実施例では、複合現実手術計画方法は、特定の患者の目的の解剖学的構造を修復するための仮想手術計画を作成することを含む。目的の解剖学的構造の3D仮想モデルを含む仮想手術計画は、術前画像データ、及び目的の解剖学的構造を修復するために特定の患者のために選択された補綴物構成要素に基づき作成される。さらにこの実施例では、本方法は、仮想手術計画を実行するためにMR視覚化システムを使用することを含む。この実施例では、MRシステムを使用することは、特定の患者に対する仮想手術計画を要求することを含んでもよい。MRシステムを使用することは、現実環境内に投影された手術計画の仮想画像を表示することも含む。例えば、視覚化デバイス213は、例えば、仮想画像(複数可)が現実環境の一部を形成しているように見えるように、現実環境内に投影される手術計画の詳細の1つ以上の3D仮想画像を提示するように構成されてもよい。手術計画の仮想画像は、目的の解剖学的構造の3D仮想モデル、補綴物構成要素の3Dモデル、及び目的の解剖学的構造を修復するための手術用ワークフローの仮想画像を含んでもよい。MRシステムを使用することは、特定の患者の目的の現実の解剖学的構造と3D仮想モデルとを位置合わせすることを含んでもよい。さらに、この実施例では、MRシステムを使用することは、仮想的に作成された手術計画を実行して、位置合わせに基づき目的の現実の解剖学的構造を修復することを含み得る。
さらにいくつかの実施例では、この方法は、仮想マーカーまたは物理的マーカーを使用することなく、3D仮想モデルを目的の現実の解剖学的構造と位置合わせすることを含む。この方法はまた、目的の現実の解剖学的構造に対する仮想手術計画の実施中に、目的の現実の解剖学的構造の動きを追跡するために、位置合わせを使用することを含んでもよい。追跡用マーカーを使用することなく、目的の現実の解剖学的構造の動きを追跡し得る。ある場合には、3D仮想モデルを目的の現実の解剖学的構造と位置合わせすることは、目的の現実の解剖学的構造との3D仮想モデルを整列させること、及び3D仮想モデルと目的の現実の解剖学的構造との間で整列に基づき変換マトリックスを生成することを含んでもよい。この変換マトリックスによって、仮想的に作成された手術計画を目的の現実の解剖学的構造に変換するための座標システムが提供される。いくつかの実施例では、整列させることは、目的の現実の解剖学的構造の表面上の目的の対応する領域内で3D仮想モデルの表面上に目的の点を仮想的に位置合わせすることと;目的の点に関連づけられた仮想表面形状が、目的の対応する領域に関連づけられた現実の表面形状と整列させられるように、3D仮想モデルの配向を調整することとを含んでもよい。いくつかの実施例では、位置合わせすることはさらに、ユーザーの注視ラインを中心に3D仮想モデルを回転させることを含み得る。目的の領域は、目的の解剖学的構造の解剖学的ランドマークであってもよい。目的の解剖学的構造は、肩関節であってもよい。いくつかの実施例では、解剖学的ランドマークは関節窩の中心領域である。
いくつかの実施例では、位置合わせプロセスが完了した後、増強手術モード中に3D仮想骨モデルと観察骨構造との間の位置合わせを、連続的かつ自動的に検証する追跡プロセスを開始してもよい。外科手術中、3D解剖学的モデルと対応する観察される患者の解剖学的構造との間の位置合わせを妨害し得る、またはそのモデルと観察される解剖学的構造との間の位置合わせを維持するためのMRシステム212の能力を妨げ得る多くの事象(例えば、患者の動き、器具の動き、追跡の喪失など)が発生し得る。したがって、追跡機能を実行することによって、MRシステム212は位置合わせを連続的または定期的に検証し、必要に応じて位置合わせパラメーターを調整し得る。MRシステム212が不適切な位置合わせ(閾値を超える患者の動きなど)を検出した場合、ユーザーは位置合わせプロセスを再開するように要求される場合がある。
上述したように、MRシステム212は、最初に、位置合わせマーカーを使用して、観察された骨構造と3D仮想骨モデルとを位置合わせする。MRシステム212は、位置合わせマーカーの位置を追跡し続け、前記追跡された位置を利用して手術ステップを誘導し得る。例えば、MRシステム212は、表示のために、位置合わせマーカーの位置に対して相対的な位置に仮想軸を出力し得る。したがって、処置中に位置合わせマーカーが回転されるか、そうでなければ移動されると、位置合わせマーカーの位置に基づいてMRシステム212によって誘導される手術ステップが、より低い精度で実行される場合がある。例えば、位置合わせマーカーが押しのけられるまたは揺られて、処置中に、位置合わせマーカーが回転させられる場合、MRシステム212は、仮想軸が位置合わせマーカーに対して正しい相対位置に依然として表示されているにもかかわらず、骨上の正しくない位置に仮想軸を表示する場合がある。したがって、回転しない固定の基準を維持することで、処置の中断を最小限に抑えた安定した整列の提供を容易にすることが望ましい場合がある。
本開示の1つ以上の態様によれば、位置合わせマーカーは、クランプツールを介して骨に取り付けられてもよい。例えば、以下でさらに詳細に論じるように、クランプツールは、骨の表面に載置されこれに耐えるように構成された対向可能な表面を含んでいてもよい。位置合わせマーカーは、クランプツールに取り付けられてもよい。クランプツールを使用して位置合わせマーカーを骨に取り付けることにより、この位置合わせマーカーを骨に対してさらに強固に取り付け得る。したがって、本開示の技術は、位置合わせマーカーの位置に基づいて誘導される手術ステップの精度を向上し得る。
図9及び図10は、本開示の1つ以上の態様による、クランプツールに取り付けられた位置合わせマーカーを含む例示的なシステムを示す。図11及び図12は、本開示の1つ以上の態様による、クランプツールの実施例を示す。図9及び図10に示されているように、システム900は、クランプツール902及び位置合わせマーカー904を備え得る。クランプツール902は、骨に強固に取り付けられるように構成されてもよい。例えば、図9に示すように、クランプツール902は、肩甲骨914の烏口突起906に取り付けてもよい。
クランプツール902は、軸線を中心として枢動するように構成された2つのセクションを含んでもよい。例えば、図9及び図10に示すとおり、クランプツール902は、セクション906A及びセクション906B(集合的には「セクション906」)を備えてもよい。各セクション906は、骨の表面に載置されてこれに耐えるように構成された表面を備える。例えば、セクション906Aは面908Aを備えてもよく、セクション906Bは面908Bを備えてもよい。セクション906が軸線を中心として枢動するとき、面908Aは、面908Bに対して対向可能な表面となると見なされ得る。面908A及び/または908Bの一方または両方(集合的には「面908」)は、(例えば、骨のグリップを改善する)テクスチャであってもよい。例えば、図9及び図10に示したように、面908は、「歯」を含んでもよいが、その他のテクスチャが可能である。
いくつかの実施例では、クランプツール902は、クランプツール902のセクション906を所定の位置にロックするように構成された1つ以上の構成要素912を備えてもよい。構成要素912は、骨に対する表面908の圧力を維持するためにセクション906の移動を抑制する任意の構成要素を備えてもよい。図9及び図10の実施例に示したように、構成要素912はラチェットロック機構を備えてもよい。
位置合わせマーカー904は、複数の表面に複数のマーカーを備えてもよい。マーカーは、位置合わせマーカー900の重心及び/または位置合わせマーカー900の向きを空間内で容易に位置決めし得る。位置合わせマーカー904は、相対的な3次元軸(例えばx軸、y軸及びz軸)を確立するMRシステムを容易にするためのマーカー(例えば、基準マーカー)を1つ以上の側面(例えば、2、3、4、5つの側面など)に有する多面体であってもよい。図9及び図10の実施例では、簡略化のために1つのマーカーのみが示されている。マーカーは、コンピュータービジョンシステムによって読み取り可能であってよく、これは、いくつかの実施例では、位置合わせマーカー904の向き及び位置の決定を容易にするためにデコード可能である(例えば、QRコード、バーコード、画像など)。いくつかの実施例では、1つ以上のマーカーは、位置合わせマーカー904上のそれらの位置に関する態様を示すマークを含んでもよい。一例として、第1のマーカーは、位置合わせマーカー904の前面にあるという指示をエンコードし得る。別の実施例として、第2のマーカーは、位置合わせマーカー904の上面にあるという指示をエンコードし得る。
いくつかの実施例では、システム900は、補助的取り付け機構910を備えてもよい。補助的取り付け機構910は、クランプツール902を安定化するように(例えば位置合わせマーカー904と肩甲骨914との間の相対運動をさらに減じるように)構成されてもよい。
一例として、図9及び図11に示したように、補助的取り付け機構910は、肩甲骨914に直接的に取り付けられたピン918及びクランプツール902を備えてもよい。ピン918は、ピン918の第1の端部が骨に埋め込まれるように、屈曲される場合があり(例えば、90度屈曲)(例えば、別個に穿孔された穴に埋め込まれるか、またはピン918が準備されていない骨に衝突される場合がある)、ピン918の第2の端部がクランプツール902に直接取り付けられてもよい(例えば、セクション906が周りを枢動する軸線と整列されてもよい)。
別の実施例として、図10及び図12に示したように、補助的取り付け機構910は、ピン922を受容するように構成された通路(例えば図12の通路926)を画定する本体920を備えてもよい。ピン922自体は、骨に直接取り付けられてもよい(例えば、別個に穿孔された穴内か、またはピン922が、準備されていない骨に衝突させられてもよい)。ピン922は、クランプツール902を骨に取り付ける前または後に取り付けてもよい。例えば、ピン922を肩甲骨914内に穿孔してもよく、クランプツール902とともに補助的取り付け機構910をピン922の下方にスライドしてもよく、セクション906を調節して骨にクランプしてもよい。
作動中、位置合わせマーカー904は、仮想オブジェクト(例えば、関節窩の仮想画像など)をそれらの対応する物理的オブジェクトに位置合わせするために使用される変換マトリックスの基準を提供し得る。例えば、MRシステム(例えば、MRシステム212)は、関節修復処置の手術ステップのための術中手術ガイダンスを出力するための基準として位置合わせマーカー904を利用し得る。クランプツールを使用して位置合わせマーカーを骨に取り付けることにより、この位置合わせマーカーを骨にさらに強固に取り付け得る。したがって、本開示の技術は、位置合わせマーカーの位置に基づいて誘導される手術ステップの精度を向上し得る。
限られた数の例に関して本技術を開示してきたが、本開示の利益を有する当業者であれば、本技術からの多数の修正及び変形を理解するであろう。例えば、記載された実施例の任意の合理的な組み合わせを実施することができると考えられる。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内のそのような修正及び変形を網羅することが意図される。
実施例に応じて、本明細書に記載される任意の技術の特定の活動または事象は、異なる順序で実行されてもよく、追加する、組み合わせる、または完全に省くことができる(例えば、すべての記載される活動または事象が、この技術の実施のために必須であるというわけではない)ことが認識されるべきである。さらに、特定の実施例において、活動または事象は、例えばマルチスレッド処理、割り込み処理または複数のプロセッサーを通して、連続的にではなく、同時に実行されてもよい。
1つ以上の実施例では、記載される機能は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせで実行され得る。ソフトウェアで実施される場合には、機能は、1つ以上の命令またはコードとしてコンピューター可読媒体上に格納または送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピューター可読媒体としては、データ記憶媒体のような有形の媒体に対応するコンピューター可読記憶媒体、または、例えば通信プロトコルに従った、ある場所から別の場所へのコンピュータープログラムの伝送を容易にする任意の媒体を含む通信媒体が含まれ得る。このように、コンピューター可読媒体は、一般的に、(1)非一時的な、有形のコンピューター可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、1つ以上のコンピューター、もしくは1つ以上のプロセッサーによって、本開示に記載した技術を実施するための命令、コード及び/またはデータ構造を検索するためにアクセスすることができる、任意の利用可能な媒体であってよい。コンピュータープログラム製品としては、コンピューター可読媒体が含まれ得る。
例として、限定するものではないが、そのようなコンピューター可読媒体は、RAM、ROM、EEPROM(登録商標)、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気記憶デバイス、フラッシュメモリ、または指示もしくはデータ構造体の形式で所望のプログラムコードを格納するために使用され得、コンピューターによってアクセスされ得る任意の他の媒体を含み得る。また、いずれの接続も、適切にコンピューター可読媒体と称される。例えば、指示が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または無線技術、例えば、赤外線、無線、及びマイクロ波を使用して、ウェブサイト、サーバー、または他の遠隔ソースから送信されるならば、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または無線技術、例えば、赤外線、無線、及びマイクロ波が、媒体の定義に含まれる。しかしながら、コンピューター可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含むものではなく、その代わりに、非一時的な有形の記憶媒体に関するものであることが理解されるべきである。本明細書において用いられるディスク及び磁気ディスクとしては、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多目的ディスク(DVD)、フロッピー(登録商標)ディスク、及びブルーレイディスクが挙げられ、これらのディスクは、通常は磁気的にデータを再生し、一方、ディスクは、レーザーによって光学的にデータを再生する。上記の組み合わせもまた、コンピューター可読媒体の範囲内に含まれるべきである。
本開示において説明した操作は、1つ以上のプロセッサーによって実施してもよく、これを固定機能処理回路(fixed-function processing circuit)、プログラマブル回路、またはそれらの組み合わせとして、例えば、1つ以上のデジタル信号プロセッサー(DSP)、汎用マイクロプロセッサー、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の等価の集積論理回路または離散論理回路(discrete logic circuitry)として実行してもよい。固定機能回路とは、特定の機能を提供し、実行可能な動作にプリセットされている回路を指す。プログラマブル回路とは、様々なタスクを実行するようにプラグラム可能であり、かつ実行可能な操作にフレキシブルな機能を提供することができる回路を指す。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアによって指定された指示を実行し得、これにより、プログラマブル回路が、ソフトウェアまたはファームウェアの命令によって定義された方法で動作する。固定機能回路は、(例えば、パラメーターまたは出力パラメーターを受信するために)ソフトウェア命令を実行することができるが、固定機能回路が実行する動作の種類は、一般に不変である。したがって、本明細書において使用されているような「プロセッサー」及び「処理回路」という用語は、前述の構造のうちのいずれか、または本明細書において説明した技術の実施に適した他の任意の構造を表し得る。
種々の実施例が記載されている。これら及び他の実施例は、以下の特許請求の範囲の範囲内のものである。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
[1] 骨の表面に載置されてこれに耐えるように構成された対向可能な表面を備えるクランプツールと、
前記クランプツールに取り付けられる、複合現実外科システムの位置合わせマーカーと、を備える、システム。
[2] 前記クランプツールが、軸線を中心として枢動するように構成された2つのセクションを有している、[1]に記載のシステム。
[3] 前記クランプツールを安定化させるように構成された補助的取り付け機構をさらに含む、[1]または[2]に記載のシステム。
[4] 前記補助的取り付け機構が、前記骨及び前記クランプツールに直接取り付けられるように構成されたピンを備える、[3]に記載のシステム。
[5] 前記補助的取り付け機構が、前記骨に直接取り付けられるピンを受け入れるように構成された通路を画定する、[3]に記載のシステム。
[6] 前記クランプツールが、前記クランプツールの前記2つのセクションを所定の位置にロックするように構成された1つ以上の構成要素をさらに含む、[2]~[5]のいずれかに記載のシステム。
[7] 前記2つのセクションをロックするように構成された前記1つ以上の構成要素が、ラチェッティングアセンブリを備える、[6]に記載のシステム。
[8] 前記位置合わせマーカーが、複数の面に複数のマーカーを含む、[1]~[7]のいずれかに記載のシステム。
[9] 前記マーカーのそれぞれは、異なる基準マーカーを含む、[8]に記載のシステム。
[10] 前記位置合わせマーカーが、前記クランプツールから取り外し可能である、[1]~[9]のいずれかに記載のシステム。
[11] 前記骨が、肩甲骨である、[1]~[10]のいずれかに記載のシステム。
[12] 前記対向可能な表面が、前記肩甲骨の烏口突起の表面に載置されてこれに耐えるように構成されている、[11]に記載のシステム。