JP6972163B2 - 奥行き知覚を高める仮想陰影 - Google Patents

Description

本発明は、画像に仮想陰影を生成する方法に関する。

腹腔鏡カメラ及び内視鏡カメラは、手術及び診断のために患者の体内を見るべく使用される。腹腔鏡カメラ及び内視鏡カメラは、三次元（３Ｄ）組織の二次元（２Ｄ）画像を基本的に生成する。手術の間、施術者（例えば外科医）は、ツールを患者体内の目標領域に誘導して、腹腔鏡カメラと内視鏡カメラのどちらか又は両方を用いて生成された２Ｄ画像ストリームに基づいて、例えば、組織を切断し、解剖（切開）し、生検採取する。２Ｄ画像ストリームでは奥行きと３Ｄの感覚が失われる。このことが、施術者にとってツールのナビゲーション及び制御を難しくする要因になっている。

奥行き知覚を改善するための現在のアプローチには、３Ｄ視覚化像を作成することと、運動視差又は影などの欠落した奥行き手掛かりを導入することが含まれる。３Ｄ視覚化像はステレオ腹腔鏡カメラで作成され、３Ｄディスプレイが用いられる。３Ｄディスプレイが施術者に吐き気を催させ、作業できるボリュームを制限することから、３Ｄディスプレイを手術室に統合したり、複数のチームメンバーで作業することは困難である。また、３Ｄディスプレイによっては、施術者が眼鏡を着用する必要があり、長い手術中に不快感を引き起こすことがある。

運動視差及び運動遠近は、仮想ミラーを用いて再導入することができる。しかしながら、仮想ミラーの使用は、患者に対する術前モデルの登録を必要とし、仮想ミラーは、拡張現実と共に使用されるように構成される。陰影は腹腔鏡カメラに照明を追加することで再現することがある。この追加照明は腹腔鏡カメラと相互に並んでいるため、投影される陰影の強度が制限され、陰影の方向が最適ではないことがある。

腹腔鏡下手術中に表示される画像の奥行き知覚を改善するために、腹腔鏡下手術で使用されていて画像に含まれるツールの陰影の表現を人工的に生成し、画像に導入する。プロセッサが、構造化光内視鏡を用いて、画像内に含まれる物体の表面の３Ｄ表現を含む三次元（３Ｄ）モデルを生成する。プロセッサは、ツールの位置を測定し、測定したその位置に基づいてツールの表現を３Ｄモデルに導入する。プロセッサは、仮想光源を３Ｄ環境に導入して３Ｄモデルを拡張（データ拡張）し、３Ｄモデルに投影された陰影を生成する。プロセッサは、拡張した３Ｄモデルから陰影の表現を識別し、腹腔鏡下手術中に表示される画像に陰影の表現を追加する。

第１の態様において、物体表面の画像を拡張（データ拡張）する方法が提供される。この方法は、プロセッサによって、物体表面の画像を同定することを含む。物体表面の画像は、物体表面とツールの少なくとも一部との画像（すなわち処理対象画像）である。プロセッサは、物体表面の三次元（３Ｄ）モデルを同定する。プロセッサは、第１の拡張３Ｄモデルを生成する。第１の拡張３Ｄモデルの生成は、同定した物体表面の３Ｄモデルにツールの表現を重ね合わせることを含む。プロセッサは、生成した第１の拡張３Ｄモデルに仮想光源を導入する。プロセッサは、第２の拡張３Ｄモデルを生成する。第２の拡張３Ｄモデルの生成は、生成した第１の拡張３Ｄモデルに導入した仮想光源に基づいて、この生成した第１の拡張３Ｄモデル内の物体表面に陰影の表現を生成することを含む。プロセッサは、同定した物体表面の画像を拡張する。同定した物体表面の画像の拡張は、同定した物体表面及びツールの画像に、生成した陰影の表現を重ね合わせることを含む。

第２の態様に係る非一時的コンピュータ可読記憶媒体は、物体表面の画像を拡張するために１つ以上のプロセッサによって実行可能な命令を記憶する。その命令は、プロセッサに、物体表面の画像を同定すること実行させる命令を含む。物体表面の画像は、物体表面とツールの少なくとも一部との画像である。ツールは物体の表面に近接している。命令はさらに、プロセッサに、物体表面の３Ｄモデルを同定することを実行させ、プロセッサに、同定した物体表面の３Ｄモデルにツールの表現を重ね合わせることを実行させる命令を含む。命令は、プロセッサに、ツール及び同定した物体表面の３Ｄモデルの重ね合わせた表現に仮想光源を導入することを実行させる命令を含む。命令はさらに、プロセッサに、導入した仮想光源に基づいて、ツール及び同定した物体表面の３Ｄモデルの重ね合わせた表現内の物体表面に陰影の表現を生成することを実行させる命令を含む。命令は、プロセッサに、同定した物体表面及びツールの画像に、生成した陰影の表現を重ね合わせることを実行させる命令を含む。

第３の態様において、物体表面及びツールの少なくとも一部の拡張画像を生成するシステムが提供される。このシステムは、物体表面及びツールの少なくとも一部の画像を保存するように構成されたメモリと、物体表面の３Ｄモデルとを含む。システムは、メモリと通信するプロセッサも含む。プロセッサは、同定した物体表面の３Ｄモデルにツールの表現を重ね合わせるように構成される。プロセッサはさらに、ツール及び同定した物体表面の３Ｄモデルの重ね合わせた表現に仮想光源を導入するように構成される。プロセッサは、導入した仮想光源に基づいて、ツール及び同定した物体表面の３Ｄモデルの重ね合わせた表現内の物体表面に陰影の表現を生成するように構成され、生成した陰影の表現を、保存してある物体表面及びツールの少なくとも一部の画像に重ね合せるように構成される。

仮想画像を用いて物体表面の画像を拡張する方法の一実施形態のフローチャート。 物体の表面及び医療処置で使用中のツールの画像の一例。 第１の拡張三次元（３Ｄ）モデルの例。 第１の拡張３Ｄモデルの別の例。 図４に示す第１の拡張３Ｄモデルの例に導入された仮想光源の例。 第１の拡張３Ｄモデルを第２の拡張３Ｄモデルから減算した後の仮想陰影の表示の例。 生成した仮想陰影の表現を物体表面及びツールの画像に融合した例を示す。 画像誘導システムの一実施形態を示す。 撮像システムの一実施形態を示す。

本実施形態は、腹腔鏡映像に奥行き手掛かりを導入し、それによって、例えば腹腔鏡下手術中に、より強化した視覚化像を作り出すために使用可能である。奥行き手掛かりは、一例として仮想陰影である。仮想陰影を生成するために、プロセッサが、撮像される身体内の組織表面の三次元（３Ｄ）モデルと、同じ座標系における腹腔鏡下手術中に使用されているツールの位置とを同定する。

組織表面の３Ｄモデルは、例えば、構造化光内視鏡を用いて生成される。構造化光内視鏡は、構造化光内視鏡が観察している組織表面の点群（ポイントクラウド）を生成する。プロセッサは、組織表面の３Ｄモデルに関するメッシュを生成する。あるいは、時間情報を用いるステレオ内視鏡や単眼鏡により、組織表面の３Ｄモデルを生成することもできる。

ツールの位置は、追跡システムを使用して推定することができる。追跡システムは、例えば、ツールの近位端に配置した１つ以上のカメラ及びトラッカーマーカーを含む光学トラッカーを含み得る。マーカーの位置とツールの３Ｄモデルから、３Ｄ空間におけるツールの位置を推定することができる。較正プロセスを通して、３Ｄ空間におけるツール先端の位置が推定される。仮想陰影を生成するために、組織表面の３Ｄモデルに対するツールの位置は知っておく必要がある。したがって、構造化光内視鏡は、１つ以上の追跡マーカも含み得る。

各種ツールのモデルを多数、オフラインで作成し、メモリに保存することができる。プロセッサは、保存されたモデルから、使用中のツールに対応するものを同定することができる。あるいは、プロセッサは、腹腔鏡（例えば、構造化光内視鏡）によって生成される１つ以上の画像に基づいてツールの形状及びサイズを測定することができ、プロセッサは、例えば腹腔鏡下手術中にツールのモデルを生成することができる。

ツールのモデルは、３Ｄ空間におけるツールの測定された位置に基づいて、組織表面の３Ｄモデルに導入される。組織表面の３Ｄモデルに仮想光源を導入する。仮想光源は、組織表面の３Ｄモデル内のあらゆる位置に、例えば、対応する腹腔鏡カメラ画像からのアップベクトル内に、又は、光学トラッカーによって画定される重力の上方の位置に、位置決めし得る。

仮想光源からの光は、組織表面の３Ｄモデル内の組織の表現に、仮想陰影の投射を引き起こす。組織表面の３Ｄモデルは、腹腔鏡下手術中に使用される腹腔鏡（例えば、構造化光腹腔鏡）の視点から描写される。組織表面の３Ｄモデルは陰影有りと無しでレンダリングされ、陰影無しの３Ｄモデルが陰影有りの３Ｄモデルから差し引かれる。このモデルの減算によって仮想陰影が生成される。そして仮想陰影が、例えば、構造化光腹腔鏡を用いて生成された画像と合成又は融合されて、仮想陰影拡張画像を生成する。

腹腔鏡によって生成された画像への仮想陰影の導入は、腹腔鏡の画像や映像（ビデオ）を見るときの奥行き知覚を改善するための従来技術と比較して、誤差が少なく、より迅速且つ効率的に外科的処置を実行できる効果をもたらす。また、仮想陰影の導入により、腹腔鏡下手術の技術と技能の習得も容易になる。

図１は、仮想画像を用いて物体表面の画像を拡張する方法１００の一実施形態のフローチャートを示す。方法１００は、図８及び図９に示した撮像システムか、他の撮像システムを使用して実施される。この方法１００は、図示の順序で実施されるが、他の順序を使用することも可能である。追加の過程又は異なる過程の提供、又は過程を減らすことも可能である。類似の方法も、仮想陰影で画像を拡張するために使用され得る。

過程１０２において、プロセッサは、物体表面と、医療処置中に使用されているツールとの画像を同定する。この画像内でツールは、物体表面に近接している。一例として医療処置は腹腔鏡下手術である。腹腔鏡下手術は、腹腔内や骨盤腔内の手術を含む低侵襲手術である。腹腔鏡下手術の間に、腹腔鏡とツールのいずれか又は両方が物体（例えば、患者の身体）に挿入される。ツールは、例えば、トロカール、鉗子、はさみ、プローブ、解剖器、フック、開創器、又は他の医療器具を含む、あらゆる医療器具であり得る。

一実施形態において、物体表面の画像を同定する過程は、物体表面を表す２Ｄ撮像データを第１の内視鏡で生成することを含む。第１の内視鏡は、例えば、構造化光内視鏡、単眼腹腔鏡、ステレオスコープ、又は他の撮像装置を含む、各種の内視鏡である。第１の内視鏡は、例えば、小さな切開部とこの切開部に設置したポートを介して患者に挿入される。第１の内視鏡の一部である光源又は別個の光源を患者に導入して、撮像対象の組織を照らす。一実施形態では、物体表面の複数の画像を、プロセッサと通信するメモリに保存し、プロセッサが、メモリに保存した複数の表面画像の中から物体表面の画像を同定する。

図２は、物体２００の表面及び医療処置で使用中のツール２０２の画像の一例である。物体２００は、例えば、人体内のあらゆる器官である。具体的にあげれば、物体２００は、子宮、脾臓、胆嚢、又は患者腹部内の他の器官である。図２に例示するように、第１の内視鏡によって生成される画像は、基本的に３Ｄ組織の２Ｄ画像である。２Ｄ画像では、奥行きと３Ｄの感覚が失われ、ユーザ（例えば、外科医）にとってナビゲーションが難しい。図２に示すとおり、第１の内視鏡によって生成される画像は、陰影がかすかであるか、陰影をまったく含まない。

過程１０４において、プロセッサは、物体表面の３Ｄモデルを同定する。一実施形態において、物体表面の３Ｄモデルを同定する過程は、物体表面を表すデータを第２の内視鏡で生成することを含む。第２の内視鏡は、例えば、構造化光腹腔鏡を含む、各種の内視鏡である。物体表面を表すデータを生成するために、例えばステレオスコープや単眼腹腔鏡などの、他の種類の内視鏡を使用することもできる。一実施形態において、第２の内視鏡及び第１の内視鏡は同じ内視鏡である。一例として構造化光内視鏡は、６０フレーム／秒で作動するカメラを含む。過程１０２の画像は１フレームおきに生成され、過程１０４の３Ｄモデルのデータはそのフレームに生成される。

一実施形態において、構造化光腹腔鏡は、例えば、物体表面の点群を生成する。点群は、物体の外表面のポイントの３Ｄ座標を表す。構造化光腹腔鏡は、物体の外表面の多数の点を測定し、点群をデータファイルとして出力する。

プロセッサは、構造化光腹腔鏡によって生成された点群に基づいて、物体表面のメッシュを生成する。プロセッサは、生成したメッシュに基づいて、物体表面の３Ｄモデルを生成する。一実施形態において、プロセッサは、過程１０２で同定した物体表面及びツールの画像が撮像された視点から、物体表面の３Ｄモデルを生成する。言い換えると、物体表面の３Ｄモデルは、物体表面の３Ｄモデルと過程１０２で同定した画像とが同じ視点からのものであるように生成される。

過程１０６において、プロセッサは、第１の拡張３Ｄモデルを生成する。第１の拡張３Ｄモデルを生成する過程は、同定した物体表面の３Ｄモデルにツールの表現を重ね合わせることを含む。プロセッサは、ツールの位置及びツールの表現を同定する。

一実施形態において、光学追跡システムが、物体表面の３Ｄモデルに対するツールの３Ｄ位置を同定する。光学追跡システムは、撮像対象の物体から離して配置される１つ以上のカメラを含む。一実施形態において、光学追跡システムは、重複投影を提供する２つ以上のカメラを含む。プロセッサは、例えば、物体表面の３Ｄモデルに対するツールの３Ｄ位置を三角測量するために、２つのカメラによって生成された画像データを使用する。

光学追跡システムは、ツール上に位置決めされた１つ以上（例えば、４つ）のマーカーを含む。一実施形態において、光学追跡システムは、例えば、構造化光内視鏡上に位置決めされた１つ以上（例えば、４つ）のマーカも含む。例えば、４つのマーカーは、カメラによって生成される画像内で可視である光学マーカーである。ツール上に位置決めされる１つ以上マーカーと構造化光内視鏡上に位置決めされる１つ以上のマーカーのいずれか又は両者は、あらゆるサイズ及び形状とできる。例えば、ツール上に位置決めされた１以上のマーカー及び構造化光内視鏡上に位置決めされた１以上のマーカーは、球形であり、２以上のカメラによって生成される画像内で可視であるように十分に大きい。他の実施形態において、ツールの３Ｄ位置は、他の方法で同定される。例えば、追跡システムは、光学追跡システムの代わりに、又は光学追跡システムに加えて、電磁（ＥＭ）トラッカ、機械式トラッカ、形状センサ、又は他の種類のトラッカを用いて、物体表面の３Ｄモデルに対するツールの３Ｄ位置を同定する。

プロセッサは、２つのカメラによって生成され、ツール上のマーカーの表現、構造化光内視鏡上のマーカーの表現、又はカメラの視野内の既知の位置をもつマーカーの表現のいずれか１つ以上を含む画像データに基づいて、ツールの３Ｄ位置（例えば、３Ｄ空間内の３Ｄ座標）と構造化光内視鏡の３Ｄ位置（例えば、３Ｄ空間内の３Ｄ座標）のどちらか又は両方を三角測量する。例えば、ツールの３Ｄ位置及び構造化光内視鏡の３Ｄ位置は、それぞれツール上のマーカーの３Ｄ位置及び構造化光内視鏡上のマーカーの３Ｄ位置とすることができる。プロセッサはまた、ツールのマーカーと構造化光内視鏡のマーカーの相対的な向きに基づいて、ツールの向きと構造化光内視鏡の向きのいずれか又は両方を決定することもできる。一実施形態において、ツールと構造化光内視鏡のいずれか又は両方がマーカーを含まず、プロセッサが、ツールと構造化光内視鏡のどちらか又は両方の表面特徴に基づいて、ツールの３Ｄ位置と構造化光内視鏡の３Ｄ位置のいずれか又は両方を決定する。他の実施形態では、ツールの３Ｄ位置と構造化光内視鏡の３Ｄ位置のいずれか又は両方を決定するために、他の方法及びシステムを使用することができる。例えば、ツールの３Ｄ位置及び構造化光内視鏡の３Ｄ位置は、ツール検出を使用して、画像又は構造化光画像から直接推定することもできる。

プロセッサは、例えば、腹腔鏡下手術で使用中のツールと構造化光内視鏡のいずれか又は両方を同定する。一実施形態において、使用者が、例えば、１つ以上の入力機器（例えば、キーボード及びマウス）を使用して、ツールのタイプと構造化光内視鏡のタイプのどちらか又は両方を同定する。別の実施形態において、プロセッサは、例えば、ツールから受信したデータ（例えば、識別データ）と構造化光内視鏡から受信したデータ（例えば、識別データ）のいずれか又は両方、又はカメラによって生成された画像データに基づいて、腹腔鏡下手術で使用中のツールと構造化光内視鏡のいずれか又は両方を自動的に同定する。

例えば、プロセッサは、カメラによって生成された、ツールの表現と構造光内視鏡の表現のいずれか又は両方を含む画像データを、各種のツール、内視鏡に対応する保存データと照合する。プロセッサは、使用中のツールのタイプと内視鏡のタイプのどちらか又は両方を同定するために、生成された画像データ内のツールの特徴と構造化光内視鏡のいずれか又は両方の特徴を、保存データ内のツールの特徴と内視鏡の特徴のいずれか又は両方と照合する。例えば、特定の内視鏡（例えば、構造化光内視鏡）が、マーカーの数とマーカーのサイズの特有の組み合わせを含む。プロセッサは、カメラによって生成された画像データ内で、内視鏡上のマーカーの数及びマーカーのサイズ（特徴）を同定し、この同定した特徴を、多種の内視鏡（例えば、異なる製造業者、異なるモデル）の記述と比較することにより、特定の構造化光内視鏡が使用されていることを同定することができる。例えば、メモリが、多種類の内視鏡を記述するデータを保存していて、特定の構造化光内視鏡を記述する保存データは、特定の構造化光内視鏡が特定のサイズの４つのマーカを含むことを指定する。

同定したツールのタイプと同定したツールの位置及び向きとに基づいて、プロセッサは、３Ｄ空間におけるツールの近位端の３Ｄ位置を測定する。例えば、既知のタイプのツールであれば、ツールの長さを（例えば、各種ツールに対応する保存データから）同定することができ、プロセッサは、同定したツールの長さと同定したツール上のマーカーの３Ｄ位置とに基づいて、３Ｄ空間内のツールの近位端の３Ｄ位置を決定できる。さらに、同定した内視鏡のタイプと同定した内視鏡の位置及び向きとに基づいて、プロセッサは、３Ｄ空間内の内視鏡（例えば、構造化光内視鏡）の近位端の３Ｄ位置を決定できる。

プロセッサは、同定したツールのタイプに基づいて、ツールの表現（例えば、３Ｄモデル）を同定する。一実施形態において、メモリが各ツールに対する複数の３Ｄモデルを保存しており、プロセッサは、同定したツールのタイプに基づいて、保存してある複数の３Ｄモデルからツールの３Ｄモデルを同定する。例えば、プロセッサは、カメラによって生成された画像データ内で同定した特徴に基づいて、腹腔鏡下手術で使用中のツールが特定のトロカールであることを同定する。プロセッサは、ツールの同定に基づいて、各ツールに対する複数の保存３Ｄモデルから、特定のトロカールに対する３Ｄモデルを選択する。一実施形態において、プロセッサは、測定したツールの３Ｄ位置、測定したツールの向き、同定したツールのタイプ、同定したツールに関係する保存データ（例えば、ツールのサイズ及び形状などのツールの特徴）、同定したツールに関係する他の情報、又はそれらの組み合わせに基づいて、リアルタイムでツールの３Ｄモデルを生成する。

別の実施形態では、プロセッサは、カメラ、内視鏡、又は他の撮像装置によって生成された画像データ（例えば、過程１０２から）に基づいて、ツールの形状及びサイズを測定する。プロセッサは、測定したツールの形状及びサイズに基づいて、ツールの３Ｄモデルを生成する。

プロセッサは、内視鏡（例えば、構造化光内視鏡）に対するツールの位置を測定することもできる。プロセッサは、ツールの３Ｄ位置と、同じ３Ｄ空間内で測定した構造化光内視鏡の３Ｄ位置とに基づいて、構造化光内視鏡に対するツールの位置を測定することができる。例えば、構造化光内視鏡の３Ｄ位置は、ツールの３Ｄ位置から差し引くことができる。構造化光内視鏡に対するツールの測定位置と、過程１０４において３Ｄモデルを生成する視点とに基づいて、プロセッサは、物体表面の３Ｄモデルに対するツールの３Ｄ位置を測定することもできる。

プロセッサは、物体表面の３Ｄモデルに対するツールの測定した３Ｄ位置に基づいて、ツールの３Ｄモデルを物体表面の３Ｄモデルと融合することによって、第１の拡張３Ｄモデルを生成する。一実施形態において、ツールの３Ｄモデル及び物体表面の３Ｄモデルは、レジストレーション済みである。別の実施形態では、ツールの３Ｄモデル及び物体表面の３Ｄモデルは、例えば、３Ｄ／３Ｄレジストレーションを含むあらゆる方法でレジストレーションされる。

図３は、第１の拡張３Ｄモデル３００の例を示す。第１の拡張３Ｄモデル３００は、過程１０４で同定した物体表面の３Ｄモデル３０２と、過程１０６で生成したツールの３Ｄモデル３０４とを含む。図３に示す物体表面の３Ｄモデル３０２は、物体表面のテクスチャ表現を含む。図４に、第１の拡張３Ｄモデル４００の別の例を示す。第１の拡張３Ｄモデル４００は、過程１０４で同定した物体表面の３Ｄモデル４０２と、過程１０６で生成したツールの３Ｄモデル４０４とを含む。図４に示す物体表面の３Ｄモデル４０２は、物体表面の非テクスチャ表現を含む。

過程１０８において、プロセッサは、過程１０６において生成した第１の拡張３Ｄモデルに仮想光源を導入する。仮想光源は、過程１０２で同定した画像からのアップベクトル内で第１の拡張３Ｄモデルに導入され得る。一実施形態において、仮想光源は、光学追跡システムによって定義される重力の上方の位置で、第１の拡張３Ｄモデルに導入される。別の実施形態では、仮想光源は、仮想光源が実際の光源と同一位置に位置するように、第１の拡張３Ｄモデルに導入される。このようにして仮想光源は、例えば、過程１０２で同定した画像においてかすかな又は見えない実際の陰影と同様の構成の陰影を生成する。これより、既存のかすかな陰影を強調できる効果がある。

過程１１０において、プロセッサは、第２の拡張３Ｄモデルを生成する。プロセッサは、生成した第１の拡張３Ｄモデルに導入した仮想光源に基づいて、生成した第１の拡張３Ｄモデルの物体表面に陰影の表現を生成する。第２の拡張３Ｄモデルは、ツールの融合３Ｄモデルと、物体表面の３Ｄモデルと、生成した陰影の表現とを含む。

図５は、図４に示す第１の拡張３Ｄモデル４００の例に導入した仮想光源５００の例を示し、プロセッサは、過程１０８において、第１の拡張３Ｄモデルに導入した仮想光源５００に基づいて、陰影５０２の表現を生成する。プロセッサは、第１の拡張３Ｄモデル４００の物体表面にツールの３Ｄモデル４０４によって投影される陰影５０２を推定する。

過程１１２において、プロセッサは、同定した物体表面の画像を拡張する。プロセッサは、過程１０６で生成した第１の拡張３Ｄモデルを、過程１１０で生成した第２の拡張３Ｄモデルから差し引く。減算後、仮想陰影の表現が残る。図６は、第１の拡張３Ｄモデルを第２の拡張３Ｄモデルから差し引いた後の仮想陰影６００の表現の例を示す。

一実施形態において、仮想陰影６００の表現の暗さ及び透明度は、ツールの作業領域を同定するために、ユーザインタフェース（例えば、ＧＵＩ）を介して制御可能である。ツールが物体の表面に近づくにつれて、ツールによって形成される陰影は暗くなる。陰影が濃くなると、物体表面の情報が遮られることがある。したがって、プロセッサは、陰影の表現を明るくすることもでき、又は、陰影の表現を陰影の境界で視覚化してもよい。

同定した物体表面の画像の拡張は、過程１０２で同定した物体表面及びツールの画像に、生成した陰影の表現を重ね合わせる過程を含む。例えば、生成した陰影の表現を、過程１０２で同定した画像と融合させる。一実施形態において、仮想陰影の表現は、別個にレンダリングされ、合成される。

一実施形態において、過程１０４で同定した物体表面の３Ｄモデル及び過程１０２で同定した画像が同じ視点からのものなので、過程１０２で同定した物体表面及びツールの画像と仮想陰影の表現とは、すでにレジストレーションされている。別の実施形態では、過程１０２で同定した物体表面及びツールの画像と仮想陰影の表現とは、例えば、２Ｄ／２Ｄレジストレーションを含むあらゆる方法でレジストレーションされる。

図７は、物体表面及びツールの画像７０２（例えば、過程１０２で同定した画像）と融合した、生成した仮想陰影７００の表現の一例を示している。物体表面及びツールの画像７０２における仮想陰影７００の導入が拡張現実を提供する。例えば、構造化光腹腔鏡の使用により、物体表面の３Ｄモデルとその陰影の表現は、リアルタイムで生成される。リアルタイムで腹腔鏡の画像と映像のどちらか又は両方に陰影の表現を導入することにより、少ない誤差で迅速且つ効率的に外科処置を実施することが可能になる。また、陰影の表現を導入することにより、腹腔鏡下手術の技術及び技巧の習得が容易になる。

図８は、画像誘導システム８００の一実施形態を示す。画像誘導システム８００は、上述の方法及び後述のシステムにおいて使用することができる。画像誘導システム８００は、１つ以上の撮像デバイス８０２（例えば、１つの内視鏡システム）、１つ以上の画像処理システム８０４（例えば、１つの画像処理システム）、及び１つ以上のツール８０６（例えば、１つのツール）を含む。二次元（２Ｄ）又は三次元（３Ｄ）領域（例えば、ボリューム）を表すデータセットは、撮像デバイス８０２及び画像処理システム８０４（例えば、撮像システム）を使用して取得される。２Ｄデータセット又は３Ｄデータセットは、医療処置のパンニングと実行のどちらか又は両方と同時に、又はより早期に得ることができる。追加の又は異なる構成要素が提供されてもよいし、構成要素がより少なくてもよい。

一実施形態において、撮像システム８０２，８０４は、例えば内視鏡である。撮像システム８０２，８０４は、医療処置中（例えば、腹腔鏡下手術中）に使用される患者モデルを生成するために使用される。例えば、画像処理システム８０４は、患者腹部の腹腔鏡下手術のためのワークステーションである。他の実施形態では、撮像システム８０２，８０４は、例えば、医療ワークステーション、磁気共鳴撮像（ＭＲＩ）システム、コンピュータ断層撮影（ＣＴ）システム、超音波システム、陽電子放出断層撮影（ＰＥＴ）システム、血管造影システム、蛍光透視法、Ｘ線システム、現在知られている又は今後開発される他のあらゆる撮像システム、又はそれらの組み合わせを含む。ワークステーション８０４は、撮像デバイス８０２によって生成される（例えば、患者腹部の少なくとも一部を含む）患者を表すデータ又は患者の画像を受信する。

ツール８０６は、撮像システム８０２，８０４によって画像誘導される。ツール８０６は、例えば、トロカール、鉗子、はさみ、プローブ、解剖器、フック、開創器、又は他の医療器具を含む、あらゆるツールであり得る。ツール８０６は、例えば、画像化、創傷の閉鎖、生検の採取、切断、流体の排出、又は組織の把持に使用することができる。ツール８０６は、診断又は治療を容易にするために画像誘導される。ツール８０６の位置と、移動又は他の操作は、画像処理システム８０４又は他のコントローラによって制御される。画像誘導システム８００は、より多くの構成要素を含むか、構成要素がより少なくてもよい。

図９は、撮像システム９００の一実施形態を示す。撮像システム９００は、内視鏡システム８０２及び画像処理システム８０４を含む。内視鏡システム８０２は、１つ以上のポート９０２（例えば、２つのポート）、内視鏡９０４、光学追跡システム９０６、及び患者ベッド９０８を含む。画像処理システム８０４は、受信器９１０、プロセッサ９１２、メモリ９１４、及びディスプレイ９１６を含む。追加の又は異なる構成要素が提供されるか、構成要素がより少なくてもよい。例えば、撮像のために追加の内視鏡が含まれ得る。さらに、ユーザ制御のためにユーザ入力機器９１８（例えば、キーボードやマウス）が含まれていてもよい。

一実施形態において、プロセッサ９１２及びメモリ９１４は、内視鏡システム８０２の一部である。代替として、プロセッサ９１２及びメモリ９１４は、医療記録データベースワークステーション又はサーバに付属するような、アーカイブ・画像処理システムの一部である。別の実施形態では、プロセッサ９１２及びメモリ９１４は、デスクトップ又はラップトップなどのパーソナルコンピュータ、ワークステーション、サーバ、ネットワーク、又はそれらの組み合わせである。プロセッサ９１２及びメモリ９１４は、本方法を実施するために他の構成要素なしで提供することができる。

患者ベッド９０８（例えば、患者ガントリ又はテーブル）は、例えば患者である検査対象９２０を支持する。患者を診察したり手術するために、内視鏡９０４がポート９０２の１つに挿入され、この内視鏡９０４が、視野内の患者の部位について画像データを生成する。内視鏡９０４は、例えば、チューブ（例えば、剛性又は可撓性のチューブ）、患者の部位を照らすための光分配システム、レンズシステム、接眼レンズ、カメラ、又はそれらの組み合わせを含む、あらゆる部品を含む。一実施形態において、内視鏡９０４は、光ファイバーを通して患者の部位を照らし、カメラを用いて画像データを生成する構造化光内視鏡である。内視鏡９０４は、画像データを生成して受信器９１０に送る。

ツール８０６は、ポート９０２の別の１つに挿入される。一実施形態において、中空カニューレ９２２がこのポート９０２に挿入され、ツール８０６がその中空カニューレ９２２に挿入される。ツール８０６は、内視鏡９０４又は別の内視鏡によって生成される画像に基づいて、患者内で誘導される。

内視鏡９０４は、受信器９１０と接続される。この接続は、有線（例えば、同軸ケーブルを使用）又は無線である。この接続は、内視鏡９０４から画像データを受信器９１０に送信して受信器９１０で受信するためのものである。受信器９１０は、内視鏡９０４によって生成される画像データに基づいて画像を生成するプロセッサ９１２又は別のプロセッサ（例えば、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、又は逆フーリエ変換を適用するための特定用途回路）を含む。受信器９１０は、ハードウェア又はソフトウェアによって構成される。

プロセッサ９１２は、汎用プロセッサ、中央処理装置、制御プロセッサ、グラフィックスプロセッサ、デジタル信号プロセッサ、三次元レンダリングプロセッサ、画像プロセッサ、特定用途集積回路、フィールドプログラマブルゲートアレイ、デジタル回路、アナログ回路、これらの組み合わせ、又は画像処理のための他の現在知られているもしくは今後開発されるデバイスである。プロセッサ９１２は、単一のデバイスか、シリアル、パラレル、又は別々に動作する複数のデバイスである。プロセッサ９１２は、ラップトップコンピュータ又はデスクトップコンピュータなどのコンピュータのメインプロセッサであってもよく、又は受信器９１０又は撮像システム８０４の一部など、より大きなシステム内でいくつかのタスクを処理するためのプロセッサであってもよい。プロセッサ９１２は、表面画像を拡張するなどの、本明細書で説明される過程を実行するための命令、設計、ハードウェア、ソフトウェア、又はこれらの組み合わせによって構成される。

メモリ９１４は、コンピュータ可読記憶媒体である。コンピュータ可読記憶媒体は、ランダムアクセスメモリ、リードオンリメモリ、プログラマブルリードオンリメモリ、電気的にプログラム可能なリードオンリメモリ、電気的に消去可能なリードオンリメモリ、フラッシュメモリ、磁気テープ又は磁気ディスク、光媒体などを含むが、これらに限定されない、様々な種類の揮発性及び不揮発性記憶媒体を含む。メモリ９１４は、単一のデバイスか、又はデバイスの組み合わせであってもよい。メモリ９１４は、プロセッサ９１２に隣接するかその一部とする、プロセッサ９１２とネットワーク化する、プロセッサ９１２から離れている、又はこれらの組み合わせとすることが可能である。

ディスプレイ９１６は、モニタ、ＣＲＴ、ＬＣＤ、プラズマスクリーン、フラットパネル、プロジェクタ、又は現在公知の又は今後開発される他のディスプレイデバイスである。ディスプレイ９１６は、二次元ビュー又はレンダリングされた三次元表現に関する画像を発生するように作動可能である。例えば、レンダリングを通して三次元ボリュームを表す二次元画像が表示される。

光学追跡システム９０６は、１つ以上の（例えば、２つの）カメラ９２４、第１のマーカー９２６（例えば、光学マーカー）、第２のマーカー９２８（例えば、光学マーカー）の１つ以上を含む。例えば、２つのカメラ９２４は、第１のマーカー９２６及び第２のマーカー９２８が２つのカメラ９２４の視野内にあるように配置される。カメラ９２４は、第１のマーカー９２６及び第２のマーカー９２８が２つのカメラ９２４の視野内にあるように、固定されるか、位置決め可能である。

第１のマーカー９２６は内視鏡９０４上に配置され、第２のマーカー９２８はツール８０６上に配置される。第１のマーカー９２６及び第２のマーカー９２８は、あらゆるサイズ、形状であり得る。例えば、第１のマーカー９２６及び第２のマーカー９２８は、形状が球状であり、第１のマーカー９２６及び第２のマーカー９２８がカメラ９２４によって生成される画像内で可視であるようなサイズである。他の形状やサイズで提供されてもよい。図９に示す実施形態においいて、第１のマーカー９２６は、４つの第１のマーカー９２６を含み、第２のマーカー９２８は、４つの第２のマーカー９２８を含む。より多くの又はより少ない第１のマーカー９２６、第２のマーカー９２８を提供することができる。第１のマーカー９２６及び第２のマーカー９２８は、互いに対してあらゆるパターン（例えば、Ｘ字形パターン）で位置決めされ、さらに、内視鏡９０４及びツール８０６に沿ったあらゆる位置に位置決めすることも可能である。

一実施形態において、メモリ９１４は、例えば患者９２０の表面（例えば、内面）とツール８０６の少なくとも一部との画像を保存するように構成される。メモリ９１４はまた、患者９２０の表面の３Ｄモデルを保存するように構成される。プロセッサ９１２は、ツール８０６の表現を、患者９２０の表面の同定した３Ｄモデルに重ね合わせるように構成される。プロセッサ９１２はまた、例えば、ツール８０６と、患者９２０の表面の同定した３Ｄモデルとの重ね合わせ表現に仮想光源を導入するように構成される。プロセッサ９１２は、導入した仮想光源に基づいて、ツール８０６と、患者９２０の同定した３Ｄモデルとの重ね合わせた表現において、患者９２０の表面に陰影の表現を生成するように構成される。プロセッサ９１２は、患者９２０の表面とツール８０６の少なくとも一部との保存画像に、生成した陰影の表現を重ね合わせるように構成される。

一実施形態において、１つ以上の内視鏡（例えば、内視鏡９０４）は、物体表面を表す第１のデータを生成し、物体表面を表す第２のデータを生成するように構成される。プロセッサ９１２はさらに、生成された第１のデータに基づいて患者９２０の表面の３Ｄモデルを生成し、生成された第２のデータに基づいて患者９２０の表面とツール８０６の少なくとも一部との画像を生成するように構成される。

一実施形態において、光学追跡システム９０６は、患者９２０の表面の３Ｄモデルに対するツール８０６の３Ｄ位置を決定するように構成される。１つ以上のカメラ９２４は、患者９２０から離して配置される。１つ以上のカメラ９２４は、内視鏡９０４上に位置決めされた第１のマーカー９２６及びツール８０６上に位置決めされた第２のマーカー９２８に関する画像データを生成するように構成される。プロセッサ９１２は、使用中のツール８０６（例えば、ツールのタイプ）に基づいて、メモリ９１４に保存されている複数のツールの所定のモデルから、ツール８０６の３Ｄモデルを同定するようにさらに構成される。代替として、プロセッサ９１２は、メモリ９１４に保存された患者９２０の表面とツール８０６の少なくとも一部との画像に基づいて、ツール８０６の形状及びサイズを測定するように構成される。プロセッサ９１２は、さらに、ツール８０６の測定した形状及びサイズに基づいて、ツール８０６の３Ｄモデルを生成するように構成される。

プロセッサ９１２は、患者９２０の表面の３Ｄモデルに対するツール８０６の３Ｄ位置を同定するように構成される。患者９２０の表面の３Ｄモデルに対するツール８０６の３Ｄ位置の同定は、内視鏡９０４上に位置決めされた第１のマーカー９２６及びツール８０６上に位置決めされた第２のマーカー９２８に関する画像データと、同定したツール８０６のモデルとに基づいて、患者９２０の表面の３Ｄモデルに対するツール８０６の３Ｄ位置を推定することを含む。プロセッサ９１２は、物体表面の３Ｄモデルに対するツールの同定した３Ｄ位置に基づいて、同定した患者９２０の表面の３Ｄモデルにツール８０６の表現を重ね合わせるようにさらに構成される。

様々な実施形態を参照して本発明を述べてきたが、当然ながら、多くの変更及び修正が、上記実施形態に対して可能である。すなわち、以上の説明は、限定ではなく例示とみなされるべきであり、実施形態の均等の態様や組み合せはすべて、上記説明に含まれるとみなされる。

Claims (20)

1. 物体の表面の画像にデータ拡張を行う方法であって、
   プロセッサによって、物体表面とツールの少なくとも一部との画像である処理対象画像を同定し、
   プロセッサによって前記物体表面の３Ｄ（三次元）モデルを同定し、
   プロセッサによって第１の拡張３Ｄモデルを生成し、この第１の拡張３Ｄモデルの生成において、同定した前記物体表面の３Ｄモデルに前記ツールの表現を重ね合わせることを含み、
   プロセッサによって、生成した前記第１の拡張３Ｄモデルに仮想光源を導入し、
   プロセッサによって第２の拡張３Ｄモデルを生成し、この第２の拡張３Ｄモデルの生成において、生成した前記第１の拡張３Ｄモデルに導入した前記仮想光源に基づいて、生成した前記第１の拡張３Ｄモデルの前記物体表面に陰影の表現を生成することを含み、
   プロセッサによって、同定した前記処理対象画像のデータ拡張を実行し、この前記処理対象画像のデータ拡張において、同定した前記処理対象画像に、生成した前記陰影の表現を重ね合わせることを含む、方法。
2. 前記処理対象画像を同定するときに、
   腹腔鏡によって、前記物体表面を撮像してその画像データを生成し、
   プロセッサによって、生成した前記画像データに基づいて、前記処理対象画像を生成することを含む、請求項１に記載の方法。
3. 前記物体表面の３Ｄモデルを同定するときに、
   内視鏡によって、前記物体表面を表すデータを生成し、
   プロセッサによって、生成した前記データに基づいて、前記物体表面の３Ｄモデルを生成することを含む、請求項１又は２に記載の方法。
4. 前記物体表面の３Ｄモデルを生成するときに、
   同定した前記処理対象画像の視点と同じ視点から生成した前記データに基づいて、前記物体表面の３Ｄモデルを生成することを含む、請求項３に記載の方法。
5. 前記内視鏡が構造化光内視鏡であり、
   前記物体表面を表すデータを生成するときに、前記構造化光内視鏡によって、前記物体表面の点群を生成し、プロセッサによって、生成した前記点群に基づいて、前記物体表面のメッシュを生成することを含み、
   生成した前記データに基づいて前記物体表面の３Ｄモデルを生成するときに、生成した前記物体表面のメッシュに基づいて、前記物体表面の３Ｄモデルを生成することを含む、請求項３に記載の方法。
6. 前記ツールの位置を同定することをさらに含む、請求項５に記載の方法。
7. 前記ツールの位置を同定するときに、
   光学追跡システムによって、前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を同定することを含む、請求項６に記載の方法。
8. 前記光学追跡システムは、
   前記ツール上に配置された１つ以上のマーカーと、
   前記構造化光内視鏡上に配置された１つ以上のマーカーと、
   前記物体から離して配置され、前記ツール上の１つ以上のマーカー及び前記構造化光内視鏡上の１つ以上のマーカーに関する画像データを生成するように構成された１つ以上のカメラとを備え、
   当該方法が、プロセッサによって、前記ツールの３Ｄモデルを同定することをさらに含み、
   前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を同定するときに、前記ツール上の１つ以上のマーカー及び前記構造化光内視鏡上の１つ以上のマーカーに関する前記画像データと、同定した前記ツールの３Ｄモデルとに基づいて、前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を推定することを含む、請求項７に記載の方法。
9. 前記ツールの３Ｄモデルを同定するときに、
   プロセッサによって、使用中の前記ツールに従って、該プロセッサと通信するメモリに保存されている複数のツールのモデルから前記ツールの３Ｄモデルを同定するか、又は、
   プロセッサによって、同定した前記処理対象画像に基づいて前記ツールの形状及びサイズを測定し、プロセッサによって、測定した前記ツールの形状及びサイズに基づいて前記ツールの３Ｄモデルを生成することを含む、請求項８に記載の方法。
10. 生成した前記第１の拡張３Ｄモデルに前記仮想光源を導入するときに、
    同定した前記処理対象画像からのアップベクトルにおいて、又は、前記ツールの位置を同定するように構成された光学追跡システムによって確定される重力の上方の位置で、生成した前記第１の拡張３Ｄモデルに前記仮想光源を導入することを含む、請求項１〜９のいずれか１項に記載の方法。
11. プロセッサによって、生成した前記第１の拡張３Ｄモデルを、生成した前記第２の拡張３Ｄモデルから、前記陰影の表現が残るように差し引くことをさらに含む、請求項１〜１０のいずれか１項に記載の方法。
12. 同定した前記処理対象画像のデータ拡張を実行するときに、
    同定した前記処理対象画像と前記陰影の表現とを合成するか又は融合することを含む、請求項１１に記載の方法。
13. 物体の表面の画像にデータ拡張を行うために１つ以上のプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読記憶媒体であって、
    前記命令が、
    前記プロセッサによって、物体表面と該物体表面に近接するツールの少なくとも一部との画像である処理対象画像を同定し、
    前記プロセッサによって前記物体表面の３Ｄ（三次元）モデルを同定し、
    前記プロセッサによって、同定した前記物体表面の３Ｄモデルに前記ツールの表現を重ね合わせ、
    前記プロセッサによって、同定した前記物体表面の３Ｄモデル及び前記ツールの重ね合わせた表現に仮想光源を導入し、
    前記プロセッサによって、導入した前記仮想光源に基づいて、同定した前記物体表面の３Ｄモデル及び前記ツールの重ね合わせた表現において前記物体表面に陰影の表現を生成し、
    前記プロセッサによって、同定した前記処理対象画像に、生成した前記陰影の表現を重ね合わせることを含む、非一時的コンピュータ可読記憶媒体。
14. 前記物体表面が人体の内部表面である、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
15. 前記命令は、前記ツールの位置を同定することをさらに含み、
    この前記ツールの位置を同定するときに、光学追跡システムによって、前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を同定することを含む、請求項１３又は１４に記載の非一時的コンピュータ可読記憶媒体。
16. 前記光学追跡システムは、
    前記ツール上に配置された１つ以上のマーカーと、
    構造化光内視鏡上に配置された１つ以上のマーカーと、
    前記物体から離して配置され、前記ツール上の１つ以上のマーカー及び前記構造化光内視鏡上の１つ以上のマーカーに関する画像データを生成するように構成された１つ以上のカメラとを備え、
    前記命令が、前記プロセッサによって、前記ツールの３Ｄモデルを同定することをさらに含み、
    前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を同定するときに、前記ツール上の１つ以上のマーカー及び前記構造化光内視鏡上の１つ以上のマーカーに関する前記画像データと、同定した前記ツールの３Ｄモデルとに基づいて、前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を推定することを含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
17. 前記ツールの３Ｄモデルを同定するときに、
    前記プロセッサによって、使用中の前記ツールに従って、前記プロセッサと通信するメモリに保存されている複数のツールのモデルから前記ツールの３Ｄモデルを同定するか、又は、
    前記プロセッサによって、同定した前記処理対象画像に基づいて前記ツールの形状及びサイズを測定し、前記プロセッサによって、測定した前記ツールの形状及びサイズに基づいて、前記ツールの３Ｄモデルを生成することを含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
18. 物体の表面及びツールの少なくとも一部の画像を生成するシステムであって、
    物体表面及びツールの少なくとも一部の画像である処理対象画像と前記物体表面の３Ｄ（三次元）モデルとを保存するように構成されたメモリと、
    該メモリと通信するプロセッサであり、
    同定した前記物体表面の３Ｄモデルに前記ツールの表現を重ね合わせ、
    同定した前記物体表面の３Ｄモデル及び前記ツールの重ね合わせた表現に仮想光源を導入し、
    導入した前記仮想光源に基づいて、同定した前記物体表面の３Ｄモデル及び前記ツールの重ね合わせた表現において前記物体表面に陰影の表現を生成し、
    保存した前記処理対象画像に、生成した前記陰影の表現を重ね合わせるように構成されたプロセッサとを備えた、システム。
19. 前記物体表面を表す第１のデータを生成し、前記物体表面を表す第２のデータを生成するように構成された１つ以上の内視鏡をさらに備え、
    前記プロセッサは、さらに、
    生成された前記第１のデータに基づいて、前記物体表面の３Ｄモデルを生成し、
    生成された前記第２のデータに基づいて、前記処理対象画像を生成するように構成される、請求項１８に記載のシステム。
20. 前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を測定するように構成された光学追跡システムをさらに備え、該光学追跡システムは、
    前記ツール上に配置された１つ以上のマーカーと、
    前記内視鏡上に配置された１つ以上のマーカーと、
    前記物体から離して配置され、前記ツール上の１つ以上のマーカー及び前記内視鏡上の１つ以上のマーカーに関する画像データを生成するように構成された１つ以上のカメラとを備え、
    前記プロセッサは、さらに、
    前記ツールの３Ｄモデルを同定し、この前記ツールの３Ｄモデルを同定するときに、
    使用中の前記ツールに従って、前記メモリに保存されている複数のツールのモデルから前記ツールの３Ｄモデルを同定するか、又は、
    保存した前記処理対象画像に基づいて前記ツールの形状及びサイズを測定し、測定した前記ツールの形状及びサイズに基づいて前記ツールの３Ｄモデルを生成することを含み、
    前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を同定し、この前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を同定するときに、
    前記ツール上の１つ以上のマーカー及び前記内視鏡上の１つ以上のマーカーに関する前記画像データと、同定した前記ツールの３Ｄモデルとに基づいて、前記物体表面の３Ｄモデルに対する前記ツールの３Ｄ位置を推定することを含むように構成され、
    前記プロセッサは、
    前記物体表面の３Ｄモデルに対する前記ツールの同定した３Ｄ位置に基づいて、同定した前記物体表面の３Ｄモデルに前記ツールの表現を重ね合わせるように構成される、請求項１９に記載のシステム。

Images