JP2007136133A - 拡張現実感呈示システム - Google Patents

Abstract

【課題】 対象領域の撮像により得られた像に、対象領域の付加的な分布情報を併せて呈示することを目的とする。
【解決手段】 対象領域の撮像に使用する撮像部と、対象領域の付加情報を取得するセンサ部のそれぞれの位置（３次元、２次元いずれも可）を検出（座標およびオリエンテーション）し、同位置情報を利用することによって、前記撮像部により得られた対象領域の像と、前記センサ部によりえられた対象領域の付加情報を、同じ視点から、或いは一定の関係を有する異なった視点からの像として、併せて呈示する。
【選択図】図２

Description

この発明は拡張現実感呈示システムに関する。

技術背景

近年、医療分野、エンターテインメント分野、情報通信分野等において、拡張現実感（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が利用されている。拡張現実感技術とは、完全に仮想の空間を作り出してユーザーを没入させることを目的とする仮想現実感とは異なって、仮想空間を現実に投影あるいは対応させることによって、現実に対する知覚を情報的に拡張することを目的とする。

この拡張現実感技術によれば、現実の風景の上にコンピューター側の映像を重ね合わせて表示し、実際には見えないものや補足的な情報などを、状況に対応させてユーザーに提示することができる。

こうした拡張現実感技術は、地雷探査や、魚群探知や、温度・流速計測などの他、特に、血管内手術や腹腔鏡下手術などの低侵襲医療において、手術ナビゲーションを構築する目的において有用である。

現在までに、Ｘ線ＣＴやＭＲＩや超音波撮影等の透視撮影手段により術前に予め撮影された患者個人の身体内情報をもとに、手術の対象となる骨や、臓器や、血管等の３次元像をコンピュータ内にて生成し、このように生成された情報を、透過型ディスプレイ等を使用して患者の身体上に投影する方法が提案されており、これによれば、術者に、体表の向こう側にある身体内構造を認識させることが可能である。

具体例としては、腹腔鏡下手術を対象とした腹部臓器（或いは腹部臓器内部の病変領域）の投影や、椎骨のスクリュー固定術を対象とした椎骨形状の投影、バイオプシーを対象とした目的領域の投影などが挙げられる。また情報投影には透過型ディスプレイの他に、ヘッドマウント型ディスプレイも利用でき、この場合にはヘッドマウント型ディスプレイを装着した術者の頭の動きを位置センサにより取得して、情報投影が施された術野の映像を頭の動きに追尾させることなども可能である。無論、通常のディスプレイを使用することも可能である。

しかしながら、これらの方法では、あくまでＣＴやＭＲＩや超音波撮影等の透視撮影により術前に用意された情報が使用されるために、例えば術中に、手術の進行に伴って情報投影領域の形態が変動した場合などには、投影像と実際の状態が異なってしまい、それ以降の手術ナビゲーションが成立しなくなってしまう問題がある。

この問題を回避するために、術中に再度透視撮影を実行し、情報を更新し直すことも可能であるが、この場合には、撮影像と患者身体との相対位置関係を再度設定し直すことが通常容易でなく、その都度時間と労力を要し、手術の進行を妨げる恐れがある。

このため、術野の像（対象領域の像）と、身体の透視像（対象領域の空間情報）を併せて呈示することにより得られる拡張現実感像を速やかに生成し、作業を容易化、効率化することが望まれる。

発明の目的

本発明は、上記課題に鑑見てなされたものであり、その目的は、このため、対象領域の像と、対象領域の空間情報を併せて呈示することにより得られる拡張現実感像を速やかに生成し、作業を容易化、効率化することにある。

課題を解決するための手段

上記の目的を達成するため、請求項１の発明では、対象領域について得ることのできる付加的な分布情報（内部透視像、速度分布、加速度分布、光学的分布、化学的分布、温度分布、濃度分布など）を、当該対象領域の像と併せて呈示する拡張現実感呈示システムであって、対象領域の撮像する撮像部と、対象領域の付加的な情報を取得するセンサ部と、当該撮像部および当該センサ部の位置を検出する位置検出部と、当該対象領域の像を呈示するための表示部と、を備え、位置検出部により得られた当該撮像部と当該センサ部の位置情報を利用することで、前記撮像部により得られた対象領域の像と、前記センサ部により得られた対象領域の付加的な情報を、同じ視点、あるいは一定の関係を有する異なった視点からの像として前記表示部に呈示すること、を特徴とする。

また、請求項２の発明では、請求項１記載の拡張現実感呈示システムにおいて、前記表示部は、前記撮像部により得られた対象領域の像と、前記センサ部により得られた対象領域の付加的な分布情報を、同じ視点からの像として、オーバーレイ呈示することを特徴とすること、を特徴とする。

また、請求項３の発明では、請求項１記載の拡張現実感呈示システムにおいて、前記表示部は、前記撮像部により得られた対象領域の像と、前記センサ部により得られた対象領域の付加的な分布情報を、同じ視点、あるいは一定の関係を有する異なった視点からの像としてリアルタイム呈示することを特徴とすること、を特徴とする。

また、請求項４の発明では、請求項１から請求項３のいずれかに記載の拡張現実感呈示システムにおいて、前記センサ部は、透視撮影用センサ（例えば、超音波センサやＸ線センサ）であることを特徴とする。

また、請求項５の発明では、請求項４記載の拡張現実感呈示システムにおいて、前記撮像部は腹腔鏡であることを特徴とする。

請求項６から請求項８の発明は、このような拡張現実感呈示システムを実現するためのソフトウェアの利点を有している。

また、請求項６の発明では、対象領域について得ることのできる付加的な分布情報（内部透視像、速度分布、加速度分布、光学的分布、化学的分布、温度分布、濃度分布など）を、当該対象領域の像と併せて呈示する拡張現実感呈示のためのソフトウェアであって、対象領域について撮像された像と、対象領域について得られた任意の付加的な情報と、当該像および当該情報の位置情報（座標情報、およびオリエンテーション情報）から、前記対象領域の付加的な情報を、前記像に、同じ視点、あるいは一定の関係を有する異なった視点からの像として併せて呈示する拡張現実感呈示像を生成すること、を特徴とする。

また、請求項７の発明では、請求項６記載の拡張現実感呈示のためのソフトウェアであって、前記拡張現実感呈示像は、前記対象領域の付加的な情報を、前記像に、同じ視点からの像として、オーバーレイ呈示することを特徴とすること、を特徴とする。

また、請求項８の発明では、請求項６記載の拡張現実感呈示のためのソフトウェアであって、前記拡張現実感呈示像は、前記対象領域の付加的な情報を、前記像に、同じ視点、あるいは一定の関係を有する異なった視点からの像としてリアルタイム呈示すること、を特徴とする。

発明の効果

このように構成された請求項１記載の拡張現実感システムによれば、対象領域の撮像を行う撮像部と、対象領域の付加情報を取得するセンサ部の双方の位置を、位置検出のための位置検出部により特定できるので、これらの情報をコンピュータに取り込み処理することで、前記撮像部により得られた対象領域の像と、前記センサ部により得られた対象領域の付加情報を、同じ視点からの情報として、あるいは一定の関係を持たせた異なった視点からの情報として呈示することが可能である。

また、請求項２記載の拡張現実感システムによれば、前記対象領域の像と、前記対象領域の付加情報が、同じ視点からの情報として、オーバーレイ表示されるので、両者の位置関係をより容易に認識することが可能である。

また、請求項３記載の拡張現実感システムによれば、前記対象領域の像と、前記対象領域の付加情報が、リアルタイムにて更新されて呈示されるので、常に最新の情報を得ることが可能である。

また、請求項４記載の拡張現実感システムによれば、前記センサ部に透視撮影用センサを用いることで、前記対象領域の像と、前記対象領域内部の像を併せて呈示することができ、対象領域の外観とその内部状態を併せて知ることが可能である。

また、請求項５記載の拡張現実感システムによれば、前記撮像部に腹腔鏡を用いることで、腹腔鏡下手術を対象とした手術ナビゲーションシステムを構築することが可能である。

また、請求項６記載の拡張現実感システムのためのソフトウェアによれば、対象領域について撮影された像と、対象領域について得られた付加情報と、これらの像および付加情報の位置情報（座標情報、およびオリエンテーション情報）から、前記対象領域の像に、前記付加情報を、同じ視点からの情報、あるいは一定の関係を持たせた異なった視点からの情報として併せて呈示した拡張現実感呈示像を生成することが可能である。

また、請求項７記載の拡張現実感システムのためのソフトウェアによれば、前記対象領域の像と、前記対象領域の付加情報を、同じ視点からの情報として、オーバーレイ呈示できる、両者の位置関係をより容易に認識することが可能である。

また、請求項８記載の拡張現実感システムのためのソフトウェアによれば、前記対象領域の像と、前記対象領域の付加情報を、リアルタイムにて更新できるので、常に最新の情報を呈示することが可能である。

（構成要素）
以下、この発明を構成する各要素について詳細に説明する。
本発明は、対象領域の像を撮像する撮像部と、対象領域の付加的情報を取得するセンサ部と、当該撮影部および当該センサ部のそれぞれの位置を特定するための位置検出部と、最終的に生成された拡張現実感像を呈示するための提示部によって構成される。ここで、該撮影部と該センサ部は、それぞれ独立した構造体をなすことを前提とするが、可能な場合には両者を一体化した構造体とすることも可能である

ここで対象領域とは、空間的な広がりを持つ一定の領域を指し示し、そこに含まれる固体、液体、気体をこの対象領域の構成要素と見なす。対象領域としては、例えば、手術の対象となる人体の特定領域や、地雷探査の対象となる地表の特定領域や、温度計測や流速計測の対象となる液体や気体の流れの中の特定領域や、天体観測の対象となる空中の特定領域などが挙げられ、およそこの自然界に存在するすべての領域を、ここで用いる対象領域の候補とすることができる。

前記撮像部は、このような対象領域の像を撮像する１構成要素であって、以下に詳述する撮像機能を備えた構造体を意味する。ここで撮像とは、対象領域の空間的（１次元、２次元、３次元いずれも含む）な状態を得ることであって、例えば、対象領域より発せられる可視波長の光を捉えて、人間の眼により観察されるのと同様な像を得ても良いし、対象領域より発せられる不可視領域の光（赤外線等）を捉えて、人間の眼によっては観察されない透視像や温度分布像などの特殊な像を得ても良いし、Ｘ線等の照射により透視像を得ても良いし、或いは、核磁気共鳴法（ＭＲ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）や超音波撮影法等の物理現象を利用した方法により像を得ても良い。このように当該撮影部は、目的とする像を得ることのできる手段を備える構造体であることを特徴とする。
尚、当該像は、画像、映像を含む情報全般を指し示す。尚、該撮像部は、電子計算機に接続して像情報の処理が可能な構成とすることが好ましいが、同等な機能を実現する変換器等に接続してこれを代替することや、ビデオミキサー等に接続して簡略的に拡張現実感像の生成を行うこともできる。

一方、前記センサ部は、上記の対象領域に含まれる空間内（１次元、２次元、３次元のいずれも含む）の情報を取得する１構成要素であって、以下に詳述する空間情報の取得機能を備えた構造体を意味する。ここで空間内の情報とは、一般にスカラー場やベクトル場と称される空間的な分布を有する物理量に関する情報である。具体的な例としては、温度分布や、濃度分布、密度分布、強度分布、速度分布、加速度分布、光学的分布、化学的分布などが挙げられる他、超音波撮影における超音波の反射分布や、、ＭＲＩ撮影における核磁気共鳴分布や、Ｘ線撮影におけるＸ線透過率の分布なども含まれ、よってこれらの反射分布、核磁気共鳴分布、Ｘ線透過率分布等から復元される物質内部の空間情報（断層透視情報や内部透視情報など）も、上記の「空間内の情報」に含まれる。
尚、該センサ部は、電子計算機に接続して情報の処理が可能な構成とすることが好ましいが、同等な機能を実現する変換器等に接続してこれを代替することや、場合によっては、ビデオミキサー等に接続して簡略的に拡張現実感像の生成を行うことも可能である。

また、前記位置検出部は、前記撮像部および前記センサ部それぞれの空間中における位置（座標およびオリエンテーション）を取得する。さらに具体的には、当該位置検出部は、「撮像部によって撮像される像」、および「センサ部によって取得される空間的な情報」の空間中における位置（座標およびオリエンテーション）を特定することのできる、拡張現実感呈示システムの１構成要素であって、位置検出が可能な限りにおいて、任意の構成を採ることができる。位置検出部として、例えば、磁気や光検出に基づく位置特定のためのセンサ（マーカー）を、前記撮像部や前記センサ部に設置しても良いし、可変構造を有する機械的なリンク機構を撮像部やセンサ部に接続し、リンク機構の形状状態から位置検出を行っても良いし、或いは撮像部やセンサ部には一切余分な物（機構等）を付与せず、外部環境に設置されたカメラ等により位置検出を行っても良いし、撮像部やセンサ部に特定のマーカーを設置し、そのマーカーの位置を外部環境から検出することによって位置検出を行っても良いし、或いは外部環境に設置されたＣＴやＭＲＩ等の装置によって位置検出を行っても良い。尚、撮像部の位置検出と、センサ部の位置検出にはそれぞれことなった方法を適用することができ、上記の例の他、手術の位置検出手法を組み合わせることによって、それぞれの構成部分の位置検出を行うことができる。
尚、該位置検出部は、電子計算機に接続して、後述する視点変換のための情報処理が可能な構成とすることが好ましいが、同等な機能を実現する変換器等に接続して、これを代替することも可能である。

（拡張現実感像の生成方法、ソフトウェアの処理内容）
位置検出部により取得される、撮像部とセンサ部のそれぞれの位置情報を基に、「撮像部により撮像された対象領域の像」、および「センサ部により取得された対象領域の空間内情報」のそれぞれに対して、空間中における位置（座標およびオリエンテーション）を対応づけ、当該「空間中における位置」情報をもとに、前記「撮像部により撮像された対象領域の像」、あるいは前記「センサ部により取得された対象領域の空間内情報」、あるいはその両方を、特定の視点からの像に変換した後に、前記「撮像部により撮像された対象領域の像」と、前記「センサ部により取得された対象領域の空間内情報」を、同じ視点からの像として、あるいは一定の関係を有する異なった視点からの像として併せて呈示するか、あるいは重ね合わせて呈示（オーバーレイ呈示を含む）することによって拡張現実感像を生成することができる。ここで一般に、前記位置情報は、撮像部あるいはセンサ部を構成する構造体上（内）の特定点について与えられるため、当該特定点の位置情報と、当該構造体の形状情報（該構造体上（内）における特定点の位置情報を含む）と、撮像あるいは空間情報取得を実現する情報取得点の位置情報をもとに、電子計算機、あるいはそれに相当する機能を備える変換器等により演算処理を実行することによって、前記「撮像部により撮像された対象領域の像」、あるいは前記「センサ部により取得された対象領域の空間内情報」の位置（座標およびオリエンテーション）に関する情報を得ることができる。
尚、拡張現実感像の生成は、強調現実感が実現される範囲内において、電子計算機（或いは相当する変換器等）等により、視点変換後の各像（撮像部により撮像された対象領域の像と、センサ部により取得された対象領域の空間情報像）を融合することによって生成しても良いし、一つの表示装置にそれぞれの像の信号を入力しミキシングすることによって生成しても良いし、一定の場所にそれぞれの像を投影することによって生成しても良いし、２つ以上の表示装置にそれぞれ個別に呈示しても良い。

尚、検出された位置情報に基づく像の視点の変換に関しては、「撮像部により撮像された対象領域の像」の視点情報を位置検出部より得て、当該視点情報をもとに、「センサ部により取得された対象領域の空間内情報」を、前記像と同じ視点からの像に変換し、他方「撮像部により撮像された対象領域の像」については視点変換を行うことなく、両者をオーバーレイ表示することが好ましい。これによって得られた拡張現実感像は、一般にユーザが拡張現実感を得ることが容易である。特に撮像部が固定点カメラである場合には、当該カメラの撮像特性（画角やレンズ歪み特性等）を、「センサ部により取得された対象領域の空間内情報」の視点変換に適用することで、同一視点の像を生成することが好ましい。

ここで視点変換とは、対象領域について得られた前記像、或いは前記空間内情報を、対象領域内外の任意の位置からの観察像に変換し直す処理であって、電子計算機内に備えられたソフトウェアによって当該処理を実行することが好ましい。変換後の像としては、目的や得られる情報の種類に応じて、空間的な像（３次元情報を有する像）や、平面（曲面）的な像（２次元情報を有する像）や、直線（曲線）的な像（１次元情報を有する像）や、これらの混合による像を生成することができる。また上記の空間的な像としては、平行投影像や中心投影像や立体投影像（斜視像、鳥瞰像、俯瞰像など）、目的に応じた任意の形態の像を採ることができる。ただし通常は、前記像と、前記空間内情報を同一視点からの同一投影法による像に統一し直し、並列表示やオーバーレイ表示によって両者を併せて呈示することが好ましい。
尚、視点変換後において、前記像のすべての範囲について、前記の空間内情報が存在する必要はなく、当該空間内情報は、当該像の一部分のみについて呈示されても良い。逆に空間内情報の像のすべての範囲について前記像が得られる必要はなく、当該像の一部分が表示されてもよい。また一方が空間的な像であって、他方がその一部をカバーする平面（曲面）的な像や直線（曲線）的な像であっても良いなど、像の空間的次元に関しては、その他任意の組み合わせが可能である。

センサ部は、一点に固定設置される必要はなく、任意に移動（平行移動や回転移動やその組み合わせ）することによって、対象領域の広範囲に渡って空間的な情報を収集することが可能である。これによって移動経路に沿った広範囲の情報を取得でき、拡張現実感像の生成に際して、より多くの情報を与えることが可能になる。具体的な例としては、一点上温度を計測可能な温度センサを移動させることにより移動経路に沿った線上の温度分布情報を得ることもできるし、直線上の模様を取得可能な画像センサ（スキャナー）を移動させることで移動経路に沿った面上の模様情報を得ることもできるし、断面透視像を取得可能な超音波センサを移動させることによって移動経路に沿った３次元情報を得ることもできるし、３次元形状を取得可能な３次元形状スキャナを移動させることによって移動経路に沿った３次元情報を得ることなどが可能である。尚、このことは撮像部についても同様であり、撮像部を移動させることによって広範囲の像を得ることができる。

またセンサ部により得られた空間情報中より、特定の情報を抽出して、その情報のみを呈示することも可能である。具体的な例としては、超音波センサ（センサ部の例）により得られた身体内部の断層情報から特に血管領域のみを抽出し、視点変換を行った後に、撮像装置により得られた像に重ねあわせることによって、拡張現実感像を生成することや、温度センサ（センサ部の例）により得られた液体内部の温度分布を取得し、特に一定の温度範囲内にある領域のみを抽出し、視点変換を行った後に、撮像装置により得られた像に重ねあわせることによって、拡張現実感像を生成することなどが可能である。尚、このことは撮像部についても同様であり、撮像部によりえら得た像の一部を抽出して拡張現実感像の生成に利用することが可能である。尚、このような特定領域の抽出は、拡張現実感像を生成するために使用される電子計算機（より詳しくは、当該電子計算機が備えるソフトウェア）によって処理することができる。

（拡張現実像の呈示方法）
上記のように得られた拡張現実感像は、ディスプレイ装置（ブラウン管、液晶、プラズマ等）、プロジェクタ装置、立体投影装置、プリンタ装置、描画装置、形状変化による像呈示装置などの任意の像呈示装置に呈示できる他、ポータブルディスプレイやヘッドマウントディスプレイ等によってユーザーが身につけることなども可能である。また透過型ディスプレイを用いて、ディスプレイの向こう側に存在する実際の物の像情報をさらに付与することも可能である。

また拡張現実感像の生成に際しては、撮像部により得られた像と、センサ部によりえら得た空間情報を、オーバーレイ表示しても良いし、並列して表示しても良いし、任意の表示様式が採用できるが、ユーザーがこれら２つの情報の相対関係を容易に把握でき、拡張現実感が得られるようにする必要がある。この観点においては、前述のオーバーレイ表示が特に好ましい。尚、拡張現実感像の呈示には、一つの表示装置を使用しても良いし、複数の表示装置を使用しても良い。

（第１実施例）
本発明を、腹腔鏡下手術の術中撮影に適用し、手術映像の範囲内に含まれる血管領域を拡張現実感呈示するシステムを構築した。以下、実施例の詳細について記述する。

（第１実施例の目的）
主として腹部臓器（腎臓、肝臓、膀胱、胃、およびそれに付随する血管等）の治療を目的として行われる腹腔鏡下手術において、手術映像の範囲内に含まれる血管領域を拡張現実感呈示することによって、医療器具の不適切な操作や、腹腔鏡により得られる術中映像の誤認識に起因する血管の損傷を回避することを目的とする。

具体的には、超音波センサ（前記センサ部に相当）によって身体内部の３次元情報を取得し、当該３次元情報を基に血管領域の３次元像を復元した後に、該血管領域の３次元像を、腹腔鏡（前記撮像部に相当）により得られる手術映像に、同一視点からの像（映像）としてオーバーレイ表示することによって、血管領域の拡張現実感呈示を行うことで、術者が血管の位置を性格に把握することのできる環境の構築を目的とする。ここで、前記超音波センサと、前記腹腔鏡には、それぞれ、リアルタイムでの位置検出が可能な磁気センサ（前記位置検出部に相当）を付与し、該磁気センサにより得られる位置情報を基に、同一視点からの像の生成を実現する。

（第１実施例の装置構成）
腹腔鏡下手術では、人体腹部に、直径数センチの連絡孔を５箇所程度形成し、当該連絡孔を通して、腹腔鏡（先端に映像撮影手段を備える）や鉗子が挿入される。そして、腹腔鏡（前記撮像部）によって得られる術中映像を確認しながら、鉗子等の医療器具を操作することで対象領域（疾患）の治療が行われる。
本実施例では、直径約１．５センチ、長さ約３０センチの棒状の超音波センサ（前記センサ部）の末端に、該超音波センサの位置検出のためのＤＣ方式の磁気センサ（前記位置検出部）を取り付け、前記連絡孔を通じて腹腔内に挿入すると共に、直径約１センチ、長さ約３０センチの棒状の腹腔鏡（前記撮像部）の末端に、位置検出のための磁気センサ（前記位置検出部）を同様に取り付け、他の前記連絡孔を通じて腹腔内に挿入した。ここで、使用した超音波センサは、小型の超音波センサ素子が複数配列されることによって構成されており、該超音波センサを頂点とする円錐状の領域について、身体内の透視情報を撮影することができる（単一の超音波素子からなる超音波センサ、あるいは超音波センサの複数配列によって円錐状（平面状）の２次元領域の透視撮影を実現する超音波センサ等を利用することも可能である）。

前記超音波センサ（前記センサ部）、前記腹腔鏡（前記撮像部）、前記磁気センサ（前記位置検出部）は、それぞれ、超音波センサユニット本体、腹腔鏡ユニット本体、磁気センサ本体を介して、単一の電子計算機に接続した。当該電子計算機では、前記超音波センサにより得られる信号情報をもとに、拡張現実感呈示の対象である血管領域を抽出し、超音波センサと腹腔鏡のそれぞれに設置された前記磁気センサより得られる位置情報を利用して、該血管領域の像を、腹腔鏡により得られた像と同一視点からの像に変換し直し、手術映像を呈示するモニタ（前記表示部）上に両者をオーバーレイ表示した。
尚、超音波センサによれば、血流により生じるドップラー効果を利用して、血液の流れの向きる。すなわち動脈・静脈の区別を実現できる。
上記電子計算機は、本処理を併せて実行し、動脈と静脈を区別して、手術モニタ上に呈示しても良く、このような拡張現実感呈示は、特に腹腔鏡下手術における付加情報として好適なものとなる。

この発明は、上記発明の実施の形態及び実施例の説明に何ら限定されるものではない。特に、腹腔鏡下手術のためのナビゲーションシステム構築の目的のみ成らず、地雷探査や、魚群探知や、温度分布計測や、流速計測など、撮像部とセンサ部と位置検出部を備えることによって拡張現実感像を生成することが可能な種々の用途が含まれる。また特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。

図１は本発明の実施形態の構成例を示す模式図である。 図２は本発明により得られる拡張現実感像を示す。 図３は第１実施例の構成例を示す模式図である。 図４は第１実施例におけるソフトウェアの処理内容を示すフローチャートである

符号の説明

１ 電子計算機
２ 表示部
３ センサ部の本体ユニット
４ 位置検出部の本体ユニット
５ 撮像部に取り付けられた位置検出部
６ センサ部に取り付けられた位置検出部
７ センサ部
８ 撮像部
９ 対象領域
１０ 空間情報
３１ センサ部より取得された空間情報（視点変更後）
３２ 撮像部により撮像された像（視点変更後）
３３ ディスプレイ
３４ 拡張現実感像
５１ 電子計算機
５２ 表示部
５３ センサ部の本体ユニット
５４ 位置検出部の本体ユニット
５５ 撮像部に取り付けられた位置検出部
５６ 腹腔鏡（撮像部）
５７ センサ部に取り付けられた位置検出部
５８ 超音波センサ（センサ部）
５９ 対象領域
６０ 人体腹部

Claims (8)

1. 対象領域について得ることのできる付加的な分布情報（内部透視像、速度分布、加速度分布、光学的分布、化学的分布、温度分布、濃度分布など）を、当該対象領域の像と併せて呈示する拡張現実感呈示システムであって、
   対象領域の撮像する撮像部と、
   対象領域の付加的な情報を取得するセンサ部と、
   当該撮像部および当該センサ部の位置を検出する位置検出部と、
   当該対象領域の像を呈示するための表示部と、
   を備え、
   位置検出部により得られた当該撮像部と当該センサ部の位置情報を利用することで、
   前記撮像部により得られた対象領域の像と、
   前記センサ部により得られた対象領域の付加的な情報を、
   同じ視点、あるいは一定の関係を有する異なった視点からの像として前記表示部に呈示すること、
   を特徴とする拡張現実感呈示システム
2. 前記表示部は、
   前記撮像部により得られた対象領域の像と、
   前記センサ部により得られた対象領域の付加的な分布情報を、
   同じ視点からの像として、オーバーレイ呈示することを特徴とすること、
   を特徴とする請求項１記載の拡張現実感呈示システム
3. 前記表示部は、
   前記撮像部により得られた対象領域の像と、
   前記センサ部により得られた対象領域の付加的な分布情報を、
   同じ視点、あるいは一定の関係を有する異なった視点からの像としてリアルタイム呈示することを特徴とすること、
   を特徴とする請求項１記載の拡張現実感呈示システム
4. 前記センサ部は、透視撮影用センサ（例えば、超音波センサやＸ線センサ）であることを特徴とする請求項１から請求項３のいずれかに記載の拡張現実感呈示システム
5. 前記撮像部は腹腔鏡であることを特徴とする請求項４記載の拡張現実感呈示システム
6. 対象領域について得ることのできる付加的な分布情報（内部透視像、速度分布、加速度分布、光学的分布、化学的分布、温度分布、濃度分布など）を、当該対象領域の像と併せて呈示する拡張現実感呈示のためのソフトウェアであって、
   対象領域について撮像された像と、
   対象領域について得られた任意の付加的な情報と、
   当該像および当該情報の位置情報（座標情報、およびオリエンテーション情報）から、
   前記対象領域の付加的な情報を、前記像に、
   同じ視点、あるいは一定の関係を有する異なった視点からの像として併せて呈示する拡張現実感呈示像を生成する、
   を特徴とする拡張現実感呈示のためのソフトウェア
7. 前記拡張現実感呈示像は、
   前記対象領域の付加的な情報を、前記像に、
   同じ視点からの像として、オーバーレイ呈示することを特徴とすること、
   を特徴とする請求項６記載の拡張現実感呈示システム
8. 前記拡張現実感呈示像は、
   前記対象領域の付加的な情報を、前記像に、
   同じ視点、あるいは一定の関係を有する異なった視点からの像としてリアルタイム呈示することを特徴とすること、
   を特徴とする請求項６記載の拡張現実感呈示システム