JP6101793B2 - 時空間的不確実性を管理するためのシステム及び方法 - Google Patents

Description

時空間的ずれは、リモートのソースの画像キャプチャすることと、キャプチャされた画像をローカル的に表示することとの間の遅延によってしばしば発生する。時空間的ずれ又は不確実性は、リアルタイムの、共有された、第１人称的パースペクティブのセッションの一方の参加者により視覚化された合成画像の忠実さを犠牲にした空間的不正確さにつながり得る。例えば、かなりの程度の動きと遅延とが関わるシナリオにおいては、時空間的不確実性はかなりの程度になり得る。この不確実性は、ピクセルレベルでの正確さが重要ではないようなローリスクの文脈においては意味をあまり持たないかもしれないが、顕微外科のような技術分野においては、この誤差を正確に定量化することは死活問題である。

それゆえ、時空間的不確実性の定量化及び視覚化を管理するためのシステム及び方法を開発することは望ましい。

時空間的不確実性を管理するためのシステム及び方法が開示される。時空間的不確実性の定量化及び視覚化を管理するためのシステム及び方法が開示される。リアルタイムの、二重１人称パースペクティブのテレビ会議の分野においては、ネットワーク及び処理に基いた遅延により、時空間的不確実性が起こり得る。時空間的不確実性の決定及び視覚化は、遅延が発生している文脈で精密さを要するタスクを実行するリスクを、いくらか軽減する潜在的能力を有している。

１つの態様においては、１つの方法が、第１フレームから第２フレームへの動きを決定することと、決定された動きに基いて不確実性因子を決定することと、前記不確実性因子に基いて不確実性要素を生成することと、を含むことができる。

別の方法は、第１画像から第２画像への動きを決定することと、遅延値を決定することと、正確値を決定することと、前記動き、前記遅延値、及び前記正確値に基いて不確実性要素を生成することと、を含むことができる。

別の方法は、遅延値を決定することと、前記遅延値に基いて第１画像に対する遅延オフセットを決定することと、前記第１フレームからの前記遅延オフセットに基いて第２画像を配置することと、第１フレームに重なる動きの薄像を生成することと、を含み、且つ前記動きの薄像が前記第２フレームの少なくとも一部を含むようにすることができる。

追加的利点が、後に続く説明において部分的に記載され、又は、実践により学習されるであろう。そのような利点は、添付の発明の概念において特に指摘される要素及び組み合わせによって、実現且つ達成されるであろう。前述の大まかな説明及び後述の詳細な説明は、ともに例示的でありかつ説明目的のものであるにすぎないと理解すべきであり、制限的なものとみなすべきではない。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
第１画像から第２画像への動きを決定することと、遅延値を決定することと、
正確値を決定することと、
不確実性要素を、前記動きと前記遅延値と前記正確値とに基づいて生成することと、
前記不確実性要素を表現することと、を含む方法。
（項目２）
前記動きは、動き推定アルゴリズムから決定される、項目１の方法。
（項目３）
前記動きは、ブロックマッチングアルゴリズムから決定される、項目１の方法。
（項目４）
前記第１画像は現行フレームであり、前記第２画像は一連の画像中の先行フレームである、項目１の方法。
（項目５）
前記現行フレームから前記先行フレームへ向かう動きベクトル生成することをさらに含む、項目４の方法。
（項目６）
前記動きベクトルは前記決定された動きに基づいて生成される、項目５の方法。
（項目７）
前記不確実性要素は、インジケータである、項目１の方法。
（項目８）
前記不確実性要素は、変換された動きベクトルに基づいて生成される、項目１の方法。
（項目９）
前記不確実性要素は、前記正確値と前記ベクトルの向きを反転させたベクトルとを乗算して生成される、項目８の方法。
（項目１０）
前記不確実性要素は、前記ベクトルと前記ベクトルの反転とのうちの１つ以上から推定する不確実性領域を含む、項目８の方法。
（項目１１）
前記不確実性領域のサイズは、前記ベクトルの大きさに比例する、項目８の方法。
（項目１２）
前記不確実性要素を表現することは、不確実性領域を表現することを含む、項目１の方法。
（項目１３）
前記不確実性領域は、ぼかしと薄像と着色とのうちの１つ以上として表現される、項目１４の方法。
（項目１４）
前記不確実性領域のサイズは前記遅延値に基づく、項目１４の方法。
（項目１５）
前記不確実性領域のサイズは前記正確値に比例する、項目１４の方法。
（項目１６）
前記遅延値は、局所的遅延とネットワーク遅延とジッターとのうちの１つ以上に基づいて決定される、項目１の方法。
（項目１７）
前記正確値は許容できる誤差を含む、項目１の方法。
（項目１８）
遅延値を決定することと、
前記遅延値に基づいて、第１画像に対する遅延オフセットを決定することと、前記第１フレームからの前記遅延オフセットに基づいて、第２画像を配置することと、前記第１フレームに重なる、動きの薄像を生成することと、を含み、前記動きの薄像は、前記第２フレームの一部を含んでいる方法。
（項目１９）
前記第１画像は現行フレームであり、前記第２画像は一連の画像中の先行フレームである、項目１８の方法。
（項目２０）
前記遅延値は、ネットワーク遅延と局所的遅延とのうちの１つ以上に基づいて決定される、項目１８の方法。
（項目２１）
前記遅延オフセットは、前記遅延値をフレームレートで乗算して決定される、項目１８の方法。
（項目２２）
前記第２フレームは、前記遅延オフセットを前記第１フレームのフレーム識別子から減算して配置される、項目１８の方法。
（項目２３）
前記動きの薄像は、前記第１フレームの不透明度とは異なる不透明度を有する、項目１８の方法。
（項目２４）
第１フレームから第２フレームへの動きを決定することと、決定された動きに基づいて、不確実性因子を決定することと、前記不確実性因子に基づいて、不確実性要素を生成することと、を含む方法。

添付の図面は、本明細書に組み込まれかつその一部を構成するが、そのような図面は、諸実施形態を示し、説明と合わせて見ると、提供される方法及びシステムの諸原理を説明するのに役立つであろう。
仮想インタラクティブプレゼンスを示す。 仮想インタラクティブプレゼンスを示す。 リモートのユーザーを支援しているローカルのエキスパートを示す。 例示的システムを示す。 例示的方法を示す。 例示的方法を示す。 例示的方法を示す。 例示的方法を示す。 例示的方法を示す。 例示的方法を示す。 フレーム遅延を表す例示的ブロック図を示す。 不透明度の例示的グラフを示す。 不確実性の視覚化を示す。 不確実性の視覚化を示す。 例示的仮想プレゼンスシステムを示す。 グラフィックサーバ内で実行される例示的処理を示す。 ネットワークサーバ内で実行される例示的処理を示す。 例示的ＶＩＰディスプレイの側面図を示す。 ユーザーから見た例示的ＶＩＰディスプレイの図を示す。 ユーザーから見た例示的ＶＩＰディスプレイの図を示す。 例示的方法を示す。 別の例示的方法を示す。 リモートの外科手術環境における仮想プレゼンスを示す。 医学的撮像を術野にマージする様子を示す。 例示的動作環境を示す。

本明細書の方法及びシステムを開示及び説明する前に、当該方法及びシステムは、個別具体的合成方法、特定の構成要素、又は、特定の構成には限定されず、それらのものは、さまざまに変化し得るということが理解されねばならないことは言うまでもない。本明細書で用いる用語は、特定の実施形態を説明する目的のみのために用いられており、制限的な意図ではないということもまた理解されねばならない。

本明細書及び添付の特許請求の範囲において使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈からそうでないことが明らかでない限り、複数の指示対象を包含する。

以下においては、数値の範囲は、「約」をつけたある特定の値から、及び／又は、「約」をつけた他の特定の値に至るものとして表現される場合がある。そのようにして１つの範囲が表現されると、他の実施形態においては、当該ある特定の値から、及び／又は、他の当該特定の値に至る範囲が含まれる。同様に、ある値が「約」を前につけて、近似的値によって示される場合、当該ある特定の値は他の実施形態においても有効であると理解されねばならない。さらに、そのような範囲それぞれの端点は、他の端点とのの関連において、及び他の端点とは独立して、有効であると理解されねばならない。

「任意選択可能な」又は「任意選択可能に」という表現は、それ以下に説明される出来事又は状況が、発生してもしなくてもよいことを意味し、且つ、当該説明が、そのような出来事又は状況が発生した場合もしない場合も含むことを意味する。

本明細書の説明及び請求項を通じて、「ｃｏｍｐｒｉｓｅ（含む）」という用語及び、例えば「ｃｏｍｐｒｉｓｉｎｇ」及び「ｃｏｍｐｒｉｓｅｓ」のような、その変化した語形は、「含むがそれに限られない」ということを意味し、且つ例えば、他の添加されるもの、構成要素、整数、又は工程等を排除しないことを意図する。「例示的な」という用語は、「〜の例」ということを意味し、且つ、それが好ましい又は理想の実施形態であることを伝えようという意図はない。

開示される方法及びシステムを実行するために用いられ得る構成要素が開示される。これらの及びその他の構成要素が本明細書で開示されるが、これらの構成要素の組み合わせ、サブセット、相互作用、群等が開示されているものの、それぞれのさまざまな個別の並びに集合的な組み合わせ及びそれらの組み合わせを並び替えたものを具体的に言及したものが明示的に開示されていないとしても、本明細書においてはそれらがすべての方法及びシステムに対して、考慮され説明されているものと理解される。この原則は、本出願のすべての態様に対して適用されるが、開示される方法の工程に限定されない。したがって、もし、実行することが可能な追加的工程がさまざまある場合に、これらの追加的工程のそれぞれは、開示される方法の任意の具体的実施形態の１つ又は、それらの組み合わせとともに実行され得るということが理解されるべきである。

本願の方法及びシステムは、以下の好適な実施形態の詳細な説明、及びそれらに含まれる実施例を参照し、且つ、その前後の説明とともに図面を参照すれば、より良く理解できるであろう。

時空間的不確実性を管理するための方法及びシステムが開示される。開示される方法及びシステムは、仮想現実を用いることができる。仮想現実（ＶＲ）は、人間とコンピュータとのインターフェイスを提供するコンピュータに基く応用技術を指すが、当該インターフェイスは、コンピュータ及びそのデバイスが、個人のアクションによりダイナミックに制御されるような感覚世界を創出するものであり、それゆえにユーザーにとってはそのような世界は「現実的」なものと一見思われるものである。仮想現実では、コンピュータシステム及びユーザーの間の通信が存在する。コンピュータは、１つの態様において、（それは必須ではないが）ユーザーが多感覚的体験できるような感覚世界を創造し、ユーザーからの入力に対して、現実の感覚を創出する。

１つの例示的態様において、開示されるシステムは、少なくとも２つのタイプの仮想現実を用いる。それらは、没入型及び非没入型仮想現実である。没入型仮想現実は、ユーザーが実際に異なる世界にいるような幻想を創り出す。１つの態様において、システムはこれを、頭装着型ディスプレイ（ＨＭＤ）、イヤフォン、及び手袋又は棒状器具のような入力デバイス等をはじめとするデバイスを用いて実現する。別の態様においては、体験の現実感を高めるために、ソフトウェアがシミュレートすることができる、複数の自由度（ＤＯＦ）が採用される。一般には、自由度が多ければ多いほど、体験の現実感が高まる。例示的自由度には、Ｘ軸、Ｙ軸、及びＺ軸の自由度、横揺れ、縦揺れ、並びに偏揺れが含まれるが、それらに限られない。

非没入型仮想現実は、ユーザーの実際の周囲環境と区別可能な世界を創出する。非没入型仮想現実は、ユーザーが別の世界に移動したような幻想を生み出すことはない。非没入型仮想現実は、３次元画像及びサラウンド音声を、立体的投影システム、コンピュータのモニター画面、及び／又はステレオスピーカーを用いて作り出すことによって機能する。非没入型仮想現実は、他の追加的ハードウェアなしにパーソナルコンピュータ上で動作させることができる。

１つの態様において、没入型仮想現実における運動は、トラッカと呼ばれる光学的、音声的、磁気的、又は機械的ハードウェアを用いることで、１つのシステムによって実現できる。好ましくは、入力デバイスには、こうしたトラッカができるだけたくさん設けられているとよく、そうすることで、運動をより正確に表すことが可能である。例えば、仮想現実用手袋には、それぞれの指に最大３つまでのトラッカを有し、手のひら及び手首にさらにトラッカを設けることができる。そうすることで、ユーザーは物を掴んだり押したりできるようになる。１つの態様において、トラッカは、位置センサを装備できる。当該位置センサは、入力デバイスがどの方向を向き、あらゆる方向についてどのような傾きをしているかを、コンピュータに伝えることができる。これは、６つの自由度を有する１つのセンサによりなされる。

他の態様において、開示されるシステムは、拡張現実（ＡＲ）を採用することができる。拡張現実とは、人間とコンピュータとの間のインターフェイスを提供する、コンピュータに基く１つの応用技術を指すが、コンピュータ及びそのデバイスが、現実及び仮想、双方の要素を包含することを通じて、ユーザーが現実とは異っていると感じるような体験を作り出すものである。本願システム及び方法に用いることができる拡張現実の例としては、コンピュータ断層撮影（ＣＴ）又は磁気共鳴画像（ＭＲＩ）データを患者の画像に重ね合わせるものが含まれるが、それらに限られない。拡張現実の使用の他の例としては、手術野の画像に、患者のバイオメトリックデータを重ね合わせるというものもある。他の分野でも、本開示されるシステム及び方法を用いることが可能である。

出力デバイスは、ユーザーを仮想の世界へと導く。本システムにおいて用いられる出力デバイスの例としては、ユーザーがディスプレイシステムを頭に装着することを可能にするような眼鏡又はゴーグルの形の、頭装着型ディスプレイが含まれるが、それらに限られない。頭装着型ディスプレイを実現する方法の１つとしては、両方の目を覆うのに十分な幅のある単独の液晶ディスプレイ（ＬＣＤ）を用いることがある。別の方法としては、片方の目に一つずつ、計２つの別体のディスプレイを用いることがある。こちらは、それぞれのディスプレイに表示される画像が異なるため、コンピュータのパワーがより必要である。それぞれのディスプレイは、その環境において正しい角度から表現される別々の画像を表示する。視標追跡機能を、頭装着型ディスプレイに組み合わせることも可能である。こうすることで、例えば外科医が、画像の中でより良く見たい部分に目を動かすということができる。

本開示のシステムの環境で用いることができる出力デバイスの他の例には、シャッター付き眼鏡がある。このデバイスは、それぞれの目に対する画像を、他方の目のシャッターを閉めることで、１フレームおきに更新する。シャッター付き眼鏡は、画像がちらつかないようにするためには、非常に高いフレームレートを要する。このデバイスは、立体的モニター用に用いられ、且つ２次元の対象物の正確な３次元表現を示すが、ユーザーを仮想の世界に没入させることはない。

本開示のシステムの１つの実施形態において用いることのできる出力デバイスの他の例としては、複数のプロジェクタを有するスクリーンがある。スクリーンは平面であっても、湾曲したものであってもよい。複数のプロジェクタを同一のスクリーンで用いる場合の課題としては、それぞれのプロジェクタから映し出される画像の間に、エッジが目についてしまうことがある。投影される画像がエッジに近づくほど透明になり、複数の画像が重なるようなソフトエッジのシステムを用いると、上記の問題に対処することが可能である。これにより、画像間の移行はほぼパーフェクトになる。好ましい３Ｄ効果を達成するために、シャッター付き眼鏡を用いることができる。交互に完全に不透明になったり透明になったりする特別な眼鏡を用いることができる。左目が不透明になっている時、右目は透明である。これを、スクリーン上に対応する画像をそれぞれ映し出しているプロジェクタと同期させる。

他の態様においては、没入型仮想現実体験装置（ＣＡＶＥ）を、本開示のシステムにおいて用いることもできる。没入型仮想現実体験装置は、立方体の形の部屋に鏡を複数設け、壁に立体画像を映し出して、ユーザーが仮想の世界に立っているような幻想を生じさせる技術である。その仮想の世界は、トラッカを用いて常に更新されており、且つユーザーは、ほぼ全く制限されることなく動き回ることができるようになっている。

画像の位置合わせをするための方法及びシステムが開示される。そのような方法及びシステムは、例えば、リモートの場所から専門的な知識・技術を伝達する等の任意の所与の目的のために、ユーザーが相互にインタラクションできるように、対象フィールドに多くの要素／参加者を仮想的に存在させて表現することができる。対象フィールドは、その視点によって変化する量の、「現実」的及び「仮想」的な要素を含むことができる。要素には、任意の「現実」的及び「仮想」的な、対称物、主体、参加者、又は画像表現を含むことができる。図１に、開示される方法及びシステムのさまざまな構成要素が図示されている。

共通の対象フィールド１０１とは、要素が物理的及び／又は仮想的に存在するフィールドであり得る。現実点（又は視点）とは、当該共通の対象フィールドを体験している要素／参加者のバンテージ（見晴らしのきく地点）を指すことができる。図１においては、例示的現実点又は視点が、ディスプレイを表す符号１０２及び１０３の場所に示されている。共通の対象フィールド１０１は、一見すると両方のバンテージ又は視点から見ても似て見えるが、しかしそれぞれは、ローカルの（物理的）及びリモートの（仮想的）要素／参加者のさまざまな異なる組み合わせを含む。

ローカルの要素とは、当該共通の対象フィールドに物理的に存在する要素及び／又は参加者であり得る。図１においては、要素Ａ １０５は、フィールドＡ １０４にとってローカルの要素であり、フィールドＡ １０４に物理的に存在する。要素Ｂ １０７は、フィールドＢ １０６にとってローカルの要素であり、フィールドＢ １０６に物理的に存在する。仮想的な要素（不図示）が、好みに応じて、フィールドＡ １０４及び／又はフィールドＢ １０６に挿入され、又は重ねられることができるということは理解されるべきである。

リモートの要素は、当該共通の対象フィールドに物理的に存在しない要素及び／又は参加者であり得る。それらは、任意の他のローカルのバンテージ点からは、「仮想的に存在している」ものとして体験される。図１に示されるように、要素Ｂ １０７は、フィールドＡ １０４にとってリモートの要素であり、且つフィールドＡ １０４においては仮想的に存在している。要素Ａ １０５は、フィールドＢ １０６においてはリモートの要素であり、且つフィールドＢ １０６においては仮想的に存在している。

ローカルの及びリモートの要素及び／又は参加者を組み合わせることによって仮想インタラクティブプレゼンスを表現するための方法は、以下の複数の工程の１つ以上を含む。共通のローカルのフィールドが、当該フィールド、要素、及び／又は参加者の存在を反映するように、表現されることができる。図２Ａに示されるように、参加者Ａは、フィールドＡにおける現実的要素をビューワーを通じて体験することができる。当該共通のローカルのフィールドは、リモートの参加者がそれをローカルの人々と同様に体験可能とするように、それがリモートで体験されるように表現され得る。図２Ａに示されるように、フィールドＡにおいては仮想的に存在しているとして要素Ｂを参加者Ａが体験しているものとして、共通のローカルのフィールドが描かれている。

リモートの人々は、及び／又は、彼らにとって仮想的なフィールドとして表現されるものに自身を挿入し、そうしたフィールドとインタラクションすることが可能になっている。例えば、参加者Ａは手、器具等をフィールドＡに挿入し、仮想的な要素Ｂとインタラクションすることができる。これに対する仮想的補完物を、ビューワーＢは、参加者Ａの仮想的な要素とインタラクションする、ビューワーＢの現実的要素を用いて、見ることができる。

共通のローカルのフィールドは、リモートの参加者の存在が、リアルタイムで表現され得るように継続的に更新されることが可能である。例えば、リモートのシーンは、そのリモートでのキャプチャとローカルの表現との間のタイムラグをできるだけ小さくするように、利用できるものの中で最新のものとすることができる。逆に、あるタイミングの差が導入される必要がある場合には、それもまた実現可能である。

共通のローカルのフィールドは、当該ローカルのシーンに意味のある形で適合するように、そのサイズおよび深度を拡大縮小させることができる。また、共通のローカルのフィールドは、リモートの要素が概ね透明になるか、完全に取り除かれるか、ローカルなユーザーの必要性に適するように変化されるように構成されることが可能である。

それぞれのフィールドはデジタルカメラによりキャプチャされる。得られる画像は当該カメラの物理的性質に基いて、本来の現実からは物理的に歪んでいる。それゆえ、プロセッサは、ローカルの本来の現実が「物理的」に歪んだバージョンを受け取り、表示する。同様に、デジタルカメラによりリモートのフィールドをキャプチャしながら、入力されるストリームは、送信用デバイスを介して、ネットワークを通じて中継することも可能である。それゆえ、当該プロセッサは、物理的及び送信に基く歪みを内包する、リモートのストリームを受信する。それゆえ、プロセッサは、物理的及び送信に基く歪みを共通のローカルのフィールドから取り除く一連の変換処理を実行せねばならない。

ローカルの参加者は、仮想的に存在している参加者を、共通のローカルのフィールドにおいて継続的にインタラクションすることが可能なやり方で体験することが可能である。図２Ｂは、リモートのユーザーを支援しているローカルのエキスパートを示す。ローカルのエキスパート２０１の両手は、わずかに透明になっており、リモートのユーザーによって見られているフィールドに重ねされている。リモートのユーザーは、ローカルのエキスパートの手と、当該リモートのユーザーの手と、当該リモートのユーザーのいる場所にあるパズルと、を見ることができる。ローカルのエキスパートは、リモートのユーザーがパズルを組み立てるのを支援している。

図３は、例示的画像処理システム３００を示す。図示されるように、システム３００は、例えば画像、動画、動画と静止画像との合成物、及び共通の対象フィールドのうちの１つ以上を表示するように構成される、第１ディスプレイ３０２及び第２ディスプレイ３０４を含むことができる。しかし、システム３００には任意の数のディスプレイが含まれ得るということは理解されるべきである。ある態様においては、第２ディスプレイ３０４は、第１ディスプレイ３０２からはリモートの場所に配置され得る。例として、第１ディスプレイ３０２及び第２ディスプレイ３０４のそれぞれは、共通の対象フィールドをその上に表現するように構成されることができる。更なる例として、第１ディスプレイ３０２及び第２ディスプレイ３０４のそれぞれは、ローカルのフィールド及びリモートのフィールドの少なくとも一方を、その上に表現するように構成されることができる。ある態様においては、第１ディスプレイ３０２及び第２ディスプレイ３０４の少なくとも一方は、詳しくは後述するようなＶＩＰディスプレイであり得る。しかしながら、第１ディスプレイ３０２及び第２ディスプレイ３０４のそれぞれは、例えば平面視ディスプレイ及び立体視ディスプレイを含む任意のタイプのディスプレイであり得るということは理解されねばならない。なお、任意のタイプのディスプレイを任意の数で用いることが可能である。

第１センサ３０６は、少なくとも第１ディスプレイ３０２と信号を通信することが可能であって、且つ、例えば仮想プレゼンスデータのような画像データを取得するように構成されていることが可能である。ある態様においては、前記第１センサ３０６は、カメラ、赤外線センサ、光センサ、ＲＡＤＡＲデバイス、ＳＯＮＡＲデバイス、及び深度スキャンセンサ等のうちの１つ以上であり得る。なお、第１センサ３０６は、「現実的」な要素及び「仮想的」な要素のうちの少なくとも１つを表す画像データをキャプチャ／取得可能な任意のデバイス又はシステムであり得る。

第２センサ３０８は、少なくとも第２ディスプレイ３０４と信号を通信することが可能であって、且つ、例えば仮想プレゼンスデータのような画像データを取得するように構成されていることが可能である。ある態様においては、第２センサ３０８はカメラ、赤外線センサ、光センサ、ＲＡＤＡＲデバイス、ＳＯＮＡＲデバイス、深度スキャンセンサ等のうちの１つ以上であり得る。なお、第２センサ３０８は、「現実的」な要素及び「仮想的」な要素のうちの少なくとも１つを表す画像データをキャプチャ／取得可能な任意のデバイス又はシステムであり得る。なお、任意の数のセンサを用いることが可能である。

複数のプロセッサ３１０、３１２が、第１ディスプレイ３０２、第２ディスプレイ３０４、第１センサ３０６、及び第２センサ３０８の内の少なくとも１つ以上と、直接又は間接的に、信号を通信することが可能である。プロセッサ３１０、３１２のそれぞれは、センサ３０６、３０８によって集められた画像データを、ディスプレイ３０２、３０４のうちの少なくとも１つ上に表現するように構成されている。なお、プロセッサ３１０、３１２は、画像データ及び、データから生成される画像を送信及び表示するために修正するように構成することができる。なお、１を含む任意の数のプロセッサを用いることが可能である。ある態様においては、システム３００は、互いにデータを通信することが可能なプロセッサ３１０、３１２のみを含む。

ある態様においては、ディスプレイ３０２、３０４のそれぞれは、画像をディスプレイ３０２、３０４上に表現するためのプロセッサ３１０、３１２のうちの関連する１つを含むことが可能である。プロセッサ３１０、３１２のそれぞれ、又はプロセッサを含む別のシステムは、ネットワーク接続を通じて互いに通信可能である。例えば、リモートの場所どうしが、インターネット又は他のネットワークを介して接続されることができる。タスクは、プロセッサ３１０、３１２のそれぞれどうしで分割して担うことが可能である。例えば、プロセッサ３１０、３１２の一方は、グラフィックプロセッサ又はグラフィックサーバとして構成することができ、センサ３０６、３０８の一方から画像を集めることが可能である。また、プロセッサ３１０、３１２の一方は、ネットワークサーバとして構成することができ、画像合成のタスクを実行し、且つ、ディスプレイ３０２、３０４のうちの１つ以上を駆動することができるようになっている。

１つの態様においては、プロセッサ３１０、３１２のうちの１つ以上が、１つの画像を表現するように構成されることができる。一例として、プロセッサ３１０、３１２のうちの１つ以上が、共通の対象フィールドを表現するように構成されることができ、当該共通の対象フィールドには、センサ３０６、３０８のうちの少なくとも１つにより取得された画像データに基いて、複数の要素の存在が反映されている。更なる例として、共通の対象フィールドに表現される要素の少なくとも１つは、物理的に、他の要素からリモートの場所に位置しているリモートの要素であり得る。プロセッサ３１０、３１２は、共通の対象フィールドを、ディスプレイ３０２、３０４のうちの少なくとも１つ上に表現する／出力するように構成されることも可能である。一例として、プロセッサ３１０、３１２は、リモートのユーザー及びローカルのユーザーが共通の対象フィールドにおいてインタラクションするのを表現することができる。更なる例として、リモートの要素の存在は、ローカルのユーザーに対してリアルタイムで表現されることができ、且つローカルの要素の存在は、リモートのユーザーにリアルタイムで表現されることができる。

図４Ａは、プロセッサ３１０、３１２の少なくとも１つを用いて実行され得る例示的処理４００を示す。他のプロセッサ及び／又はコンピューティングデバイスを、処理４００を実行するために用いることができる。工程４０２では、動きが決定される。一例として、複数の画像が、フレームのシーケンスとして表現されることができる。更なる例として、画像に表現された要素及び／又は主体の動きが、第１フレームから第２フレームへと決定されることができる。１つの態様においては、第１フレームは現行フレームであり、且つ第２フレームは、一連の画像又は画像のシーケンスのフレームの中の先行フレームであり得る。

１つの態様においては、複数の画像又はフレームによって表現される動きが、動き推定アルゴリズム（例えば、ブロックマッチングアルゴリズム）を用いて、決定され得る（例えば、計算され、推定され、読み出され得る）。動き推定アルゴリズムは、冗長な動画データの送信を省くために、ストリーミング動画技術においても用いることが可能である。一例として、エンコーダが、現行画像内のピクセル領域と先行する参照画像内のピクセル領域との間の類似性を検討することで、先行する参照フレームに対する現行フレーム内の動きを推定することができる。他の例として、位相相関法、オプティカルフロー法、及びベイズ推定法を、動きの推定を実行するために用いることができる。更なる例として、統計関数を、動きの推定を実行するために用いることができる。

工程４０４において、不確実性因子が決定される。１つの態様においては、不確実性因子は、工程４０２で決定された動きに基いている。一例として、不確実性因子は、任意のピクセル、対象物、主体、要素等の位置に関する不確実性に影響を及ぼし得る、値、測定値、外挿、データ点、又はその他の側面であり得る。更なる例として、不確実性因子は、ネットワーク遅延、ジッター、ローカルの遅延、処理に伴う遅延、フレーム遅延、許容できる誤差、及び公差のうちの１つ以上を含み得る。

工程４０６において、不確実性要素が生成され得る。１つの態様においては、不確実性要素は、工程４０２で決定された動きと、工程４０４で決定された、１つ又は複数の不確実性因子とのうちの１つ以上に基いて生成され得る。一例として、不確実性要素は、デバイス及び／又はユーザーに対して、（例えば、送信される、提示される等）表現されることができる。更なる例として、不確実性要素は、聴覚的、視覚的及び／又は触覚的フィードバックとして、ユーザーに対して表現されることができる。

一例として、図４Ｂは、動きの推定のための例示的処理を示す。その他の動きの推定のための技術及び／又はアルゴリズムを用いることもできる。工程４０８において、画像領域が決定され得る。一例として、画像領域は、Ｈ．２６３又はＨ．２６４のような動画圧縮規格において規定されている標準的寸法のマクロブロックであり得る。他の例として、画像（例えば、第１画像又はフレーム）内で任意のサイズのエリアを選択することで画像領域が決定され得る。更なる例として、画像領域は、ユーザーによって提供される入力により決定され得る。

工程４１０において、ステップサイズが決定され得る。一例として、ステップサイズは、１つ以上の画像の内容のコンテクストに依存する数値であり得る。更なる例として、ステップサイズが大きければ大きいほど、動きの推定がより正確になる。工程４１２において、第１フレーム内の画像領域が、第２フレーム内の画像領域と比較され得る。一例として、第１フレーム内の画像領域に対応するように位置している第２フレーム内の画像領域が、第１フレーム内の画像領域と比較するために検討され得る。他の例として、第２フレーム内の画像領域から前記ステップサイズの距離にある、第２フレーム内の８つの画像領域が、第１フレーム内の画像領域と比較するために検討され得る。

１つの態様においては、輝度を画像領域間で比較するのを実行するために費用関数が採用され得る。他の例として、色を画像領域間で比較するのを実行するために費用関数を用いることができる。１つの例示的態様において、費用関数は、平均絶対差（ＭＡＤ）であり得る。他の態様において、費用関数は、平均二乗差（ＭＳＤ）であり得る。更なる態様において、費用関数は相互相関関数であり得る。工程４１４において、費用関数は最小化され得る。一例として、費用関数の最小化は、比較のための新たな中心点を選択することを含み得る。

工程４１６において、ステップサイズを減少させ得る。一例として、ステップサイズから１を引くことにより、ステップサイズを減少させ得る。他の例として、ステップサイズを半分にすることにより、ステップサイズを減少させ得る。工程４１８において、ステップサイズは、条件付きロジック（例えば、ＩＦ／ＴＨＥＮ構文）によりチェックされ得る。１つの例示的態様において、もしステップサイズが１より大きいならば、処理は工程４１０に戻り、もし大きくないないならば、処理は工程４２０に進む。

工程４２０において、動きベクトルが生成され得る。１つの態様においては、動きベクトルは、複数のフレーム又は画像にわたる画像領域の推定される動きの表現を可能にする。一例として、動きベクトルは、現行フレーム内の画像領域から先行フレーム内の画像領域の中心点に、費用関数の出力によって決定されるように、歪みを最小として生成することができる。他の例として、動きベクトルは、先行フレーム内の画像領域から、現行フレーム内の画像領域の中心点に、費用関数の出力によって決定されるように、歪みを最小として生成することができる。更なる例として、動きベクトルは、画像内の画像領域ごとに、又は画像の部分ごとに生成することができ、こうして生成された動きベクトルをまとめたものは、ベクトルマップと呼ぶことができる。１つの態様においては、動きベクトルを、（例えば、反転する、除算する、乗算する等）変換させることができ、及び／又は、動きによる不確実性を表現するために視覚化の技術に適用することができる。動きベクトルによって表現される動き及び不確実性を推定し、及び／又は視覚化するために動きベクトルを処理するために、さまざまな技術を用いることが可能である。

図４Ａを再び参照して、工程４０４において、不確実性因子が決定され得る。１つの態様においては、不確実性因子は、工程４０２において決定された動きに基き得る。一例として、不確実性因子は、任意のピクセル、対象物、主体、要素等の位置に関する不確実性に影響を及ぼし得る、値、測定値、外挿、データ点、又はその他の側面であり得る。更なる例として、不確実性因子は、ネットワーク遅延、ジッター、ローカルの遅延、処理に伴う遅延、フレーム遅延、許容できる誤差、及び公差のうちの１つ以上を含み得る。

例示的な一例として、図４Ｃは、不確実性因子を決定するための方法を示す。工程４２６において、ネットワーク遅延が決定され得る。一例として、ネットワーク遅延値を、外部のデバイス（例えば、ハードウェアコーデック）から読み出す（例えば、サンプリングする）ことができる。他の例として、ネットワーク遅延を、ソフトウェアプログラムからサンプリングすることができる。更なる例として、ネットワーク遅延は、あらかじめ決められた時間的期間（例えば、１秒）に基いて、繰り返しサンプリングされ得る。追加的な例として、ネットワーク遅延は、ある時間的期間にわたって観測された遅延のローリング平均値をとることにより読み出すことができる。１つの態様においては、ネットワーク遅延は、ジッターを含み得る。

工程４２８において、ローカルの遅延（例えば、キャプチャ、処理、描画サイクル）が決定され得る。１つの態様においては、１つ以上の画像（例えば、複数の画像のフレーム）に、それがキャプチャされた瞬間から表示された瞬間に至るまで、タイムスタンプをつけることができる。他の態様において、ローカルの遅延は、プロセッサ３１０、３１２（図３参照）から、繰り返しサンプリングされることができる。したがって、１つ以上のフレーム及び／又は画像のキャプチャから表示に至るまでの差を、ローカルの遅延として定義することができる。

工程４３０において、工程４２６で決定されたネットワーク遅延及び工程４２８で決定されたローカルの遅延の１つ以上に基いて、不確実性因子を決定することができる。一例として、不確実性因子は、ネットワーク遅延及びローカルの遅延のうちの１つ以上を含む、累積的又は合計の遅延を含むことができる。更なる例として、不確実性因子は、加算遅延及び／又は平均遅延及び／又はジッターにより、平均値よりも標準偏差で１大きく決定される最悪の場合の遅延値を含むことができる。

例示的な一例として、図４Ｄは、不確実性因子を決定するための方法を示す。工程４３２において、正確値を決定することができる。１つの態様においては、正確値は、あらかじめ決定された許容できる誤差を含むことができる。一例として、正確値は、ユーザーが提供する許容できる誤差（例えば、ピクセルの数）を含むことができる。正確値は、コンテクストに依存するようにすることができる。その際、正確値が低ければ低いほど、表現された画像が不正確になる。１つの態様においては、正確値は、ベクトルマップ内の１つ以上の動きベクトルによって乗算することが可能なスカラー量である。他の態様において、ユーザーが提供する許容できる誤差は、ベクトルマップ内の１つ以上の動きベクトルによって乗算することが可能なスカラー量である。工程４３４において、正確値、ネットワーク遅延、ジッター及びローカルの遅延の１つ以上に基いて不確実性因子は決定され得る。

図４Ａを再び参照して、工程４０６において、不確実性要素を生成することができる。１つの態様においては、不確実性要素は、工程４０２で決定された動き及び工程４０４で決定された１つ又は複数の不確実性因子の１つ以上に基いて生成され得る。

例示的な一例として、図４Ｅは、不確実性要素を生成するための方法を示す。工程４３６において、不確実性領域（例えば、複数のピクセル、又は、画像内の１つの要素、対象物、主体の周囲の少なくとも一部を囲むピクセルの領域）が生成され得る。一例として、不確実性要素を、不確実性領域として視覚化することができる。１つの態様においては、不確実性領域は、動きベクトル及び変換された動きベクトル（例えば、工程４２０で生成された動きベクトルの反転）の１つ以上から実質的に推定されている１つ以上のピクセルであり得る。一例として、不確実性領域のサイズは、遅延値に基き得る。更なる例として、不確実性領域のサイズはベクトルの大きさに比例する。更なる例として、不確実性領域のサイズは正確値に比例する。追加的な例として、不確実性領域のサイズは、許容できる誤差に比例する。

１つの態様においては、不確実性要素は、不確実性のレベルをユーザーに伝えるインジケータ又はグラフィックを含み得る。一例として、インジケータは、メータ、ゲージ、又は目盛り、色のスペクトラム、不確実性の定量的な表現（例えば、不確実性因子）及び／又は遅延の定量的な表現（例えば、不確実性因子）であり得る。他の例として、他の視覚化方法が用いられない場合に、インジケータを視覚化として表現することができる。更なる例として、画像内の不確実性を、反応的な要素（例えば、過去の位置及び／又は動きについての不確実性）として、又は予言的要素（例えば、未来の位置及び／又は動きについての不確実性）として、インジケータは表現することができる。１つの態様においては、ベクトルマップ内の、（例えば、工程４０４に由来する）不確実性因子により増減させた１つ以上のベクトルの大きさを合算したものが時間とともに変化するのを、インジケータは反映することができる。他の態様において、１つ以上のフレーム又は画像に対する動きの総計が変化するのを、インジケータは反映することができる。

工程４３８において、視覚化したものを表現することができる。１つの態様においては、視覚化したものは、不確実性要素を表現することができる。一例として、視覚化したものは、ピクセルに着色をしたもの、アイコン、インジケータ、及び／又はピクセルをぼかしたものを含むことができる。他の例として、視覚化を実行するために、オープングラフィックスライブラリ（ＯｐｅｎＧＬ）のようなソフトウェアを用いることができる。更なる例として、フレーム又は画像の一部分（例えば、多角形）に、視覚化されたものを表現することができる。

例示的な一例として、図４Ｆは不確実性因子を決定するための方法を示す。工程４４０において、遅延値が決定され得る。一例として、遅延値は、ネットワーク遅延、ローカルの遅延、及びジッターの１つ以上を含み得る。更なる例として、外部のデバイス又はプログラム（例えば、コーデック）から、ネットワーク遅延値を読み出す（例えば、サンプリングする）ことができる。更なる例として、ネットワーク遅延は、あらかじめ決められた時間的期間（例えば、１秒）に基いて、繰り返しサンプリングされ得る。１つの態様においては、ネットワーク遅延は、ある時間的期間にわたって観測された遅延のローリング平均値をとることにより読み出すことができる。１つの態様においては、ネットワーク遅延は、ジッターを含み得る。１つの態様においては、ローカルの遅延（例えば、キャプチャ、処理、描画サイクル）が決定され得る。１つの態様においては、１つ以上の画像（例えば、複数の画像のフレーム）に、それがキャプチャされた瞬間から表示された瞬間に至るまで、タイムスタンプをつけることができる。

工程４４２において、フレームオフセット又は遅延オフセットが決定され得る。一例として、フレーム遅延は、ローカルの遅延及びネットワーク遅延の１つ以上に基いたフレームオフセットにより、定義され得る。更なる例として、フレームオフセットは、総遅延を、表現される画像を表現するレート（例えば、毎秒のフレーム数）で乗算することで決定され得る。工程４４４において、フレーム又は画像が配置される。例示的な一例として、図４Ｇは、（例えば、システムメモリ１５１２に格納されているような）一連のフレーム又はフレームのシーケンスを示す。典型的には、フレームは時間軸Ｒに対して処理される。一例として、複数の画像が、フレームＸ、Ｙ、Ｚ、及びＵのシーケンスとして表現されることができる。更なる例として、フレームのそれぞれが、タイムスタンプＡ、Ｂ、Ｃ、及びＤ、並びに逐次的フレーム識別子Ｅ、Ｆ、Ｇ、及びＨのような識別子を含み得る。１つの態様においては、第１フレームは現行フレームＵであり、且つ第２フレームＸは、一連の画像又は画像のシーケンスのフレームの中の先行フレームであり得る。１つの態様においては、フレームオフセットＬは、フレームＵのフレーム識別子Ｈからフレームオフセットを減算することによって、現在表現されている画像Ｕに対して、先行画像Ｘを配置するために用いることができる。他の態様において、現在表現されている画像Ｕ（例えば、フレーム）のタイムスタンプから画像Ｘのタイムスタンプを減算することによって、フレーム遅延Ｎが決定され得る。

再び図４Ｆを参照して、工程４４６において、不確実性要素が生成され得る。１つの態様においては、不確実性要素は、工程４４４でその配置位置を決定したフレームを表現することを含み得る。一例として、その配置位置を決められたフレームは、ローカルの画像とマージすることができる。１つの態様においては、不確実性要素は、配置位置を決められたフレームの、重ねられた画像又は薄像化した画像を含むことができる。一例として、薄像化した画像は、ローカルの画像とマージされた、処理済のイメージであり得る。

１つの態様においては、薄像化した画像の不透明度は変化することができる。例えば、薄像化した画像の不透明度は、図４Ｈに示したグラフに基いて変化し得る。図４Ｈに示すように、現在表現されている画像フレームＵの不透明度を、１にセットしてもよい。先行フレームＹ、Ｚの不透明度は、直線的に減少していてよく、且つその後、配置位置を決められたフレームＸに向かって増加していてよい。しかし、薄像化した画像の不透明度は、任意の関数に基いて、又は任意のグラフに沿って変化させることができる。

例示的な一例として、図４Ｉに示すように、視覚化したものは、ユーザーがペン、その他の対象物、又は道具を動かしているのを表現することができる。したがって、現在表現されているフレーム４４８を、先行フレーム４４８’からの動きアーチファクトにより、薄像化することができ、ユーザーが、リモートのユーザーにより現在見られていて、反応されているフレームを視覚化することを、効果的に可能にする。更なる例として、現在表現されているフレーム４４８と先行フレーム４４８’との間のフレームのシーケンスを薄像化することができる。先行するフレーム４４８’に示されるように、ペン４５２を持っているユーザーの右手４５０が、手術野４５４で、切開の計画をしている。リモートのユーザー４５６が、指示を出している。現在表現されているフレーム４４８においては、ペン４５２を持っているユーザーの右手４５０が、動き出すが、動きアーチファクト４５８、４５９は、リモートのユーザーにより現在見られているフレームを視覚化するのを可能にする。このことで、現在反応されていることと現在起こっていることとの間の相違について、ユーザーに対し警告を発するのが可能になっている。１つの態様においては、視覚化には、不確実性の対象物を表現するピクセル又は不確実性の対象物の近くにあるエリアを表現するピクセルをぼかすことが含まれ得る。一例として、現在表現されている画像があるレベルの不確実性を含んだものであることを視覚的に表現するために、着色又は警告色を用いることができる。

例示的な一例として、図４Ｊは、双方向キャプチャ、処理、及び画像のディスプレイ（例えば、ディスプレイ３０２、３０４（図３参照））上への表現を示す。典型的には、フレームは時間軸４６０に対して処理をされる。第１フレーム４６２は、（例えば、センサ３０６によりキャプチャされ、ディスプレイ３０２上に視覚化される）要素４６４を有するように、図示されている。第２フレーム４６６は、（例えば、センサ３０８によりキャプチャされ、ディスプレイ３０４上に視覚化される）要素４６８を有するように、図示されている。要素４６４が垂直下向きの動きにそって動くにつれて、第１フレーム４６２の薄像４６９（例えば、工程４４６に由来する）が、第３フレーム４６２’内（例えば、ディスプレイ３０２上に）視覚化されることができるまた、要素４６８は、（例えば、工程４３６由来の）不確実性領域４７０とともに表現されることができる。

１つのディスプレイ（例えば、ディスプレイ３０４）上には、要素４６８が、第２フレーム４６６内に示されている。要素４６８が左に動くにつれて、第２フレーム４６６の（例えば、工程４４６由来の）薄像４７２が、第４フレーム４６６’上に（例えば、ディスプレイ３０４上に）、視覚化されることができる。また、要素４６４は、第４フレーム４６６’内に、不確実性領域４７４（例えば、工程４３６由来）とともに表現されることができる。

１つの態様においては、図４Ｊに図示された例が、リモートのユーザーにより反応させられているセンサ３０６、３０８によってキャプチャされたローカルの画像を、ディスプレイ３０２、３０４のビューワーが視覚化することを可能にする。更に、図４Ｊに図示された例が、リモートのセンサ３０６、３０８によりキャプチャされている現行の画像の推定をディスプレイ３０２、３０４のビューワーが見ることを可能にする。このようにして、ローカルの及びネットワーク遅延の効果は、ビューワーの視点からは減少し得る。

図５は、例示的仮想プレゼンスシステムを示す。そのようなシステムの１つは、同一のセッションに参加するそれぞれのリモートの参加者により使用されることができる。それぞれのシステムは、ネットワーク接続を通じて互いに通信可能になっている。例えばリモートの場所どうしは、インターネットを通じて接続されることができる。それぞれのシステム内の複数のコンピュータ間で、タスクを分割処理することができる。例えば、１つのコンピュータ（グラフィックサーバ）が、ローカルのカメラから画像を収集し、ネットワークサーバが、立体画像合成のタスクを実行し、ローカルの立体ディスプレイシステムを駆動するようにすることができる。更なる例として、システム３００の、１つ又は複数のプロセッサ３１０は、グラフィックサーバによって具現化されることができる。

図６は、グラフィックサーバを用いて実行できる例示的処理を示す。画像は、ローカルのデータ構造（フレームリング）に収集されることができる。ローカルの画像は、複数のカメラ、例えば２つのカメラから収集されることができる。リモートの画像は、例えば高速のリモートダイレクトメモリアクセス（ＲＤＭＡ）接続を介して、ネットワークサーバによって提供されることができる。これらの画像は、リモートのユーザー及びローカルのユーザーが（図３にあるように）同じシーンの中に見えるように組み合わされることができる。この合成された画像は、ローカルの立体ディスプレイシステムに送信されることができる。第２のコンピュータが、ネットワークサーバとして動作することができるが、当該ネットワークサーバは、例えば、ネットワークの符号化／復号化のタスク、及び深度マップ生成等を実行することができる。

図７は、ネットワークサーバを用いて実行できる例示的処理を示す。グラフィックサーバから、リモートダイレクトメモリアクセス接続を介して収集されたローカルの画像は、解析され、深度情報でマッピングされ、効率的なネットワーク送信のために符号化され、リモートの場所に存在する対応するネットワークサーバによって受信されるように、外部のネットワーク接続に送信されることができる。同時に、リモートの場所から送られてくる符号化された画像及び深度マップが受信され、復号化され、リモートダイレクトメモリアクセス接続を介して、ローカルのグラフィックサーバに提供されることができる。

システムは、ネットワークサーバに接続された制御用端末で、ユーザーにより制御されることができるが、ユーザーは、ネットワークサーバへの専用のネットワーク接続を介して、グラフィックサーバにアクセスし、それを制御することができる。

仮想インタラクティブプレゼンスのパラメータは、使用されるシステムに依存して異なるように構成されることができる。構成可能なパラメータには、仮想的な要素のサイズ、仮想的な要素の存在のあり方（不透明、半透明等）、仮想プレゼンスの時間（時間は、遅延させる、遅くさせる、速くさせる等に構成され得る）、仮想的要素と現実の要素の任意の組み合わせが重ね合わされることができて、及び／又は互いに上下に「適合」させられるような要素の重ね合わせ、等が含まれるが、それらに限られない。

図８は、例示的ＶＩＰディスプレイの側面図を示す。図９は、ユーザーから見た例示的ＶＩＰディスプレイの図を示す。図１０は、ユーザーから見た例示的ＶＩＰディスプレイの図を示す。

本明細書において用いる「ローカルの」対象フィールドという用語は、ローカルの物理的フィールド及びローカルのユーザーを指すことができ、その結果、他のすべてのフィールドはリモートのフィールドということになる。それぞれのフィールドは、そのローカルな物理的ユーザーにとってローカルである一方、他のユーザーにとってはリモートのフィールドである。これらの複数のフィールドを合成したものが、共通の対象フィールドとなり得る。これは、共通の「仮想的な世界」というものとは、共通の対象フィールドのローカルな表現内に「現実的」な構成要素が存在することが可能であるという点、及び、インタラクションが、ユーザーや対象物を表現したグラフィックアバター間でのみ可能というのではなく、物理的対象物を動画（及びその他の）表現したものの間で可能であるという点で、異なっている。提供される方法及びシステムは、仮想インタラクティブプレゼンスが、現実の及び仮想的な構成要素のインタープレイによって、物理的領域を変更／最適化することを可能にする。

図１１に図示される１つの態様においては、仮想インタラクティブプレゼンスのための方法が提供されるが、当該方法は、リモートのユーザー及びローカルのユーザーの物理的プレゼンスを反映する共通の対象フィールドを表現すること（工程１１０１）と、共通の対象フィールドにおけるリモートのユーザー及びローカルのユーザーのインタラクションを表現すること（工程１１０２）と、リモートのユーザーのプレゼンスがローカルのユーザーに対してリアルタイムで表現され、ローカルのユーザーのプレゼンスが、リモートのユーザーに対してリアルタイムで表現されるように共通の対象フィールドを継続的に更新すること（工程１１０３）と、を含む。

リモートのユーザーが、当該共通の対象フィールドをローカルのユーザーと同様に体験できるように、共通の対象フィールドは表現されることができる。ローカルのユーザーは、共通の対象フィールドにおいて、リモートのユーザーと継続的にインタラクションが可能になるように、リモートのユーザーの物理的なプレゼンスを体験することができる。上記方法は、ローカルの対象物の物理的プレゼンスを共通のフィールド内に表現することと、ローカルのユーザーとローカルの対象物との間の共通のフィールドにおけるインタラクションを表現することと、をさらに含むことができる。上記方法は、ローカルの対象物の物理的プレゼンスを共通の対象フィールドにおいて表現することと、リモートのユーザーとローカルの対象物との間の共通の対象フィールドにおけるインタラクションを表現することと、をさらに含むことができる。

図１２に図示される他の態様においては、仮想インタラクティブプレゼンスのための方法が提供されるが、当該方法は、ローカルの対象物、当該ローカルの対象物の３次元イメージ、及びローカルのユーザーの物理的プレゼンスを反映するローカルの対象フィールドを表現すること（工程１２０１）と、ローカルの対象フィールドにおけるローカルの対象物、３次元画像、及びローカルのユーザーのインタラクションを表現すること（工程１２０２）と、ローカルの対象物及び当該ローカルの対象物の３次元画像のプレゼンスがローカルのユーザーに対してリアルタイムで表現されるようにローカルの対象フィールドを継続的に更新すること（工程１２０３）と、を含む。

ローカルの対象物は、例えば、患者であり、ローカルの対象物の３次元画像は、例えば、当該患者の一部の医学的画像であり得る。しかしながら、ローカルの対象物は、任意の対象物であり、ローカルの対象物の画像は、当該対象物を正確に表現した任意のものであり得る。例えば、ローカルの対象物は、自動車用のエンジンであり、ローカルの対象物の画像は、当該の３Ｄグラフィック等であり得る。

医学的画像は、例えば、レントゲン画像、ＭＲＩ画像、又はＣＴ画像であり得る。上記方法は、ローカルのユーザーによって、３次元画像をローカルの対象物の上に重ね合わせることをさらに含むことができる。この重ね合わせは、コンピュータによって自動的に実行されることができる。

上記方法は、ローカルのユーザーによって、３次元画像の属性を調節することをさらに含むことができる。そのような属性は、透明度、空間的位置、及び縮尺のうちの１つ以上であり得る。

上記方法は、ローカルの道具をローカルの対象フィールドに表現することをさらに含むことができる。上記方法は、ローカルの道具を、ローカルの対象物を表現したものと正確な空間的関係で表現することをさらに含むことができる。上記道具は、例えば、外科手術用器具のような、任意のタイプの道具であり得る。

他の態様において、仮想的なプレゼンスのためのシステムが提供されるが、当該システムは：共通の対象フィールドを表示するように構成されている仮想プレゼンスディスプレイと；ローカルの仮想プレゼンスデータを取得するように構成されているローカルのセンサと；ローカルの仮想プレゼンスデータを送信し、リモートの仮想プレゼンスデータを受信するように構成されているネットワークインターフェイスと；仮想プレゼンスディスプレイ、ローカルのセンサ、及びネットワークインターフェイスに結合されているプロセッサと、を含む。当該システムにおいて、プロセッサは：リモートのユーザー及びローカルのユーザーの物理的プレゼンスを、ローカルの仮想プレゼンスデータ及びリモートの仮想プレゼンスデータに基いて反映する共通の対象フィールドを表現することと；リモートのユーザー及びローカルのユーザー間の、共通の対象フィールドにおけるインタラクションを表現することと；リモートのユーザーのプレゼンスが、ローカルのユーザーに対してリアルタイムで表現され、ローカルのユーザーのプレゼンスが、リモートのユーザーに対してリアルタイムで表現されるように、共通の対象フィールドを継続的に更新することと；及び共通の対象フィールドを仮想プレゼンスディスプレイに出力することと、を含む諸工程を実行するように構成されている。

仮想プレゼンスディスプレイは、立体視ディスプレイ、及び（ＣＲＴ、ＬＣＤ等のような）平面視ディスプレイ等の１つ以上であり得る。センサは、カメラ、赤外線センサ、深度スキャンセンサ等の１つ以上であり得る。リモートのユーザーが、当該共通の対象フィールドをローカルのユーザーと同様に体験できるように、共通の対象フィールドは表現されることができる。ローカルのユーザーは、共通の対象フィールドにおいて、リモートのユーザーと継続的にインタラクションが可能になるように、リモートのユーザーの物理的なプレゼンスを体験することができる。

プロセッサは、共通の対象フィールドにローカルの対象物の物理的プレゼンスを表現することと、共通の対象フィールドにおける、ローカルのユーザー及びローカルの対象物のインタラクションを表現することと、を含む諸工程を実行するようにさらに構成され得る。

プロセッサは、共通の対象フィールドにローカルの対象物の物理的プレゼンスを表現することと、共通の対象フィールドにおける、リモートのユーザー及びローカルの対象物のインタラクションを表現することと、を含む諸工程を実行するようにさらに構成され得る。

仮想的なプレゼンスのためのシステムが更に提供されるが、当該システムは：ローカルの対象フィールドを表示するように構成されている仮想プレゼンスディスプレイと；ローカルの仮想プレゼンスデータを取得するように構成されているローカルのセンサと；仮想プレゼンスディスプレイ及びローカルのセンサに結合されているプロセッサと、を含む。当該システムにおいてプロセッサは：ローカルの対象物及びローカルのユーザーの物理的プレゼンスを、ローカルの仮想プレゼンスデータ及びローカルの対象物の３次元画像に基いて反映するローカルの対象フィールドを表現することと；ローカルの対象物、３次元画像、及びローカルのユーザーの間の、ローカルの対象フィールドにおけるインタラクションを表現することと；ローカルの対象物のプレゼンス及びローカルの対象物の３次元画像が、ローカルのユーザーに対してリアルタイムで表現されるように、ローカルの対象フィールドを継続的に更新することと；及び、ローカルの対象フィールドを仮想プレゼンスディスプレイに出力することと、を含む諸工程を実行するように構成されている。

仮想プレゼンスディスプレイは、立体視ディスプレイ、及び（ＣＲＴ、ＬＣＤ等のような）平面視ディスプレイ等の１つ以上であり得る。センサは、カメラ、赤外線センサ、深度スキャンセンサ等の１つ以上であり得る。

ローカルの対象物は、例えば、患者であり、ローカルの対象物の３次元画像は、例えば、当該患者の一部の医学的画像であり得る。医学的画像は、例えば、レントゲン画像、ＭＲＩ画像、又はＣＴ画像であり得る。しかしながら、ローカルの対象物は、任意の対象物であり、ローカルの対象物の画像は、当該対象物を正確に表現した任意のものであり得る。例えば、ローカルの対象物は、自動車用のエンジンであり、ローカルの対象物の画像は、当該の３Ｄグラフィック等であり得る。

プロセッサは、ローカルのユーザーにより、３次元画像をローカルの対象物上に重ね合わせることを含む諸工程を実行するよう更に構成されることができる。プロセッサは、ローカルのユーザーにより、３次元画像の属性を調節することを含む諸工程を実行するよう更に構成されることができる。そのような属性は、透明度、空間的位置、及び縮尺のうちの１つ以上であり得る。

プロセッサは、ローカルの道具をローカルの対象フィールドに表現することを含む諸工程を実行するように、更に構成されることができる。プロセッサは、ローカルの道具を、表現されるローカルの対象物との間で正確な空間的関係になっているように表現することを含む諸工程を実行するように、更に構成されることができる。

開示される方法及びシステムは、幅広い用途を持ち得る。例えば、外科手術、ゲーム、機械工学、軍需品、戦場でのプレゼンス、教育的業務（訓練）、及び／又はその他の状況で、インタラクションがそのシナリオの一部になっているもの、があげられる。

また、リモートのエキスパートがローカルの手術野内に仮想的に存在するのを可能にする方法及びシステムも開示されている。仮想インタラクティブプレゼンスは、互いにリモートの位置にある２人の外科医が、１件の外科手術をインタラクティブに実行するのを可能にするために用いられ得る。当該方法及びシステムは、２人以上の手術医が仮想的かつインタラクション可能に、同じ現実の術野に存在することを可能にし、リモートからの支援を行い、外科的専門知識・技術をエクスポートできるようにする。

上記方法及びシステムは、助言的及び指導的目的で、手術に関する解剖学的構造の撮像データを、解剖学的構造そのものの上に重ね合わせるためにも用いることができる（拡張現実）。上記方法及びシステムは、学生の訓練目的で用いることができる。上記方法及びシステムは、ロボットの操作者を指導するために、エキスパートをロボット運用のフィールドに仮想的に連れてくることで、ロボット工学の分野を、拡張し、増大させる。上記方法及びシステムは、エキスパートの手を直接に、内視鏡手術のフィールドに、ガイダンス目的で挿入することで、内視鏡手術に適用可能である。上記方法及びシステムは、リモートのエキスパートの支援を、急患を扱える基本的技術を有する一方で、仮想的なインタラクションから学ぶことがあるような実際のローカルの執刀医に対して提供することで、リモートの外科手術を拡大する。上記方法及びシステムは、救急的外傷治療の現場及びその他の医学的環境において用いることができる。上記方法及びシステムは、リモートの支援を、工学、建設、建築等をはじめとするその他の分野において提供するために用いることができる。開示される方法及びシステムは、専門知識・技能を、リモートの「それを必要としている場所」に伝え、現代の撮像を直接手術野にマージし、外科の学生を訓練するために用いることができる。

リモートの執刀医を指導し支援する目的で、ローカルのエキスパートの手術の手技をリモートの執刀医に伝えるための例示的リモートの外科手術支援システムが、図１３に示されている。リモートの執刀医は、両眼用の動画システムを用いて、リモートの手術野を見ることができる。上記動画システムは、手術野を、手術を行っている執刀医の手及び器具とともに映し出すことができる。映し出されたものを見るためのシステムは、手術用ビデオスコープと呼ぶことができる。

リモートの手術野を両眼用の動画で表現したものは、ローカルのエキスパートに送信され、ローカルのエキスパートは、手術を（今度は仮想的な）立体的に表現したものを、別の手術用ビデオスコープシステムを介して見ることができる。ローカルのエキスパートは、その手を仮想的な手術野に挿入することができ、そうすることで自身の現実の手を、仮想的なフィールド内で見ることができる。

ローカルのエキスパートの手を映した動画像は、リモートの執刀医の手術用ビデオスコープシステムに送り返されて、現実の手術野に重ね合わされる。するとリモートの執刀医は、その手術野内に、空間的／解剖学的に関連性のあるコンテクストで、エキスパートの仮想的な手を見ることができる。このシステムを用いると、ローカルのエキスパートは自らの手を使って、リモートの執刀医にどのようにして手術を執り行うかを示すことができる。

上記システムの例示的要素には、リモートの執刀医が手術を実行できるリモートのステーションと、例えば、据え付け型の顕微鏡に似た固定式立体ビデオスコープからなるリモートの手術用ビデオスコープシステムと、が含まれ得る。この装置は、リモートの執刀医が術野を見るために使用できる。任意の他のタイプの好適なＶＩＰディスプレイを用いることができる。上記システムは、両眼用の動画像を、ローカルのステーションにある同様のローカルの手術用ビデオスコープに映し出すことができる。上記ローカルの手術用ビデオスコープは、リモートの手術の両眼用動画像を受信することができ、且つローカルのエキスパートがそれを見ることを可能にする。ローカルのビデオスコープは、ローカルの執刀医の手が、ローカルのビデオスコープを通して見た仮想的なリモートの術野内を動く様子を見ることができる。次に、ローカルのビデオスコープは、リモートの執刀医が、エキスパートの仮想的な手を現実の術野内で見ることができるように、ローカルのエキスパートの手をリモートのビデオスコープに送信することができる。

本システムを用いれば、ローカルのエキスパートはリモートの執刀医に、手術を成功裏に完了できるようにする適切な手技を見せることができる。リモートの執刀医は、新しい手術を執り行うための基本的な技能を有していることができる。それゆえ、ローカルのエキスパートは、リモートの執刀医に対して、その技能のセットを適用するための新しい方法を見せればよい。上記システムは、リモートの執刀医にとって代わる必要はないが、その能力を高めるために用いることができる。リモートの執刀医は、どのような緊急手術にも対処できるように待機していることができるようになる。時間的遅延は最小化される。それは、リモートの執刀医が自らの手でタスクを実行でき、ローカルのエキスパートがリモートのロボット装置を走査する必要がなくなるためである。

また、現代の医学的撮像を術野にマージするための方法及びシステムも開示される。術野の３次元画像を取得することができる。例えば、頭部の３次元ＭＲＩを、手術の前に取得できる。画像データを再構成して、解剖学的構造の３次元表現を作ることができる。この表現は、術野を見るために用いられる手術用ビデオスコープに送ることができる。ビデオスコープを通じて、執刀医は、この半透明の、手術野に重ね合わされた３Ｄ表現を見ることができる。この場合、執刀医は、現実の頭部に重ね合わされた、表現された頭部をみることになる。手術用ビデオスコープインターフェイス内のソフトウェアツールを用いて、執刀医は表現された画像が現実の頭部に「フィット」するまで、回転させたり拡大縮小させたりすることができる。上記ビデオスコープシステムでは、執刀医が表現された頭部と現実の頭部とを別々にフェードさせることができるので、執刀医が現実の頭部の「中を見る」ことができ、手術を計画することができる。

上記システムの例示的要素は、執刀医がそれを通して手術野を見る手術用ビデオスコープビューイングシステムを含むことができる。３次元的に取得されたＭＲＩ／ＣＴ（又はその他の）画像を、実際の外科用解剖学的構造に合わせることができるようにするのに十分な解像度で再構成するためのコンピュータも含まれ得る。３次元の表現された画像は、執刀医がその画像を立体的に見ることができるように、ビデオスコープシステムを通じて表示されることができる。表現された解剖学的構造が、現実の解剖学的構造に重ね合わされることができるように、ソフトウェアインターフェイスが執刀医に、表現された解剖学的構造と現実の解剖学的構造との半透明性を変えることを可能にする。執刀医は、表現された解剖学的構造を「開く」ことができ、そうすることで画像の任意の／すべての内部の詳細をみることができるが、画像の詳細部分は、現実の解剖学的構造に関連している。手術用の道具は、表現された解剖学的構造に対して空間的に登録されることができる。そうすることで、その動きが追跡でき、画像に適用できるようになっている。

図１４に示すように、そのようなタスクの１つの例は、小さな対象物を、執刀医には見えなくなるように暗色のゼラチンの瓶の中に置くことがある。当該タスクは、執刀医が長い鉗子をゼラチンの中に到達させて、対象物に触れる又は掴むというものである。手術用ビデオスコープシステムが、ゼラチン入りの瓶の３次元スキャンを取得し、瓶を３次元で表現し、ビデオスコープを通じて両眼用の表現を表示することができる。執刀医は、その表現及び現実の瓶を、スコープシステムを通して見て、表現された瓶を現実の瓶の上にフィットさせることができる。それぞれの半透明性を調節することにより、執刀医は鉗子を現実の瓶の内部に到達させ、他の指定された対象物を回避しながら、選択された対象物を掴むことができる。

掴むための道具は、手術野の３次元表現に、空間的に登録されることができるが、そうすることで、道具のグラフィックが、適切な解剖学的向きになった手術野の表現内に表示されるのを可能にする。これにより、ガイダンスの向上が可能になる。これは現実の対象物（瓶）の指定された目標物を、画像表現システムと通信可能になっているデジタイザで触れ、対象物と探針の関係を定義することにより実現できる。対象物（瓶）は、瓶の画像に重ね合わされることで登録されているので、探針のグラフィックは、瓶の画像と関連させて表示されることができ、仮想的な外科手術が可能になる。

本システムが使用できる状況は多数ある。例えばリモートの外科手術、医学的訓練、及び、遠隔医療等があり、遠隔医療は途上国や軍事的状況下で用いられ得る。患者から遠くにいる執刀医は、患者の近くにいる他の執刀医を支援することができ、患者近くの衛生兵を支援することができ、且つロボット外科手術システムとともに用いれば、外科手術を行うこともできる。他の例としては、通常の外科手術で仮想的な環境を用いる、拡張的又は強化された外科手術があり、そうしたものの一例は、内視鏡手術である。外科手術を、シミュレーションすることも可能である。互いに離れた場所にいる複数の執刀医が、実際に現実の患者に対して手術を行う前に、その手順を練習することが可能である。

その他の用途としては、外科手術前に患者の準備、内科的治療、予防的治療、疑似体験療法、恐怖感を減らすこと、障害のある人の訓練、及び技能向上等があげられる。

ビューワーは、受動立体偏光眼鏡（サングラスに似たもの）を介して、映し出されたものを見る。受動立体偏光眼鏡は、左目用の画像を左目に、且つ右目用の画像を右目に導くものである。これは正しくオフセットされた画像が、ソフトウェアにより適切に表現されれば、立体視の錯覚を与える。上記システムは、システムに機能的な損害を与えないその他のタイプの立体視ディスプレイによって置き換えられてもよい。立体視ディスプレイは、少なくとも２つのディスプレイプロジェクタに偏光レンズを装着したものと、光が拡散される際に偏光されるのを維持することができる背面の映写スクリーン材料と、ある特定の偏光をされた光のみをそれぞれの目が見るように制限する特別な眼鏡、及びビューワーと、を含むことができる。見られる画像は、理想的なビューワーの両目の異なる位置を反映するような、わずかに異なる視野の変換がなされて表現されることができる。１つのプロジェクタは、左目の位置用に表現された画像を表示し、且つ他方のプロジェクタは、右目の位置用に表現された画像を表示する。左目は左目用に表現された画像のみを見て、且つ右目は右目用に表現された画像のみを見るように、眼鏡が光を制限する。合理的な立体画像を提示されると、ビューワーは深度を感じる。

図１５は、開示される方法を実行するための例示的動作環境を示すブロック図である。本例示的動作環境は、動作環境の１つの例にすぎず、使用の範囲又は動作環境アーキテクチャの機能に関して、いかなる制限をも意図したものではない。また、本動作環境は、上記例示的動作環境に示されたいかなる１つの構成要素又はその組み合わせに依存している又はそれを必要としていると解釈すべきではない。

上記方法は、多くの他の一般的用途、又は特殊用途のコンピューティングシステム環境又は構成で動作可能である。上記システム及び方法とともに用いるのに好適な周知のコンピューティングシステム、環境、及び／又は構成の例には、パーソナルコンピュータ、サーバコンピュータ、ノート型デバイス、及びマルチプロセッサシステムが含まれるが、それらには限られない。追加的例としては、セットトップボックス、プログラム可能な消費者向け電化製品、ネットワークパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又はデバイスの任意のものを含む分散コンピューティング環境等があげられる。

上記方法は、コンピュータによって実行される、プログラムモジュールのようなコンピュータ指令の一般的コンテクストにおいて記述されていてよい。一般的に、プログラムモジュールは、特定のタスクを実行する又は特定の抽象的なデータタイプを実現する、ルーティーン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。システム及び方法は、通信ネットワークを介して繋がっているリモートの処理用デバイスによりタスクが実行される分散コンピューティング環境において実行されてもよい。分散コンピューティング環境においては、プログラムモジュールは、ローカルの、及びリモートの、メモリストーレッジデバイスを含むコンピュータストーレッジ媒体に置かれていてよい。

本明細書に開示される方法は、コンピュータ１５０１の形で設けられる、１つ以上の一般的用途のコンピューティングデバイスを介して実現され得る。コンピュータ１５０１の構成要素には、１つ以上のプロセッサ又は処理ユニット１５０３、システムメモリ１５１２、及び、例えばプロセッサ１５０３をシステムメモリ１５１２と結合する等、さまざまなシステムの構成要素どうしを結合するシステムバス１５１３が含まれ得るが、それらに限られない。

システムバス１５１３は、メモリバス又はメモリコントローラ、周辺バス、アクセラレイティッドグラフィックスポート、及びさまざまなバスアーキテクチャのうちの任意のものを用いたプロセッサ又はローカルバスを含む、いくつかの可能なタイプのバス構造の１つ以上を表現している。例として、そのようなアーキテクチャには、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャンネルアーキテクチャ（ＭＣＡ）バス、エンハンスドＩＳＡ（ＥＩＳＡ）バス、ベサ（ＶＥＳＡ）ローカルバス、及びメザニンバスとしても知られるペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスが含まれ得る。このバス、及び本明細書において特定されているすべてのバスは、有線又は無線ネットワーク接続上に実装し得る。バス１５１３、及び本明細書において特定されているすべてのバスは、有線又は無線ネットワーク接続上に実装することができる。また、プロセッサ１５０３と、マスストーレッジデバイス１５０４と、オペレーティングシステム１５０５と、アプリケーションソフトウェア１５０６と、データ１５０７と、ネットワークアダプタ１５０８と、システムメモリ１５１２と、入出力インターフェイス１５１０と、ディスプレイアダプタ１５０９と、ディスプレイデバイス１５１１と、及びヒューマンマシンインターフェイス１５０２と、を含むサブシステムのそれぞれは、物理的にはそれぞれ離れた場所にあり、この形式のバスを通じて接続されていて、事実上、完全な分散システムを実現している１つ以上のリモートのコンピューティングデバイス１５１４ａ、１５１４ｂ、１５１４ｃ内に包含され得る。

コンピュータ１５０１は、通常、コンピュータで読み取り可能な各種媒体を含む。そのような媒体は、コンピュータ１５０１によりアクセス可能であって、且つ揮発性媒体及び不揮発性媒体、並びに取り外し可能な媒体及び取り外し不可能な媒体を含む、任意の利用可能な媒体であり得る。システムメモリ１５１２は、ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ及び／又は読み取り専用メモリ（ＲＯＭ）のような不揮発性メモリの形の、コンピュータで読み取り可能な媒体を含む。システムメモリ１５１２は通常、データ１５０７のようなデータ、及び／又は、即座にアクセス可能であり、及び／又は現在処理ユニット１５０３により操作されているオペレーティングシステム１５０５及びアプリケーションソフトウェア１５０６のようなプログラムモジュールを格納する。

コンピュータ１５０１は、その他の取り外し可能な／取り外し不可能な、揮発性の／不揮発性の、コンピュータストーレッジ媒体を含んでいてもよい。例として、図１５は、コンピュータコード、コンピュータにより読み取り可能な指示、データ構造、プログラムモジュール、及びコンピュータ１５０１のためのその他のデータの不揮発性ストーレッジを提供し得るマスストーレッジデバイス１５０４を図示している。例えば、マスストーレッジデバイス１５０４は、ハードディスク、取り外し可能な磁気ディスク、取り外し可能な光学ディスク、磁気カセット又はその他の磁気ストーレッジデバイス、フラッシュメモリカード、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学的ストーレッジ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去・プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）等であり得る。

任意の数のプログラムモジュールがマスストーレッジデバイス１５０４に格納され得るが、そのようなプログラムモジュールの例としては、オペレーティングシステム１５０５及びアプリケーションソフトウェア１５０６がある。オペレーティングシステム１５０５及びアプリケーションソフトウェア１５０６のそれぞれ（又はそれらのなんらかの組み合わせ）には、プログラミング及びアプリケーションソフトウェア１５０６の諸要素が含まれていてよい。データ１５０７もまた、マスストーレッジデバイス１５０４に格納され得る。データ１５０７は、当該技術分野において既知の１つ以上のデータベースのうちの任意のものに格納され得る。そのようなデータベースの例としては、ＤＢ２（登録商標）、マイクロソフト（登録商標）アクセス、マイクロソフト（登録商標）ＳＱＬサーバ、オラクル（登録商標）ＭｙＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ等がある。上記データベースは集中型であり得るが、複数のシステムに分散されているものでも良い。

ユーザーは、コマンド及び情報をコンピュータ１５０１に、入力デバイス（不図示）を介して入力することができる。そのような入力デバイスの例には、キーボード、ポインティングデバイス（例えば、「マウス」）、マイクロフォン、ジョイスティック、シリアルポート、スキャナー、手袋及びその他の身体を覆うもののような触覚入力デバイス等が含まれるが、それらに限られない。これら及びその他の入力デバイスは、処理ユニット１５０３に、システムバス１５１３と結合されたヒューマンマシンインターフェイス１５０２を介して接続され得るが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）のような、その他のインターフェイス及びバス構造によって接続されてもよい。

ディスプレイデバイス１５１１も、システムバス１５１３に、ディスプレイアダプタ１５０９のようなインターフェイスを介して接続され得る。コンピュータ１５０１は、１つ以上のディスプレイアダプタ１５０９を有することができ、且つコンピュータ１５０１は１つ以上のディスプレイデバイス１５１１を有することができる。例えば、ディスプレイデバイスは、モニター、液晶ディスプレイ（ＬＣＤ）、又はプロジェクタであり得る。ディスプレイデバイス１５１１に加えて、他の出力用周辺機器には、コンピュータ１５０１に入出力インターフェイス１５１０を介して接続され得る、スピーカー（不図示）及びプリンター（不図示）のような構成要素が含まれ得る。

コンピュータ１５０１は、１つ以上のリモートのコンピューティングデバイス１５１４ａ、１５１４ｂ、１５１４ｃへの論理的接続を用いるネットワーク化された環境内で動作し得る。例として、リモートのコンピューティングデバイスは、パーソナルコンピュータ、携帯型コンピュータ、サーバ、ルーター、ネットワークコンピュータ、ピアデバイス、又はその他の通常のネットワークノード等であり得る。コンピュータ１５０１とリモートのコンピューティングデバイス１５１４ａ、１５１４ｂ、１５１４ｃとの間の論理的接続は、ローカルエリアネットワーク（ＬＡＮ）及び一般的な、広域ネットワーク（ＷＡＮ）を介してなされ得る。そのようなネットワーク接続は、ネットワークアダプタ１５０８を通じてなされ得る。ネットワークアダプタ１５０８は、有線及び無線環境の両方において実装可能である。そのようなネットワーキング環境は、オフィスにおいて、企業規模のコンピュータネットワークにおいて、イントラネットにおいて、及びインターネット１５１５においては普通のものである。

１つ以上のＶＩＰディスプレイ１５１６ａ、１５１６ｂ、１５１６ｃ、１５１６ｄ、１５１６ｅがコンピュータ１５０１と通信可能である。１つの態様において、ＶＩＰディスプレイ１５１６ｅが、入出力インターフェイス１５１０を通じてコンピュータ１５０１と通信可能になっている。この通信は、有線通信又は無線通信であり得る。リモートのＶＩＰディスプレイ１５１６ａ、１５１６ｂ、１５１６ｃは、コンピュータ１５０１と通信可能であるが、そのためにまず、当該リモートのＶＩＰディスプレイ１５１６ａ、１５１６ｂ、１５１６ｃがリモートのコンピューティングデバイス１５１４ａ、１５１４ｂ、１５１４ｃにそれぞれ通信可能となっており、次にリモートのコンピューティングデバイス１５１４ａ、１５１４ｂ、１５１４ｃが、ネットワークアダプタ１５０８を通じ、インターネット１５１５のようなネットワークを介して、コンピュータ１５０１に通信可能となっている。リモートのＶＩＰディスプレイ１５１６ｄは、リモートのコンピューティングデバイスを必要とせずに、コンピュータ１５０１と通信可能である。リモートのＶＩＰディスプレイ１５１６ｄは、インターネット１５１５のようなネットワークを介して通信可能である。ＶＩＰディスプレイ１５１６ａ、１５１６ｂ、１５１６ｃ、１５１６ｄ、１５１６ｅは、無線接続又は優先接続を通じて通信可能である。ＶＩＰディスプレイ１５１６ａ、１５１６ｂ、１５１６ｃ、１５１６ｄ、１５１６ｅは、個別に通信可能であるか、又は集合的に、ＶＩＰディスプレイネットワークの一部として通信可能である。

例示のために、そのようなプログラム及び構成要素は、時として、コンピューティングデバイス１５０１の異なるストーレッジ要素に存在し、且つコンピュータの１つまたは複数のデータプロセッサによって実行されるということは認識したうえで、アプリケーションプログラム及びオペレーティングシステム１５０５のようなその他の実行可能なプログラム構成要素は、ここでは個別のブロックとして図示されている。アプリケーションソフトウェア１５０６の実装は、何らかの形のコンピュータにより読み取り可能な媒体に格納されるか、そうした媒体を介して送信されてよい。コンピュータにより読み取り可能な媒体は、コンピュータによりアクセス可能な任意の利用可能な媒体であり得る。制限する意図ではなく例示として、コンピュータにより読み取り可能な媒体は、「コンピュータストーレッジ媒体」及び「通信媒体」を含んでいてよい。「コンピュータストーレッジ媒体」は、コンピュータで読み取り可能な指令、データ構造、プログラムモジュール又はその他のデータのような情報の格納のための任意の方法又は技術で実現される媒体であって、揮発性及び不揮発性の、取り外し可能な及び取り外し不可能な媒体を含む。コンピュータストーレッジ媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学ストーレッジ、磁気カセット、磁気テープ、磁気ディスクストーレッジ又はその他の磁気ストーレッジデバイス、又は所望の情報を格納するために使用可能であり、且つコンピュータによってアクセス可能な任意の他の媒体が含まれるが、それらに限られない。

特にそうでないと明示的にことわらない限り、本明細書において記載されているいかなる方法も、その複数の工程をある特定の順序で実行することを必要とするものとして理解することを全く意図されていない。したがって、方法の請求項が実際に、その複数の工程が従うべき順序を指定していない場合、又は複数の工程が特定の順序に制限されるということが具体的に、発明の概念又は説明において記述されていない場合、いかなる点においても、ある順序が暗示されているということを意図するものではまったくない。このことは、複数の工程の配列又は作業のフローに関する論理の問題、文法的組織又は句読法に起因する明白な意味の問題、明細書に記載された実施形態の数又はタイプの問題を含む、いかなる可能な、明言されていない解釈の根拠についても同様である。

さまざまな修正および変更を、本方法及びシステムに、その範囲又は精神から逸脱することなく施し得るということは当業者には明らかであろう。明細書及びそこに開示される実践を考慮すれば、他の実施形態が当業者には明らかであろう。明細書及び例が、あくまでも例示的なものとして考慮されて、以下に続く特許請求の範囲により、その真の範囲及び精神が示されるということが意図されている。

Claims (13)

1. コラボレーション環境内の不確実性の視覚化を提供する方法であって、
   前記方法は、
   コンピューティングデバイスによって、動画シーケンス内の第１の画像から第２の画像への前記動画シーケンス内の要素の動きを決定することと、
   前記コンピューティングデバイスによって、前記第１の画像から前記第２の画像へ向かう動きベクトルを生成することであって、前記動きベクトルは、前記決定された動きに基づいて生成される、ことと、
   前記コンピューティングデバイスによって、遅延値を決定することであって、前記遅延値は、あらかじめ決められた時間的期間にわたって繰り返しサンプリングされたネットワーク遅延と、画像のキャプチャからローカルプロセッサを介した前記画像の表示までの時間差を示すローカルの遅延とを含む、ことと、
   前記コンピューティングデバイスによって、前記生成された動きベクトルによって乗算されるように構成されたスカラー値を含む正確値を決定することであって、前記正確値は、前記動画シーケンスのコンテクストに依存する、ことと、
   前記コンピューティングデバイスによって、不確実性要素を、前記動きベクトルと、変換された動きベクトルと、前記遅延値と、前記正確値とに基づいて生成することであって、前記不確実性要素は、前記動きベクトルおよび前記変換された動きベクトルのうちの１つ以上から推定されているピクセルの不確実性領域を含み、前記不確実性領域のサイズは、前記動きベクトルまたは前記変換された動きベクトルの大きさに比例する、ことと、
   前記コンピューティングデバイスによって、ピクセルのぼかしおよび着色のうちの少なくとも１つを含む視覚化として前記不確実性要素を複数のコラボレーションユーザのうちの少なくとも一人のコラボレーションユーザに表現することを生じさせることと
   を含む、方法。
2. 前記動きは、動き推定アルゴリズムから決定される、請求項１に記載の方法。
3. 前記動きは、ブロックマッチングアルゴリズムから決定される、請求項１に記載の方法。
4. 前記第１の画像は、現行フレームであり、前記第２の画像は、前記動画シーケンスの先行フレームである、請求項１に記載の方法。
5. 前記不確実性要素は、インジケータである、請求項１に記載の方法。
6. 前記不確実性要素は、前記正確値と前記動きベクトルの向きが逆のベクトルとを乗算することによって生成される、請求項１に記載の方法。
7. 前記不確実性領域は、不確実性のレベルを示す警告色として表現される、請求項１に記載の方法。
8. 前記正確値は、許容できる誤差を含む、請求項１に記載の方法。
9. コラボレーション環境内の不確実性の視覚化を提供する方法であって、
   前記方法は、
   コンピューティングデバイスによって、遅延値を決定することであって、前記遅延値は、あらかじめ決められた時間的期間にわたって繰り返しサンプリングされたネットワーク遅延と、画像のキャプチャからローカルプロセッサを介した前記画像の表示までの時間差を示すローカルの遅延とを含む、ことと、
   前記コンピューティングデバイスによって、前記遅延値に基づいて、第１の画像に対する遅延オフセットを決定することと、
   前記コンピューティングデバイスによって、前記第１の画像からの前記遅延オフセットに基づいて、第２の画像を配置することと、
   前記コンピューティングデバイスによって、前記第１の画像に重なる、動きの薄像を生成することと
   を含み、
   前記動きの薄像は、少なくとも前記第２の画像の一部を含み、前記動きの薄像は、前記第１の画像の不透明度とは異なる不透明度を有する、方法。
10. 前記第１の画像は、現行フレームであり、前記第２の画像は、一連の画像中の先行フレームである、請求項９に記載の方法。
11. 前記遅延オフセットは、前記遅延値をフレームレートで乗算することによって決定される、請求項９に記載の方法。
12. 前記第２の画像は、前記遅延オフセットを前記第１の画像のフレーム識別子から減算することによって配置される、請求項９に記載の方法。
13. コラボレーション環境内の不確実性の視覚化を提供する方法であって、
    前記方法は、
    コンピューティングデバイスによって、動画シーケンス内の第１のフレームから第２のフレームへの前記動画シーケンス内の要素の動きを決定することと、
    前記コンピューティングデバイスによって、前記第１のフレームから前記第２のフレームへ向かう動きベクトルを生成することであって、前記動きベクトルは、前記決定された動きに基づいて生成される、ことと、
    前記コンピューティングデバイスによって、不確実性因子を決定することであって、前記不確実性因子は、前記動きベクトルと、変換された動きベクトルと、決定された遅延値とに基づき、前記遅延値は、あらかじめ決められた時間的期間にわたって繰り返しサンプリングされたネットワーク遅延と、画像のキャプチャからローカルプロセッサを介した前記画像の表示までの時間差を示すローカルの遅延とを含む、ことと、
    前記コンピューティングデバイスによって、前記不確実性因子に基づいて、不確実性要素を生成することと、
    前記コンピューティングデバイスによって、前記第１のフレームの一部に重なるように前記不確実性要素が複数のコラボレーションユーザのうちの少なくとも一人のコラボレーションユーザにグラフィック的に表現されることを生じさせることと
    を含み、
    前記不確実性要素は、前記第１のフレームの不透明度とは異なる不透明度を有する、方法。

Images