JP2006506737A - 身体中心的な仮想対話型装置および方法 - Google Patents
身体中心的な仮想対話型装置および方法 Download PDFInfo
- Publication number
- JP2006506737A JP2006506737A JP2004553552A JP2004553552A JP2006506737A JP 2006506737 A JP2006506737 A JP 2006506737A JP 2004553552 A JP2004553552 A JP 2004553552A JP 2004553552 A JP2004553552 A JP 2004553552A JP 2006506737 A JP2006506737 A JP 2006506737A
- Authority
- JP
- Japan
- Prior art keywords
- display
- information interface
- input information
- individual
- body part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
身体部分の位置検出装置(または複数の検出装置)12によって、所定の身体部分の位置に関する情報が、仮想映像触覚入力情報インタフェース発生装置12に与えられる。仮想映像触覚入力情報インタフェース発生装置12によって、身体部分に近接し、かつ身体部分に関する観察者の視点に適合するように適切に尺度化および配向された、情報インタフェースの仮想映像が構築される。続いてディスプレイ13によって観察者に映像が与えられる。情報インタフェースの映像を身体部分に極めて近接するように与えることによって、観察者が仮想映像と対話する時に適切な触覚感覚を経験する。
Description
一般に本発明は、仮想現実の表示およびユーザ始動の入力に関する。
仮想現実表示は、拡張現実表示および複合現実表示として当業者には公知である(本明細書で「仮想現実」は、文脈において特に他の指示がない限り、これらに関連する任意のまたは全ての概念を指すと一般に理解されるものである)。一般に、そのような表示によって、ユーザがその内部で占有および対話する所望の環境を提示するような方法で、ユーザに視覚情報が(時には対応する聴覚情報を伴って)与えられる。そのような表示は、多くの場合、ユーザの眼に比較的近接して装着される表示装置に与えられる。ユーザに与えられる情報は、完全に仮想的であってもよく、仮想および現実世界の視覚情報の複合からなってもよい。
そのような表示技術は現在比較的よく機能しており、視覚的に引き込まれる(compelling)仮想現実および視覚的に得心のゆく(convincing)仮想現実のうちの少なくとも1つをユーザに提供している。残念なことに、少なくとも幾つかの用途においては、そうした仮想現実と得心のゆくように対話するユーザの能力と表示技術の歩調が揃っていない。例えば、いわゆるテレプレゼンスにおける仮想現実表示を用いて、ユーザに、実際にはユーザから幾らか離れて位置する他の個人と、外見上直面した会談を行わせることが可能である。ユーザは、そのような個人の仮想表現を見ることおよび聞くことが可能であり、比較的得心のゆくかつ直感的な手法によって、そのような仮想表現と対話して通常の口頭発表を行うことが可能であるが、既存の仮想現実システムでは、同様の水準の触覚入力情報インタフェース(tactile-entry information interface )の機会は必ずしも与えられていない。
例えば、通常のコンピュータ・ディスプレイの仮想画面が本質的にユーザの視野の範囲内で停留することは知られている。ユーザは、例えば、通常の現実世界のマウスまたは他の現実世界のカソール制御デバイス(例えば、ジョイスティック、トラックボール、および他の位置/方向センサ)を用いて、この情報ポータル(portal)と対話する。このシナリオは幾つかの状況では適切であるが、多くの場合には、望まれるべき点を多く残す。例えば、空中に存在するディスプレイ・スクリーン(および特に、実質的に注視する方向にかかわらず常に見えたままのスクリーン)は、不快、非直感的、および気を散らせるのうちの少なくとも1つであると、ユーザが考えることもあり得る。
他の既存のアプローチには、仮想空間でユーザが対話可能である仮想入力インタフェース機構の提供が含まれる。例えば、仮想的な「接触感知」キーパッドを、あたかもユーザの前の空間に浮遊しているかのように表示することが可能である。適切なトラッキング機構を通じて、ユーザが物体(仮想ポインタまたは現実世界の指)を動かして特定のキーに「接触」する時をシステムが検出することが可能である。しかしながら、そのような解決手段に伴う特定の問題の1つは、そのようなアプローチを用いる場合にユーザへの触覚フィードバックが欠如していることである。例えば、接触感知表面との接触などをシミュレートする触覚フィードバックが存在しないと、少なくとも幾人かのユーザに対して、プロセスが相当に直感的でなくなることおよび相当に精密でなくなることのうちの少なくとも1つがあり得る。幾つかの従来技術では、コマンドに対して必要な触覚感覚を作り出すことが可能な追加のデバイス(特別なグローブなど)を用いることが提案されており、必要
な時にそのような触覚フィードバックを提供する手段に役立てられている。しかしながら、そのようなアプローチは全ての用途に対して必ずしも適切ではなく、また必然的に相当な量になり得る追加費用を伴う。
な時にそのような触覚フィードバックを提供する手段に役立てられている。しかしながら、そのようなアプローチは全ての用途に対して必ずしも適切ではなく、また必然的に相当な量になり得る追加費用を伴う。
上述の必要は、以下の詳細な説明に記載される身体中心的な(body-centric)仮想対話型装置および方法の提供を通じ、特に図面と共に熟読される場合には、少なくとも部分的には満たされる。
図における要素は平易性および明瞭性のために図示されており、必ずしも正しい縮尺で描かれていないことを当業者らは認めるであろう。例えば、図の要素のうち幾つかの寸法は、本発明の種々の実施態様の理解を進めるために、他の要素に比較して誇張され得る。また、商業的に適する実施態様において有用または必要である一般的であっても公知の要素は、本発明のそれらの種々の実施態様の観察を妨げないために、通常は描写されていない。
一般に、それらの種々の実施態様に従えば、身体中心的な仮想対話型デバイスには、少なくとも1つの身体部分位置検出装置と、位置検出装置に接続され、かつ所定の身体部分に近接し実質的に固定された関係にあるように触覚入力情報インタフェースの出力を与える、仮想映像触覚入力情報インタフェース生成装置と、ユーザが所定の身体部分およびそれに近接し実質的に固定された関連にある触覚入力情報インタフェースを見るようにその仮想映像を与えるディスプレイとが含まれる。
身体部分位置検出装置には、与えられた用途に対して適切であるように、マーカ・ベース・エンジンおよび認識/マッチング・ベース・エンジンのうちの少なくとも1つである1つ以上の種々の種類のエンジンが含まれ得る。実施態様によって、ユーザに見える所定の身体部分それ自身は、現実、仮想、またはそれらの組み合わせのいずれかであり得る。仮想的な情報インタフェースは、与えられた設定の環境に適するように、ユーザの皮膚、着衣、またはそれらの組み合わせの上に部分的または完全にオーバーレイされ得る。
それらの実施態様のうちの多くでは、ユーザに極めて近接するように(および好適には実質的に正角に)情報インタフェースの仮想映像を与えることによって、ユーザがその仮想映像と対話した時、例えば、特定のキーを選択した時に、ユーザがユーザ自身の皮膚または着衣と触覚接触をなす結果生じる対応する触覚フィードバックをユーザが受取るであろう。そのような接触は、例えば、ドローイング(drawing )面の仮想映像を描画する時に有用な参照触覚フレームを与えるために、特に有用であり得る。
このように構成されると、上記の実施態様は一般に、個人の身体の少なくとも所定の部分の現在位置を決定するステップと、触覚入力情報インタフェースの仮想映像を形成するステップと、個人の身体の所定の部分に関して近接しかつ実質的に固定された関係にあるように触覚入力情報インタフェースの仮想映像を含む表示を形成するステップを提供する。
ここで図面、詳細には図1を参照すると、身体部分位置検出装置11は、所定の観察者の視点に関する個人の所定の身体部分の現在位置を検出するように機能する。所定の身体部分は、以下に限定されないが、胴または、指、手、腕、もしくは脚、などの付属肢、またはそれらの任意の組み合わせもしくは部分を含む、任意の身体部分であることが可能である。さらに、所定の身体部分は、所与のコンテキストに対して適切であるように、部分的または完全に着衣されていても、またはされていなくてもよい。通例、観察者には、身
体部分位置検出装置によってその身体部分が検出される個人が少なくとも含まれる。しかしながら実施態様によっては、観察者に別の個人が含まれること、および各観察者が各々自身の対応する身体部分の視点を有する複数の観察者が存在することのうちの少なくとも1つが可能である。
体部分位置検出装置によってその身体部分が検出される個人が少なくとも含まれる。しかしながら実施態様によっては、観察者に別の個人が含まれること、および各観察者が各々自身の対応する身体部分の視点を有する複数の観察者が存在することのうちの少なくとも1つが可能である。
そのようにして個人の身体部分の位置を検出する既知の方法は多く存在しており、これらの実施態様はその点に関して特に限定されない。代わりに、これらの実施態様は、任意の1つ以上のそのような既知の手法または、以下に展開される検出手法を用いて、ある程度まで実行されることが可能である。そのような検出手法には、以下に限定されないが、視覚的位置マーカ、磁気的位置マーカ、ラジオ周波数位置マーカ、パターン・ベース位置マーカ、形状認識エンジン、ジェスチャ認識エンジン、およびパターン認識エンジンを用いる検出システムが含まれる。コンテキストおよび用途によっては、例えば、位置決定の精密さの増大、位置到達速度の増大、および監視範囲の増大のうちの少なくとも1つを可能とするために、1つより多くのそのような検出装置を用いること(検出装置の連合を容易にするために、同型の検出装置をより多く用いることまたは検出装置を複合して用いること)が望ましい場合がある。
仮想映像触覚入力情報インタフェース生成装置12は、身体部分位置検出装置から情報を受取る。この生成装置は、少なくとも部分的には、
・身体部分と情報インタフェースの仮想映像との間の、所望の実質的に固定された所定の空間および配向関係、および、
・所定の観察者の視点
の関数として、触覚入力情報インタフェースの仮想映像を生成するように機能する。そのように構成されると、インタフェース生成装置の仮想映像は、観察者には、触覚入力情報インタフェースが実際に個人によって着用されているかのように、所定の身体部分の近くにかつ本質的に取り付けられているように見える。
・身体部分と情報インタフェースの仮想映像との間の、所望の実質的に固定された所定の空間および配向関係、および、
・所定の観察者の視点
の関数として、触覚入力情報インタフェースの仮想映像を生成するように機能する。そのように構成されると、インタフェース生成装置の仮想映像は、観察者には、触覚入力情報インタフェースが実際に個人によって着用されているかのように、所定の身体部分の近くにかつ本質的に取り付けられているように見える。
ディスプレイ13は、生成された映像情報を受取り、結果として生じる集合像(imagery )を観察者に与える。好適な実施態様では、ディスプレイ13にはヘッドマウント・ディスプレイが含まれるであろう。図2を暫時参照すると、ヘッドマウント・ディスプレイ13は、観察者の両眼に対する視覚インタフェース21を有し得る。描かれているこの特定の実施態様では、眼のインタフェース21は実質的に不透明である。結果として、観察者22は、ディスプレイ13によって与えられるもののみを見る。そのようなディスプレイ13を用いることによって、触覚入力情報インタフェースの仮想映像のみならず、対応する身体部分の仮想映像も生成することが必要となるであろう。図3を暫時参照すると、ヘッドマウント・ディスプレイ13は、観察者22の単眼のみに対する視覚インタフェース31も有し得る。描かれているこの特定の実施態様では、眼のインタフェース31は少なくとも部分的に透明である。結果として観察者22は、ディスプレイ13によって与えられる仮想世界の映像に加え、少なくともある程度は現実世界を見ることが可能であろう。そのように構成されると、ディスプレイ13には、触覚入力情報インタフェースを描画することのみが必要となり得る。続いて、観察者の視覚および知覚の感覚によって現実世界で見える身体部分が情報インタフェースの仮想映像と統合され、所望の視覚的な結果が得られるであろう。
上述のディスプレイ13の実施例では例示することのみを意図しており、当然ながら、他の表示機構も互換的に用いられてよい。例えば、ヘルメット装着ディスプレイおよび他の頭部への装具に装着されるディスプレイは、同様の方式で機能するであろう。そのようなディスプレイは、仮想現実集合像用の透明および不透明なディスプレイのいずれをも含み、当業者には公知であることも認められるであろう。したがって、簡潔さを得るためおよび焦点を保つために、ここで詳細をさらに与える必要はない。
図4を参照すると、上述のプラットフォームまたは任意の他の適切なプラットフォームまたはシステムを用いて、プロセスによって、41にて、手または手首の領域など所定の身体部分の現在位置が決定される(当然の事ながら所望の場合には、この方法で1つより多い身体部分を監視して、ユーザの身体の種々の位置に配置された複数の触覚入力情報インタフェースの使用をサポートすることが可能である)。プロセスによって、続く42にて、対応する触覚入力情報インタフェースの仮想映像が形成される。例えば、情報インタフェースにキーパッドが含まれる時には、仮想映像には、所定の身体部分に関して近接しかつ付着して見えるような、特定の寸法、見かけ上の空間的位置、および配向を有するキーパッドが含まれるであろう。実施態様によっては、仮想映像が個人の身体の所定の部分の物理的な表面(典型的には、個人の皮膚と、衣服、他の着衣、または外衣とのうちの少なくとも1つ)に対して実質的に正角であるように、または少なくとも実質的に一致するように見え得る。
このプロセスによって仮想映像が身体部分に近くとも接触しないように配置される時には、幾らかの利点が得られるであろう。しかしながら、多くの用途では、仮想映像が身体部分の表面に一致するように見えるようにすることが好適であろう。そのように構成されると、ユーザが伝達する触覚入力情報インターフェースとしての仮想映像とユーザが対話する時に、ユーザが本来的に触覚フィードバックを利用することが可能である。
プロセスによって、続く43にて、身体部分と組み合わせられた仮想映像の表示が形成される。既述の通り、部分的には使用するディスプレイ13の種類によって、また、他の因子(オペレータが確立することを所望する仮想世界の没入感の指定水準など)によって、身体部分は、完全に現実、部分的に現実かつ部分的に仮想的、または完全に仮想的であり得る。身体部分が完全に現実世界である場合、ユーザの視覚および視覚知覚に2つの映像を見かけ上単一の映像に組み合わせることを可能とするような方法で、ディスプレイは仮想映像を与えるだけでよい。結果として生じる映像は、続く44にて、選択された観察者の選択されたディスプレイ上に提示される。
この方式にて、仮想的には無数の情報インタフェースを成功裏に描画することが可能である。例えば図5を参照すると、複数キーのキーパッド52を(この実例では、観察者の手の掌51の上に)描画することが可能である。当然の事ながら、キーパッド52は現実には存在しない。ディスプレイ13を介して観察者に見えるのみである。観察者がこの手を回転すると、ここでもやはり、キーパッドが観察者によって着用されているかのように、または観察者の一部であるように、キーパッド52も回転する。同様に、観察者が手を眼のより近くに動かすと、キーパッド52の寸法は手自体の増大する割合に適合して増大する。さらに、仮想キーパッド52を身体部分の極めて近接するように配置することによって、反対の手の指(図示せず)でキーのうち1つをアサートするように見える時に観察者は適切な対応する触覚感覚を受取るであろう。例えば、番号「1」を有するキーの上に指を置くことによってそのキーが選択およびアサートされて、その指と手の掌51との間の接触のために、ユーザは真の触覚感覚を感じるであろう。多くのユーザにとって、この接触感覚により相当な現実の感覚が追加されることによって、仮想現実経験が増強され得るであろう。
既述の通り、他の情報インタフェースも可能である。図6にはジョイスティック61の機構が描画されている。図7には書込エリア71が描写されている。書込エリア71は、例えば、いわゆるグラフィティ(grafiti )ベースの手書き認識または他の手書き認識形態による入力を可能にするために用いられ得る。仮想のコンテキストにおいては、適切な機構を用いることによって手書きをトラッキングすることが達成されるが、掌51(この実施例では)は、その上に書込(例えば、スタイラスでの)が生じ得る真の現実世界の表
面を提供する。ここでもやはり、この方式で身体部分の上に書込む時にユーザが経験する接触感覚によって、希薄な空中で同じ作用を達成しようとした時よりも相当に多くの引き込まれる経験が与えられる傾向にあるであろう。
面を提供する。ここでもやはり、この方式で身体部分の上に書込む時にユーザが経験する接触感覚によって、希薄な空中で同じ作用を達成しようとした時よりも相当に多くの引き込まれる経験が与えられる傾向にあるであろう。
図8には、さらに別の情報インタフェースの例が示される。ここでは、第1のスイッチ81は、任意の数の作用(例えば、仮想または現実世界の環境における固定照明または他のデバイスを制御することなど)をもたらすように設けられることが可能であり、第2のスライド・スイッチ82は、種々の種類の比例制御(仮想または現実世界の環境における照明の減光など)を行うように設けられることが可能である。図9には、いずれもホイール・インタフェースに基づく、さらに2つの他のインタフェースの例が示される。第1のホイール・インタフェース91には、身体部分の表面に対して垂直であるように、回転可能に装着され、回転されることによって何らかの対応する制御を行うことが可能なホイールが含まれる。第2のホイール・インタフェース92には、身体部分の表面に対して本質的に平行であるように、回転可能に装着され、やはり回転されることによって何らかの対応する制御を行うことが可能なホイールが含まれる。
これらの例は、例示することのみを意図するものであって、潜在的なインタフェースまたは用途を網羅的に一覧して見せることを意図するものでない。実際には、種々の広範なインタフェースの設計が(単独または組み合わせで)、本明細書で述べられている実施態様と容易に互換可能である。
図10を参照すると、特定の実施態様のさらに詳細な例では、身体部分位置検出装置11に、運動トラッキング・センサ101および運動トラッキング・サブシステム102(いずれも当業者には充分に理解される)が用いられる。そのようなセンサ101および対応するトラッキング・サブシステム102は、実質的に連続的に、所定の腕の手首の領域など所定の身体部分の位置をトラッキングおよび決定することに非常に適し、かつ所定の身体部分の位置をトラッキングおよび決定することが可能である。仮想映像生成装置12は結果として生じる座標データを受取る。この実施態様では、仮想映像生成装置12には、所望の対話型デバイス(この実施例ではキーパッド)の3次元グラフィカル・モデルをサポートする、コンピュータなどのプログラム可能なプラットフォームが含まれている。上述のように、対話型デバイスの仮想映像を定義するパラメータは、デバイスが問題の身体部分に本質的に取り付けられているかの如く提示されるように、および身体部分に関して寸法を変えられかつ配向されて観察者の視点から適切に見えるように、処理される。得られる仮想映像104は、続く105にて、観察者に見える環境106と組み合わされる(このことは、仮想没入感の所与の水準および表示機構自身に適切であるように、先述の任意の方法にて達成される)。続いて、ユーザ22は表示機構(この実施態様ではアイウェア・ディスプレイ13)を介して、意図されたインタフェース・デバイスの映像を見る。
多くの場合、仮想現実の経験の通常のサポート・コンポーネントの多くは、これらの教示によって新たな結果を達成するように単に幾らか再決定(re-purposed )されているのみであるので、これらの教示はほとんどまたは全く追加費用なしで実行されることが可能である。さらに、これらの実施態様の多くでは、追加の装置を用いることなく仮想的な触覚対話と調和する真の触覚感覚を提供することによって、有意でかつ価値を有する追加の利点が存在する。
本発明の精神および範囲から逸脱することなく、上述の実施態様に関して広範な種々の修正、代替、および結合がなされ得ること、およびそのような修正、代替、および結合は本発明概念の範囲の内にあると見なされることを、当業者は認めるであろう。例えば、接触センサおよび圧力センサのうちの少なくとも1つ(すなわち、例えば、ユーザの指とユ
ーザのインタフェースの対象の皮膚領域との間の物理的接触(および物理的接触の変化度のうちの少なくとも1つ)を感知可能なセンサ)の使用を通じて、これらの教示は拡張され得る。そのような拡張によって、適切な設定における不正なトリガの解決手段および除去手段のうちの少なくとも1つに改良が生じ得る。
ーザのインタフェースの対象の皮膚領域との間の物理的接触(および物理的接触の変化度のうちの少なくとも1つ)を感知可能なセンサ)の使用を通じて、これらの教示は拡張され得る。そのような拡張によって、適切な設定における不正なトリガの解決手段および除去手段のうちの少なくとも1つに改良が生じ得る。
Claims (23)
- 個人の身体の少なくとも所定の部分の現在位置を決定するステップと、
触覚入力情報インタフェースの仮想映像を形成するステップと、
前記個人の身体の前記所定の部分に関して近接しかつ実質的に固定された関係にあるように前記触覚入力情報インタフェースの前記仮想映像を含む表示を形成するステップとから成る、方法。 - 個人の身体の少なくとも所定の部分の現在位置を決定するステップは、前記個人の身体の少なくとも付属肢の現在位置を決定するステップを含む、請求項1に記載の方法。
- 触覚入力情報インタフェースの仮想映像を形成するステップは、キーパッド、スイッチ、スライド・デバイス、ジョイスティック、ドローイング・エリア、およびホイールのうち少なくとも1つを含む仮想映像を形成するステップを含む、請求項1に記載の方法。
- 前記個人の身体の前記所定の部分に関して近接しかつ実質的に固定された関係にあるように前記触覚情報インタフェースの前記仮想映像を含む表示を形成するステップは、前記触覚情報インタフェースの少なくとも一部分が前記個人の身体の前記所定の部分の物理的な表面に対して少なくとも実質的に正角であるように表示を形成するステップを含む、請求項1に記載の方法。
- 前記個人の身体の前記所定の部分に関して近接しかつ実質的に固定された関係にあるように前記触覚情報インタフェースの前記仮想映像を含む表示を形成するステップは、前記触覚情報インタフェースの少なくとも一部分が前記個人の身体の前記所定の部分の物理的な表面に実質的に一致するように表示を形成するステップを含む、請求項1に記載の方法。
- 前記触覚情報インタフェースの少なくとも一部分が前記個人の身体の前記所定の部分の物理的な表面に実質的に一致するように表示を形成するステップは、前記触覚情報インタフェースの少なくとも一部分が前記個人の身体の前記所定の部分の露出された皮膚の表面に実質的に一致するように表示を形成するステップを含む、請求項5に記載の方法。
- 前記個人に前記表示を提示するステップをさらに含む、請求項1に記載の方法。
- 前記個人に前記表示を提示するステップは、ヘッドマウント・ディスプレイを用いて前記個人に前記表示を提示するステップを含む、請求項7に記載の方法。
- 前記個人に前記表示を提示するステップは、前記表示が提示されていることを示す前記個人からの入力を検出するステップを含む、請求項7に記載の方法。
- 前記個人以外の少なくとも1人に前記表示を提示するステップをさらに含む、請求項1に記載の方法。
- 少なくとも1つの身体部分位置検出装置と、
前記位置検出装置に結合して動作する入力および所定の身体部分に対して近接しかつ実質的に固定された関係にあるように触覚入力情報インタフェースの仮想映像を与える出力を有する仮想映像触覚入力情報インタフェース生成装置と、
前記仮想映像触覚入力情報インタフェースに結合して動作するディスプレイであって、観察者が前記所定の身体部分およびそれに近接しかつ固定された関連にある前記触覚入力情報インタフェースを見るように、前記所定の身体部分に対して近接しかつ実質的に固定
された関係にあるように前記触覚入力情報インタフェースの映像を与えるディスプレイとを有する、装置。 - 少なくとも1つの身体部分位置検出装置は、視覚的位置マーカ、磁気的位置マーカ、ラジオ周波数位置マーカ、パターン・ベース位置マーカ、ジェスチャ認識エンジン、形状認識エンジン、およびパターン・マッチング・エンジンのうち少なくとも1つを含む、請求項11に記載の装置。
- 前記仮想映像触覚入力情報インタフェース生成装置は、前記触覚入力情報インタフェースの前記仮想映像を生成するための生成装置手段を有する、請求項11に記載の装置。
- 前記生成装置手段は、前記触覚入力情報インタフェースの前記仮想映像を前記所定の身体部分のデジタル表現と組み合わせる、請求項13に記載の装置。
- 前記ディスプレイはヘッドマウント・ディスプレイを有する、請求項11に記載の装置。
- 前記ヘッドマウント・ディスプレイは少なくとも1つの眼のインタフェースを有する、請求項15に記載の装置。
- 前記ヘッドマウント・ディスプレイは少なくとも2つの眼のインタフェースを有する、請求項16に記載の装置。
- 前記少なくとも1つの眼のインタフェースは少なくとも部分的に透明である、請求項16に記載の装置。
- 前記少なくとも1つの眼のインタフェースは実質的に不透明である、請求項16に記載の装置。
- 触覚入力情報インタフェースの前記仮想映像は、キーパッド、スイッチ、スライド・デバイス、ジョイスティック、ドローイング・エリア、およびホイールのうち少なくとも1つを含む、請求項11に記載の装置。
- 前記触覚入力情報インタフェースの前記映像の少なくとも部分は、実質的に前記所定の身体部分の上に配置されているように前記ディスプレイ上で見える、請求項11に記載の装置。
- 個人の身体部分の一部分に関して実質的に固定された所定の空間および配向関係を有する触覚入力情報インタフェースの仮想映像を形成する装置であって、
所定の観察者の視点に関して前記個人の身体部分の現在位置を検出する位置検出装置手段と、
前記位置検出装置手段に応答する映像生成手段であって、少なくとも部分的には、
・前記実質的に固定された所定の空間および配向関係、および、
・前記所定の観察者の視点、
の関数として触覚入力情報インタフェースの仮想映像を与える、映像生成手段と、
前記所定の観察者に表示を与える前記映像生成手段に応答するディスプレイ手段であって、該表示は前記身体部分と、前記所定の観察者の視点からの前記触覚入力情報インタフェースの前記仮想映像とを含む、ディスプレイ手段とを有する、装置。 - 前記個人の少なくとも1つの監視されている身体部分と前記触覚入力情報インタフェー
スの前記仮想映像の見かけ上の位置との間の空間的な対話を検出する対話検出手段をさらに有する、請求項22に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/299,289 US20040095311A1 (en) | 2002-11-19 | 2002-11-19 | Body-centric virtual interactive apparatus and method |
| PCT/US2003/035680 WO2004047069A1 (en) | 2002-11-19 | 2003-11-06 | Body-centric virtual interactive apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006506737A true JP2006506737A (ja) | 2006-02-23 |
Family
ID=32297660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004553552A Pending JP2006506737A (ja) | 2002-11-19 | 2003-11-06 | 身体中心的な仮想対話型装置および方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20040095311A1 (ja) |
| EP (1) | EP1579416A1 (ja) |
| JP (1) | JP2006506737A (ja) |
| KR (1) | KR20050083908A (ja) |
| CN (1) | CN1714388A (ja) |
| AU (1) | AU2003287597A1 (ja) |
| WO (1) | WO2004047069A1 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013041431A (ja) * | 2011-08-16 | 2013-02-28 | Fujitsu Ltd | 入力装置、入力制御方法及び入力制御プログラム |
| WO2016185845A1 (ja) * | 2015-05-21 | 2016-11-24 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
| JPWO2014141504A1 (ja) * | 2013-03-11 | 2017-02-16 | Necソリューションイノベータ株式会社 | 3次元ユーザインタフェース装置及び3次元操作処理方法 |
| WO2017138545A1 (ja) * | 2016-02-08 | 2017-08-17 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JP2017157142A (ja) * | 2016-03-04 | 2017-09-07 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JP2017182460A (ja) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム |
| JP2018097645A (ja) * | 2016-12-14 | 2018-06-21 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| JP2018151742A (ja) * | 2017-03-10 | 2018-09-27 | 株式会社デンソーウェーブ | 情報表示システム |
| JP2019083033A (ja) * | 2014-12-18 | 2019-05-30 | フェイスブック,インク. | 仮想現実環境においてナビゲートする方法、システム、および装置 |
| US10643390B2 (en) | 2016-03-30 | 2020-05-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
| JP2020071587A (ja) * | 2018-10-30 | 2020-05-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JPWO2020235035A1 (ja) * | 2019-05-22 | 2020-11-26 |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| JP4054585B2 (ja) * | 2002-02-18 | 2008-02-27 | キヤノン株式会社 | 情報処理装置および方法 |
| KR100486739B1 (ko) * | 2003-06-27 | 2005-05-03 | 삼성전자주식회사 | 착용형 휴대폰 및 그 사용방법 |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| JP4763695B2 (ja) * | 2004-07-30 | 2011-08-31 | アップル インコーポレイテッド | タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| US7567241B2 (en) * | 2004-08-03 | 2009-07-28 | Silverbrook Research Pty Ltd | Stylus with customizable appearance |
| JP2006154901A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 空間手書き装置 |
| TWI316195B (en) * | 2005-12-01 | 2009-10-21 | Ind Tech Res Inst | Input means for interactive devices |
| JP4883774B2 (ja) * | 2006-08-07 | 2012-02-22 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| JP5119636B2 (ja) * | 2006-09-27 | 2013-01-16 | ソニー株式会社 | 表示装置、表示方法 |
| US7835999B2 (en) * | 2007-06-27 | 2010-11-16 | Microsoft Corporation | Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights |
| JP4989383B2 (ja) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| WO2010024029A1 (ja) * | 2008-08-29 | 2010-03-04 | 日本電気株式会社 | コマンド入力装置および携帯用情報機器とコマンド入力方法 |
| US20100225588A1 (en) * | 2009-01-21 | 2010-09-09 | Next Holdings Limited | Methods And Systems For Optical Detection Of Gestures |
| US20100306825A1 (en) | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
| US8745494B2 (en) * | 2009-05-27 | 2014-06-03 | Zambala Lllp | System and method for control of a simulated object that is associated with a physical location in the real world environment |
| KR101651568B1 (ko) * | 2009-10-27 | 2016-09-06 | 삼성전자주식회사 | 3차원 공간 인터페이스 장치 및 방법 |
| US20110199387A1 (en) * | 2009-11-24 | 2011-08-18 | John David Newton | Activating Features on an Imaging Device Based on Manipulations |
| CN102754048A (zh) * | 2009-12-04 | 2012-10-24 | 奈克斯特控股公司 | 用于位置探测的成像方法和系统 |
| US20120249797A1 (en) * | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US8540571B2 (en) | 2010-03-31 | 2013-09-24 | Immersion Corporation | System and method for providing haptic stimulus based on position |
| JP2012043194A (ja) * | 2010-08-19 | 2012-03-01 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| US10061387B2 (en) * | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
| US10030931B1 (en) * | 2011-12-14 | 2018-07-24 | Lockheed Martin Corporation | Head mounted display-based training tool |
| TWI436251B (zh) * | 2012-04-30 | 2014-05-01 | Univ Nat Taiwan | 觸碰式控制裝置及控制方法 |
| US20130297460A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
| US9189932B2 (en) * | 2013-11-06 | 2015-11-17 | Andrew Kerdemelidis | Haptic notification apparatus and method |
| CN115756151A (zh) | 2014-09-02 | 2023-03-07 | 苹果公司 | 用于可变触觉输出的语义框架 |
| US20160178906A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Virtual wearables |
| CN104537401B (zh) * | 2014-12-19 | 2017-05-17 | 南京大学 | 基于射频识别和景深感知技术的现实增强系统及工作方法 |
| US10296359B2 (en) | 2015-02-25 | 2019-05-21 | Bae Systems Plc | Interactive system control apparatus and method |
| GB2535730B (en) * | 2015-02-25 | 2021-09-08 | Bae Systems Plc | Interactive system control apparatus and method |
| CN105630162A (zh) * | 2015-12-21 | 2016-06-01 | 魅族科技(中国)有限公司 | 一种控制软键盘的方法以及终端 |
| DK180122B1 (en) | 2016-06-12 | 2020-05-19 | Apple Inc. | Devices, methods and graphical user interfaces for providing haptic feedback |
| DK179823B1 (en) | 2016-06-12 | 2019-07-12 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK |
| EP3483701B1 (en) * | 2016-07-07 | 2023-11-01 | Sony Group Corporation | Information processing device, information processing method, and program |
| DK201670720A1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs |
| DK179278B1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, methods and graphical user interfaces for haptic mixing |
| MX2019011754A (es) * | 2017-03-31 | 2020-01-23 | VRgluv LLC | Dispositivos de interfaz haptica. |
| DK201770372A1 (en) | 2017-05-16 | 2019-01-08 | Apple Inc. | TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES |
| US11137908B2 (en) * | 2019-04-15 | 2021-10-05 | Apple Inc. | Keyboard operation with head-mounted device |
| CN117093078B (zh) * | 2023-10-16 | 2024-01-16 | 潍坊幻视软件科技有限公司 | 三维空间中使用手进行输入的系统 |
| CN119440265A (zh) * | 2025-01-09 | 2025-02-14 | 北京虹宇科技有限公司 | 拓展现实空间中获得触觉反馈的输入方法、装置及设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5381158A (en) * | 1991-07-12 | 1995-01-10 | Kabushiki Kaisha Toshiba | Information retrieval apparatus |
| US5491510A (en) * | 1993-12-03 | 1996-02-13 | Texas Instruments Incorporated | System and method for simultaneously viewing a scene and an obscured object |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US6278418B1 (en) * | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
-
2002
- 2002-11-19 US US10/299,289 patent/US20040095311A1/en not_active Abandoned
-
2003
- 2003-11-06 JP JP2004553552A patent/JP2006506737A/ja active Pending
- 2003-11-06 WO PCT/US2003/035680 patent/WO2004047069A1/en not_active Ceased
- 2003-11-06 CN CNA2003801036833A patent/CN1714388A/zh active Pending
- 2003-11-06 KR KR1020057009061A patent/KR20050083908A/ko not_active Ceased
- 2003-11-06 EP EP03781842A patent/EP1579416A1/en not_active Withdrawn
- 2003-11-06 AU AU2003287597A patent/AU2003287597A1/en not_active Abandoned
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013041431A (ja) * | 2011-08-16 | 2013-02-28 | Fujitsu Ltd | 入力装置、入力制御方法及び入力制御プログラム |
| JPWO2014141504A1 (ja) * | 2013-03-11 | 2017-02-16 | Necソリューションイノベータ株式会社 | 3次元ユーザインタフェース装置及び3次元操作処理方法 |
| US10007351B2 (en) | 2013-03-11 | 2018-06-26 | Nec Solution Innovators, Ltd. | Three-dimensional user interface device and three-dimensional operation processing method |
| JP2019083033A (ja) * | 2014-12-18 | 2019-05-30 | フェイスブック,インク. | 仮想現実環境においてナビゲートする方法、システム、および装置 |
| WO2016185845A1 (ja) * | 2015-05-21 | 2016-11-24 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
| JPWO2016185845A1 (ja) * | 2015-05-21 | 2018-02-15 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
| US10698535B2 (en) | 2015-05-21 | 2020-06-30 | Nec Corporation | Interface control system, interface control apparatus, interface control method, and program |
| US10296101B2 (en) | 2016-02-08 | 2019-05-21 | Nec Corporation | Information processing system, information processing apparatus, control method, and program |
| WO2017138545A1 (ja) * | 2016-02-08 | 2017-08-17 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JPWO2017138545A1 (ja) * | 2016-02-08 | 2018-07-26 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JP2017157142A (ja) * | 2016-03-04 | 2017-09-07 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JP2017182460A (ja) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム |
| US10643390B2 (en) | 2016-03-30 | 2020-05-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
| JP2018097645A (ja) * | 2016-12-14 | 2018-06-21 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| JP2018151742A (ja) * | 2017-03-10 | 2018-09-27 | 株式会社デンソーウェーブ | 情報表示システム |
| JP2020071587A (ja) * | 2018-10-30 | 2020-05-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP7247519B2 (ja) | 2018-10-30 | 2023-03-29 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JPWO2020235035A1 (ja) * | 2019-05-22 | 2020-11-26 | ||
| JP7157244B2 (ja) | 2019-05-22 | 2022-10-19 | マクセル株式会社 | ヘッドマウントディスプレイ |
| JP2024113052A (ja) * | 2019-05-22 | 2024-08-21 | マクセル株式会社 | ヘッドマウントディスプレイ |
| JP7781214B2 (ja) | 2019-05-22 | 2025-12-05 | マクセル株式会社 | ヘッドマウントディスプレイ |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040095311A1 (en) | 2004-05-20 |
| EP1579416A1 (en) | 2005-09-28 |
| CN1714388A (zh) | 2005-12-28 |
| KR20050083908A (ko) | 2005-08-26 |
| AU2003287597A1 (en) | 2004-06-15 |
| WO2004047069A1 (en) | 2004-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006506737A (ja) | 身体中心的な仮想対話型装置および方法 | |
| US11641460B1 (en) | Generating a volumetric representation of a capture region | |
| US12124674B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| CN117120962A (zh) | 用于控制虚拟和图形元素的映射手部区域之间的双手交互 | |
| TW202105133A (zh) | 在人工實境環境中使用周邊裝置的虛擬使用者介面 | |
| US20130154913A1 (en) | Systems and methods for a gaze and gesture interface | |
| US10591988B2 (en) | Method for displaying user interface of head-mounted display device | |
| WO2013028268A1 (en) | Method and system for use in providing three dimensional user interface | |
| US11009949B1 (en) | Segmented force sensors for wearable devices | |
| US12182391B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| CN119013640A (zh) | 用于在三维环境中修改化身的设备、方法和图形用户界面 | |
| US12449947B2 (en) | Devices, methods, and graphical user interfaces for processing inputs to a three-dimensional environment | |
| CN103257707A (zh) | 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法 | |
| EP3591503B1 (en) | Rendering of mediated reality content | |
| CN114529691A (zh) | 一种窗口控制方法、电子设备及计算机可读存储介质 | |
| US20250199623A1 (en) | Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments | |
| KR20250173999A (ko) | 폐색된 물리적 객체의 위치 표시 | |
| US20250044911A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240404189A1 (en) | Devices, Methods, and Graphical User Interfaces for Viewing and Interacting with Three-Dimensional Environments | |
| US20240402862A1 (en) | Devices, methods, and graphical user interfaces for detecting inputs | |
| WO2024064231A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| EP4591143A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| WO2024254066A1 (en) | Devices, methods, and graphical user interfaces for detecting inputs | |
| Ren | Designing for Effective Freehand Gestural Interaction | |
| JP2022140141A (ja) | 情報処理システム、情報処理プログラム、及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070912 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070920 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080401 |