JP7746295B2 - 眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング - Google Patents

Description

本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、２０２０年５月２１日に出願され、「ＷＡＲＰＩＮＧ ＦＯＲ ＬＡＳＥＲ ＢＥＡＭ ＳＣＡＮＮＩＮＧ ＤＩＳＰＬＡＹＳ ＵＳＩＮＧ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題された、米国仮特許出願第６３／０２８，４１１号の優先権の利益を主張する。

以下の正規の米国特許出願は、並行して出願されており、その開示全体は、参照することによって、あらゆる目的のために、本願の中に組み込まれる。
２０２１年５月２０日に出願され、「ＷＡＲＰＩＮＧ ＦＯＲ ＬＡＳＥＲ ＢＥＡＭ ＳＣＡＮＮＩＮＧ ＤＩＳＰＬＡＹＳ ＵＳＩＮＧ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題された、米国特許出願第１７／３２６，０３４号
２０２１年５月２０日に出願され、「ＷＡＲＰＩＮＧ ＦＯＲ ＳＰＡＴＩＡＬ ＬＩＧＨＴ ＭＯＤＵＬＡＴＩＮＧ ＤＩＳＰＬＡＹＳ ＵＳＩＮＧ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題された、米国特許出願第１７／３２６，０３６号

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」（ＶＲ）または「拡張現実」（ＡＲ）体験のための「複合現実」（ＭＲ）システムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが、現実であるように見える、またはそのように知覚され得る、様式において、ユーザに提示される。ＶＲシナリオは、典型的には、実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的には、ユーザの周囲の実世界の可視化（すなわち、実世界の視覚的入力に対する透過性）への拡張として、デジタルまたは仮想画像情報の提示を伴う。故に、ＡＲシナリオは、実世界の視覚的入力に対する透過性を伴って、デジタルまたは仮想画像情報の提示を伴う。

ＭＲシステムは、典型的には、ユーザの頭部に少なくとも緩く結合される、ウェアラブルディスプレイデバイス（例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。種々の光学システムは、カラー画像を含む、画像を、ＭＲ（ＶＲおよびＡＲ）シナリオを表示するために、種々の深度に生成する。

種々のシナリオに従って、ユーザは、その頭部、または単に、その眼（すなわち、その視線）の位置を変化させ得る。視認者の頭部および／または瞳孔位置の変化は、課題をレーザビーム走査ディスプレイ技術に提示し、旋回および誤スティッチング等のアーチファクトを表示される画像上に導入する。

本明細書に説明されるものは、ユーザがその眼を移動させ、それによって、その視線方向（例えば、照準線）を修正することを受ける、レーザビーム走査ディスプレイの画質を改良するための技法および技術である。

実施例として、頭部装着型ディスプレイデバイスを装着している、ユーザが、仮想オブジェクトを視認し、その眼を移動させ、異なる方向を見る（例えば、仮想オブジェクトが移動するとき、仮想オブジェクトに追従する、または異なるオブジェクトを見るように選定する）場合、仮想オブジェクトは、その瞳孔の位置によって決定されるようなユーザの視野に基づいて、レンダリングされることができる。ユーザの瞳孔位置の変化は、画像フレームがレーザビーム走査ディスプレイ上に表示されるであろう方法を調節することを要求する。

いくつかの実施形態は、視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法を提供する。本方法は、コンピューティングデバイスによって、第１の画像フレームを取得するステップを含んでもよい。第１の画像フレームは、視認者の瞳孔の第１の位置と関連付けられる、第１の眺めに対応する。本方法はまた、コンピューティングデバイスによって、視認者の瞳孔の第２の位置を決定するステップを含んでもよい。コンピューティングデバイスは、第１の画像フレームに基づいて、視認者の瞳孔の第２の位置と関連付けられる、第２の眺めに対応する、第２の画像フレームを生成してもよい。生成するステップは、少なくとも、視認者の瞳孔の第２の位置に基づいて計算される、第１の偏移値だけ、第２の画像フレームのピクセルの第１のセットを偏移させるステップと、少なくとも、視認者の瞳孔の第２の位置に基づいて計算される、第２の偏移値だけ、第２の画像フレームのピクセルの第２のセットを偏移させるステップとを含んでもよい。第２の画像フレームは、接眼ディスプレイデバイス上に表示されるように、接眼ディスプレイデバイスに伝送されてもよい。いくつかの実施形態では、第１の眺めはまた、視認者の第１の頭部位置と関連付けられ、本方法はさらに、コンピューティングデバイスによって、視認者の第２の頭部位置を推定するステップと、コンピューティングデバイスによって、視認者の第２の頭部位置を使用して、中間のワーピングされた画像フレームを第１の画像フレームから生成するステップとを含む。第２の画像フレームは、中間のワーピングされた画像フレームを使用して生成される。

いくつかの実施形態では、本方法はまた、コンピューティングデバイスによって、眼追跡デバイスから、視認者の瞳孔の位置と関連付けられる、データを受信するステップを含んでもよく、瞳孔の第２の位置は、眼追跡デバイスから受信されたデータに基づいて決定される。

いくつかの実施形態では、本方法は、瞳孔の第１の位置、瞳孔の第２の位置、および視認者の瞳孔が第１の位置から第２の位置に辿り着くまでの経過した時間の関数として、第１の眼速度を計算するステップを含んでもよい。第１の眼速度は、接眼ディスプレイデバイスに対して計算される。本方法はまた、第２の眼速度を計算するステップと、コンピューティングデバイスによって、第１の眼速度に基づいて、第１の偏移値を計算し、第２の眼速度に基づいて、第２の偏移値を計算するステップとを含んでもよい。いくつかの実施形態では、本方法は、コンピューティングデバイスによって、第１の偏移値および視認者の瞳孔の後続位置に基づいて、第２の偏移値を計算するステップを含んでもよい。

種々の実施形態は、上記に説明されるように、視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法を実施するための１つまたはそれを上回るプロセッサを含む、システムを提供する。

実施形態は、その上に記憶される命令のシーケンスを有する、非一過性コンピュータ可読媒体を提供し、これは、１つまたはそれを上回るプロセッサによって実行されると、プロセッサに、上記に説明されるように、視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法を実行させる。

本開示の付加的および他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上記に列挙される利点および他の利点および目的を取得する方法をより深く理解するために、上記に簡単に説明された本開示の発明を実施するための形態は、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい、本開示は、付随の図面の使用を通して、付加的具体性および詳細とともに記載および説明されるであろう。

図１は、いくつかの実施形態による、実世界オブジェクトおよび仮想オブジェクトをユーザの視野内に伴う、例示的複合現実（例えば、ＶＲまたはＡＲ）システムを図式的に描写する。

図２は、いくつかの実施形態による、実世界または仮想オブジェクトをユーザの照準線内に伴う、ユーザの眼球を図示する、例示的複合現実システムを図式的に描写する。

図３は、いくつかの実施形態による、ユーザ（例えば、視認者）の瞳孔の位置に基づいて、画像フレームを変換するための例示的方法を図示する。

図４は、種々の実施形態による、隣接する数字のセットに図示されるＶＲシナリオの可視化の目的のために、画像フレームを分裂させるための例示的様式を図示する。

図５は、レンダリングされた画像上に適用される、任意の視覚的補正を伴わない、第１の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図６は、レンダリングされた画像に適用される、従来の頭部姿勢ベースの補正を伴う、第１の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図７は、いくつかの実施形態による、レンダリングされた画像に適用される、眼追跡ベースの偏移を伴う、第１の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図８は、レンダリングされた画像上に適用される、任意の視覚的補正を伴わない、第２の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図９は、いくつかの実施形態による、レンダリングされた画像に適用される、眼追跡ベースの偏移を伴う、第２の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１０は、レンダリングされた画像上に適用される、任意の視覚的補正を伴わない、第３の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１１は、いくつかの実施形態による、レンダリングされた画像に適用される、眼追跡ベースの偏移を伴う、第３の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１２は、レンダリングされた画像上に適用される、任意の視覚的補正を伴わない、第４の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１３は、レンダリングされた画像に適用される、従来の頭部姿勢ベースの補正を伴う、第４の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１４は、いくつかの実施形態による、レンダリングされた画像に適用される、眼追跡ベースの偏移を伴う、第４の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１５は、レンダリングされた画像上に適用される、任意の視覚的補正を伴わない、第５の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。 図１５は、レンダリングされた画像上に適用される、任意の視覚的補正を伴わない、第５の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１６は、いくつかの実施形態による、レンダリングされた画像に適用される、眼追跡ベースの偏移を伴う、第５の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。 図１６は、いくつかの実施形態による、レンダリングされた画像に適用される、眼追跡ベースの偏移を伴う、第５の例示的ＶＲシナリオと関連付けられる、一連の図面を図示する。

図１７－２１は、いくつかの実施形態による、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。 図１７－２１は、いくつかの実施形態による、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。 図１７－２１は、いくつかの実施形態による、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。 図１７－２１は、いくつかの実施形態による、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。 図１７－２１は、いくつかの実施形態による、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。

図２２は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写する、ブロック図である。

詳細な説明
本開示は、旋回および誤スティッチング等の視覚的アーチファクトが眼追跡データを使用して排除される、画像フレームを投影する、レーザビーム走査ディスプレイシステムを含む、ＭＲシステムと、それを使用して複合現実体験コンテンツを生成するための方法とに関する。

いくつかの実施形態では、ＭＲシステムは、同時に走査する、１つを上回る（例えば、２つの）走査源（例えば、レーザ）を含んでもよい。例えば、１つのレーザは、ディスプレイの上部からディスプレイの中央までを走査してもよい一方、第２のレーザは、ディスプレイの中央から開始し、ディスプレイの底部まで走査してもよい。各レーザは、所定の走査パターンを有してもよい（例えば、行毎に走査する、または奇数行を最初に走査し、偶数行へと継続する）。故に、表示される画像上に形成される、視覚的アーチファクトは、表示されるオブジェクトを中央で分裂させ、各半分（例えば、上半分および下半分）が独立する、垂直線を含み得、それらは、中央で分離され、対角線、間隙、その下方に若干の対角線が存在する。表示されるオブジェクトは、離れた２つの対角線を伴う結果になり得る。実施形態は、レンダリングされた画像フレームをワーピングさせるために、眼追跡データを使用して、本および他の視覚的アーチファクトを排除するためのソリューションを提供する。

本開示の種々の実施形態は、レーザビーム走査ディスプレイデバイスのために、眼追跡デバイスからのデータを使用して、仮想コンテンツのワーピングを向上させるためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、本開示の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）の一部のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。
例証的複合現実シナリオおよびシステム

続く説明は、それを用いて眼追跡向上ワーピングシステムが実践され得る、例証的拡張現実システムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム（他のタイプの複合現実システムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

複合現実（ＭＲ）シナリオは、多くの場合、実世界オブジェクトに関連して、仮想オブジェクトに対応する、仮想コンテンツ（例えば、画像および音）の提示を含む。例えば、図１を参照すると、ヘッドセットを含む、ＭＲデバイス１０２（例えば、ウェアラブルコンポーネント）のユーザ１００には、実世界の物理的オブジェクト１０４が見える。種々の実施形態によると、仮想オブジェクト１１４は、実世界オブジェクト１０４に対して、ＭＲデバイス１０２の接眼ディスプレイデバイス（例えば、レーザビーム走査ディスプレイデバイス）上にレンダリングされてもよい。例えば、実世界オブジェクト１０４は、テーブルの形態にあってもよく、仮想妖精（例示的仮想オブジェクト１１４として）が、テーブル上に設置されるように、ディスプレイデバイス上にレンダリングされてもよい。ＭＲデバイス１０２はまた、実世界オブジェクト１０４および仮想オブジェクト１１４を生成／レンダリングするために使用される、ユーザの視線（例えば、照準線）を考慮しなければならない。例えば、ユーザ１００は、その眼を、第１の視野１０５を提供する、第１の位置から、第２の視野１０６を提供する、第２の位置に移動させてもよい。実世界オブジェクト１０４の位置は、実世界座標に対して同一のままであるが、実世界オブジェクト１０４の位置は、ユーザの視野内で偏移する（例えば、実世界オブジェクト１０４は、第１の視野１０５の縁により近くなり、第２の視野１０６の中央にある）。適切に処理されない限り、ユーザの瞳孔位置の変化は、仮想オブジェクト１１４が、旋回された、または破損されて（例えば、誤スティッチングされて）、ＭＲデバイス１０２の接眼ディスプレイデバイス上に現れる結果をもたらし得る。表示される画像フレーム上のこれらのアーチファクトは、下記により詳細に議論される。

種々の実施形態によると、ＭＲデバイス１０２に結合される、眼追跡デバイス１０８からのデータが、仮想オブジェクト１１４を適切に接眼ディスプレイデバイス上にレンダリングするために使用されてもよい。そのような眼追跡データは、例えば、光をエンドユーザの眼に投影し、その投影された光のうちの少なくとも一部の戻りまたは反射を検出することによって、判別されてもよい。眼追跡デバイス１０８は、ディスプレイデバイスのピクセルインデックスをユーザの視線が指向される場所に出力してもよい。例えば、眼追跡デバイス１０８は、時間ｔ_１において、ユーザの瞳孔の第１の位置をディスプレイデバイスの中心ピクセルとして、時間ｔ_２において、ユーザの瞳孔の第２の位置を中心ピクセルの１０ピクセル右として決定し得る。いくつかの実施形態によると、ＭＲデバイス１０２は、第１の位置、第２の位置、および時間ｔ_１と時間ｔ_２との間の差異Δｔの関数として、ユーザに関する眼速度を計算することが可能であり得る。本明細書で議論される種々の実施形態によると、本システムは、走査パターンの単位毎に、異なる眼速度（例えば、行あたりで走査する場合、行毎に、異なる眼速度）を計算してもよい。

例えば、ＭＲデバイス１０２は、第１の視野１０５と関連付けられる、ユーザの瞳孔の第１の位置（ユーザの瞳孔に対する法線ベクトル１１５によって図示される）に対応する、第１の画像フレームを取得してもよい。ＭＲデバイス１０２は、眼追跡デバイス１０８からのデータを受信し、眼追跡デバイス１０８からのデータを使用して、第２の視野１０６と関連付けられる、ユーザの瞳孔の第２の位置（ユーザの瞳孔に対する法線ベクトル１１６によって図示される）を決定してもよい。ＭＲデバイス１０２は、次いで、ステップの中でもとりわけ、少なくとも、ユーザの瞳孔の第１の位置および第２の位置に基づいて、第２の画像フレームのピクセルの１つまたはそれを上回るセット（例えば、行）の偏移を実施することによって、第２の視野１０６に対応する、第２の画像フレームを生成してもよい。いくつかの実施形態では、第２の画像フレームは、頭部姿勢ベースのワーピングを使用して生成されてもよく、第２の画像フレームのピクセルは、視覚的アーチファクトを補正するために、本明細書に説明されるように偏移されてもよい。偏移および実施され得る付加的ステップの詳細は、下記により詳細に説明される。

図２は、ヘッドセット２００のユーザの眼球に対する例示的ＡＲ／ＶＲヘッドセット２００の概略表現である。ヘッドセット２００は、ディスプレイデバイス２０２（例えば、レーザビーム走査ディスプレイ）を含み、これは、ユーザの眼球２０４の正面に位置付けられる。ヘッドセット２００に結合される、眼追跡デバイスは、ユーザの眼球２０４（例えば、ユーザの瞳孔）の位置を追跡してもよい。ユーザの通視線２０８は、実または仮想オブジェクト２０６に指向されてもよい。

種々の実施形態によると、眼追跡デバイスからのデータが、ユーザの照準線またはユーザの照準線の任意の変化に基づいて、実または仮想オブジェクト２０６をディスプレイデバイス２０２上に正しくレンダリングするために使用されてもよい。例えば、レンダリングされた画像フレームのピクセルの異なるセット（例えば、異なる行）は、異なる偏移値だけ偏移され、レーザビーム走査ディスプレイデバイス上に表示されるための画像フレームを生成してもよい。種々の実施形態によると、偏移値は、眼追跡デバイスによって提供されるデータに基づいて決定されてもよい。例えば、ＭＲシステムは、ユーザの瞳孔の眼速度を計算してもよい。異なる眼速度値は、偏移毎に、計算されてもよい（例えば、行毎偏移の場合、異なる眼速度が、行毎に使用されてもよい）。

図３は、ユーザ（例えば、視認者）の瞳孔の位置に基づいて、画像フレームを変換するための例示的方法を図示する。

ステップ３０２では、コンピューティングデバイスが、視認者の瞳孔の第１の位置と関連付けられる、第１の眺めに対応する、第１の画像フレームを取得する。種々の実施形態によると、コンピューティングデバイスは、所定の走査パターンに従って、データを接眼ディスプレイデバイスのピクセル上に表示する、レーザビーム走査ディスプレイを含む、接眼ディスプレイデバイスに結合されてもよい。データは、接眼ディスプレイデバイスのピクセルの第２のセットと異なる瞬間において、接眼ディスプレイデバイスのピクセルの第１のセット上に表示される。

ステップ３０４では、コンピューティングデバイスが、視認者の瞳孔位置と関連付けられる、データを、視認者が装着している、ヘッドセットに結合される、眼追跡デバイスから受信してもよい。

ステップ３０６では、コンピューティングデバイスが、眼追跡デバイスから受信されたデータに基づいて、視認者の瞳孔の第２の位置を決定してもよい。視認者の瞳孔の第２の位置は、第２の眺めと関連付けられる。いくつかの実施形態では、視認者の瞳孔の位置は、視認者の頭部位置に対して決定されてもよい。他の実施形態では、視認者の瞳孔の位置は、ヘッドセットに対して（例えば、ヘッドセットのディスプレイデバイスのピクセルに対して）決定されてもよい。

ステップ３０８では、コンピューティングデバイスが、同様に第２の眺めと関連付けられる、第２の頭部位置を推定してもよい。

ステップ３１０では、コンピューティングデバイスが、視認者の第２の頭部位置を使用して、中間のワーピングされた画像フレームを第１の画像フレームから生成してもよい。故に、中間のワーピングされた画像は、頭部姿勢ベースのワーピングを使用して生成される。

ステップ３１２では、コンピューティングデバイスが、第１の画像フレームに基づいて（例えば、いくつかの実施形態では、第１の画像フレームから生成される、中間のワーピングされた画像フレームを使用して）、視認者の瞳孔の第２の位置と関連付けられる、第２の眺めに対応する、第２の画像フレームを生成してもよい。第２の画像フレームは、視認者の瞳孔の第２の位置に基づいて決定される、異なる偏移値だけ、第２の画像フレームのピクセルの異なるセットを偏移させることによって生成されてもよい。例えば、ピクセルの第１のセットは、第１の偏移値だけ偏移されてもよく、ピクセルの第２のセットは、第２の偏移値だけ偏移されてもよい。第１の偏移値および第２の偏移値は、少なくとも、視認者の瞳孔の第２の位置に基づいて計算されてもよい。例えば、偏移値はまた、ユーザの眼速度に基づいて、計算されてもよい。

種々の実施形態によると、コンピューティングデバイスは、瞳孔の第１の位置、瞳孔の第２の位置、および視認者の瞳孔が第１の位置から第２の位置に辿り着くまでに経過した時間の関数として、視認者に関する眼速度を計算してもよい。いくつかの実施形態では、眼速度は、ヘッドセットに対して（例えば、ヘッドセットのディスプレイデバイスのピクセルに対して）計算される。コンピューティングデバイスは、次いで、ピクセルの第１のセットが、第１の偏移値だけ偏移され得、ピクセルの第２のセットは、第２の偏移値だけ偏移され得るように、眼速度に基づいて、偏移値を計算してもよい。偏移値の数は、ＭＲシステムの走査パターンに依存し得る。例えば、ＭＲシステムが、行あたりで走査する場合、ディスプレイデバイスの行の数と同数の偏移値を計算することが可能である。

種々の実施形態によると、ＭＲシステムは、走査パターンに従って、ピクセルのセットを選定してもよい。例えば、ピクセルのセットは、ディスプレイデバイスの所定の数の行に対応してもよい。いくつかの実施形態では、ピクセルの第１のセットは、ピクセルの第１の行に対応し得、ピクセルの第２のセットは、ピクセルの第２の行に対応してもよい。レーザビーム走査ディスプレイデバイスの全てのピクセルは、同時にアクティブ化されないため、表示される画像フレームは、例示的表示されるオブジェクトの上部部分および底部部分の分離等の視覚的アーチファクトを呈する。他の実施形態では、ＭＲシステムは、最初に、奇数行を１つずつ表示してもよく、次いで、奇数行が完了された後、偶数行を１つずつ表示してもよい。ディスプレイ動作全体は、１ＭＲシステムが１つの画像フレームを表示するための６ミリ秒以内に完了され得る。当業者は、本明細書で議論される走査パターンが、例証目的のためのものであって、ＭＲシステムが、任意の走査パターンを使用して、画像フレームをディスプレイデバイス上に表示することができることを理解されるであろう。

ステップ３１４では、コンピューティングデバイスが、接眼ディスプレイデバイス上に表示されるように、第２の画像フレームを接眼ディスプレイデバイスに伝送してもよい。表示される画像フレームは、旋回および誤スティッチング等の視覚的アーチファクトがない。

以下の説明は、眼追跡データが、ＭＲデバイスのユーザがその視線（例えば、その瞳孔の位置）を偏移させることから生じる、視覚的アーチファクト／異常／グリッチを補正するために使用され得る、５つの例示的シナリオを提供する。視線偏移は、頭部姿勢変化に加えてであってもよい、またはそれ自体であってもよい（例えば、ユーザが、その頭部を移動させずに、その視線を変化させる）。種々の実施形態によると、眼追跡ベースの偏移は、独立型補正として実施されてもよい、または頭部姿勢ベースのワーピングに加え、実施されてもよい（例えば、眼追跡ベースの偏移は、頭部姿勢ベースのワーピングされた画像上で実施されてもよい）。

図４は、種々の実施形態による、隣接する数字のセットに図示されるＶＲシナリオの可視化の目的のために、画像フレームを分裂させるための例示的様式を図示する。可視化の目的のために、各６０Ｈｚフレームは、６サブフレームに分裂され得る。画像の上半分と下半分との間には、わずかな重複が存在する。レンダリングは、６０Ｈｚで生じるが、ディスプレイデバイスの各セクションは、レンダリングされたフレームあたり、２回フラッシュされる。仮想オブジェクト４００は、垂直バーのように見えるはずであるが、時として、これは、各シナリオに関連して下記に議論されるように、視覚的アーチファクトに起因して、ユーザに見えるものではないであろう。
例示的シナリオ１

第１の例示的ＶＲシナリオでは、仮想オブジェクト（例えば、仮想妖精）が、ユーザの周辺視野内に現れる。ユーザが、仮想オブジェクトを見て、その視線を仮想オブジェクト上に固定する一方、ユーザは、その頭部／頸部を方向転換させ、仮想オブジェクトに面する。ユーザが、その頭部を回転させる間、仮想オブジェクトは、定常のままであって、ユーザの視線は、仮想オブジェクト上に固定される。

図５は、６０ｆｐｓの例示的レートにおいてディスプレイデバイス上に表示されるレンダリングされた画像とともに、仮想オブジェクトに対する時計回り頭部移動を図示する、一連の図面（図面１－９）を図示する。視覚的補正（例えば、頭部姿勢ベースのワーピングまたは眼追跡ベースの補正）は、図５に示される図面では適用されない。

ヘッドセット２００およびディスプレイデバイス２０２が、ユーザの瞳孔に対して時計回りに移動するにつれて、ユーザ２０８の通視線は、仮想オブジェクト２０６上に固定されたままである。第３の図面では、ピクセルの第１のセット５００が、ディスプレイデバイス２０２上の所定の場所（例えば、ピクセル）上に表示される。ユーザが、その視線を偏移させずに、その頭部を移動させ続けると、次のピクセルのセット５０２、５０４、５０６、５０８、５１０（ＭＲシステムの走査パターンに基づいて）が、それぞれ、図面４－８に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線２０８とは対照的に、ディスプレイデバイス２０２に対する法線上に形成される。結果として、ディスプレイデバイス２０２上に表示されるオブジェクト５１２の画像は、傾いて現れ（例えば、旋回アーチファクト）、継目において分裂される（例えば、誤スティッチングアーチファクト）。旋回の角度および誤スティッチングのオフセットは、ヘッドセットの角速度に比例し得る。最終図面（すなわち、図面９）は、ディスプレイデバイス上の持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。平均位置が、正しいが、オブジェクト５１２（持続時間シミュレーションに図示される）は、図４に図示される仮想オブジェクト４００と比較して、傾いて見え（旋回）、継目において分裂される（誤スティッチング）。旋回の角度および誤スティッチングのオフセットは、頭部回転の角速度に比例する。本レンダリングは、ＭＲシステム内で容認不可能である。

本問題に対する従来の解決策は、ユーザの推定される頭部姿勢に基づいて、画像フレームをワーピングさせ得る。ＭＲシステムは、頭部姿勢を検出および／または予測する（例えば、慣性測定ユニットを使用して）ことができる。ＭＲシステムは、次いで、レンダリングされた仮想コンテンツをソース基準フレームから出力基準フレーム内のワーピングされた仮想コンテンツにワーピングまたは変換し得る。

第１のシナリオに対する頭部姿勢ベースのソリューションは、図６に図示される。ＭＲシステムは、第１の図面において、頭部姿勢を把握し、次いで、頭部姿勢を外挿し、頭部が異なる時点にあるであろう場所を推定し得る（後続図面２－８に図示されるように）。図面１－９は、画像の行毎ワーピングを含む。本シナリオに関して、３自由度を伴う、頭部姿勢推定は、視覚的アーチファクトを補正するために十分であり得る。いったん頭部姿勢が、外挿されると、本システムは、次いで、推定される頭部姿勢に基づいて、レンダリングされた画像をワーピングさせ得る。頭部姿勢ベースのワーピングは、ピクセルをユーザの通視線上に設置し（例えば、全てのピクセルは、瞳孔に対する法線とともに図示される、ユーザ２０８の通視線上に形成される）、それによって、視覚的アーチファクトを排除することが可能である。最終図面（すなわち、図面９）は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト６１２（持続時間シミュレーションに図示される）は、図４に図示される仮想オブジェクト４００と同じに見える。頭部姿勢ベースのワーピングを用いても、旋回および誤スティッチングは、生じ得るが、ヘッドセットの角速度に比例するのとは対照的に、推定される頭部姿勢内の誤差に比例する。すなわち、仮想オブジェクトは、頭部姿勢が正確である場合、正確に見えるであろう。

図７は、種々の実施形態による、第１のシナリオに対する眼追跡ベースのソリューション（頭部姿勢、深度面、またはピクセル運動追跡とは対照的に）を図示する、一連の図面（例えば、図面１－８）を図示する。ユーザの瞳孔の位置が、ＭＲシステムに結合される、高サンプル－レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット（例えば、行）がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい。故に、眼追跡ベースのソリューションは、仮想オブジェクトの要素を実世界に結び付ける（従来のワーピング技法および／またはシステムにおいて行われるように）代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、本システムが、仮想オブジェクトのピクセルのセットをレンダリングされたフレームに対して偏移させるであろう度に、眼速度（例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度）をｘおよびｙピクセルにおいて計算してもよい（後続図面２－７に図示されるように）。最終図面（すなわち、図面８）は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト７１２は、図４に図示される仮想オブジェクト４００と同じに見える。

種々の実施形態によると、眼速度は、ユーザの瞳孔の第１の位置（例えば、図面２に図示されるように）、ユーザの瞳孔の第２の位置（例えば、図面３に図示されるように）、およびユーザの瞳孔が第１の位置から第２の位置（例えば、図７の図面２における位置から図面３における位置）に辿り着くまでに経過した時間の関数として、計算されてもよい。眼速度は、ヘッドセットに対して計算される。増加された正確度のために、眼速度を可能な限り遅く計算することが望ましくあり得る。例えば、第１の眼速度は、ピクセルの第１のセットが第１の偏移値だけ偏移される直前に計算され、本システムが第１の眼速度を使用して第１の偏移値を計算するために十分な時間だけを残してもよい。

いくつかの実施形態では、異なる眼速度は、偏移されるべきピクセルのセット（例えば、各行）毎に使用されてもよい。第１の眼速度は、ピクセルの第１のセットのために計算されてもよく、第２の眼速度は、ピクセルの第２のセットのために計算されてもよい。６０Ｈｚでレンダリングする、ＭＲデバイスに関して、眼追跡ベースの偏移は、３６０Ｈｚにおいて実施されてもよい。

いくつかの実施形態では、眼速度は、ゼロであってもよい。例えば、ユーザは、その視線を変化させず、単に、その焦点を変化させ得る（例えば、両方のオブジェクトが同一照準線上にある場合に、遠くのオブジェクトからより近いオブジェクトを見る）。そのような実施形態では、レンダリングされた画像は、依然として、ワーピングまたは偏移され得るが、しかしながら、眼速度がゼロであろうため、偏移値は、ゼロとして計算されるであろう（例えば、偏移がレンダリングされた画像に適用されない）。
例示的シナリオ２

第２の例示的ＶＲシナリオでは、仮想オブジェクト（例えば、仮想ノーム）が、ユーザの正面の実世界オブジェクト（例えば、机）上に現れる。ユーザは、ユーザにノームの背後のものが見え得るように、その身体を左右に揺動させることによって、ノームの周囲を見ようとする。そのようなシナリオでは、ユーザの頭部は、回転を伴わずに、平行移動を受ける。ユーザの身体および頭部が、左右に移動する間、ユーザの視線は、ノーム上に留まる。

図８は、レンダリングされた画像を偏移させるために頭部姿勢ベースのワーピングを使用してディスプレイデバイス上にレンダリングされた画像とともに、頭部移動を図示する、一連の図面（例えば、図面１－９）を図示し、頭部の配向のみが、使用され、平行移動は、使用されない。本例示的シナリオでは、回転が存在しない。ヘッドセット２００およびディスプレイデバイス２０２が、仮想オブジェクト２０６に対して左から右に移動するにつれて、ユーザ２０８の通視線は、仮想オブジェクト２０６上に固定されたままである。第３の図面では、ピクセルの第１のセットが、ディスプレイデバイス２０２上の所定の場所（例えば、ピクセル）上に形成される。ユーザが、その視線を偏移させずに、その頭部を移動させ続けると、次のピクセルのセット（ＭＲシステムの走査パターンに基づいて）が、それぞれ、図面４－８に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線２０８とは対照的に、ディスプレイデバイス２０２に対する法線上に形成される。図面９は、ディスプレイデバイス上の仮想オブジェクトの最終レンダリングを図示する。示されるように、表示される画像８１２（持続時間シミュレーションに図示される）は、３自由度頭部姿勢（例えば、配向のみ）を使用することに起因して、旋回および誤スティッチング等の運動アーチファクトを含む。本システムが、配向を追跡し、平行移動を追跡しない、頭部姿勢ベースのワーピングを使用して、アーチファクトを補正しようとする場合、補正は、十分ではないであろう。本システムは、６自由度における頭部姿勢（配向および平行移動の両方を追跡する）およびオブジェクト深度面（または輻輳・開散運動深度）を必要とするであろう。

図９は、種々の実施形態による、第２のシナリオに対する眼追跡ベースのソリューションを図示する、一連の図面（例えば、図面１－８）を図示する。ユーザの瞳孔の位置が、ＭＲシステムに結合される、高サンプル－レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット（例えば、行）がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい。故に、眼追跡ベースのソリューション仮想オブジェクトの要素を実世界に結び付ける（従来のワーピング技法および／またはシステムにおいて行われるように）代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、ピクセルのセット（例えば、行）をレンダリングされたフレームに対して偏移させるために、走査パターンの単位（例えば、各行）毎に、眼速度（例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度）をｘおよびｙピクセルにおいて計算してもよい。最終図面（すなわち、図面８）は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト９１２は、図４に図示される仮想オブジェクト４００と同じに見える。図９の図面に図示されるように、ピクセルは全て、ユーザの通視線上に現れ、表示される画像フレーム上の視覚的アーチファクトを排除する（図９の図面８に図示されるように）。
例示的シナリオ３

第３の例示的ＶＲシナリオでは、仮想オブジェクト（例えば、仮想マウス）が、ユーザの正面の実世界オブジェクト（例えば、コーヒーカップ）の背後に現れる。例えば、マウスが、その頭部をコーヒーカップの背後から覗かせている。マウスは、コーヒーカップから場面内の別のオブジェクトへと走り出す。ユーザは、移動せずに、その視線を用いて、マウスに追従する。そのようなシナリオでは、仮想オブジェクトは、移動するが、ユーザの頭部は、定常である。ユーザの視線は、移動する仮想オブジェクト上に留まる。

図１０は、ディスプレイデバイス上にレンダリングされたレンダリングされた画像とともに、仮想オブジェクトの移動を図示する、一連の図面（例えば、図面１－９）を図示する。仮想オブジェクト２０６が、ヘッドセット２００およびディスプレイデバイス２０２に対して右から左に移動するにつれて（図面３－８に図示されるように）、ユーザ２０８の通視線は、仮想オブジェクト２０６上に固定されたままである。第３の図面では、ピクセルの第１のセット１００２が、ディスプレイデバイス２０２上の所定の場所（例えば、ピクセル）上に形成される。ユーザがその視線を仮想オブジェクトから偏移させずに、仮想オブジェクトがヘッドセットに対して移動し続けるとき、次のピクセルのセット１００３、１００４、１００５、１００６、１００７（ＭＲシステムの走査パターンに基づいて）が、それぞれ、図面４－８に示されるように、ディスプレイデバイス上に表示される。これらの図面のそれぞれに示されるように、ピクセル１００３、１００４、１００５、１００６、１００７はそれぞれ、図面上の仮想オブジェクトを表す、円形１００１の中央に固定される、ユーザの通視線１０００の外側に形成される。むしろ、ピクセル１００３、１００４、１００５、１００６、１００７は、ユーザ２０８の通視線１０００とは対照的に、ディスプレイデバイス２０２に対する正常１０１０上に形成される。図面９は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。ユーザの頭部は、移動していないため、従来の頭部姿勢ベースのワーピング（３自由度の代わりに、６自由度を伴うものでも）は、図１０の図面９に示されるように、表示される画像１０１２上の旋回および誤スティッチングを補正することが可能ではないであろう。すなわち、頭部姿勢は、同一であるため、適用される頭部姿勢ベースのワーピングは、画像のために、ゼロピクセルの偏移をもたらすであろう。これを補正するための従来のアプローチは、ワーピングを実施するために、頭部姿勢に加え、仮想オブジェクトに関する運動ベクトルを使用するものである。６自由度頭部姿勢が、正しい深度面とともに使用される場合でも、レンダリングされた画像は、依然として、旋回および誤スティッチングを有するであろう。

図１１は、種々の実施形態による、第３のシナリオに対する眼追跡ベースのソリューションを図示する、一連の図面（例えば、図面１－９）を図示する。ユーザの瞳孔の位置が、ＭＲシステムに結合される、高サンプル－レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット（例えば、行）１１０２、１１０３、１１０４、１１０５、１１０６がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい（例えば、図面３－８に図示されるように）。故に、眼追跡ベースのソリューションは、仮想オブジェクトの要素を実世界に結び付ける（従来のワーピング技法および／またはシステムにおいて行われるように）代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、ピクセルのセット（例えば、行）をレンダリングされたフレームに対して偏移させるために、走査パターンの単位（例えば、各行）毎に、眼速度（例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度）をｘおよびｙピクセルにおいて計算してもよい。図１１の最終図面（すなわち、図面８）は、ディスプレイデバイス上での持続時間シミュレーションにおける、画像フレームの最終レンダリングを図示する。オブジェクト１１１２は、図４に図示される仮想オブジェクト４００と同じに見える。図１１の図面に図示されるように、ピクセルは全て、ユーザの通視線上に現れ、表示される画像フレーム上の視覚的アーチファクトを排除する（図１１の図面８に図示されるように）。
例示的シナリオ４

第３のシナリオは、仮想オブジェクトが運動中であるとき、レンダリングおよび画像ディスプレイがどのように複雑になるかを例示する。頭部姿勢ベースのワーピングは、表示される画像上の旋回および誤スティッチングを補正するために十分ではない。次のシナリオは、ある場合において、頭部姿勢ベースのワーピングが、アーチファクトを補正するために十分であるだけではなく、また、表示される画像の品質をより悪化させることを図示する。

第４の例示的ＶＲシナリオでは、仮想オブジェクト（例えば、仮想魚）が、ユーザの周囲を動き回る。ユーザは、その全身を方向転換させ、仮想オブジェクトに追従する。ヘッドセットおよびユーザの瞳孔の両方が、実世界に対して回転するが、相互に対して固定される。

図１２は、ディスプレイデバイス上にレンダリングされたレンダリングされた画像とともに、残りが相互に対して固定されたままである、ヘッドセットおよび瞳孔移動を図示する、一連の図面（図面１－８）を図示する。頭部姿勢ワーピングは、図１２に図示される図面では適用されない。図２に図示される参照番号を参照すると、ヘッドセット２００（ディスプレイデバイス２０２を含む）および図１２に図示されるユーザの視線が、仮想オブジェクト２０６とともに、反時計回りに移動するにつれて、ユーザ２０８の通視線およびディスプレイデバイス２０２に対する法線ベクトルは、仮想オブジェクト２０６上に固定されたままである。第３の図面では、ピクセルの第１のセット１２０２が、ディスプレイデバイス２０２上の所定の場所（例えば、ピクセル）上に形成される。ユーザが、その視線を偏移させずに、その頭部を移動させ続けると、次のピクセルのセット１２０３、１２０４、１２０５、１２０６、１２０７（ＭＲシステムの走査パターンに基づいて）が、それぞれ、図面４－８に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線２０８とは対照的に、ディスプレイデバイス２０２に対する法線上に形成される。図１２の図面９は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。オブジェクト１２１２は、図４に図示される仮想オブジェクト４００と同じに見える。ユーザは、その眼およびその頭部を用いて、移動オブジェクトに追従しているため、結果として生じる画像は、任意の旋回または誤スティッチングを伴わずに、鮮明である。本結果は、頭部姿勢ベースのワーピングを適用せずに取得される。

他方では、レンダリングされた画像フレーム毎に、頭部姿勢ベースのワーピングを適用する、ＭＲシステムに関して、例示的シナリオ４（仮想オブジェクトが、ユーザの周囲を動き回り、ユーザが、その全身を方向転換させ、仮想オブジェクトに追従し、ヘッドセットおよびユーザの瞳孔の両方が、実世界に対して回転するが、相互に対して固定される）は、低品質画像をもたらす。すなわち、頭部姿勢ベースのワーピングは、図１３に図示されるように、旋回および／または誤スティッチングを挿入することによって、表示される画像の品質を低下させる。

ＭＲシステムは、第１の図面において、頭部姿勢を把握し、次いで、頭部姿勢を外挿し、頭部が異なる時点にあるであろう場所を推定し得る（図１３の図面３－８に図示されるように）。いったん頭部姿勢が外挿されると、本システムは、次いで、ピクセルの１つまたはそれを上回るセット（例えば、行）を偏移させ得る。頭部姿勢ベースのワーピングは、ピクセルをユーザの通視線上に設置することを狙いとするが、しかしながら、仮想オブジェクトの移動を考慮しない。したがって、頭部姿勢ベースのワーピングは、仮想オブジェクトを世界にロックしようとし、図１３の図面９に図示されるように、旋回および誤スティッチングを表示される画像１３１２上に導入する。

図１４は、種々の実施形態による、第４のシナリオに対する眼追跡ベースのソリューションを図示する、一連の図面（図面１－８）を図示する。本システムは、ヘッドセットに対する眼速度を計算するため、ヘッドセットおよび瞳孔は、同時に移動するとき、眼速度は、ゼロである。したがって、眼速度ベースの偏移値は、ゼロである。図１４の図面に図示されるように、ピクセルは、ユーザの通視線上に現れ、表示される画像フレーム上の視覚的アーチファクトを排除する。したがって、結果は、眼追跡ベースのソリューションがデフォルトによって適用されるときでも、図１２と同一である。図１４の図面８は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。オブジェクト１４１２は、図４に図示される仮想オブジェクト４００と同じに見える。
例示的シナリオ５

第５の例示的ＶＲシナリオでは、仮想オブジェクト（例えば、仮想ロボット）が、ユーザの視野の中心にある。しかしながら、ユーザは、仮想オブジェクトを見ていない。代わりに、ユーザは、仮想オブジェクトの隣の２つの他の仮想オブジェクトまたはエリアを比較している場合がある。例えば、ユーザは、仮想オブジェクトの右に設置されたエリア２１６と、仮想オブジェクトの左に設置されたエリア２２６とを見ている場合がある。すなわち、ユーザは、仮想オブジェクトおよびユーザの頭部が定常のままである間、２つのエリア間を往復して、かつ仮想オブジェクトを横断して、その眼を瞬動させている場合がある。本眼移動は、「サッカード」と称され得る。本シナリオは、眼がより高速の速度で移動することを除き、第３の例示的ＶＲシナリオに類似する。

図１５は、レンダリングされた画像に対して頭部姿勢ベースのワーピングを使用してディスプレイデバイス上にレンダリングされたレンダリングされた画像とともに、サッカード眼移動を図示する、一連の図面を図示する。ヘッドセット２００およびディスプレイデバイス２０２が、静的なままである際、ユーザは、エリア２１６および２２６に対して、その眼を左から右に移動させ、ユーザ２０８の通視線は、２つのエリア間で移動する。第１の図面では、ピクセルの第１のセット１５０２が、ディスプレイデバイス２０２上の所定の場所（例えば、ピクセル）上に形成される。ユーザが、その眼を移動させ続けると、次のピクセルのセット（ＭＲシステムの走査パターンに基づいて）が、それぞれ、図面２－１０に示されるように、ディスプレイデバイス上に表示される。これらの図面に示されるように、ピクセルは、図面上の仮想オブジェクトを表す、円形の中央に固定される、ユーザの通視線の外側に形成される。むしろ、ピクセルは、ユーザの通視線２０８とは対照的に、ディスプレイデバイス２０２に対する法線上に形成される。最後の図面（すなわち、図１５の図面１０）は、ディスプレイデバイス上での持続時間シミュレーションにおける、仮想オブジェクトの最終レンダリングを図示する。図１５の図面９に示されるように、表示される画像１５１２は、旋回および誤スティッチングを呈する。

本シナリオでは、形成されるアーチファクトは、同期し、再現可能である代わりに、非同期し、過渡的である。周期的アーチファクトが、見られる。決して、他のシナリオと同様に、網膜上の同一スポットに戻ることはない。ユーザの頭部が、移動していないため、従来の頭部姿勢ベースのワーピングは、表示される画像上のアーチファクトを補正することが可能ではないであろう（例えば、頭部姿勢は、同一であって、したがって、頭部姿勢に基づいて適用されるワーピングは、ゼロワーピングとなるであろう）。加えて、運動ベクトルベースのワーピング（シナリオ３を改良し得る）は、実オブジェクトおよびユーザの眼が追従している仮想オブジェクトが存在しないため、ここでは適用され得ない。

図１６は、第５のシナリオ（例えば、種々の実施形態による、仮想オブジェクトおよびユーザの頭部が、定常のままである間の、２つのエリア間の、かつ仮想オブジェクトを横断した、サッカード眼）に対する眼追跡ベースのソリューションを図示する。ユーザの瞳孔の位置が、ＭＲシステムに結合される、高サンプル－レートのロバストな高正確度眼追跡デバイスを使用して、追跡されてもよい。眼追跡デバイスは、ピクセルのセット（例えば、行）がディスプレイデバイス上に表示されるであろう、異なる時点におけるユーザの瞳孔の位置を決定してもよい。故に、眼追跡ベースのソリューション仮想オブジェクトの要素を実世界に結び付ける（従来のワーピング技法および／またはシステムにおいて行われるように）代わりに、それらをユーザの瞳孔または網膜に「ロックする」または「結び付ける」。本システムは、次いで、ピクセルのセット（例えば、行）をレンダリングされたフレームに対して偏移させるために、走査パターンの単位（例えば、各行）毎に、眼速度（例えば、ユーザによって装着されるヘッドセットまたはディスプレイデバイスに対するユーザの瞳孔の速度）をｘおよびｙピクセルにおいて計算してもよい。図１６の図面１０に図示されるように、仮想オブジェクト１６１０の複数の鮮明なコピーが、レンダリングされるが、各コピーは、歪曲されていない（例えば、旋回および誤スティッチングは、排除されるが、ストロボ効果が存在する）。レンダリングされた画像１６１２に示されるように、改良された品質のために、デジタルぼけをレンダリングされた画像に追加する（例えば、水平ボックスカーフィルタを使用して）ことが望ましくあり得る。

ユーザが、その周囲でその眼を瞬動させるにつれて、旋回および誤スティッチングが見える代わりに、ユーザは、ユーザには、あるストロボ効果が見えるであろう。人工ぼけを追加することは、これに役立つであろうが、完全２次元ぼけ関数に関しては、算出上法外となり得る。

いくつかの実施形態では、眼追跡ベースの偏移は、２つの独立した単眼ディスプレイにも適用可能であり得る。各眼の追跡が、対応するディスプレイをワーピングさせるために使用されてもよい。いくつかの実施形態では、片眼のための眼追跡が、両眼のために使用されてもよい、（例えば、本デバイスが、片眼において、追跡を喪失するとき）。

種々の実施形態によると、単一フレーム時間遅れワーピングが、レンダリングを修正するために実施されてもよい。続いて、眼追跡ベースの偏移が、ワーピングされたレンダリングされた画像に適用され、異なる偏移値だけ、ピクセルの異なるセットを偏移させてもよい。したがって、眼追跡に基づくピクセル偏移が、独立型ソリューションとして実施され得るが、眼追跡に基づくピクセル偏移もまた、頭部姿勢ベースのワーピングに続いて、レンダリングされた画像フレーム上で実施されてもよい。眼追跡に基づくピクセル偏移は、ＭＲデバイスのヘッドセット部分上に適用されてもよい。

図１７－２１は、表示される画像フレームの品質を改良するために、眼追跡ベースの偏移と併用され得る、付加的処理を図示する。図１７は、レンダリングされた画像上に存在し得る、視覚的相違を図示する。レンダリングされた画像が、さらなる処理を伴わずに、表示される場合、ユーザが、継目を見ているとき、中心窩には、継目の上方および継目の下方からも同時にピクセルが見え得る。故に、継目における相違は、特に、それらが時間的に近接するため、容易に知覚される。眼追跡ベースの偏移が、図１８に図示されるように適用され、１走査時間だけ下側レーザに送信されるデータを遅延させるとき、相違は、修正される。異なる色およびスポーク角度が、図１９に示されるように、同時に投影されている場合でも、ユーザの中心窩には、それらが空間的に分離されるため、両方が同時に見えることはできない。

図２０は、フレーム２倍化を伴う、眼追跡ベースの偏移の別の実施例を図示する。レンダリング２０００は、フレーム２倍レンダリング２００２によって改良される。種々の実施形態によると、異なるレンダリングされたフレームが、同時に表示されてもよい。例えば、フレームレートを６０Ｈｚから１２０Ｈｚに２倍にすることは、レンダリングされたフレーム２００２に図示されるように、誤スティッチングを１０分の１に低減させ、より少ない可視断裂、運動から画像描画までのより短い待ち時間をもたらし、より小さいフレームバッファを要求し得る。

種々の実施形態によると、誤スティッチングはさらに、フライバック時間を最小限にし、および／または重複する行の数を最小限にすることによって、低減され得る。フライバック時間および重複行の数をゼロまで低減させることは、図２１に示されるように、誤スティッチングを表示される画像フレームから排除するであろう。従来のシステムを使用すると、仮想オブジェクト２１００は、誤スティッチング２１０２を伴って、ディスプレイデバイス上に表示され得る。フライバック時間および重複行の数をゼロまで低減させることは、誤スティッチングを表示される画像フレーム２１０４から排除する。
システムアーキテクチャ概要

図２２は、いくつかの実施形態による、例証的コンピューティングシステム２２００（例えば、ＭＲデバイス）のブロック図である。コンピュータシステム２２００は、プロセッサ２２０７、システムメモリ２２０８（例えば、ＲＡＭ）、静的記憶デバイス２２０９（例えば、ＲＯＭ）、ディスクドライブ２２１０（例えば、磁気または光学）、通信インターフェース２２１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ２２１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス２２１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス２２０６または他の通信機構を含む。

いくつかの実施形態によると、コンピュータシステム２２００は、プロセッサ２２０７がシステムメモリ２２０８内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス２２０９またはディスクドライブ２２１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ２２０８の中に読み込まれてもよい。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本開示を実装するために使用されてもよい。したがって、実施形態は、ハードウェア回路および／またはソフトウェアの任意の具体的組み合わせに限定されない。用語「論理」は、本開示の全部または一部を実装するために使用される、任意の組み合わせのソフトウェアまたはハードウェアを意味し得る。

用語「非一過性コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ２２０７に提供する際に関与する、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ２２１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ２２０８等の動的メモリを含む。

一般的形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取り得る、任意の他の媒体を含む。

いくつかの実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピュータシステム２２００によって実施される。いくつかの実施形態によると、通信リンク２２１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つまたはそれを上回るコンピュータシステム２２００が、相互に協調して、本開示を実践するために要求される命令のシーケンスを実施してもよい。

コンピュータシステム２２００は、通信リンク２２１５および通信インターフェース２２１４を通して、プログラム、例えば、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、プロセッサ５０７によって、受信されるにつれて実行される、および／または後の実行のために、ディスクドライブ２２１０または他の不揮発性記憶装置内に記憶されてもよい。記憶媒体２２３１内のデータベース２２３２は、データインターフェース２２３３を介して、システム２２００によってアクセス可能なデータを記憶するために使用されてもよい。

本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、ユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。

本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本開示の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される実施例および／または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられる請求項の言語の範囲によってのみ限定されるべきである。

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (20)

1. 視認者の瞳孔の位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
   コンピューティングデバイスによって、第１の画像フレームを取得することであって、前記第１の画像フレームは、前記視認者の瞳孔の第１の位置と関連付けられる第１の眺めに対応する、ことと、
   前記コンピューティングデバイスによって、前記視認者の瞳孔の第２の位置を決定することであって、前記瞳孔の第１の位置と前記瞳孔の第２の位置は、前記視認者の頭部位置に対して決定され、前記瞳孔の第１の位置は、ピクセルの第１のセットが接眼ディスプレイデバイス上に表示される第１の時点において決定され、前記瞳孔の第２の位置は、ピクセルの第２のセットが前記接眼ディスプレイデバイス上に表示される第２の時点において決定される、ことと、
   前記コンピューティングデバイスによって、前記第１の画像フレームに基づいて、前記視認者の瞳孔の第２の位置と関連付けられる第２の眺めに対応する第２の画像フレームを生成することであって、前記生成することは、
   少なくとも、前記視認者の瞳孔の第２の位置に基づいて計算される第１の偏移値だけ、前記第２の画像フレームの前記ピクセルの第１のセットを偏移させることと、
   少なくとも、前記視認者の瞳孔の第２の位置に基づいて計算される第２の偏移値だけ、前記第２の画像フレームの前記ピクセルの第２のセットを偏移させることであって、前記ピクセルの第１のセットは、前記接眼ディスプレイデバイスの第１の行に提供され、前記ピクセルの第２のセットは、前記接眼ディスプレイデバイスの第２の行に提供される、ことと、
   を含む、ことと、
   前記コンピューティングデバイスによって、前記接眼ディスプレイデバイス上に表示されるように、前記第２の画像フレームを前記接眼ディスプレイデバイスに伝送することと
   を含む、方法。
2. 前記コンピューティングデバイスによって、眼追跡デバイスから、前記視認者の瞳孔の位置と関連付けられるデータを受信することをさらに含み、前記瞳孔の第２の位置は、前記眼追跡デバイスから受信されたデータに基づいて決定される、請求項１に記載の方法。
3. 前記第１の眺めはまた、前記視認者の第１の頭部位置と関連付けられ、前記方法はさらに、
   前記コンピューティングデバイスによって、前記視認者の第２の頭部位置を推定することと、
   前記コンピューティングデバイスによって、前記視認者の第２の頭部位置を使用して、中間のワーピングされた画像フレームを前記第１の画像フレームから生成することであって、前記第２の画像フレームは、前記中間のワーピングされた画像フレームを使用して生成される、ことと
   を含む、請求項１に記載の方法。
4. 前記接眼ディスプレイデバイスは、所定の走査パターンに従って、データを前記接眼ディスプレイデバイスのピクセル上に表示するレーザビーム走査ディスプレイであり、データは、前記接眼ディスプレイデバイスのピクセルの第２のセットと異なる瞬間において、前記接眼ディスプレイデバイスのピクセルの第１のセット上に表示される、請求項１に記載の方法。
5. 前記レーザビーム走査ディスプレイは、少なくとも２つの同時レーザ走査を含む、請求項４に記載の方法。
6. 前記瞳孔の位置は、前記視認者の頭部位置に対して決定される、請求項１に記載の方法。
7. 前記瞳孔の位置は、前記接眼ディスプレイデバイスのピクセルに対して決定される、請求項１に記載の方法。
8. 前記瞳孔の第１の位置、前記瞳孔の第２の位置、および前記視認者の瞳孔が前記第１の位置から前記第２の位置に辿り着くまでの経過した時間の関数として、第１の眼速度および第２の眼速度を計算することであって、前記第１の眼速度および前記第２の眼速度は、前記接眼ディスプレイデバイスに対して計算される、ことと、
   前記コンピューティングデバイスによって、前記第１の眼速度に基づいて、前記第１の偏移値を計算し、前記第２の眼速度に基づいて、前記第２の偏移値を計算することと
   をさらに含む、請求項１に記載の方法。
9. 前記コンピューティングデバイスによって、前記第１の偏移値および前記視認者の瞳孔の前記第２の位置に基づいて、前記第２の偏移値を計算することをさらに含む、請求項１に記載の方法。
10. システムであって、
    １つまたはそれを上回るプロセッサであって、
    第１の画像フレームを取得することであって、前記第１の画像フレームは、視認者の瞳孔の第１の位置と関連付けられる第１の眺めに対応する、ことと、
    前記視認者の瞳孔の第２の位置を決定することであって、前記瞳孔の第１の位置と前記瞳孔の第２の位置は、前記視認者の頭部位置に対して決定され、前記瞳孔の第１の位置は、ピクセルの第１のセットがディスプレイデバイス上に表示される第１の時点において決定され、前記瞳孔の第２の位置は、ピクセルの第２のセットが前記ディスプレイデバイス上に表示される第２の時点において決定される、ことと、
    前記第１の画像フレームに基づいて、前記視認者の瞳孔の第２の位置と関連付けられる第２の眺めに対応する第２の画像フレームを生成することであって、生成することは、
    少なくとも、前記視認者の瞳孔の第２の位置に基づいて計算される第１の偏移値だけ、前記第２の画像フレームの前記ピクセルの第１のセットを偏移させることと、
    少なくとも、前記視認者の瞳孔の第２の位置に基づいて計算される第２の偏移値だけ、前記第２の画像フレームの前記ピクセルの第２のセットを偏移させることであって、前記ピクセルの第１のセットは、前記ディスプレイデバイスの第１の行に提供され、前記ピクセルの第２のセットは、前記ディスプレイデバイスの第２の行に提供される、ことと、
    を含む、ことと、
    前記ディスプレイデバイス上に表示されるように、前記第２の画像フレームを前記ディスプレイデバイスに伝送することと
    を行うための命令を実行するように構成される、１つまたはそれを上回るプロセッサと、
    第２の画像フレームを表示するように構成される前記ディスプレイデバイスと
    を備える、システム。
11. 眼追跡デバイスであって、
    前記視認者の瞳孔を追跡することと、
    前記視認者の瞳孔の位置と関連付けられるデータを、前記１つまたはそれを上回るプロセッサに伝送することであって、前記瞳孔の第２の位置は、前記眼追跡デバイスから受信されたデータに基づいて決定される、ことと
    を行うように構成される、眼追跡デバイス
    をさらに備える、請求項１０に記載のシステム。
12. 前記第１の眺めはまた、前記視認者の第１の頭部位置と関連付けられ、前記１つまたはそれを上回るプロセッサはさらに、
    前記視認者の第２の頭部位置を推定することと、
    前記視認者の第２の頭部位置を使用して、中間のワーピングされた画像フレームを前記第１の画像フレームから生成することであって、前記第２の画像フレームは、前記中間のワーピングされた画像フレームを使用して生成される、ことと
    を行うための命令を実行するように構成される、請求項１０に記載のシステム。
13. 前記ディスプレイデバイスは、所定の走査パターンに従って、データを前記ディスプレイデバイスのピクセル上に表示するレーザビーム走査ディスプレイであり、データは、前記ディスプレイデバイスのピクセルの第２のセットと異なる瞬間において、前記ディスプレイデバイスのピクセルの第１のセット上に表示される、請求項１０に記載のシステム。
14. 前記レーザビーム走査ディスプレイは、少なくとも２つの同時レーザ走査を含む、請求項１３に記載のシステム。
15. 前記瞳孔の位置は、前記視認者の頭部位置に対して決定される、請求項１０に記載のシステム。
16. 前記瞳孔の位置は、前記ディスプレイデバイスのピクセルに対して決定される、請求項１０に記載のシステム。
17. 前記第１の眺めはまた、前記視認者の第１の頭部位置と関連付けられ、前記１つまたはそれを上回るプロセッサはさらに、
    前記瞳孔の第１の位置、前記瞳孔の第２の位置、および前記視認者の瞳孔が前記第１の位置から前記第２の位置に辿り着くまでの経過した時間の関数として、第１の眼速度および第２の眼速度を計算することであって、前記第１の眼速度および前記第２の眼速度は、前記ディスプレイデバイスに対して計算される、ことと、
    前記第１の眼速度に基づいて、前記第１の偏移値を計算し、前記第２の眼速度に基づいて、前記第２の偏移値を計算することと
    を行うための命令を実行するように構成される、請求項１０に記載のシステム。
18. 前記第１の眺めはまた、前記視認者の第１の頭部位置と関連付けられ、前記１つまたはそれを上回るプロセッサはさらに、
    前記第１の偏移値および前記視認者の瞳孔の前記第２の位置に基づいて、前記第２の偏移値を計算するための命令を実行するように構成される、請求項１０に記載のシステム。
19. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、記憶される命令のシーケンスを有し、前記命令のシーケンスは、１つまたはそれを上回るプロセッサによって実行されると、前記プロセッサに、
    第１の画像フレームを取得することであって、前記第１の画像フレームは、視認者の瞳孔の第１の位置と関連付けられる第１の眺めに対応する、ことと、
    前記視認者の瞳孔の第２の位置を決定することであって、前記瞳孔の第１の位置と前記瞳孔の第２の位置は、前記視認者の頭部位置に対して決定され、前記瞳孔の第１の位置は、ピクセルの第１のセットが接眼ディスプレイデバイス上に表示される第１の時点において決定され、前記瞳孔の第２の位置は、ピクセルの第２のセットが前記接眼ディスプレイデバイス上に表示される第２の時点において決定される、ことと、
    前記第１の画像フレームに基づいて、前記視認者の瞳孔の第２の位置と関連付けられる第２の眺めに対応する第２の画像フレームを生成することであって、前記生成することは、
    少なくとも、前記視認者の瞳孔の第２の位置に基づいて計算される第１の偏移値だけ、前記第２の画像フレームの前記ピクセルの第１のセットを偏移させることと、
    少なくとも、前記視認者の瞳孔の第２の位置に基づいて計算される第２の偏移値だけ、前記第２の画像フレームの前記ピクセルの第２のセットを偏移させることであって、前記ピクセルの第１のセットは、前記接眼ディスプレイデバイスの第１の行に提供され、前記ピクセルの第２のセットは、前記接眼ディスプレイデバイスの第２の行に提供される、ことと、
    を含む、ことと、
    前記接眼ディスプレイデバイス上に表示されるように、前記第２の画像フレームを接眼ディスプレイデバイスに伝送することと
    を行わせる、非一過性コンピュータ可読媒体。
20. 前記命令のシーケンスは、１つまたはそれを上回るプロセッサによって実行されると、さらに、前記プロセッサに、
    前記瞳孔の第１の位置、前記瞳孔の第２の位置、および前記視認者の瞳孔が前記第１の位置から前記第２の位置に辿り着くまでの経過した時間の関数として、第１の眼速度および第２の眼速度を計算することであって、前記第１の眼速度および前記第２の眼速度は、前記接眼ディスプレイデバイスに対して計算される、ことと、
    前記第１の眼速度に基づいて、前記第１の偏移値を計算し、前記第２の眼速度に基づいて、前記第２の偏移値を計算することと
    を行わせる、請求項１９に記載の非一過性コンピュータ可読媒体。