JP7392105B2 - 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体 - Google Patents

Description

関連出願の相互参照
本出願は、ここに参照によりその全体が本明細書に組み込まれている、2019年7月28日に出願した米国特許仮出願第62/879,529号の利益を主張するものである。

開示する本主題は、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体に関する。より詳細には、開示する本主題は、ビデオコンテンツをテクスチャとして、ビデオの周辺部分内の画素密度を犠牲にすることによってビデオの中心部分内の画素密度を高めるフォービエイテッドメッシュに貼り付けることができる。

多くのユーザが、仮想現実コンテンツ、拡張現実コンテンツ、3次元コンテンツ、180度コンテンツ、または360度コンテンツなど、観視者に没入型体験をもたらすことのできる没入型環境におけるビデオコンテンツの観視を楽しんでいる。例えば、仮想現実システムは、ユーザのための没入型仮想現実環境を生成することができ、ユーザはそこで、1つまたは複数の仮想オブジェクトとインタラクションすることができる。より特定の例では、没入型仮想現実環境は、仮想現実ヘッドセットデバイスや仮想現実ヘッドマウントディスプレイデバイスなどのデバイスを使用して提供されることが可能である。別の例では、拡張現実システムは、ユーザのための没入型拡張現実環境を生成することができ、その環境では、コンピュータ生成されたコンテンツ(例えば1つまたは複数の画像)が、(例えばモバイルデバイスのカメラを使用して)ユーザの現在のビュー上に重ね合わされることが可能である。

没入型ビデオコンテンツはしばしば、ビデオコンテンツを平坦に見えるようにではなく球の一部分をそれが占めているかのようにレンダリングする、魚眼メッシュ(fisheye mesh)や3次元エクイレクタングラーメッシュ(three-dimensional equirectangular mesh)などのメッシュに、ビデオコンテンツを貼り付けることによって、レンダリングされる。しかし、没入型ビデオコンテンツを、そのようなコンテンツのビデオ品質を最適化しながらレンダリングすることは、困難かつリソース集約的なタスクである。

したがって、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための新たな方法、システム、および媒体を提供することが望ましい。

没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体が提供される。

開示する本主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するための方法であって、ビデオコンテンツアイテムを受信することと、ハードウェアプロセッサを使用して、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ハードウェアプロセッサを使用して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータ(foveation ratio parameter)に従って生成することであって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップ(position map)を有する、生成することと、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することとを含み、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、方法が提供される。

いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが特定のファイル形式に関連するかどうかを判定することを含む。いくつかの実施形態では、特定のファイル形式は、視野180度の方向性立体視投影(directional stereoscopic projection)を使用するVR180ファイル形式を含む。

いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが立体視コンテンツ(stereoscopic content)を含むか、それとも平面視コンテンツ(monoscopic content)を含むかを判定することを含み、方法は、受信したビデオコンテンツアイテムが立体視コンテンツを含むとの判定に応答してフォービエイテッドメッシュを生成することをさらに含む。

いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが静的ビデオであるか、それとも動的ビデオであるかを判定することを含み、静的ビデオは、ビデオコンテンツが捕捉されたときにカメラが実質的に移動しなかったビデオコンテンツを含み、動的ビデオは、カメラモーションメタデータトラック(camera motion metadata track)を含み、方法は、受信したビデオコンテンツアイテムが静的ビデオであるとの判定に応答してフォービエイテッドメッシュを生成することをさらに含む。

いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが特定のタイプの入力メッシュに関連付けられているかどうかを判定することを含み、方法は、受信したビデオコンテンツアイテムが切出し(cropped)エクイレクタングラーメッシュに関連付けられているとの判定に応答してフォービエイテッドメッシュを生成することをさらに含む。いくつかの実施形態では、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの2次元UVマップを、多項式フィッティング関数を使用して変形することによって生成される。

いくつかの実施形態では、方法は、第1のフォービエイテッドメッシュを第1のフォービエイション比パラメータに基づいて生成することと、第2のフォービエイテッドメッシュを第2のフォービエイション比パラメータに基づいて生成することとをさらに含む。

いくつかの実施形態では、受信したビデオコンテンツアイテムが第1の画素解像度から第2の画素解像度にダウンサンプリング比だけダウンサンプリングされているとの判定に応答して、フォービエイテッドメッシュが生成され、ビデオコンテンツアイテムの各フレームの中心部分における改善比(improvement ratio)が、ダウンサンプリング比と一致する。

いくつかの実施形態では、方法は、ビデオコンテンツおよび生成されたフォービエイテッドメッシュをユーザデバイスに、ユーザデバイスからビデオコンテンツアイテムを求める要求を受信したことに応答して送信することをさらに含む。

開示する本主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するためのシステムであって、メモリと、ハードウェアプロセッサとを備え、ハードウェアプロセッサが、メモリ内に記憶されたコンピュータ実行可能命令を実行すると、ビデオコンテンツアイテムを受信することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することであって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、生成することと、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することとを行うように構成され、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、システムが提供される。

開示する本主題のいくつかの実施形態によれば、プロセッサによって実行されるとプロセッサに没入型ビデオコンテンツとインタラクションするための方法を実施させるコンピュータ実行可能命令を収容した、非一時的コンピュータ可読媒体であって、方法が、ビデオコンテンツアイテムを受信することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することであって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、生成することと、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することとを含み、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、非一時的コンピュータ可読媒体が提供される。

開示する本主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するためのシステムであって、ビデオコンテンツアイテムを受信するための手段と、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定するための手段と、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成するための手段であって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、手段と、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶するための手段とを備え、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、システムが提供される。

開示する本主題のさまざまな目的、特徴、および利点は、開示する本主題についての以下の詳細な説明を、同様の参照番号が同様の要素を識別する添付の図面と併せて検討すれば、より完全に理解することができよう。

開示する本主題のいくつかの実施形態による、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成するためのプロセスの、例示的な例を示す図である。 開示する本主題のいくつかの実施形態による、没入型ビデオコンテンツをフォービエイテッドメッシュを使用してレンダリングするためのプロセスの、例示的な例を示す図である。 開示する本主題のいくつかの実施形態による、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成するための、本明細書において説明するメカニズムを実装するのに適した例示的なシステムの、概略図である。 開示する本主題のいくつかの実施形態による、図3のサーバおよび/またはユーザデバイスにおいて使用することのできるハードウェアの、詳細な例を示す図である。

さまざまな実施形態によれば、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための(方法、システム、および媒体を含むことのできる)メカニズムが提供される。

いくつかの実施形態では、本明細書において説明するメカニズムは、ビデオコンテンツが1つまたは複数の基準を満たすかどうかを判定することができ、またビデオコンテンツが1つまたは複数の基準を満たしたことに応答して、ビデオコンテンツを没入型ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、ここで、フォービエイテッドメッシュは、ビデオコンテンツの中心部分内の画素密度または画素解像度を高めることができる。

本明細書では、フォービエイテッドメッシュとは、ビデオの周辺部分内の画素密度を犠牲にすることによってビデオの中心部分内の画素密度を高める、非一様なUVマップまたは3次元ポジションマップを有するメッシュ構造をいう。

いくつかの実施形態では、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの修正版とすることができる。例えば、切出しエクイレクタングラーメッシュ内のUV頂点は一様に分散されており、フォービエイテッドメッシュ内のUV頂点は一様に分散されていない。より特定の例では、180度切出しエクイレクタングラーメッシュは、実質的に一様なUVマップを有することができる。この例を続けると、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの2次元UVマップを、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような多項式フィッティング関数を使用して変形することによって、生成されることが可能である。

いくつかの実施形態では、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような同様の変形を、3次元ポジションメッシュに加えることができ、その場合、UVマップは変更されないままである、ということに留意されたい。

いくつかの実施形態では、複数のフォービエイテッドメッシュが生成されることが可能であることにも留意されたい。例えば、メカニズムは、第1のフォービエイテッドメッシュを第1のフォービエイションストラテジ(例えば第1のフォービエイション比パラメータに基づく関数)に従って、また第2のフォービエイテッドメッシュを第2のフォービエイションストラテジ(例えば第2のフォービエイション比パラメータに基づく関数)に従って、生成することができる。より特定の例では、任意の適切な条件(例えばビデオタイプ、解像度、計算リソースなど)に基づいて、異なるフォービエイションストラテジが実施されることが可能である。別の例では、メカニズムは、フォービエイションストラテジを、複数のフォービエイションストラテジから、1つまたは複数の条件に基づいて選択することができ、選択されたフォービエイションストラテジに従ってフォービエイテッドメッシュを生成することができる。

ビデオコンテンツを適切なデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイス、ゲーム機、モバイル電話、タブレットコンピュータ、テレビ、および/または他の任意の適切なタイプのユーザデバイス)上にレンダリングするとき、デバイスは、ビデオコンテンツを、フォービエイテッドメッシュを含む形式で受信することができ、その場合、ビデオコンテンツの各フレームがフォービエイテッドメッシュ上に投影される。例えば、本明細書において説明するメカニズムは、ビデオコンテンツを180度ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、それにより、ビデオコンテンツの観視者がビデオコンテンツを観視するときにビデオコンテンツに没入しているように感じることが可能になり得る。別の例において、いくつかの実施形態では、本明細書において説明するメカニズムは、ビデオコンテンツを任意の適切な空間広がりをもつ3次元ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができる。

いくつかの実施形態では、本明細書において説明するメカニズムは、受信したビデオのためのフォービエイテッドメッシュを、任意の適切な基準に基づいて生成することができる。

例えば、いくつかの実施形態では、メカニズムは、受信したビデオが特定のファイル形式に関連するかどうかを判定することができる。この例を続けると、受信したビデオが、視野180度の方向性立体視投影を使用するVR180ファイル形式を有するとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。

別の例において、いくつかの実施形態では、メカニズムは、受信したビデオが立体視コンテンツ(例えば左目/右目のビューまたは画像、3次元画像など)を含むか、それとも平面視コンテンツ(例えば2次元画像のセット)を含むかを判定することができる。この例を続けると、平面視コンテンツは、ウェブインターフェース、モバイルインターフェース、またはその他の形の非ヘッドセットインターフェースにおいて2次元コンテンツとして提示されることが可能であり、一方、立体視コンテンツは、仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなどの上に提示するためにレンダリングされることが可能である。受信したビデオが、立体視コンテンツを含むとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。

さらに別の例において、いくつかの実施形態では、メカニズムは、受信したビデオが静的ビデオであるか、それとも動的ビデオであるかを判定することができ、ここで、静的ビデオは一般に、受信したビデオが捕捉されたときにカメラまたはカメラアセンブリが実質的に移動しなかったビデオを指す。受信したビデオが、静的ビデオであるとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。

さらなる例において、いくつかの実施形態では、メカニズムは、受信したビデオに関連付けられている入力メッシュのタイプを判定することができる。受信したビデオに関連付けられている入力メッシュの例には、魚眼メッシュおよび切出しエクイレクタングラーメッシュが含まれ得る。受信したビデオが、切出しエクイレクタングラーメッシュに関連付けられているとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。

いくつかの実施形態では、メカニズムは、受信したビデオを没入型ビデオコンテンツとしてレンダリングするためのフォービエイテッドメッシュを、ビデオコンテンツをダウンサンプリングするときに生成することができることに留意されたい。ビデオの中心部分における改善比は、ダウンサンプリング比によって限定され得ることにも留意されたい。例えば、ビデオコンテンツを4k画素解像度(例えば3849×2160画素または4096×2160画素)から1080p解像度(例えば1920×1080画素)にダウンサンプリングするとき、ビデオの中心部分における最高改善比は4である。この実装形態では、改善比は、フォービエイテッドメッシュを使用してレンダリングされたビデオコンテンツ内の画素数を、元のメッシュを使用してレンダリングされたビデオコンテンツ内の画素数で除算した商として測定することができることに留意されたい。

より特定の例では、メカニズムは、受信したビデオが、VR180ファイル形式の立体視コンテンツを含み、かつ切出しエクイレクタングラー入力メッシュに関連付けられている、静的ビデオであるとの判定に応答して、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。任意の適切な基準、および基準の任意の適切な組合せを使用して、フォービエイテッドメッシュを生成するかどうかを判定することができることに留意されたい。

いくつかの実施形態では、ビデオコンテンツおよび生成されたフォービエイテッドメッシュが、ユーザデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなど)によってレンダリングするためにユーザデバイスに送信されることが可能である。例えば、いくつかの実施形態では、生成されたフォービエイテッドメッシュが、ビデオコンテンツを含むビデオファイルに挿入され、そのビデオファイルがユーザデバイスに送信されることが可能である。それに加えてまたはその代わりに、いくつかの実施形態では、生成されたフォービエイテッドメッシュが、ビデオコンテンツの投影および/またはビデオコンテンツの3次元エクイレクタングラー投影(three-dimensional equirectangular projection)を作成する前の中間ステップとして使用されることも可能である。

いくつかの実施形態では、ビデオコンテンツ内に含まれるビデオテクスチャも、同様のフォービエイションを適用することによって修正することができることに留意されたい。例えば、フォービエイテッドメッシュを生成する際に適用されるフォービエイションストラテジを使用して、ビデオコンテンツ内に含まれるビデオテクスチャを修正し、それによって、クライアントデバイスにおいて没入型ビデオコンテンツをレンダリングする際に、没入型ビデオコンテンツが、ビデオコンテンツの縁部または周辺部分の品質を犠牲にしてビデオコンテンツの中心の周りの品質の向上を得ながら(例えば非一様な画素密度または画素解像度)、歪んでいないように見えるようにすることができる。

フォービエイテッドメッシュを使用して、没入型ビデオコンテンツの知覚される全体的なビデオ解像度またはビデオ品質の改善が達成されるように、没入型ビデオコンテンツをレンダリングすることができ、その場合、没入型ビデオコンテンツの各フレーム内の、静的な固視点(static fixation point)を与えられた中心関心領域内の画素密度または画素解像度が、没入型ビデオコンテンツの各フレーム内の周辺領域内の画素密度または画素解像度よりも高い、ということにも留意されたい。

没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための上記および他の特徴について、以下に図1～図4に関連して説明する。

図1に移ると、開示する本主題のいくつかの実施形態による、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成するためのプロセスの、例示的な例100が示されている。いくつかの実施形態では、プロセス100のブロックは、ビデオコンテンツを記憶し、記憶したビデオコンテンツをユーザデバイスに送信するコンテンツサーバ(例えば図3に示し、図3に関連して上述したコンテンツサーバ302)など、任意の適切なデバイスによって実施されることが可能である。

プロセス100は、110においてビデオコンテンツアイテムを受信することから開始することができる。例えば、プロセス100は、コンテンツサーバ上に記憶された、アップロードされたビデオコンテンツアイテムにアクセスすることができる。別の例では、プロセス100は、特定の基準(例えばアップロード日付、観視回数など)を満たす特定のビデオコンテンツアイテムを選択することができる。より特定の例では、プロセス100は、以下に説明する特定の基準(例えば切出しエクイレクタングラーメッシュを伴う立体視の静的ビデオ)を満たす、コンテンツサーバ上に記憶された特定のビデオコンテンツアイテムを選択することができる。さらに別の例では、プロセス100は、ユーザアカウントを有するユーザによってアップロードされたビデオコンテンツアイテムを受信することができる。

ビデオコンテンツアイテムは、任意の適切なソースから受信することができることに留意されたい。例えば、いくつかの実施形態では、立体視ビデオコンテンツは、物理的カメラデバイス(例えば360度立体視ビデオを捕捉するための360度立体カメラリグ、180度立体視ビデオを捕捉するためのVR180カメラデバイス、広角カメラのセットなど)を使用して捕捉されることが可能である。この例を続けると、仮想現実ヘッドセットやヘッドマウントディスプレイデバイスなどのコンピューティングデバイスは、立体視コンテンツに基づいてAR環境やVR環境などの没入型環境を生成することができる。

プロセス100は、120において、ビデオコンテンツアイテムと関連付けるためのフォービエイテッドメッシュを生成するかどうかを、任意の適切な基準に基づいて判定することにより継続することができる。例えば、プロセス100は、受信したビデオコンテンツアイテムが1つまたは複数の基準を満たすかどうかを判定することができ、またビデオコンテンツアイテムが1つまたは複数の基準を満たしたことに応答して、ビデオコンテンツを没入型ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、ここで、フォービエイテッドメッシュは、ビデオコンテンツの中心部分内の画素密度または画素解像度を高めることができる。より特定の例では、プロセス100は、切出しエクイレクタングラー入力メッシュに関連付けられている静的ビデオのステレオトランスコードについてフォービエイテッドメッシュが生成されるとの決定をすることができる。

いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、130において、受信したビデオが特定のファイル形式に関連するかどうかを判定すること、を含むことができる。この例を続けると、プロセス100は、受信したビデオがVR180カメラを使用して捕捉されたものであり、視野180度の方向性立体視投影を使用するVR180ファイル形式を有する、との判定をすることができる。より特定の例では、特定のファイル形式は、例えばビデオフレームから球面座標系内の部分的ビューポート(partial viewport)への投影を定義するメタデータ(例えばSpherical Video V2メタデータ標準による球面ビデオメタデータ)を含むことができ、プロセス100は、そのようなメタデータの存在を判定することによって、受信したビデオが特定のファイル形式に関連するかどうかを判定することができる。別のより特定の例では、ビデオコンテンツアイテムをコンテンツサーバにアップロードする際に、アップロードするユーザが、ビデオコンテンツアイテムが特定のファイル形式(例えばVR180ファイル形式)に関連することを示すこともでき、あるいはビデオコンテンツアイテムが特定のタイプのコンテンツ(例えば180度立体視ビデオコンテンツ、360度立体視ビデオコンテンツなど)を含むことを示すこともできる。したがって、Spherical Video V2メタデータ標準による球面ビデオメタデータの存在および内容によって、VR180ビデオが処理または再生のために識別されることが可能である。

受信したビデオコンテンツアイテムがVR180ファイル形式などの特定のファイル形式に関連するとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが特定のファイル形式に関連しないとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。

いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、140において、受信したビデオコンテンツアイテムが立体視コンテンツ(例えば左目/右目のビューまたは画像、3次元画像など)を含むか、それとも平面視コンテンツ(例えば2次元画像のセット)を含むかを判定すること、を含むことができる。この例を続けると、平面視コンテンツは、ウェブインターフェース、モバイルインターフェース、またはその他の形の非ヘッドセットインターフェースにおいて2次元コンテンツとして提示されることが可能であり、一方、立体視コンテンツは、仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなどの上に提示するためにレンダリングされることが可能である。より特定の例では、上述したように、受信したビデオコンテンツアイテムは、例えばビデオフレームから球面座標系内の部分的ビューポートへの投影を定義する球面ビデオメタデータに関連付けられることが可能であり、プロセス100は、そのようなメタデータ内の立体視関連フィールドの存在を判定することによって、受信したビデオが立体視コンテンツを含むか、それとも平面視コンテンツを含むかを判定することができる。別のより特定の例では、ビデオコンテンツアイテムをコンテンツサーバにアップロードする際に、アップロードするユーザが、ビデオコンテンツアイテムが特定のタイプのコンテンツ(例えば180度立体視ビデオコンテンツ、360度立体視ビデオコンテンツなど)を含むことを示すことができる。

受信したビデオコンテンツアイテムが180度立体視ビデオコンテンツなどの立体視コンテンツを含むとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが平面視コンテンツを含むとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。

いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、150において、受信したビデオが静的ビデオであるか、それとも動的ビデオであるかを判定すること、を含むことができる。例えば、静的ビデオは一般に、受信したビデオが捕捉されたときにVR180カメラや立体カメラリグなどのカメラまたはカメラアセンブリが実質的に移動しなかったビデオを指す。反対に、動的ビデオは一般に、ビデオ捕捉中にカメラまたはカメラアセンブリが移動したビデオを指す。

例えば、上述したように、ビデオコンテンツアイテムは、ビデオフレームから球面座標系内の部分的ビューポートへの投影を定義するメタデータに関連付けられることが可能である。動的ビデオの場合、ビデオコンテンツアイテムに関連付けられているそのようなメタデータは、カメラ配向情報、ジャイロスコープ情報、加速度計情報など、さまざまなタイプのカメラモーションメタデータを記憶した、カメラモーションメタデータトラックを含むことができる。カメラモーションメタデータトラックは、例えば、カメラのモーションに応じてビデオコンテンツに回転ベースのモーション安定化(motion stabilization)をもたらして、ビデオコンテンツアイテムの各ビデオフレームを、固定のワールド配向(fixed world orientation)と位置整合することができる。この例を続けると、受信したビデオが静的ビデオであるか、それとも動的ビデオであるかを判定することは、カメラモーションメタデータトラックなど、特定のメタデータの存在を検出することを含むことができ、ここで、カメラモーションメタデータトラックを含むビデオコンテンツアイテムは、動的ビデオと呼ぶことができる。

受信したビデオコンテンツアイテムが静的ビデオであるとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが動的ビデオであるとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。例えば、受信したビデオコンテンツアイテムの球面ビデオメタデータがカメラモーションメタデータトラックまたは他のモーション安定化情報を含むとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。

いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、160において、受信したビデオコンテンツアイテムに関連付けられている入力メッシュまたはメッシュ形式のタイプを判定すること、を含むことができる。受信したビデオコンテンツアイテムに関連付けられている入力メッシュの例示的な例には、魚眼メッシュおよび切出しエクイレクタングラーメッシュが含まれ得る。例えば、プロセス100は、Spherical Video V2メタデータ標準による球面ビデオメタデータの内容にアクセスし、球面ビデオメタデータ内のProjectionType要素の値が切出しエクイレクタングラーメッシュに設定されているかどうかを判定することによって、受信したビデオコンテンツアイテムが切出しエクイレクタングラー入力メッシュに関連付けられているかどうかを判定することができる。

受信したビデオコンテンツアイテムが切出しエクイレクタングラー入力メッシュに関連付けられているとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが別のメッシュタイプ(例えば魚眼メッシュ)に関連付けられているとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。

いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、170において、受信したビデオコンテンツアイテムがダウンサンプリングされているかどうかを判定すること、を含むことができる。フォービエイテッドメッシュは、ビデオコンテンツアイテムの各フレームの周辺部分内の画素密度を犠牲にするかまたはその他の方法で低下させることによってビデオコンテンツアイテムの各フレームの中心部分内の画素密度を改善することにより、ビデオ品質が向上したという知覚をもたらすことができ、ここで、そのような改善はビデオコンテンツアイテムをダウンサンプリングするときに見ることができる、ということに留意されたい。

ビデオコンテンツアイテムの各フレームの中心部分における改善比は、ダウンサンプリング比によって限定され得ることにも留意されたい。例えば、ビデオコンテンツアイテムを4k画素解像度(例えば3849×2160画素または4096×2160画素)から1080p解像度(例えば1920×1080画素)にダウンサンプリングするとき、ビデオの中心部分における最高改善比は約4である。この実装形態では、改善比は、フォービエイテッドメッシュを使用してレンダリングされたビデオコンテンツ内の画素数を、元のメッシュを使用してレンダリングされたビデオコンテンツ内の画素数で除算した商として測定することができることに留意されたい。

受信したビデオコンテンツアイテムがダウンサンプリングされているとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる。あるいは、受信したビデオコンテンツアイテムがダウンサンプリングされていないとの判定に応答して、または改善比が特定のしきい値(例えば改善比4)以下であるとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。

したがって、受信したビデオコンテンツアイテムが130から170における基準のうちの1つまたは複数を満たすかどうかの判定に応答して、プロセス100は、180において、ビデオコンテンツアイテムを没入型ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができる。例えば、受信したビデオが、VR180ファイル形式の立体視コンテンツを含み、かつ切出しエクイレクタングラー入力メッシュに関連付けられている、静的ビデオであるとの判定に応答して、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュが生成されることが可能である。本明細書において説明する実施形態は一般に、切出しエクイレクタングラー入力メッシュに関連付けられている立体視コンテンツを含む静的ビデオについてフォービエイテッドメッシュを生成することに関するが、任意の適切な基準、および基準の任意の適切な組合せを使用して、フォービエイテッドメッシュを生成するかどうかを判定することができることに留意されたい。

本明細書において説明したように、フォービエイテッドメッシュは、ビデオの周辺部分内の画素密度を犠牲にすることによってビデオの中心部分内の画素密度を高める、非一様なUVマップまたは3次元ポジションマップを有するメッシュ構造である。

いくつかの実施形態では、ビデオのステレオトランスコードのトランスコーディングシステムまたはトランスコーディングパイプラインを、フォービエイテッドメッシュを生成するように、またはその他の方法でフォービエイションストラテジを実施するように、修正することができる。トランスコーディングシステムは、ビデオパラメータおよびトランスコーダメタデータをセットアップするトランスコーダ制御コンポーネントを含むことができ、このセットアップには、あるメッシュ形式から別のメッシュ形式にビデオを再投影するかまたはその他の方法で変換するのに必要なターゲットメッシュを作成することが含まれ得る。

いくつかの実施形態では、トランスコーダ制御コンポーネントを、フォービエイション比パラメータを渡すことによってパラメータ化フォービエイテッドメッシュを作成するように、修正することができることに留意されたい。いくつかの実施形態では、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの修正版とすることができる。例えば、切出しエクイレクタングラーメッシュ内のUV頂点は一様に分散されており、フォービエイテッドメッシュ内のUV頂点は一様に分散されていない。より特定の例では、180度切出しエクイレクタングラーメッシュは、実質的に一様なUVマップを有することができる。この例を続けると、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの2次元UVマップを、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような多項式フィッティング関数を使用して変形することによって、生成されることが可能である。

いくつかの実施形態では、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような、フォービエイション比パラメータに基づく同様の変形を、3次元ポジションメッシュに加えることができ、その場合、UVマップは変更されないままである、ということに留意されたい。

より特定の例では、プロセス100は、正規化座標(normalized_coord)を、フォービエイション比パラメータ(foveation_ratio)に基づいてフォービエイションする(foveat)ことができる。いくつかの実施形態では、これには、入力座標を範囲[0.0, 1.0]にクランプするかまたはその他の方法で位置を範囲[0.0, 1.0]に限定することが含まれ得ることに留意されたい。このメッシュフォービエイションは次のように表すことができる。
clamped_coord = clamp(0.0, 1.0, normalized_coord)
foveated_coord = 0.5 + atan(sqrt(foveation_ratio) * tan((clamped_coord - 0.5) * π)) / π

この例を続けると、プロセス100は、逆数を実行することによって正規化座標をアンフォービエイションする(unfoveat)ことができ、それは次のように表すことができる。
clamped_coord = clamp(0.0, 1.0, normalized_coord)
unfoveated_coord = atan(tan((clamped_coord - 0.5) * π)) / sqrt(foveation_ratio)) / π + 0.5

いくつかの実施形態では、複数のフォービエイテッドメッシュが生成されることが可能であることに留意されたい。例えば、第1のフォービエイテッドメッシュが第1のフォービエイションストラテジ(例えば第1のフォービエイション比パラメータに基づく多項式フィッティング関数)に従って生成されることが可能であり、第2のフォービエイテッドメッシュが第2のフォービエイションストラテジ(例えば第2のフォービエイション比パラメータに基づく多項式フィッティング関数)に従って生成されることが可能である。より特定の例では、任意の適切な条件(例えばビデオタイプ、解像度、計算リソースなど)に基づいて、異なるフォービエイションストラテジが実施されることが可能である。別の例では、フォービエイションストラテジは、複数のフォービエイションストラテジから、1つまたは複数の条件に基づいて選択されることが可能であり、選択されたフォービエイションストラテジに従ってフォービエイテッドメッシュを生成することができる。

図1に戻ると、いくつかの実施形態では、プロセス100は、190においてビデオコンテンツアイテムおよびフォービエイテッドメッシュを記憶することができる。例えば、プロセス100は、フォービエイテッドメッシュをビデオコンテンツアイテムとともに、特定のファイル形式(例えばVR180ファイル形式)に挿入することができる。

ビデオコンテンツを適切なデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイス、ゲーム機、モバイル電話、タブレットコンピュータ、テレビ、および/または他の任意の適切なタイプのユーザデバイス)上にレンダリングするとき、デバイスは、ビデオコンテンツを、フォービエイテッドメッシュを含む形式で受信することができ、その場合、ビデオコンテンツの各フレームがフォービエイテッドメッシュ上に投影される。例えば、本明細書において説明するメカニズムは、ビデオコンテンツを180度ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、それにより、ビデオコンテンツの観視者がビデオコンテンツを観視するときにビデオコンテンツに没入しているように感じることが可能になり得る。別の例において、いくつかの実施形態では、本明細書において説明するメカニズムは、ビデオコンテンツを任意の適切な空間広がりをもつ3次元ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができる。

フォービエイテッドメッシュを使用して、没入型ビデオコンテンツの知覚される全体的なビデオ解像度またはビデオ品質の改善が達成されるように、没入型ビデオコンテンツをレンダリングすることができ、その場合、没入型ビデオコンテンツの各フレーム内の、静的な固視点を与えられた中心関心領域内の画素密度または画素解像度が、没入型ビデオコンテンツの各フレーム内の周辺領域内の画素密度または画素解像度よりも高い、ということに留意されたい。

いくつかの実施形態では、ビデオコンテンツおよび生成されたフォービエイテッドメッシュが、ユーザデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなど)によってレンダリングするためにユーザデバイスに送信されることが可能である。

図2に移ると、開示する本主題のいくつかの実施形態による、没入型ビデオコンテンツをレンダリングするためのプロセスの、例示的な例200が示されている。いくつかの実施形態では、プロセス200のブロックは、仮想現実ヘッドセット、ゲーム機、モバイル電話、タブレットコンピュータ、テレビ、および/または他の任意の適切なタイプのユーザデバイスなど、任意の適切なデバイスによって実行されることが可能である。

プロセス200は、210において、ユーザデバイス上に提示するためのビデオコンテンツアイテムを要求することから開始することができる。いくつかの実施形態では、ビデオコンテンツアイテムは、コンテンツサーバからユーザデバイスにストリーミングされるビデオなど、任意の適切なタイプのビデオコンテンツアイテム、および/または他の任意の適切なタイプのビデオコンテンツアイテムとすることができる。いくつかの実施形態では、ビデオコンテンツアイテムは、ユーザデバイス上で任意の適切な様式で要求されることが可能である。例えば、いくつかの実施形態では、ビデオコンテンツアイテムは、ユーザデバイスのユーザが、利用可能なビデオコンテンツを収容したページからビデオコンテンツアイテムを選択したことに応答して、かつ/または他の任意の適切な様式で、要求されることが可能である。ビデオコンテンツアイテムを求める要求は、ユーザデバイスからコンテンツサーバ(例えば図3に示し、図3に関連して上述したコンテンツサーバ302)に送信されてよい。

プロセス200は、210において送信された要求に応答して、220において、ビデオコンテンツアイテムおよびビデオコンテンツアイテムをレンダリングするために使用される対応するフォービエイテッドメッシュを受信することができる。例えば、いくつかの実施形態では、ビデオコンテンツアイテムおよび対応するフォービエイテッドメッシュは、図1に関連して上述したように、ビデオコンテンツを記憶した、かつ/またはフォービエイテッドメッシュを生成したコンテンツサーバ(例えば図3に示し、図3に関連して上述したコンテンツサーバ302)から受信されることが可能である。いくつかの実施形態では、ビデオコンテンツアイテムおよび対応するフォービエイテッドメッシュは、任意の適切な様式で受信されることが可能である。例えば、いくつかの実施形態では、フォービエイテッドメッシュは、ビデオコンテンツアイテムを含むビデオファイルに挿入されることが可能であり、プロセス200は、任意の適切な技法または技法の組合せを使用して、ビデオファイルからフォービエイテッドメッシュを抽出することができる。任意の適切な手法を使用して、対応するフォービエイテッドメッシュをビデオコンテンツアイテムに投入することができることに留意されたい。

プロセス200は、230において、任意の適切な技法または技法の組合せを使用して、ビデオコンテンツアイテムをユーザデバイス上に没入型コンテンツとしてレンダリングすることができる。例えば、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムをフォービエイテッドメッシュ上に貼り付けるかまたは投影して、ビデオコンテンツアイテムを没入型コンテンツとしてレンダリングすることができる。より特定の例として、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムからのコンテンツをテクスチャとしてフォービエイテッドメッシュにマッピングするための任意の適切な技法(例えばUVマッピングおよび/または他の任意の適切な技法)を使用することができる。別の例として、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムの第1の部分をユーザデバイスの観視者の左目に提示し、ビデオコンテンツアイテムの第2の部分をユーザデバイスの観視者の右目に提示することによって、ビデオコンテンツアイテムを立体視コンテンツとしてレンダリングすることができる。いくつかのそのような実施形態では、ビデオコンテンツアイテムの第1の部分およびビデオコンテンツアイテムの第2の部分は、フォービエイテッドメッシュ上に別々に貼り付けられるかまたは投影されてから、ユーザデバイス上にレンダリングされることが可能である。

いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムを、ビデオコンテンツアイテムの観視者が操作またはインタラクションすることのできる没入型ビデオコンテンツとしてレンダリングすることができる。例えば、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムを、観視者がビデオコンテンツアイテムの視点を変更することを可能にすることのできる様式でレンダリングすることができる。より特定の例として、いくつかの実施形態では、観視者が仮想現実ヘッドセットまたは他のウェアラブルコンピューティングデバイスを使用している場合、プロセス200は、観視者が観視者の頭部の向きを変更したとの判定に応答して、ビデオコンテンツアイテムの提示される視点を変更することができる。別のより特定の例として、いくつかの実施形態では、プロセス200は、観視者が、ビデオコンテンツアイテムがその上に提示されるユーザインターフェースを選択しドラッグすることなどによって、視点を操作するためのジェスチャをユーザデバイス上に入力したとの判定に応答して、ビデオコンテンツアイテムの提示される視点を変更することができる。

図3に移ると、開示する本主題のいくつかの実施形態に従って使用することのできる、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成し、かつ/または没入型ビデオコンテンツをフォービエイテッドメッシュを使用してレンダリングするためのハードウェアの、例示的な例300が示されている。図示のように、ハードウェア300は、コンテンツサーバ302、通信ネットワーク304、および/またはユーザデバイス308や310など、1つもしくは複数のユーザデバイス306を含むことができる。

コンテンツサーバ302は、メディアコンテンツを記憶しかつ/またはそれをユーザデバイス306に提供するための、任意の適切なサーバとすることができる。例えば、いくつかの実施形態では、コンテンツサーバ302は、ビデオ、テレビ番組、映画、ライブストリーミング配信されたメディアコンテンツ、オーディオコンテンツ、アニメーション、ビデオゲームコンテンツ、グラフィックス、および/または他の任意の適切なメディアコンテンツなどのメディアコンテンツを記憶することができる。いくつかの実施形態では、コンテンツサーバ302は、メディアコンテンツをユーザデバイス306に、例えば通信ネットワーク304を介して送信することができる。いくつかの実施形態では、コンテンツサーバ302は、ビデオコンテンツ(例えばライブビデオコンテンツ、コンピュータ生成されたビデオコンテンツ、および/または他の任意の適切なタイプのビデオコンテンツ)を、図2に示し、図2に関連して上述したようにクライアントデバイス(例えばユーザデバイス306)によってビデオコンテンツを没入型コンテンツとしてレンダリングするために使用される、任意の適切な情報に関連付けて記憶することができる。

通信ネットワーク304は、いくつかの実施形態では、1つまたは複数の有線ネットワークおよび/またはワイヤレスネットワークの任意の適切な組合せとすることができる。例えば、通信ネットワーク304は、インターネット、イントラネット、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、ワイヤレスネットワーク、デジタル加入者回線(DSL)ネットワーク、フレームリレーネットワーク、非同期転送モード(ATM)ネットワーク、仮想プライベートネットワーク(VPN)、および/または他の任意の適切な通信ネットワークのうちのいずれか1つまたは複数を含むことができる。ユーザデバイス306は、1つまたは複数の通信リンク(例えば通信リンク312)によって通信ネットワーク304に接続されることが可能であり、通信ネットワーク304は、1つまたは複数の通信リンク(例えば通信リンク314)を介してコンテンツサーバ302にリンクされることが可能である。通信リンクは、ネットワークリンク、ダイヤルアップリンク、ワイヤレスリンク、ハードワイヤードリンク、他の任意の適切な通信リンク、またはそのようなリンクの任意の適切な組合せなど、ユーザデバイス306とコンテンツサーバ302との間でデータを通信するのに適した任意の通信リンクとすることができる。

ユーザデバイス306は、ビデオコンテンツを要求し、要求したビデオコンテンツを没入型ビデオコンテンツとして(例えば仮想現実コンテンツとして、3次元コンテンツとして、360度ビデオコンテンツとして、180度ビデオコンテンツとして、および/もしくは他の任意の適切な様式で)レンダリングし、かつ/または他の任意の適切な機能を実施するのに適した、いずれか1つまたは複数のユーザデバイスを含むことができる。例えば、いくつかの実施形態では、ユーザデバイス306には、モバイル電話、タブレットコンピュータ、ウェアラブルコンピュータ、ラップトップコンピュータ、仮想現実ヘッドセット、ビークル(例えば車、ボート、航空機、もしくは他の任意の適切なビークル)の情報システムもしくはエンターテインメントシステム、および/または他の任意の適切なモバイルデバイスなどのモバイルデバイス、ならびに/あるいは任意の適切な非モバイルデバイス(例えばデスクトップコンピュータ、ゲーム機、および/または他の任意の適切な非モバイルデバイス)が含まれ得る。別の例として、いくつかの実施形態では、ユーザデバイス306には、テレビ、プロジェクタデバイス、ゲーム機、デスクトップコンピュータ、および/または他の任意の適切な非モバイルデバイスなどのメディア再生デバイスが含まれ得る。

ユーザデバイス306がユーザによって装着されるヘッドマウントディスプレイデバイスである、より特定の例では、ユーザデバイス306には、ポータブルハンドヘルド電子デバイスに接続されたヘッドマウントディスプレイデバイスが含まれ得る。ポータブルハンドヘルド電子デバイスは、例えば、コントローラ、スマートフォン、ジョイスティック、または、ヘッドマウントディスプレイデバイスによって生成され、例えばヘッドマウントディスプレイデバイスのディスプレイ上でユーザに対して表示された没入型環境においてインタラクションするために、ヘッドマウントディスプレイデバイスとペアリングされ、それと通信することの可能な別のポータブルハンドヘルド電子デバイスとすることができる。

ポータブルハンドヘルド電子デバイスはヘッドマウントディスプレイデバイスと、例えば有線接続、または例えばWiFi接続やBluetooth接続などのワイヤレス接続を介して、動作可能に結合するかまたはペアリングすることができることに留意されたい。ポータブルハンドヘルド電子デバイスとヘッドマウントディスプレイデバイスのこのペアリングまたは動作可能な結合は、ポータブルハンドヘルド電子デバイスとヘッドマウントディスプレイデバイスとの間の通信、およびポータブルハンドヘルド電子デバイスとヘッドマウントディスプレイデバイスとの間のデータ交換を可能にすることができる。これにより、例えば、ポータブルハンドヘルド電子デバイスが、ヘッドマウントディスプレイデバイスによって生成された没入型仮想環境においてインタラクションするための、ヘッドマウントディスプレイデバイスと通信するコントローラとして機能することが可能になり得る。例えば、ポータブルハンドヘルド電子デバイスの操作、および/またはポータブルハンドヘルド電子デバイスのタッチサーフェス上で受け取られた入力、および/またはポータブルハンドヘルド電子デバイスの移動が、ヘッドマウントディスプレイデバイスによって生成され、表示された仮想環境における、対応する選択、または移動、または他のタイプのインタラクションに変換されることが可能である。

いくつかの実施形態では、ポータブルハンドヘルド電子デバイスは、デバイスの内部コンポーネントがその中に受け取られるハウジングを含むことができることにも留意されたい。ハウジング上に、ユーザからアクセス可能なユーザインターフェースを設けることができる。ユーザインターフェースは、例えば、ユーザのタッチ入力、タッチアンドドラッグ入力などを受け取られるように構成された、タッチセンシティブサーフェスを含むことができる。ユーザインターフェースは、例えば作動トリガ(actuation trigger)、ボタン、ノブ、トグルスイッチ、ジョイスティックなどのユーザ操作デバイスを含むこともできる。

いくつかの実施形態では、ヘッドマウントディスプレイデバイスは、フレームに結合されたハウジングを含むことができ、例えばヘッドホン内に取り付けられたスピーカを含むオーディオ出力デバイスもフレームに結合される、ということにさらに留意されたい。例えば、ハウジングの正面部分を、ハウジングのベース部分から離れる方向に回転させることができ、それによって、ハウジング内に受け取られたコンポーネントのいくつかが見えるようになる。ハウジングの正面部分の内部に面する側に、ディスプレイを取り付けることができる。いくつかの実施形態では、ハウジング内の、正面部分がハウジングのベース部分に対して閉鎖位置にあるときのユーザの目とディスプレイとの間に、レンズを取り付けることができる。ヘッドマウントディスプレイデバイスは、さまざまなセンサを含む感知システムと、プロセッサ、およびヘッドマウントディスプレイデバイスの動作を容易にするためのさまざまな制御システムデバイスを含んだ、制御システムとを含むことができる。

例えば、いくつかの実施形態では、感知システムは、例えば加速度計、ジャイロスコープ、磁力計、および他のそのようなセンサなど、さまざまな異なるタイプのセンサを含んだ、慣性測定ユニットを含むことができる。ヘッドマウントディスプレイデバイスの位置および配向は、慣性測定ユニット内に含まれるセンサによって提供されたデータに基づいて検出およびトラッキングされることが可能である。ヘッドマウントディスプレイデバイスの検出された位置および配向により、システムが次に、ユーザのヘッドゲイズ(head gaze)方向、ならびにヘッドゲイズ移動、ならびにヘッドマウントディスプレイデバイスの位置および配向に関係する他の情報を、検出およびトラッキングすることが可能になり得る。

いくつかの実装形態では、ヘッドマウントディスプレイデバイスは、例えばアイゲイズ(eye gaze)の方向および移動を検出およびトラッキングするための1つまたは複数のセンサを含んだゲイズトラッキングデバイスを含むことができる。センサによって捕捉された画像は、ユーザのアイゲイズの方向および移動を検出およびトラッキングするように処理されることが可能である。検出およびトラッキングされたアイゲイズは、ユーザ入力として処理されて、没入型仮想体験における対応するインタラクションに変換されることが可能である。カメラが静止画および/または動画を捕捉することができ、それがユーザの物理的位置および/またはヘッドマウントディスプレイデバイスと通信する/ヘッドマウントディスプレイデバイスと動作可能に結合された他の外部デバイスの物理的位置をトラッキングするのを助けるために使用されることが可能である。捕捉された画像は、パススルーモードにおいてディスプレイ上でユーザに対して表示されることも可能である。

コンテンツサーバ302は1つのデバイスとして図示されているが、いくつかの実施形態では、コンテンツサーバ302によって実施される機能を、任意の適切な数のデバイスを使用して実施することができる。例えば、いくつかの実施形態では、コンテンツサーバ302によって実施される機能を実装するために、複数のデバイスを使用することができる。より特定の例において、いくつかの実施形態では、第1のコンテンツサーバが、メディアコンテンツアイテムを記憶し、メディアコンテンツを求める要求に応答することができ、第2のコンテンツサーバが、要求されたメディアコンテンツアイテムに対応する仮想オブジェクトのサムネイル表現を生成することができる。

図を過度に複雑にするのを避けるために、図3には2つのユーザデバイス308および310が示されているが、いくつかの実施形態では、任意の適切な数のユーザデバイスおよび/または任意の適切なタイプのユーザデバイスを使用することができる。

コンテンツサーバ302およびユーザデバイス306は、いくつかの実施形態では、任意の適切なハードウェアを使用して実装することができる。例えば、いくつかの実施形態では、デバイス302および306は、任意の適切な汎用コンピュータまたは専用コンピュータを使用して実装することができる。例えば、モバイル電話は、専用コンピュータを使用して実装されてよい。任意のそのような汎用コンピュータまたは専用コンピュータは、任意の適切なハードウェアを含むことができる。例えば、図4の例示的なハードウェア400内に示すように、そのようなハードウェアは、ハードウェアプロセッサ402、メモリおよび/またはストレージ404、入力デバイスコントローラ406、入力デバイス408、ディスプレイ/オーディオドライバ410、ディスプレイおよびオーディオ出力回路412、通信インターフェース414、アンテナ416、ならびにバス418を含むことができる。

ハードウェアプロセッサ402には、いくつかの実施形態では、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、専用論理回路、および/または汎用コンピュータもしくは専用コンピュータの機能を制御するための他の任意の適切な回路など、任意の適切なハードウェアプロセッサが含まれ得る。いくつかの実施形態では、ハードウェアプロセッサ402は、(例えばコンテンツサーバ302などの)サーバのメモリおよび/またはストレージ404内に記憶されたサーバプログラムによって制御されることが可能である。例えば、いくつかの実施形態では、サーバプログラムはハードウェアプロセッサ402に、メディアコンテンツアイテムをユーザデバイス306に送信させ、ビデオコンテンツアイテムを没入型ビデオコンテンツとしてレンダリングすることを提示するための命令を送信させ、かつ/または他の任意の適切なアクションを実施させることができる。いくつかの実施形態では、ハードウェアプロセッサ402は、ユーザデバイス306のメモリおよび/またはストレージ404内に記憶されたコンピュータプログラムによって制御されることが可能である。例えば、コンピュータプログラムはハードウェアプロセッサ402に、ビデオコンテンツアイテムを没入型ビデオコンテンツとしてレンダリングさせ、かつ/または他の任意の適切なアクションを実施させることができる。

メモリおよび/またはストレージ404は、いくつかの実施形態では、プログラム、データ、メディアコンテンツ、および/または他の任意の適切な情報を記憶するための、任意の適切なメモリおよび/またはストレージとすることができる。例えば、メモリおよび/またはストレージ404には、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ、ハードディスクストレージ、光学媒体、および/または他の任意の適切なメモリが含まれ得る。

入力デバイスコントローラ406は、いくつかの実施形態では、1つまたは複数の入力デバイス408からの入力を制御し、受け取るための、任意の適切な回路とすることができる。例えば、入力デバイスコントローラ406は、タッチスクリーンからの、キーボードからの、マウスからの、1つもしくは複数のボタンからの、音声認識回路からの、マイクロホンからの、カメラからの、光センサからの、加速度計からの、温度センサからの、近接場センサからの、かつ/または他の任意のタイプの入力デバイスからの入力を受け取るための回路とすることができる。

ディスプレイ/オーディオドライバ410は、いくつかの実施形態では、1つまたは複数のディスプレイ/オーディオ出力デバイス412への出力を制御し、駆動するための、任意の適切な回路とすることができる。例えば、ディスプレイ/オーディオドライバ410は、タッチスクリーン、フラットパネルディスプレイ、陰極線管ディスプレイ、プロジェクタ、1つもしくは複数のスピーカ、ならびに/または他の任意の適切なディスプレイデバイスおよび/もしくは提示デバイスを駆動するための回路とすることができる。

通信インターフェース414は、図3に示すネットワーク304など、1つまたは複数の通信ネットワークとインターフェースするための、任意の適切な回路とすることができる。例えば、インターフェース414には、ネットワークインターフェースカード回路、ワイヤレス通信回路、および/または他の任意の適切なタイプの通信ネットワーク回路が含まれ得る。

アンテナ416は、いくつかの実施形態では、通信ネットワーク(例えば通信ネットワーク304)とワイヤレスで通信するための、任意の適切な1つまたは複数のアンテナとすることができる。いくつかの実施形態では、アンテナ416は省略することができる。

バス418は、いくつかの実施形態では、2つ以上のコンポーネント402、404、406、410、および414間で通信するための、任意の適切なメカニズムとすることができる。

いくつかの実施形態に従って、他の任意の適切なコンポーネントをハードウェア400内に含めることが可能である。

いくつかの実施形態では、図1および図2のプロセスの上述したブロックのうちの少なくともいくつかを、それらの図中に示しそれらの図に関連して説明した順序および順番に限定されない任意の順序または順番で、実行または実施することができる。また、図1および図2の上記のブロックのうちのいくつかを、レーテンシおよび処理時間を短縮するために、適切な場合には実質的に同時に、または並列に、実行または実施することができる。それに加えてまたはその代わりに、図1および図2のプロセスの上述したブロックのうちのいくつかを省略することもできる。

いくつかの実施形態では、任意の適切なコンピュータ可読媒体を使用して、本明細書における機能および/またはプロセスを実施するための命令を記憶することができる。例えば、いくつかの実施形態では、コンピュータ可読媒体は、一時的なものとすることもでき、あるいは非一時的なものとすることもできる。例えば、非一時的コンピュータ可読媒体には、(ハードディスク、フロッピーディスク、および/もしくは他の任意の適切な磁気媒体などの)非一時的な形態の磁気媒体、(コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、および/もしくは他の任意の適切な光学媒体などの)非一時的な形態の光学媒体、(フラッシュメモリ、電気的プログラマブル読出し専用メモリ(EPROM)、電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、および/もしくは他の任意の適切な半導体媒体などの)非一時的な形態の半導体媒体、瞬間的でなく伝送中に外見上の永続性を欠くのでもない任意の適切な媒体、ならびに/または任意の適切な有形の媒体などの媒体が含まれ得る。別の例として、一時的コンピュータ可読媒体には、ネットワーク上の信号、配線内、導体内、光ファイバ内、回路内の信号、瞬間的でありかつ伝送中に外見上の永続性を欠く任意の適切な媒体、および/または任意の適切な無形の媒体が含まれ得る。

本明細書において説明したシステムが、ユーザについての個人情報を収集するかまたは個人情報を使用する状況においては、ユーザには、プログラムまたは機能がユーザ情報(例えばユーザのソーシャルネットワーク、社会的行為もしくは社会的活動、職業、ユーザの嗜好、またはユーザの現在位置についての情報)を収集するかどうかを制御する機会が与えられてよい。加えて、ある特定のデータが、それが記憶または使用される前に、個人情報が取り除かれるように1つまたは複数の方途で取り扱われてよい。例えば、ユーザの識別情報が、そのユーザにとって個人を特定可能な情報を特定することができないように取り扱われてよく、または位置情報が取得されるユーザの地理的位置が、ユーザの特定の位置を特定することができないように(市レベル、郵便番号レベル、もしくは州レベルなどに)一般化されてよい。したがって、ユーザは、コンテンツサーバによってユーザについてどのように情報が収集され、使用されるかについて、制御することができてよい。

したがって、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体が提供される。

本発明については、前述の例示的な実施形態の中で説明し図示してきたが、本開示は例として行われたにすぎないこと、また添付の特許請求の範囲のみによって限定される本発明の趣旨および範囲から逸脱することなく、本発明の実装形態の詳細の多数の変更を行うことができることが、理解されよう。開示した実施形態の特徴同士を、さまざまな方途で組み合わせ、再編成することが可能である。

100 例示的な例、プロセス
200 例示的な例、プロセス
300 例示的な例、ハードウェア
302 コンテンツサーバ、デバイス
304 通信ネットワーク
306 ユーザデバイス
308 ユーザデバイス
310 ユーザデバイス
312 通信リンク
314 通信リンク
400 ハードウェア
402 ハードウェアプロセッサ、コンポーネント
404 メモリおよび/またはストレージ、コンポーネント
406 入力デバイスコントローラ、コンポーネント
408 入力デバイス
410 ディスプレイ/オーディオドライバ、コンポーネント
412 ディスプレイおよびオーディオ出力回路、ディスプレイ/オーディオ出力デバイス
414 通信インターフェース、コンポーネント
416 アンテナ
418 バス

Claims (19)

1. 没入型ビデオコンテンツを生成するための方法であって、
   ビデオコンテンツアイテムを受信するステップと、
   ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定するステップと、
   前記ビデオコンテンツアイテムが前記少なくとも1つの基準を満たすとの判定に応答して、前記ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成するステップであって、前記フォービエイテッドメッシュが、前記ビデオコンテンツアイテムの各フレームの中心部分内の画素密度を前記ビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、ステップと、
   前記ビデオコンテンツアイテムを、前記生成されたフォービエイテッドメッシュを含むファイル形式で記憶するステップと
   を含み、前記没入型ビデオコンテンツが、前記ビデオコンテンツアイテムをテクスチャとして、前記生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、方法。
2. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが特定のファイル形式に関連するかどうかを判定することを含む、請求項1に記載の方法。
3. 前記特定のファイル形式が、視野180度の方向性立体視投影を使用するVR180ファイル形式を含む、請求項2に記載の方法。
4. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むか、それとも平面視コンテンツを含むかを判定することを含み、前記方法が、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むとの判定に応答して前記フォービエイテッドメッシュを生成するステップをさらに含む、請求項1に記載の方法。
5. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが静的ビデオであるか、それとも動的ビデオであるかを判定することを含み、前記静的ビデオが、ビデオコンテンツが捕捉されたときにカメラが実質的に移動しなかったビデオコンテンツを含み、前記動的ビデオが、カメラモーションメタデータトラックを含み、前記方法が、前記受信したビデオコンテンツアイテムが前記静的ビデオであるとの判定に応答して前記フォービエイテッドメッシュを生成するステップをさらに含む、請求項1に記載の方法。
6. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが特定のタイプの入力メッシュに関連付けられているかどうかを判定することを含み、前記方法が、前記受信したビデオコンテンツアイテムが切出しエクイレクタングラーメッシュに関連付けられているとの判定に応答して前記フォービエイテッドメッシュを生成するステップをさらに含む、請求項1に記載の方法。
7. 前記フォービエイテッドメッシュが、前記切出しエクイレクタングラーメッシュの2次元UVマップを、多項式フィッティング関数を使用して変形することによって生成される、請求項6に記載の方法。
8. 前記受信したビデオコンテンツアイテムが第1の画素解像度から第2の画素解像度にダウンサンプリング比だけダウンサンプリングされているとの判定に応答して、前記フォービエイテッドメッシュが生成され、前記ビデオコンテンツアイテムの各フレームの前記中心部分における改善比が、前記ダウンサンプリング比と一致する、請求項1に記載の方法。
9. 前記ビデオコンテンツアイテムおよび前記生成されたフォービエイテッドメッシュをユーザデバイスに、前記ユーザデバイスから前記ビデオコンテンツアイテムを求める要求を受信したことに応答して送信するステップをさらに含む、請求項1に記載の方法。
10. 没入型ビデオコンテンツを生成するためのシステムであって、
    メモリと、
    ハードウェアプロセッサと
    を備え、前記ハードウェアプロセッサが、前記メモリ内に記憶されたコンピュータ実行可能命令を実行すると、
    ビデオコンテンツアイテムを受信することと、
    前記ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、
    前記ビデオコンテンツアイテムが前記少なくとも1つの基準を満たすとの判定に応答して、前記ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することであって、前記フォービエイテッドメッシュが、前記ビデオコンテンツアイテムの各フレームの中心部分内の画素密度を前記ビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、生成することと、
    前記ビデオコンテンツアイテムを、前記生成されたフォービエイテッドメッシュを含むファイル形式で記憶することと
    を行うように構成され、前記没入型ビデオコンテンツが、前記ビデオコンテンツアイテムをテクスチャとして、前記生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、システム。
11. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが特定のファイル形式に関連するかどうかを判定することを含む、請求項10に記載のシステム。
12. 前記特定のファイル形式が、視野180度の方向性立体視投影を使用するVR180ファイル形式を含む、請求項11に記載のシステム。
13. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むか、それとも平面視コンテンツを含むかを判定することを含み、前記ハードウェアプロセッサが、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むとの判定に応答して前記フォービエイテッドメッシュを生成することを行うようにさらに構成される、請求項10に記載のシステム。
14. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが静的ビデオであるか、それとも動的ビデオであるかを判定することを含み、前記静的ビデオが、ビデオコンテンツが捕捉されたときにカメラが実質的に移動しなかったビデオコンテンツを含み、前記動的ビデオが、カメラモーションメタデータトラックを含み、前記ハードウェアプロセッサが、前記受信したビデオコンテンツアイテムが前記静的ビデオであるとの判定に応答して前記フォービエイテッドメッシュを生成することを行うようにさらに構成される、請求項10に記載のシステム。
15. 前記少なくとも1つの基準を満たすか否かの判定が、前記受信したビデオコンテンツアイテムが特定のタイプの入力メッシュに関連付けられているかどうかを判定することを含み、前記ハードウェアプロセッサが、前記受信したビデオコンテンツアイテムが切出しエクイレクタングラーメッシュに関連付けられているとの判定に応答して前記フォービエイテッドメッシュを生成することを行うようにさらに構成される、請求項10に記載のシステム。
16. 前記フォービエイテッドメッシュが、前記切出しエクイレクタングラーメッシュの2次元UVマップを、多項式フィッティング関数を使用して変形することによって生成される、請求項15に記載のシステム。
17. 前記受信したビデオコンテンツアイテムが第1の画素解像度から第2の画素解像度にダウンサンプリング比だけダウンサンプリングされているとの判定に応答して、前記フォービエイテッドメッシュが生成され、前記ビデオコンテンツアイテムの各フレームの前記中心部分における改善比が、前記ダウンサンプリング比と一致する、請求項10に記載のシステム。
18. 前記ハードウェアプロセッサが、前記ビデオコンテンツアイテムおよび前記生成されたフォービエイテッドメッシュをユーザデバイスに、前記ユーザデバイスから前記ビデオコンテンツアイテムを求める要求を受信したことに応答して送信することを行うようにさらに構成される、請求項10に記載のシステム。
19. プロセッサによって実行されると前記プロセッサに没入型ビデオコンテンツを生成するための方法を実施させるコンピュータ実行可能命令を収容した、コンピュータ可読記憶媒体であって、前記方法が、
    ビデオコンテンツアイテムを受信するステップと、
    ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定するステップと、
    前記ビデオコンテンツアイテムが前記少なくとも1つの基準を満たすとの判定に応答して、前記ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成するステップであって、前記フォービエイテッドメッシュが、前記ビデオコンテンツアイテムの各フレームの中心部分内の画素密度を前記ビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、ステップと、
    前記ビデオコンテンツアイテムを、前記生成されたフォービエイテッドメッシュを含むファイル形式で記憶するステップと
    を含み、前記没入型ビデオコンテンツが、前記ビデオコンテンツアイテムをテクスチャとして、前記生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、コンピュータ可読記憶媒体。

Images