JP2016031439A - 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム - Google Patents

Abstract

【課題】ヘッド・マウント・ディスプレイに表示する画像がユーザーの位置しない酔いを引き起こすかどうかを検出する。
【解決手段】異常検出部９０１は、単位時間毎の頭部の各方向の移動量Δｘ、Δｙ、Δｚ、頭部の各軸回りの回転量Δφ、Δθ、Δψ、頭部の動きの絶対値｜Ｐ｜とノルム||Ｐ||、並びに、頭部の回転の絶対値｜ｒ｜とノルム||ｒ||をを時々刻々算出し、各々に設定された閾値と大小比較して、ユーザーが意図していない酔いを引き起こしそうな画像を検出する。異常検出に応じて、表示切換えやヘッド・マウント・ディスプレイの頭部からの取り外しなどを指示する。
【選択図】 図９

Description

本明細書で開示する技術は、ユーザーの頭部又は顔部に固定された画面に表示する画像情報を処理する情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システムに関する。

画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体が焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に２５ミリメートルだけ離間して広視野角の虚像光学系を配置し、この広視野角光学系のさらに前方に約０．７インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像の拡大虚像をユーザーの瞳に結像する、広視野角のヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１を参照のこと）。

また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広視野画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロ・センサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた広視野画像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２、特許文献３を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広視野画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは広い空間を見渡しているような体験をする。

ところで、仮想画像を表示する画像表示システムにおいては、ユーザーの動きとは一致しない、予期しない画像を視聴すると、ユーザーはＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）酔いなどの、健康被害を受けるおそれがあることが知られている。

例えば、３次元コンピューター・グラフィックスによりレンダリングされたビデオ・ゲームを大画面ディスプレイでプレイしたり、立体視可能な３次元テレビで３Ｄ映画を長時間視聴し続けたりすると、ユーザーは気持ち悪くなることがある。また、広視野角のヘッド・マウント・ディスプレイでは、自由視点画像などを比較的短時間でも酔いを生じ易い。

本明細書で開示する技術の目的は、ユーザーの頭部又は顔部に固定された画面などに表示する画像を処理して、視聴中に生じる酔いを防止することができる、優れた情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部と、
を具備する情報処理装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の情報処理装置の前記異常検出部は、前記表示装置が前記ユーザーの頭部の位置及び姿勢に追従した画像を表示しているときに、前記ユーザーが意図しない酔いを引き起こす異常を検出するように構成されている。

本願の請求項３に記載の技術によれば、請求項１又は２のいずれかに記載の情報処理装置は、前記ユーザーの頭部の位置及び姿勢情報を取得する頭部位置姿勢情報取得部をさらに備えている。そして、前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報に基づいて異常を検出するように構成されている。

本願の請求項４に記載の技術によれば、請求項３に記載の情報処理装置の前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報を所定の閾値と比較して異常を検出するように構成されている。

本願の請求項５に記載の技術によれば、請求項３に記載の情報処理装置は、前記表示装置に表示する画像にメタデータとして付随する動き情報を取得する動き情報取得部をさらに備えている。そして、前記異常検出部は、前記動き情報に基づいて、前記ユーザーの頭部の位置及び姿勢情報から異常を検出するように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の情報処理装置の前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報を、前記動き情報として取得した閾値と比較して異常を検出するように構成されている。

本願の請求項７に記載の技術によれば、請求項１に記載の情報処理装置の前記異常検出部は、前記表示装置に表示される画像を解析して異常を検出するように構成されている。

本願の請求項８に記載の技術によれば、請求項７に記載の情報処理装置の前記異常検出部は、画像の面内のオプティカル・フローの平均値を所定の閾値と比較して、異常を検出するように構成されている。

本願の請求項９に記載の技術によれば、請求項１に記載の情報処理装置の前記異常検出部は、異常を検出したことに応じて、前記表示装置に異常検出信号を出力するように構成されている。

本願の請求項１０に記載の技術によれば、請求項１に記載の情報処理装置の前記異常検出部は、異常を検出したことに応じて、前記表示装置に対して、異常な画像に応じた表示制御を指示する異常検出信号を出力するように構成されている。

本願の請求項１１に記載の技術によれば、請求項１に記載の情報処理装置前記異常検出部は、異常を検出したことに応じて、前記表示装置がユーザーの頭部又は顔部に固定された状態の解除を指示する異常検出信号を出力するように構成されている。

また、本願の請求項１２に記載の技術は、
ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部ステップと、
を有する情報処理方法である。

また、本願の請求項１３に記載の技術は、
ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１３に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る情報処理装置と同様の作用効果を得ることができる。

また、本願の請求項１４に記載の技術は、
ユーザーの頭部又は顔部に固定される表示装置と、
前記表示装置に表示される画像中の異常を検出する異常検出部と、
を具備する画像表示システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術によれば、ユーザーの頭部又は顔部に固定された画面などに表示する画像を処理して、視聴中に生じる酔いを防止することができる、優れた情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示した図である。 図２は、画像表示システム１００の変形例を模式的に示した図である。 図３は、ヘッド・マウント・ディスプレイを頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図４は、図３に示したヘッド・マウント・ディスプレイを着用したユーザーを上方から眺めた様子を示した図である。 図５は、ヘッド・マウント・ディスプレイを利用した画像表示システム１００の変形例を示した図である。 図６は、図５に示した画像表示システム１００の機能的構成例を示した図である。 図７は、ユーザーの頭部の動きに追従した画像を表示装置４００で表示する仕組みを説明するための図である。 図８は、広視野画像からユーザーの頭部の位置姿勢に適合した表示画角の画像を切り出す処理手順を示した図である。 図９は、異常な画像を自動検出する機能的構成例を示した図である。 図１０は、ユーザーの頭部の座標系を示した図である。 図１１は、異常な画像を自動検出する他の機能的構成例を示した図である。 図１２は、異常な画像を自動検出するさらに他の機能的構成例を示した図である。 図１３は、画像の面内に生じるオプティカル・フローを例示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示している。図示の画像表示システム１００は、頭部動作追跡装置２００と、描画装置３００と、表示装置４００で構成される。

頭部動作追跡装置２００は、表示装置４００が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の位置姿勢情報を描画装置２００に出力する。図示の例では、頭部動作追跡装置２００は、センサー部２０１と、位置姿勢演算部２０２と、得られた姿勢情報を描画装置３００に送信する通信部２０３を備えている。

センサー部２０１は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。位置姿勢演算部２０２は、センサー部２０１による９軸の検出結果に基づいて、ユーザーの頭部の位置姿勢情報を演算する。通信部２０３は、求められた姿勢情報を描画装置３００に送信する。

図１に示す画像表示システム１００では、頭部動作追跡装置２００と描画装置３００間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。勿論、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由で頭部動作追跡装置２００と描画装置３００間を接続するようにしてもよい。

描画装置３００は、表示装置４００で表示する画像のレンダリング処理を行なう。描画装置３００は、例えばスマートフォンやタブレットなどのＡｎｄｒｏｉｄ（登録商標）搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これらの装置に限定される訳ではない。

図１に示す例では、描画装置３００は、頭部動作追跡装置２００から姿勢情報を受信する通信部３０１と、姿勢情報に基づいて画像のレンダリング処理を行なう描画処理部３０２と、レンダリングした画像を表示装置４００に送信する第２の通信部３０３と、画像データの供給源となる画像ソース３０４を備えている。

通信部３０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを介して、頭部動作追跡装置２００から姿勢情報を受信する。上述したように、姿勢情報は回転マトリックスで表現されている。

画像ソース３０４は、例えば、画像コンテンツを記録するＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ブルーレイ（登録商標）などの記録メディアを再生するメディア再生装置、ディジタル放送信号を選局受信する放送チューナー、インターネットのサーバーなどから画像コンテンツを受信する通信インターフェースなどからなる。あるいは、表示装置４００が没入型のヘッド・マウント・ディスプレイとして構成される場合、その外側カメラ（後述）で撮影したビデオ・シースルー画像を画像ソース３０４とすることもできる。

描画処理部３０２は、画像ソース３０４の画像データから、表示装置４００側で表示する画像をレンダリングする。描画処理部３０２は、例えば画像ソース３０４から供給される全天球型の原画像や４Ｋなどの広画角の原画像から、通信部３０１で受信した姿勢情報に対応した表示画角を切り出した画像をレンダリングする。

描画装置３００と表示装置４００間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）などの有線ケーブルにより接続されている。あるいは、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信で接続してもよい。第２の通信部３０３は、いずれかの通信路を用いて、描画処理部３０２でレンダリングされた画像データを非圧縮のまま表示装置４００に送信する。

表示装置４００は、描画装置３００から画像を受信する通信部４０１と、受信した画像を表示する表示部４０２を備えている。表示装置４００は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイとして構成される。

通信部４０１は、例えばＨＤＭＩ（登録商標）やＭＨＬなどの通信路を介して、描画装置３００から非圧縮の画像データを受信する。表示部４０２は、受信した画像データを画面に表示する。

表示装置４００がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部４０２は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部４０２の画面は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部４０２の表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部を備えている。

描画装置３００側では、例えば全天球型の原画像や４Ｋなどの広画角の原画像から、ユーザーの頭部の位置姿勢情報に対応した表示画角を切り出した画像をレンダリングする。表示装置４００側では、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示領域が移動することになる。したがって、頭部の動きに追従した画像を再現することができ、ユーザーは大画面を見渡す体験をすることができる。また、表示装置４００は、画像の動きに合わせて音声の出力も変化させるようにしてもよい。

図２には、画像表示システム１００の変形例を模式的に示している。図１に示した例では、画像表示システム１００は、頭部動作追跡装置２００、描画装置３００、表示装置４００という３台の独立した装置で構成されるが、図２に示す例では、描画装置３００の機能が表示装置４００内に搭載されている。図１に示したように、頭部動作追跡装置２００を表示装置４００に外付けされるオプション製品として構成すれば、表示装置４００の小型・軽量化、低廉化になる。

図３並びに図４には、表示装置４００の外観構成を示している。図示の例では、表示装置４００は、画像を観察するユーザーの頭部又は顔部に固定して用いられるヘッド・マウント・ディスプレイとして構成される。但し、図３はヘッド・マウント・ディスプレイを頭部に装着しているユーザーを正面から眺めた様子を示し、図４はヘッド・マウント・ディスプレイを着用したユーザーを上方から眺めた様子を示している。

ヘッド・マウント・ディスプレイは、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。光学シースルーのタイプとは相違し、没入型のヘッド・マウント・ディスプレイを着用したユーザーは現実世界の風景を直接眺めることはできない。ユーザーの視線方向の風景を撮影する外側カメラを装備していれば、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。

図３に示すヘッド・マウント・ディスプレイは、帽子形状に類似した構造体であり、着用したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネルが配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。

ヘッド・マウント・ディスプレイ本体の左右の両端付近にそれぞれマイクロフォンが設置されている。左右ほぼ対称的にマイクロフォンを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

また、ヘッド・マウント・ディスプレイ本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネルが配設されている。図示の例では、左右一対のタッチパネルを備えているが、単一又は３以上のタッチパネルを備えていてもよい。

また、ヘッド・マウント・ディスプレイは、図４に示すように、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネルを持つ。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネルの表示画像は、虚像光学部を通過するにより拡大虚像としてユーザーの左右の目でそれぞれ観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、着用したユーザーの眼と左右の各表示系とを位置合わせする必要がある。図４に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構を装備している。

図５には、ヘッド・マウント・ディスプレイを利用した画像表示システム１００の変形例を示している。図示の画像表示システム１００は、ユーザーが頭部又は顔部に装着して用いる表示装置（ヘッド・マウント・ディスプレイ）４００と、図５には図示を省略した頭部動作追跡装置２００と、マルチコプターなどの移動体装置６００に搭載された撮影装置５００で構成される。移動体装置６００は、ユーザーがコントローラー７００を介して無線で遠隔操作するラジコンでもよいし、他のユーザーが操縦する移動体や自律的に運転する移動体であってもよい。

また、ヘリコプターなどのラジコンに搭載した無線カメラで撮影した一人称視点（パイロット視点）画像を見ながら操縦する、ＦＰＶ（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｖｉｅｗｉｎｇ）技術も知られている。例えば、撮影装置を搭載した移動体と、操作者が操作して移動体を遠隔制御するウェアラブルＰＣからなる移動体制御装置について提案がなされている（例えば、特許文献４を参照のこと）。移動体側では、移動体の動作を制御する信号を受信して自己の動作を制御するとともに、搭載している撮影装置を制御する信号を受信して撮影動作を制御して、撮影装置の出力する映像信号と音声信号をウェアラブルＰＣに送信する。一方、ウェアラブルＰＣ側では、操作者の操作に応じて、移動体の動作を制御する信号を生成し、また、操作者の音声に応じて撮影装置の動作を制御する信号を生成して、移動体に無線送信するとともに、撮影装置の出力信号を無線受信して映像信号を再生し、これをモニタ画面に表示する。

図６には、図５に示した画像表示システム１００の機能的構成例を示している。図示の画像表示システム１００は、ユーザーの頭部に取り付けられた頭部動作追跡装置２００と、ユーザーの頭部又は顔部に着用される表示装置４００、移動体（図６では図示を省略）に搭載された撮影装置５００という３台の装置で構成される。

頭部動作追跡装置２００は、表示装置４００が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の位置姿勢情報を表示装置４００に出力する。図示の例では、頭部動作追跡装置２００は、センサー部２０１と、位置姿勢演算部２０２と、通信部２０３を備えている。

センサー部２０１は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成され、ユーザーの頭部の姿勢角を検出する。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。位置姿勢演算部２０２は、センサー部２０１による９軸の検出結果に基づいて、ユーザーの頭部の位置姿勢情報を演算する。

頭部動作追跡装置２００と表示装置４００間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。あるいは、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由で頭部動作追跡装置２００と表示装置４００間を接続するようにしてもよい。位置姿勢演算部２０２で求められたユーザーの頭部の位置姿勢情報は、通信部２０３を介して表示装置４００に送信される。

撮影装置５００は、全方位カメラ５０１と、通信部５０２を備え、移動体装置６００に搭載して用いられる。

全方位カメラ５０１は、例えば複数のカメラを、それぞれ主軸方向を外側に向けて放射状に配置して構成され、全方位を撮影範囲とする。なお、本実施形態に係る画像表示システム１００に適用可能な全方位カメラの具体的な構成例については、例えば本出願人に既に譲渡されている特願２０１４−１２８０２０号明細書を参照されたい。但し、本明細書で開示する技術は、特定の全方位カメラの構成に限定されない。

撮影装置５００と表示装置４００間はＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線通信により相互接続されているものとする。全方位カメラ５０１で撮影した画像情報は、通信部５０２を介して表示装置４００に送信される。

表示装置４００は、例えばヘッド・マウント・ディスプレイとして構成される。図６に示す例では、頭部動作追跡装置２００は表示装置４００とは独立した装置として構成されているが（例えば、頭部動作追跡装置２００は、ヘッド・マウント・ディスプレイのオプション製品として製造販売される）、頭部動作追跡装置２００と表示装置４００を一体としてヘッド・マウント・ディスプレイを構成することもできる。

表示装置４００は、第１の通信部３０１と、第２の通信部３０３と、描画処理部３０２と、表示部４０２を備えている。

表示装置４００がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部４０２は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部４０２の画面は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部４０２の表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部（図示しない）を備えている。

第１の通信部３０１は、頭部動作追跡装置２００から、通信部２０３を介してユーザーの頭部の位置姿勢情報を受信する。また、第２の通信部３０３と、撮影装置５００から、通信部５０２を介して、全方位カメラ５０１で撮影した画像情報受信する。

描画処理部３０２は、全方位画像からユーザーの頭部の位置姿勢情報に対応した表示画角を切り出した画像をレンダリングする。表示部４０２では、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示領域が移動し、頭部の動きに追従した画像を再現することができ、ユーザーは大画面を見渡す体験をすることができる。

図７には、上述した画像表示システム１００において、ユーザーの頭部の動きに追従した画像を表示装置４００で表示する仕組みを図解している。

ユーザーの視線の奥行き方向がｚ_w軸、水平方向がｙ_w軸、垂直方向がｘ_w軸であり、ユーザーの基準軸ｘ_wｙ_wｚ_wの原点位置はユーザーの視点位置とする。したがって、ロールθ_zはユーザーの頭部のｚ_w軸回りの運動、チルトθ_yはユーザーの頭部のｙ_w軸回りの運動、パンθ_zはユーザーの頭部のｘ_w軸回りの運動に相当する。

頭部動作追跡装置２００は、ユーザーの頭部のロール、チルト、パンの各方向の動き（θ_z，θ_y，θ_z）や頭部の平行移動からなる姿勢情報を検出して、描画装置３００に出力する。

描画装置３００は、ユーザーの頭部の姿勢に追従するように、例えば全方位画像や４Ｋなどの広画角の原画像７０１から切り出す領域７０２の中心を移動させ、その中心位置で所定の画角で切り出した領域７０２の画像をレンダリングする。描画装置３００は、ユーザーの頭部運動のロール成分に応じて領域７０２−１を回転させたり、ユーザーの頭部運動のチルト成分に応じて領域７０２−２を移動させたり、ユーザーの頭部運動のパン成分に応じて領域７０２−３を移動させたりして、頭部動作追跡装置２００が検出した頭部の動きを打ち消すように表示領域を移動させる。表示装置４００側では、ユーザーの頭部の動きに追従するように原画像５０１中で表示領域が移動する画像を提示することができる。

図８には、広視野画像からユーザーの頭部の位置姿勢に適合した表示画角の画像を切り出す処理手順を示している。

描画装置３００内では、画像ソース３０４から広視野画像が入力される（Ｆ８０１）。一方、頭部動作追跡装置２００内では、センサー部２０１がユーザーの頭部の姿勢角を検出し、位置姿勢演算部２０２がセンサー部２０１による検出結果に基づいてユーザーの頭部の姿勢角ｑ_hを演算する（Ｆ８０２）。そして、算出した頭部姿勢角ｑ_hを、通信部２０３を介して描画装置３００に送信する。

描画装置３００側では、通信部３０１で、頭部動作追跡装置２００からユーザーの頭部姿勢角ｑ_hを受信すると、描画処理部３０２が、ユーザーの頭部姿勢角ｑ_hに応じた表示画角を広視野画像から切り出して、画像をレンダリングする（Ｆ８０３）。画像をレンダリングする際、拡大縮小や変形を行なうようにしてもよい。ユーザーの視点位置と視野角に応じて表示画角を変化させた画像のことを「自由視点画像」と呼ぶことにする。そして、描画装置３００は、描画処理部３０２がレンダリングした自由視点画像を、通信部３０１を介して表示装置４００に送信し、表示装置４００で表示が行なわれる（Ｆ８０４）。

図７及び図８に示したように、本実施形態に係る画像表示システム１００では、頭部追跡装置２００が検出するユーザーの頭部の位置姿勢情報に従って視野角を計算し、この視野角に適合する表示画角を元の広視野画像から切り出していく。

ところで、画像表示システム１００において、自由視点画像や広視野画像を視聴していると、ユーザーが意図していない、酔いを引き起こしそうな画像を避けることができない。とりわけ、表示装置４００がヘッド・マウント・ディスプレイのようにユーザーの頭部又は顔部に固定して利用される場合、比較的短時間でも酔いを生じ易い。

そこで、本明細書で開示する技術では、酔いを引き起こしそうな異常な画像を自動検出して、適切な酔い防止動作を実現するようにしている。

図９には、異常な画像を自動検出する機能的構成例を示している。図示の異常検出機能は、例えば描画処理部３０２内に組み込むことができる。

異常検出部９０１は、頭部動作追跡装置２００から頭部の位置姿勢情報を入力して、図７及び図８に示した処理手順でレンダリングした自由視点画像が、ユーザーが意図していない酔いを引き起こしそうな画像であるかどうかを検出する。

ここで、図１０に示すように、表示装置４００を頭部又は顔部に固定したユーザーの頭部（若しくは眼）の３次元位置（ｘ，ｙ，ｚ）、並びに、姿勢（ヨー角φ、ピッチ角θ、ロール角ψ）を定義する。異常検出部９０１は、単位時間毎の頭部の各方向の移動量Δｘ、Δｙ、Δｚ、並びに、単位時間毎の頭部の各軸回りの回転量Δφ、Δθ、Δψを時々刻々算出し、下式（１）に示すように、各方向について設定した閾値ｘ_th、ｙ_th、ｚ_th並びに各軸について設定した閾値φ_th、θ_th、ψ_thとそれぞれ大小比較する。そして、いずれか１つ、又は所定数以上の成分が閾値を超えると、異常検出部９０１は、ユーザーが意図していない酔いを引き起こしそうな自由視点画像になることを検出する。

各方向並びに各軸回りに個別に設定した閾値と大小比較することに加えて、単位時間毎の頭部の動きＰ＝（Δｘ，Δｙ，Δｚ）並びに単位時間毎の頭部の回転ｒ＝（Δφ，Δθ，Δψ）を時々刻々算出し、下式（２）に示すように、単位時間における頭部の動きの絶対値｜Ｐ｜とノルム||Ｐ||、並びに、単位時間における頭部の回転の絶対値｜ｒ｜とノルム||ｒ||をそれぞれについて設定した閾値Ｐ_th、ｒ_thと大小比較する。そして、異常検出部９０１は、いずれか一方又は両方が閾値を超えると、異常検出部９０１は、ユーザーが意図していない酔いを引き起こしそうな自由視点画像になることを検出する。

例えば、無理やりセンサー部２０１を動かされたり、センサー部２０１又は位置姿勢演算部２０２が誤動作を起こしたりしたときには、異常検出部９０１は、上式（１）又は（２）に基づいて、異常な自由視点画像になることを検出する。

異常検出部９０１は、異常な自由視点画像になることを検出すると、表示装置４００（若しくは、表示部４０２）に対して検出信号９０２を出力して、適切な酔い防止動作を実行するように指示する。但し、酔い防止動作の詳細については、後述に譲る。

また、図１１には、異常な画像を自動検出する他の機能的構成例を示している。図示の異常検出機能は、例えば描画処理部３０２内に組み込むことができる。

異常検出部１１０１は、頭部動作追跡装置２００から頭部の位置姿勢情報を入力して、図７及び図８に示した処理手順でレンダリングした自由視点画像が、ユーザーが意図していない酔いを引き起こしそうな画像であるかどうかを検出する。図９に示した構成例との相違は、動き情報を取得する動き情報取得部１１０２を備えている点である。

動き情報取得部１１０２が取得する動き情報は、自由視点画像など描画処理部３０２が処理する元のコンテンツの画像の動きに関する情報であり、例えばコンテンツに付随するメタデータとして提供される。

動き情報は、例えば、単位時間毎の各方向の移動量Δｘ、Δｙ、Δｚ、並びに、単位時間毎の各軸回りの回転量Δφ、Δθ、Δψの閾値ｘ_th、ｙ_th、ｚ_th、φ_th、θ_th、ψ_thからなる。閾値の情報をコンテンツのメタデータとして提供することにより、コンテンツの制作者は異常と検出すべき閾値をコンテンツの視聴者側に指示することができという利点がある。例えば、コンテンツの制作者が動きの激しい画像として視聴して欲しい場合には、大きな値に設定した閾値を、動き情報としてコンテンツのメタデータに格納すればよい。

また、動き情報として提供する閾値を時間の関数ｘ_th（ｔ）、ｙ_th（ｔ）、ｚ_th（ｔ）、φ_th（ｔ）、θ_th（ｔ）、ψ_th（ｔ）、Ｐ_th（ｔ）、ｒ_th（ｔ）としてもよい。この場合、異常検出部１１０１は、下式（３）、（４）に示すように、頭部動作追跡装置２００で計測され頭部の位置姿勢情報を、時間の関数である各閾値と大小比較して、画像の異常検出を行なう。

閾値を時間の関数ｘ_th（ｔ）、ｙ_th（ｔ）、ｚ_th（ｔ）、φ_th（ｔ）、θ_th（ｔ）、ψ_th（ｔ）、Ｐ_th（ｔ）、ｒ_th（ｔ）とすることで、コンテンツの制作者が、例えばシーン毎に異常と検出すべき閾値をコンテンツの視聴者側に指示することができという利点がある。例えば、コンテンツの制作者が動きの激しい画像として視聴して欲しいシーンに対しては、大きな値に設定した閾値を、動き情報としてコンテンツのメタデータに格納すればよい。

異常検出部１１０１は、異常な自由視点画像になることを検出すると、表示装置４００（若しくは、表示部４０２）に対して検出信号１１０３を出力して、適切な酔い防止動作を実行するように指示する。但し、酔い防止動作の詳細については、後述に譲る。

また、図１２には、異常な画像を自動検出するさらに他の機能的構成例を示している。図示の異常検出機能は、例えば描画処理部３０２内に組み込むことができる。

画像情報取得部１２０２は、表示装置４００に表示する画像を画像ソース３０４などから取得する。例えば、ブルーレイ・ディスク・プレイヤーで再生した画像をする。そして、異常検出部１２０１は、画像情報取得部１２０２が取得した画像を解析して、ユーザーが意図していない酔いを引き起こしそうな画像であるかどうかを検出する。

図１３に示すように、動画像は、画素毎にまちまちのオプティカル・フローを持つ。異常検出部１２０１は、面内のオプティカル・フローの平均値Ｆ＝（Ｆ_X，Ｆ_Y）を時々刻々計算し、下式（５）に示すように、オプティカル・フローの平均値Ｆの各成分Ｆ_X、Ｆ_Yの絶対値、オプティカル・フローＦの絶対値とノルムを、各々について設定した閾値とそれぞれ大小比較する。

そして、いずれか１つ又は所定数以上が閾値を超えると、異常検出部１２０１は、表示装置４００に異常な画像が表示されると検出し、表示装置４００（若しくは、表示部４０２に対して検出信号１２０３を出力して、適切な酔い防止動作を実行するように指示する。

なお、図１２に示した異常な画像を検出する機能的構成を、図９又は図１１に示した機能的構成と組み合わせて、画像表示システム１００を運用するようにしてもよい。

画像の異常が検出されたことに応じて、表示装置４００で行なう酔い防止動作を以下に例示する。

（１）表示部４０２をブラックアウトする。
（２）異常を検出した旨のメッセージ画面を表示する。
（３）動画像の表示を一時停止する。
（４）自由視点画像における頭部の位置姿勢の追従を一時停止する。
（５）ビデオ・シースルー表示する。
（６）表示装置４００の電源をオフにする。
（７）表示装置４００をユーザーの頭部又は顔部に固定した状態を解除する。

上記のうち（１）〜（６）は、画像の異常検出に応答して、表示部４０２における表示を制御して、ユーザーが意図しない酔いを防止する。（１）〜（４）並びに（６）は、頭部動作に追従した画像を表示する表示装置全般（大画面ディスプレイや、スマートフォンやタブレットなどの多機能端末を含む）に対し適用することができる。これに対し、（５）は、表示装置４００がヘッド・マウント・ディスプレイとして構成される場合（図３、図４を参照のこと）、ユーザーの視線方向の風景を外側カメラで撮影して、ビデオ・シースルー表示する方法である。ユーザーは、意図しない酔いを起こすような画像を回避するだけでなく、間接的に現実世界の風景を眺めて、危険を回避することができる。

また、上記のうち（１）〜（６）は信号処理によりユーザーが意図しない酔いを防止するのに対し、（７）は機械的な動作を利用した方法である。表示装置４００がヘッド・マウント・ディスプレイとして構成される場合（図３、図４を参照のこと）、例えば、ヘッド・マウント・ディスプレイの装着が外れる、あるいはヘッド・マウント・ディスプレイ全体ではなく表示部のみが外れるといった機構により実現することができる。例えば、表示面を可動部材により開閉可能に支持し、開成状態に依りユーザーの周辺視野を確保できる第２の状態となるヘッド・マウント・ディスプレイについて提案がなされており（例えば、特許文献５を参照のこと）、本明細書で開示する技術に適用することができる。

上述したように、本明細書で開示する技術によれば、ユーザーは、ヘッド・マウント・ディスプレイなどの表示装置を頭部又は顔部に固定して画像を視聴している際に、意図していない酔いを引き起こしそうな画像を見ることを避けることができ、ＶＲ酔いを大きく軽減することができる。

特開２０１２−１４１４６１号公報 特開平９−１０６３２２号公報 特開２０１０−２５６５３４号公報 特開２００１−２０９４２６号公報 特開２０１３−２００３２５号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、自由視点画像や広視野画像を没入型のヘッド・マウント・ディスプレイで視聴する際に好適に適用することができるが、勿論、透過型のヘッド・マウント・ディスプレイにも適用することができる。

本明細書では、両眼式でビデオ・シースルー方式のヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術は、単眼式のヘッド・マウント・ディスプレイや光学シースルー方式のヘッド・マウント・ディスプレイにも同様に適用することができる。

また、本明細書で開示する技術は、ヘッド・マウント・ディスプレイではなく、スマートフォンやタブレットなどの情報端末の画面を頭部や顔部に固定して自由視点画像を視聴する場合、さらには大画面ディスプレイで広視野角画像を視聴する場合にも、同様に適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部と、
を具備する情報処理装置。
（２）前記異常検出部は、前記表示装置が前記ユーザーの頭部の位置及び姿勢に追従した画像を表示しているときに、前記ユーザーが意図しない酔いを引き起こす異常を検出する、
上記（１）に記載の情報処理装置。
（３）前記ユーザーの頭部の位置及び姿勢情報を取得する頭部位置姿勢情報取得部をさらに備え、
前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報に基づいて異常を検出する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報を所定の閾値と比較して異常を検出する、
上記（３）に記載の情報処理装置。
（５）前記表示装置に表示する画像にメタデータとして付随する動き情報を取得する動き情報取得部をさらに備え、
前記異常検出部は、前記動き情報に基づいて、前記ユーザーの頭部の位置及び姿勢情報から異常を検出する、
上記（３）に記載の情報処理装置。
（６）前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報を、前記動き情報として取得した閾値と比較して異常を検出する、
上記（５）に記載の情報処理装置。
（７）前記異常検出部は、前記表示装置に表示される画像を解析して異常を検出する、
上記（１）に記載の情報処理装置。
（８）前記異常検出部は、画像の面内のオプティカル・フローの平均値を所定の閾値と比較して、異常を検出する、
上記（７）に記載の情報処理装置。
（９）前記異常検出部は、異常を検出したことに応じて、前記表示装置に異常検出信号を出力する、
上記（１）に記載の情報処理装置。
（１０）前記異常検出部は、異常を検出したことに応じて、前記表示装置に対して、異常な画像に応じた表示制御を指示する異常検出信号を出力する、
上記（１）に記載の情報処理装置。
（１１）前記異常検出部は、異常を検出したことに応じて、前記表示装置がユーザーの頭部又は顔部に固定された状態の解除を指示する異常検出信号を出力する、
上記（１）に記載の情報処理装置。
（１２）ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出ステップと、
を有する情報処理方法。
（１３）ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（１４）ユーザーの頭部又は顔部に固定される表示装置と、
前記表示装置に表示される画像中の異常を検出する異常検出部と、
を具備する画像表示システム。

１００…画像表示システム
２００…頭部動作追跡装置、２０１…センサー部
２０２…位置姿勢演算部、２０３…通信部
３００…描画装置、３０１…第１の通信部、３０２…描画処理部
３０３…第２の通信部、３０４…画像ソース
４００…表示装置、４０１…通信部、４０２…表示部
５００…撮影装置、５０１…全方位カメラ、５０２…通信部
６００移動体装置、７００…コントローラー
９０１…異常検出部
１１０１…異常検出部、１１０２…動き情報取得部
１２０１…異常検出部、１２０３…画像情報取得部

Claims (14)

1. ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部と、
   を具備する情報処理装置。
2. 前記異常検出部は、前記表示装置が前記ユーザーの頭部の位置及び姿勢に追従した画像を表示しているときに、前記ユーザーが意図しない酔いを引き起こす異常を検出する、
   請求項１に記載の情報処理装置。
3. 前記ユーザーの頭部の位置及び姿勢情報を取得する頭部位置姿勢情報取得部をさらに備え、
   前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報に基づいて異常を検出する、
   請求項１又は２のいずれかに記載の情報処理装置。
4. 前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報を所定の閾値と比較して異常を検出する、
   請求項３に記載の情報処理装置。
5. 前記表示装置に表示する画像にメタデータとして付随する動き情報を取得する動き情報取得部をさらに備え、
   前記異常検出部は、前記動き情報に基づいて、前記ユーザーの頭部の位置及び姿勢情報から異常を検出する、
   請求項３に記載の情報処理装置。
6. 前記異常検出部は、前記ユーザーの頭部の位置及び姿勢情報を、前記動き情報として取得した閾値と比較して異常を検出する、
   請求項５に記載の情報処理装置。
7. 前記異常検出部は、前記表示装置に表示される画像を解析して異常を検出する、
   請求項１に記載の情報処理装置。
8. 前記異常検出部は、画像の面内のオプティカル・フローの平均値を所定の閾値と比較して、異常を検出する、
   請求項７に記載の情報処理装置。
9. 前記異常検出部は、異常を検出したことに応じて、前記表示装置に異常検出信号を出力する、
   請求項１に記載の情報処理装置。
10. 前記異常検出部は、異常を検出したことに応じて、前記表示装置に対して、異常な画像に応じた表示制御を指示する異常検出信号を出力する、
    請求項１に記載の情報処理装置。
11. 前記異常検出部は、異常を検出したことに応じて、前記表示装置がユーザーの頭部又は顔部に固定された状態の解除を指示する異常検出信号を出力する、
    請求項１に記載の情報処理装置。
12. ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部ステップと、
    を有する情報処理方法。
13. ユーザーの頭部又は顔部に固定される表示装置に表示される画像中の異常を検出する異常検出部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
14. ユーザーの頭部又は顔部に固定される表示装置と、
    前記表示装置に表示される画像中の異常を検出する異常検出部と、
    を具備する画像表示システム。