JP6845111B2 - 情報処理装置および画像表示方法 - Google Patents

Description

本発明は、ヘッドマウントディスプレイに画像を表示する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）または拡張現実（ＡＲ）の映像世界をユーザに提供する。最近ではＨＭＤをゲーム装置に接続して、ユーザがＨＭＤに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることも行われている。ＨＭＤはユーザの視野全体にＶＲ画像を提供するために、映像世界へのユーザの没入感を高め、ゲーム等のエンタテインメント性を飛躍的に向上させる効果がある。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して仮想３次元空間の画像を生成することで、映像世界への没入感をさらに高めることができる。

ＨＭＤの普及に伴う新たなマーケティング手法として、ＶＲ空間内およびＡＲ空間内に広告等の付加的なコンテンツを表示することが考えられる。このような付加的なコンテンツをＶＲ空間内およびＡＲ空間内においてユーザへ効果的に提示する手法は、これまで十分に提案されてこなかった。

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、広告等の付加的なコンテンツをＶＲ空間内またはＡＲ空間内においてユーザへ効果的に提示する技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出する方向検出部と、ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第１画像を生成する画像生成部と、画像生成部により生成された第１画像とともに、メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第２画像をヘッドマウントディスプレイに表示させる表示制御部と、を備える。表示制御部は、方向検出部により検出されたユーザの視線方向または頭部の向きに応じて、ヘッドマウントディスプレイにおける第２画像の表示態様を制御する。

本発明の別の態様は、画像表示方法である。この方法は、ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出するステップと、ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第１画像を生成するステップと、第１画像とともに、メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第２画像をヘッドマウントディスプレイに表示させるステップと、ユーザの視線方向または頭部の向きに応じて、ヘッドマウントディスプレイにおける第２画像の表示態様を制御するステップと、をコンピュータが実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、広告等の付加的なコンテンツをＶＲ空間内またはＡＲ空間内においてユーザへ効果的に提示する技術を提供できる。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 図５（ａ）および図５（ｂ）は、ＨＭＤに表示される画像を模式的に示す図である。 図６（ａ）および図６（ｂ）は、ＨＭＤに表示される画像を模式的に示す図である。 図７（ａ）および図７（ｂ）は、ＨＭＤに表示される画像を模式的に示す図である。 図８（ａ）および図８（ｂ）は、ＨＭＤに表示される画像を模式的に示す図である。 図９（ａ）および図９（ｂ）は、ＨＭＤに表示される画像を模式的に示す図である。 図１０（ａ）および図１０（ｂ）は、ＨＭＤに表示される画像を模式的に示す図である。

実施例の情報処理装置は、ユーザが装着したヘッドマウントディスプレイ（ＨＭＤ）に対して、ユーザにより選択されたメインコンテンツに関する画像を表示させる。メインコンテンツは、ＨＭＤにおいて主たる表示対象となるコンテンツであり、外部装置からライブ配信されたデータ、もしくは、当該情報処理装置に予め記録されたデータに基づく、ユーザが視聴可能な様々な映像コンテンツを含む。例えば、メインコンテンツは、ゲーム、コンサート、トーク番組等のエンタテインメントコンテンツを含む。実施例では、メインコンテンツとしてゲームを例示する。

また、実施例の情報処理装置は、メインコンテンツとは異なるコンテンツであり、かつ、所定のモノまたはサービスの認知を促進するためのコンテンツ（以下「付加コンテンツ」とも呼ぶ。）に関する画像を、メインコンテンツ画像とともにＨＭＤに表示させる。付加コンテンツは、様々なモノまたはサービスの広告を含み、また、メインコンテンツとは異なるゲームやコンサート等へユーザを誘導するためのコンテンツ（例えばゲームやコンサートへのリンク画像等）を含む。付加コンテンツのデータは、外部装置からライブ配信され、もしくは、当該情報処理装置に予め記録されてもよい。

また、実施例の情報処理装置は、ＨＭＤを装着したユーザの視線方向または頭部の向きに応じて、ＨＭＤにおける付加コンテンツの画像の表示態様を制御する。例えば、付加コンテンツの画像の表示態様を第１の態様から第２の態様へ変化させる。これにより、ＶＲ空間内およびＡＲ空間内において効果的に付加コンテンツをユーザへ提示することができる。実施例では、付加コンテンツとして広告を例示する。また、実施例では、非透過型のＨＭＤにＶＲ画像を表示するが、光学透過型のＨＭＤにＡＲ画像を表示する場合も、実施例における付加コンテンツ画像の表示技術を適用可能である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ＨＭＤ１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワークに接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

実施例の情報処理装置１０は、ＡＰ１７を介して、外部のネットワーク上のサーバ３に接続される。サーバ３は、ＨＭＤ１００に表示するべき複数種類の広告のデータを記憶し、複数種類の広告のデータを情報処理装置１０へ送信する。広告のデータは、広告画像を含んでもよく、広告の表示タイミングや表示態様を指定するデータを含んでもよい。

ＨＭＤ１００は、ユーザの頭部に装着されて、仮想現実（ＶＲ）の映像世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。

情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ゲームなどのアプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の姿勢情報をゲームに対するユーザの操作情報として受け付けて、ゲームを進行させる機能をもつ。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

処理装置１１、記憶装置１３、出力装置１５、入力装置１６および撮像装置１４は、従来型のゲームシステムを構築してよい。この場合、処理装置１１はゲームを実行するゲーム装置であり、入力装置１６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１１にユーザによる操作情報を供給する機器である。記憶装置１３は、システムソフトウェアやゲームソフトウェアなどを記憶している。このゲームシステムの構成要素に、出力制御装置１２およびＨＭＤ１００を追加することで、仮想３次元空間のＶＲ画像をＨＭＤ１００に提供する情報処理システム１が構築される。

なお出力制御装置１２による機能は、処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ＶＲ画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

実施例のゲームは、入力装置１６から入力された操作情報にもとづいて仮想３次元空間内でユーザキャラクタを動かし、ユーザの頭部に装着されたＨＭＤ１００の姿勢情報にもとづいてユーザキャラクタの視線方向を定める。実施例ではゲームがＨＭＤ１００の姿勢情報を、ユーザキャラクタの視線方向を制御するための操作情報として利用するが、入力装置１６における入力情報を、視線方向を制御するための操作情報として利用してもよい。またユーザキャラクタを移動させるための操作情報は、入力装置１６の入力情報を用いずに、ＨＭＤ１００の位置情報を利用してもよい。実施例において、ユーザキャラクタの操作情報は、入力装置１６およびＨＭＤ１００のいずれから取得されてもよく、また他のユーザインタフェースから取得されてもよい。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。既述したように情報処理装置１０は、ＨＭＤ１００の位置情報をもとにユーザキャラクタの仮想３次元空間内の位置を算出し、ＨＭＤ１００の姿勢情報をもとにユーザキャラクタの視線方向を算出してもよいが、実施例では仮想３次元空間内におけるユーザキャラクタの位置は、入力装置１６の操作情報をもとに算出する。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、撮影画像受信部２２、入力データ受信部２４、表示制御部５０および通信部４６を備える。情報処理装置１０は、さらにＨＭＤ情報取得部３０、視線方向検出部３２、受付部３４、メイン画像生成部４２、付加画像生成部４４および注目画像検出部４８を備える。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。例えば、図４の複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが情報処理装置１０のストレージ（例えば記憶装置１３）にインストールされてもよい。情報処理装置１０のＣＰＵまたはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、図４の各機能ブロックの機能を発揮してもよい。

以下、ファーストパーソンシューター（ＦＰＳ）ゲームの画像を生成するときの情報処理装置１０の動作について説明する。
メイン画像生成部４２は、メインコンテンツの画像として、左目用のゲーム画像と右目用のゲーム画像の態様を決定する。表示制御部５０は、それぞれのゲーム画像をＨＭＤ１００に提供して、表示パネル１３０に表示させる。

センサデータ受信部２０は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ＨＭＤ情報取得部３０に供給する。撮影画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部３０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２２は、（１／６０）秒ごとに撮影画像を受信する。実施例においてＨＭＤ情報取得部３０は、センサデータおよび撮影画像を、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報として取得する。ＨＭＤ情報取得部３０は、取得した姿勢情報を、視線方向検出部３２に供給する。

視線方向検出部３２は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を検出し、言い換えれば、ユーザの視線方向を決定する。具体的にＨＭＤ情報取得部３０は、姿勢センサ１２４のセンサデータから、ＨＭＤ１００の姿勢の変化を検出する。このときＨＭＤ情報取得部３０は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定してよい。なおＨＭＤ情報取得部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。視線方向検出部３２は、検出した視線方向を、メイン画像生成部４２、注目画像検出部４８および表示制御部５０に提供する。

入力データ受信部２４は入力装置１６から、ユーザが入力したキーデータを受信して、受付部３４に供給する。受付部３４はキーデータを、ゲームに対する操作情報としてメイン画像生成部４２に提供する。

メイン画像生成部４２は、視線方向検出部３２から提供される視線方向を、ユーザキャラクタの視線を定める操作情報として利用する。また、メイン画像生成部４２は、受付部３４から供給されるキーデータを、ユーザキャラクタの動作を定める操作情報として利用する。入力装置１６の操作により仮想３次元空間内のキャラクタを動作させる処理は、既知の技術を利用してよい。メイン画像生成部４２は、仮想３次元空間においてユーザキャラクタを動かし、ユーザキャラクタの位置（仮想３次元空間座標値）および視線方向にもとづいて、仮想３次元空間のレンダリング処理を行う。例えば、メイン画像生成部４２は、ユーザキャラクタの位置に、ユーザキャラクタの視線方向を光軸とする仮想カメラを配置して、仮想カメラの画像を取得することで、ＨＭＤ１００に表示される仮想３次元空間のゲーム画像を生成してもよい。

実施例のＦＰＳゲームでは、ユーザが入力装置１６のキー入力によりキャラクタを動作させ、またＨＭＤ１００の向きを動かすことで、キャラクタの視線方向を変えられる。このゲームでユーザは３６０度全方位に移動し、また３６０度全方位を見ることができ、その意味においてＨＭＤ１００は、ゲーム仮想空間の全方位を表示可能な表示装置として利用される。

通信部４６は、ＡＰ１７を介して、サーバ３と通信する。実施例の通信部４６は、サーバ３から送信された広告のデータを受信する。通信部４６は、サーバ３から広告の画像データそのものを受信してもよい。

注目画像検出部４８は、視線方向検出部３２から提供される視線方向に基づいて、ＨＭＤ１００に表示された複数の広告画像のうち、ＨＭＤ１００における表示位置がユーザの視線方向に合致した度合いが高い広告画像を注目画像として検出する。例えば、注目画像検出部４８は、ＨＭＤ１００に表示された複数の広告画像のそれぞれについて、ユーザの視線方向に合致した時間（以下「注目時間」とも呼ぶ。）を計測してもよい。注目画像検出部４８は、注目時間が所定の閾値以上となった広告画像を注目画像として検出してもよい。この閾値は、開発者の知見や経験、情報処理システム１を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記閾値は５秒であってもよい。

付加画像生成部４４は、情報処理装置１０に予め記憶された広告のデータ、または、サーバ３から送信された広告のデータに基づいて、ＨＭＤ１００に表示すべき広告画像を付加コンテンツの画像として生成する。付加画像生成部４４は、生成した広告画像のデータを表示制御部５０へ出力する。例えば、付加画像生成部４４は、複数種類の広告のデータの中から表示対象とする広告のデータを選択し、選択したデータに基づいて、特定のモノまたはサービスの販売促進のための広告画像を生成してもよい。なお、サーバ３から広告画像のデータが提供される場合、付加画像生成部４４は、サーバ３から提供された広告画像をそのまま表示制御部５０へ出力してもよい。

表示制御部５０は、メイン画像生成部４２により生成されたゲーム画像をＨＭＤ１００へ送信し、そのゲーム画像をＨＭＤ１００に表示させる。それとともに、表示制御部５０は、付加画像生成部４４により生成された広告画像をＨＭＤ１００へ送信し、その広告画像をＨＭＤ１００に表示させる。

また、表示制御部５０は、ＨＭＤ１００における広告画像の表示位置を決定し、言い換えれば、ＨＭＤ１００に表示される仮想３次元空間における広告画像の表示位置（例えば座標等）を決定する。表示制御部５０は、ＨＭＤ１００における上記表示位置、言い換えれば、仮想３次元空間における上記表示位置に広告画像を表示させるようにＨＭＤ１００を制御する。表示制御部５０は、ゲーム画像の一部領域の上に重ねて広告画像を表示させてもよい。

また、表示制御部５０は、視線方向検出部３２により検出されたユーザの視線方向に応じて、ＨＭＤ１００における広告画像の表示態様を制御する。例えば、表示制御部５０は、広告画像が販売促進もしくは認知促進の対象とするモノまたはサービス、言い換えれば、広告画像が示すモノまたはサービスを変化させてもよい。これに代えて、もしくは、これとともに、表示制御部５０は、ユーザの視線方向に応じて、ＨＭＤ１００における広告画像の表示有無または表示位置を変化させてもよい。

以下、ユーザの視線方向に応じた広告画像の表示態様を説明する。以下に示す複数の態様は任意の組み合わせが可能である。また、表示制御部５０は、広告画像の表示態様に対する複数種類の制御処理を並行して実行してもよい。

（第１の態様）
表示制御部５０は、ユーザの視線方向が、ＨＭＤ１００における広告画像の表示位置に合致した状態が所定時間以上継続した場合、それまで表示させた広告画像を非表示としてもよい。広告画像を非表示とする場合、表示制御部５０は、広告画像を排除したゲーム画像をＨＭＤ１００へ送信して表示させてもよい。広告画像を非表示とする閾値である上記の所定時間は、開発者の知見や経験、情報処理システム１を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記の所定時間は５秒であってもよい。

図５（ａ）および図５（ｂ）は、ＨＭＤ１００に表示される画像を模式的に示す。図５（ａ）に示すように、実施例の表示制御部５０は、ＨＭＤ１００の画面における上部中央を広告画像２０２の初期表示位置とする。なお、表示制御部５０は、広告画像２０２の初期表示時、ゲーム画像２００における上部中央領域に広告画像２０２を表示させてもよい。

表示制御部５０は、ユーザの複数種類の視線方向と、ＨＭＤ１００の画面の複数の領域との対応関係を予め記憶してもよい。表示制御部５０は、特定の視線方向が検出された場合に、その視線方向に対応する画面の領域（すなわちユーザが見ている領域）を特定してもよい。表示制御部５０は、ユーザの視線方向が広告画像２０２の表示位置（言い換えれば表示領域）に合致した状態であり、図５（ａ）の例では、ユーザの視線方向がＨＭＤ１００の画面の上部中央を指す状態が継続した時間（以下「注目時間」とも呼ぶ。）を計測してもよい。表示制御部５０は、表示中の広告画像２０２に対する注目時間が上記の閾値以上になった場合、広告画像２０２を非表示に切り替えてもよい。図５（ｂ）は、図５（ａ）の広告画像２０２が非表示に切り替えられた状態を示している。

この態様によると、ユーザが仮想３次元空間内の広告をある程度の時間見たことが確認されると、当該広告が自動的に消去される。これにより、広告対象をユーザに認知させる一方で、広告画像によりユーザに煩わしさを感じさせることを回避しやすくなる。

（第２の態様）
付加画像生成部４４は、広告画像として動画データ（言い換えれば動画広告）を生成してもよく、サーバ３から広告画像として動画データを取得してもよい。表示制御部５０は、ユーザの視線方向が、ＨＭＤ１００における広告画像の表示位置に合致した場合に、動画広告の再生を開始してもよい。例えば、表示制御部５０は、再生開始から複数の経過時間に対応する複数の広告画像（言い換えれば動画再生結果の複数の広告画像）をＨＭＤ１００へ順次送信し、これら複数の広告画像をＨＭＤ１００に順次表示させてもよい。

表示制御部５０は、ユーザの視線方向が、ＨＭＤ１００における広告画像の表示位置に不一致の場合、動画広告の再生を抑制してもよい。また、表示制御部５０は、ユーザの視線方向が、ＨＭＤ１００における静止中の動画広告の表示位置に合致した状態が継続した時間（上記の注目時間）が所定の閾値（例えば２秒）以上になった場合に、動画広告の再生を開始してもよい。言い換えれば、表示制御部５０は、上記の注目時間が所定の閾値未満であれば、動画広告の再生を抑制してもよい。また、表示制御部５０は、動画広告の再生が終了した場合、それまで表示させた動画広告を非表示とするようＨＭＤ１００を制御してもよい。

図６（ａ）および図６（ｂ）は、ＨＭＤ１００に表示される画像を模式的に示す。図６（ａ）に示すように、実施例の表示制御部５０は、動画広告２０４の初期表示時、動画広告２０４を静止状態で表示させる。例えば、表示制御部５０は、動画広告２０４の最初のフレーム（言い換えれば再生開始時点で表示される画像）を示す静止画を表示させてもよい。表示制御部５０は、ユーザの視線方向が動画広告２０４の表示位置に合致した場合であり、例えばユーザの視線方向がＨＭＤ１００の画面の上部中央を指した場合に、動画広告２０４の再生表示を開始させる。図６（ｂ）は、再生中の動画広告２０４が表示された状態を示している。

動画広告を常時再生すると、メインコンテンツであるゲーム画像の視認を妨げてしまう可能性がある。また、動画広告の再生時に外部装置と通信が発生する場合、動画広告を常時再生すると通信トラフィックが増加してしまう。第２の態様によると、仮想３次元空間内の広告をユーザが見たことを契機に動画広告の再生を開始するため、上記弊害を回避しつつ、動画広告を効果的にユーザへ提示することができる。

（第３の態様）
表示制御部５０は、ユーザの視線方向が、ＨＭＤ１００における広告画像の表示位置に合致した状態が所定時間以上継続した場合、広告画像のコンテンツをそれまでとは異なるコンテンツに切り替えてもよい。この切替処理において、表示制御部５０は、第１のモノを広告する第２画像の表示を終了させるとともに、第１のモノとは異なる第２のモノを広告する第２画像の表示を開始してもよい。広告画像のコンテンツを変更する閾値である上記の所定時間は、開発者の知見や経験、情報処理システム１を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記の所定時間は５秒であってもよい。

図７（ａ）および図７（ｂ）は、ＨＭＤ１００に表示される画像を模式的に示す。図７（ａ）に示すように、実施例の表示制御部５０は、ＨＭＤ１００の画面における上部中央に第１広告画像２０６を表示する。第１広告画像２０６は、例えば、第１のモノを広告するコンテンツを含む。

表示制御部５０は、ユーザの視線方向が第１広告画像２０６の表示位置に合致した状態であり、すなわち、ユーザの視線方向がＨＭＤ１００の画面の上部中央を指す状態が継続した時間（注目時間）を計測してもよい。表示制御部５０は、第１広告画像２０６に対する注目時間が上記の閾値以上になった場合、第１広告画像２０６に代えて、第１のモノとは異なるモノを広告する内容の第２広告画像２０８を表示させてもよい。図７（ｂ）は、ＨＭＤ１００における表示対象が、第１広告画像２０６から第２広告画像２０８に変更された状態を示している。

同じ内容の広告を表示し続けても、ユーザの興味が他にある場合等、広告の効果が薄いことがある。第３の態様によると、ユーザがある広告を一定時間見ると、その広告が別の広告へ差し替えられる。これにより、多様な興味・価値観を持つ多くのユーザに対して効果的に広告を提示することができる。

（第４の態様）
表示制御部５０は、複数種類のコンテンツを示す複数の広告画像をＨＭＤ１００に表示させてもよい。広告画像に設定されうるコンテンツの種類は、広告対象のカテゴリとも言え、例えば、ゲーム、コンサート、テレビ番組、イベント等に分類されてもよい。複数の広告画像は、少なくとも、広告対象のモノまたはサービスが異なる２つの広告画像を含む。複数の広告画像は、例えば、ゲームを広告する第１の広告画像と、コンサートを広告する第２の広告画像と、テレビ番組を広告する第３の広告画像を含んでもよい。

表示制御部５０は、注目画像検出部４８により複数の広告画像の中から注目画像が検出された場合、複数の広告画像が示す複数種類のコンテンツのうち、注目画像が示す種類のコンテンツを、複数の広告画像に対して優先的に設定してもよい。例えば、表示制御部５０は、ＨＭＤ１００に同時に表示させる複数の広告画像のうち全てまたは過半数の広告画像に対して、注目画像が示す種類のコンテンツを設定してもよい。

図８（ａ）および図８（ｂ）は、ＨＭＤ１００に表示される画像を模式的に示す。図８（ａ）の例では、表示制御部５０は、広告対象が異なる広告画像２１０ａ（例えばゲーム）、広告画像２１０ｂ（例えばコンサート）、広告画像２１０ｃ（例えばテレビ番組）をＨＭＤ１００に表示させる。ここで、注目画像検出部４８が、広告画像２１０ｂを注目画像として検出したこととする。表示制御部５０は、図８（ａ）の広告画像２１０ｂが示す広告対象のカテゴリを複数の広告画像に設定する。図８（ｂ）の例では、表示制御部５０は、３つの広告画像の全てを広告画像２１０ｂ（例えば３つのコンサートを示す広告画像）に変更している。

この態様によると、ユーザの嗜好を視線方向から学習し、ユーザの嗜好に即した広告を提示することができる。

（第５の態様）
表示制御部５０は、ＨＭＤ１００における表示領域の中で、視線方向検出部３２により検出されたユーザの視線方向（視線中心とも言える）に合致する領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。例えば、表示制御部５０は、ＨＭＤ１００の画面を分割した複数の表示領域の中でユーザの視線方向に合致する領域を特定してもよい。表示制御部５０は、広告画像を現在表示中の領域と、上記特定した領域とが異なる場合、上記特定した領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。

図９（ａ）および図９（ｂ）は、ＨＭＤ１００に表示される画像を模式的に示す。図９（ａ）に示すように、実施例の表示制御部５０は、ＨＭＤ１００の画面における上部中央を広告画像２０２の初期表示位置とする。なお、表示制御部５０は、広告画像２０２の初期表示時、ゲーム画像２００における上部中央領域に広告画像２０２を表示させてもよい。

ここで、視線方向検出部３２により検出された視線方向が、ＨＭＤ１００の画面の中央右部に合致したこととする。表示制御部５０は、図９（ｂ）に示すように、広告画像２０２の表示位置を上部中央から中央右部へ変更する。例えば、表示制御部５０は、ＨＭＤ１００の画面の上部中央における広告画像２０２の表示を終了させつつ、ＨＭＤ１００の画面の中央右部における広告画像２０２の表示を開始させてもよい。

この態様によると、ユーザが確実に見る位置に広告画像を配置することができ、広告対象に対するユーザの認知度合いを一層高めることができる。

変形例として、表示制御部５０は、ユーザの視線方向が、ＨＭＤ１００の画面の特定領域に所定時間以上留まる場合に、その特定領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。例えば、表示制御部５０は、ユーザの視線方向に合致する画面内の領域が所定時間以上変化しない場合に、当該領域を広告画像の表示位置として決定してもよい。上記の所定時間は、開発者の知見や経験、情報処理システム１を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記の所定時間は３秒であってもよい。この変形例によると、ユーザが確実に見る位置に広告画像を配置し、かつ、広告画像の表示位置変更の頻度を抑制することができる。

（第６の態様）
表示制御部５０は、ＨＭＤ１００における表示領域の中で、視線方向検出部３２により検出されたユーザの視線方向（視線中心とも言える）に合致する領域とは異なる領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。ユーザの視線方向に合致する領域とは異なる領域は、ユーザの視線方向（視線中心とも言える）の外周（外縁とも言える）にあたる領域とも言える。また、ユーザの視線方向を避けた領域とも言える。なお、ユーザの視線方向に合致する領域とは異なる領域に広告画像を表示中であれば、表示制御部５０は、当該広告画像の表示位置をそのまま維持してもよい。

図１０（ａ）および図１０（ｂ）は、ＨＭＤ１００に表示される画像を模式的に示す。図１０（ａ）に示すように、実施例の表示制御部５０は、ＨＭＤ１００の画面における上部中央を広告画像２０２の初期表示位置とする。ここで、視線方向検出部３２により検出された視線方向が、ＨＭＤ１００の画面の中心部に合致したこととする。表示制御部５０は、広告画像２０２の表示位置を、画面中心部を避けた位置へ変更する。例えば、図１０（ｂ）に示すように、画面の周辺部（言い換えれば四隅近傍位置）へ変更してもよい。

広告画像が表示されてメインコンテンツの画像が見にくくなると、ユーザに嫌悪感を抱かせる可能性がある。第６の態様では、視線中心を避けて広告画像を配置することにより、ユーザに嫌悪感を抱かせてしまうことを回避しつつ、広告対象に対するユーザの興味を徐々に醸成することができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施例では言及していないが、ＨＭＤ１００は、ユーザの目をカメラで撮像し、撮像した画像に基づいてユーザの視線方向を検出する公知の装置（ここでは「視線センサ」と呼ぶ。）を内蔵してもよい。ＨＭＤ１００は、視線センサから出力された、ユーザの視線方向を示す視線センサデータを情報処理装置１０へ送信してもよい。情報処理装置１０のセンサデータ受信部２０は、視線センサデータを受信し、ＨＭＤ情報取得部３０は、視線センサデータを含む姿勢情報を視線方向検出部３２へ出力してもよい。視線方向検出部３２は、姿勢情報に含まれる視線センサデータに基づいて、ユーザの視線方向を検出してもよい。

上記実施例の情報処理装置１０は、ＨＭＤ１００を装着したユーザの視線方向に応じて、ＨＭＤ１００における付加コンテンツ画像（広告画像）の表示態様を制御した。変形例として、情報処理装置１０は、ＨＭＤ情報取得部３０により取得された姿勢情報に基づいてユーザの頭部の向きを検出する頭部向き検出部を、視線方向検出部３２に代えて備えてもよい。ユーザの頭部の向きは、予め定められた基準の向きからの角度でもよい。情報処理装置１０のメイン画像生成部４２、注目画像検出部４８、表示制御部５０は、ユーザの視線方向に代えてユーザの頭部の向きに応じて、実施例に記載の処理を実行してもよい。

上記実施例では、ＨＭＤ１００の画面における広告画像の表示有無、種類、位置を情報処理装置１０が決定した。変形例として、ＨＭＤ１００がこの決定処理を実行してもよい。別の変形例として、サーバ３がこの決定処理を実行してもよい。この場合、ＨＭＤ１００またはサーバ３は、実施例（例えば図４）に記載の情報処理装置１０の機能を備えてもよい。例えば、ＨＭＤ１００またはサーバ３は、実施例に記載のＨＭＤ情報取得部３０、視線方向検出部３２、付加画像生成部４４、注目画像検出部４８、表示制御部５０の機能を備えてもよい。

上記実施例では言及していないが、変形例として、情報処理装置１０は、メインコンテンツであるゲーム画像２００内の複数の領域のうち、ユーザの視線方向または頭部の向きに合致する領域を注目領域として検出する注目領域検出部をさらに備えてもよい。表示制御部５０は、広告画像２０２のコンテンツを、注目領域に対応するコンテンツに切り替えてもよい。

この変形例の具体的な構成例を説明する。ＨＭＤ１００に表示されるゲーム画像２００のデータには、ゲーム画像２００を分割した複数の領域の少なくとも１つに対して、当該領域に描画されたオブジェクト（人、モノ、キャラクター等）を示す識別データが予め対応付けられる。ゲーム画像２００のフレームごと、もしくは、所定数のフレームをまとめたグループごとに、各領域に存在するオブジェクトの識別データが対応付けられてもよい。

上記の注目領域検出部は、ゲーム画像２００を分割した複数の領域の中で、視線方向検出部３２により検出されたユーザの視線方向に合致する領域を注目領域として検出する。注目領域検出部は、複数種類の視線方向と複数の画面領域との対応関係を記憶してもよい。注目領域検出部は、視線方向に合致する画面領域を特定し、特定した画面領域に表示されたゲーム画像２００の領域を注目領域として検出してもよい。情報処理装置１０は、注目領域検出部により検出された注目領域に応じて、ユーザの嗜好を検出する嗜好検出部をさらに備える。嗜好検出部は、注目領域検出部により検出された注目領域に対応付けられたオブジェクトを、ユーザの嗜好を示すもの、言い換えれば、ユーザの嗜好に合致したものとして検出する。

複数の広告画像２０２のそれぞれには、ゲーム画像２００に表示されうるオブジェクトの識別情報が予め対応付けられている。例えば、或るオブジェクトに対応付けられた広告画像２０２は、そのオブジェクトを含む広告コンテンツを表示するものであってもよい。表示制御部５０は、嗜好検出部により検出されたユーザの嗜好に合致する広告画像２０２であり、例えば、注目領域内のオブジェクトに対応する広告画像２０２を選択してＨＭＤ１００に表示させる。

この変形例によると、ユーザの嗜好に一層合致する広告を付加コンテンツとしてＨＭＤ１００に表示させることができる。例えば、メインコンテンツがコンサートの映像で、複数の演者が同時に映っている映像の場合に、ユーザがどの演者に注目しているかを検出し、注目している演者に応じて広告を変化させることができる。例えば、ユーザが注目している演者に対応付けられた広告であり、その演者がモノやサービスを宣伝する広告を表示させることで、広告の効果を一層高めることができる。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 情報処理装置、 ３２ 視線方向検出部、 ４２ メイン画像生成部、 ４４ 付加画像生成部、 ４８ 注目画像検出部、 ５０ 表示制御部、 １００ ＨＭＤ。

Claims (4)

1. ヘッドマウントディスプレイを装着したユーザの視線方向を検出する方向検出部と、
   前記ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第１画像を生成する画像生成部と、
   前記画像生成部により生成された第１画像とともに、前記メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第２画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
   注目領域検出部と、
   を備え、
   前記表示制御部は、前記方向検出部により検出されたユーザの視線方向に応じて、前記ヘッドマウントディスプレイにおける前記第２画像の表示位置を変更し、
   前記表示制御部は、前記ヘッドマウントディスプレイにおける表示領域の中でユーザの視線方向に合致する領域とは異なる領域に前記第２画像を表示させるように、前記第２画像の表示位置を変更し、
   前記注目領域検出部は、前記第１画像内の複数の領域のうちユーザの視線方向に合致する領域を注目領域として検出し、
   前記表示制御部は、前記第２画像のコンテンツを、前記注目領域に対応するコンテンツに切り替えることを特徴とする情報処理装置。
2. 前記ユーザの視線方向に合致する領域が前記ヘッドマウントディスプレイにおける画面の中心部である場合、前記表示制御部は、前記第２画像の表示位置を前記ヘッドマウントディスプレイにおける画面の周辺部に変更することを特徴とする請求項１に記載の情報処理装置。
3. ヘッドマウントディスプレイを装着したユーザの視線方向を検出するステップと、
   前記ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第１画像を生成するステップと、
   前記第１画像とともに、前記メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第２画像を前記ヘッドマウントディスプレイに表示させるステップと、
   前記ユーザの視線方向に応じて、前記ヘッドマウントディスプレイにおける前記第２画像の表示位置を変更するステップと、
   をコンピュータが実行し、
   前記変更するステップは、前記ヘッドマウントディスプレイにおける表示領域の中でユーザの視線方向に合致する領域とは異なる領域に前記第２画像を表示させるように、前記第２画像の表示位置を変更し、
   前記コンピュータが、
   前記第１画像内の複数の領域のうちユーザの視線方向に合致する領域を注目領域として検出するステップと、
   前記第２画像のコンテンツを、前記注目領域に対応するコンテンツに切り替えるステップと、をさらに実行することを特徴とする画像表示方法。
4. ヘッドマウントディスプレイを装着したユーザの視線方向を検出する機能と、
   前記ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第１画像を生成する機能と、
   前記第１画像とともに、前記メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第２画像を前記ヘッドマウントディスプレイに表示させる機能と、
   前記ユーザの視線方向に応じて、前記ヘッドマウントディスプレイにおける前記第２画像の表示位置を変更する機能と、
   をコンピュータに実現させ、
   前記変更する機能は、前記ヘッドマウントディスプレイにおける表示領域の中でユーザの視線方向に合致する領域とは異なる領域に前記第２画像を表示させるように、前記第２画像の表示位置を変更し、
   前記コンピュータに、
   前記第１画像内の複数の領域のうちユーザの視線方向に合致する領域を注目領域として検出する機能と、
   前記第２画像のコンテンツを、前記注目領域に対応するコンテンツに切り替える機能と、をさらに実現させるためのコンピュータプログラム。

Images