JP7351638B2 - 画像生成装置、画像表示システム、および情報提示方法 - Google Patents

Description

本発明は、ヘッドマウントディスプレイに表示させる画像を生成する画像生成装置、画像表示システム、およびそれが行う情報提示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできる、いわゆるフリーローム型の仮想現実を体験するアトラクションも実用化されている。

外光を遮断する遮蔽型のヘッドマウントディスプレイの場合、それを装着したユーザには当然、外界の様子がわからない。例えばフリーローム型のアトラクションでは、プレイエリアに元から存在する物やプレイヤ同士は仮想世界の設定上、認識できるものの、プレイエリアで生じた設備の不具合やプレイヤの体調不良など想定外の事態について認識することは難しい。そのような突発的な事態を収拾しようと係員などがプレイエリアに入ると、その係員自身が障害物となり、さらに危険性が増すことも考えられる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザの移動において安全性を高める技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像生成装置に関する。この画像生成装置は、ヘッドマウントディスプレイに表示させる仮想世界を構築する空間構築部と、ヘッドマウントディスプレイを装着したプレイヤの頭部の位置および姿勢に基づき、当該プレイヤの視点に対応する視野で仮想世界を表した表示画像を生成しヘッドマウントディスプレイに表示させる画像生成部と、プレイヤが移動可能な空間における、ヘッドマウントディスプレイを装着しない入場者の存在に係る情報を取得する入場者情報取得部と、を備え、空間構築部は、入場者が存在している期間、当該存在を象徴するオブジェクトを仮想世界の対応する位置に表すことを特徴とする。

本発明の別の態様は画像表示システムに関する。この画像表示システムは、上記の画像生成装置と、当該画像生成装置から出力された画像を表示するヘッドマウントディスプレイと、入場者を検出し画像生成装置にそのデータを送信するセンサと、を含むことを特徴とする。

本発明のさらに別の態様も画像表示システムに関する。この画像表示システムは、上記の画像生成装置と、当該画像生成装置から出力された画像を表示するヘッドマウントディスプレイと、入場者が滞在範囲に出入りしたことを表す操作を受け付け、画像生成装置にその情報を送信する入力装置と、を含むことを特徴とする。

本発明のさらに別の態様は、情報提示方法に関する。この情報提示方法は、ヘッドマウントディスプレイに表示させる仮想世界を構築するステップと、ヘッドマウントディスプレイを装着したプレイヤの頭部の位置および姿勢に基づき、当該プレイヤの視点に対応する視野で仮想世界を表した表示画像を生成しヘッドマウントディスプレイに表示させるステップと、プレイヤが移動可能な空間における、ヘッドマウントディスプレイを装着しない入場者の存在に係る情報を取得するステップと、入場者が存在している期間、当該存在を象徴するオブジェクトを仮想世界の対応する位置に表すステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイを装着したユーザの移動において安全性を高めることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態に係る基本的なシステムの構成図である。 本実施の形態で画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 本実施の形態を適用できるフリーローム展示におけるプレイエリアを模式的に示す図である。 本実施の形態の画像生成装置の内部回路構成を示す図である。 本実施の形態における画像生成装置の機能ブロックの構成を示す図である。 本実施の形態において、入場者の存在に応じて空間構築部が仮想世界に与える変化を例示す図である。 図７で示した仮想世界を、画像生成部があるプレイヤからの視野で表した表示画像の例を示す図である。 本実施の形態において、入場者の存在に応じて空間構築部が仮想世界に与える変化の別の例を示す図である。 図９で示した仮想世界を、画像生成部があるプレイヤからの視野で表した表示画像の例を示す図である。 本実施の形態における画像生成装置が表示画像を生成し、ヘッドマウントディスプレイに表示させる処理手順を示すフローチャートである。 本実施の形態で設定する滞在範囲をプレイヤの待避場所として利用する場合に、画像生成部が生成する表示画像の例を示す図である。

図１は、ヘッドマウントディスプレイ１００の外観例を示す。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。これにより、ユーザの頭部の動きに応じて表示画像の視野を変化させれば、画像世界にいるような感覚を与えることができる。

ただし本実施の形態のヘッドマウントディスプレイの形状や構造は図示するものに限らない。例えばヘッドマウントディスプレイ１００の前面に、ユーザの顔が向いた方向の実空間の様子を撮影するカメラを設けてもよい。この場合、撮影画像を解析することによりユーザの顔の向きや頭部の位置を取得したり、前方にある実物体の位置を求めたりすることができる。当該撮影画像は表示画像に利用することもできる。

図２は、本実施の形態に係る基本的なシステムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース２０５により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき、表示画像に対する仮想的な視点の位置や視線の方向を決定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、観賞用としての静止画や動画を表示させてもよい。

仮想的な視点を中心に広い角度範囲で全天周（３６０°）画像を表示すれば、画像世界に没入している感覚を与えられる。なお画像生成装置２００は図示するように、ヘッドマウントディスプレイ１００とインタフェース２０５で接続された別の装置であってもよいし、ヘッドマウントディスプレイ１００の内部に一体的に設けられていてもよい。

図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想世界である部屋にいる状態を作り出している。仮想世界を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を射影することで表示画像を描画する。

ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００において左右の目の前に表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中に没入しているような仮想現実を体験することができる。なお図示する例では表示対象を、コンピュータグラフィックスを前提とする仮想世界としたが、パノラマ写真など実世界の撮影画像とコンピュータグラフィックスを融合させた画像でもよい。

このような技術によれば、ユーザ１２は仮想世界を自由に動きまわることもできる。例えば同一空間にいる他のユーザの位置や姿勢も取得し、そのアバターであるオブジェクトを仮想空間に配置すれば、ユーザ１２には当該他のユーザも仮想世界の一部として視認される。これを利用し、複数のプレイヤが仮想空間で一緒に戦ったり探検したりするマルチプレイヤ型のフリーロームの仮想体験アトラクション（以後、「フリーローム展示」と呼ぶ）が実用化されている。

図４は、本実施の形態を適用できるフリーローム展示におけるプレイエリアを模式的に示している。図示するプレイエリア２０は、フリーローム展示を行っている実空間を俯瞰した状態を示している。このプレイエリア２０には、ヘッドマウントディスプレイ１００ａ～１００ｄをそれぞれ装着したプレイヤ１０ａ～１０ｄが存在する。ただしプレイヤの数は限定されない。画像生成装置２００は、図３で示したように仮想世界を構築し、各プレイヤ１０ａ～１０ｄが装着するヘッドマウントディスプレイ１００ａ～１００ｄに、それぞれの視点に応じた視野で仮想世界を表示させる。

各プレイヤ１０ａ～１０ｄの位置や姿勢は、例えばヘッドマウントディスプレイ１００ａ～１００ｄが内蔵するモーションセンサの計測値や、ヘッドマウントディスプレイ１００ａ～１００ｄが備えるカメラによる撮影画像を取得し、それを解析することによって得られる。この情報は、仮想世界の構築にも利用できる。すなわち各プレイヤ１０ａ～１０ｄの動きを反映させる、それぞれのオブジェクトを仮想世界に配置することにより、他のプレイヤに存在や動きを認識させる。

このようなフリーローム展示では基本的に、プレイヤ１０ａ～１０ｄ以外の者がプレイエリアに入ることは想定されない。ところが設備の不具合、プレイヤの体調異変や怪我、プレイヤが私物を落としたなど規模の大小にかかわらず突発的な事態が生じ、係員などプレイヤ以外の者が入らざるを得ないことも十分に考えられる。この場合、他のプレイヤを含む仮想世界しか見えていないプレイヤ１０ａ～１０ｄにとっては、見えない物の気配を感じることで注視が削がれたり、衝突する危険性が生じたりすることになる。また安全のため小さな異変が生じるたびに全てのプレイを中断させるのは現実的ではない。

そこで本実施の形態では、プレイヤ以外の入場者を検出する機構を別途設け、その存在をプレイヤ１０ａ～１０ｄが見ている画像に反映させる。以後、プレイエリアに入るプレイヤ以外の者を「入場者」と呼ぶ。入場者はヘッドマウントディスプレイ１００を装着していない、すなわち実空間が見えている者であり、プレイヤの位置や姿勢を追跡する通常のフリーロームのシステムでは追跡対象とされない者である。その限りにおいて入場者がプレイエリアに入る目的や入場者の属性は特に限定されない。

これを実現するため、本実施の形態の画像表示システムには、画像生成装置２００とヘッドマウントディスプレイ１００ａ～１００ｄのほか、入場者１６をトラッキングするセンサ２２と、その存在を表示画像に反映させる操作を受け付ける入力装置２４を導入する。例えば入場者１６に、超音波や所定波長帯の光を発生させる装置２６やマーカーを装着させ、センサ２２は当該超音波や光を検出することにより入場者１６の存在、およびその位置を追跡する。

画像生成装置２００は、その追跡結果に基づき、プレイヤ１０ａ～１０ｄが見ている仮想世界のうち対応する位置に、入場者１６を表すオブジェクトを配置する。当然、入場者１６が移動していれば、仮想世界におけるオブジェクトも移動させる。入場者１６が装置２６を装着する位置を頭部、あるいはそれより高い位置における前方（顔の向く側）や身体の前面などに規則づけておくことにより、顔や身体の向きから入場者１６が向かう方向も予測できる。

装置２６を前面に取り付けた帽子を作成しておき、入場者１６がプレイエリアに入る際は、当該帽子を被るようにしてもよい。あるいは装置２６を先端に取り付けられるようにした棒を有する装着具を準備し、入場者１６がプレイエリアに入る際、それを身につけることにより、頭部より高い位置で装置２６が固定されるようにしてもよい。装置２６の位置を高くするほど、入場者自身やプレイヤ１０ａ～１０ｄによって隠蔽される可能性が低くなり、センサ２２による検出を安定化させることができる。

画像生成装置２００は入場者１６を表すオブジェクトに、その進行方向を明示することにより、プレイヤ１０ａ～１０ｄに当該進行方向を把握させるようにしてもよい。これらのことにより、プレイヤ１０ａ～１０ｄは、入場者の存在を直感的に理解でき、衝突しないような行動を自然にとることができる。なおセンサ２２の形状や位置は図示するものに限らない。例えばセンサ２２は天井などから室内を俯瞰する状態で設置してもよいし、可動としてもよい。またセンサ２２は画像生成装置２００に内蔵してもよい。

入力装置２４は、リモートコントローラ、ゲームコントローラ、携帯端末、押下用ボタン、ジョイスティックなど一般的な入力装置のいずれでもよく、入場者１６の存在を、プレイヤ１０ａ～１０ｄが見ている画像に反映させるタイミングを決定づける操作を受け付ける。例えば事前に、入場者１６の滞在範囲２８をプレイエリア２０に明示しておき、そこに入った入場者１６自身が、入力装置２４を操作して滞在範囲２８に入った旨を入力する。入力装置は当該操作を受け付け、その情報を画像生成装置２００に送信すると、画像生成装置２００は、プレイヤ１０ａ～１０ｄが見ている仮想世界のうち滞在範囲２８に対応する領域に、当該領域を示すオブジェクトを出現させる。

これによりプレイヤ１０ａ～１０ｄは滞在範囲を避けて行動することができる。ここで滞在範囲２８の広さ、形状、個数は限定されない。例えば滞在範囲２８は図示するように、プレイエリア２０の端と接しないアイランド型としてもよいし、プレイエリア２０の隅の領域としてもよい。あるいはプレイエリア２０を横切るような通路型としてもよい。また滞在範囲２８は発光マーカーで囲ったり境界を示すテープを床に貼り付けたりして、入場者１６が実世界でその範囲をわかるようにする。

入力装置２４は入場者１６が操作するのに限らず、プレイエリア２０外にいる管理者などが、入場者１６が滞在範囲２８に入ったことを監視モニターなどで確認したうえ、操作してもよい。また入場者１６が滞在範囲２８から退出する際は、入力装置２４を介してその旨を入力することにより、画像生成装置２００は、滞在範囲２８を示すオブジェクトを仮想世界から除去する。

センサ２２を導入することにより、入場者１６はプレイエリア２０を自由に移動できる。一方、滞在場所が限定されるときは、入場者１６はプレイヤを避けて滞在範囲２８に入り入力装置２４を操作すればよい。このように入場者１６のとるべき行動によって、センサ２２と入力装置２４はどちらか一方のみを導入してもよい。

あるいは入場者１６が移動しているときはセンサ２２で追跡してその移動を入場者のアバターであるオブジェクトに反映させ、滞在範囲２８に入ったらセンサ２２または入力装置２４を用いてそれを検知し、滞在範囲を示すオブジェクトに表現を切り替えてもよい。この場合、センサ２２のみ、あるいはセンサ２２と入力装置２４の協働により、入場者の存在を象徴するオブジェクトが異なる形式で表現されつづけることになる。いずれにしろ画像生成装置２００は、センサ２２、入力装置２４とも、有線または無線で接続され、それぞれから送信される情報を随時取得する。

図５は画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００、センサ２２、入力装置２４からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、本実施の形態における画像生成装置２００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図６では特に、入場者の出入りに応じた表示画像の制御機能に着目して示している。なお図６で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

また図６に示す機能ブロックは、ハードウェア的には、図５に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、プレイエリアにおけるプレイヤの位置情報を取得するプレイヤ位置情報取得部５０、ユーザの視点に係る情報を取得する視点情報取得部５２、入場者の出入りやその位置情報を取得する入場者情報取得部５８、仮想世界を構築する空間構築部６０、表示画像を生成する画像生成部５４、表示画像の生成に必要な画像データを記憶する画像データ記憶部６２、およびヘッドマウントディスプレイ１００に表示画像を出力する出力部５６を備える。

プレイヤ位置情報取得部５０は、図５の入力部２３８、ＣＰＵ２２２などで構成され、プレイエリアにおける各プレイヤの位置を所定のレートで取得する。上述のとおり各プレイヤが装着するヘッドマウントディスプレイ１００が内蔵する各種モーションセンサやカメラの出力データを逐次取得し、それを解析することによりプレイヤの位置を取得できる。

あるいはプレイエリアに別途設けたカメラなどを用いて、所定色の発光マーカーを装着したプレイヤの位置や姿勢を画像解析により追跡してもよい。またはプレイヤの身体にも、センサ２２で検出可能な超音波などを発生させる装置を取り付けてもよい。この場合、プレイヤ位置情報取得部５０は、センサ２２から送信されるデータを取得して、それに基づきプレイヤの位置や姿勢を特定する。

プレイヤ位置情報取得部５０はさらに、プレイヤの姿勢を表すパラメータの正常範囲を規定するデータを内部で保持し、特定したプレイヤの姿勢が当該正常範囲から逸脱している状態を検出する。プレイヤが装着しているマーカーなどからの光や超音波を検出し、それによりプレイヤの姿勢を特定する場合、入場者の接近によりプレイヤの検出結果が影響を受け、それに基づき特定する姿勢が実際とは異なる異常な状態となることが考えられる。

そこでプレイヤ位置情報取得部５０がそれを検知することにより、プレイヤを表すオブジェクトの姿勢に反映させないようにする。正常範囲を規定するデータとして、人間が一度にとり得る姿勢や、有限時間での可動範囲などを表すデータを準備する。後者の場合、プレイヤ位置情報取得部５０は前の時間ステップからの姿勢の変化に基づき、正常範囲から逸脱しているか否かを判定する。

視点情報取得部５２は、図５の入力部２３８、ＣＰＵ２２２などで構成され、各プレイヤの視点の位置や視線の方向を所定のレートで取得する。例えばヘッドマウントディスプレイ１００に内蔵した加速度センサの出力値を逐次取得し、それによって頭部の姿勢を取得する。上述のとおりプレイエリアに別途設けたカメラなどを用いて撮影された、ヘッドマウントディスプレイ１００に設けた発光マーカーの像を解析することにより、実空間での頭部の位置を取得してもよい。

あるいはヘッドマウントディスプレイ１００側に備えたカメラが撮影した画像を、ＳＬＡＭ（Simultaneous Localization and Mapping）などの技術により解析し、プレイヤの頭部の位置や姿勢を取得してもよい。頭部の位置や姿勢が判明すれば、プレイヤの視点の位置および視線の方向はおよそ特定できる。このほか、プレイヤの視点に係る情報を取得する手法として様々に考えられることは当業者には理解されるところである。なおプレイヤ位置情報取得部５０と視点情報取得部５２は処理内容が重複することから、視点情報取得部５２が実施した処理の結果をプレイヤ位置情報取得部５０が流用することもできる。

入場者情報取得部５８は、図５の入力部２３８、ＣＰＵ２２２などで構成され、プレイヤ以外の入場者の存在に係る情報を取得する。具体的には、センサ２２から送信されるデータに基づき、入場者の出入りを検出するとともに、プレイエリアでの位置を所定のレートで取得する。あるいはプレイエリアに事前に設定された滞在範囲への入場者の出入りを、入力装置２４から送信されるデータに基づき検出する。上述のとおり入場者情報取得部５８は、センサ２２および入力装置２４のうちどちらか一方からデータを取得してもよいし、双方からデータを取得してもよい。

空間構築部６０は図５のＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００に表示させる仮想世界の空間を構築する。どのような空間を構築するかはフリーローム展示の目的によって様々である。いずれにしろ空間構築部６０は、表示対象の仮想的な場所に、各プレイヤに対応するオブジェクトを配置する。プレイヤ位置情報取得部５０が取得したプレイヤの追跡結果に応じて各オブジェクトを移動させることにより、仮想世界でプレイヤ同士が視認されるようにする。プレイヤ位置情報取得部５０がプレイヤの姿勢も取得する場合は、空間構築部６０はプレイヤの姿勢に対応するようにオブジェクトの姿勢も変化させる。

ここでプレイヤ位置情報取得部５０が取得する、プレイヤの計算上の姿勢が正常範囲から逸脱したことが検出されたら、空間構築部６０は、対応するオブジェクトの姿勢をその直前の状態で固定する。この際、空間構築部６０は、固定した状態のオブジェクトを半透明にしたり色を変えたりするなど態様を変化させることにより、一時的な措置であることが表示画像上で他のプレイヤに理解されるようにする。計算上の姿勢が正常範囲に戻ったことを検出したら、空間構築部６０は対応するオブジェクトの態様を元に戻し、その時点での姿勢を当該オブジェクトに反映させる。

さらに空間構築部６０は、入場者がプレイエリアに入っている期間、その存在を象徴するオブジェクトを仮想世界の対応する位置に表す。具体的には、センサ２２が入場者の位置を追跡している場合は、入場者の移動に応じて移動するオブジェクトを表す。このとき空間構築部６０は、センサ２２による追跡結果に基づき、入場者の顔や身体の向きを特定し、それによって推測される進行方向を、当該オブジェクトに表してもよい。例えばオブジェクトに、進行方向を示す図形を付加してもよいし、オブジェクトの顔として進行方向を表現してもよい。空間構築部６０は、入場者のそれまでの移動の軌跡に基づき、直後の進行方向を予測しオブジェクトに反映させてもよい。

あるいは空間構築部６０は、滞在範囲に対する入場者の出入りが入力装置２４またはセンサ２２からのデータにより検出される場合は、入場者が滞在範囲に存在している期間において、当該滞在範囲を示すオブジェクトを表す。画像データ記憶部６２は図５のメインメモリ２２６などで実現され、空間構築部６０が構築する仮想世界やプレイヤのオブジェクト、入場者のオブジェクトなどの３次元モデルを格納する。

画像生成部５４は図５のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで実現され、視点情報取得部５２が取得した各プレイヤの視点に対応する視野で、仮想世界を表した表示画像を所定のレートで生成する。すなわち各プレイヤの視点に対応するようにビュースクリーンを設定し、空間構築部６０が構築した仮想世界を、当該ビュースクリーンに射影することで表示画像とする。ステレオ画像により立体視を実現する場合、画像生成部５４は、左右の眼のそれぞれに対しビュースクリーンを設定することにより、左目用、右目用の画像を生成する。

出力部５６は、図５のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、画像生成部５４が生成した表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで送出する。画像生成部５４が、立体視のためステレオ画像を生成した場合、出力部５６はそれらを左右につなげた画像を表示画像として生成し出力する。レンズを介して表示画像を鑑賞する構成のヘッドマウントディスプレイ１００の場合、出力部５６は、当該レンズによる歪みを考慮した補正を表示画像に施す。

図７は、入場者の存在に応じて空間構築部６０が仮想世界に与える変化を例示している。（ａ）は入場者がプレイエリアにいない場合の実空間とそれに対応する仮想世界を示している。実空間であるプレイエリア２０において、プレイヤ１０が存在している。これに対し空間構築部６０が構築する仮想世界３０ａには、プレイヤ１０のそれぞれを表すオブジェクト３２が、対応する位置関係で配置される。

空間構築部６０は、オブジェクト３２をプレイヤ１０の動きに応じて動かす。仮想世界３０ａにはそのほか、プレイヤ以外のキャラクタのオブジェクト３４などを適宜配置する。そのような状況において、（ｂ）に示すように入場者１６がプレイエリア２０に入ったとする。入場者１６の動きは、センサ２２により追跡される。すると空間構築部６０は、入場者１６の動きに応じて動くオブジェクト３６を仮想世界３０ｂに出現させる。

入場者１６が、超音波などを発生させる装置を身体の前面や頭部の前面に装着することにより進行方向を推測できるため、空間構築部６０は入場者のオブジェクト３６に、当該進行方向を表す方向オブジェクト３８を付加する。上述のとおり進行方向は移動の軌跡に基づき推測してもよい。またこの例で方向オブジェクト３８は、移動方向を示す矢印の形状を有するが、プレイヤが方向を認識できればその形状は限定されない。また入場者やプレイヤのオブジェクトの形状も特に限定されない。入場者のオブジェクト３６を人型とする場合、その顔の向きによって進行方向を表してもよい。

図８は、図７で示した仮想世界を、画像生成部５４があるプレイヤからの視野で表した表示画像の例を示している。（ａ）は図７の（ａ）で示したように、入場者がプレイエリアに存在しない状態であり、仮想世界には他のプレイヤのオブジェクト３２が見えている。（ｂ）は図７の（ｂ）で示したように、入場者がプレイエリアに存在している状態であり、他のプレイヤのオブジェクト３２とともに入場者のオブジェクト３６も見えている。このような画像を表示することで、プレイヤは入場者がいる方向やその進行方向を直感的に把握でき、姿の見えない存在に違和感を持ったり衝突したりすることがなくなる。また仮想世界の一部として認識されるため、没入感が削がれることがない。

図９は、入場者の存在に応じて空間構築部６０が仮想世界に与える変化の別の例を示している。（ａ）は入場者がプレイエリアにいない場合の実空間とそれに対応する仮想世界を示している。実空間であるプレイエリア２０において、プレイヤ１０が存在している。この例のプレイエリア２０には、入場者の滞在範囲２８がマーカーやテープなどにより示されている。これに対し空間構築部６０が構築する仮想世界４０ａには、図７の（ａ）と同様、プレイヤ１０のそれぞれを表すオブジェクト３２やプレイヤ以外のキャラクタのオブジェクト３４が配置される。

この場合も空間構築部６０は、オブジェクト３２をプレイヤ１０の動きに応じて動かす。ただし図示するように、入場者が存在しない状態では、仮想世界４０ａには滞在範囲２８も存在しない。そのような状況において、（ｂ）に示すように入場者１６が滞在範囲２８に入り、入力装置２４を操作するなどしてその状況が検知されると、空間構築部６０は、滞在範囲２８に対応する領域を示すオブジェクト４２を仮想世界４０ｂに出現させる。図示する例でオブジェクト４２は領域を囲う柵の形状を有するが、プレイヤが進入できないことを認識できればその形状は限定されない。

図１０は、図９で示した仮想世界を、画像生成部５４があるプレイヤからの視野で表した表示画像の例を示している。（ａ）は図９の（ａ）で示したように、入場者がプレイエリアにいない状態であり、仮想世界には他のプレイヤのオブジェクト３２が見えている。一方、この画像では滞在範囲は視認されない。なお入場者がプレイエリアに存在しても滞在範囲に入っていなければ、同様の画像を表示してよい。あるいはセンサ２２による追跡結果に基づき、図８の（ｂ）のように、入場者に対応して動くオブジェクト３６を表してもよい。

（ｂ）は図９の（ｂ）で示したように、入場者が滞在範囲に入っている状態であり、他のプレイヤのオブジェクト３２とともに、滞在範囲に対応する領域を示すオブジェクト４２も見えている。このような画像を表示することで、プレイヤは入ってはいけない領域を直感的に把握でき、姿の見えない存在に違和感を持ったり衝突したりすることがなくなる。またこの場合も、仮想世界の一部として認識されるため、没入感が削がれることがない。

次に、以上の構成によって実現できる画像生成装置２００の動作について説明する。図１１は、本実施の形態における画像生成装置２００が表示画像を生成し、ヘッドマウントディスプレイ１００に表示させる処理手順を示すフローチャートである。このフローチャートは、プレイヤがヘッドマウントディスプレイ１００を装着し、画像生成装置２００がヘッドマウントディスプレイ１００およびセンサ２２、あるいは入力装置２４と通信を確立した状態で開始される。ここでヘッドマウントディスプレイ１００は、モーションセンサの計測値などを画像生成装置２００に送信している。

そして空間構築部６０は、表示対象の仮想世界の生成を開始する（Ｓ１０）。プレイヤが複数の場合、この仮想世界にはプレイヤのオブジェクトも含まれる。以後、空間構築部６０は、図示する各処理ステップと並行して、プレイヤの位置に応じたオブジェクトの移動処理を実施する。プレイヤの動作に対応するようにオブジェクトを動作させてもよい。この際、追跡処理上でのプレイヤの姿勢が正常範囲から逸脱した時点で、空間構築部６０は対応するオブジェクトの姿勢を直前の状態に固定して半透明化するなどの画像効果を施し、正常範囲の姿勢が特定できたらオブジェクトも元に戻す。

プレイエリアまたは滞在範囲へ入場者が入ったことが検出されなければ（Ｓ１２のＹ）、視点情報取得部５２が各プレイヤの視点情報を取得し（Ｓ１６）、画像生成部５４がそれに対応する視野で仮想世界を表した表示画像を生成することにより、出力部５６から表示画像のデータが出力される（Ｓ１８）。これが各プレイヤのヘッドマウントディスプレイ１００に表示されることにより、図８の（ａ）あるいは図１０の（ａ）に示したような仮想世界が視認される。

入場者が存在せず（Ｓ２０のＮ）、画像表示を終了させる必要が生じない限りは（Ｓ２６のＮ）、各プレイヤの視点での表示画像の生成、出力を継続する（Ｓ１２のＮ、Ｓ１６、Ｓ１８）。プレイエリアまたは滞在範囲へ入場者が入ったことが検出されたら（Ｓ１２のＹ）、空間構築部６０は当該入場者の存在を象徴するオブジェクトを仮想世界に追加する（Ｓ１４）。

具体的には、入場者の位置を追跡している場合は、その動きを反映させるオブジェクトを追加する。入場者が滞在範囲へ入ったことが検出されたら、滞在範囲に対応する領域を示すオブジェクトを追加する。この状態で、視点情報取得部５２が各プレイヤの視点情報を取得し（Ｓ１６）、画像生成部５４がそれに対応する表示画像を生成することにより、出力部５６から表示画像のデータが出力される（Ｓ１８）。

これが各プレイヤのヘッドマウントディスプレイ１００に表示されることにより、図８の（ｂ）あるいは図１０の（ｂ）に示したように、入場者の存在が視認される。入場者が退場せず（Ｓ２０のＮ）、画像表示を終了させる必要が生じない限りは（Ｓ２６のＮ）、プレイヤの視点での表示画像の生成、出力を継続する（Ｓ１２のＮ、Ｓ１６、Ｓ１８）。ただし新たな入場者がプレイエリアに入ったり、別の滞在範囲に入ったりした場合は（Ｓ１２のＹ）、その存在を象徴するオブジェクトを仮想世界にさらに追加する（Ｓ１４）。

一方、プレイエリアや滞在範囲に入っていた入場者が退場したことが検出されたら（Ｓ２０のＹ）、空間構築部６０は当該入場者の存在を表すオブジェクトを仮想世界から除去する（Ｓ２４）。画像表示を終了させる必要が生じない限り（Ｓ２６のＮ）、Ｓ１２からＳ２４までの処理を、適宜処理を分岐させながら繰り返し、画像表示を終了させる必要が生じたら全ての処理を終了する（Ｓ２６のＹ）。

本実施の形態における滞在範囲は、入場者のみならずプレイヤの待避場所としても利用できる。すなわちプレイの途中で体調を崩したり疲労を感じたりしたプレイヤが、他のプレイヤに干渉されずに待避できる場所として利用できる。上述のとおり通常状態において、プレイヤにはプレイエリアに示された滞在範囲は視認されないため、空間構築部６０または画像生成部５４は、当該プレイヤから見て滞在範囲の方向を示す図形を、仮想世界または表示画像に表す。

図１２は、本実施の形態で設定する滞在範囲をプレイヤの待避場所として利用する場合に、画像生成部５４が生成する表示画像の例を示している。（ａ）は、滞在範囲に待避したいプレイヤのヘッドマウントディスプレイ１００に表示される画像を示している。待避したい状況となったとき、当該プレイヤは、自らが保持する図示しない入力装置、または頭部のジェスチャなどによってヘッドマウントディスプレイ１００を介して、その旨の入力操作を行う。これに応じて画像生成部５４は、当該プレイヤのヘッドマウントディスプレイ１００に表示させる画像に、滞在範囲へ誘導する図形４４を表す。

この例で図形４４は、滞在範囲への方向を示す矢印の形状を有するが、プレイヤが方向を認識できればその形状は限定されない。図形４４は、空間構築部６０が仮想世界に表してもよいし、画像生成部５４が表示画像に重畳表示させてもよい。プレイヤが図形４４に従って移動し、滞在範囲入ったことは、プレイヤ位置情報取得部５０により検出される。この際、空間構築部６０は入場者の場合と同様に、滞在範囲に対応する領域を示すオブジェクトを仮想世界に出現させる。

（ｂ）はこの状況において、他のプレイヤのヘッドマウントディスプレイ１００に表示される画像を示している。この場合も図１０の（ｂ）と同様、滞在範囲に対応する領域を示すオブジェクト４２が表示される。これにより、プレイヤは入れない領域を直感的に把握でき、待避したプレイヤとの干渉を避けることができる。なお待避したプレイヤのヘッドマウントディスプレイ１００に表示させる画像には、滞在範囲に入ったタイミングで所定の変化を与えることにより、当該プレイヤにその旨を通知する。

その後、必要に応じて入場者が同じ滞在範囲に入り、待避したプレイヤと退場するなどした際、プレイヤ位置情報取得部５０または入場者情報取得部５８がそれを検出すれば、空間構築部６０によりオブジェクト４２は除去され通常の状態に戻る。あるいは待避したプレイヤの問題が解決すれば、当該プレイヤは滞在範囲から再びプレイに戻ることもできる。この場合も空間構築部６０は、プレイヤが滞在範囲から出たタイミングで、仮想世界からオブジェクト４２を除去する。

以上述べた本実施の形態によれば、ヘッドマウントディスプレイを用いて仮想世界を動きまわるフリーローム展示において、プレイヤ以外の者がプレイエリアに入ったことを検出し、プレイヤのヘッドマウントディスプレイに表示させる画像にその存在を反映する。具体的には入場者にセンシング可能な装置を装着させ、それをセンサで検出することにより位置を追跡する。この場合、当該入場者を表すオブジェクトを仮想世界に登場させる。

あるいは、プレイエリアに専用の滞在範囲を設定しておき、入場者などがそこに入った段階で、入力装置を介するなどしてその旨を検知する。この場合、当該滞在範囲に入場者が存在している期間、滞在範囲に対応する領域を示すオブジェクトを出現させる。いずれの場合も、仮想世界のみが見えているプレイヤであっても、入場者の存在を直感的に把握でき、その気配に違和感を持ったり衝突したりするのを防止できる。

また、そのような突発的な事象であっても仮想世界の一部として認識できるため、没入感を損ねることなくプレイを続行できる。さらにプレイの途中で何らかの問題が生じたプレイヤを滞在範囲に誘導し、同様にオブジェクトを出現させれば、他のプレイヤとの干渉なく容易に問題に対処できるようになる。また、入場者によりプレイヤの検出結果が影響を受け、計算上の姿勢が異常であることを検出したら、対応するオブジェクトに当該姿勢を反映させないようにする。これにより入場者の存在がプレイに及ぼす影響を最小限に抑えることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

２２ センサ、 ２４ 入力装置、 ５０ プレイヤ位置情報取得部、 ５２ 視点情報取得部、 ５４ 画像生成部、 ５６ 出力部、 ５８ 入場者情報取得部、 ６０ 空間構築部、 ６２ 画像データ記憶部、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２３６ 出力部、 ２３８ 入力部。

Claims (10)

1. ヘッドマウントディスプレイに表示させる仮想世界を構築する空間構築部と、
   前記ヘッドマウントディスプレイを装着したプレイヤの頭部の位置および姿勢に基づき、当該プレイヤの視点に対応する視野で前記仮想世界を表した表示画像を生成し前記ヘッドマウントディスプレイに表示させる画像生成部と、
   前記プレイヤが移動可能な空間における、ヘッドマウントディスプレイを装着しない入場者の存在に係る情報を取得し、前記空間に設定された滞在範囲に対する前記入場者の出入りを検出する入場者情報取得部と、
   を備え、
   前記空間構築部は、前記滞在範囲に前記入場者が存在している期間、当該存在を象徴するオブジェクトとして、当該滞在範囲に対応する領域を示すオブジェクトを前記仮想世界の対応する位置に表すことを特徴とする画像生成装置。
2. 前記入場者情報取得部は、前記入場者が装着する装置から発生する超音波または所定波長帯の光を検出するセンサの検出結果に基づき、前記入場者の位置を取得することを特徴とする請求項１に記載の画像生成装置。
3. 前記入場者情報取得部は、前記入場者の進行方向を予測し、
   前記空間構築部は、前記存在を象徴するオブジェクトとして、前記入場者の移動に応じて移動するオブジェクトを表し、当該オブジェクトに前記進行方向を表すことを特徴とする請求項１または２に記載の画像生成装置。
4. 前記入場者情報取得部は、前記滞在範囲に対する前記入場者の出入りを、前記入場者または前記空間外にいる者が操作する入力装置を介して検出することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
5. 前記画像生成部は、前記プレイヤが待避したい旨の入力操作を行ったとき、当該プレイヤが装着するヘッドマウントディスプレイの表示画像に、前記滞在範囲へ誘導する図形を表し、
   前記空間構築部は、前記滞在範囲に前記プレイヤが存在している期間も、当該滞在範囲に対応する領域を示すオブジェクトを表すことを特徴とする請求項１から４のいずれかに記載の画像生成装置。
6. プレイヤの位置および姿勢に係る情報を取得するとともに、取得した姿勢があらかじめ規定された正常範囲を逸脱した状態を検出するプレイヤ位置情報取得部をさらに備え、
   前記空間構築部は、プレイヤ位置情報取得部が取得した前記プレイヤの姿勢を反映させたオブジェクトを前記仮想世界の対応する位置に表すとともに、当該姿勢が前記正常範囲を逸脱した状態にあるとき、前記オブジェクトを固定したうえで態様を変化させることを特徴とする請求項１から５のいずれかに記載の画像生成装置。
7. 請求項１から６のいずれかに記載の画像生成装置と、
   当該画像生成装置から出力された画像を表示するヘッドマウントディスプレイと、
   前記入場者を検出し前記画像生成装置にそのデータを送信するセンサと、
   を含むことを特徴とする画像表示システム。
8. 請求項１から５のいずれかに記載の画像生成装置と、
   当該画像生成装置から出力された画像を表示するヘッドマウントディスプレイと、
   前記入場者が前記滞在範囲に出入りしたことを表す操作を受け付け、前記画像生成装置にその情報を送信する入力装置と、
   を含むことを特徴とする画像表示システム。
9. ヘッドマウントディスプレイに表示させる仮想世界を構築するステップと、
   前記ヘッドマウントディスプレイを装着したプレイヤの頭部の位置および姿勢に基づき、当該プレイヤの視点に対応する視野で前記仮想世界を表した表示画像を生成し前記ヘッドマウントディスプレイに表示させるステップと、
   前記プレイヤが移動可能な空間における、ヘッドマウントディスプレイを装着しない入場者の存在に係る情報を取得し、前記空間に設定された滞在範囲に対する前記入場者の出入りを検出するステップと、
   前記滞在範囲に前記入場者が存在している期間、当該存在を象徴するオブジェクトとして、当該滞在範囲に対応する領域を示すオブジェクトを前記仮想世界の対応する位置に表すステップと、
   を含むことを特徴とする、画像生成装置による情報提示方法。
10. ヘッドマウントディスプレイに表示させる仮想世界を構築する機能と、
    前記ヘッドマウントディスプレイを装着したプレイヤの頭部の位置および姿勢に基づき、当該プレイヤの視点に対応する視野で前記仮想世界を表した表示画像を生成し前記ヘッドマウントディスプレイに表示させる機能と、
    前記プレイヤが移動可能な空間における、ヘッドマウントディスプレイを装着しない入場者の存在に係る情報を取得し、前記空間に設定された滞在範囲に対する前記入場者の出入りを検出する機能と、
    前記滞在範囲に前記入場者が存在している期間、当該存在を象徴するオブジェクトとして、当該滞在範囲に対応する領域を示すオブジェクトを前記仮想世界の対応する位置に表す機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images