JP7369669B2 - 拡張現実表示装置及びプログラム - Google Patents

Description

本発明は、現実世界の背景画像に仮想モデルを重ねて表示する仮想現実表示装置と、それを実現するためのコンピュータプログラムに関する。

近年、コンピュータグラフィックスのレンダリング技術の発展や、スマートフォン及びヘッドマウントディスプレイ等のモバイル機器の普及に伴い、ＶＲ（Virtual Reality：仮想現実）やＡＲ（Augmented Reality：拡張現実）と呼ばれる体験型の映像コンテンツが注目を集めている。ＶＲは、主にヘッドマウントディスプレイを装着したユーザに対して、現実空間の視認を遮断した上で仮想空間の映像のみを提示する技術であり、そのユーザに没入感の高い映像コンテンツを提供することができる。これに対して、ＡＲは、スマートフォンやヘッドマウントディスプレイのユーザに対して、現実空間を背景画像として提示しつつ、その背景画像に２次元モデルや３次元モデルを重ねて表示する技術であり、そのユーザに現実空間と仮想モデルが混在するリアリティの高い映像コンテンツを提供することができる。本発明は、これら体験型の映像技術のうち、特に拡張現実（ＡＲ）技術に関するものである。

ＡＲ技術に関して、特許文献１及び特許文献２には、例えば携帯端末が備えるカメラによって実空間における所定のマーカを撮影すると、そのマーカに応じたキャラクター等の仮想画像が読み出されて、実空間の背景画像上に合成表示されるシステムが開示されている。特に特許文献１に記載の発明は、ディスプレイに表示される仮想キャラクターの動作を実時間で調節する仮想キャラクターコントローラを含むことを特徴としている。また、特許文献２に記載の発明は、衣類にプリントされキャラクターのデザインを画像認識し、そのデザインに対応付けられた演出用画像を、衣類を身につけた人物の被写体像に合成することにより、拡張現実画像を生成して表示することを特徴としている。

特開２０１６－２１８９７４号公報 特開２０１７－０１０５７８号公報

ところで、特許文献１及び特許文献２に記載の発明は、ディスプレイ上に仮想的なキャラクターの画像を１体表示しているに過ぎず、遊び方や表現の幅が限定的であるという課題がある。また、これらの従来発明を応用して、仮想空間内に複数のキャラクターを出現させることも考えられるが、単純に複数体のキャラクターを出現させるだけでは、ユーザの興味を惹き付ける効果は乏しいといえる。

そこで、本発明は、現実世界の背景画像に仮想的なモデルを重ねて表示する拡張現実表示技術において、ユーザをより楽しませることのできる技術を提供することを主な目的とする。

本発明の発明者らは、上記目的を達成する手段について鋭意検討した結果、拡張現実表示技術において、仮想空間内に特定の組み合わせに係る複数のモデルが存在する場合に、このモデルの組み合わせに応じた特殊効果を実行することとした。このように、モデルを組み合わせに応じて様々なパターンの特殊効果を用意することで、ユーザを飽きさせずに長期的に楽しませることができる。そして、本発明者らは、上記知見に基づけば上記の目的を従来技術の課題を解決できることに想到し、本発明を完成させた。具体的に説明すると、本発明は以下の構成を有する。

本発明の第１の側面は、拡張現実表示装置に関する。本発明に係る拡張現実表示装置は、撮像部、特殊効果実行部、及び表示部を備える。撮像部は、現実世界の背景画像を取得する。特殊効果実行部は、仮想空間内に特定の組み合わせに係る複数のモデルが存在する場合に、モデルの組み合わせに応じた特殊効果を実行する。複数のモデルの特定の組み合わせとは、２つのモデルの組み合わせであってもよいし、３つ以上のモデルの組み合わせであってもよい。なお、本発明における特殊効果は、各モデルに対応付けられたものではなく、モデルの組み合わせに対応付けられている。つまり、モデル単独でも実行される効果（モデル固有の動作や演出など）は、本発明における特殊効果ではなく、複数のモデルを特定の組み合わせ方で組み合わせて初めて実行される効果（特定モデルの組み合わせによる動作や演出などの相乗効果）が、本発明における特殊効果となる。表示部は、この特殊効果に基づいて背景画像とともにモデルを表示する。なお、本願明細書において、現実空間と仮想空間とが組み合わされて、仮想のモデルが現実の背景画像に重ね合わされている空間を、便宜的に「拡張現実空間」と称する。

上記構成のように、拡張現実空間に特定のモデルの組み合わせに応じた特殊効果を実行することで、ユーザに対して、様々なモデルを組み合わせて当該空間に登場させる遊び方や楽しみ方を提供できる。また、本発明では、現実空間の背景画像と仮想空間のモデルが重なりあって表示されるため、フィギュア遊びやジオラマ作りなど、現実世界では収集の手間や収納スペースが必要となる遊び方を、拡張現実空間内で手軽に行うことができる。

本発明に係る拡張現実表示装置において、特殊効果は、特定の組み合わせに係る複数のモデルに特定の行動を行わせること、又は、特定の組み合わせに係る複数のモデルに加えて特定のコンピュータグラフィックスもしくは別のモデルを出力することを含む。前者の例によれば、特定のモデルを複数揃えることで、各モデルが通常単独では行わない特殊な行動をとるようになる。また、後者の例によれば、特定の組み合わせるモデルの他に、そのモデルに関連する新たなＣＧ画像や別のモデルが出現する。これにより、ユーザに驚きを与えるとともに、様々なパターンでモデルを登場させたり様々な種類のモデルを収集する楽しみをユーザに与えることができる。

本発明に係る拡張現実表示装置において、モデルには、仮想空間内を移動する動的モデルと、仮想空間内の特定位置に留まる静的モデルが含まることとしてもよい。この場合に、特殊効果実行部は、動的モデルと静的モデルとの特定の組み合わせに応じて特殊効果を実行する。例えば、動的モデルは、所定の動作プログラムに従って拡張現実空間内を移動するモデルとし、静的モデルはこのような動作プログラムが与えられていないモデルとしてもよい。また、静的モデルには、仮想空間内の特定位置に留まって所定の動作を行うといった静的モデル用の動作プログラムを付与してもよい。このように、動的モデルと静的モデルとの組み合わせに応じた特殊効果を用意できるようにすることで、この特殊効果による表現の幅を広げることができる。例えば、鉄道用のレールや駅舎、踏切等の景観を表現した静的モデルと、レールを走行する電車などの動的モデルとの組み合わせにより、この電車にレール上を走行するという特殊効果を実行することも可能である。これにより、ジオラマ模型のような遊びを拡張現実空間で行うことができる。

本発明に係る拡張現実表示装置は、画像解析部をさらに備えていてもよい。画像解析部は、現実の物体が含まれる画像を解析して、当該画像に含まれる現実の物体の特徴を抽出する。この画像は撮像部によってリアルタイムに取得された現実世界の背景画像であることが好ましい。ただし、この画像は、例えば過去に撮影された現実世界の画像であってもよいし、インターネット等の通信回線を通じてダウンロードされた画像であってもよい。また、特殊効果実行部は、モデルと現実の物体の特徴の組み合わせに応じた特殊効果を実行する。このようにすることで、前述した複数のモデルの特定の組み合わせに応じた特殊効果に加えて、モデルと現実の物体の組み合わせに応じた特殊効果を実行することもできる。また、複数のモデルと現実の物体の組み合わせに応じた特殊効果を用意することも可能である。

本発明において、特殊効果実行部は、表示部の表示空間内において現実の物体がモデルに接触したときに、当該接触による作用をモデルに与える特殊効果を実行することとしてもよい。この場合、例えばユーザの手指がモデルに触れたときに、その他現実空間の物体がモデルに触れたときに、所定の特殊効果を実行することとしてもよい。これにより、現実の物体があたかも仮想モデルに対して影響を与えているような演出を行うことができる。

本発明に係る拡張現実表示装置は、モデル生成部をさらに備えていてもよい。モデル生成部は、現実の物体が含まれる画像を解析して、当該画像に含まれる現実の物体から２次元又は３次元のモデルを生成する。また、モデル生成部は、生成したモデルに対して、他のモデルとの組み合わせに係る特殊効果を設定することが好ましい。このように、ユーザから提供を受けた任意の画像から特殊効果を持つモデルを生成することで、ユーザは自分のオリジナルのモデルと他のモデルを組み合わせる遊び方を拡張現実空間で行うことができる。

本発明に係る拡張現実表示装置は、モデル取得部をさらに備えていてもよい。モデル取得部は、現実の物体が含まれる画像を解析して、当該画像に含まれる現実の物体から得られる情報に基づいて、記憶部から当該現実の物体に対応するモデルを読み出すか、又は通信回線を通じてサーバから当該モデルに対応するモデルを取得する。このように、画像の中に含まれる現実の物体から、例えば当該物体の形状及び色などの特徴情報や、当該物体に付されているコード情報を取得し、これらの情報に基づいて、当該物体に対応する２次元又は３次元の既存のモデルを特定する。そして、この既存のモデルを、拡張現実表示装置自身が持つ記憶部から読み出したり、あるいはインターネット等を通じてサーバからダウンロードしたりすればよい。これにより、既存のモデルを活用することができるため、簡易かつ高速に、現実の物体に対応する仮想のモデルを拡張現実空間に出現させることができる。

本発明の第２の側面は、コンピュータプログラムに関する。本発明に係るプログラムは、汎用的な携帯型情報端末を、上記した第１の側面に係る拡張現実表示装置として機能させるためのものである。携帯型情報端末の例は、スマートフォン、タブレット型端末、ラップトップ型端末、ヘッドマウントディスプレイ、ヘッドアップディスプレイである。本発明に係るプログラムは、携帯型端末装置にプリインストールされたものであってもよいし、インターネット等の通信回線を通じてダウンロード可能なものであってもよいし、あるいはＣＤ－ＲＯＭ等のコンピュータが可読な媒体に記録されたものであってもよい。

本発明によれば、ユーザをより楽しませることのできる拡張現実表示技術を提供することができる。

図１は、本発明に係る拡張現実表示装置の一実施形態を示すものであり、当該装置の表示部に複数のモデルが表示されている状態を模式的に示している。 図２は、拡張現実表示装置と管理サーバの機能構成例を示したブロック図である。 図３は、モデルに関する各種情報を記録したデータベースのデータ構造例を示している。 図４は、複数のモデルの組み合わせによる特殊効果の一例を示している。 図５は、複数のモデルの組み合わせによる特殊効果の別例を示している。 図６（ａ）は、現実物体の画像から仮想的なモデルを生成する処理を模式的に示している。図６（ｂ）は、現実物体の画像からこれに対応する仮想的なモデルを読み出す処理を模式的に示している。

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

図１は、本発明に係る拡張現実表示装置１０の第一の実施形態を示している。本実施形態において、拡張現実表示装置１０は、いわゆるスマートフォンによって実現されている。図１に示されるように、拡張現実表示装置１０は、撮像部（カメラ）で撮影した現実空間を背景画像として、その背景画像に２次元又は３次元のモデルを重ねた映像を表示部（ディスプレイ）表示する。なお、本願の各図では、コンピュータグラフィックス技術によって描画された仮想モデルに斜線状のハッチングを施して示している。

図１に示されるように、拡張現実表示装置１０は、現実空間と仮想空間とが組み合わされた拡張現実空間に、複数のモデルを出現させることを特徴の一つとしている。この場合に、拡張現実表示装置１０は、複数のモデルの組み合わせに応じた特殊効果を実行し、この特殊効果に基づいて現実空間の背景画像とともに仮想的なモデルを表示部に表示する。図１に示した例では、特殊効果として、特定の組み合わせに係る人型のモデルが互いに会話をするという動作が実行されている。また、特殊効果の一部として、人型モデルの頭上に、各モデルのセリフが記された吹き出し画像が描画されている。このように、本発明では、拡張現実空間内に特定の組み合わせに係る複数のモデルを出現させることにより、モデル単体では通常は発現しない特殊な効果（動作や演出）が実行される。

なお、本発明において、モデルは、人型に限られず、例えば人型モデルに装着される装備品や装飾品であってもよいし、その他のキャラクターを模したものであってもよいし、車両や、電車、航空機、船舶などの乗り物型であってもよい。また、詳しくは後述するが、モデルは、電車のレールや駅舎、踏み切り、ビルなどの建造物、樹木や岩、山などの自然物など、景観を表現したジオラマ模型のモデルとすることも可能である。なお、組み立て式のモデルには、ここに挙げたものに限られず様々な種類のものを含めることができる。

図２は、拡張現実表示装置１０と管理サーバ２０を含むサーバ・クライアント型システムの機能構成を示したブロック図である。拡張現実表示装置１０と管理サーバ２０は、インターネット等の通信回線を通じて接続されており、相互に情報の送信及び受信を行うことが可能である。本実施形態では、管理サーバ２０に複数のモデルに関する情報（モデリングデータやそのメタデータ）が保管されており、拡張現実表示装置１０は、必要に応じて管理サーバ２０からモデルに関する情報をダウンロードして表示部１４に表示させることとしている。ただし、図示は省略するが、別の実施形態では、拡張現実表示装置１０自体に複数のモデルに関する情報を記憶させておくこともできる。この場合、管理サーバ２０は不要となる。

拡張現実表示装置１０は、現実空間を撮影してその撮影画像と仮想モデルとを重ね合わせて表示する機能を少なくとも有する装置である。拡張現実表示装置１０は、例えば公知のスマートフォンやヘッドマウントディスプレイ等によって実現される。具体的には、スマートフォン等の汎用的な携帯型情報端末に、本発明に係る拡張現実表示装置１０特有の処理を実行するためにアプリケーションプログラムが格納されている。この端末はこのプログラムを実行することによって本発明に係る拡張現実表示装置１０として機能する。図２に示されるように、拡張現実表示装置１０は、基本的に、制御部１１、記憶部１２、撮像部１３、表示部１４、操作部１５、センサ部１６、及び通信部１７を有している。

拡張現実表示装置１０の制御部１１は、拡張現実表示装置１０が備える他の要素１２～１７の全体制御を行う。制御部１１としては、ＣＰＵやＧＰＵなどの公知のプロセッサを利用することができる。制御部１１は、記憶部１２に記憶されているアプリケーションを読み出し、このアプリケーションプログラムに従って他の要素を制御する。具体的には、制御部１１は、撮像部１３によって撮影された現実空間の背景画像を表示部１４に表示させる。また、制御部１１は、通信部１７を通じて管理サーバ２０から受信したモデルを背景画像とともに表示部１４に表示させるとともに、操作部１５やセンサ部１６からの入力情報に基づいてこのモデルの動作等を制御する。また、制御部１１は、主な機能ブロックとして、モデル制御部１１ａ、特殊効果実行部１１ｂ、画像解析部１１ｃ、モデル生成部１１ｄ、及びモデル取得部１１ｅを有する。これらの機能ブロック１１ａ～１１ｅの詳細ついては、図３から図６を参照して後述する。

記憶部１２は、拡張現実の表示制御に用いられる情報を記憶するための要素である。具体的に、記憶部１２は、一般的なスマートフォン等の携帯情報端末を拡張現実表示装置１０として機能させるためのアプリケーションプログラムを記憶している。記憶部１２に記憶されているアプリケーションプログラムは、拡張現実の表示を行う際に制御部１１により読み出されて、当該プログラムに従った処理が実行される。なお，記憶部１２には、他のアプリケーションプログラムが複数記憶されていてもよい。記憶部１２のストレージ機能は、例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また，記憶部１２は、制御部１１による演算処理の途中経過などを書き込む又は読み出すためのメモリとしての機能を有していてもよい。記憶部１２のメモリ機能は、ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。

撮像部１３は、静止画又は動画の画像データを取得するためのカメラである。撮像部１３を構成するカメラは、拡張現実表示装置１０に内蔵されているものを利用する。撮像部１３によって取得された画像データは、制御部１１へと送出され所定の演算処理が行われた後に表示部１４に表示される。また、この画像データを記憶部１２に保存することとしてもよい。カメラは、例えば、レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットやＣＭＯＳイメージセンサユニットといった光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）及びＩＣメモリなどで構成される。

表示部１４は、所定の画像を表示するための要素である。表示部１４は、液晶ディスプレイや有機ＥＬディスプレイといった公知のディスプレイ装置により構成されている。本発明において、表示部１５には、主に、現実空間の背景画像とともに２次元又は３次元のモデルが表示される。

操作部１５は、ユーザによる操作情報を拡張現実表示装置１０に入力するための要素である。操作部１５としては、タッチパネル、マウス、キーボード、スタイラスペンなどの公知の入力装置を利用すればよい。また、タッチパネル（操作部１５）をディスプレイ（表示部１４）の前面に配置することで、タッチパネルディスプレイが構成されていてもよい。なお、操作部１５は、拡張現実表示装置１０から物理的に分離可能なものであってもよく、その場合には操作部１５はBluetooth（登録商標）等の近距離無線通信規格で拡張現実表示装置１０と接続される。

センサ部１６は、拡張現実表示装置１０にセンシング情報を入力するための要素である。センサ部１６の例としては、加速度センサ、ジャイロセンサ、マイクロフォン、ＧＰＳセンサ、近接センサ、輝度センサなどが挙げられ、拡張現実表示装置１０は一種類又は複数種類のセンサを備える。本発明において、センサ部１６は、拡張現実表示装置１０の姿勢検知のために利用される。すなわち、加速度センサやジャイロセンサを含むセンサ部１６によって、拡張現実表示装置１０の撮像部１３による撮影方向や撮影範囲の変化量がセンシング情報として検出される。そして、制御部１１（主にモデル制御部１１ａ）は、このセンシング情報を用いて、モデルの表示位置や表示方向の制御を行う。例えば、制御部１１は、現実空間の特定位置にモデルを出現させておき、その特定位置に存在するモデルが撮像部１３による撮影範囲に入ったときに、そのモデルを表示部１４に表示するといった制御を行えばよい。

なお、撮像部１３による撮影方向や撮影範囲の検出は、上記した加速度センサやジャイロセンサを用いずに、強い画像認識ベースのＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いることによっても可能である。また、外付けのセンサがあれば、画像認識なしでも、拡張現実（ＡＲ）や仮想現実（ＶＲ）、複合現実（ＭＲ）などを総称するＸＲデバイスを実現できる。これらセンサや画像認識技術を利用したデバイスは、Mixed Reality Deviceとも呼ばれている。本発明では、このようなMixed Reality Deviceにおいて利用される技術を適宜採用できる。

拡張現実表示装置１０の通信部１７は、インターネット等の通信回線を通じて主に管理サーバ２０と通信するための要素である。具体的には、制御部１１によって所定のモデルのダウンロード要求が生成された場合、通信部１７は、これを管理サーバ２０に対して送信する。また、通信部１７は、管理サーバ２０のデータベース２２に記憶されている各種のモデルに関する情報を受信して、制御部１１に伝達する。

管理サーバ２０は、主に拡張現実表示装置１０に提供するモデルを管理する機能を担うウェブサーバである。管理サーバ２０に保管されているモデル及びそれに関する情報は随時更新（追加，変更，削除）することができる。また、管理サーバ２０は、一台のウェブサーバによって構成されたものであってもよいし、複数のウェブサーバにその機能を分担することによって構築されたものであってもよい。管理サーバ２０は、基本的に拡張現実に関わるサービスをユーザに提供する事業者によって管理される。図２に示されるように、管理サーバ２０は、基本的に、制御部２１、データベース２２、及び通信部２３を有している。

管理サーバ２０の制御部２１は、管理サーバ２０が備える他の要素２２，２３の全体制御を行う。制御部２１としては，ＣＰＵやＧＰＵなどの公知のプロセッサを利用することができる。制御部２１は、主に、拡張現実表示装置１０からダウンロード要求を受信すると、データベース２２からダウンロード要求に対応したモデル及びそれに関する情報を読み出して、通信部２３を介してこれらの情報を拡張現実表示装置１０へと送信する。

データベース２２は、拡張現実表示装置１０に提供される各種のモデルに関する情報を記憶している。図３は、データベース２２に含まれるデータの一例として、リレーショナルデータベースのデータ構造を示している。例えば、データベース２２には、モデルテーブル（ａ）と、特殊効果条件テーブル（ｂ）と、所有モデルデーブル（ｃ）が含まれる。

モデルデーブルは、拡張現実表示装置１０に表示される各種モデルに関する情報が記録されている。例えば、モデルテーブルには、モデルごとに、モデル固有のＩＤをキー項目として、シリーズ、性質、種属といった各モデルを分類するための分類データや、モデル固有モデル名、モデルの基本動作を規定した動作プログラムに関する情報が記録される。具体的には、モデルテーブルは、モデルＩＤフィールド（列）、シリーズフィールド、性質フィールド、種属フィールド、モデル名フィールド、及び動作プログラムフィールドを含む。

モデルＩＤフィールドには、モデル固有の識別情報（ＩＤ）が記録される。シリーズフィールドには、各モデルが属するシリーズ名が記録される。例えば、図示した例では、モデルＩＤ０００１～０００５までがＳｅｒｉｅｓ Ａに属しており、モデルＩＤ０００６～００１０までがＳｅｒｉｅｓ Ｂに属している。例えば、同じシリーズに属するモデルは、同じデザインが施されていたり、同じデザインコンセプトのもので作成され統一感があるなどの共通点がある。性質フィールドには、モデルが動的モデル（Ｄｙｎａｍｉｃ）であるか静的モデル（Ｓｔａｔｉｃ）であるかが記録される。動的モデルは、拡張現実空間内を移動するモデルであり、静的モデルは、拡張現実空間内を移動せずに拡張現実空間の特定位置に留まるモデルである。本実施形態では、基本的に、動的モデルには動作プログラムが与えられており、静的モデルには動作プログラムは与えられてない。ただし、静的モデルには、拡張現実空間の特定位置に留まることを前提として、所定の動作を行うような動作プログラムを与えることも可能である。種属フィールドには、各モデルが分類される種属（生物に限らない）が記録されている。図３では、一例として、人型（Ｈｕｍａｎ）、動物型（Ａｎｉｍａｌ）、樹木型（Ｔｒｅｅ）、建物型（Ｂｕｉｌｄｉｎｇ）などの種属が示されているが、種属の例はここに挙げたものに限られず自由に設定することができる。モデル名フィールドには、モデル固有の名前が記録される。動作プログラムフィールドには、モデルに与えられた動作プログラムに関する情報が記録される。なお、このモデルテーブルに動作プログラムの識別情報や動作プログラムへのリンク情報が記録される。

特殊効果条件テーブルは、主に特殊効果を実行するためのモデルの組み合わせ条件を記録している。図３（ｂ）に示した例では、特殊効果条件テーブルは、基本的に、特殊効果フィールドとモデル組合せ条件フィールドを含む。特殊効果フィールドには、特殊効果を識別するための情報（特殊効果のＩＤ等）が記録される。なお、特殊効果を実際に実行するためのプログラムデータや、特殊効果の実行の際に利用される画像データや別のモデリングデータは、特殊効果フィールドに記録されている識別情報に関連付けて、データベース２２内に記憶されている。モデル組合せ条件フィールドには、特殊効果ごとに、その特殊効果を実行するためのモデルの組み合わせに関する情報として、モデルの分類データ（シリーズ、性質、種属）や、モデル名、あるいはモデルＩＤなど、モデルの分類や固有のモデルを指定するための情報が記録される。また、モデルの組合せ条件は、２つのモデルの組合せに限られず、３以上又は４以上のモデルの組合せを条件として指定することが可能である。図３（ｂ）に示した例のように、モデル組合せを条件として、モデルのシリーズや、性質、種属といった分類データを指定することもできるし、モデルＩＤ（又はモデル名）を個別に指定することもできる。また、例えば、図３（ｂ）の例のように、「Ｓｅｒｉｅｓ Ａ／Ｈｕｍａｎ」といった条件は、シリーズが「Ｓｅｒｉｅｓ Ａ」であり、かつ、種属が「Ｈｕｍａｎ」であるモデルを意味している。同様に、「Ｓｅｒｉｅｓ Ａ／Ｄｙｎａｍｉｃ」」といった条件は、シリーズが「Ｓｅｒｉｅｓ Ａ」であり、かつ、性質が「Ｄｙｎａｍｉｃ」（動的モデル）であるモデルを意味している。このように、モデルの指定を複合条件によって行うこともできる。そして、モデル組合せ条件フィールドにおいて指定されているモデルが、同じ拡張現実空間に出現することにより、特定の特殊効果が実行されるようになっている。

また、特殊効果テーブルは、さらに背景条件フィールドを含んでいてもよい。背景条件フィールドには、モデル組合せ条件に加えた特殊効果実行のための更なる条件として、背景条件に関する情報が記録される。背景条件は、任意の付加的な条件であり、モデルが重ねられる現実の背景画像の中に含まれる特徴点に関する条件を含む。例えば、図３（ｂ）に示した例では、背景画像の中に、机や台、タンスなどの物体の縁部の特徴点（Ｅｄｇｅ）が含まれる場合や、マグカップなどの物体の椀形の特徴点（ｃｕｐ）が含まれる場合を、付加的な背景条件として指定している。このため、図３（ｂ）に示した特殊効果ＳＥ４と特殊効果ＳＥ５は、モデル組合せ条件によって指定されたモデルＩＤ０００１及びモデルＩＤ０００２のモデルが拡張現実空間に存在することに加えて、その背景画像に縁部の特徴点（Ｅｄｇｅ）又は椀形の特徴点（ｃｕｐ）が認識された場合に限り実行されることとなる。このように、特殊効果実行ための条件として、モデルの組合せ条件に限らず、現実の背景画像に含まれる特徴点の条件を指定することも可能である。

図３（ａ）及び図３（ｂ）に示した例のように、本実施形態では、各モデルの基本動作を規定した動作プログラム自体に他のモデルとの連携によって発動する動作等を組み込むのではなく、動作プログラムとは別に、他のモデルとの組合せに係る特殊効果の発動のための条件を規定している。これにより、各モデルの動作プログラムの作成時に他のモデルとの連携による動作等を規定（プログラミング）する必要がなく、各モデルを作成した後に他のモデルとの組合せによる特殊効果を追加的に設定することが可能となる。動作プログラム自体を事後的に改変したり追加したりすることは一般的に困難である場合が多いが、図３（ｂ）に示したような特殊効果条件テーブルを設けて、特殊効果条件を管理することで、特殊効果の発動条件を事後的に改変したり追加することが容易になる。例えば、モデルの数や分類が随時増えるようなケースでは、その都度各モデル動作プログラムを改変することが困難であるため、特殊効果条件テーブルによって特殊効果条件を管理することが有効である。これにより、本実施形態では、特殊効果条件の改変性および拡張性を確保している。特に、後述するように、本発明の一実施形態では、ユーザが任意の画像を取り込んで、オリジナルのモデルを作成することができる。このように、モデルにユーザオリジナルのものが含まれる場合には、図３（ｂ）に示したようなテーブルで特殊効果条件を管理することで、ユーザオリジナルのモデルにも他のモデルとの組み合せ係る特殊効果条件を付加することが容易になる。なお、本発明は、各モデルの動作プログラム自体に他のモデルとの組み合わせによる特殊効果（動作や演出等）を予め組み込むことを排除するものではなく、別の実施形態ではそのようにすることも可能である。

所有モデルテーブルは、ユーザごとに所有しているモデルに関する情報を記録するためのテーブルである。例えば、ユーザは、自身が所有しているモデルについては、拡張現実空間に自由に出現させて使用することができる。他方で、所有していないモデルについては使用することができず、それを使用するためには別途入手すること（購入する、作成する、他のユーザと交換する、他のユーザからの贈与を受けること等）が必要となる。所有モデルテーブルには、ユーザ固有のＩＤを記録するためのユーザＩＤフィールド、ユーザが所有するモデルのＩＤを記録するための所有モデルＩＤフィールド、及び各モデルの入手元を記録するための入手元フィールドが含まれる。モデルの入手元に関し、例えば、「作成」は、ユーザが自ら作成したモデル（例えば図６（ａ）参照）を意味する。また、「取込み」は、ユーザが所定の現実の物体を撮影したことを契機として、サーバからダウンロードされたモデル（例えば図６（ｂ））を意味する。また、「ダウンロード」とは、ユーザがサーバからダウンロード（購入等）したモデルを意味する。その他、モデルの入手元としては、他のユーザと交換したり、他のユーザからの贈与を受けることなどが考えられる。

管理サーバ２０の通信部２３は、インターネット等の通信回線を通じて主に拡張現実表示装置１０と通信するための要素である。通信部２３は、主にデータベース２２に記憶されている各種のモデルに関する情報を拡張現実表示装置１０に送信する。

続いて、図４及び図５を参照して、モデルの制御と特殊効果について説明する。図４及び図５に示されるように、拡張現実表示装置１０は、複数のモデルを拡張現実空間（現実空間と仮想空間とが組み合わされて、仮想のモデルが現実の背景画像に重ね合わされている空間）に表示している。

図４及び図５に示した例では表示部１４と操作部１５とによってタッチパネルディスプレイが構成されており、ユーザは、各モデルをタッチすることによって自由に操作することができる。制御部１１に含まれるモデル制御部１１ａは、拡張現実空間（具体的には仮想空間）内に存在するこれらのモデルの制御を行う。例えば、各モデルを一本指でタッチした状態のまま上下左右に指をスライドさせることで、各モデルの移動させることができる。また、各モデルを二本指でタッチした状態のまま上下左右に指をスライドさせることで、各モデルの向きを変えることができる。また、各モデルを二本指でタッチした状態のまま、二本の指の間隔を広げたり（ピンチアウト）、二本の指の間隔を狭めたり（ピンチイン）することで、各モデルの大きさを変えることができる。その他、各モデルを一本指で２回タッチする操作や３回タッチする操作など、モデル制御部１１は、ユーザによる各種の操作に応じて仮想空間内でのモデルの動きや変化を制御することが可能である。

図４（ａ）は、同じ拡張現実空間に同時に複数のモデルが出現することで、特殊効果が実行された例を示している。具体的には、図４（ａ）では、動的モデルの組み合わせに係る特殊効果の例を示している。すなわち、制御部１１に含まれる特殊効果実行部１１ｂは、同じ拡張現実空間内に同時に出現している複数のモデルに関する情報を確認し、このモデルの組み合せが、特殊効果条件テーブル（図３（ｂ））に記録されている特殊効果の実行条件を満たすか否かを判断する。そして、特殊効果実行部１１ｂは、モデルの組み合わせが特殊効果の実行条件を満たすと判断した場合に、そのモデルの組み合わせに応じた特殊効果を実行する。例えば、図４（ａ）に示した例では、人型の複数のモデル（モデル名：Ｍｏｄｅｌ Ａ１，Ｍｏｄｅｌ Ａ２）が拡張現実空間に出現しており、図３（ａ）に示したモデルテーブルと図３（ｂ）に示したモデルテーブルを参照すると、このモデルの組み合わせは、特殊効果ＳＥ１の実行条件を満たしていることが判る。この特殊効果ＳＥ１には、例えば図４（ａ）に示したように、２つのモデルが握手するという動作を実行することと、モデル同士に所定の会話を行わせてそのセリフが記された吹き出しの画像をモデルの頭上に表示するという演出を実行することが含まれる。これにより、この例では、特定の組み合わせに係る２つのモデルが、握手しながら会話をするという特殊効果を実行することができる。

図４（ｂ）は、動的モデルと静的モデルの組み合わせに係る特殊効果の例を示している。図４（ｂ）に示した例では、人型の動的モデル（モデル名：Ｍｏｄｅｌ Ａ１）と樹木型の静的モデル（モデル名：Ｍｏｄｅｌ Ａ４）が同じ拡張現実空間に存在している。この場合、図３（ａ）に示したモデルテーブルと図３（ｂ）に示したモデルテーブルを参照すると、このモデルの組み合わせは、特殊効果ＳＥ２の実行条件を満たしていることが判る。そこで、特殊効果実行部１１ｂは、この特殊効果ＳＥ２を実行する。この特殊効果ＳＥ２には、例えば図４（ｂ）に示したように、ユーザが樹木型のモデルをタッチしたときに、その樹木型のモデルからリンゴのモデルが落下してくるという演出を実行することと、落下したリンゴのモデルを人型のモデルが拾い上げるという動作を実行することが含まれる。このように、動的モデルと静的モデルの組み合わせによっても特殊効果を実行することができる。また、特殊効果には、特定の組み合わせに係るモデル以外の新しいモデル（例えばリンゴのモデル）と、拡張現実空間内に新しく出現させることも含まれる。

図４（ｃ）は、いわゆるジオラマ模型のモデルの組み合わせに係る特殊効果の例を示している。複数のレールの静的モデル（モデル名：Ｍｏｄｅｌ Ｂ４，Ｍｏｄｅｌ Ｂ５Ｒａｉｌ）が拡張現実空間に表示されており、これらのレールはジョイント部において連結することができる。すなわち、各レールの一端には凸状のジョイント部が設定され、他端には凹状のジョイント部が設定されており、これらのジョイント部は連結可能に設定されている。また、レールには、例えば図４（ｃ）に示したような直線状のもの（Ｓｔｒａｉｇｈｔ）や曲線状のもの（Ｇｕｒｖｅ）、あるいはその他形状のものが用意されている。また、ユーザは、レールのモデルをタッチしながら拡張現実空間を自由に移動させて、ジョイント部においてレール同士を連結させることができる。このように、ユーザは、あるレールモデルと他のレールモデルを拡張現実空間で連結していくことで、自由な形状にレール敷設したり、自由にレールを延ばしたりすることができる。

また、図４（ｃ）に示した例では、レールのモデルの上を走行する列車の動的モデル（Ｔｒａｉｎ）が用意されている。この列車モデルは、詳しくは後述するように、現実の列車の撮影画像から作成されたものであってもよいし、現実の列車の撮影画像に基づいて記憶部１２やデータベース２２から読み出されたものであってもよい。また、列車モデルは、既存のモデルを記憶部１２やデータベース２２から読み出したものであってもよい。列車モデルは、通常、拡張現実空間を直線的に走行するようにプログラミングされた動作プログラムがされている。このため、列車モデルは、単独でも、拡張現実空間を走行させることができる。さらに、拡張現実空間において、列車モデルと複数のレールモデルとが組み合わせられた場合、列車モデルがレールモデルの上を走行するという特殊効果が実行されるように設定されている（図３（ｂ）における特殊効果ＳＥ７参照）。特殊効果実行部１１ｂは、この特殊効果を実行して、連結された複数のレールモデルに沿って走行するように列車モデルを動作させる。また、この特殊効果には、列車モデルの上方に、蒸気の画像を表示するという効果が含まれていてもよい。これにより、ユーザは、自らが作成したレールのモデルによって自分の好みの列車モデルを走行させることができる。また、図示は省略するが、拡張現実空間に登場させることのできるモデルは、レールや列車に限られず、駅舎、踏み切り、ビルなどの建造物、樹木や岩、山などの自然物など、景観を表現したジオラマ模型のモデルを適宜用意すればよい。

図５（ａ）及び図５（ｂ）は、モデル組合せ条件と背景条件に応じて特殊効果が実行される例を示している。具体的に説明すると、制御部１１に含まれる画像解析部１１ｃは、撮像部１３によって取得された現実空間の背景画像をリアルタイムに解析し、その背景画像に含まれる現実の物体の特徴を抽出する。例えば、現実の物体の特徴点は予めパターンが規定されており、画像解析部１１ｃは、現実空間の背景画像にこのパターンと一致する特徴点が存在するか否かを解析する。画像解析部１１ｃは、このパターンと一致する特徴点が存在する場合には、その特徴点を抽出すればよい。図５（ａ）に示した例では、現実空間の背景画像の中に机と椅子が含まれており、画像解析部１１ｃは、その机の縁部を特徴点（Ｅｄｇｅ）として抽出している。また、図５（ｂ）に示した例では、現実空間の背景画像の中にマグカップが含まれており、画像解析部１１ｃは、そのマグカップ全体を特徴点（Ｃｕｐ）として抽出している。このように、画像解析部１１ｃは、背景画像の中に含まれる物体の形状や色彩等を解析して、その画像の中から予め規定されたパターンに一致する特徴点を抽出する。

次に、画像解析部１１ｃによって特徴点が抽出された場合、特殊効果実行部１１ｂは、特殊効果条件テーブル（図３（ｂ））を参照して、その特徴点（背景条件）と複数のモデルの組合せが、予め設定された特殊効果実行の条件を満たすか否かを確認する。例えば、図３（ｂ）に示した例では、モデルＩＤ０００１，０００２の組み合せと縁部の特徴点（Ｅｄｇｅ）とによって、特殊効果ＳＥ４の実行条件が満たされる。この特殊効果ＳＥ４は、背景画像から抽出された特徴点に関連する特殊効果であることが好ましい。例えば図５（ａ）に示した例のように、特殊効果ＳＥ４には、特徴点として抽出された机の縁部付近から、一方のモデルが飛び立って他方のモデルを引き上げるというような動作を各モデルに実行させることが含まれる。

また、例えば、図３（ｂ）に示した例では、モデルＩＤ０００１，０００２の組み合せとカップの特徴点（Ｃｕｐ）とによって、特殊効果ＳＥ５の実行条件が満たされる。この特殊効果ＳＥ５も、背景画像から抽出された特徴点に関連するものであることが好ましい。例えば図５（ｂ）に示した例のように、特殊効果ＳＥ５には、特徴点として抽出されたカップの中に新しい船のモデルを出現させるという演出を行うことと、一方のモデルにこの新しく出現した船に搭乗するという動作を実行させることが含まれる。また、他方のモデルにカップの縁にぶら下がらせるといった動作を実行させてもよい。これにより、背景画像に含まれる物体を利用して、仮想モデルの特定の動作や特定の演出を含む特殊効果を実行することができる。

続いて、図６を参照して、ユーザがモデルを入手する方法の例について説明する。図６（ａ）は、撮影画像に含まれる現実の物体から２次元又は３次元の仮想的なモデルを生成する方法を示している。図６（ａ）の左図は、例えばフィギュアやプラスチック製の組立模型などの現実の物体が含まれる撮影画像を示している。現実の物体は、フィギュアや組立模型に限られず、電車のレールや駅舎、踏み切り、ビルなどの建造物や、樹木や岩、山などの自然物などであってもよい。拡張現実表示装置１０は、このような現実の物体が含まれる撮影画像を取得する。撮影画像は、撮像部１３によって撮影されたものであってもよいし、インターネット等を通じてダウンロードされたものであってもよい。図６（ａ）の左図は、物体の正面の撮影画像を示しているが、２次元のモデルを作成する場合には、物体の正面の撮影画像のみでも十分である。他方、３次元のモデルを作成する場合には、同じ物体を異なる角度から撮影した複数の画像を取得することが好ましい。すなわち、図６（ａ）の左図に示した物体の正面に加えて、物体の背面、左側面、右側面、平面、底面、その他の斜視図などの多角的な撮影画像を取得するとよい。

次に、モデル生成部１１ｄは、図６（ａ）の右図に示されるように、一又は複数の撮影画像を解析して、その画像に含まれる現実の物体から２次元又は３次元のモデルを生成する。例えば、２次元のモデルを生成する場合には、一枚の撮影画像に含まれる現実の物体の輪郭を特定して、その輪郭に沿って平面的なモデルの外縁を形成するとともに、その現実の物体の色彩や模様に対応するように、モデルの色彩や模様を設定すればよい。また、３次元のモデルを生成する場合には、同じ物体を別の角度から捉えた複数の撮影画像に基づいて立体的なモデルの外縁を形成し、それぞれの画像の色彩や模様に対応するように、モデルの色彩や模様を設定すればよい。なお、撮影画像から２次元又は３次元のモデルを生成する処理は、ここに記載したものに限られず、適宜公知の処理を採用することができる。

また、モデル生成部１１ｄは、上記のようにして生成したモデルに関する情報を管理サーバ２０のデータベース２２に登録する。具体的には、モデル生成部１１ｄは、新しく生成したモデルの形状や色彩などの特徴を解析して、図３（ａ）のモデルテーブルに示したシリーズ、性質、種属などの分類データと、モデル名と、必要に応じて動作プログラムを決定する。なお、モデルＩＤは自動で割り当てられる。例えば、新しく生成したモデルが、人型の特徴を持つものである場合、形状や色彩に応じて適切なシリーズに分類した上で、性質を動的モデル（Ｄｙｎａｍｉｃ）に決定し、種属を人型（Ｈｕｍａｎ）に決定し、任意のモデル名を設定する。また、分類されたシリーズや、性質、種属に応じて、予め用意されている複数の既存の動作プログラムの中から、この新しいモデルに適した動作プログラムを割り当てる。このようにして、モデル生成部１１ｄは、新しいモデルについて、モデルテーブルの各フィールドに対応するメタデータを設定する。このように、各ユーザが生成したモデルを管理サーバ２０によって一括管理することで、例えばあるユーザが生成したモデルを、別のユーザがダウンロードして使用できるようにすることも可能である。この場合、ユーザ同士でモデルの交換や売買を行えるようにしてもよい。

また、前述したとおり、複数のモデルの組合せに係る特殊効果は、特殊効果条件テーブル（図３（ｂ））によって管理されている。このため、上記のように、新しく生成したモデルに対して、シリーズ、性質、種属などモデルを分類するための分類データを割り当てることで、自動的に、他のモデルとの組み合せに係る特殊効果が設定されることとなる。このため、本実施形態では、新しく生成するユーザオリジナルのモデルに対しても簡単に特殊効果を設定することができる。

図６（ｂ）は、撮影画像に含まれる現実の物体に基づいて、予め記憶部１２やデータベース２２に記憶されている既存のモデルを読み出す方法を示している。すなわち、図６（ｂ）に示した例では、２次元又は３次元のモデルを新しく生成するのではなく、撮影画像に含まれる現実の物体をトリガーとして、これに対応する既存のモデルをデータベース２２等から読み出すこととなる。具体的には、制御部１１のモデル取得部１１ｅは、図６（ｂ）の左図に示した撮影画像を解析して、その画像に含まれる現実の物体の特徴点を抽出する。特徴点としては、物体の輪郭や、色彩、模様などが挙げられる。また、現実の物体に、２次元コード（バーコード）や３次元コード（ＱＲコード（登録商標））などのコードが付されている場合、モデル取得部１１ｅは、撮影画像からそのコードを特徴点として抽出し、コードに埋め込まれている情報を取得することとしてもよい。この場合、コードには、現実の物体に対応するモデルのＩＤ情報を埋め込んでおけばよい。

次に、モデル取得部１１ｅは、図６（ｂ）の右図に示されるように、撮影画像から抽出した特徴点やコード（ＩＤ情報）に基づいて、拡張現実表示装置１０の記憶部１２又は管理サーバ２０のデータベース２２から、それに対応するモデルを読み出す。このような実施形態によれば、例えばユーザが実物のフィギュアや組立模型を購入した後に、それをスマートフォン（拡張現実表示装置１０）で撮影することで、そのフィギュア等に対応する２次元又は３次元のモデルを管理サーバ２０からダウンロードすることができるというサービス展開を行うことができる。また、本発明では、モデルを拡張現実空間内で自由に組み立てたり別のモデルと換装したりすることが可能であるため、実際に購入したフィギュア等の遊び方を拡張することができる。

なお、その他、ユーザは、既存の複数のモデルの中から、任意のモデルを選択することによって、モデルを入手することも可能である。例えば、ユーザによって選択されたモデルは、管理サーバ２０のデータベース２２（あるいは拡張現実表示装置１０の記憶部１２）から読み出されて、拡張現実空間に出現する。このため、図６（ａ）及び図６（ｂ）に示したように実際のフィギュア等の物体を所有していなくても、ユーザは仮想のモデルを入手することができる。

本発明では、拡張現実（ＡＲ：Augmented Reality）という用語を用いているが、本発明の実施例によっては仮想現実（ＶＲ：Virtual Reality）や複合現実（ＭＲ：Mixed Reality）あるいはこれらを総称するＸＲという技術にカテゴライズされる場合もある。

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

１０…拡張現実表示装置 １１…制御部
１１ａ…モデル制御部 １１ｂ…特殊効果実行部
１１ｃ…画像解析部 １１ｄ…モデル生成部
１１ｅ…モデル取得部 １２…記憶部
１３…撮像部 １４…表示部
１５…操作部 １６…センサ部
１７…通信部 ２０…管理サーバ
２１…制御部 ２２…データベース
２３…通信部

Claims (7)

1. 現実世界の背景画像を取得する撮像部と、
   現実の物体が含まれる背景画像を解析して、当該背景画像に含まれる現実の物体の特徴を抽出する画像解析部と、
   仮想空間内に特定の組み合わせに係る複数のモデルが存在し、かつ、前記背景画像から特定の現実の物体の特徴が抽出された場合に、前記複数のモデルの組み合わせに関する条件と前記現実の物体の特徴に関する条件との組み合わせに関連付けて特殊効果を実行するための条件が予め記憶された特殊効果条件テーブルに基づいて、前記特定の組み合わせに係る複数のモデルと前記特定の現実の物体の特徴との組み合わせに応じた前記特殊効果を実行する特殊効果実行部と、
   前記特殊効果に基づいて前記背景画像とともに前記モデルを表示する表示部とを備え、
   前記特殊効果は、前記背景画像から抽出された前記特定の現実の物体の特徴を利用するものである
   拡張現実表示装置。
2. 前記特殊効果は、前記特定の組み合わせに係る複数のモデルに特定の行動を行わせること、又は、前記特定の組み合わせに係る複数のモデルに加えて特定のコンピュータグラフィックスもしくは別のモデルを出力することを含む
   請求項１に記載の拡張現実表示装置。
3. 前記モデルには、前記仮想空間内を移動する動的モデルと、前記仮想空間内の特定位置に留まる静的モデルが含まれ、
   前記特殊効果実行部は、前記動的モデルと前記静的モデルとの特定の組み合わせに関する条件に応じて前記特殊効果を実行する
   請求項１又は請求項２に記載の拡張現実表示装置。
4. 前記特殊効果実行部は、前記表示部の表示空間内において前記現実の物体が前記モデルに接触したときに、当該接触による作用を前記モデルに与える特殊効果をさらに実行する
   請求項１から請求項３のいずれかに記載の拡張現実表示装置。
5. 現実の物体が含まれる画像を解析して、当該画像に含まれる現実の物体から２次元又は３次元のモデルを生成するモデル生成部をさらに備え、
   前記モデル生成部は、生成した前記モデルに対して、他のモデルとの組み合わせに係る特殊効果を設定する
   請求項１から請求項４のいずれかに記載の拡張現実表示装置。
6. 現実の物体が含まれる画像を解析して、当該画像に含まれる現実の物体の情報に基づいて、記憶部から当該現実の物体に対応する前記モデルを読み出すか、又は通信回線を通じてサーバから当該モデルに対応する前記モデルを取得する、モデル取得部をさらに有する
   請求項１から請求項５のいずれかに記載の拡張現実表示装置。
7. 携帯型情報端末を、請求項１から請求項６のいずれかに記載の拡張現実表示装置として機能させるためのプログラム。

Images