JP7528621B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１は、オブジェクト検証方法を開示する。特許文献１のオブジェクト検証方法は、撮像手段が所定領域を撮像して得た画像データに基づいて拡張現実感ディスプレイシステムのビュー平面内に投影された画像に、システムのインタフェースツールとして用いることができる予め選択されたオブジェクトが存在するか否かを検証する方法である。

前記オブジェクト検証方法は、識別ステップと、計算ステップと、検証ステップとを有する。識別ステップでは、前記ビュー平面に投影された画像内に存在すると予想される前記オブジェクトの候補である候補オブジェクトの予め定められた複数の特徴点の前記画像上の位置を識別する。計算ステップでは、前記撮像手段の前記撮像の基準となる位置を、前記ビュー平面を見る者の視点に位置させ、該視点の位置と前記識別された前記候補オブジェクトの前記複数の特徴点の前記位置とに基づいて、前記候補オブジェクトの前記所定領域内の現実の位置を計算する。検証ステップでは、前記計算された前記候補オブジェクトの前記所定領域内の現実の位置と、前記候補オブジェクトが前記オブジェクトであれば前記候補オブジェクトの前記計算された現実の位置が満たすべき予め定められた幾何学的条件と、に基づいて、前記候補オブジェクトが前記オブジェクトか否かを検証する。

前記オブジェクト検証方法は、更に、検出ステップと、判断ステップと、変更ステップとを備える。検出ステップでは、前記投影された投影画像を別の投影画像に変更するコマンドに対応して、前記ビュー平面を見る者の手または指の動きと音声とが予め定められ、音声検出手段が、前記ビュー平面を見る者の音声を検出する。判断ステップでは、前記撮像手段により撮像して得られた画像データと前記音声検出手段により検出された音声とに基づいて、前記ビュー平面を見る者の手または指の動きと音声とが前記コマンドに対応して予め定められた前記動きと前記音声とであるか否かを判断する。変更ステップでは、前記ビュー平面を見る者の手または指の動きと音声とが前記コマンドに対応して予め定められた前記動きと前記音声とであると判断された場合、前記投影された投影画像を別の投影画像に変更する。

特許文献２は、情報処理装置を開示する。特許文献２の情報処理装置は、画像情報取得手段と、作成手段と、を備える。画像情報取得手段は、情報の入力を行なう入力手段を撮影する撮影装置から当該入力手段の画像情報を取得する。作成手段は、前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成し、前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新する。

特許第４６６３０７７号 特開２０１９－１０１７９６号公報

現実空間の特定の場所（例えば、机の上）に、仮想的な文書を表示する際、該特定の場所に物理的な物体があり、該物体の存在を無視して、該文書を表示してしまうことがある。そのような場合、該文書を表示した状態で、該文書を操作しようとすると、物体が邪魔になってしまう。そこで、特定の場所において、文書の表示が可能な領域である空き領域に、文書を表示することが望まれている。

ところで、文書を操作する際は、複数の文書を表示させて、ユーザが複数の文書を操作することがある。その際ユーザは、複数の文書の配列に意味をもたせて作業をすることがあり、その場合に、複数の文書の配置が崩されて表示されてしまうと、ユーザにとって不便になってしまうことがある。

本発明の目的は、現実空間の特定の場所における空き領域に、複数の仮想対象物を表示させる際において、複数の仮想対象物の配置を維持して表示することができる情報処理装置及び情報処理プログラムを提供することにある。

上記した課題を解決すべく、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、現実空間での対象物の空き領域を検知し、複数の仮想対象物の配置を取得し、前記空き領域に、前記複数の仮想対象物を、取得した配置で表示させる。

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、ユーザに近い位置に配置されている前記仮想対象物ほど、前記仮想対象物を大きく表示させる。

第３態様に係る情報処理装置は、第１態様または第２態様に係る情報処理装置において、前記プロセッサは、 前記対象物において、障害物が存在しない領域を、空き領域として検知する。

第４態様に係る情報処理装置は、第１態様から第３態様までのいずれかの態様に係る情報処理装置において、前記プロセッサは、前記対象物の空き領域を可視化した、仮想空間での補助目印を表示させる。

第５態様に係る情報処理装置は、第１態様から第４態様までのいずれかの態様に係る情報処理装置において、前記プロセッサは、ユーザが、前記対象物の空き領域に対して、前記複数の仮想対象物の手前への移動指示を行った場合、前記複数の仮想対象物の全てを、手前方向に移動させ、移動させた仮想対象物が前記空き領域外に位置する場合は、前記移動させた仮想対象物を表示させない。

第６態様に係る情報処理装置は、第５態様に係る情報処理装置において、前記プロセッサは、前記空き領域に表示されない仮想対象物を、前記空き領域の外側に位置する外側領域に表示させる。

第７態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記プロセッサは、前記外側領域に、前記仮想対象物を表示する際は、前記仮想対象物の重要度が大きいものほど、前記外側領域において、ユーザに近い位置に表示させる。

第８態様に係る情報処理装置は、第１態様から第７態様までのいずれかの態様に係る情報処理装置において、前記プロセッサは、ユーザが、前記空き領域のうち手前の領域を見ているとき、前記複数の仮想対象物のうち、前記手前の領域に位置する１つ以上の仮想対象物の大きさを拡大して表示させる。

第９態様に係る情報処理装置は、第１態様にから第８態様までのいずれかの態様係る情報処理装置において、前記プロセッサは、ユーザが、前記空き領域のうち奥の領域を見ているとき、前記複数の仮想対象物のうち、前記奥の領域に位置する１つ以上の仮想対象物の大きさを縮小して表示させる。

第１０態様に係る情報処理装置は、第８態様又は第９態様に係る情報処理装置において、前記プロセッサは、前記ユーザが前記１つ以上の仮想対象物を見ている時間の長さに応じて、前記１つ以上の仮想対象物の大きさを拡大または縮小して表示させる。

第１１態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、ユーザが、前記対象物の空き領域から、前記複数の仮想対象物のうち１つ以上の仮想対象物を取り上げる身振りを行った際に表示される仮想対象物に対する操作は、前記空き領域に表示されている仮想対象物よりも制限させる。

第１２態様に係る情報処理プログラムは、コンピュータに、現実空間での対象物の空き領域を検知し、複数の仮想対象物の配置を取得し、前記空き領域に、前記複数の仮想対象物を、取得した配置で表示させる、処理を実行させる。

第１態様に係る情報処理装置、及び第１２態様に係る情報処理プログラムによれば、現実空間の空き領域に、複数の仮想対象物を表示させる際において、複数の仮想対象物の配置を維持して表示することができる。

第２態様に係る情報処理装置によれば、前記仮想対象物の配置がユーザに近い位置であるほど、前記仮想対象物を大きく視認することができる。

第３態様に係る情報処理装置によれば、前記障害物が存在しない空き領域で、前記障害物の存在によって前記複数の仮想対象物への視認を妨げられることなく、前記複数の仮想対象物を視認することができる。

第４態様に係る情報処理装置によれば、前記補助目印が無い場合に比して、前記複数の仮想対象物をより容易に視認することができる。

第５態様に係る情報処理装置によれば、前記移動指示を行った場合に、前記移動指示を行う前に比して、前記複数の仮想対象物の全てを前記ユーザにより近い位置で視認することができる共に、移動させた仮想対象物が、前記空き領域外に位置するとき、前記移動させた仮想対象物を視認しないようにすることができる。

第６態様に係る情報処理装置によれば、前記空き領域に表示されない仮想対象物を、前記外側領域で、視認することができる。

第７態様に係る情報処理装置によれば、前記外側領域で、前記仮想対象物の重要度が大きいほど、前記仮想対象物を前記ユーザにより近い位置で視認することができる。

第８態様に係る情報処理装置によれば、前記空き領域のうち手前の領域に位置する１つ以上の仮想対象物を拡大して視認することができる。

第９態様に係る情報処理装置によれば、前記空き領域のうち奥の領域に位置する１つ以上の仮想対象物を縮小して視認することができる。

第１０態様に係る情報処理装置によれば、前記ユーザが前記１つ以上の仮想対象物を見ている時間の長さに応じて、前記１つ以上の仮想対象物をより拡大し、又は、より縮小して視認することができる。

第１１態様に係る情報処理装置によれば、前記ユーザが前記１つ以上の仮想対象物を取り上げる身振りに応答して表示される仮想対象物に対する操作が、前記空き領域に表示されている仮想対象物に対する操作と同様に行われるとの事態を回避することができる。

実施形態１の情報処理装置ＪＳの構成を示す。 実施形態１の情報処理装置ＪＳの機能ブロック図である。 実施形態１の文書群情報ＢＪを示す。 実施形態１の書誌情報ＳＪを示す。 実施形態１の文書配置図ＢＨを示す。 実施形態１の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態１の現実空間ＧＫでの机ＴＫを示す 実施形態１の現実空間ＧＫでの空き領域ＡＲを示す。 実施形態１の仮想空間ＫＫでのメニューＭＮを示す。 実施形態１の複合空間ＦＫでの机ＴＫ及びメニューＭＮを示す。 実施形態１の仮想空間ＫＫでの文書ＢＳ１～ＢＳ２５の配置を示す。 実施形態１の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１～ＢＳ２５の表示を示す。 実施形態２の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態２の現実空間ＧＫでの机ＴＫ、コンピュータＰＣ、書類ＰＡ、筆記用具ＰＥ、及び、空き領域ＡＲを示す。 実施形態２の仮想空間ＫＫでの文書ＢＳ１～ＢＳ２５の配置を示す。 実施形態２の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１～ＢＳ２５の表示を示す。 実施形態２の変型例の仮想空間ＫＫでの文書ＢＳ１～ＢＳ２５の配置を示す。 実施形態２の変型例の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１～ＢＳ２５の表示を示す。 実施形態３の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態３の複合空間ＦＫでのメニューＭＮを示す。 実施形態３の文書配置図ＢＨを示す。 実施形態３の仮想空間ＫＫでの文書ＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９の配置を示す。 実施形態３の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９の表示を示す。 実施形態４の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態４の仮想空間ＫＫでの補助目印ＨＭの配置を示す。 実施形態４の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１～ＢＳ１５、補助目印ＨＭの表示を示す。 実施形態５の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態５の前回の文書配置図ＢＨを示す。 実施形態５の仮想空間ＫＫでの今回の文書ＢＳ１、ＢＳ２、．．．の配置を示す。 実施形態５の複合空間ＦＫでの今回の机ＴＫ、空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態６の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態６の文書配置図ＢＨを示す。 実施形態６の仮想空間ＫＫでの文書ＢＳ１、ＢＳ２、．．．の配置を示す。 実施形態６の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態７の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態７の複合空間ＦＫでの移動前の文書ＢＳ１、ＢＳ２、．．．を示す。 実施形態７の仮想空間ＫＫでの文書ＢＳ１、ＢＳ２、．．．の配置を示す。 実施形態７の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、移動後の文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態８の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態８の複合空間ＦＫでの文書ＢＳ１、ＢＳ２、．．．を示す。 実施形態８の仮想空間ＫＫでの外側領域ＳＲ１、ＳＲ２内の文書ＢＳ１、ＢＳ２、．．．の配置を示す。 実施形態８の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態９の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態９の複合空間ＦＫでの文書ＢＳ１、ＢＳ２、．．．を示す。 実施形態９の複合空間ＦＫの手前側領域ＲＹ２での眼ＭＥを示す。 実施形態９の複合空間ＦＫでの、机ＴＫ、空き領域ＡＲ、拡大された文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態９の複合空間ＦＫでの、机ＴＫ、空き領域ＡＲ、更に拡大された文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態９の複合空間ＦＫの奥側領域ＲＹ１での眼ＭＥを示す。 実施形態９の複合空間ＦＫでの、机ＴＫ、空き領域ＡＲ、縮小された文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態９の複合空間ＦＫでの、机ＴＫ、空き領域ＡＲ、更に縮小された文書ＢＳ１、ＢＳ２、．．．の表示を示す。 実施形態１０の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態１０の複合空間ＦＫでの文書ＢＳ１、ＢＳ２、．．．を示す。 実施形態１０の複合空間ＦＫでの文書ＢＳ３の移動を示す。 実施形態１０の複合空間ＦＫでの机ＴＫ、空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．、移動後の文書ＢＳ３を示す。 実施形態１１の情報処理装置ＪＳの動作を示すフローチャートである。 実施形態１１の複合空間ＦＫでの文書ＢＳ３を取り上げる身振りを示す。 実施形態１１の複合空間ＦＫでの拡大された文書ＢＳ３の表示を示す。 実施形態１１の複合空間ＦＫでの文書ＢＳ１を取り上げる身振りを示す。 実施形態１１の複合空間ＦＫでの拡大された文書ＢＳ１の表示を示す。 実施形態１１の複合空間ＦＫでの文書ＢＳ１を戻す身振りを示す。 実施形態１１の複合空間ＦＫでの元の大きさの文書ＢＳ１の表示を示す。

〈実施形態１〉
本発明に係る情報処理装置ＪＳの実施形態１について説明する。

実施形態１の情報処理装置ＪＳは、例えば、ヘッドマウントディスプレイであり、現実空間ＧＫ（例えば、図７に図示。）に、仮想空間ＫＫ（例えば、図１１に図示。）を重ね合わせることにより、複合空間ＦＫ（例えば、図１２に図示。）をユーザに提供する。

ここで、「複合空間」とは、現実の世界である現実空間内に存在する物に、コンピュータの処理により生成される仮想空間内の映像を重ね合わせることによって形成される空間をいう。以下では、説明の便宜上、例えば、「現実空間と仮想空間とを重ね合わせることにより、複合空間に表示させる。」等の表現を用いる。

〈実施形態１の構成〉
図１は、実施形態１の情報処理装置ＪＳの構成を示す。以下、実施形態１の情報処理装置ＪＳの構成について、図１を参照して説明する。

実施形態１の情報処理装置ＪＳは、図１に示されるように、入力部１と、ＣＰＵ２（Central Processing Unit）と、出力部３と、記憶媒体４と、メモリ５と、を含む。

入力部１は、例えば、センサ、カメラ、キーボード、マウス、タッチパネルから構成される。ＣＰＵ２は、プロセッサの一例であり、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部３は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイから構成される。記憶媒体４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。メモリ５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。

記憶媒体４は、プログラムＰＲ、文書群情報ＢＪ、書誌情報ＳＪ、及び文書配置図ＢＨを記憶する。

プログラムＰＲは、ＣＰＵ２が実行すべき処理の内容を規定する命令群である。

文書群情報ＢＪ、書誌情報ＳＪ、及び文書配置図ＢＨについては、後述する。

図２は、実施形態１の情報処理装置ＪＳの機能ブロック図である。

情報処理装置ＪＳは、図２に示されるように、検知部１１と、表示部１２と、受付部１３と、配置部１４と、重ね合わせ部１５と、取得部１６と、形成部１７と、制御部１８と、記憶部１９を含む。

情報処理装置ＪＳにおける、ハードウェアの構成と機能的構成との関係については、ハードウェア上で、ＣＰＵ２が、記憶媒体４（記憶部１９の一部の機能を実現する。）に記憶されたプログラムＰＲを、メモリ５（記憶部１９の他の一部の機能を実現する。）を用いつつ実行すると共に、制御部１８として、必要に応じて、入力部１及び出力部３の動作を制御することにより、検知部１１、表示部１２、受付部１３、配置部１４、重ね合わせ部１５、取得部１６、及び形成部１７の各部の機能を実現する。各部の機能については、後述する。

〈文書群情報ＢＪ〉
図３は、実施形態１の文書群情報ＢＪを示す。

実施形態１の文書群情報ＢＪは、文書群の名称と、文書群を構成する複数の文書との対応関係を示す。文書群情報ＢＪは、図３に示されるように、「文書群の名称」及び「文書群の構成」を含む。より詳しくは、例えば、文書群の名称「文書群１」（例えば、設計開発に関する文書群）は、文書ＢＳ１～ＢＳ２５から構成されている。また、例えば、文書群の名称「文書群２」（例えば、製造に関する文書群）は、文書ＢＳ３０～ＢＳ６０から構成されている。

〈書誌情報ＳＪ〉
図４は、実施形態１の書誌情報ＳＪを示す。

実施形態１の書誌情報ＳＪは、文書、例えば、文書ＢＳ１、ＢＳ２、．．．（図３に図示。）が有する書誌事項を示す。書誌情報ＳＪは、図４に示されるように、「文書の名称」、「文書の重要度」、「文書のサイズ」、「文書の位置」を含む。

より詳しくは、例えば、文書の名称「文書ＢＳ１」は、文書の重要度「やや高い」であり、文書のサイズ「Ａ４」であり、文書の位置（ｘ１、ｙ１）である。また、例えば、文書の名称「文書ＢＳ２」は、文書の重要度「高い」であり、文書のサイズ「Ａ４」であり、文書の位置（ｘ２、ｙ１）である。更に、例えば、文書の名称「文書ＢＳ３」は、文書の重要度「極めて高い」であり、文書のサイズ「Ａ４」であり、文書の位置（ｘ３、ｙ１）である。

「文書の位置」は、文書配置図ＢＨ（図５を参照して後述。）内における位置である。

「文書の位置」は、また、空き領域ＡＲにおける相対的な位置である。例えば、文書ＢＳ１は、広い空き領域ＡＲ（例えば、図１１に図示。）では、前記広い空き領域ＡＲ内で左下の隅に配置されており、かつ、文書ＢＳ２、ＢＳ６、ＢＳ７に隣接して配置されており、他方で、狭い空き領域ＡＲ（例えば、図１６に図示。）内でも、前記狭い空き領域ＡＲの左下の隅に配置されており、かつ、文書ＢＳ２、ＢＳ６、ＢＳ７に隣接して配置されている。

「文書の位置」は、ユーザにより自由に配置でき、更に、その位置により上記した「文書の重要度」が定められる。

〈文書配置図ＢＨ〉
図５は、実施形態１の文書配置図ＢＨを示す。

実施形態１の文書配置図ＢＨは、文書ＢＳ１、ＢＳ２、．．．（図３に図示。）の配置を示す。文書配置図ＢＨは、例えば、文書ＢＳ１が、位置（ｘ１、ｙ１）に配置され、文書ＢＳ２が、位置（ｘ２、ｙ１）に配置され、文書ＢＳ３が、位置（ｘ３、ｙ１）に配置されることを示す。

ここで、文書ＢＳ１、ＢＳ２、．．．の「文書の重要度」は、文書ＢＳ１、ＢＳ２、．．．の書誌情報ＳＪである位置に応じて定まる。具体的には、文書ＢＳ１、ＢＳ２、．．．は、文書ＢＳ１、ＢＳ２、．．．がユーザに近い（ｙ軸座標の値が小さい）位置に配置されているほど、「文書の重要度」がより大きい。より詳細には、文書ＢＳ１、ＢＳ２、．．．は、文書ＢＳ１、ＢＳ２、．．．がユーザの手前の位置（ｘ１、ｙ１）～（ｘ５、ｙ１）により近い位置に配置され、また、ユーザにとっての中央の位置（ｘ３、ｙ１）～（ｘ３、ｙ５）により近い位置に配置されているほど、「文書の重要度」がより大きい。

〈実施形態１の動作〉
図６は、実施形態１の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態１の情報処理装置ＪＳの動作について、図６のフローチャートを参照して説明する。

以下では、説明及び理解を容易にすべく、机ＴＫが存在する現実空間ＧＫと、文書群１を構成する文書ＢＳ１～ＢＳ２５が配置される仮想空間ＫＫとを重ね合わせることにより、複合空間ＦＫを生成することを想定する。ここで、「机ＴＫ」は、『現実空間での対象物』の一例である。また、「文書ＢＳ１、ＢＳ２、．．．」は、『複数の仮想対象物』の一例である。「文書ＢＳ１、ＢＳ２、．．．」は、例えば、紙媒体である書類、書籍に限られず、例えば、紙媒体でないＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）を含み、また、文字で表現されたものに限られず、例えば、文字以外の画像、写真で表現されたものを含む。

ステップＳ１１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図７に示されるように、現実空間ＧＫ内の机ＴＫを検知し、かつ、図８に示されるように、机ＴＫの空き領域ＡＲを検知する。

ここで、ＣＰＵ２は、机ＴＫの検知及び空き領域ＡＲの検知を、入力部１（図１に図示。）であるカメラにより撮像された画像に、画像処理、例えば、従来知られたＲ－ＣＮＮ（Regions with Convolutional Neural Networks）、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）等を施すことにより行う。

ここで、「空き領域ＡＲ」とは、机ＴＫの表面（例えば、天板）における、文書Ｂ１、ＢＳ２、．．．のうちの少なくとも１つを載置することが可能であると推認される範囲をいう。

ステップＳ１２：ＣＰＵ２は、表示部１２（図２に図示。）として、図９に示されるように、仮想空間ＫＫに、ユーザ（図示せず。）に、文書群１、文書群２、．．．を選択させるためのメニューＭＮを表示させる。

ステップＳ１３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ、及び、仮想空間ＫＫ内のメニューＭＮを重ね合わせることにより、表示部１２（図２に図示。）として、図１０に示されるように、複合空間ＦＫに、机ＴＫ及びメニューＭＮを表示させる。ここで、ＣＰＵ２は、受付部１３（図２に図示。）として、ユーザから、「文書群１」の選択を受け付けたことを想定する。

ステップＳ１４：ＣＰＵ２は、取得部１６（図２に図示。）として、図１１に示されるように、ステップＳ１３で選択された「文書群１」に基づき、文書群情報ＢＪ（図３に図示。）を参照することにより、「文書群１」が文書ＢＳ１～ＢＳ２５（図３に図示。）により構成されていることを取得する。ＣＰＵ２は、また、取得部として、書誌情報ＳＪ（図４に図示。）及び文書配置図ＢＨ（図５に図示。）を参照することにより、文書ＢＳ１～ＢＳ２５の「文書の位置」を取得する。

ステップＳ１５：ＣＰＵ２は、配置部１４（図２に図示。）として、図１１に示されるように、仮想空間ＫＫで、空き領域ＡＲ内（図８に図示。）における、前記取得された文書ＢＳ１～ＢＳ２５の「文書の位置」に、文書ＢＳ１～ＢＳ２５を配置する。

ステップＳ１６：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１～ＢＳ２５（図１１に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図１２に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、及び、文書ＢＳ１～ＢＳ２５を表示させる。

ここで、ＣＰＵ２は、図１２に示されるように、文書ＢＳ１、ＢＳ２、．．．の文書配置図ＢＨに含まれる「文書の位置」（図５に図示。）がユーザにより近いほど、文書ＢＳ１、ＢＳ２、．．．をより大きく表示させる。

ここで、「ユーザにより近い」とは、ユーザが空き領域に対して中央にいる場合は、空き領域の中央や手前に位置していることを意味している。この場合、空き領域の中央に位置している文書は、空き領域の左右に位置している文書よりも大きく表示し、ユーザに対して手前に位置している文書は、ユーザに対して奥に位置している文書よりも大きく表示することになる。

複合空間ＦＫでの空き領域ＡＲ（図１２に図示。）は、ユーザに視認することができても、視認することができなくても、いずれでも良い。

〈実施形態２〉
実施形態２の情報処理装置ＪＳについて説明する。

〈実施形態２の構成〉
実施形態２の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態２の動作〉
図１３は、実施形態２の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態２の情報処理装置ＪＳの動作について、図１３のフローチャートを参照して説明する。

実施形態２では、現実空間ＧＫでの机ＴＫ上に何も存在しない実施形態１と相違して、図１４に示されるように、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥが存在する。ここで、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥは、それぞれ、『障害物』の一例である。

以下では、説明を簡潔化すべく、ユーザが、予め、文書群１、即ち文書ＢＳ１～ＢＳ２５を選択していることを想定する。

ステップＳ２１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図１４に示されるように、現実空間ＧＫ内の机ＴＫを検知し、かつ、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥが存在しない空き領域ＡＲを検知する。

ここで、ＣＰＵ２は、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥが存在しない空き領域ＡＲの検知を以下のように行う。ＣＰＵ２は、実施形態１で説明した、Ｒ－ＣＮＮ等の従来知られた画像処理を用いて机ＴＫ、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥの存在を検知する。ＣＰＵ２は、前記検知の後に、机ＴＫの表面、例えば、天板の領域から、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥが存在する領域を減算する。これにより、ＣＰＵ２は、コンピュータＰＣ、書類ＰＡ、及び筆記用具ＰＥが存在しない空き領域ＡＲを取得する。

ステップＳ２２：ＣＰＵ２は、配置部１４（図２に図示。）として、図１５に示されるように、仮想空間ＫＫでの空き領域ＡＲ内に、「文書群１」を構成する文書ＢＳ１～ＢＳ２５（図３に図示。）を配置する。

ステップＳ２３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１～ＢＳ２５（図１５に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図１６に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、及び、文書ＢＳ１～ＢＳ２５を表示させる。

なお、空き領域の形状は、矩形である必要はなく、障害物を除いた領域であればよいため、空き領域の形状は、多角形や円形、楕円等でも構わない。

〈実施形態２の変形例〉
ＣＰＵ２は、上記したステップＳ２２、Ｓ２３に代えて、配置部１４として、例えば、ユーザによる操作に応じて、図１７に示されるように、仮想空間ＫＫで、文書ＢＳ１～ＢＳ２５のうち、その一部である、例えば、文書ＢＳ２～ＢＳ５、ＢＳ７～ＢＳ１０、ＢＳ１２～ＢＳ１５、ＢＳ１７～ＢＳ２０を拡大して配置する。これにより、ＣＰＵ２は、表示部１２として、図１８に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、拡大された文書ＢＳ２～ＢＳ５、ＢＳ７～ＢＳ１０、ＢＳ１２～ＢＳ１５、ＢＳ１７～ＢＳ２０を表示させても良い。

〈実施形態３〉
実施形態３の情報処理装置ＪＳについて説明する。

〈実施形態３の構成〉
実施形態３の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態３の動作〉
図１９は、実施形態３の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態３の情報処理装置ＪＳの動作について、図１９のフローチャートを参照して説明する。

実施形態３では、文書ＢＳ１～ＢＳ２５の全てを表示する実施形態１と相違して、文書ＢＳ１～ＢＳ２５のうち、ユーザにより選択された一部の文書を表示する。

ステップＳ３１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、表示部１２（図２に図示。）として、図２０に示されるように、複合空間ＦＫに、メニューＭＮを表示する。メニューＭＮは、図２０に示されるように、ユーザによって、文書ＢＳ１～ＢＳ２５のうち、ユーザが表示することを希望する文書を選択可能である。ここでは、ＣＰＵ２は、受付部１３（図２に図示。）として、ユーザから、文書ＢＳ１、ＢＳ４、ＢＳ７の選択を受け付けたことを想定する。

ステップＳ３２：ＣＰＵ２は、形成部１７（図２に図示。）として、図２１に示されるように、文書配置図ＢＨ上で、ステップＳ３１で選択された文書ＢＳ１、ＢＳ４、ＢＳ７により特定される閉領域ＨＲを形成する。ここで、閉領域ＨＲ内には、図２１に示されるように、文書ＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９が存在する。

ここで、「閉領域」とは、より詳しくは、選択された文書ＢＳ１、ＢＳ４、ＢＳ７の全てを含む矩形の領域であって、面積が最小であるものをいう。

ステップＳ３３：ＣＰＵ２は、配置部１４（図２に図示。）として、図２２に示されるように、仮想空間ＫＫで、机ＴＫの空き領域ＡＲ内に、閉領域ＨＲ（図２１に図示。）に存在するＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９を配置する。

ステップＳ３４：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９（図２２に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図２３に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、及び、文書ＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９を表示させる。

ここで、ＣＰＵ２は、空き領域ＡＲに、文書ＢＳ１～ＢＳ２５の全てを表示する必要が無い。その結果、ＣＰＵ２は、例えば、実施形態１の複合空間ＦＫでの文書ＢＳ１～ＢＳ２５（図１２に図示。）の大きさと比較して、文書ＢＳ１～ＢＳ４、ＢＳ６～ＢＳ９を拡大して表示させる。

〈実施形態４〉
実施形態４の情報処理装置ＪＳについて説明する。

〈実施形態４の構成〉
実施形態４の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態４の動作〉
図２４は、実施形態４の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態４の情報処理装置ＪＳの動作について、図２４のフローチャートを参照して説明する。

実施形態４では、実施形態１と相違して、遠近法の下で、文書ＢＳ１～ＢＳ２５の視認を補助するための補助目印を表示する。

ステップＳ４１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、表示部１２（図２に図示。）として、例えば、図２５に示されるように、文書ＢＳ１～ＢＳ１５が拡大して配置されている空き領域ＡＲの範囲を可視化した補助目印ＨＭを追加的に配置する。文書ＢＳ１～ＢＳ１５は遠近法に基づいて表示されるため、文書ＢＳ１～ＢＳ１５が配置される空き領域も、遠近法に基づいて台形に変形している。文書ＢＳ１～ＢＳ１５が配置されている範囲を可視化することによって、ユーザは、どの範囲で文書ＢＳ１～ＢＳ１５を取り扱うことが可能なのかを認識することができる。

ステップＳ４２：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、文書ＢＳ１～ＢＳ１５、及び補助目印ＨＭ（図２５に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図２６に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、文書ＢＳ１～１５、及び、補助目印ＨＭを表示させる。

〈実施形態５〉
実施形態５の情報処理装置ＪＳについて説明する。

〈実施形態５の構成〉
実施形態５の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態５の動作〉
図２７は、実施形態５の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態５の情報処理装置ＪＳの動作について、図２７のフローチャートを参照して説明する。

実施形態５では、文書ＢＳ１、ＢＳ２、．．．が、今回に先立つ前回に表示されていた位置が、文書配置図ＢＨ（図２８に図示。）に記憶されていることを想定する。

ここで、図２８に図示の文書配置図ＢＨに示されるように、前回、例えば、文書ＢＳ４、ＢＳ８、ＢＳ１０、．．．は、存在しておらず、即ち、所々の文書ＢＳ４等が抜けているという歯抜けの状態である。

ステップＳ５１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、取得部１６（図２に図示。）として、図２８に示されるように、文書ＢＳ１、ＢＳ２、．．．が、前回、表示されていた位置を示す文書配置図ＢＨを参照することにより、文書ＢＳ１、ＢＳ２、．．．を、今回、いずれの位置に配置すべきかを取得する。

ＣＰＵ２は、より詳しくは、図２８に示されるように、文書ＢＳ１～ＢＳ２５のうち、前回のときに存在していた文書である、文書ＢＳ１、ＢＳ２、ＢＳ３、ＢＳ５、ＢＳ６、ＢＳ７、ＢＳ９、．．．が配置されていた位置を取得する。

ステップＳ５２：ＣＰＵ２は、配置部１４（図２に図示。）として、図２９に示されるように、仮想空間ＫＫの空き領域ＡＲ内における、文書ＢＳ１、ＢＳ２、ＢＳ３、ＢＳ５、ＢＳ６、ＢＳ７、ＢＳ９、．．．が、前回、配置されていた位置に、今回、文書ＢＳ１、ＢＳ２、ＢＳ３、ＢＳ５、ＢＳ６、ＢＳ７、ＢＳ９、．．．を配置する。

ステップＳ５３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１、ＢＳ２、．．．（図２９に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２として、図３０に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、及び、文書ＢＳ１、ＢＳ２、．．．を表示させる。

〈実施形態６〉
実施形態６の情報処理装置ＪＳについて説明する。

〈実施形態６の構成〉
実施形態６の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態６の動作〉
図３１は、実施形態６の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態６の情報処理装置ＪＳの動作について、図３１のフローチャートを参照して説明する。

実施形態６では、実施形態１と相違して、文書ＢＳ１、ＢＳ２、．．．を、文書ＢＳ１、ＢＳ２、．．．の書誌情報ＳＪである「文書のサイズ」に対応する大きさで表示する。

以下では、説明及び理解を容易にすべく、図３２に示されるように、文書ＢＳ１、ＢＳ２、．．．の書誌情報ＳＪに含まれる「文書のサイズ」（図４に図示。）が、文書配置図ＢＨにも含まれていることを想定する。ここで、図３２に示されるように、「Ａ３」、「Ａ４」、「Ａ５」は、「文書のサイズ」である。

ステップＳ６１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、取得部１６（図２に図示。）として、文書配置図ＢＨ（図３２に図示。）から、文書ＢＳ１、ＢＳ２、．．．の「文書のサイズ」を取得する。

ＣＰＵ２は、例えば、文書ＢＳ１が、文書のサイズ「Ａ５」であり、文書ＢＳ２が、文書のサイズ「Ａ４」であることを取得する。

ステップＳ６２：ＣＰＵ２は、配置部１４（図２に図示。）として、図３３に示されるように、仮想空間ＫＫで、空き領域ＡＲ内に、文書ＢＳ１、ＢＳ２、．．．の「文書のサイズ」に対応する大きさで、文書ＢＳ１、ＢＳ２、．．．を配置する。

ステップＳ６３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１、ＢＳ２、．．．（図３３に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図３４に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、及び、文書ＢＳ１、ＢＳ２、．．．を表示させる。

〈実施形態７〉
実施形態７の情報処理装置ＪＳについて説明する。

〈実施形態７の構成〉
実施形態７の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態７の動作〉
図３５は、実施形態７の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態７の情報処理装置ＪＳの動作について、図３５のフローチャートを参照して説明する。

実施形態７では、文書ＢＳ１、ＢＳ２、．．．の位置が固定である実施形態１と相違して、ユーザの操作に対応して、文書ＢＳ１、ＢＳ２、．．．の位置が変更される。

以下では、説明及び理解を容易にすべく、図３６に示されるように、複合空間ＦＫで、机ＴＫの空き領域ＡＲ内に、文書ＢＳ１、ＢＳ２、．．．が、予め、表示されていることを想定する。

ステップＳ７１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図３６の矢印ＹＪに示されるように、ユーザの手ＴＥ１、ＴＥ２が、空き領域ＡＲ内で、文書ＢＳ１、ＢＳ２、．．．を、ユーザの手前方向へ移動させようとする移動指示を検知する。

ここで、ＣＰＵ２は、ユーザの手ＴＥ１、ＴＥ２の移動の検知を、入力部１（図１に図示。）であるカメラにより撮像した画像に、従来知られた画像処理、例えば、マッチング法、勾配法等を施すことにより行う。

ステップＳ７２：ＣＰＵ２は、配置部１４（図２に図示。）として、図３７に示されるように、仮想空間ＫＫで、空き領域ＡＲ内に、図３６の矢印ＹＪの長さ（手ＴＥ１、ＴＥ２が移動した距離）に対応する位置に、文書ＢＳ１、ＢＳ２、．．．の全てを移動させて配置する。

ステップＳ７３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１、ＢＳ２、．．．（図３７に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図３８に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、及び、文書ＢＳ１、ＢＳ２、．．．の全てを表示させる。

上記したステップＳ７１～７３とは対照的に、ＣＰＵ２は、ユーザの手ＴＥ１、ＴＥ２が、空き領域ＡＲ内で、文書ＢＳ１、ＢＳ２、．．．を、ユーザの手前方向とは反対方向（ユーザから離れる方向）へ移動させようとする移動指示を検知したとき、文書ＢＳ１、ＢＳ２、．．．の全てを前記反対方向に移動させて配置した後に、表示させても良い。

なお、上記した、ユーザの手前方向への移動、及び、ユーザから離れる方向への移動により、文書ＢＳ１、ＢＳ２、．．．のいずれかが、例えば、文書ＢＳ１が、空き領域ＡＲの外に位置するときには、文書ＢＳ１を表示させないようにしてもよい。

〈実施形態８〉
実施形態８の情報処理装置ＪＳについて説明する。

〈実施形態８の構成〉
実施形態８の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態８の動作〉
図３９は、実施形態８の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態８の情報処理装置ＪＳの動作について、図３９のフローチャートを参照して説明する。

実施形態８では、文書ＢＳ１、ＢＳ２、．．．を空き領域ＡＲ内に配置し表示する実施形態１と相違して、文書ＢＳ１、ＢＳ２、．．．を空き領域ＡＲ内だけでなく、空き領域ＡＲの外側に位置する外側領域ＳＲ１、ＳＲ２（例えば、図４１に図示。）にも配置し表示する。

以下では、説明及び理解を容易にすべく、複合空間ＦＫで、ユーザによる文書の操作（例えば、文書の拡大、文書の移動）に対応して、空き領域ＡＲに、例えば、文書ＢＳ１～ＢＳ２５のうちの一部の文書である文書ＢＳ１、ＢＳ２、．．．が、予め配置されていることを想定する。

ステップＳ８１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図４０に示されるように、複合空間ＦＫで、空き領域ＡＲ内に存在する文書ＢＳ１、ＢＳ２、．．．のうちの一部の文書である文書ＢＳ１～ＢＳ４、ＢＳ１７～ＢＳ２０が、空き領域ＡＲ内に完全には表示されていないこと、即ち、文書ＢＳ１～ＢＳ４、ＢＳ１７～ＢＳ２０の一部分が、空き領域ＡＲに表示されていないことを検知する。

ステップＳ８２：ＣＰＵ２は、形成部１７（図２に図示。）として、図４１に示されるように、仮想空間ＫＫで、空き領域ＡＲ（図４０に図示。）の外側に、例えば、手前方向についての外側、間口方向についての外側、奥行き方向についての外側のうち、間口方向についての外側に、外側領域ＳＲ１、ＳＲ２を形成する。

ＣＰＵ２は、更に、配置部１４（図２に図示。）として、図４１に示されるように、外側領域ＳＲ１、ＳＲ２に、空き領域ＡＲ内に完全には表示されていない文書ＢＳ１～ＢＳ４、ＢＳ１７～ＢＳ２０のうち、いくつかの文書を配置する。より詳しくは、ＣＰＵ２は、文書ＢＳ１～ＢＳ４、ＢＳ１７～ＢＳ２０の書誌情報ＳＪの「文書の重要度」（図４に図示。）、及び、複合空間ＦＫにおける、空き領域ＡＲでの文書ＢＳ１～ＢＳ４、ＢＳ１７～ＢＳ２０の位置（図４０に図示。）を考慮して、重要度が大きい文書ほど、ユーザに近い位置に配置されるように、例えば、左側の外側領域ＳＲ１に、手前から奥への方向に、文書ＢＳ２（または文書ＢＳ３）、文書ＢＳ３（または文書ＢＳ２）、文書ＢＳ１の順序で配置し、同様に、右側の外側領域ＳＲ２に、手間から奥への方向に、文書ＢＳ４、ＢＳ１８、ＢＳ１９の順序で配置する。

なお、文書の重要度や文書が空き領域において表示されていた際の位置を考慮せずに、単に文書が表示されなくなった場合に、外側領域に表示するようにしてもよい。

ステップＳ８３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、外側領域ＳＲ１、ＳＲ２、及び、文書ＢＳ１、ＢＳ２、．．．（図４１に図示。）を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図４２に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、外側領域ＳＲ１、ＳＲ２、及び、文書ＢＳ１、ＢＳ２、．．．を表示させる。

〈実施形態９〉
実施形態９の情報処理装置ＪＳについて説明する。

〈実施形態９の構成〉
実施形態９の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態９の動作〉
図４３は、実施形態９の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態９の情報処理装置ＪＳの動作について、図４３のフローチャートを参照して説明する。

実施形態９では、文書ＢＳ１、ＢＳ２、．．．の大きさが何ら変更されない実施形態１と相違して、ユーザの眼が見ている位置、及び、見ている時間の長さに応じて、文書ＢＳ１、ＢＳ２、．．．の大きさが変更される。

以下では、説明及び理解を容易にすべく、図４４に示されるように、複合空間ＦＫで、空き領域ＡＲ内の奥側領域ＲＹ１、及び、手前側領域ＲＹ２に、文書ＢＳ１、ＢＳ２、．．．が、予め配置されていることを想定する。

ここで、「奥側領域ＲＹ１」は、ユーザにとって、空き領域ＡＲにおける奥に位置する領域（ユーザから相対的に遠い領域）であり、また、「手前側領域ＲＹ２」は、ユーザにとって、空き領域ＡＲにおける手前に位置する領域（ユーザから相対的に近い領域）である。「奥側領域ＲＹ１」は、『奥の領域』の一例であり、「手前側領域ＲＹ２」は、『手前の領域』の一例である。

なお、手前領域と奥の領域の境界は、予め特定の位置を定めても良いし、ユーザが任意で指定してもよい。

ステップＳ９１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図４５に示されるように、複合空間ＦＫで、ユーザの眼ＭＥが、空き領域ＡＲ内の手前側領域ＲＹ２を見ていることを検知する。

ここで、ＣＰＵ２は、ユーザの眼ＭＥが、手前側領域ＲＹ２を見ていることの検知を、入力部１（図１に図示。）であるカメラにより撮像した画像に、画像処理方法、例えば、従来知られた「基準点を目頭にし、動点を虹彩にした位置関係を用いる方法」、「基準点を角膜反射にし、動点を瞳孔にした位置関係を用いる方法」を適用することにより行う。

ステップＳ９２：ＣＰＵ２は、配置部１４（図２に図示。）として、仮想空間ＫＫで、空き領域ＡＲ内に、手前側領域ＲＹ２内の文書ＢＳ１、ＢＳ２、．．．を拡大して配置する（図示せず。）。ここで、ＣＰＵ２は、前記拡大した配置に併せて、奥側領域ＲＹ１内の文書ＢＳ１０、ＢＳ１１、．．．を拡大して配置しても良い。

ステップＳ９３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、奥側領域ＲＹ１、手前側領域ＲＹ２、及び、ステップＳ９２で拡大された文書ＢＳ１、ＢＳ２、．．．を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図４６に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、奥側領域ＲＹ１、手前側領域ＲＹ２、及び、拡大された文書ＢＳ１、ＢＳ２、．．．を表示させる。

ＣＰＵ２は、ステップＳ９２の配置を行うときに、ユーザの眼が、手前側領域ＲＹ２を見ている時間がより長いほど、文書ＢＳ１、ＢＳ２、．．．をより拡大して配置しても良い。これにより、ステップＳ９３で、ＣＰＵ２は、表示部１２として、図４７に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、奥側領域ＲＹ１、手前側領域ＲＹ２、及び、更に拡大された文書ＢＳ１、ＢＳ２、．．．を表示させる。

ステップＳ９４：上記したステップＳ９１とは対照的に、ＣＰＵ２は、検知部１１として、図４８に示されるように、複合空間ＦＫで、ユーザの眼ＭＥが、空き領域ＡＲ内の奥側領域ＲＹ１を見ていることを検知する。

ここで、ＣＰＵ２は、ユーザの眼ＭＥが、奥側領域ＲＹ１を見ていることの検知を、例えば、ステップＳ９１で説明した画像処理方法を用いて行う。

ステップＳ９５：上記したステップＳ９２とは対照的に、ＣＰＵ２は、配置部１４として、仮想空間ＫＫで、空き領域ＡＲ内に、奥側領域ＲＹ１の文書ＢＳ１０、ＢＳ１１、．．．を縮小して配置する（図示せず。）。ここで、ＣＰＵ２は、前記縮小した配置に併せて、手前側領域ＲＹ２内の文書ＢＳ１、ＢＳ２、．．．を縮小して配置しても良い。

ステップＳ９６：ＣＰＵ２は、更に、重ね合わせ部１５として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、奥側領域ＲＹ１、手前側領域ＲＹ２、及び、ステップＳ９５で縮小された文書ＢＳ１０、ＢＳ１１、．．．を重ね合わせる。これにより、ＣＰＵ２は、表示部１２として、図４９に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、奥側領域ＲＹ１、手前側領域ＲＹ２、及び、縮小された文書ＢＳ１０、ＢＳ１１、．．．を表示させる。

ＣＰＵ２は、ステップＳ９５の配置を行うときに、ユーザの眼が、奥側領域ＲＹ１を見ている時間がより長いほど、文書ＢＳ１０、ＢＳ１１、．．．をより縮小して配置しても良い。これにより、ステップＳ９６で、ＣＰＵ２は、表示部１２として、図５０に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、奥側領域ＲＹ１、手前側領域ＲＹ２、及び、更に縮小された文書ＢＳ１０、ＢＳ１１、．．．を表示させる。

なお、実施形態９では、ユーザの眼が見ている位置、及び、見ている時間の長さに応じて、文書ＢＳ１、ＢＳ２、．．．の大きさを変更させたが、ユーザの目が見ている位置、および、ユーザのジェスチャを行っている時間に応じて、文書ＢＳ１、ＢＳ２、．．．の大きさを変更してもよい。例えば、ユーザが手前側領域を見つつ、手元で、２本の指の距離を広げる動作をしている場合、文書を拡大させ、ユーザが奥側領域を見つつ、手元で２本の指の距離を狭める動作をしている場合、文書を縮小させて表示させるようにしてもよい。

〈実施形態１０〉
実施形態１０の情報処理装置ＪＳについて説明する。

〈実施形態１０の構成〉
実施形態１０の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態１０の動作〉
図５１は、実施形態１０の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態１０の情報処理装置ＪＳの動作について、図５１のフローチャートを参照して説明する。

実施形態１０では、文書ＢＳ１、ＢＳ２、．．．のいずれもが移動しない実施形態１と相違して、文書ＢＳ１、ＢＳ２、．．．のうちの１つが、移動する。

以下では、説明及び理解を容易にすべく、図５２に示されるように、複合空間ＦＫで、空き領域ＡＲに、文書ＢＳ１、ＢＳ２、．．．が予め表示されていることを想定する。

ステップＳ１０１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図５２、図５３に示されるように、複合空間ＦＫで、机ＴＫの空き領域ＡＲ内でユーザの手ＴＥが接触する位置（例えば、ユーザの手ＴＥが近付くことにより表示が開始されるボタンＢＴの位置）が、図５３の矢印ＹＪの方向へ移動することを検知する。ＣＰＵ２は、換言すれば、手ＴＥが接触する位置に存在する文書ＢＳ３を手ＴＥが移動させようとする動き（移動指示）を検知する。

ステップＳ１０２：ＣＰＵ２は、配置部１４（図２に図示。）として、仮想空間ＫＫでの空き領域ＡＲ内で、文書ＢＳ３以外の文書ＢＳ１、ＢＳ２、ＢＳ４、．．．を、図５２に示される、ＢＳ１、ＢＳ２、ＢＳ４、．．．の位置と同じ位置に配置し、即ち、移動させることなく配置し、かつ、文書ＢＳ３を、図５３の矢印ＹＪに示される移動後の位置に配置し、即ち、移動させて配置する（図示せず。）。

ステップＳ１０３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、及び文書ＢＳ１、ＢＳ２、．．．を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）として、図５４に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．を表示させる。図５４で、点線は、文書ＢＳ３の移動前の位置を示す。

〈実施形態１１〉
実施形態１１の情報処理装置ＪＳについて説明する。

〈実施形態１１の構成〉
実施形態１１の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳの構成（図１に図示。）及び機能（図２に図示。）と同様の構成及び機能を有する。

〈実施形態１１の動作〉
図５５は、実施形態１１の情報処理装置ＪＳの動作を示すフローチャートである。以下、実施形態１１の情報処理装置ＪＳの動作について、図５５のフローチャートを参照して説明する。

実施形態１１では、ユーザの操作とは何ら関係無く、文書ＢＳ１、ＢＳ２、．．．を表示させる実施形態１と相違して、ユーザの操作に応答して、文書ＢＳ１、ＢＳ２、．．．を拡大し、または、縮小して表示させる。

以下では、説明及び理解を容易にすべく、図５６に示されるように、複合空間ＦＫで、空き領域ＡＲ内に、文書ＢＳ１、ＢＳ２、．．．が、予め表示されていることを想定する。

ステップＳ１１１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、検知部１１（図２に図示。）として、図５６に示されるように、現実空間ＧＫで、ユーザが、右手ＴＥ１の指を矢印ＹＪ１、ＹＪ２の方向に動かすことにより、文書ＢＳ３をユーザの方向へ取り上げようとする身振りを検知する。

ステップＳ１１２：ＣＰＵ２は、配置部１４（図２に図示。）として、仮想空間ＫＫで、ユーザが取り上げようとする文書ＢＳ３を拡大して配置する（図示せず。）。

ステップＳ１１３：ＣＰＵ２は、重ね合わせ部１５（図２に図示。）として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．、及び、ステップＳ１１２で拡大された文書ＢＳ３を重ね合わせる。これにより、ＣＰＵ２は、表示部１２（図２に図示。）して、図５７に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、文書ＢＳ１、ＢＳ２、．．．、及び、拡大された文書ＢＳ３を表示させる。

ステップＳ１１４：ステップＳ１１１と同様にして、ＣＰＵ２は、検知部１１として、図５８に示されるように、現実空間ＧＫで、ユーザが、左手ＴＥ２の指を矢印ＹＪ３、ＹＪ４の方向に動かすことにより、文書ＢＳ１をユーザの方向へ取り上げようとする身振りを検知する。

ステップＳ１１５：ステップＳ１１２と同様にして、ＣＰＵ２は、配置部１４として、仮想空間ＫＫで、ユーザが既に取り上げた文書ＢＳ３、及び、ユーザが取り上げようとする文書ＢＳ１を拡大して配置する（図示せず。）。

ステップＳ１１６：ステップＳ１１３と同様にして、ＣＰＵ２は、重ね合わせ部１５として、現実空間ＧＫ内の机ＴＫ（図８に図示。）、並びに、仮想空間ＫＫ内の空き領域ＡＲ、文書ＢＳ２、．．．、既に拡大された文書ＢＳ３、及び、新たに拡大された文書ＢＳ１を重ね合わせる。これにより、ＣＰＵ２は、表示部１２として、図５９に示されるように、複合空間ＦＫに、机ＴＫ、空き領域ＡＲ、文書ＢＳ２、．．．、並びに、拡大された文書ＢＳ３、ＢＳ１を表示させる。

ユーザの方向へ取り上げようとする身振りによって拡大されて表示された文書に対する操作は、空き領域に表示されている際の文書に対して行える操作よりも制限されてもよい。

取り上げようとする身振りによって文書を取り上げる場合は、文書を単に閲覧したい場合であることが多いため、例えば、取り上げようとする身振りによって拡大されて表示された文書は、閲覧のみ可能として、該文書に対して書き込み等の編集操作を行えないようにする。

一方、空き領域に表示されている文書は、現実空間の机上に表示されており、書き込み等の編集操作を行いやすいため、ユーザの方向へ取り上げようとする身振りによって拡大されて表示された文書よりも、実施できる機能を拡張してもよい。

上記したステップＳ１１１～１１６とは対照的に、例えば、複合空間ＦＫで、図６０に示されるように、ユーザの左手ＴＥ２が、文書ＢＳ１を戻そうとする身振り（左手ＴＥ２の奥行方向への移動）が検知されたときには、ＣＰＵ２は、仮想空間ＫＫで、文書ＢＳ１を縮小して配置した後、図６１に示されるように、複合空間ＦＫで、机ＴＫ、空き領域ＡＲ、拡大された文書ＢＳ３、元の大きさ（図５６に図示された大きさ）である文書ＢＳ１を表示させても良い。

〈実施形態の組み合わせ〉
上述した実施形態１～実施形態１１の情報処理装置ＪＳは、各々、単独で構成されかつ動作することに代えて、２つ以上の実施形態の情報処理装置ＪＳが組み合わされて構成されかつ動作することも可能である。

〈プロセッサ、プログラムの補足説明〉
上記した実施形態において、プロセッサとは、広義的なプロセッサを指す。汎用的なプロセッサ（例えば、ＣＰＵ： Central Processing Unit等）に加えて、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス等）を含む。

上記した実施形態において、プロセッサの動作は、１つのプロセッサによって実現されてもよく、また、複数のプロセッサの協働によって実現されてもよい。また、プロセッサの各動作の順序は、上記した実施形態における順序に限定されず、適宜変更してもよい。

上記した実施形態において、プログラムＰＲは、記憶媒体４に予め記憶（インストール）されていることに代えて、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録されて提供されてもよく、ネットワークを介して外部装置からダウンロードされてもよい。

ＪＳ 情報処理装置
１ 入力部
２ ＣＰＵ
３ 出力部
４ 記憶媒体
５ メモリ
ＰＲ プログラム
ＢＪ 文書群情報
ＳＪ 書誌情報
ＢＨ 文書配置図
１１ 検知部
１２ 表示部
１３ 受付部
１４ 配置部
１５ 重ね合わせ部
１６ 取得部
１７ 形成部
１８ 制御部
１９ 記憶部

Claims (11)

1. プロセッサを備え、
   前記プロセッサは、
   現実空間での対象物の空き領域を検知し、
   複数の仮想対象物の配置を取得し、
   前記空き領域に、前記複数の仮想対象物を、取得した配置で表示させ、
   ユーザが、前記対象物の空き領域から、前記複数の仮想対象物のうち１つ以上の仮想対象物を取り上げる身振りを行った際に表示される仮想対象物に対する操作は、前記空き領域に表示されている仮想対象物に対する操作よりも制限させる、
   情報処理装置。
2. 前記プロセッサは、
   ユーザに近い位置に配置されている前記仮想対象物ほど、前記仮想対象物の大きさを大きく表示させる、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記対象物において、障害物が存在しない領域を、空き領域として検知する、
   請求項１または請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記対象物の空き領域を可視化した、仮想空間での補助目印を表示させる、
   請求項１から請求項３までのいずれか１項に記載の情報処理装置。
5. 前記プロセッサは、
   ユーザが、前記対象物の空き領域に対して、前記複数の仮想対象物の手前への移動指示を行った場合、前記複数の仮想対象物の全てを、手前方向に移動させ、
   移動させた仮想対象物が前記空き領域外に位置する場合は、前記移動させた仮想対象物を表示させない、
   請求項１から請求項４までのいずれか１項に記載の情報処理装置。
6. 前記プロセッサは、
   前記空き領域に表示されない仮想対象物を、前記空き領域の外側に位置する外側領域に表示させる、
   請求項５に記載の情報処理装置。
7. 前記プロセッサは、
   前記外側領域に、前記仮想対象物を表示する際は、前記仮想対象物の重要度が大きいものほど、前記外側領域において、ユーザに近い位置に表示させる、
   請求項６に記載の情報処理装置。
8. 前記プロセッサは、
   ユーザが、前記空き領域のうち手前の領域を見ているとき、前記複数の仮想対象物のうち、前記手前の領域に位置する１つ以上の仮想対象物の大きさを拡大して表示させる、
   請求項１から請求項７までのいずれか１項に記載の情報処理装置。
9. 前記プロセッサは、
   ユーザが、前記空き領域のうち奥の領域を見ているとき、前記複数の仮想対象物のうち、前記奥の領域に位置する１つ以上の仮想対象物の大きさを縮小して表示させる、
   請求項１から請求項８までのいずれか１項に記載の情報処理装置。
10. 前記プロセッサは、
    前記ユーザが前記１つ以上の仮想対象物を見ている時間の長さに応じて、前記１つ以上の仮想対象物の大きさを拡大または縮小して表示させる、
    請求項８又は請求項９に記載の情報処理装置。
11. コンピュータに、
    現実空間での対象物の空き領域を検知し、
    複数の仮想対象物の配置を取得し、
    前記空き領域に、前記複数の仮想対象物を、取得した配置で表示させ、
    ユーザが、前記対象物の空き領域から、前記複数の仮想対象物のうち１つ以上の仮想対象物を取り上げる身振りを行った際に表示される仮想対象物に対する操作は、前記空き領域に表示されている仮想対象物に対する操作よりも制限させる、
    処理を実行させるための情報処理プログラム。