JP6573101B2 - インタラクション実行方法及び該方法を採用する装置並びにプログラム - Google Patents

Description

本発明は、インタラクション実行方法及び該方法を採用するインタラクション実行装置並びにインタラクションを実行させるプログラムに関する。

近年、映像の新たな表示方法として、空中に映像を結像させる映像表示用装置が提案されている。これは元となる表示画面の映像を種々の光学的手法によって表示画面とは別の空間に結像させるものであるが、当該装置には、一般に、レンズアレイやコーナーキューブアレイ等から構成される再帰性反射シートと、ハーフミラーとを用いて当該ハーフミラーを基準とする面対称位置に前記映像を光学結像させる周知技術が採用されている（特許文献１及び２）。

また、画像表示面内に内蔵されたセンサにより目視者の指の進入位置を検出し、当該進入位置に応じて、画像表示面に表示する二次元画像を変化させるユーザーインタラクティブを実現する画像表示装置が提案されている（特許文献３）。

一方、本出願人は、図１５に図示する空間映像結像装置１を特許出願（特願２０１５−３００４０）している。当該装置１は、表示機器２を載置するための支持台座部３と、再帰反射部４と、ハーフミラー部５と、前記各部を特定の角度関係をもって固定するための側板部６とによって構成し、前記表示機器２を前記支持台座部３へ挿入する挿入口７を設けた単純な箱型構造をとっている。

そして、スマートデバイス等の表示機器２を前記挿入口７から挿入して前記支持台座部３へ装着し、図１６に示すように、映像表示領域８に映像９を表示することにより、支持台座部３に載置された表示機器２の映像表示領域８から出力された光が、光路ａを進んだ後、一部がハーフミラー部５によって反射され、光路ｂを進み再帰反射部４に入射し、再帰反射部４に入射された光は同一の光路ｃを通るように反射され、ハーフミラー部５に再度入射されて、ハーフミラー部５に入射された光の一部は透過した後に光路ｄを直進し、ハーフミラー部５を対称面とする面対称位置に空間映像１０を結像するようになっている。

特開昭５６−１５８３２０号公報 特表平０９−５０６７１７号公報 国際公開第２００７／０１３２１５号

本発明は、ハーフミラーを介して結像される空間映像に対してインタラクティブ性を持たせることを技術的課題とし、前記従来の映像表示用装置に対して検討をおこなった。

前記映像表示用装置の表示画面に表示された映像に対して直接入力する最も簡便な方法は、表示画面に表示された映像に対して直接、指やスタイラスペン等で入力を行う手法であるが、この方法では、操作時の一連の動作が画面表示を遮り、結果として立体の空間映像に影響するという問題点があった。

また、Ｂｌｕｅｔｏｏｔｈ等の無線入力機器又はＵＳＢ接続の有線入力機器を接続して遠隔操作すれば、前記第一の問題点は回避できるが、空間映像に対するインタラクティブ性が損なわれるという問題点があった。

さらに、特許文献３に開示されている画像表示装置では、前記第一の問題点に加えて、特殊な画像表示手段を必要とするという問題点があった。

そこで、本発明は、市販のスマートデバイスであるスマートフォンやタブレット等にはカメラが内蔵されていることに着目し、当該内蔵カメラで撮像したデータを利用すれば、市販のスマートデバイスでも空間映像にインタラクティブ性を持たせることができるという知見を得、前記技術的課題を達成したものである。

前記技術的課題は、次の通りの本発明によって解決できる。

本発明に係るインタラクション実行方法は、表示機器の映像表示領域に映像を表示させ、ハーフミラーを介して当該映像を当該ハーフミラー上方に空間映像として結像させて当該空間映像に対してインタラクションを実行する方法であって、前記表示機器は前記映像表示領域の外周縁近傍に撮像手段を内蔵しており、前記ハーフミラーは前記撮像手段が有する撮像範囲を遮らないように配置され、前記映像表示領域に映像を表示させた後に前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現したか否かを前記撮像手段が撮像する画像により判断し、前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させて前記空間映像に連続する動作として結像させるものである。

また、本発明に係るインタラクション実行装置は、映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える表示機器と、当該表示機器に対して角度を設けて、前記撮像手段が有する撮像範囲を遮らないように配置されたハーフミラーとを含んで構成され、前記表示機器の映像表示領域に映像を表示させ、前記ハーフミラーを介して当該映像を前記ハーフミラー上方に空間映像として結像させ、当該空間映像に対してインタラクションを実行するインタラクション実行装置であって、前記映像表示領域に映像を表示させる第一の表示手段と、当該第一の表示手段により前記映像表示領域に映像を表示させた後に前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現したか否かを判断する判断手段と、当該判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段と、を具備しているものである。

また、本発明は、前記インタラクション実行装置において、映像表示領域が矩形に形成されて該矩形外周縁の一辺縁近傍に撮像手段が内蔵されており、長手両方向に下降する断面蒲鉾形状の長尺凸レンズが該長尺凸レンズの長辺側を前記一辺縁に沿わせて前記映像表示領域を遮らないように撮像手段の撮像範囲を塞いで配置されているものである。

また、本発明は、前記インタラクション実行装置において、長尺凸レンズがハーフミラー面より上方に露出しているものである。

また、本発明に係るプログラムは、映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える表示機器に搭載されるコンピュータを、前記映像表示領域に映像を表示させる第一の表示手段と、前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する手段と、前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段として機能させるものである。

さらに、本発明に係るプログラムは、映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える表示機器に搭載されるコンピュータを、前記映像表示領域に映像を表示させる第一の表示手段と、前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する手段と、前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域における指示体の上下及び／又は左右位置を演算する演算手段と、前記演算手段の演算結果に基づいて新たな映像を選択して前記映像表示領域に当該新たな映像を表示させる第二の表示手段として機能させるものである。

本発明によれば、映像表示領域の外周縁近傍に撮像手段を内蔵する表示機器を用いて空間映像を結像させ、前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現していると判断した場合に前記映像に関連する新たな映像を表示させて前記空間映像に連続する動作として結像させるようにしたので、前記空間映像に対してインタラクティブ性を持たせることができる。

本発明に係るインタラクション実行装置を示す斜視図である。 図１に図示するインタラクション実行装置において結像される新たな空間映像を示す斜視図である。 図１に図示する表示機器の概略ブロック図である。 インタラクション実行プログラムの一例を説明するフローチャート図である。 表示機器のカメラの位置による撮影画像の違いを示す、カメラ位置が一辺縁中央の模式図であり、上図（ａ）は撮影画像、下図（ｂ）は表示機器である。 表示機器のカメラの位置による撮影画像の違いを示す、カメラ位置が一辺縁右寄りの模式図であり、上図（ａ）は撮影画像、下図（ｂ）は表示機器である。 表示機器のカメラの位置による撮影画像の違いを示す、カメラ位置が一辺縁左寄りの模式図であり、上図（ａ）は撮影画像、下図（ｂ）は表示機器である。 指示体の指示位置を説明する模式図である。 インタラクション実行プログラムの一例を説明するフローチャート図である。 新たな空間映像を示す斜視図である。 新たな空間映像を示す斜視図である。 本発明に係るインタラクション実行装置を示す斜視図である。 図１２に図示する凸レンズの斜視図である。 内蔵カメラ位置の視野領域と凸レンズの光学系との関係を示す模式図である。 空間映像結像装置の一例を示す斜視図である。 図１５に図示する空間映像結像装置における光学系を説明する模式図である。

実施の形態１．

以下、本発明の実施の形態を、図１〜図７を参照して説明する。これらの図において、図１５及び図１６と同一符号は同一又は相当部分を示す。

図１において、１１はインタラクション実行装置であり、映像９を表示する矩形の表示画面（映像表示領域）８と表示画面８の外周縁１２の一辺縁１３近傍に内蔵するカメラ（撮像手段）１４と通信機能を装備する携帯型の表示機器（所謂、スマートデバイス）２と、当該表示機器２を装着する、図１５に図示する箱型空間映像結像装置１とからなり、表示機器２は、表示画面８に映像９を表示させた後にカメラ１４の撮像範囲に空間映像１０を指し示す指示体１５（図２参照）が出現したか否かをカメラ１４が撮像する画像により判断し、前記撮像範囲に前記指示体１５が出現していると判断した場合に表示画面８に前記映像９に関連する新たな映像１６ａを表示させる機能を備えている。また、１７ａは新たな映像１６ａに対する新たな空間映像である。

前記箱型空間映像結像装置１は、表示機器２を装着する扁平な矩形支持台座部３と、支持台座部３に装着される表示機器２の表示画面８に対して角度を有して支持台座部３の上方位置に配置された扁平な矩形ハーフミラー部５と、ハーフミラー部５と支持台座部３とに対してそれぞれ角度を設けて対面する位置に配置され、支持台座部３に対して略直角に屈曲して連続する扁平な矩形再帰反射部４と、支持台座部３に装着される表示機器２とハーフミラー部５と再帰反射部４とにより形成される光学系によりハーフミラー部５の上方に空間映像１０を結像するように前記各部を特定の角度関係をもって固定するための側板部６とによって構成されており、前記表示機器２は、矩形外周縁１２の一辺縁１３をハーフミラー部５側にしてカメラ１４を当該ハーフミラー部５の上面から露出するように位置付けて前記支持台座部３に載置され、ハーフミラー部５はカメラ１４が有する視野領域である撮像範囲を遮らないように配置されている。

表示機器２は、図３に示すように、前記映像９や前記新たな映像１６ａを表示する前記表示画面８と、前記映像９や前記新たな映像１６ａに関連するミュージックや音声を出力するスピーカ１８と、前記指示体１５を撮像するカメラ１４と、図４に図示するインタラクション実行プログラムや前記映像９、１６ａの画像データ等をダウンロードできるＷｉＦｉや無線ＬＡＮ、及び電話機能等を構築する通信部１９と、前記インタラクション実行プログラムや前記画像データ等を格納するＵＳＢ等の外部デバイスを接続するＩ／Ｏインタフェース２０と、前記映像９等の画像データを格納する第一記憶部２１と前記映像９に関連する新たな映像１６ａ等の画像データを格納する第二記憶部２２と前記インタラクション実行プログラム等を格納する第三記憶部２３とを設けた外部記憶部２４と、表示機器２に搭載される前記各種デバイスを制御する中央制御部（ＣＰＵ）２５と、を含んで構成されている。

次に、図４に図示するインタラクション実行プログラムについて説明する。

表示機器２を箱型空間映像結像装置１に装着した後、ＣＰＵ２５の制御により、前記プログラム記憶部２３から前記インタラクション実行プログラムを読み出して当該プログラムを実行する。

ＣＰＵ２５の制御により、第一記憶部２１から映像９の画像データを読み込んで表示画面８に映像９を表示する（第一の表示手段：ステップｓ０１）。これにより、ハーフミラー部５の上方には、図１に示すように、空間映像１０が現れる。次いで、当該空間映像１０を指し示す指示体１５がカメラ１４の撮像範囲に出現したか否かをカメラ１４が内蔵する撮像素子（図示せず）の認識により判断し（判断手段：ステップｓ０２）、ＣＰＵ２５の制御により、前記撮像素子が前記指示体１５を認識すれば、続いて、ＣＰＵ２５の制御により、第二記憶部２２から前記映像９に対する動きを表現する新たな画像データを読み込んで表示画面８に新たな映像１６ａとして表示する（第二の表示手段：ステップｓ０３）。これにより、ハーフミラー部５の上方には、図２に示すように、前記映像９に連続する動きの新たな空間映像１７ａが出現する。

本実施の形態では、カメラ１４の撮像範囲に指示体１５が出現すれば、カメラ１４の一辺縁での位置に関係なく、新たな映像１６ａが表示される。

ところで、表示画面８に表示された映像９はその位置関係を保持した状態で当該映像９の空間映像１０が結像される。従って、図５に示すように、カメラ１４が一辺縁１３の略中央に内蔵されている表示機器２の場合には、カメラ１４で撮影される指示体１５の撮影画像は前記表示画面８に対して中央位置が撮像範囲であり、当該表示画面８に表示されている映像９と整合性を有した位置関係となる。一方、図６に示すように、カメラ１４が一辺縁１３の右寄りに内蔵されている表示機器２の場合には、カメラ１４で撮影される指示体１５の撮影画像は前記表示画面８に対して右寄り位置が撮像範囲となるから、表示画面８に表示されている映像９と整合させるために指示体１５の撮影画像を左寄りに位置を修正し、図７に示すように、カメラ１４が一辺縁１３の左寄りに内蔵されている表示機器２の場合には、カメラ１４で撮影される指示体１５の撮影画像は前記表示画面８に対して左寄り位置が撮像範囲となるから、表示画面８に表示されている映像９と整合させるために指示体１５の撮影画像を右寄りに位置を修正すれば、さらに、前記指示体１５の認識精度を上げることができる。

その他の修正方法の一例として、カメラ位置が異なる表示機器２の機種毎にカメラ位置のデータベースを予め用意して当該データベースを認識時に参照することでカメラ位置のバラつきをソフトウェア的に補正する方法や使用開始時に表示機器２に対して特定の位置で手などを撮影し、期待される基準位置とのずれから補正量を算出して以後の入力操作に反映させるキャリブレーション処理を行う補正方法等を挙げることができる。

従って、カメラ位置は一辺縁１３の中央より右寄り側或いは左寄り側、さらには、右端近傍或いは左端近傍であってもよい。

なお、映像９、１６ａは、動画は勿論のこと静止画の画像をも含むものである。また、新たな映像１６ａは、指示体１５を認識しなくなることにより、もとの映像９に戻すようにしてもよく、再度認識されるまで、継続して表示するようにしてもよく、再度認識されることにより、第三の新たな映像を表示するようにしてもよい。また、指示体１５は指でもよく、指し棒でもよい。

本実施の形態によれば、表示機器２としてカメラを内蔵するスマートフォンやタブレット等のスマートデバイスを用いれば、内蔵カメラで手の動きや特定の図形・色を持つ物体などを撮影し、撮影された画像の解析処理を経て表示映像に反映させることができるので、入力操作をするために追加の機材を用意する必要がない。

実施の形態２．

本実施の形態は、実施の形態１における空間映像１０を指し示した指示体１５の位置によって異なる新たな空間映像を結像するものであり、図８〜図１１において、図１〜図３、図１５及び図１６と同一符号は同一又は相当部分を示し、図１〜図３をも参照して説明する。

本実施の形態におけるＣＰＵ２５では、指示体１５が指し示している空間映像１０における位置を、カメラ１４の撮像範囲に出現した指示体１５の位置に基づいて表示画面８における上・下位置、左・右位置として算出し、前記空間映像１０の映像９に対応させており、指示体１５の表示画面８での位置は、図８に示すように、表示画面８を上下左右に四分割して当該四分割の領域がカメラ１４の撮像素子の撮像エリアに対応してデータ化され、どの撮像エリアにおいて指示体１５が撮像されているかを演算して表示画面８における指示体１５の位置として置換して決定する。そして、分割領域に対応する新たな画像データを第二記憶部２２から読み込んで表示画面８に表示させる。よって、第二記憶部２２には、表示画面８に対する指示体１５の位置に対応する新たな画像データが格納されており、空間映像１０を指し示す指示体１５が表示画面８における左エリア２６である場合に新たに表示される映像１６ａ（図２参照）の画像データと、表示画面８における上エリア２７である場合に新たに表示される映像１６ｂ（図１０参照）の画像データと、表示画面８における下エリア２８である場合に新たに表示される映像１６ｃ（図１１参照）の画像データとが含まれている。そして、プログラム記憶部２３には、本実施の形態に係る図９に図示するインタラクション実行プログラムと、前記左エリア２６と上エリア２７と下エリア２８とに分割された表示画面８の撮像エリアデータとが格納されている。

前記インタラクション実行プログラムでは、図９に示すように、ＣＰＵ２５の制御により、第一記憶部２１から映像９の画像データを読み込んで表示画面８に映像９を表示させて（第一の表示手段：ステップｓ０４）、ハーフミラー部５の上方に図１に示す空間映像１０を出現させ、次いで、当該空間映像１０を指し示す指示体１５がカメラ１４の撮像範囲に出現したか否かをカメラ１４が内蔵する撮像素子（図示せず）の認識により判断し（判断手段：ステップｓ０５）、ＣＰＵ２５の制御により、前記撮像素子が前記指示体１５を認識すれば、続いて、ＣＰＵ２５の制御により、前記表示画面８における指示体１５の上・下・左・右位置を前述の方法により演算し（演算手段：ステップｓ０６）、演算の結果、左エリア２６であれば、第二記憶部２２から前記映像９に対する動きを表現する新たな映像１６ａの画像データを読み込んで、図２に示すように、表示画面８に新たな映像１６ａを表示し、上エリア２７であれば、同様に表示画面８に新たな映像１６ｂ（図１０参照）を表示し、下エリア２８であれば、同様に表示画面８に新たな映像１６ｃ（図１１参照）を表示する（第二の表示手段：ステップｓ０７）。

これにより、新たな映像１６ａの表示によって、ハーフミラー部５の上方には、図２に示すように、映像９に連続する動きの新たな空間映像１７ａが出現し、新たな映像１６ｂの表示によって、図１０に示すように、同様に新たな空間映像１７ｂが出現し、新たな映像１６ｃの表示によって、図１１に示すように、同様に新たな空間映像１７ｃが出現する。なお、新たな映像１６ａが表示されている状態で再度、指示体１５を認識することにより、連続してその他の新たな映像１６ｂ又は映像１６ｃを表示するようにしてもよい。

なお、カメラの撮像範囲の中心軸と空間に結像された空間映像の表示面とはほぼ平行となるため、カメラの撮影画像上の上下方向と前記空間映像の表示面の上下方向は一致せず、空間映像の表示面での上下方向はカメラの撮影画像上では奥行き方向となるので、指示体１５の奥行き方向位置は指示体１５の大きさの変化に基づき捕らえることができるから、基準となる位置での大きさ、例えば、表示画面８の中央に位置する時の指示体１５の大きさを予め設定しておけば、表示画面８の上下方向での座標は基準との差分から計算によって求めることができる。

実施の形態３．

本実施の形態は、前記実施の形態１又は実施の形態２に係るインタラクション実行装置１１において、カメラ１４に凸レンズ２９を位置付けて配置したものであり、図１２〜図１４において、図１〜図１１、図１５及び図１６と同一符号は同一又は相当部分を示す。

図１２及び図１３に示すように、表示機器２の表示画面８は矩形に形成され、表示画面８の矩形外周縁１２の上辺に当たる一辺縁１３近傍にカメラ１４が内蔵されており、当該カメラ１４の視野領域（撮像範囲）３０を塞ぐようにして凸レンズ２９が配置されている。

前記凸レンズ２９は、長手両方向に下降する断面蒲鉾形状の長尺レンズであり、凸レンズ２９の長辺３１を表示機器２の上辺（一辺縁）１３に沿わせて表示画面８を遮らないように表示機器２に位置付けられており、凸レンズ２９はハーフミラー部５の上面より上方に露出している（図１２参照）。さらに、前記凸レンズ２９の形状は左右対称形であるから凸レンズ２９の光軸は前記上辺１３を二分する中心に位置付けられる。

これにより、前記上辺１３の範囲内でカメラ１４の位置が異なっても、図１４に示すように、中央位置のカメラ１４、左寄り位置のカメラ１４’及び右寄り位置のカメラ１４’’における視野領域３０、３０’、３０’’の光路は前記凸レンズ２９を介することにより当該凸レンズ２９が有する光学的特性に基づいて屈折して焦点３２を通過するので、カメラ１４、１４’、１４’’の視野範囲に出現する指示体１５は同じ位置に出現したとして認識することができる。

また、焦点３２の位置に存在する指示体１５は必ずカメラの撮像範囲の中心にあるように撮影されるから、空間映像１０の出現位置を前記凸レンズ２９の焦点距離に等しくなるようにすれば、さらに精度よく指示体１５を認識することができる。

なお、凸レンズ２９は両凸レンズ又は平凸レンズであってもよく、フレネルレンズを使用してもよい。凸レンズ２９は長辺３１が上辺１３に沿う形状であればよいから、上面視長方形であっても、一方側が上辺１３に沿う長辺、他方側が円弧形状であってもよい。また、凸レンズ２９の長さは、機種によってばらつく異なるカメラ内蔵位置を網羅できる長さであればよい。また、凸レンズ２９はハーフミラー部５に補助部材を介して接着固定するようにしてもよい。また、上面視長方形の長尺凸レンズ２９は一軸方向のみ凸であるから、カメラ位置のばらつきが主に表示画面の横幅方向のみであるスマートフォンは表示機器２として最適である。

本実施の形態によれば、前記凸レンズ２９を配置したから、前記実施の形態１の効果に加えて、前記一辺縁１３の範囲内でカメラ１４の内蔵位置がばらつく複数の表示機器２であっても、各種表示機器２毎のカメラ位置のばらつきを考慮することなく、指示体１５を認識することができる。

１ 空間映像結像装置、２ 表示機器（スマートデバイス）、３ 支持台座部、４ 再帰反射部、５ ハーフミラー部、６ 側板部、７ 挿入口、８ 映像表示領域（表示画面）、９ 映像、１０ 空間映像、１１ インタラクション実行装置、１２ 外周縁、１３ 一辺縁、１４ 撮像手段（カメラ）、１５ 指示体、１６ａ，１６ｂ，１６ｃ 新たな映像、１７ａ，１７ｂ，１７ｃ 新たな空間映像、１８ スピーカ、１９ 通信部、２０ Ｉ／Ｏインタフェース、２１ 第一記憶部、２２ 第二記憶部、２３ プログラム記憶部、２４ 外部記憶部、２５ 中央制御部（ＣＰＵ）、２６ 左エリア、２７ 上エリア、２８ 下エリア、２９ 凸レンズ、３０ 視野領域（撮像範囲）、３１ 長辺、３２ 焦点

Claims (6)

1. 携帯型表示機器を装着する支持台座部を設け、該支持台座部に前記表示機器を装着し、当該表示機器の映像表示領域に映像を表示させ、ハーフミラー部と再帰反射部とを介して当該映像を前記ハーフミラー部上方に空間映像として結像させて当該空間映像に対してインタラクションを実行する方法であって、前記表示機器は前記映像表示領域の外周縁近傍に撮像手段を内蔵しており、前記ハーフミラー部は前記撮像手段が有する撮像範囲を遮らないように配置され、前記撮像手段が撮像する画像は前記表示機器のカメラ位置のばらつきによって変化する前記撮像範囲が前記空間映像と整合するように補正されて、前記映像表示領域に映像を表示させた後に前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現したか否かを前記撮像手段が撮像する画像により判断し、前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させて前記空間映像に連続する動作として結像させることを特徴とするインタラクション実行方法。
2. 映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える携帯型表示機器と、当該表示機器を装着する支持台座部と、前記表示機器に対して角度を設けて、前記撮像手段が有する撮像範囲を遮らないように配置されたハーフミラー部と、再帰反射部とを含んで構成され、前記支持台座部に前記表示機器を装着し、前記表示機器の映像表示領域に映像を表示させ、前記ハーフミラー部を介して当該映像を前記ハーフミラー部上方に空間映像として結像させ、当該空間映像に対してインタラクションを実行するインタラクション実行装置であって、前記映像表示領域に映像を表示させる第一の表示手段と、前記表示機器のカメラ位置のばらつきによって変化する前記撮像範囲が前記空間映像と整合するように前記撮像手段が撮像する画像を補正する補正手段と、前記第一の表示手段により前記映像表示領域に映像を表示させた後に前記撮像手段の撮像範囲に前記空間映像を指し示す指示体が出現したか否かを判断する判断手段と、当該判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段と、を具備していることを特徴とするインタラクション実行装置。
3. 映像表示領域が矩形に形成されて該矩形外周縁の一辺縁近傍に撮像手段が内蔵されており、前記補正手段に代えて上面視長方形の長尺凸レンズが該凸レンズの長辺側を前記一辺縁に沿わせて前記映像表示領域を遮らないように撮像手段の撮像範囲を塞いで配置され、前記表示機器のカメラ位置のばらつきによる撮像範囲の変化を光学的に補正する請求項２記載のインタラクション実行装置。
4. 上面視長方形の長尺凸レンズがハーフミラー面より上方に露出している請求項３記載のインタラクション実行装置。
5. 映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える携帯型表示機器に搭載されるコンピュータを、
   前記表示機器を支持台座部に装着した状態で前記映像表示領域に映像を表示させる第一の表示手段と、
   前記表示機器のカメラ位置のばらつきによって変化する前記撮像範囲が前記空間映像と整合するように前記撮像手段が撮像する画像を補正する補正手段と、
   前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する判断手段と、
   前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記映像表示領域に前記映像に関連する新たな映像を表示させる第二の表示手段として機能させるプログラム。
6. 映像を表示する映像表示領域と当該映像表示領域の外周縁近傍に内蔵する撮像手段とを備える携帯型表示機器に搭載されるコンピュータを、
   前記表示機器を支持台座部に装着した状態で前記映像表示領域に映像を表示させる第一の表示手段と、
   前記表示機器のカメラ位置のばらつきによって変化する前記撮像範囲が前記空間映像と整合するように前記撮像手段が撮像する画像を補正する補正手段と、
   前記第一の表示手段により前記映像表示領域に映像が表示された後に、当該映像によってハーフミラー上方に結像した空間映像を指し示す指示体が前記撮像手段の撮像範囲に出現したか否かを判断する判断手段と、
   前記判断手段により前記撮像範囲に前記指示体が出現していると判断した場合に前記指示体の上下位置を前記補正手段によって補正された画像における前記指示体の大きさに基づいて演算する演算手段と、
   前記演算手段の演算結果に基づいて新たな映像を選択して前記映像表示領域に当該新たな映像を表示させる第二の表示手段として機能させるプログラム。

Images