WO2005078559A1 - 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス - Google Patents

Abstract

　動画像を入力インタフェースとして用いた場合の初期設定を容易に行うための画像処理技術を提供する。　操作者の画像をその一部に含んだ鏡面動画像と所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像とを合成して合成画像を生成する画像合成部１０６を有し、この合成画像をディスプレイ装置に表示させる画像処理装置である。この画像処理装置は、鏡面動画像に含まれる操作者の画像の位置を検出する検出部１０９を備えており、画像合成部１０６は、検出部１０９により検出された操作者の画像の位置に応じて、操作者の手の画像が届く範囲にオブジェクト画像が表示されるように、オブジェクト画像と鏡面動画像とを合成するように構成されている。

Description

理装置、 画像 理方法、 記録 体、 コンピ プログラム、 半導体 バイス 術分野

本 、 ビデオカメラなどの 置により 影された 像を、 コ ンド等の入カインタフ として利用するための 術に関する。 明の

コンピ タ、 ビデオゲ ム機などによく いられる入力 として、 キ ボ ド、 ウス、 コントロ ラ等がある。 作者は、 これらの 置を操作 することにより所望のコ ンドを入力して、 入力されたコ ンドに応じた 理 をコンピ タ等に行わせる。そして 作者は、 処理 果として得られた画像、 音などを、 ディスプレイ 置やスピ カにより する。 作者 、 入力 置 に備えられる多くのボタンを操作したり、 ディスプレイ 置に表示されたカ ソルなどを見ながら操作することにより、 コ ンドの 力を行うこととなる。

、 上記のような 来からの 置を用いる方法の他に、 ビデオカメ ラ等の撮 置を用いて撮影した動画像により、 コマンドの 力を可能にした 術も開発されている。 出願人も、 2００2 9 6 8 5 5

明の 理装置、 画像 理方法、 記録 体、 コンピ プログラム、 半導体 バイス ) Zおいて、 操作者の 画像を取り込んで、 操作者の 画像と 当 画像により 作されるオブジ クト 像とを合成して所定のディスプレ イ 置に表示させる 術を開示している。 画像の きに応じてオブジ クト 像が操作されるために、 動画像 体が入カインタフ として機能するこ とになる。

このように動画像を入カインタフ として いる場合、 操作者が適切な 位置に表示されるように撮影 置のアングルを調整したり、 を選択するこ とは、 正確な 作のために極めて重要である。 そのために、 初期 定が 雑、 雑になりがちである。 定が不 分であったり、 操作者が適切な位置にいな い場合には、 オブジ クト 像を操作 難な位置に 作者の 画像が表示され たり、 いは誤認識の 因となり、 正確な入力 作の げになることもある。

、 上記のよ な問題を解決するものであり、 動画像を入カインタフ として いた場合の 定を容易に行うための 術を提供す ることを課題とする。 明の

上の課題を解決する 明の 理装置は、 所定のイベントに関連づけ されたオブジ ク についてのオブジ クト 像を生成するオブジ クト 段と、 操作者の 像をその 部に含んだ 画像に前記オブジ クト 像を合成して合成 像を生成する画像 段を有し、 この 像を所定 のディスプレイ 置に表示させる画像 理装置であって、 前記 画像に含 まれる前記 作者の 像の 置を検出する検出 段を備え、 前記

は、 前記 段により検出された前記 作者の 像の 置に応じて、 前記 作者の手の画像が届く 域に前記オブジ クト 像が表示されるよ に、 前記 オブジ クト 像と前記 画像とを合成するように構成されている。

作者の 像の 置に合わせて、 操作者の手の画像が届く 域にオブジ ク ト 像が表示されるために、 操作者が操作 能な位置にオブジ クト 像が表 されることがなくなる。 そのために、 雑な 定を行わなくても、 動画 像を入カインタフ として 易にしようできるようになる。

画像は動画像を撮影する で生成するようにしてもよいが、 例えば、 明の 理装置が、 所定の 置により 影された前記 作 者の 像をその 部に含む 画像を、 この 置から取り込む

R と、 取り込んだ 画像に 理を施して前記 画像を生成する画像 転 手段と、 をさらに備えるようにすれば、 用の 置で 画像を得るこ とができるようになる。

作者の手の画像が届く 域とは、 例えば 作者の顔の位置の 分とす ることができる。 顔の位置の 分にオブジ クト 像を表示させる場合に は、 例えば、 前記 段が、 前記 作者の 像から 作者の顔の位置を 検出するよ に構成され、 前記 段が、 検出された顔の位置に応じた 域に前記オブジ クト 像が表示されるように 前記オブジ クト 像と前 記 画像とを合成するように構成される。 この 合、 前記 、 5 段により検出された前記 作者の 像の 置に、 作者が検出 されたことを示す カを表す画像を合成するよ に構成されていてもよい。

、 操作者の 像の 置の他に前記 作者の 像の きさを検 出するように構成されていてもよい。 この 合、 前記 段が、 検出さ れた前記 作者の 像の きさに応じた大きさに前記オブジ クト 像が表示 されるように、 前記オブジ クト 像と前記 画像とを合成するように構 成される。 これにより、 操作者の 像の きさに応じた大きさでオブジ クト 像を表示できるようになり、 操作者の 像とオブジ ク の 像とがアンバ ランスに表示されることはない。

画像のフレ ム間の画像の 表す 像を、 複数 ねた 画像 ップを生成する手段をさらに備える場合には、 前記 、 この き画像 ップにより得られる前記 作者の 像の きに応じて、 前記オ ブジ クト 像を合成する 域を決めるように構成されていてもよい。

また、 前記 画像のフレ ム間で各 域の色の変化を検出する手段を備 える場合には、 前記 、 この色の変化でにより得られる前記 2０ 者の画像の きに応じて、 前記オ ジ クト 像を合成する 域を決めるよう に構成されて てもよい。

作者になり得る複数の 作者候補の 像が前記 画像に含まれている 場合には、 前記 、 複数の 作者候補のそれぞれについて 作者 候補の 像の 置を検出するように構成され、 前記 、 前記 25 段により検出された 数の 作者候補の 像の に位置に応じて、 前 記オブジ クト 像が複数の 作者候補の手の画像が届く 囲に表示されるよ うに、 前記オブジ クト 像と前記 画像とを合成するように構成されて いてもよ 。

つまり 作者候補の 像がオブジ クト 像を操作できるような位置に、 ブジ クト 像が合成される。 えば 操作者候補が 2人の場合にはその間 オブジ クト 像が表示されるように合成される。

数の 作者候補から操作者を選ぶ 合には、 以下のよ な構成となる。 えば、 前記オブジ クト 像が操作された場合に、 オブジ クト 操作した 作者候補の 像を前記 作者の 像に選択する手段を備えるよ する。 オブジ ク を最初に 作した 作者候補が操作者になる。

他に、 前記 画像が複数の なる角度から同時に撮影されたステレオ である場合には、 ステレオ 像を構成する複数の 像のそれぞれで前記オブ クト 像に最も近 位置に表示される 作者候補の 像を前記 作者の に選択する手段を備えるようにする。 オブジ クト 像に最も近い位置に表 される 作者候補が操作者になる。

他に、 前記オブジ クト 段を、 操作者候補の に対応して複数 オブジ クト 像を生成するように構成して、 前記 、 作 候補の 像に対して、 対応するオブジ クト 像を当 作者候補の手の画 が届く 囲に表示されるように・ 数のオブジ クト 像と前記 像とを合成するように構成してもよい。 この 合、 複数のオブジ クト 像 ずれか一つが操作された場合に、 オブジ クト 像に対応する 作者 補の 像を前記 作者の 像に選択する。 初に、 自分に割り当てられたオ ジ クト 像を操作した者が操作者となる。

数の 作者候補から操作者が選ばれると、 前記 御手段は、 デジタル 前記 画像を撮影するための 置を制御して、 選択された 者候補の 像を、 ズ ム、 バン、 又は により、 画面の ん中に きく表示されるようにして、 操作者を明確にするようにしてもよい。

、 また、 以下のような画像 理方法を提供する。 この 理方法 、 操作者の 像をその 部に含んだ 画像と、 所定のイベントに関連づ されたオブジ ク についてのオブジ クト 像とを含んだ 像を生成 る画像 段と、 前記 画像に含まれる前記 作者の 像の 置を検 する検出 段とを有し、 生成された 像を所定のディスプレイ 置に表 させる画像 理装置により実行される方法であって、 前記 段が、 段により検出された前記 作者の 像の 置に応じて、 前記 作者 の手の画像が届く 囲に前記オブジ クト 像が表示されるように前記オブジ クト 像と前記 画像とを合成する。

、 また、 以下のようなコンピ プログラムを提供する。 この ンピ プログラムは、 ディスプレイ 置が接続されたコンピ に、 所 定のイベントに関連づけされたオブジ ク についてのオブジ クト 像を生 成するオブジ クト 段、 操作者の 像をその 部に含んだ 画 像に前記オブジ クト 像を合成して合成 像を生成する画像 段、 生成 された 像を所定のディスプレイ 置に表示させる表示 御手段、 前記 面 画像に含まれる前記 作者の 像の 置を検出する検出 段、 を形成させ、 前記 段に、 前記 段により検出された前記 作者の 像の 置 に応じて、 前記 作者の手の画像が届く 囲に前記オブジ クト 像が表示さ れるように、 前記オブジ クト 像と前記 画像とを合成する機能を形成 させるためのコンピ プログラムである。

、 また、 以下のような 導体 バイスを提供する。 この 導体 バ イスは、 ディスプレイ 置が接続されたコンピ に された装置に組み 込まれることにより、 前記コンピ に、 所定のイベントに関連づけされた オブジ ク につ てのオブジ クト 像を生成するオブジ クト

段、 操作者の 像をその 部に含んだ 画像に前記オブジ クト 像を合 して合成 像を生成する画像 段、 生成された 像を所定のディス プレイ 置に表示させる表示 御手段、 前記 画像に含まれる前記 作者 の 像の 置を検出する検出 段、 を形成させ、 前記 段に、 前記 段により検出された前記 作者の 像の 置に応じて、 前記 作者の手の 画像が届く 囲に前記オブジ クト 像が表示されるように、 前記オブジ ク 像と前記 画像とを合成する機能を形成させる。

上の説明から明らかなように、 明によれば、 動画像を入カインタフ として いた場合の 定を、 容易に行うことができるようになる。 面の 単な説明 、 明を適用した画像 システムの 体構成 である。

は、 本実施 態による画像 理装置の である。

、 本実施 態の 理装置が具備する機能ブロック図である。

は、 本実施 態の 順を示すフロ チヤ トである。

は、 カ 像が合成された 画像の である。

は、 帯状の カ 像が合成された 画像の である。

、 メニ 像の 域を表す である。

は、 動き画像 ップの である。

は、 カラ ップの である。

０は、 メニ 像を提示したときの 像の である。

は、 操作者を決定したときの 像の である。

2は、 ステレオ 像の 像の である。

3は、 ステレオ 像の 像の である。

4は、 操作者の きに応じてオブジ 像を表示したときの であ 。 明 実施するための 良の

、 本 明の 態を詳細に説明する。

、 明を適用した画像 システムの を示した図である。 こ システムは、 撮影 置の 例であるアナログ又はデジタルのビ デオ メラ 、 画像 理装置 2、 ディスプレイ 3、 ビデオカメラ を有して構成される。 システムは、 ディスプレイ 3 対 する 作者候補をビデオカメラ で撮影し、 これにより得られた動画像を画像 理装置 2に に連続に取り込んで 画像を生成するとともに、 の 画像と、 メニ カ ソル等のオブジ についてのオブジ 像とを合成して合成 像 れも動画像となる ) を生成し、 この 像 を スプレイ 3上にリアルタイムに表示させるものである。 オブジ 、 画像 の 作者候補が操作 能な 囲に表示されるように合 成さ る。 オ ジ クトには所定の 理が対応 けられて 、 操作者候補から選択さ れた 作者によりオブジ クト 像が操作されると、 当する イベント ) が実 されるようになっている。

画像は、 ビデオカメラ から取り込んだ 画像を画像 理装置 2で ( 像の することにより 成することができるが、 ビデ オカ ラ の前に鏡を置き、 操作者候補を映した 面の 画像をビデオカメラ で 影することによって 画像を生成するようにしてもよ 。 また、 ビ デオ メラ が鏡面 画像を生成するような機能を予防備えていてもよい。 い ずれ しても、 スプレイ 3上には、 操作者の きに応じてその 態がリアルタイムに変化する 画像とオブジ クト 像との 像が表 示さ るようにする。

な 、 ビデオカメラ を制御するためのビデオカメラ 4は、 画像 理装 4からの 示により、 ビデオカメラ にズ ム、 パン、 チルト等の動作 をさ るものであるが、 ビデオカメラ いは 理装置 Z されてい てもよ 。

理装置 2は、 コンピ プログラムにより所要の 能を形成するコ ンピ 夕により実現される。

こ 態によるコンピ は、 例えば 2にそのハ ドウエア 成を 示すように、 それぞれ 有の 能を有する複数の 導体 バイスが接続された メイ バス B バス B 2の 2本の を有している。 これらのバス B 、 B 2 、 バスインタフ ス を介して いに接続され又は切り離される よう なっている。

メ ンバス B には、 たる半導体 バイスであるメイン C ０と、 R A M 構成されるメインメモリ と メイン M r t y n t o r M P G v n g P t u r E x p r t r u p デコ ダ ( M D E 3と、 画用メモリとなるフレ ムメモリ 5を内蔵する 理 装置 r a p h r n g U n t、 以下 G P ) 4が接続される。 G P 4 は、 フレ ムメモリ 5に描画されたデータをディスプレイ 3で表 示で るようにするためのビデオ 号を生成する C R C n t r r ) 6が接続される。

メイン C P ０は、 コンピ の 動時に バス B 2上の R O M 2 3 から、 バスインタフ ス を介して起動プログラムを読み込み、 その プログラムを実行してオペレ ティングシステムを動作させる。 また、 メデ ドライブ 2 7を制御するとともに、 このメディアドライブ 2 7 着され たメディア 2 8からアプリケ ションプログラム デ タを読み出し、 これを メインメモリ に記憶させる。 さらに、 メディア 2 8から読み出した各種デ タ、 例えば 数の 本図形 ポリゴン ) で構成された 3 オブジ クトデ タ ポリ の の 標値など ) して オブジ ク の や動き等を表現するための メトリ ( 標値 算処理 を行い、 そし て、 メトリ 理による ゴン ( 用する の 状及びそ の 置、 ポリ を構成する素材の 類、 色調 質感 の ) をその 容とするディスプレイリストを生成する。

G P 4は、 コンテクスト ポリゴン 材を含む 画用のデ タ を 持しており、 メイン P ０から通知されるディスプレイリストに従って 必要な コンテクストを読み出してレンダリング ( を行 、 フレ ムメモリ h を描画する機能を有する半導体 バイスである フレ ムメモリ 5は、 これをテクスチヤメモリとしても使用できる。 そのた め フレ ムメモリ上の クセルイメ ジをテクスチヤとして、 画する

に 付けることができる。

メイン A は、 メインバス 続されている 路を対象とし て M A 御を行うとともに、 バスインタフ ス の 態に応じて、 サブバス B 2に接続されている 路を対象として D A 御を行う 導 体 バイスであり、 M E C 3 、 メイン P ０ 並列に動作し、 P G ( v n g t u r E x p r t r u p あるい n t h t g r a p h x p e r t r u p で圧縮されたデ タを伸張する機能を有 する半導体 バイスである。

サブバス B 2には、 イクロプロセッサなどで構成される P 2 0 R A Mで構成される 2 、 サブ A C 2 2、 オペレ ティングシ ステムなどの プログラムが記憶されている R 2 3、 サウンドメ 2 Z 積 れた デ タを読み出してオ ディオ として出力する音声 理 用 導体 バイス ( S P u n r n g n t ) ) 2 4、 しないネッ トワ ク 介して外部 情報の 受信を行う通信 ( A M ) 2 6 C D R や V R O などのメディア 2 8を装着するためのメディア ドライブ 2 7 び入力 3 が接続されている。

サブ C 2０は、 R O 2 3に記憶されている制御プログラムに従って各 種 作を う。 サブ A C 2 2は、 バスインタフ ス がメインバス B バス 2を切り離している状態においてのみ、 サブバス B 2に接続 されている 路を対象とし A 送などの 御を行う 導体 バイスで ある。 3 は、 操作 3 5からの 号が入力される 3 2 ビデオカ ラ からの 号が入力される 3 3、 ビデオカメラ からの 号が入力される 3 4を備える。

なお、 明細書では、 画像についてのみ 明を行い、 便宜上、 音声について の 省略する。

このように構成されるコンピ は、 メイン P ０、 サブ C P 2 0 P が、 R O M 2 3 メディア 2 8等の記 体から所要のコンピ プロ ラムを読み込んで実行することにより、 画像 理装置 2として動作 するうえ 必要な機能ブロッ 、 すなわち 3に示す、 画像 ０ 、 転部 2、 オブジ クトデ タ ０3、 オブジ トデ タ ０4、 オブジ ０5、 画像 0 6、 画像 ０ T、 表 ０8、 作者 ０9を形成する。

2 した ドウエアとの 係でほ、 画像 ０ は入力 3 びその 作を制御する C P 2０により 成され、 画像 転部 ０2 ブジ クトデ タ ０4、 オブジ ０5、 画像 ０7 作者 ０9 メイン P ０により 成され、 画像 ０ は P 4により 成され、 表示 ０8は P 4と C R C 6との により 成される。 オブジ ０3 、 メイン ０が セス 能な ・ えばメインメモリ に ０

れる。

０ 、 ビデオカメラ により 影された 像を入力 3 3 3を介して取り込む。 力される 像がデジタル 像の 、 そのまま り込む。 力される 像がアナログ 像の 、 A 換を行ってデジタル 像に変換して取り込む。

転部 ０ は、 画像 ０ により取り込んだ 像を 理、 すなわち 理して 画像を生成する。 なお、 ビデオカメラ による 影を、 ビデオカメラ の前に鏡を置いて行う場合、 はビデオカメ ラ に 像を生成するような機能が わって る場合のように、 画像 n 2に入力される 像が既に 画像となっている場合には、 画像 転部 2は不要になる。

オブジ トデ タ ０3は、 メニ (サブメニ を含む ) カ ソル オブジ 像を表現するためのオブジ トデ タをそ の 共に保持する。

オブジ トデ タ ０ は、 オブジ トデ タ ０3から オ ジ トデ タを取り込んで、 オブジ ０5 送る。 オブジ ０5は、 オブジ クトデ タ 4より取 り込んだオブジ トデ タに基づいてオブジ 像を生成する。 オブジ ０5は、 プログラム たほ 作者による 作に基づいて g ブ の 態を決定し、 その 態を実現するためのオブジ

像を生成する。

０6は、 画像とオブジ ０5により 成 れるオブジ 像とを合成した 像をフレ ムメモリ 5 画 する。 なお、 オブジ 像を合成して合成 像を生成するほかに、 25 イ ポ ズ 理により、 画像上にオブジ 像を表示するよ にし てもよい。

1 ０7は、 画像を フレ ム毎に比較して、 前後のフレ ム 画像 の 像を生成する。 また 画像 ０7 、 画像を フレ ム毎に比較して、 フレーム間で 画像の 域の色の変化 を検出する。

、 画像に含まれる 作者 は操作者候補 ) のフレ ム毎 の動きの 化 表す画像である。 えば、 2つの 画像 、 操作者 ( は操作者候補 が動いたときの、 動く前の操作者 又は操作者候補 ) の 像と いた後の操 者 (又は操作者候補 ) の 像との なる部分からなる画像であ る。 この 像を ねることで、 操作者 ( は操作者候補 の 、 その 度がね るようになる。 この 度に応じてオブジ クト 像をどの 置 に表示させる を決めることができる。

画像 域の色の変化を検出することで、 操作者 又は操作者候補 が動いたこと わかる。 えば、 服の前に手をかざすと、 画面上、 手をかざし た部分の色が服の色から手の色に変わる。 これにより、 色の変化で手が服の前 にかざされたことがわかる。

これらの 者 Xは操作者候補 ) の きの 度、 色の変化が、 オブジ ク ト 像を 画像のどの 域に合成するかを決める要因になる。

作者 ０9 、 画像 の 作者候補の顔の位置、 大きさ等を 検出するもの あり、 例えば、 既知の センシング 術を用いて・ 作者候補 の顔の位置、 きさ等を検出する。 センシング 術にほ、 例えば、 サポ ト ベタタ マシ S V 、 ブ スティング b n g 、 ニ ラルネットワ タ、 固有 E g a n F a などを用 ることができる。 また、 操作者 部 9は、 数の 作者候補から 人の 作者を選択するものである。 作 者の 、 えば 作者候補がメニ などのオブジ クト 像を操作した ときに決まる

０8 、 画像 ０6で生成された 像をビデオ 号 に変換してデ スプレイ 3に出力する。 また、 表示 ０8は、 操作 者 ０9により選択された 作者に対してズ ム、 パン、 チルト等を行 ものである ズ ム パン、 チルト等は、 フレ ムメ りに描画された画像 に対してデジ ル 理により行ってもよいし、 ビデオカメラ 4により、 ビデオカメラ のズ ム、 バン、 チルト等を行わせるよ にしてもよい。

ディスプレ 3 、 この ０8からのビデオ 号により、 2

上に合成 画像 を表示させる。

理 法

次に、 上 のような画像 システムにより行われる画像 理方法の を説明する 4は、 記の システムを用いた 明の 理方法の 順を説 明するため フロ チヤ トである。

ディスプ イ 3には、 に示すように、 2人の操作者候補を含む 画像が映 出されて るものとする。 なお、 説明の 上ディスプレイ 3 し出 れる 作者候補の数を 2 としたが、 これは更に多くの 数でも よく、 また 人でもよい。 人の場合には、 その 作者候補が操作者となる。

画像は、 ビデオカメラ で撮影された動画像が、 画像 理装置 2に入 力され、 画像 転部 ０2 より画像が左右 転されることで生成される。

転した 像がディスプレイ 置に表示されることで、 のような 像が映し される。

理装置 2は、 操作者 ０9により 画像から センシング 術を用い 作者候補の顔の位置を検出して、 検出した位置を 形の カ 5 で囲う ステッ S ０ 。 カ 5 もオブジ 像の 種であり、 画像 ０6は、 操作者 ０9 こより 者候補の顔 位置が検出されると、 オブジ クト ０5、 オブジ トデ タ 4を介してオブジ トデ タ ０3から カ 5 5 2のオブジ 像を取得し、 これを 画像の 当する 置に合成する。 ０8は、 この カ 5 が合成された 画像 スプレイ 3に表示させる 5

なお、 ーカ 5 は、 形の他に、 6 すような 状として、 操作者候補 アバンドをしているように表示してもよい。

いで操 者 ０9は、 ーカ 5 に基づいて 画 像から操作 候補の 域を選択する (ステップ S ０2 )。 域を選択する ことで、 7のようなメニ 像の 域が決められる。 7の例で 3

は、 メニ 像の 域が、 域の 決められるよ にな って る。 域内の 、 メニ 像が提示される優先 を表し ており、 域の (胸の辺 ) の 優先 であり、 域 の 側近傍の 、 優先 2 で右手で操作できる 域である。 域の左側近傍の 、 優先 3 で左手で操作できる 域であり、 域の 部の 、 優先 4 で左右どちらの手でも 作できる 域 である。 2つの 域の 間の 、 優先 5 でどちらの 作者候 補も 作できる 域である。

、 優先 に応じてどの 作者候補でも同じ きさに設定す るようにしてもよ が、 7では、 操作 補者 異なる大きさで設定してい る。 7では、 左側の 作者候補が右側の 作者候補よりも大きく表示されて いるので、 左側の 作者候補に対する提示 域が、 右側の 作者候補の よりも大きく設定されている。 つまり、 提示 域の きさは、 操作者候補の 域の きさに応じて変えるようにしてある。 作者候補の 、 操作者 ０ g より顔の大きさを検出することで知ることがで きる。

０6は、 これらのメニ 像の 域の中から実際に メニ 像を提示する 域を選択する ステップ S ０3 。 域の 、 例えば、 画像 ０7により検出される、 画像の 部分におけ 作者候補の 度、 画像の 域の色の変化に応じて行うことが できる。 域のうち、 操作者候補の きの 度、 色の変化により 作 者候補が最も操作しやすい領域を選択する。 この 域がメニ 像を提示す る 域となる。

のように、 操作者候補の きの 像を重ねることで検出する ことができる。 8は、 像を重ねて得られる動き画像 ップの で ある。 このような動き画像 ップにより、 操作者候補の きの 度が な領域 と 領域とがわかる。 8の例では、 手の頻繁に動く 域が、 動きが な領 域とし 斜線で表されて る。

色の変化は、 9に示すようなカラ ップを用いることで知ることが 4

できる。 9のカ ー ップは、 顔の色と同じ色が占める 域を斜線で示 しており、 斜線の 域以外で、 顔の色と同じ色を検出することで、 操作者候補 が動いたことを検 できる。 カラ ップは、 例えば、 センシング 術 により 作者の顔 位置を検出する際に、 顔の色を検出しておき、 検出した の と同系統の色 領域を 画像から検出することで生成することができ る。

メニ 像の 域が選択されると、 画像 6は、 画像 の 域に ニ 像を合成した 像を生成する。 ０8 は、 ディスプレイ 3に生成された 像を表示させる (ステップ S ０ 4 。 ０は、 メ 像を提示したときの、 ディスプレイ 3に表示さ れる画像の ある。 この例でほ、 2人の操作者候補のそれぞれ顔の近 、 優先 2 " の に、 メニ 像が提示されている。

０では 2つ メニ 像の きさを同じにしているが、 操作者候補ご とに異なる大きさ 提示するよ にしてもよい。 えば、 ディスプレイ 3 に映し出される 者候補の きさに応じてメニ 像の きさを変える。 きく し出され 作者候補の ほど大きく設定されるので、 提 示 域から選 される提示 域も、 大きく し出される 作者候補ほど大 きくなる。 の きさに合わ メニ 像を提示するよ にすれば、 大きく し出され 作者候補ほどメニ 像を大きく 示することができ 。

2人の操作者候 の 方が手を動かし、 合成 上で当 作者候補の手が メニ 像に触 る、 ほ すると、 操作者 9により 作者候補が操作者 して選択される ステップ S ０5 。 これにより実際に 作を行 作者が まる。

際に 作を行う 作者が決まると、 表示 ０8は、 示すよ に、 選択した 者を拡大して、 画面 央に表示する ステップ S ０6 ) また、 メニ 操作者に 作されているので、 その t 、 t 、 e c t のいずれかを表す ルダウン 像が表示される。

このよ にして 操作者候補の メニ 像を表示することが可能に 5

なり、 操作のための 雑な 定が不要になる。 また、 複数の 作者候補か ら実際に 作を行う 作者を選択することも容易に可能になる。

2

では、 先にメニ 像を操作した 作者候補を実際に 作を行う 作者として選択しているが、 以下のようにステレオ ッチングの 法を利用 して実際 作を行う 作者を選択するようにしてもよい。 2で 、 ビ デオカメラ を 2 意するなどして、 2つの 画像を用意する。 2 3は 2 の 画像にそれぞれメニ 像を合成した 像の である。

2つの 画像は、 例えば 用及び ステレオ 像である。

2、 3 例では、 2が 、 3が 像である。 作者 ０9は、 これらの 2つの 像を 較して、 メニ 像により近 い方の操 者候補を操作者として選択する。 の例では、 いずれも 左側の 作者候補がメニ 像に近いために、 左側を実際に する 作者 とする。

上のように、 いずれの においてもメニ 像を操作者 又は操作 者候補 ) が操作しやす 領域に 易に表示することができるので、 画像 を用いた カインタフ スにおける複雑な 定などが不要となる。 また、 複数の 作者候補から 人を選択することができ、 複数の 物が鏡面

に表 される場合でも、 初期 定が困難になったり、 複数の 作者が同時 に入力を うことがな ようにすることができる。

また、 8のような動き画像 ップ 9のようなカラ ップを用い て、 メニ 像以外のオブジ クト 像を表示する 域を決めることもでき る。

の りこれらの ップは、 操作者の きを定量的に表すことができる。 き画像 ップは、 操作者の きが多い領域、 少ない領域、 まったく動きのな い領域を すことができる。 示される 像が多 領域が操作者の きが 多い領域 差 像が少な 領域が操作者の きが少な 領域、 差 像がま ったくな 領域が操作者の きがまったくない領域である。 6

カラ マップは、 色の変化により 作者の きを表すことができる。 えば フレ ム両 フレ ムの 面上の各 域の 、 現在のフレ ムの 面 の 域の色を比較することで、 色が変化して る 域を見つけることができ る。 まったく異なる色に変化している場合には操作者の きがあったと判断で きる。

4は、 操作者の きに応じてオブジ クト 像を表示したときの である。

4では、 操作者の他にべ 4 ボタン 4 2とが表示され ている。 作者が に触れると、 例えば が鳴る等のイベント が発生するよ になっている。 ポタン 4 2を れた場合にほ、 ポタン 像に関連づけされ イベントが発生するようになっている。

ベル 4 、 操作者の きの 度が少ない領域に表示される。 き画 像 ップにより、 操作者の きの 度がわかるので、 画像 ０6は、 こ れに応じて 度が少な 領域を選択して、 その 域にべ 4 が表示さ れるように合成 像を生成する。

ボタン 4 は、 色の変化が大き 領域に表示される。 カラ ッ プでは色の変化を検出できるため、 画像 6は、 これに応じて色の変 化が大きい領域を選択して、 その 域にポタン 4 2が表示されるように 合成 像を生成する。

このように、 オ ジ クト 像を操作者の 作に応じて配置することも容易 に可能になる。

Claims

7

求 の ・ 定の ベントに関連づけされたオブジ についてのオブジ 像を生成するオブジ クト 段と、 操作者の 像をその 部に含ん 画像 前記オブジ 像を合成して合成 像を生成する画像 段を有し、 の 像を所定のディスプレイ 置に表示させる画像 理装 置であって、

前記 像に含まれる前記 作者の 像の 置を検出する検出 段を備 、

、

前記 段により検出された前記 作者の 像の 置に応じて、 前記 作 者の手の画像 届く 域に前記オブジ クト 像が表示されるように、 前記オ ブジ 像と前記 画像とを合成するように構成されている、 画像 理装 。

2・ 定の 置により 影された前記 作者の 像をその 部に含む 画像を、 この 置から取り込む 段と、

取り込んだ 画像に 理を施して前記 画像を生成する画像 転手 段と、 をさら 備えている、

の 載の 理装置。

3・ 、 前記 作者の 像から 作者の顔の位置を検出す るよ に構成 れており、

前記 、 検出された顔の位置に応じた 域に前記オブジ 像が表示さ るように、 前記オブジ 像と前記 画像とを合成す るように構成 れている、

求の 載の 理装置。

4・ さらに前記 作者の 像の きさを検出するように構 成されており

前記 、 検出された前記 作者の 像の きさに応じた大きさ に前記オブジ クト 像が表示されるように、 前記オブジ 像と前記 8

画像とを合成するように構成されている、

請求の 載の 理装置。

5 、

記 段により検出された前記 作者の 像の 置に、 作者が検 されたことを示す カを表す画像を合成するように構成される、 請求の 載の 理装置。

6 画像のフレ ム間の画像の 表す 像を、 複数 ね た き画像 ップを生成する手段をさらに備えており、

記 、 この き画像 ップにより得られる前記 作者の の きに応じて、 前記オブジ 像を合成する 域を決めるように構成さ れ る、

請求の 載の 理装置。

7 画像のフレ ム間で各 域の色の変化を検出する手段を備え て り、

、 この色の変化でにより得られる前記 作者の 像の きに応じて、 前記オブジ 像を合成する 域を決めるように構成されて いる、

請求の 載の 理装置。

8 作者になり得る複数の 作者候補の 像が前記 画像に含まれて いる場合に、

記 、 複数の 作者候補のそれぞれについて 作者候補の 像 置を検出するように構成されており、

記 、 前記 段により検出された 数の 作者候補 の 像の に位置に応じて、 前記オブジ クト 像が複数の 作者候補の の 像が届く 囲に表示されるように、 前記オブジ 像と前記 画 像とを合成するように構成されている、

請求の 載の 理装置。

9・ オブジ 像が操作された場合に、 オブジ 像を操 作した 作者候補の 像を前記 作者の 像に選択する手段と 9

択さ た 作者候補の 像をズ ム、 パン、 又は する表示 御手段と をさらに備えている、

請求の 8 載の 理装置。

０・ 画像が複数の なる角度から同時に撮影されたステレオ 像である場合に、

ステレ 像を構成する複数の 像のそれぞれで前記オブジ 像に最 も近い位 に表示される 作者候補の 像を前記 作者の 像に選択する手段 と、

選択さ た 作者候補の 像をズ ム、 バン、 又は する表示 手段と をさらに備えて る、

請求の 8 載の 理装置。

・ オブジ 、 操作者候補の に対応して複数 のオブジ 像を生成するように構成されており、

前記 、 作者候補の 像に対して、 対応するオブジ 像を当 作者候補の手の画像が届く 囲に表示されるように、 前記 数の オブジ 像と前記 画像とを合成するように構成されている、

の 8 載の 理装置。

2・ 数のオブジ 像のいずれか つが操作された場合に、 オ ブジ ク 像に対応する 作者候補の 像を前記 作者の 像に選択する 、

選択さ た 作者候補の 像をズ ム、 パン、 又は する表示 御手段と、 をさらに備えている、

請求の 載の 理装置。

3・ 御手段は、 選択された 作者候補の 像のズ ム、 バン、 をデジタル 理により行うように構成されている、 請求の 9 、 ０ または 2 載の 理装置。

4・ 御手段は、 選択された 作者候補の 像のズ ム、 バン、 を、 前記 画像を撮影するための 置を制御して行 わせるように構成されている、 2０

求の 9 、 ０ または 2 載の 理装置。

5・ 作者の 像をその 部に含んだ 画像と、 所定のイベントに関 連づけされたオブジ についてのオブジ 像とを含んだ 像を 生成する画像 段と、 前記 画像に含まれる前記 作者の 像の を検出する検出 段とを有し、 生成された 像を所定のディスプレイ 置 に表示させる画像 理装置により実行される方法であって、

前記 段が、

前記 段により検出された前記 作者の 像の 置に応じて、 前記 作 者の手の画像が届く 囲に前記オブジ 像が表示されるように前記オブ ジ クト 像と前記 画像とを合成する、

画像 理方法。

6・ ディスプレイ 置が接続されたコンピ に、

所定のイベントに関連づけされたオブジ についてのオブジ 像 を生成するオブジ 段、

作者の 像をその 部に含んだ 画像に前記 像を合成 して合成 像を生成する画像 段、

生成された 像を所定のディスプレイ 置に表示させる表示 御手段、 前記 画像に含まれる前記 作者の 像の 置を検出する検出 段、 を 形成させ、

段に、

前記 段により検出された前記 作者の 像の 置に応じて、 前記 作 者の手の画像が届く 囲に前記オブジ 像が表示されるように、 前記オ ブジ 像と前記 画像とを合成する機能を形成させるためのコンピ プログラム。

・ 求の 6項に記載されたコンピ プログラムを記録して なる コンピ ータ み取り可能な記録 。

8・ ディスプレイ 置が接続されたコンピ に された装置に組み 込まれることにより、 前記コンピ ー に、

所定のイベントに関連づけされたオブジ についてのオブジ 2

を生成するオブジ 段

操作者の 像をその 部に含んだ 画像に前記オブジ 像を合成 して合成 像を生成する画像 段、

生成された 像を所定のディスプレイ 置に表示させる表示 御手段、 画像に含まれる前記 作者の 像の 置を検出する検出 段、 を 成させ、

前記 、

前記 段により検出された前記 作者の 像の 置に応じて、 前記 作者 手の画像が届く 囲に前記オブジ クト 像が表示されるよ に、 前記オブジ 像と前記 画像とを合成する機能を形成させる半導体 バイス。