WO2002031773A1

WO2002031773A1 - Image processing apparatus, image processing method, record medium, computer program, and semiconductor device

Info

Publication number: WO2002031773A1
Application number: PCT/JP2001/008762
Authority: WO
Inventors: Akio Ohba
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2000-10-06
Filing date: 2001-10-04
Publication date: 2002-04-18
Anticipated expiration: 2003-04-06
Also published as: CA2392725A1; JP3725460B2; KR100845390B1; CN1393003A; JP2002196855A; EP1324269A4; US20070013718A1; US7176945B2; US20020097247A1; EP1324269A1; BR0107310A; EP1324269B1; KR20020059844A; US20040233224A1; TWI231445B; CN1279761C; US6771277B2; MXPA02005288A; AU9418701A

Description

明細 ^; 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス技術分野

本発明は、ビデオカメラなどの撮影装置により撮影された撮影画像を、コマンド等の入カインタフェースとして利用するための画像処理技術に関する。背景技術

コンピュータ、ビデオゲーム機などによく用いられる入力装置として、キーボード、マウス、コントローラ等がある。操作者は、これらの入力装置を操作することにより所望のコマンドを入力して、入力されたコマンドに応じた処理をコンピュータ等に行わせる。そして操作者は、処理結果として得られた画像、音などを、ディスプレイ装置やスピーカにより視聴する。

操作者は、入力装置に備えられる多くのボタンを操作したり、ディスプレイ装置に表示されたカーソルなどを見ながら操作することにより、コマンドの入力を行うこととなる。

このような操作は、操作者の慣れに依存する部分が大きい。例えばキーポ一ドを全く触ったことのない者にとって、キーボードを用いて所望のコマンドを入力することは面倒な操作であり、入力に時間がかかったり、キ一ボードの打ち間違いによる入力ミスを起こしやすい。そのために、操作者が操作しやすいマンマシンィンタフェースに対する要望がある。

一方、マルチメディア技術の発達により、ビデオカメラにより撮影した撮影画像を、コンピュータなどに取り込んで編集し、これをディスプレイ装置に表示して楽しむことが、一般の家庭でも手軽に行えるようになっている。また、顔などの身体の撮影画像を解析して特徴部分を抽出し、個人の特定を行うなどの個人認証にも用いられている。

従来、このような撮影画像は、編集又は解析といった、コンピュータによって処理されるための情報として用いられている。しかし、撮影画像が、例えばコンピュータにコマンドを入力するといつた目的で用いられることはなかった。

本発明の目的は、撮影装置等により撮影された撮影画像をコマンド等を入力するための入カイン夕フェースとして利用するための画像処理技術を提供することにある。発明の開示

本発明の画像処理装置は、動きのある夕一ゲットをその一部に含む鏡面動画像を取り込む画像取込手段と、所定のオブジェクトを表すオブジェクト画像を、前記画像取込手段で取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成する画像生成手段と、この画像生成手段で生成したオブジェク卜画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させる制御手段とを備えてなる。

「ターゲット」とは、例えば画像処理装置に画像を供給する撮影装置による撮影対象体（人物又は物体等）のうち注目する部分をいう。

本発明の他の画像処理装置は、動きのあるターゲットをその一部に含む鏡面動画像を取り込む画像取込手段と、現時点の鏡面動画像と直前の鏡面動画像との間の画像特徴を検出することにより前記ターゲット及びその動き成分を検出する検出手段と、所定のオブジェクトを表すオブジェクト画像を、前記検出手段で検出されたターゲットの動き成分に応じて変化するように生成する画像生成手段と、この画像生成手段で生成したオブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させる制御手段とを備える。

これらの画像処理装置は、鏡面動画像に含まれる夕ーゲットの動きに応じて、オブジェクト画像を生成する。つまり、ターゲットの動きにより、ディスプレイ装置に表示されるオブジェクト画像の動きや色、形、ォブジェクト画像が複数ある場合にはどのオブジェクト画像を表示するか等が決められる。例えば、ターゲットが操作者である場合には、操作者の動作に応じてオブジェクトが決まることになる。このように、鏡面動画像を入力ィンタフェースの一種として利用可能となる。

これらの画像処理装置において、前記画像生成手段が、前記検出された夕一ゲットの動きに追従するように前記オブジェクト画像を生成するようにしてもよい。

また、前記ターゲットの動き成分に応じて、前記生成されたォブジェクト画像に基づく所要の処理の実行準備を行う手段をさらに備えるようにしてもよい。

前記画像生成手段で生成されたォブジェクト画像と前記現時点の鏡面動画像とが合成された合成画像と、前記直前の鏡面動画像に含まれる夕一ゲットの部分の画像であるテンプレート画像と、を比較して、前記テンプレ ―ト画像と画像特徴が最も類似する前記合成画像の部分の画像を検出すると共に、この検出した前記合成画像の前記部分の画像に前記オブジェクト画像が含まれているときに、こ ωオブジェクト画像に基づく所要の処理の実行準備を行う手段をさらに備えるようにしてもよい。

前記オブジェクト画像を所定の処理に対応付けしておき、前記検出手段で検出された前記ターゲッ卜の動き成分が所定の条件を満たすときに前記オブジェクト画像に対応付けされた前記処理を実行する手段をさらに備えるようにすると、ターゲットの動きに応じて、処理の実行が可能となる。また、鏡面動画像に含まれる前記ターゲットを複数とし、前記検出手段を、前記複数のターゲットの各々についてその動き成分を検出して、検出した前記複数のターゲットの各々の動き成分に基づいて一のターゲットを検出するように構成し、前記画像生成手段を、前記オブジェクト画像を、前記検出手段で検出された前記一のターゲットの前記動き成分に応じて変化するように生成するように構成してもよい。

本発明は、また、以下のような画像処理方法を提供する。この画像処理方法は、動きのある夕一ゲットをその一部に含む鏡面動画像を画像処理装置に取り込み、前記画像処理装置で、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれるターゲッ卜の動きに応じて生成するとともに、生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させることを特徴とする、画像処理方法である。

本発明は、また、以下のようなコンピュータプログラムを提供する。このコンピュータプログラムは、ディスプレイ装置が接続されたコンビュ一夕に、動きのある夕一ゲットをその一部に含む鏡面動画像を取り込む処理、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成する処理、生成した前記ォブジェクト画像を前記取り込んだ鏡面動画像と合成して前記ディスプレイ装置に表示させる処理、を実行させるためのコンピュータプログラムである。本発明は、また、以下のような半導体デバイスを提供する。この半導体デバイスは、ディスプレイ装置が接続されたコンピュータに搭載された装置に組み込まれることにより、前記コンピュータに、動きのあるターゲットをその一部に含む鏡面動画像を取り込む手段、所定のオブジェクトを表すォブジェクト画像を、前記取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成する手段、生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して前記ディスプレイ装置に表示させる手段、の機能を形成させる半導体デバイスである。図面の簡単な説明

第 1図は、本発明を適用した画像処理システムの全体構成図であり、第 2図は、本発明の実施形態による画像処理装置の構成図であり、第 3図は；本発明の実施形態の画像処理装置が具備する機能プロック図であり、

第 4図は、実施例 1の処理手順を示すフローチヤトであり、第 5図は、実施例 1の処理手順を示すフローチヤ一卜であり、第 6図は、実施例 1による合成画像を例示した図であり、

第 7図は、メニュー画像を例示した図であり、

第 8図は、実施例 2の処理手順を示すフローチャートであり、第 9図は、実施例 2による合成画像を例示した図であり、

第 1 0図は、再帰テクスチャによる描画の説明図であり、

第 1 1図は、実施例 3の処理手順を示すフローチャートであり、第 1 2図は、実施例 3の処理手順を示すフロ一チャートであり、第 1 3図は、実施例 3による合成画像を例示した図である。発明を実施するための最良の形態

以下、本発明の実施形態を、添付図面を参照しつつ、詳細に説明する。第 1図は、本発明を適用した画像処理システムの構成例を示した図である。 . .

この画像処理システムは、ディスプレイ装置 3に対座する操作者をアナログ又はデジタルのビデオカメラ 1で撮影し、これにより得られた動画像を画像処理装置 2に時系列的に連続に取り込んで鏡面動画像を生成するとともに、この鏡面動画像のうち、操作者の目、手などの注目対象部分（以下、注目対象部分を「ターゲット」と称する）が存在する部位にメニューやカーソル等のオブジェクトを表すオブジェクト画像を合成して合成画像 (これも動画像となる）を生成し、この合成画像をディスプレイ装置 3上にリアルタイムに表示させるものである。

鏡面動画像は、ビデオカメラ 1から取り込んだ動画像を画像処理装置 2 で鏡面処理（画像の左右反転処理）することにより生成することができるが、ビデオカメラ 1の前に鏡を置き、操作者を映した鏡面の動画像をビデォカメラ 1で撮影することによって鏡面動画像を生成するようにしてもよい。いずれにしても、ディスプレイ装置 3上には、ターゲットの動きに応じてその表示形態がリアルタイムに変化する合成画像が表示されるようにする。

画像処理装置 2は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。

この実施形態によるコンピュータは、例えば第 2図にそのハードウェア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバス B 1とサブバス B 2の 2本のバスを有している。これらのバス B l、 B 2は、バスインタフェース I NTを介して互いに接続され又は切り離されるようになつている。

メインバス B 1には、主たる半導体デバイスであるメイン C PU 1 0と、 RAMで構成されるメインメモリ 1 1と、メイン DM AC (Direct Memory Access Controller) 1 2と、 MPEG (Moving Picture Experts Group) 丁コーダ（MDEC) 1 3と、描画用メモリとなるフレームメモリ 1 5を内蔵する描画処理装置（Graphic Processing Unit、以下、「GPUj) 14が接続される。 GPU 14には、フレームメモリ 1 5に描画されたデータをディスプレイ装置 3で表示できるようにするためのビデォ信号を生成する CRTC (CRT Controller) 1 6が接続される。

メイン C PU 1 0は、コンピュータの起動時にサブバス B 2上の ROM 2 3から、バスインタフェース I NTを介して起動プログラムを読み込み、その起動プログラムを実行してォペレ一ティングシステムを動作させる。また、メディアドライブ 27を制御するとともに、このメディアドライブ 2 7に装着されたメディァ 28からアプリケーシヨンプログラムゃデ一夕を読み出し、これをメインメモリ 1 1に記憶させる。さらに、メディア 2 8から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された 3次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理 (座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報 (使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。

GPU14は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メイン CPU 10から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ 1 5にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ 15は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。

メイン DMAC 1 2は、メインパス B 1に接続されている各回路を対象として DMA転送制御を行うとともに、バスィン夕フェース I NTの状態に応じて、サブバス B 2に接続されている各回路を対象として DM A転送制御を行う半導体デバイスであり、 MDEC 1 3は、メイン CPU 1 0と並列に動作し、 MPEG (Moving Picture Experts Group) 方式あるいは J PEG (Joint Photographic Experts Group) 方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

サブバス B 2には、マイクロプロセッサなどで構成されるサブ C PU 2 0、 RAMで構成されるサブメモリ 2 1、サブ DMAC 22、オペレーティングシステムなどの制御プログラムが記憶されている ROM 23、サゥンドメモリ 25に蓄積された音デ一夕を読み出してオーディオ出力として出力する音声処理用半導体デバイス（S PU (Sound Processing Unit) ) 24、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ATM) 26、 CD— ROMや DVD— ROMなどのメディア 2 8を装着するためのメディアドライブ 27及び入力部 3 1が接続されている。

サブ CPU 20は、 ROM 2 3に記憶されている制御プログラムに従つて各種動作を行う。サブ DMAC 22は、バスインタフエ一ス I NTがメィンバス B 1とサブバス B 2を切り離している状態においてのみ、サブバス B 2に接続されている各回路を対象として DMA転送などの制御を行う半導体デバイスである。入力部 3 1は、操作装置 3 5からの入力信号が入力される接続端子 32、ビデオカメラ 1からの画像信号が入力される接続端子 33、及びビデオカメラ 1からの音声信号が入力される接続端子 34 を備える。

なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。

このように構成されるコンピュータは、メイン CPU 1 0、サブ CPU 2 0、 GPU 14が、 ROM 23及びメディア 28等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、画像処理装置 2として動作するうえで必要な機能ブロック、すなわち、第 3図に示すような、画像入力部 1 0 1、画像反転部 1 02、オブジェクトデータ記憶部 1 03、オブジェクトデ一夕入力部 1 04、オブジェクト制御部 1 0 5、重畳画像生成部 1 0 6、差分値検出部 1 07、表示制御部 1 08を形成する。

第 1図に示したハードウェアとの関係では、画像入力部 1 0 1は入力部 3 1及びその動作を制御するサブ CPU 20により形成され、画像反転部 1 02、オブジェクトデ一夕入力部 104、オブジェクト制御部 1 05及び差分値検出部 1 07はメイン CPU 1 0により形成され、重畳画像生成部 106は GPU 14により形成され、表示制御部 108は GPU14と CRTC 1 6との協働により形成される。オブジェクトデータ記憶部 1 0 3は、メイン C PU 10がアクセス可能なメモリ領域、例えばメインメモリ 1 1に形成される。

画像入力部 1 0 1は、ビデオカメラ 1により撮影された撮影画像を入力部 3 1の接続端子 3 3を介して取り込む。入力される撮影画像がデジタル画像の場合は、そのまま取り込む。入力される撮影画像がアナログ画像の場合は、 AZD変換を行ってデジタル画像に変換して取り込む。

画像反転部 1 02は、画像入力部 10 1により取り込んだ撮影画像を鏡面処理、すなわち左右反転処理して鏡面動画像を生成する。

オブジェクトデータ記憶部 1 03は、メニュー（サブメニューを含む）、マッチ棒、カーソル等のオブジェクトを表現するためのオブジェクトデー夕をその識別データと共に保持する。

オブジェクトデータ入力部 1 04は、オブジェクトデ一夕記憶部 1 0 3 から必要なオブジェクトデータを取り込んで、オブジェクト制御部 1 0 5 へ送る。取り込むべきオブジェクトデ一夕は、オブジェクト制御部 10 5 により指示される。

オブジェクト制御部 1 0 5は、指示内容に応じてオブジェクトデータ入力部 1 04より取り込んだオブジェクトデ一夕に基づいてオブジェクト画像を生成する。特に、オブジェクト制御部 1 0 5は、差分値検出部 1 0 7 から送られる差分値に基づいてオブジェクトの表示状態を決定し、その表示状態を実現するためのオブジェクト画像を生成する。差分値については後述する。

重畳画像生成部 1 0 6は、画像反転部 1 0 2から出力された鏡面動画像とォブジェクト制御部 1 0 5により生成されるォブジェクト画像とを重畳した合成画像をフレームメモリ 1 5に描画する。

なお、オブジェクト画像を重畳して合成画像を生成するほかに、公知のインポーズ処理により、鏡面動画像上にオブジェクト画像を表示するようにしてもよい。

差分値検出部 1 0 7は、重畳画像生成部 1 0 6により生成される合成画像のうち、鏡面動画像の画像特徴を 1フレーム毎に比較し、前後のフレ一ムの鏡面動画像間における画像特徴の差分値を導出する。また、差分値検出部 1 0 7は、必要に応じて、前後のフレームの鏡面動画像間の差分画像を生成する。

画像特徴の差分値は、鏡面動画像に含まれるターゲッ卜の動き成分のフレーム毎の変化を定量的に表す値となる。例えば、鏡面動画像内でターゲットが動いた距離や、動いた先の領域と動く前の領域との間の面積を表すことになる。

一つの鏡面動画像内に複数のターゲッ卜が含まれる場合には、画像特徴の差分値が各々の夕ーゲットの動きの変化を表すようになるので、この差分値を求めることにより、個々のターゲッ卜の動きの変化を定量的に求めることができる。

差分画像は、その時点における鏡面動画像に含まれる夕一ゲットのフレーム毎の動きの変化を表す画像となる。例えば、 2つの鏡面動画像間で夕ーゲッ卜が動いたときの、動く前の夕ーゲットの画像と動いた後の夕一ゲッ卜の画像とからなる画像である。

差分値及び差分画像を導出するために、差分値検出部 1 0 7は、ある鏡面動画像を他のフレームの鏡面動画像との間の「参照用画像」としてメインメモリ 1 1に記憶する。記憶しておく鏡面動画像は、 1フレーム分の鏡面動画像の全体でもよいが、画像特徴の差分値を導出できれば足りるので、夕一ゲットの部分のみであつてもよい。

以後の説明において、タ一ゲッ卜の部分の画像を他の部分の画像と区別する必要がある場合は、それを「テンプレート画像」という。

差分値検出部 1 0 7で検出した差分値は、オブジェクト制御部 1 0 5に送られ、オブジェクト画像の動きを制御するために用いられる。

表示制御部 1 0 8は、重畳画像生成部 1 0 6で生成された合成画像をビデォ信号に変換してディスプレイ装置 3に出力する。ディスプレイ装置 3 は、このビデオ信号により、画面上に合成画像（動画像）を表示させる。ぐ画像処理方法 >

次に、上記のような画像処理システムにより行われる画像処理方法の実施例を説明する。

[実施例 1 ]

ディスプレイ装置 3には、第 6図に示すように、ビデオカメラ 1により撮影され、鏡面処理された操作者の鏡面動画像に、オブジェクト画像の一例となるメニュー画像が重畳された合成画像が画像処理装置 2によって表示されているものとする。

ターゲットとしては、操作者の目、口、手など、種々のものを選定することができるが、ここでは、操作者の手をターゲットとし、メニュー画像が表示されている領域内における手の動き量を検出することによって、メニュ一画像に対する指示入力を行う場合の例を挙げる。

メニュー画像は第 7図に示すように階層的になっており、操作者によつて最上位層の「meim」が選択されると、その下位層の「selectl」、「select2」、「select3」のいずれかを表すプルダウン画像が表示され、プルダウン画像の中からいずれかが選択されると、選択されたブルダゥン画像の下位層のメニューの処理決定画像（例えば「処理 2 1」、「処理 2 2」、「処理 2 3」、「処理 2 4」）が表示されるようになっている。

処理決定画像は、決定した処理（イベント）をメイン C P U 1 0に実行させるためのプログラムと対応付けられてオブジェクトデ一タ記億部 1 0 3に記憶されており、ある処理決定画像が選択されると、それに対応付けられたプログラムが起動して、該当する処理（イベント）が実行されるようになっている。

このような動作を可能にするための画像処理装置 2による処理手順を第 4図及び第 5図に示す。

まず、第 4図を参照する。差分値検出部 1 0 7は、鏡面動画像が次のフレームのものに更新され、それによつて重畳画像生成部 1 0 6により生成される合成画像が更新されると（ステップ S 1 0 1 )、更新する前後の合成画像に含まれる鏡面動画像の画像特徴を比較し、その差分値を算出する (ステップ S 1 0 2 )。ここで算出される差分値は、メニュー画像が表示されている領域内における操作者の 1回の手の動きを表す値である。算出された差分値はメインメモリ 1 1に記録され、一定期間累積加算される（ステツプ S 1 0 3 )。差分値を累積加算するのは、操作者による複数回の手の動きによって操作者の操作指示の意志を画像処理装置 2において検知するためである。 1回の手の動き量によって操作者の操作指示の意志を確認できる場合は、必ずしも累積加算を行う必要はない。

差分値検出部 1 0 7は、差分値（累積値）をォブジェクト制御部 1 0 5 へ送る。

オブジェクト制御部 1 0 5は、差分値検出部 1 0 7から受け取った差分値（累積値）に応じてメニュー画像の色を決定する（ステップ S 1 0 4 )。例えばメニュ一画像の色を複数色用意しておき、手の動きが検出されるたびにその色を逐次変えていく。透明から半透明、不透明のように変えるようにしてもよい。また、現時点での差分値（累積値）を予め定められているしきい値と比較し（ステップ S 1 0 5 )、累積値がしきい値より小さい場合は（ステップ S 1 0 5 ： N)、メニュー画面の「memi」が選択されたとするには十分ではないとして、ステップ S 1 0 1に戻る。

累積値がしきい値以上になった場合（ステップ S 1 0 5 ： Y)、ォブジェクト制御部 1 0 5は、メニュー画面の「menu」が選択されたと判断して、プルダウン画像を表示させると共にその旨を差分値検出部 1 0 7に報告する（ステップ S 1 0 6 )。

このように、メニュー画像が表示された領域内で検出した操作者の手の動き量の累積値がしきい値以上になることをもって、メニュー画像の「memi」が選択されたことを検知し、プルダウン画像を表示させる。手の動き量の累積値によってメニュー画像の色が変わるので、操作者は、あとどの程度手を動かせば「menu」が選択されるようになるかがわかるようになっている。

また、ディスプレイ装置 3には鏡面動画像が表示されるために、操作者は、鏡を見ている感覚で上記の操作ができるために、操作者が操作し易いマンマシンィン夕フェースを実現することができる。

第 5図に移り、メニュー画面の「menu」が選択されたこと、すなわち差分値（累積値）がしきい値以上になったことがわかると、差分値検出部 1 0 7は、そのときの操作者の手（ターゲット）の画像をテンプレート画像として保持する（ステップ S 1 0 7 )。

フレーム更新によってメニュ一画像がその下位層のプルダウン画像に切り替わった合成画像が表示されると (ステップ S 1 0 8 )、操作者の手の画像が切り替わった合成画像のどこにあるかを探索する。すなわち、差分値検出部 1 0 7は、合成画像の中から、テンプレート画像とマッチングする画像を探索する（ステップ S 1 0 9 )。

具体的には、その合成画像をテンプレート画像と同じ大きさの領域毎に分割し、分割した各領域の画像のうち、テンプレート画像に最も類似する領域の画像を探索する。テンプレート画像に最も類似する領域の画像は、 ' 例えば比較する画像の画素間の逢分の絶対値（又は 2乗）の総和を距離として表すことができるときに、テンプレ一ト画像との距離が最小となる画像である。

マッチングする画像があった場合は（ステップ S 1 1 0 ： Y)、それがプルダウン画像かどうかを判定する（ステップ S 1 1 1 )。プルダウン画像であった場合は（ステップ S 1 1 1 ： Υ)、それが、「sekctl」、「select2」、「select3」のどの領域のプルダウン画像かを検出する（ステップ S 1 1 2 )。検出したプルダウン画像が、操作者によって指示された選択されたブルダゥン画像となる。選択されたプルダウン画像に関する情報は、差分値検出部 1 0 7からオブジェクト制御部 1 0 5へ報告される。

オブジェクト制御部 1 0 5は、選択されたプルダウン画像に付随する処理決定画像をォブジェクトデータ記憶部 1 0 3から読み出し、この処理決定画像が付されたォブジェクト画像を生成する（ステップ S 1 1 3 )。

このようにして、ディスプレイ装置 3には操作者によって逐次選択されていくメニューの様子が表示される。

第 7図の例では、最上位層のメニュー画像から「select2」のプルダウン画像が選択され、その「select2」のブルダウン画像に付随する処理決定画像（「処理 2 1」、「処理 2 2」、「処理 2 3」、「処理 2 4 J ) が表示されている。

テンプレート画像は、フレーム毎に、逐次新しいものに置き換えられる。すなわち、差分値検出部 1 0 7は、前のフレームで使用したテンプレート画像を破棄し、上記のマッチングした画像（プルダウン画像の選択に用いた操作者の手の画像）を新たなテンプレート画像として保持する（ステップ S 1 1 4 )。その後、上記と同様にして処理決定画像（「処理 2 1」、「処理 2 2」、「処理 2 3」、「処理 2 4」）のいずれかを特定するために、ステップ S 1 0 8に戻る。

ステップ S 1 1 1において、マッチングする画像がプルダウン画像の領域外であるが、処理決定画像領域内のいずれかの処理決定画像であった場合は（ステップ S 1 1 1 ： N、 S 1 1 5 ： Y)、その処理決定画像が選択されたとして、これに対応付けられた処理の内容を決定し、すなわちプログラムを実行可能にし、メニュー画像による処理を終える（ステップ S 1 1 8 ) ο

マッチングする画像がプルダウン画像及び処理決定画像領域外であるが、メニュー画像領域内であった場合は（ステップ S 1 1 1 ： N、 S 1 1 5 ： N、 S 1 1 6 ： Υ)、操作者が他のプルダウン画像を選択しょうとすることなので、テンプレート画像を破棄し、マッチングした画像を新たなテンプレート画像として保持したうえで、ステップ S 1 0 8に戻る（ステツプ S 1 1 7 )。

ステップ S 1 1 0においてマッチングする比較対象画像がなかった場合 (ステップ S 1 1 0 ： Ν)、あるいはマッチングする画像はあるが、それがメニュー画像領域外の画像であった場合は、その時点でメニュー画像による処理を終える（ステップ S 1 1 1 ： N、 S 1 1 5 ： N、 S 1 1 6 ： Ν)。以上の手順でメニュー画像による処理を行うことにより、操作者は、デイスプレイ装置 3の画面に映し出される自分の鏡面動画像を見ながら、容易に自分の欲する内容の処理を選択可能となる。また、自分の挙動を画面上で随時確認しながら指示の入力を行えるために、キーボ一ドなどの入力装置を用いる場合のように、目をディスプレイ装置 3からそらすことがなくなる。 · [実施例 2 ]

本実施形態の画像処理システムにより、オブジェクト画像に、画像処理の対象となるィベントをメイン C P U 1 0に実行させるためのプログラムを対応付けして、オブジェクト画像に対する鏡面動画像内の操作者の動きに応じて、該当するイベントのための処理が実行されるようにすることも可能である。

ここでは、鏡面動画像に重畳するオブジェクト画像の一例として、マツチ棒の画像と、そのマッチ棒が発火して火が燃える様子を表す炎画像とを用いる場合の例を示す。

前提として、事前に、オブジェクト画像であるマッチ棒の画像に、マツチが発火したことを表す着火アニメーションをディスプレイ装置 3に表示するためのプログラムを対応付けしておく。そして、合成画像内で、マツチ棒の画像を、鏡面動画像内の操作者が擦るように挙動することにより、マッチ棒の画像の着火部分に、着火アニメーションが表示されるようにする。炎画像は、操作者がマッチ棒の画像を擦ったときに表示される。

炎画像は、例えば再帰テクスチャ描画の手法により生成することができる。

「再帰テクスチャ描画」とは、テクスチャマッピングでレンダリングした物体の画像を他の画像のテクスチャとして参照し、再帰的にテクスチャマッピングしていく描画手法をいう。「テクスチャマッピング」とは、ある物体の画像の質感を高めるために、その物体の表面にテクスチャのビットマップデータを貼り付けてレンダリングする手法であり、フレームメモリ 1 5をテクスチャメモリとしても使用することにより実現可能となる。このような再帰テクスチャ描画を行う際には、テクスチャが描画されるポリゴンにグ一口一シェーディング（ gom'aud shading) を行う。すなわち、ポリゴンの頂点における輝度を計算し、ポリゴン内部の輝度を各頂点の輝度から補間して求める（このような手法は、「グー口一テクスチャ描画」と呼ばれる）ようにする。

炎画像の表現には、まず、第 1 0図に示すように、炎画像の基となるメッシュの各頂点の位置を乱数によりずらして、新たな頂点の位置を決める。また、頂点の輝度も乱数に基づいて決める。頂点の位置及び頂点の輝度は、フレーム更新の度に決められる。炎画像の基となるメッシュの一マスがポリゴンとなる。

各ポリゴンに、フレームメモリ 1 5に描画された炎の基となる画像を上記の再帰テクスチャ描画により形成し、ポリゴンの各頂点の輝度に基づいて上記のグーローシェ一ディングを施す。これにより、炎による上昇気流、炎のゆらぎ、減衰の様子が、より現実の炎に近い内容で表現される。

ディスプレイ装置 3には、第 9図に示すような、操作者の鏡面動画像にマッチ棒の画像が重畳された合成画像が、画像処理装置 2によって表示されているものとする。ここでは、操作者の手を夕一ゲットとする。マッチ棒の画像が表示されている領域内における手の動き量を検出することによつて、マッチ棒の画像に対応付けされたプログラムが実行され、着火ァニメーシヨンがディスプレイ装置 3に表示される。

このような動作を可能にするための画像処理装置 2による処理手順を第 8図に示す。

差分値検出部 1 0 7は、鏡面動画像が次のフレームのものに更新され、それによつて重畳画像生成部 1 0 6により生成される合成画像が更新されると（ステップ S 2 0 1 )、更新する前後の合成画像に含まれる鏡面動画像の画像特徴を比較して、マッチ棒の画像の着火部分における画像の差分値を算出するとともに、マッチ棒の画像の着火部分の差分画像を生成する (ステップ S 2 0 2 )。ここで算出される差分値は、操作者が手を動かしたときの、マッチ棒の画像の着火部分における手の動きを定量的に表す値である。また、生成される差分画像は、ターゲットである操作者の手が動いたときの、マッチ棒の画像の着火部分における、動かす前の手の画像と動かした後の手の画像とからなる画像となる。

算出された差分値はメインメモリ 1 1に記録され、一定期間累積加算される（ステップ 2 0 3 )。

差分値検出部 1 0 7は、差分画像及び差分値の累積加算された値である累積値をオブジェクト制御部 1 0 5へ送る。

オブジェクト制御部 1 0 5は、差分値検出部 1 0 7から受け取った累積値に応じて差分画像の色を決定し、この差分画像に基づいて炎画像を生成する（ステップ S 2 0 4 )。炎画像は、例えば、差分画像をメッシュに分け、このメッシュに基づいて、前述の再帰テクスチャを用いた手法により生成される。炎画像の色は、差分画像の色に応じて決められる。生成された炎画像は、マッチ棒の画像の着火部分に重ねられる。

これにより、手が動いた量に応じた色が付された炎画像が、マッチ棒の画像の着火部分の手の動きを表す領域内に表示されることになる。

炎画像の色を差分値の累積値に応じて決めることにより、例えば、マツチ棒の着火部分に表示される炎画像の色が、手の動いた量に応じて次第に変化していく様子が表現できる。

次いで、オブジェクト制御部 1 0 5は、炎画像の色を示す値と、予め定められるしきい値とを比較する（ステップ S 2 0 5 )。例えば炎画像の色を R値、 G値、 B値で表している場合には、それぞれの値の合計を用いることができる。

色を示す値がしきい値以上の場合は（ステップ S 2 0 5 ： Y)、ォブジェクト制御部 1 0 5は、マッチが発火したことを表す着火アニメ一ションを表示するプロプログラムの実行を決定する（ステップ S 2 0 6 )。

つまり、炎画像の色が何色かに応じて着火アニメーションを開始するか否かを決定する。例えば、炎画像の色が手の動き量に応じて赤色から黄色に変化する場合、炎画像が黄色になることにより、着火アニメーションを開始する。操作者は、炎画像の色により、あとどの程度手を動かせば着火アニメ一ションが開始されるかを知ることができる。

重畳画像生成部 1 0 6は、マッチ棒の画像及び炎画像を含むオブジェクト画像に着火アニメーションを重ねた画像を、ビデオカメラ 1から得られた鏡面動画像に重畳して合成画像を生成する（ステップ S 2 0 7 )。着火アニメーションは、マッチ棒の画像の着火部分に表示される。

色を示す値がしきい値より小さい場合は（ステップ S 2 0 5 ： N)、ォブジェク卜制御部 1 0 5は、マッチ棒の画像に、炎画像を重ねたオブジェクト画像を重畳画像生成部 1 0 6へ送る。重畳画像生成部 1 0 6は、このようなオブジェクト画像を、ビデオカメラ 1から得られた鏡面動画像に重畳して合成画像を生成する（ステップ S 2 0 8 )。

その後、例えば操作装置 3 5から処理を終了する旨の指示があると、処理を終了する（ステップ S 2 0 9 ： Y)。処理を終了する旨の指示がなければ（ステップ S 2 0 9 ： Ν)、ステップ S 2 0 1に戻って、表示制御部 1 0 8は、ステップ S 2 0 7又はステップ S 2 0 8で生成された合成画像をディスプレイ装置 3に表示する。

以上のように、操作者がマッチ棒の画像の着火部分で手を動かす量に応じて、マッチ棒の画像に対応付けされた着火アニメーションを表示するプログラムを実行するか否かを決める処理が実行される。

操作者が、自.分の鏡面動画像を見ながら種々のイベントを実行させるための操作を行えるので、従来のキ一ポードゃマウスなどの入力装置を用いた操作よりも、簡単に処理を実行させるための入力を行うことができる。 [実施例 3 ]

他の実施例について説明する。前提として、ディスプレイ装置 3には、第 1 3図（a ) に示すように、操作者の鏡面動画像に、オブジェクト画像の一例となるカーソル（ポインタ）画像が重畳された合成画像が画像処理装置 2によって表示されており、鏡面動画像内には、操作者の手、目、口などの複数のターゲットが含まれているものとする。

ここでは、これらの複数の夕一ゲッ卜の中から操作者の手に注目して、カーソル画像に、この手の動きを追従させるような場合の例を挙げる。力一ソル画像は、第 1 3図（a ) に示すように、目の部分が強調された顔のような画像であり、目を、ターゲットの方向を向くように動かすことが可能である。またカーソル画像は、ターゲットの動きに追従して動く。つまり、カーソル画像がターゲットから離れている場合には、カーソル画像がターゲッ卜に向かって移動し、力一ソル画像が夕一ゲットを捕捉している場合には、カーソル画像がターゲットの動きに追従するようにする。このような動作を可能にするための画像処理装置 2による処理手順を第 1 1図及び第 1 2図に示す。

まず第 1 1図を参照し、差分値検出部 1 0 7は、鏡面動画像が次のフレ —ムのものに更新され、それによつて重畳画像生成部 1 0 6により生成される合成画像が更新されると（ステップ S 3 0 1 )、更新する前後の合成画像に含まれる鏡面動画像の画像特徴を比較し、その差分値を算出する（ステツプ S 3 0 2 )。ここで算出される差分値は、鏡面動画像内の、夕ーゲットの候補となる操作者の手、目、口等の動きを定量化した値である。差分値検出部 1 0 7は、各夕一ゲットの差分値をオブジェクト制御部 1 0 5へ送る。

オブジェクト制御部 1 0 5は、差分値検出部 1 0 7から送られた各ターゲットの差分値に基づいて一のターゲットを検出する（ステップ S 3 0 3 )。例えば、差分値が最大となるターゲットを検出する。この例では、操作者の手をタ一ゲットとして検出する。

ターゲットを検出すると、オブジェクト制御部 1 0 5は、ターゲットに応じてカーソル画像の表示状態を決定する。

まず、オブジェクト制御部 1 0 5は、ステップ S 3 0 1で更新された合成画像内で夕一ゲットがカーソル画像外にあるか否かを判定する（ステツプ S 3 0 4 )。ターゲットがカーソル画像内にあるときには（ステップ S 3 0 4 ： N)、オブジェクト制御部 1 0 は、力一ソル画像が夕一ゲットを捕捉していると判断する（ステップ S 3 0 8 )。

ターゲットがカーソル画像外にあるときには（ステップ S 3 0 4 ： Y)、オブジェクト制御部 1 0 5は、力一ソル画像がターゲットを捕捉していないと判断して、カーソル画像の表示状態を決める処理を行う。つまりォプジェクト制御部 1 0 5は、力一ソル画像内の目がターゲットの方向を向くようなカーソル画像を生成する。

また、カーソル画像とターゲットの距離に応じて、力一ソル画像が夕一ゲットへ向かう速度を決める（ステップ S 3 0 6 )。この速度は、例えば、カーソル画像がターゲットから遠いほど高速になるようにする。このようにすると、カーソル画像がターゲットから遠方にあるほど、早急にカーソル画像がターゲットへ向かうような画像が得られる。

以上のような力一ソル画像を、重畳画像生成部 1 0 6により、次のフレームの鏡面動画像に重畳することにより、第 1 3図（a ) に示すような合成画像を生成する（ステップ S 3 0 7 )。そしてステップ S 3 0 1に戻り、生成した合成画像について、同様の動作を行う。

ステップ S 3 0 1乃至ステップ S 3 0 7の動作を、カーソル画像がタ一ゲットを捕捉するまで、つまりステップ S 3 0 4でターゲットがカーソル画像内にあると判定されるまで、行うことになる。このような動作により、第 13図（a) に示すように、力一ソル画像内の目がターゲット（手）の方向を見て、力一ソル画像がターゲットを追いかけるような画像を提供することができる。

第 12図に移り、カーソル画像がターゲットを捕捉すると、差分値検出部 1 07は、そのときの夕一ゲットの画像をテンプレート画像として保持する（ステップ S 3 0 9)。例えば、鏡面動画像の力一ソル画像に重なる部分をテンプレー卜画像として保持する。

次いで、差分値検出部 1 0 7は、次のフレームの鏡面動画像を画像反転部 1 02から入手する（ステップ S 3 1 0)。差分値検出部 107は、入手した鏡面動画像のうち、保持しているテンプレート画像とマッチングする画像の位置を探索する（ステップ S 3 1 1)。

具体的には、入手した鏡面動画像をテンプレート画像と同じ大きさの領域に分割し、分割した各領域の画像のうち、テンプレート画像に最も類似する領域の画像を探索する。探索の結果、マッチングする画像を検出すると、検出した画像の位置をオブジェクト制御部 105に報告する。

オブジェクト制御部 1 05は、差分値検出部 1 07から報告のあった位置を、次の合成画像における力一ソル画像の位置に決める（ステップ S 3 12)。

重畳画像生成部 1 06は、ステップ S 3 1 0で差分値検出部 107が入手した鏡面動画像と同じ鏡面動画像上の、ステップ S 3 1 2でォブジェクト制御部 1 05が決めた位置に力一ソル画像を重畳することにより、第 1 3図（b) に示すような合成画像を生成する（ステップ S 3 1 3)。次いで、フレームを更新して、表示制御部 1 0 8により、生成した合成画像をディスプレイ装置 3に表示する（ステップ S 314)。

以上のようなターゲット捕捉後の動作（ステップ S 30 9〜ステップ S 3 14) を繰り返すことにより、カーソル画像が、ターゲットに追従するような画像が得られる。つまり、カーソル画像が、第 1 3図（b ) に示すようにターゲット（手）を捕捉すると、その後は、ターゲットが移動しても、その移動先に力一ソル画像が表示されることになる。第 1 3図（b ) から第 1 3図（c ) のように、操作者が手を伸ばしても、力一ソル画像は、ターゲットとして認識した手の動きに合わせて、操作者が伸ばした手の先に表示される。 .

カーソル画像を用いることにより、例えば実施例 1のようにメニュー画像から処理を選択する場合などに、操作者が、自分のどの部位が処理選択の際の力一ソルとして機能しているかが、一目でわかるようになる。

また、例えば、カーソル画像が移動した軌跡を残して表示するようにすると、タ一ゲットが移動した軌跡をディスプレイ装置 3に表示できるようになる。これにより例えば、空間上に描いた絵や文字などが、ディスプレィ装置 3に表示可能となる。

以上の説明から明らかなように、本発明によれば、操作者がデータ等を入力する必要がある場合は、鏡面動画像を用いることにより、ディスプレィ装置に表示された合成画像を見ながら容易に入力や選択が可能となり、慣れを必要とせず、より使い勝手のよい入カインタフェースを実現することができる。

本発明の技術思想および範囲を逸脱することなしに、種々の実施例および変更が可能である。上記した実施例は本発明の例示にすぎず、本発明の範囲を制限するものではない。本発明の範囲は、実施例ではなく、添付の請求の範囲により示されている。本発明の請求の範囲 ¾びその均等範囲内でなされた種々の実施例は本発明の範囲内に含まれるものである。

Claims

請求の範囲

1 . 動きのある夕一ゲットをその一部に含む鏡面動画像を取り込む画像取込手段と、

所定のオブジェクトを表すオブジェクト画像を、前記画像取込手段で取り込んだ鏡面動画像に含まれる夕一ゲッ卜の動きに応じて生成する画像生成手段と、

この画像生成手段で生成したオブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させる制御手段とを備えてなる、画像処理装置。

2 . 動きのあるターゲットをその一部に含む鏡面動画像を時系列的に取り込む画像取込手段と、

' 現時点の鏡面動画像と直前の鏡面動画像との間の画像特徴を検出することにより前記ターゲット及びその動き成分を検出する検出手段と、

所定のオブジェクトを表すオブジェクト画像を、前記検出手段で検出された夕一ゲットの動き成分に応じて変化するように生成する画像生成手段と、

この画像生成手段で生成したオブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させる制御手段とを備える、画像処理装置。

3 . 前記画像生成手段は、前記検出されたターゲットの動きに追従するように前記オブジェクト画像を生成するように構成されている、請求の範囲第 2項記載の画像処理装置。

4 . 前記ターゲットの動き成分に応じて、前記生成されたオブジェクト画像に基づく所要の処理の実行準備を行う手段をさらに備えてなる、請求の範囲第 2項記載の画像処理装置。

5 . 前記画像生成手段で生成されたォブジェクト画像と前記現時点の鏡面動画像とが合成された合成画像と、前記直前の鏡面動画像に含まれる夕ーゲットの部分の画像であるテンプレート画像とを比較して、前記テンプレート画像と画像特徴が最も類似する前記合成画像の部分の画像を検出すると共に、この検出した前記合成画像の前記部分の画像に前記オブジェクト画像が含まれているときに、このオブジェクト画像に基づく所要の処理の実行準備を行う手段をさらに備えてなる、請求の範囲第 2項記載の画像

6 . 前記オブジェクト画像は所定の処理に対応付けされており、前記検出手段で検出された前記夕ーゲッ卜の動き成分が所定の条件を満たすときに前記オブジェクト画像に対応付けされた前記処理を実行する手段をさらに備える、請求の範囲第 2項記載の画像処理装置。

7 . 前記鏡面動画像には、複数の前記ターゲットが含まれており、前記検出手段は、前記複数のタ一ゲットの各々についてその動き成分を検出して、検出した前記複数のターゲットの各々の動き成分に基づいて一のターゲットを検出するように構成されており、

前記画像生成手段は、前記オブジェクト画像を、前記検出手段で検出された前記一のターゲッ卜の前記動き成分に応じて変化するように生成するように構成されている、請求の範囲第 2項記載の画像処理装置。

8 . 動きのあるターゲットをその一部に含む鏡面動画像を画像処理装置に取り込み、

前記画像処理装置で、

所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれる夕一ゲットの動きに応じて生成するとともに、生成した前記ォブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させることを特徴とする、画像処理方法。

9 . ディスプレイ装置が接続されたコンピュータに、

動きのある夕一ゲッ卜をその一部に含む鏡面動画像を取り込む処理、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれる夕一ゲッ卜の動きに応じて生成する処理、

生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して前記ディスプレイ装置に表示させる処理、を実行させるためのコンビユー夕プログラム。

1 0 . 請求の範囲第 9項に記載されたコンピュータプログラムを記録してなる、コンピュータ読み取り可能な記録媒体。

1 1 . ディスプレイ装置が接続されたコンピュータに搭載された装置に組み込まれることにより、前記コンピュータに、

動きのあるタ一ゲッ卜をその一部に含む鏡面動画像を取り込む手段、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれる夕一ゲットの動きに応じて生成する手段、

生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して前記ディスプレイ装置に表示させる手段、の機能を形成させる半導体デバイス。