JP2006350578A - 画像分析装置 - Google Patents

Abstract

【課題】 複数の動画像データからそれぞれ得られる認識対象体の対象部分の位置情報の利用可能性を向上できる画像分析装置を提供する。
【解決手段】 認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れ、複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出し、各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する画像分析装置である。
【選択図】 図１

Description

本発明は、人物等、対象物の動作や姿勢に関する情報を出力する画像分析装置に関する。

撮像した画像データから、被写体である人物の姿勢を識別する装置としては、従来から手や肩の相対的位置関係を利用するものなどが開発されている（例えば特許文献１）。こうした装置は、例えばリハビリテーションの現場において、撮像された人物のリハビリテーションの効果を確認する際などに利用される。
特開平８−３２０９２０号公報

一方、こうした対象物の動作や姿勢に関する情報を分析する分野においては、実際には対象物を複数の位置から撮像して、複数の動画像データを得ておき、各動画像データを分析するのが普通になっている。しかしながら、従来の技術においては、各動画像データにそれぞれ含まれる対象物の位置情報は、例えば対象物と撮像に用いるカメラとの距離など、カメラの配置位置に応じて、同じ軸方向の値であっても、互いに異なって認識されてしまうのにも関わらず、補正を行っていないので、このように複数の動画像データがある場合には、それぞれの動画像データに応じて異なる座標系の情報が得られることになってしまい、相互関係の分析や、三次元的情報の生成などの各種処理等にそのまま用いることができず、利用範囲が狭い。

本発明は上記実情に鑑みて為されたもので、複数の動画像データからそれぞれ得られる認識対象体の対象部分の位置情報の利用可能性を向上できる画像分析装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、画像分析装置であって、認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れる手段と、複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出する手段と、前記各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する補正手段と、を含むことを特徴としている。

これにより、各動画像データにおける対象部分の検出位置の情報を補正でき、対象物の三次元的な位置情報を取得できる。

ここで前記補正手段は、前記各動画像データから検出された対象部分の検出位置の情報に含まれる座標値のうち、指定された軸方向の座標値を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正することとしてもよい。

また、前記補正手段は、前記各動画像データから検出された対象部分の検出位置の情報に含まれる、指定された軸方向の座標値から所定の統計情報を演算し、当該統計情報の比較に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正することとしてもよい。

さらに本発明の一態様に係る画像分析方法は、コンピュータを用い、認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れ、複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出し、前記各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する、ことを特徴としている。

さらに本発明の別の態様に係るプログラムは、コンピュータに、認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れる手順と、複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出する手順と、前記各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する手順と、を実行させることを特徴としている。

［基本動作の例］
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像分析装置は、外部から入力される動画像データから人体の所定一部分の位置を認識するものである。ここでは当該所定一部分として「顔」と「手」との位置を認識するものとする。なお、「手」の代わりに「足先」を認識対象とした場合も同様である。本実施の画像分析装置は、具体的に、図１に示すように、制御部１１と、記憶部１２と、入出力インタフェース１３と、表示部１４と、を含んで構成される。ここで動画像データは、入出力インタフェース１３に接続された、図示しない撮像部（ＣＣＤカメラ等）やビデオ再生装置などから取得される。この動画像データは、人物を撮像して得られた一連の静止画像であるフレーム画像データを含んでなる。各フレーム画像データには、撮像された順を表すフレーム番号を関連付けておく。

制御部１１は、記憶部１２に格納されているプログラムに従って動作しており、外部から取得した動画像データに含まれる一連の静止画像フレームの各々に対して、顔の部分の画像を特定する処理（顔特定処理）と、手の部分の画像を特定する処理（手特定処理）と、これらの処理で特定された顔及び手の相対的位置の情報に基づいて被写体となっている人物の動作を識別する動作識別処理とを基本的に実行している。これらの処理の具体的内容については、後に述べる。

記憶部１２は、制御部１１によって実行されるプログラムを格納する、コンピュータ可読な記録媒体である。またこの記憶部１２は、制御部１１の処理の過程で必要となる種々のデータを記憶するワークメモリとしても動作する。

入出力インタフェース１３は、図１に示すように、例えばカメラ装置などの外部装置に接続され、当該外部装置から画像データを取得して制御部１１に出力する。またこの入出力インタフェース１３は、制御部１１から入力される指示に従って、種々のデータを外部装置に出力する。表示部１４は、例えばディスプレイ等であり、制御部１１から入力される指示に従って情報の表示を行う。

制御部１１によって実行されるプログラムは、機能的には図２に示すように、画像変換部２１と、顔特定処理部２２と、肌色抽出部２３と、手探索開始領域決定部２４と、手特定処理部２５と、特徴量処理部２６と、情報提示部２７とを含んで構成される。

画像変換部２１は、入出力インタフェース１３を介して取得され、処理対象となるフレーム画像データを、グレイスケールの画像データ（グレイスケールデータ）に変換して、顔特定処理部２２に出力する。またこの画像変換部２１は、上記処理対象となるフレーム画像データを、色相画像の画像データ（色相データ）に変換して、肌色抽出部２３と、手探索開始領域決定部２４と、手特定処理部２５とに出力する。

顔特定処理部２２は、画像変換部２１から入力されるグレイスケールデータから、顔の部分を特定する処理を行う。この顔特定処理部２２は後に説明するように、予め学習獲得されたデータに基づいて画像データ中の顔部分を認識することとすればよい。また、この顔特定処理部２２は、顔の位置だけでなく、顔の向き（３次元的向き）や大きさを特定可能なものであってもよい。

この顔特定処理部２２は、例えば動画像データに含まれるフレーム画像データについてグレイスケールのデータに変換したうえで、人物の顔を学習処理して得た第１学習データベースを用い、当該グレイスケールのデータ中から人物の顔に相当する部分を抽出するものであればよい。この際、顔部分を所定の方法で特定した後、予め正立かつ正面向きの顔の画像（正規画像）と、正規画像から、顔を右向き及び左向きにそれぞれ所定角度だけ回転させた複数の顔画像を用意して、これらを学習処理した第２学習データベースを用いて、顔部分の画像を正規画像に近接するよう変換し（正規化）、第１学習データベース内の情報を用いて、当該正規化後の画像のデータが顔の画像か否かを判断するようにしてもよい。これによると、正規化の処理の過程で回転角が判別できることになるので、正規化の処理により迅速に顔であるか否かが判別できるようになるとともに、当該過程で得られた回転角を出力することで、上述のように顔の向きを利用した処理に供することができるようになる。この顔特定処理部２２は、特定した顔の位置や大きさ、向きなどを表す情報を、顔位置情報として記憶部１２に格納する。

肌色抽出部２３は、画像変換部２１から入力される色相データのうち、顔特定処理部２２が特定した顔の部分に対応する領域の部分画像を取り出し、当該部分画像の平均色相データを演算して出力する。具体的には、顔特定処理部２２が出力する領域情報によって画定される領域に含まれる色相データ中の画素値のヒストグラムを肌色情報として出力する。この肌色情報は、顔特定処理部２２によって特定された顔の色（すなわち顔の肌の色）のヒストグラムであり、いわば当該人物に固有の肌色の情報である。本実施の形態の装置は、この対象に固有の肌色を抽出し、それを利用して手の部分を特定する。なお、ここで色相によって比較しているのは、例えば日焼け等で、顔と手との肌色の明度が変化した場合に配慮したものである。

手探索開始領域決定部２４と手特定処理部２５とは、各フレーム画像データから、手が撮像されている部分を検出する。ここではまず、手探索開始領域決定部２４が各フレーム画像データ中で手が撮像されている候補となる部分（探索開始領域）を仮に特定し、以下、手特定処理部２５がカムシフトアルゴリズム（Gary R.Bradski, Computer Vision Face Tracking For Use in a Perceptual User Interface: Intel Technology Journal Q2,1998）を用いて、特定された探索開始領域を起点に探索処理を開始し、手が撮像されている領域を特定する。なお、ここではカムシフト法を用いる例について説明するが、これに限られるものではない。

手探索開始領域決定部２４は、画像変換部２１から入力される色相データ上の各画素について、肌色情報のヒストグラムに基づいて、肌色である確率（尤度）を表す尤度値を生成し、これら尤度値を色相データの各画素と同様に配列して、尤度マップを生成する。尤度値は例えば演算の対象となった画素の色相に対応するヒストグラムの値を、ヒストグラムの値の総和で除したものとしてもよいし、そのほかバックプロジェクション方式や相関方式と呼ばれる公知の方法を用いてもよい。なお、ここでは尤度のマップを用いているが、これに限らずヒストグラムの頻度値を用いて得点（スコア）値を生成し、当該スコア値のマップを用いてもよい。

この場合において、顔の部分に対応する領域については、尤度を「０」としておく。これにより、顔の部分を手の部分として誤検出することを確実に防止できる。

手探索開始領域決定部２４はさらに、尤度マップを、予め定めたサイズの矩形領域で走査し、矩形領域内の尤度値の合計値の大きい順に少なくとも一つの走査位置を定める。そして当該走査位置における矩形領域を探索開始領域として定める。ここで撮像されている対象（ここでは手）の数が予めわかっている場合には、当該数に対応する数の探索開始領域を定めてもよい。

手特定処理部２５は、画像変換部２１から入力される色相データ上で、手探索開始領域決定部２４が決定した各探索開始領域を、探索領域の初期位置として次の処理を行う。

すなわち、手特定処理部２５は、各探索開始領域に基づいて初期位置をそれぞれ定めた、各探索領域ついて、探索領域内の各画素の画素値（色相の値）と肌色抽出部２３が出力する肌色情報によって示される値とを用いて、色相データのうち探索領域に含まれる尤度値のモーメントを求める。

そして手特定処理部２５は、求めたモーメントに基づいて探索領域を移動する。ここでモーメントは、例えば、

で示されるものである。ここで、ｈ（ｉ，ｊ）は、尤度マップの座標（ｉ，ｊ）における尤度値を表す。

手特定処理部２５は、上記の式のうち、０次モーメントｍ00によって重心を定め、当該重心を中心とする位置に探索領域を移動する。また、１次、２次モーメントによって探索領域のサイズや回転量を決定して、探索領域を更新する。

以下、手特定処理部２５は、探索領域を更新してもその移動量が所定のしきい値未満となるか、あるいは更新回数が所定回数に達するまで（収束条件を満足するまで）この更新の処理を繰り返す。そして、収束条件を満足したときの探索領域を手が撮像されている領域であるとして、当該領域を画定する情報（例えば領域の外形を囲む多角形の頂点座標のセットなど）を手位置情報として記憶部１２に格納する。

このように、各フレーム画像データにおいて、まず顔の認識処理を行い、認識した顔の色の情報に基づいて、手の存在する可能性の高い領域を初期位置として、カムシフト法などの方法で当該領域を移動、サイズ変更、回転させて手が含まれている領域を画定する。

特徴量処理部２６は、各フレーム画像データにおいて検出された人体の所定一部（顔や手）を含む画像領域の動画像データ上での移動状態に基づいて、撮像された人物の動作に係る情報を生成する。例えば、この特徴量処理部２６は、記憶部１２に格納された一連の手位置情報に基づいて、少なくとも一つの特徴量情報を生成し、当該特徴量情報が所定の条件を満足するタイミングに対応するフレーム画像データのフレーム番号（フレーム画像データを特定する情報）を出力する。ここで特徴量情報とは、例えば手位置情報そのものであってもよい。そしてこの特徴量情報としての手位置情報が所定期間（フレーム画像データの所定数）を超えて変動しない場合に、当該変動していない期間に対応するフレーム画像データのフレーム番号を出力する。

つまり特徴量処理部２６は、各フレーム画像データについて、次のフレーム画像データにおける手位置情報との差分を演算する。具体的にはｉ番目のフレーム画像データに対応する手位置情報と、ｉ＋１番目のフレーム画像データに対応する手位置情報との差の大きさを演算する。そして、この差が所定の移動量しきい値未満となっているフレーム画像データのフレーム番号を選択して、選択したフレーム番号からなる数列を生成する。さらに特徴量処理部２６は、当該生成した数列から、フレーム番号が連続している部分を検出し、当該検出した部分のフレーム番号列の長さを求める。これら、数列から番号の連続している部分を検出する処理や、その検出した部分的な数列の長さを求める処理は、広く知られているので、ここでの詳細な説明を省略する。

特徴量処理部２６は、フレーム番号が連続している部分のうち、その長さが予め定められている所定期間しきい値を超えている部分があるか否かを調べ、そのような部分があれば、当該部分を特定する特徴時点情報として、例えば当該部分の先頭のフレーム番号と末尾のフレーム番号とを記憶部１２に格納する。この特徴時点情報は、従って、フレーム番号を列挙したデータとなる（図３）。

情報提示部２７は、利用者の指示操作に応じて、記憶部１２に格納されている、顔位置情報や手位置情報を表示部１４に表示出力する。また、この情報提示部２７は、記憶部１２に格納されている特徴時点情報を用いて、これら顔位置情報や手位置情報の表示態様を制御する。例えば、この情報提示部２７は、図４に示すように、手位置情報に含まれる、フレーム画像データ上の手の座標値（ここではそのうち一つの軸についての値としている）の時間的変動をグラフとして示す（Ａ）。また、このグラフ内で特徴時点情報によって示されるフレーム番号に対応する時間範囲を、グラフの背景色を変更するなどして強調表示する（Ｂ）。

さらに情報提示部２７は、撮像された動画像データを表示する（Ｃ）とともに、グラフ（Ａ）上で指定されたフレーム番号に対応する位置から当該動画像データを再生する。これにより、利用者は、強調表示されている部分に対応する動画像の再生を指示できるようになり、撮像されている人物の動作上、特徴的な動作を行っている部分の動画像を選択的に再生して閲覧できるようになる。さらに、情報提示部２７は、手位置情報や顔位置情報の各座標をポイントとしてプロットした画像を作成してもよい（Ｄ）。なお、手と顔とは互いに区別可能なレジェンドを用いる。

このように本実施の形態によると、動画像データの全体を参照せずとも、特徴的な動作を行っている部分の動画像を選択的に再生して閲覧でき、動作確認の担当者の負担を軽減し、作業効率を向上できる。

［複数の動画像データ］
さらに、ここまでの説明では、処理の対象としている動画像データは一つであるとしているが、同時期に撮像され、同期されている複数の動画像データを用いることとしてもよい。ここで動画像データの同期は、同時点で撮像された各動画像データのフレーム画像データに、同じフレーム番号を対応づけることで実現できる。このような、互いに同期した複数の動画像データを作成する方法は、広く知られているので、ここでの詳細な説明を省略する。

この例の一つでは、２つのカメラを用いて、２つの動画像データを生成する。すなわち、歩行訓練のリハビリテーションの場合に、第１のカメラで顔部分を撮像して、顔部分を含む第１動画像データを生成する。また、第２のカメラでは下肢の部分を撮像して、脚の部分を含む第２動画像データを生成する。

そして、例えば制御部１１は、第１動画像データの各フレーム画像データから顔の領域を特定して、さらに表情を検出して、各フレーム画像データにおける人物の表情を表す表情情報を生成しておく。また、顔の検出領域から頭部の上下左右方向への揺れの軌跡（顔の検出領域の中心の軌跡など）を検出して、当該揺れの軌跡と、表情情報とを各フレーム画像データのフレーム番号に関連づけて記憶部１２に格納しておく。また制御部１１は、第２動画像データの各フレーム画像データから足先の高さ、膝の高さ、足先と膝との相対位置、足先と膝との動作速度、停留時間（略同じ場所に足先や膝がある時間）を検出する。ここで、手位置情報の検出と同様に、第１動画像データ中の各フレーム画像データから特定された顔の領域から得られる肌色情報を用いて第２動画像データから足先を検出することができる。また、着衣等により肌が露出していない場合や露出部が多すぎる場合等、顔領域からの肌色情報では位置の検出が困難な場合には、撮像される人物の足先や膝に、肌色や服地、背景の色などとは異なる色のマーカーを付して、当該色のマーカーを第２動画像データから検出することで、足先や膝の位置を特定する。

なお、表情の検出方法としては、例えばM.J.Black and Y. Yacoob,"Recognizing Facial Expressinos in Image Sequences Using Local Parameterized Models of Image Motion", Int'l J. Computer Vision, vol.25, No.1, pp. 23-48, 1997に示されているような方法があるので、ここでの詳細な説明を省略する。

そして制御部１１は、特徴量処理部２６の処理を実行して、例えば足先や膝の停留時間に対応するフレーム番号を特徴時点情報として記憶部１２に格納する。また、顔の表情が「顔をしかめている」となっている期間のフレーム番号を取得して、特徴時点情報として記憶部１２に格納する。

そして情報提示部２７の処理として、これらの特徴時点情報のフレーム番号で特定されるフレーム画像データの前後、所定フレーム数の動画像部分を強調表示して利用者に提示する。これによると、動画像データの全体を参照せずとも、「足先や膝の位置が停留している」期間や、「顔をしかめている」期間部分、つまり、特徴的な動作を行っている部分の動画像を選択的に再生して閲覧でき、動作確認の担当者の負担を軽減し、作業効率を向上できる。

この場合も、複数の特徴時点情報が得られるので、こうした複数の特徴時点情報に共通して列挙されるフレーム番号について、当該フレーム番号が、いくつの特徴時点情報に含まれるかによって、強調の態様を変更してもよい。

［顔のサイズを利用したサイズ補正］
さらに、このように顔と脚など、同方向から撮像される複数の動画像データを処理対象とする場合、一方の動画像データから検出した顔のサイズ（顔が含まれるとして検出された領域のサイズ）を用いて、足先の高さなど、検出の対象となった人体の所定一部の位置情報を補正してもよい。つまり、所定のフレーム画像データでの顔のサイズＳsを基準サイズとして、他のフレーム画像データでの顔のサイズＳをこの基準サイズで除した値を生成する。この値は、人体の一部の位置情報の変動比を表す値となるので、当該他のフレーム画像データにおいて検出の対象となった人体の所定一部の位置情報に、上記Ｓ／Ｓsの値を乗じる。

具体例として、フレーム番号が「１」のフレーム画像データ（先頭のフレーム画像データ）での顔のサイズを基準サイズＳsとして、後続のフレーム画像データにおいて、顔のサイズがＳであり、足先の高さがｈoであるときに、当該足先の高さの情報を、
ｈ＝ｈo×（Ｓ／Ｓs）
として補正する。これにより、足先の高さがカメラと人物との距離によって変動しても、当該変動を補正できる。

［同範囲を含む複数の動画像データの扱い］
さらに、ここで述べたように、複数のカメラを用いて人物の撮像を行う場合、複数のカメラの少なくとも一部が、人物の共通する部分を撮像してもよい。例えば、第１のカメラによって人物を正面から撮像し、第２のカメラによって人物を側面から撮像してもよい。この場合、顔や手等の部分によっては、双方のカメラによって共通して撮像され得る。

このように、処理対象となる複数の動画像データに共通した部分が含まれる場合、例えば手の部分を正面と側面とから撮像することで、手の三次元的な動きを取得することが可能となる。

制御部１１は、手の移動軌跡を三次元の情報として生成する処理を行ってもよい。一例として、図５に示すように、撮像の対象となる人物が机の前に座り、机上にある輪投げの棒（Ｐ）に、輪（Ｒ）を机の上から取り上げて通すリハビリテーションを行っている例を想定する。また、ここで第１のカメラＣ１は、机を上方から撮像しており、第２のカメラＣ２は、人物を正面から撮像しているものとする。従って第１、第２のカメラＣ１，Ｃ２は、ともに、この人物の手を撮像することとなるが、人物の顔は、第２のカメラＣ２によってのみ撮像される。

制御部１１は、これら、第１、第２のカメラＣ１、Ｃ２によってそれぞれ撮像された第１動画像データと第２動画像データとを取得する。そして各動画像データに対して画像変換部２１の処理を実行し、さらに顔特定処理部２２の処理として、第２動画像データのグレイスケールデータから、顔の部分を特定する処理を行い、顔位置情報を取得する。

また肌色抽出部２３の処理として制御部１１は、画像変換部２１から入力される第２動画像データの色相データのうち、顔特定処理部２２が特定した顔の部分に対応する領域の部分画像を取り出し、当該部分画像の平均色相データを演算して出力する。

制御部１１の手探索開始領域決定部２４と手特定処理部２５とは、そして第１、第２の動画像データの各フレーム画像データから、手が撮像されている部分を検出する。この際、手探索開始領域決定部２４は、第１、第２の動画像データに対応する第１、第２の尤度マップを生成する。この際、手探索開始領域決定部２４は、第１動画像データを処理の対象として、第２動画像データから取得した顔部分の肌色情報に基づいて第１尤度マップを生成する。また、第２動画像データを処理の対象として、第２動画像データから取得した顔部分の肌色情報に基づいて第２尤度マップを生成する。このように、一部の動画像データから取得された肌色の情報を用いて、すべての動画像データに係る尤度マップを生成することで、手の検出精度を高めることができる。

また、制御部１１は、各動画像データの各フレーム画像データに基づいて検出した手位置情報について、次の処理を行う。すなわち、これらの手位置情報は、それぞれ２次元の座標値の情報であり、第１動画像データからは図５に示したＸ，Ｚ軸、第２動画像データからは図５に示したＸ，Ｙ軸の各２軸の座標値の情報が得られることとなる。なお、図５では紙面奥から手前にＸ軸が伸びていることを示している。従って、各動画像データに基づいて制御部１１は、図６に示すように、顔位置特定情報によって示される顔の位置座標Ｆx，Ｆy（顔があると認識された領域の中心座標など、この場合Ｘ，Ｙ座標として指定される）、顔のサイズＦs（顔があると認識された領域のサイズ）、顔の傾きＦa、第１動画像データから得られた手位置情報のＸ軸座標Ｈ1xとＺ軸座標Ｈ1z、及び第２動画像データから得られた手位置情報のＸ軸座標Ｈ2xとＹ軸座標Ｈ2yが、フレーム番号に関連して得られる。制御部１１は、この図６に示したテーブルのデータを記憶部１２に格納しておく。

そして制御部１１は、この格納されたテーブルのデータから手位置情報の三次元情報を生成する。すなわち制御部１１は、利用者から、予め、手位置情報Ｈ1x、Ｈ1z、Ｈ2x、及びＨ2yのうち、同じ軸方向を表す手位置情報の指定を受けておく。ここでは手位置情報Ｈ1xと、Ｈ2xとがいずれもＸ軸方向の情報であって、同じ軸方向を表すものであるので、これらが共通であるとの指定を受け入れているものとする。

制御部１１は、この共通であると指定された２つの手位置情報を処理の対象として、次の処理を行う。まずこれら２つの手位置情報のうちいずれか一方を基準情報とし、他方を調整対象情報としておく。ここでは第１動画像データから得られた手位置情報を基準情報とする。そして図７に示すように、２つの手位置情報について最大値と最小値とを検出する（Ｓ１）。すなわち、これらの手位置情報は、いずれも手の動きに伴って変化する。ここでの例のように輪投げのような運動を行っている場合、輪の置いてある位置のＸ座標値と、輪投げの棒がある位置のＸ座標値との間を手が往復して移動するため、三角関数的な周期的曲線となる。

例えば制御部１１は、処理Ｓ１にて各手位置情報の最大値（Ｈ1xmax，Ｈ2xmax）及び最小値（Ｈ1xmin，Ｈ2xmin）を検出し、各手位置情報での最大値と最小値との差を算出する。すなわち、
ΔＨ1＝Ｈ1xmax−Ｈ1xmin、
ΔＨ2＝Ｈ2xmax−Ｈ2xmin、
を算出する（Ｓ２）。

そして、調整対象情報の基準情報からの比を求める（Ｓ３）。ここでは、第１動画像データから得られた手位置情報を基準情報とする場合を例としているので、求める比は、
Ｒ＝ΔＨ2／ΔＨ1
となる。

そして、記憶部１２に格納されているデータのうち、第２動画像データから得られた手位置情報の各Ｘ軸座標Ｈ2xとＹ軸座標Ｈ2yとに、この比Ｒを乗じて、第２動画像データの値を補正する（Ｓ４）。この補正により、各カメラと人物の手までの距離の相違などにより生じている座標値のスケールの相違を補正できる。

さらに各手位置情報のうち、基準情報の最大値から調整対象情報の最大値を差し引いた差を求める（Ｓ５）。
ΔＨ＝Ｈ1xmax−Ｈ2xmax

そして、記憶部１２に格納されているデータのうち、第２動画像データから得られた手位置情報の各Ｘ軸座標Ｈ2xに、この差ΔＨを加算する（Ｓ６）。これにより、各カメラの配置位置等の相違により生じている座標値の位置の相違（シフト）を補正できる。なお、ここでシフトの補正の元となる差の値は、最大値から求めるのではなく基準情報の最小値から調整対象情報の最小値を差し引いて求めてもよい。

また、ここでは、手位置情報の最大、最小値の統計情報を用いているが、これに代えて、他の統計情報（例えば最大ピークの平均値と、最小ピークの平均値など）を用いても構わない。また、シフトの補正には、例えば手位置情報の平均値間の差を用いてもよい。

このように本実施の形態によると、対象体である人物の手の位置を、複数の動画像データに基づいて取得するとともに、その位置の情報のうち、指定された軸方向の値の比率、オフセットを一致させる補正を行うので、位置情報を、相互関係の分析や、三次元的情報の生成などの各種処理等にそのまま用いることができ、その利用可能性を向上できる。

例えば、上記の例であれば、Ｈ1x、補正後のＨ2y、Ｈ1zからなる三次元情報を生成することができる。

本発明の実施の形態に係る画像分析装置の構成ブロック図である。 本発明の実施の形態に係る画像分析装置の機能ブロック図である。 本発明の実施の形態に係る画像分析装置が生成する特徴時点情報の例を表す説明図である。 本発明の実施の形態に係る画像分析装置が表示する画面例を表す説明図である。 本発明の実施の形態に係る画像分析装置に入力する動画像データの撮像時のカメラの配置例を表す説明図である。 本発明の実施の形態に係る画像分析装置が生成する顔位置情報と手位置情報との保持例を表す説明図である。 本発明の実施の形態に係る画像分析装置の動作例を表すフローチャート図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 入出力インタフェース、１４ 表示部、２１ 画像変換部、２２ 顔特定処理部、２３ 肌色抽出部、２４ 手探索領域決定部、２５ 手特定処理部、２６ 特徴量処理部、２７ 情報提示部。

Claims (5)

1. 認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れる手段と、
   複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出する手段と、
   前記各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する補正手段と、
   を含むことを特徴とする画像分析装置。
2. 請求項１に記載の画像分析装置において、
   前記補正手段は、前記各動画像データから検出された対象部分の検出位置の情報に含まれる座標値のうち、指定された軸方向の座標値を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正することを特徴とする画像分析装置。
3. 請求項２に記載の画像分析装置であって、
   前記補正手段は、前記各動画像データから検出された対象部分の検出位置の情報に含まれる、指定された軸方向の座標値から所定の統計情報を演算し、当該統計情報の比較に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正することを特徴とする画像分析装置。
4. コンピュータを用い、
   認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れ、
   複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出し、
   前記各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する、
   ことを特徴とする画像分析方法。
5. コンピュータに、
   認識対象体を互いに異なる位置から撮像して得た、複数の動画像データを受け入れる手順と、
   複数の動画像データのそれぞれに含まれる一連のフレーム画像データから、認識対象体の検出対象部分を検出する手順と、
   前記各動画像データから検出された対象部分の検出位置の情報を比較し、当該比較の結果に基づいて、各動画像データから検出された対象部分の検出位置の情報のうち少なくとも一部を補正する手順と、
   を実行させることを特徴とするプログラム。
   

Images