JP2005050284A - 動き認識装置および動き認識方法 - Google Patents

Abstract

【課題】ノイズや動きのぶれの影響が小さく、しかも物体の動きを高い精度で検出することができる動き認識装置を提供する。
【解決手段】 動き認識装置Ｕ１は、演算装置１および撮像装置２を備える。演算装置１は、画像抽出部１１で撮像装置２によって撮像された画像から、対象物タクトの画像と、関連変位物体であるマーカー、手袋、袖の画像を抽出する。画像中で抽出された対象物および関連変位物体の部分から、対象物および関連変位物体の部分の重心値を重心算出部１２でそれぞれ算出する。動き検出部１３では、対象物および関連変位物体の部分の重心値から、対象物であるタクトＴの動きを検出する。
【選択図】 図１

Description

本発明は、検出対象物の動きを認識する動き認識装置および動き認識方法に関する。

カメラなどの撮像装置で撮像された物体の動作を検出する手段として、特開平１０−２５５０５８号公報に開示された動作検出装置および動作検出方法がある。この動作検出装置は、時系列に撮像された複数の画像から被写体の特定の動作を検出するものであり、複数の画像を時系列に蓄積し、蓄積された連続する画像間での予め定められた領域内の動きベクトルを算出し、特定の動作に関する動きベクトルの確率分布を記憶し、これらの動きベクトルおよび確率分布から得られる評価値によって、特定の動作を検出するというものである。

また、物体の時系列の動き情報にある時間関数をあてはめ、その時間関数に基づいて、動きを認識する方法もある。
特開平１０−２５５０５８号公報

しかし、上記特許文献１に開示された動作検出方法では、動きベクトルは、時系列の動き情報から得られた数値により決定されるので、ノイズや動きのぶれ（個人差、環境）により数値が変動する。そのため、動きベクトルによる動作認識では、ノイズや動きのぶれを考慮した認識ロジックを要するという問題があった。

また、物体の時系列の動き情報に時間関数をあてはめる方法では、物体の動きと時間関数の関係がわからないと、間違った関数をあてはめてしまうことになり、特に、複雑な動きに時間関数をあてはめようとした場合に、そのあてはめが困難となる。したがって、物体の動きの認識精度を高いものとすることができないという問題もあった。

そこで、本発明の課題は、ノイズや動きのぶれの影響が小さく、しかも物体の動きを高い精度で検出することができる動き認識装置および動き認識方法を提供することにある。

上記課題を解決した本発明の係る動き認識装置は、対象物および対象物の動きに関連するとともに対象物の変位と異なる変位が生じる関連変位物体を撮像する撮像手段と、撮像手段で撮像された対象物および関連変位物体の部分を抽出する物体部分抽出手段と、対象物および関連変位物体の部分の変化に基づいて、対象物の動きを検出する動き検出手段と、を備えるものである。

本発明に係る動き認識装置では、対象物の動きを検出するにあたり、対象物の動きに関連するとともに対象物の変位と異なる変位が生じる関連変位物体の動きも検出している。このため、関連変位物体の動きとの相対的な関係で対象物の動きを検出することができるので、対象物の動きを高い精度で検出することができる。また、関連変位物体との関係を考慮することにより、ノイズの動きやぶれといった要素による変動を小さくすることができる。

ここで、物体部分抽出手段で抽出された対象物および関連変位物体の重心を求める重心算出手段を備え、対象物および関連変位物体の変化が、重心算出手段で求められた対象物および関連変位物体の重心の変化である態様とすることができる。

対象物および関連変位物体の重心の変化によって対象物の動きを求めることにより、対象物の動きを検出する際の演算量を少なくすることができる。

また、上記課題を解決した本発明に係る動き認識装置は、対象物を撮像する撮像手段と、撮像手段で撮像された対象物の部分を抽出する物体部分抽出手段と、物体部分抽出手段で検出された対象物の重心を求める重心算出手段と、物体部分抽出手段で抽出された対象物のエッジを検出するエッジ検出手段と、重心算出手段で求められた対象物の重心およびエッジ検出手段で求められた対象物のエッジに基づいて、対象物の形状を検出する対象物形状算出手段と、対象物形状検出手段で検出された対象物の形状に基づいて、対象物の動きを検出する動き検出手段と、を備えるものである。

本発明に係る動き認識装置では、対象物の形状を求め、対象物の形状に基づいて対象物の動きを検出している。このため、対象物の動きを高い精度で検出することができる。また、関連変位物体との関係を考慮することにより、ノイズの動きやぶれといった要素による変動を小さくすることができる。

また、上記課題を解決した本発明に係る動き認識装置は、対象物を撮像する撮像手段と、対象物の動きに基づく特徴量を検出する特徴量検出手段と、対象物の特徴量に関連付けられ、かつ対象物の特徴量とは異なる特徴量関連情報を検出する関連情報検出手段と、特徴量と特徴量関連情報との関連を学習する特徴量関連情報学習手段と、特徴量関連情報を記憶する特徴量関連情報記憶手段と、対象物の動きに基づく特徴量と特徴量関連情報との比較に基づいて、対象物の動きを検出する動き検出手段と、を備えるものである。

本発明に係る動き認識装置では、対象物の動きに基づく特徴量を検出するとともに、対象物の特徴量に関連付けられ、対象物の特徴量とは異なる特徴量関連情報を利用している。これらの特徴量と特徴量関連情報とを学習し、比較することによって対象物の動きを検出するようにしている。このため、対象物の動きを高い精度で検出することができる。また、関連変位物体との関係を考慮することにより、ノイズの動きやぶれといった要素による変動を小さくすることができる。

ここで、特徴量関連情報学習手段が、新しい特徴量関連情報を学習したときに、既に学習した特徴量関連情報を破棄する特徴量関連情報破棄手段を備える態様とするのが好適である。

このような特徴量関連情報破棄手段を備えることにより、学習した特徴量関連情報を新しいものに更新することができる。したがって、特徴量関連情報記憶手段の負荷を軽減することができるとともに、迅速な処理を可能なものとする。

このとき、特徴量関連情報を古い順に破棄する態様とするのが好適である。古い情報から破棄することにより、常に新しい情報に基づいて動き検出を行うことができる。

さらに、特徴量と、特徴量関連情報との関係のタイミングを調整する時間調整手段を備えるのが好適である。

このような時間調整手段が設けられていることにより、特徴量と特徴量関連情報との間に時間的なずれが生じている場合でも、タイミング調整をすることにより、確実に両者の関係を検出することができる。

また、上記課題を解決した本発明に係る動き認識方法は、対象物および対象物の動きに関連するとともに対象物の変位と異なる変位が生じる関連変位物体を撮像し、撮像された対象物および関連変位物体の部分を抽出し、対象物および関連変位物体の部分の変化に基づいて、対象物の動きを検出して、対象物の動きを認識することを特徴とする。

ここで、抽出された対象物および関連変位物体の重心を求め、対象物および関連変位物体の重心の変化に基づいて、対象物の動きを検出して、対象物の動きを認識する態様とするのが好適である。

また、上記課題を解決した本発明に係る動き認識方法は、対象物を撮像し、撮像された対象物の部分を抽出し、抽出された対象物の重心を求め、対象物のエッジを検出し、対象物の重心およびエッジに基づいて、対象物の形状を検出し、対象物の形状に基づいて、対象物の動きを検出して、対象物の動きを認識することを特徴とする。

さらに、上記課題を解決した本発明に係る動き認識方法は、対象物を撮像し、対象物の動きに基づく特徴量を検出し、対象物の特徴量に関連付けられ、かつ対象物の特徴量とは異なる特徴量関連情報を検出し、特徴量と特徴量関連情報との関連を学習し、特徴量関連情報を記憶し、対象物の動きに基づく特徴量と特徴量関連情報との比較に基づいて、対象物の動きを検出して、対象物の動きを認識することを特徴とする。

ここで、特徴量関連情報学習手段が、新しい特徴量関連情報を学習したときに、既に学習した特徴量関連情報を破棄する態様とするのが好適である。

さらに、特徴量関連情報を古い順に破棄する態様とするのが好適である。

そして、特徴量と、特徴量関連情報との関係のタイミングを調整する態様とするのがさらに好適である。

以上のとおり、本発明によれば、ノイズや動きのぶれの影響が小さく、しかも物体の動きを高い精度で検出することができる動き認識装置および動き認識方法を提供することができる。

以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。

図１は、本発明の第１の実施形態に係る動き認識装置のブロック構成図である。本実施形態から第５の実施形態については、楽団の演奏指揮をする指揮者が操作するタクトの動きを例にとって説明する。

図１に示すように、本実施形態に係る動き認識装置Ｕ１は、演算装置１を有しており、演算装置１は、画像抽出部１１、重心算出部１２、および動き検出部１３を備えている。また、演算装置１には、撮像装置２および表示装置３が接続されている。撮像装置２は、本実施形態における動き認識の対象物となるタクトおよびタクトの動きに関連するとともに変位と異なる変位が生じる関連変位物体であるタクト先端のマーカー、指揮者の手、洋服の袖などを同時に撮像し、演算装置１に出力している。また、表示装置３は、演算装置１で認識されたタクトの動きを表示している。

演算装置１における画像抽出部１１では、撮像装置２から出力された画像のうち、対象物となるタクトの部分の色や輝度などの画像上の特徴量を参照して、タクトの部分を他の部分から分離して抽出する。それとともに、タクトの変位と異なる変位が生じる他の物体であるタクトの先端に設けられたマーカー、指揮者の手、洋服の袖など、タクトの動きと関連して動く物体の部分も、それらの色や輝度などの特徴量を参照して他の部分から抽出する。重心算出部１２は、画像抽出部１１で抽出されたタクト、およびマーカー、指揮者の手、袖の各部分から、それらの重心をそれぞれ算出する。さらに、動き検出部１３は、重心算出部１２で算出されたタクト、マーカー、指揮者の手、および袖のそれぞれの重心移動量を算出し、それらの時系列変化に基づいて、タクトの動きを検出する。検出したタクトの動きは、表示装置３に出力されて表示される。

次に、本実施形態に係る動き認識装置を用いた動き認識方法について図１および図２を参照して説明する。図２は、本発明の第１の実施形態に係る動き認識方法の手順を示すフローチャートである。図２に示すように、まず、撮像装置２で撮像した画像の１つのフレームを演算装置１の画像抽出部１１に出力する（Ｓ１）。画像抽出部１１では、出力された画像を色空間に変換する（Ｓ２）。続いて、画像を変換して得られた色空間から、色領域を形成する部分のそれぞれについて、Ｃ色領域を抽出する（Ｓ３）。この実施形態では、Ｃ＝０〜ｎの色領域が抽出されたとする。

色領域を抽出したら、Ｃ＝０のＣ色領域について、抽出されたＣ色領域を統合処理する（Ｓ４）。統合処理されたＣ色領域は、重心算出部１２に出力される。重心算出部１２では、Ｃ色領域が占める領域から、Ｃ色領域の重心値を算出する（Ｓ５）。Ｃ＝０についてのＣ色領域の重心を算出したら、Ｃのカウントをアップし（Ｓ６）、Ｃ＝ｎとなったか否かを判断する（Ｓ７）。Ｃ＝ｎに到達していない場合には、ステップＳ３に戻り、Ｃ＝ｍ＋１（Ｃ＝１）の領域について、同様の処理を行う。

そうして、１つのフレームにおいて、Ｃ＝０〜ｎについて、重心値の計算が済んだら、複数のフレームがあるか否かを判断する（Ｓ８）。その結果、複数のフレームがない場合には、ステップＳ１に戻り、次のフレームの画像について、同様の処理を繰り返す。一方、複数のフレームが揃っている場合には、重心算出部１２から、各フレームにおけるｎ個の色領域の重心値を動き検出部１３に出力する（Ｓ９）。動き検出部１３では、複数のフレームに対する色領域の重心値により、対象物であるタクトの動きを検出する（Ｓ１０）。動き検出部１３における動き検出は、次のようにして行われる。

撮像装置２で撮像された画像の例を図３に示す。図３（ａ）は、第一フレームにおけるタクトを撮像した画像、（ｂ）は、第一フレームを撮像してから一定時間経過した後におけるタクトを撮像した画像の概略図である。図３（ａ）に示すように、第一フレームＦ１には、タクトＴ、タクトＴの先端に取り付けられたマーカーＭ、タクトＴを持つ指揮者の手袋Ｇ、指揮者が着る服の袖Ｓが撮像されている。これが、一定時間経過した後に撮像された第二フレームＦ２では、手袋Ｇが下方に振り下ろされ、手袋ＧとともにタクトＴ、マーカーＭ、および袖Ｓも下方に下がっている。これらの各フレームに対応する色空間変換した画像の模式図を図４に示す。図４（ａ）には、図３に示す第一フレームＦ１の色空間変換画像である第一色空間変換画像ＦＣ１が示され、図４（ｂ）には、第二フレームＦ２の色空間変換画像である第二色空間変換画像ＦＣ２が示されている。撮像装置２で撮像されたマーカーＭが赤色、タクトＴが黄色、手袋Ｇが肌色、袖Ｓが黒色をしているとすると、色空間変換処理により、図４（ａ），（ｂ）に示すマーカーＭ、タクトＴ、手袋Ｇ、および袖Ｓがそれぞれ別の物体として認識される。これらの物体ごとに、それぞれ重心Ｐ１〜Ｐ４を両色空間変換画像ごとに求める。動き検出部１３では、第一色空間変換画像ＦＣ１における重心Ｐ１〜Ｐ４の位置と、第二色空間変換画像ＦＣ２における移動後の重心Ｐ１′〜Ｐ４′の位置とを比較し、この比較結果により、タクトＴの動きを検出する。

ここで、本実施形態に係る動き認識装置Ｕ１では、タクトＴの重心Ｐ２，Ｐ２′を第一色空間変換画像ＦＣ１と第二色空間変換画像ＦＣ２との間で比較することにより、タクトの動きを検出している。このため、ノイズの動きやぶれといった要素による変動を小さくすることができ、精度の高い検出を行うことができる。また、タクトＴの動きに関連するとともにタクトＴの変位と異なる変位が生じる異変位として、マーカーＭ、手袋Ｇ、および袖Ｓの動きをも比較している。このため、対象物のみの比較と比べて、ノイズやぶれによる画像上の特徴量の変動を補償することができる。したがって、対象物であるタクトＴの移動をさらに高い精度で検出することができる。

こうして、検出されて認識されたタクトＴの動きは、動き検出部１３から表示装置３に出力され、表示装置３に表示される。

このように、本実施形態に係る動き認識装置では、ノイズやぶれによる画像における画像上の特徴量の変動を補償することができるので、高い精度で対象物であるタクトＴの動きを検出することができる。また、時系列の動き情報に時間関数をあてはめるなどの処理を必要としないので、高い精度でタクトＴの動きを認識することができる。

次に、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態に係る動き認識装置のブロック構成図である。図５に示すように、本実施形態に係る動き認識装置Ｕ２は、演算装置２０を有しており、演算装置２０は、画像抽出部２１、重心算出部２２、エッジ検出部２３、形状算出部２４、および動き検出部２５を備えている。また、演算装置２０には、撮像装置２および表示装置３が接続されている。撮像装置２は、本実施形態における動き認識の対象物となるタクトのほか、タクト先端のマーカー、指揮者の手、洋服の袖などを同時に撮像し演算装置２０に出力している。また、表示装置３は、動き認識装置Ｕ１で認識されたタクトの動きを表示している。

演算装置２０における画像抽出部２１では、対象物となるタクトの色や輝度などの特徴量を参照して、撮像装置２から出力された画像のうち、タクトの部分を他の部分から分離して抽出する。重心算出部２２は、画像抽出部１１で抽出されたタクトの部分の重心を算出する。エッジ検出部２３は、画像抽出部２１で抽出されたタクトの部分を含む画像にエッジ処理を施し、タクトの部分のエッジ部を検出する。形状算出部２４は、重心算出部２２算出された画像中におけるタクト部分の重心およびエッジ検出部２３で検出されたタクト部分のエッジに基づいて、タクトの形状を算出する。動き検出部２５では、形状算出部２４で算出されたタクトの部分における形状の時系列変化に基づいて、タクトの動きを検出する。

次に、本実施形態に係る動き認識装置による動き認識方法について図５および図６を参照して説明する。図６は、本発明の第２の実施形態に係る動き認識方法の手順を示すフローチャートである。図６に示すように、本実施形態に係る動き認識方法では、撮像装置２で撮像した画像の１つのフレームを演算装置２０における画像抽出部２１に出力する（Ｓ１１）。画像抽出部２１では、出力された画像を色空間に変換する（Ｓ１２）。続いて、画像を変換して得られた色空間から、タクトの色を表すタクト色領域を形成する部分を抽出する（Ｓ１３）。画像抽出部２１は、抽出したタクト色領域を重心算出部２２およびエッジ検出部２３に出力する。重心算出部２２では、出力されたタクト色領域から、タクト色領域の重心値を算出し（Ｓ１４）、形状算出部２４に出力する。その一方、エッジ検出部２３では、出力されたタクト色領域から、画像中におけるタクトの輪郭エッジを検出し（Ｓ１５）、形状算出部２４に出力する。

形状算出部２４では、出力されたタクト色領域の重心値およびタクトの輪郭エッジから、タクトの部分の形状を算出する（Ｓ１６）。タクト部分の形状の算出は図７に示すフローチャートに沿って行われる。このタクト部分の形状の算出を、図８をも参照して説明する。図８に示すように、フレームＦ中におけるタクトＴの重心Ｃから放射状に線Ｌ１，Ｌ２…（以下、「放射線」という）を引く（Ｓ２１）。次に、これらの放射線とタクトＴの輪郭エッジとの交点Ｃ１，Ｃ２…を求め、タクトＴの重心Ｃから各交点Ｃ１，Ｃ２…までの距離をそれぞれ求める（Ｓ２２）。こうして求めた重心Ｃと複数の交点Ｃ１，Ｃ２との距離を、図９に示すように、横軸に放射線の角度、縦軸に重心Ｃと交点Ｃ１，Ｃ２…との距離を取ったグラフに表す（Ｓ２３）。このグラフがタクトＴの形状を示すグラフとなる。

図６に戻り、こうして、１つのフレームでタクトＴの形状を求めたら、複数のフレームがあるか否かを判断する（Ｓ１７）。その結果、複数のフレームがない場合には、ステップＳ１１に戻って次のフレームの画像について、同様の処理を繰り返す。一方、複数のフレームが揃っている場合には、各フレームにおけるタクトＴの形状を比較して、タクトＴの動きを検出する（Ｓ１８）。たとえば、図３に示す画像を撮像装置２が撮像した場合におけるタクトの形状を抽出した第一フレームの画像を図１０（ａ）に示し、第二フレームの画像を図１０（ｂ）に示す。図１０（ａ）に示す第一フレームＦ１の画像では、タクトＴは、画面上方に位置しており、図１０（ｂ）に示す第二フレームＦ２の画像では、タクトＴは画面下方に移動しており、タクトＴの形状の変化をも検出することができる。さらに、たとえばタクトを４拍子で動かした場合の変化を図１１に示す。図１１（ａ）は第一フレームＦ１に表示された１拍子目、（ｂ）は第二フレームＦ２に表示された２拍子目、（ｃ）は第三フレームＦ３に表示された３拍子目、（ｄ）は第四フレームＦ４に表示された４拍子目のタクトＴの画像を示している。これらの
場合の横軸に放射線の角度、縦軸に重心と交点…との距離を取ったグラフは、それぞれ図１２（ａ）〜（ｄ）に示すようになる。

こうして検出されて認識されたタクトの動きは、動き検出部２５から表示装置３に出力され、表示装置３に表示される。

このように、本実施形態に係る動き認識装置Ｕ２では、特徴量として、色のみならず対象物の形状をも利用して動き検出を行っている。このため、高い精度で対象物であるタクトＴの動きを検出することができる。また、時系列の動き情報に時間関数をあてはめるなどの処理を必要としないので、高い精度でタクトＴの動きを認識することができる。また、手袋やマーカーなど、他の物体の有無によらず、高い精度でタクトの動きを認識することができる。

次に、本発明の第３の実施形態について説明する。図１３は、本発明の第３の実施形態に係る動き認識装置のブロック構成図である。図１３に示すように、本実施形態に係る動き認識装置Ｕ３は、演算装置３０を有しており、演算装置３０は、画像抽出部３１、重心算出部３２、本発明の特徴量検出手段である特徴量検出部３３、本発明の特徴量関連情報学習手段であるトリガー情報学習部３４、動き検出部３５、および学習モデル記憶部３６を備えている。また、演算装置３０には、撮像装置２、表示装置３のほか、本発明の関連情報検出手段であるトリガー入力装置４が接続されている。撮像装置２は、タクト、タクト先端のマーカー、指揮者の手、洋服の袖などを同時に撮像し、演算装置３０に出力している。また、表示装置３は、動き認識装置Ｕ３で認識されたタクトの動きを表示している。さらに、トリガー入力装置４は、対象物の特徴量に関連付けられ、かつ対象物の特徴量とは異なる特徴量関連情報である音声を集音している。楽団は、指揮者のタクトの動きによって演奏態様が決定されているので、楽団の発する音声は、タクトの動きと関連付けされている。トリガー入力装置４は、所定の音声を入力した際には、音声入力信号を演算装置３０に出力する。

演算装置３０における画像抽出部３１では、タクトの先端に設けられた対象物となるマーカーの色などの画像中における特徴量により、撮像装置２から出力された画像のうち、マーカーの部分を他の部分から分離して抽出する。重心算出部３２は、画像抽出部３１で抽出されたマーカーの部分の重心値を算出し、特徴量検出部３３に出力する。特徴量検出部３３は、重心算出部３２で算出された重心値の時系列的な変化に基づいて、本発明の特徴量となる対象物の重心の変化を検出する。トリガー情報学習部３４は、トリガー入力装置４から出力したトリガーとなる音声および特徴量検出部３３で検出された特徴量に基づいて、トリガー情報を学習し、学習モデル記憶部３６に出力する。動き検出部３５は、特徴量検出部３３で検出された特徴量および学習モデル記憶部３６に記憶された学習モデルに基づいて、対象物の動きを検出する。学習モデル記憶部３６は、トリガー情報学習部３４で学習したトリガー情報を学習モデルとして記憶しており、トリガー情報を動き検出部３５に出力する。

次に、本実施形態に係る動き認識装置による動き認識方法について説明する。本実施形態に係る動き認識装置Ｕ３では、トリガー情報を学習して記憶する工程と、学習して記憶したトリガー情報に基づいて、動き認識を行う工程とにそれぞれ特徴がある。まず、そのうちのトリガー情報を記憶する工程について図１３〜図１６を参照して説明する。図１４は、本発明の第３の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。

トリガー情報を学習し記憶する際には、図１４に示すように、まず、撮像装置２で撮像した画像を演算装置３０の画像抽出部３１に出力する（Ｓ３１）。画像抽出部３１では、出力された画像を色空間に変換する（Ｓ３２）。続いて、画像を変換して得られた色空間から、タクトの先端に設けられた対象物となるマーカーの色領域を抽出する（Ｓ３３）。この抽出された色領域は、画像抽出部３１から重心算出部３２に出力される。重心算出部３２では、出力された色領域に基づいて、マーカーの色領域の重心値を算出する（Ｓ３４）。重心算出部３２は、算出した重心値を特徴量検出部３３に出力する。特徴量検出部３３では、出力された重心値に基づいて、マーカーの特徴量の変化となる重心値の移動量の時系列的な変化を検出し、トリガー情報学習部３４および動き検出部３５に出力する。

その一方、トリガー入力装置４では、トリガーとなる音声が入力されたときには、音声入力信号を演算装置３０におけるトリガー情報学習部３４に出力する。トリガー情報学習部３４には、特徴量検出部３３からマーカーの特徴量が出力されるとともに、トリガー入力装置４が所定の音声を入力した際に音声入力信号がトリガーとしてトリガー入力装置４から出力される。トリガー情報学習部３４では、トリガー入力装置４からのトリガーの出力があったか否かを判断する（Ｓ３５）。その結果、トリガーが出力されなかった場合には、ステップＳ３１に戻り、同様の手順を繰り返す。一方、トリガーが出力された場合には、トリガー情報を学習する（Ｓ３６）。

ここでいうトリガー情報について、図１５、図１６を参照して説明する。図１５（ａ）は、４拍子でタクトを振る状態を撮像した画像を示した図、（ｂ）は、（ａ）に示す画像を色空間変換し、マーカーの部分の動きを示した画像を示す図、図１６は、重心値の経時変化を示すグラフである。図１５（ａ）に示すように、第一フレームＦ１に表示される手袋Ｇによって動かされるタクトＴの先端に設けられたマーカーＭが軌跡Ｋを描いたとする。この画像を、（ｂ）に示すように色空間に変換した第一色空間変換画像ＦＣ１上における軌跡Ｋ上をマーカーが移動する際に、所定の音声の入力があったときの位置を軌跡Ｋの点Ｔ１〜Ｔ５にそれぞれ示す。そして、このような軌跡Ｋ上をマーカーＭが通過した際のマーカーＭにおける特徴量としての重心座標値の時系列的な波形の変化を図１６に示す。縦軸にとる重心値の座標は、たとえば画像上のＸＹ座標のいずれでも良いし、それらを加減した座標でもよい。マーカーＭの重心値が図１６に示す波形Ｗのように経時変化するとともに、点Ｔ１〜Ｔ５のそれぞれにトリガーの入力があったとする。この場合に、トリガーの入力があった際の直前における一定時間の波形をトリガー情報（正解情報）の学習モデル（特徴量関連情報）として学習する。具体的に、最初にトリガー入力があった点Ｔ１の直前一定時間の実線で示す波形Ｗ（＋１）を正解情報（＋１）の学習モデルとする。また、波形Ｗ１のさらに直前における破線で示す波形Ｗ（−１）を正解情報（−１）の学習モデルとする。同様に、次のトリガー入力があった点Ｔ２の直前一定時間の実線で示す波形Ｗ（＋２）を正解情報（＋２）の学習モデルとし、その直前の破線で示す波形Ｗ（−２）を正解情報（−２）の学習モデルとしてそれぞれ学習する。同様にして波形Ｗ（＋３）、Ｗ（＋５）を、それぞれ正解情報（＋３）、（＋５）の学習モデルとし、波形Ｗ（−３）、Ｗ（−５）を、それぞれ正解情報（−３）、（−５）とする。ただし、点Ｔ４のように、トリガー入力があった後、所定時間が経過する前に再びトリガー入力があった場合には、安定したデータが得られない可能性がある。したがって、この場合の波形Ｗ４は、学習モデルとして学習することなく破棄する。このようにしてトリガー情報を学習する。

こうして、トリガー情報を学習したら、トリガー情報学習部３４は、学習したトリガー情報を学習モデル記憶部３６に出力する。学習モデル記憶部３６では、出力されたトリガー情報を学習モデルとして追加して記憶する（Ｓ３７）。こうして、トリガー情報を学習して記憶する工程が終了する。

次に、学習して記憶したトリガー情報に基づいて、動き認識を行う工程について図１３および図１７を参照して説明する。図１７は、本実施形態に係る動き認識方法における動き認識を行う工程を示すフローチャートである。図１７に示すように、動き認識を行う際には、まず、学習モデル記憶部３６から動き検出部３５に対して学習モデルを出力する（Ｓ４１）。このとき、動き検出部３５には、複数の学習モデルが出力される。次に、撮像装置２で撮像した画像を画像抽出部３１に出力する（Ｓ４２）。続いて、画像抽出部３１では、出力された画像を色空間に変換する（Ｓ４３）。さらに、画像を変換して得られた色空間から、タクトの先端に設けられた対象物となるマーカーの色領域を抽出する（Ｓ４４）。抽出された色領域は、画像抽出部３１から重心算出部３２に出力される。重心算出部３２では、出力された色領域から、マーカーの色領域の重心値を算出する（Ｓ４５）。重心算出部３２は、算出した重心値を特徴量検出部３３に出力する。

特徴量検出部３３では、では、複数のフレームの重心値があるか否かを判断する（Ｓ４６）。その結果、複数のフレームがない場合には、ステップＳ４２に戻って同様の処理を繰り返す。一方、複数のフレームがある場合には、複数のフレームにおけるマーカーの重心値から、マーカーの特徴量となる重心値の変化を求め、動き検出部３５に出力する。動き検出部３５では、特徴量検出部３３から検出された特徴量および学習モデル記憶部３６から出力された学習モデルを比較する（Ｓ４７）。この学習モデルとの比較を行うことにより、ノイズやぶれによる特徴量の変動を補償しながらマーカーの動きを検出することができる。

このようにして、あらかじめ求めた学習モデルと比較しながらマーカーの動きを検出しているので、高い精度で対象物であるマーカーの動きを検出することができる。また、時系列の動き情報に時間関数をあてはめるなどの処理を必要としないので、高い精度でマーカーの動きを認識することができる。

次に、本発明の第４の実施形態について説明する。図１８は、本発明の第４の実施形態に係る動き認識装置のブロック構成図である。図１８に示すように、本実施形態に係る動き認識装置Ｕ４は、演算装置４０を有しており、演算装置４０は、画像抽出部４１、重心算出部４２、本実施形態におけるであるトリガー情報学習部４４、動き検出部４５、学習モデル記憶部４６、および本実施形態における特徴量関連情報破棄手段であるトリガー情報廃棄部４７を備えている。

また、演算装置４０には、撮像装置２、表示装置３、およびトリガー入力装置４が接続されている。撮像装置２は、タクト、タクト先端のマーカー、指揮者の手、洋服の袖などを同時に撮像し、演算装置４０に出力している。また、表示装置３は、動き認識装置Ｕ４で認識されたタクトの動きを表示している。さらに、トリガー入力装置４は、音声を集音しており、所定の音声を入力した際には、音声入力信号を演算装置４０に出力する。

演算装置４０における画像抽出部４１では、タクトの先端に設けられた対象物となるマーカーの色などの画像中における特徴量により、撮像装置２から出力された画像のうち、マーカーの部分を他の部分から分離して抽出する。重心算出部４２は、画像抽出部４１で抽出されたマーカーの部分の重心値を算出する。特徴量検出部４３は、重心算出部３２で算出された重心値の時系列的な変化に基づいて、対象物の重心の変化を検出する。トリガー情報学習部４４は、トリガー入力装置４から出力したトリガーおよび特徴量検出部４３から出力されたマーカーの特徴量に基づいて、トリガー情報を学習し、学習モデル記憶部４６に出力する。動き検出部４５は、特徴量検出部４３から出力された特徴量および学習モデル記憶部４６から出力された学習モデルに基づいて、対象物の動きを検出する。学習モデル記憶部４６は、トリガー情報学習部４４で学習したトリガー情報を学習モデルとして記憶しており、この学習モデルを動き検出部４５に適宜出力する。トリガー情報廃棄部４７には、トリガー情報学習部４４から新たなトリガー情報が学習モデル記憶部４６に出力された際に、最も古い学習モデルを学習モデル記憶部４６から廃棄信号がトリガー情報学習部４４から出力される。トリガー情報廃棄部４７は、出力された信号に基づいて、学習モデル記憶部４６に記憶された学習モデルのうち、もっとも古い学習モデルを廃棄する。

本実施形態に係る動き認識装置Ｕ４では、上記第３の実施形態と同様、トリガー情報を学習して記憶する工程と、学習して記憶したトリガー情報に基づいて、動き認識を行う工程とがある。このうち、上記第３の実施形態と比較して、トリガー情報を学習して記憶する工程が若干異なり、動き認識を行う工程はほとんど同じである。そこで、以下にトリガー情報を学習して記憶する工程について説明する。

図１９は、第４の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。トリガー情報を学習し記憶する際には、図１９に示すように、まず、撮像装置２で撮像した画像を演算装置４０の画像抽出部４１に出力する（Ｓ５１）。画像抽出部４１では、出力された画像を色空間に変換する（Ｓ５２）。続いて、画像を変換して得られた色空間から、タクトの先端に設けられた対象物となるマーカーの色領域を抽出する（Ｓ５３）。この抽出された色領域は、画像抽出部４１から重心算出部４２に出力される。重心算出部４２では、出力された色領域に基づいて、マーカーの色領域の重心値を算出する（Ｓ５４）。重心算出部４２は、算出した重心値を特徴量検出部４３およびトリガー情報学習部４４に出力する。特徴量検出部４３では、出力された重心値に基づいて、マーカーの特徴量の変化となる重心値の移動量の時系列的な変化を検出し、トリガー情報学習部４４および動き検出部４５に出力する。

その一方、トリガー入力装置４では、トリガーとなる音声が入力されたときには、音声入力信号を演算装置４０におけるトリガー情報学習部４４に出力する。トリガー情報学習部４４には、特徴量検出部４３からマーカーの特徴量が出力されるとともに、トリガー入力装置４が所定の音声を入力した際に音声入力信号がトリガー入力装置４から出力される。トリガー情報学習部４４では、トリガー入力装置４からのトリガー（音声入力信号）の出力があったか否かを判断する（Ｓ５５）。その結果、トリガーが出力されなかった場合には、ステップＳ５１に戻り、同様の手順を繰り返す。一方、トリガーが出力された場合には、トリガー情報を学習する（Ｓ５６）。このトリガー情報は、上記第３の実施形態に係るトリガー情報と同様のものである。

こうして、トリガー情報を学習したら、トリガー情報学習部４４は、学習したトリガー情報を学習モデル記憶部４６に出力する。学習モデル記憶部４６では、出力されたトリガー情報を学習モデルとして追加して記憶する（Ｓ５７）。その一方、トリガー情報学習部４４は、学習モデル記憶部４６にトリガー情報を出力した際に、トリガー情報学習部４４からトリガー情報廃棄部４７に廃棄信号が出力される。トリガー情報廃棄部４７では、廃棄信号が出力されることにより、学習モデル記憶部４６に記憶された学習モデルのうちもっとも古いものを廃棄する（Ｓ５８）。こうして、トリガー情報を学習して記憶するとともに、古いトリガー情報を廃棄する工程が終了する。

このように、本実施形態に係る動き認識装置Ｕ４における動き認識方法では、上記第３の実施形態と同様の作用効果を奏するほか、学習モデルを記憶する際に、古い学習モデルを廃棄している。このため、学習モデルのデータ長を一定にすることができ、演算装置にかかる負荷を軽減することができるので、処理の迅速化を図ることができる。

続いて、本発明の第５の実施形態について説明する。図２０は、本発明の第５の実施形態に係る動き認識装置のブロック構成図である。図２０に示すように、本実施形態に係る動き認識装置Ｕ５は、演算装置５０を有しており、演算装置５０は、画像抽出部５１、重心算出部５２、特徴量検出部５３、トリガー情報学習部５４、動き検出部５５、学習モデル記憶部５６、および本発明の時間調整手段である判定タイミング調整部５７を備えている。また、演算装置５０には、撮像装置２、表示装置３、およびトリガー入力装置４が接続されている。撮像装置２は、タクト、タクト先端のマーカー、指揮者の手、洋服の袖などを同時に撮像し、演算装置５０に出力している。また、表示装置３は、動き認識装置Ｕ５で認識されたタクトの動きを表示している。さらに、トリガー入力装置４は、対象物の特徴量に関連付けられ、かつ対象物の特徴量とは異なる特徴量関連情報である音声を集音している。トリガー入力装置４は、所定の音声を入力した際には、音声入力信号を演算装置５０に出力する。

演算装置５０における画像抽出部５１では、タクトの先端に設けられた対象物となるマーカーの色などの画像中における特徴量により、撮像装置２から出力された画像のうち、マーカーの部分を他の部分から分離して抽出する。重心算出部５２は、画像抽出部５１で抽出されたマーカーの部分の重心値を算出する。特徴量検出部５３は、重心算出部５２で算出された重心値の時系列的な変化に基づいて、本発明の特徴量となる対象物の重心の変化を検出する。トリガー情報学習部５４は、トリガー入力装置４から出力したトリガーとなる音声および特徴量検出部５３で検出されたに基づいて、トリガー情報を学習し、判定タイミング調整部５７に出力する。判定タイミング調整部５７では、トリガー情報学習部５４で学習したトリガー情報に対する一定時間のバイアスを学習し、学習モデル記憶部５６に出力する。学習モデル記憶部５６は、トリガー情報学習部３４で学習したトリガー情報を学習モデルとして記憶しており、この学習モデルを動き検出部３５に適宜出力する。動き検出部５５は、特徴量検出部で検出された特徴量および学習モデル記憶部５６から出力されたトリガー情報に基づいて、対象物の動きを検出する。

次に、本実施形態の動き認識装置における動き認識方法について説明する。図２１は、本発明の第５の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。

トリガー情報を学習し記憶する際には、図２１に示すように、まず、撮像装置２で撮像した画像を演算装置５０の画像抽出部５１に出力する（Ｓ６１）。画像抽出部５１では、出力された画像を色空間に変換する（Ｓ６２）。続いて、画像を変換して得られた色空間から、タクトの先端に設けられた対象物となるマーカーの色領域を抽出する（Ｓ６３）。この抽出された色領域は、画像抽出部５１から重心算出部５２に出力される。重心算出部５２では、出力された色領域に基づいて、マーカーの色領域の重心値を算出する（Ｓ６４）。重心算出部５２は、算出した重心値を特徴量検出部５３およびトリガー情報学習部５４に出力する。特徴量検出部５３では、出力された重心値に基づいて、マーカーの特徴量の変化となる重心値の移動量の時系列的な変化を検出し、トリガー情報学習部５４および動き検出部５５に出力する。

その一方、トリガー入力装置４では、トリガーとなる音声が入力されたときには、音声入力信号を演算装置５０におけるトリガー情報学習部５４に出力する。トリガー情報学習部５４には、特徴量検出部５３で検出されたマーカーの特徴量が出力されるとともに、トリガー入力装置４が所定の音声を入力した際に音声入力信号がトリガー入力装置４から出力される。トリガー情報学習部５４では、トリガー入力装置４からのトリガー（音声入力信号）の出力があったか否かを判断する（Ｓ６５）。その結果、トリガーが出力されなかった場合には、ステップＳ６１に戻り、同様の手順を繰り返す。一方、トリガーが出力された場合には、トリガー情報を学習する（Ｓ６６）。

こうして、トリガー情報を学習したら、トリガー情報学習部５４は、学習したトリガー情報を判定タイミング調整部５７に出力する。判定タイミング調整部５７では、たとえばｔ時間のバイアスをトリガー情報とともに学習することにより、時間タイミングを調整する（Ｓ６７）。判定タイミング調整部５７は、時間タイミングの調整が行われたトリガー情報を学習モデル記憶部５６に出力する。学習モデル記憶部５６では、出力されたトリガー情報を学習モデルとして追加して記憶する（Ｓ６８）。こうして、トリガー情報を学習して記憶する工程が終了する。

続いて、学習して記憶したトリガー情報に基づいて、動き認識を行う工程について図２０および図２２を参照して説明する。図２２は、本実施形態に係る動き認識方法における動き認識を行う工程を示すフローチャートである。図２２に示すように、動き認識を行う際には、まず、学習モデル記憶部５６から動き検出部５５に対して学習モデルを出力する（Ｓ７１）。このとき、動き検出部５５には、複数の学習モデルが出力される。次に、撮像装置２で撮像した画像を画像抽出部５１に出力する（Ｓ７２）。続いて、画像抽出部５１では、出力された画像を色空間に変換する（Ｓ７３）。さらに、画像を変換して得られた色空間から、タクトの先端に設けられた対象物となるマーカーの色領域を抽出する（Ｓ７４）。抽出された色領域は、画像抽出部５１から重心算出部５２に出力される。重心算出部５２では、出力された色領域から、マーカーの色領域の重心値を算出する（Ｓ７５）。重心算出部５２は、算出した重心値を特徴量検出部５３に出力する。

特徴量検出部５３では、では、複数のフレームの重心値があるか否かを判断する（Ｓ７６）。その結果、複数のフレームがない場合には、ステップＳ７２に戻って同様の処理を繰り返す。一方、複数のフレームがある場合には、複数のフレームにおけるマーカーの重心値から、マーカーの特徴量となる重心値の変化を求め、動き検出部５５に出力する。

動き検出部５５では、特徴量検出部５３から検出された特徴量および学習モデル記憶部５６から出力された学習モデルを比較する（Ｓ７７）。この学習モデルとの比較を行うことにより、ノイズやぶれによる特徴量の変動を補償しながらマーカーの動きを検出することができる。また、ここで、動き検出部５５に出力されたトリガー情報には、ｔ時間のバイアスがともに学習されている。このため、たとえば図２３に示すように、バイアス中にあるｔ時間内に学習モデルに相当する変化が特徴量の変化に見られた場合には、この特徴量の変化に相当する部分が、トリガーに対応する部分であると判断することができる。したがって、このような特徴量の変化が見られた部分をトリガーがあった部分と判断することにより、タイミング調整を行うことができる。

このようにして、あらかじめ求めた学習モデルと比較しながらマーカーの動きを検出しているので、高い精度で対象物であるマーカーの動きを検出することができる。また、時系列の動き情報に時間関数をあてはめるなどの処理を必要としないので、高い精度でマーカーの動きを認識することができる。

次に、本発明の第６の実施形態について説明する。本実施形態および第７の実施形態については、車両を運転するドライバの動きを例にとって説明する。ドライバが車両を運転する際には、ハンドルの動きとそれを操作する手の動きと顔向きとの間に最適な関係があると考えられる。本実施形態では、それらを統合的に１つの特徴量として考え、顔を対象物とし、顔の動き（顔向き）に関連するとともに顔の変位と異なる変位が生じるハンドルとそれを操作する手を関連変位物体とする。

図２４は、第６の実施形態に係る動き認識装置のブロック構成図、図２５は、撮像装置を配置した車両内の状態を示す模式図である。図２４に示すように、本実施形態に係る動き認識装置Ｕ６は、演算装置６０を有しており、演算装置６０は、ハンドル画像抽出部６１、アフィン変換部６２、肌色領域抽出部６３、ハンドル−手距離算出部６４、右手・左手判定部６５、顔画像抽出部６６、顔向き判定部６７、特徴量検出部６８、および動き検出部６９を備えている。また、演算装置６０には、撮像装置２、ハンドル角度検出センサ５、および出力装置６が接続されている。

撮像装置２は、図２５に示すように、車両の天井部に取り付けられており、本実施形態における動き認識の対象物となるドライバの顔の動きに関連する関連物体であるドライバの右手ＲＨ、左手ＬＨ、ハンドルＳＴ、およびドライバの顔ＦＡなどを上方から撮像し、演算装置６０に出力している。また、ハンドル角度検出センサ５は、たとえばハンドルＳＴに接続された図示しないステアリングロッドに取り付けられており、ハンドルＳＴの切り角を検出し、演算装置６０に出力している。さらに、出力装置６は、演算装置６０で認識されたドライバの右手ＲＨ、左手ＬＨなどの動きに基づいて判断された車両の動きに危険があり、警告信号が演算装置６０から出力されたときに警報を発する。

演算装置６０におけるハンドル画像抽出部６１では、撮像装置２から出力された画像のうち、手ＨやハンドルＳＴの部分の画像中における特徴量、たとえば色を算出して、手の部分を他の部分から分離して抽出する。アフィン変換部６２では、ハンドル画像抽出部６１で抽出された手およびハンドルの部分をアフィン変換して、手およびハンドルを正面から見た状態に変換する。肌色領域抽出部６３では、アフィン変換された画像から、肌色に相当する部分を抽出する。ハンドル−手距離算出部６４では、抽出された肌色部分とハンドルの中心との距離から、ハンドルの中心と手との距離を算出する。右手・左手判定部６５では、抽出された肌色領域が、右手に相当するものであるか左手に相当するものであるかを判断する。

また、顔画像抽出部６６には、撮像装置２で撮像された画像が出力される。顔画像抽出部６６では、出力された画像中における顔に相当する部分が画面中の特徴量を算出するなどの手段で検出し、顔向き判定部６７に出力する。顔向き判定部６７では、抽出された顔画像に基づいて、運転者の顔の向きを判定する。特徴量検出部６８は、ハンドルの中心と手との距離、右手であるか左手であるか、顔向きなどの情報に基づいて、顔の動きの特徴量を検出して、動き検出部６９に出力する。動き検出部６９では、右手・左手判定部６５から出力される右手・左手情報、顔向き判定部６７から出力される顔向き情報、およびハンドル角度検出センサ５から出力されるハンドル角度情報に基づいて、車両の動きを検出している。また、この車両の動きに危険があると判断したときには、出力装置６に警告信号を出力する。

次に、本実施形態に係る動き認識装置を用いた動き認識方法について、主に図２４〜図２９を参照して説明する。図２６は、本実施形態に係る動き認識方法の手順を示すフローチャートである。図２６に示すように、まず、撮像装置２で撮像した画像の１つのフレームを演算装置６０のハンドル画像抽出部６１および顔画像抽出部６６に出力する（Ｓ８１）。ハンドル画像抽出部６１では、図２５に示すように、上方から撮像したハンドルＳＴ近傍の部分を抽出し、その後にアフィン変換部６２に出力する。アフィン変換部６２では、出力されたハンドルＳＴ近傍の画像をアフィン変換する（Ｓ８２）。図２７に示すように、アフィン変換前のハンドルＳＴ部分の画像ＦＢでは、上方から撮像された画像であるため、ハンドルＳＴがだ円形をなした状態で撮像されている。この画像をアフィン変換すると、図２８に示すアフィン変換画像ＦＨのように、ハンドルＳＴが円形となる。続いて、アフィン変換が済んだら、アフィン変換画像を肌色領域抽出部６３に出力する。肌色領域抽出部６３では、出力された画像から肌色領域を抽出する（Ｓ８３）。アフィン変換した画像において肌色領域を抽出したら、肌色領域抽出部６３からハンドル−手距離算出部６４に肌色領域の情報が出力される。ハンドル−手距離算出部６４では、ハンドルＳＴの座標と、抽出された肌色領域の座標とによって、ハンドルＳＴの中心から検出された肌色領域までの距離を算出する（Ｓ８４）。撮像装置２で撮像された肌色領域は、手の部分であると推定することができるので、ハンドルＳＴの中心から肌色領域までの距離は、ハンドルＳＴの中心から手までの距離と考えることができる。また、画像はアフィン変換されていることから、ここで算出された距離は、実際の距離に近いものとなる。そして、この距離がハンドルＳＴの半径よりも大きい場合には、ドライバはハンドルＳＴから手を離していることになる。一方、ハンドルＳＴの半径よりも小さい場合にも、ハンドルから手を離している可能性があるものとなる。

また、肌色領域の情報は、右手・左手判定部６５に出力される。右手・左手判定部６５では、アフィン変換した画像から抽出した肌色領域について、右手・左手判定部６５において、抽出された肌色領域が右手のものであるか左手のものであるかを判定する（Ｓ８５）。右手と左手との判定は、次のようにして行う。まず、図２８に一点鎖線で示すように、アフィン変換された画像ＦＨの幅方向の中央にハンドル対称線Ｘを設定する。このハンドル対象線よりも右側で、たとえば図２９（ａ−１）に示すような手ＨおよびハンドルＳＴなどが撮像された画像があるとする。このとき、肌色領域を検出すると、手Ｈが検出される。続いて、図２９（ａ−１）に示すように、この画像をエッジ処理した後、手Ｈにおける輪郭以外の部分のエッジ部分Ｅを検出する。このエッジ部分Ｅの角度により、右手か左手かを検出する。図２９（ａ−２）に示すように、エッジ部分Ｅの角度がハンドル対称線の平行な線Ｘ１に対して、中央下側の角度θが鋭角である場合には、右手であると判断することができる。逆に、図２９（ｂ−１）に示すような手Ｈについて、図２９（ｂ−２）に示すようにエッジ処理した画像が得られたとする。このように、ハンドル対称線Ｘに対して、中央下側の角度θが鈍角である場合には、左手であると判定することができる。ハンドル対称線Ｘの左側では、これと反対の判定を行うことができる。すなわち、エッジ部分とハンドル対称線とのなす角のうち、中央下側が鈍角である場合には左手、中央下側が鋭角である場合には、右手であると判定することができる。こうして、撮像された肌色部分が右手であるか左手であるかを判定したら、その判定結果が特徴量検出部６８に出力される。特徴量検出部６８では、肌色領域が算出された位置およびその肌色領域が右手であるか左手であるかに基づいて、ハンドル角度が判定される（Ｓ８６）。撮像装置２で撮像された画像において、たとえば左手が左側にあるときには、車両は直進していることが多い。また、右側に左手がある場合には、ハンドルが右に切られていることが多い。具体的なハンドルの切り角については、別途ハンドル角度検出センサ５によって検出され、動き検出部６９に出力される。

このようなハンドル角度の判定を行う一方、顔画像抽出部６６では、撮像装置２から出力された画像から、ドライバの顔部分を抽出する（Ｓ８７）。抽出した画像中における顔部分は、顔向き判定部６７に出力される。顔向き判定部６７では、出力された画像中における顔部分の形状等に基づいて、顔向きを判定する（Ｓ８８）。顔向きを判定したら、判定結果を特徴量検出部６８に出力する。他方、動き検出部６９には、ハンドル角度検出センサ５で検出されたハンドル角度が入力される。

特徴量検出部６８では、ハンドル角度や手の位置、さらには顔向きに基づいて、特徴量を算出し（Ｓ８９）、動き検出部６９に出力する。動き検出部６９では、出力された特徴量に基づいて、ドライバの顔向きの変化からドライバの運転状況を予測し、車両に危険があるか否かの判断を行う（Ｓ９０）。車両の危険の有無は、特徴量から次のように判断される。たとえば、ハンドルＳＴが切られていないのに顔向きが左右のいずれかを向いている場合や、ハンドルＳＴが右に切られているときに顔向きが左である場合には危険があると判断する。なお、ハンドル角度については、ハンドル角度検出センサ５から出力されるハンドル角度によって検証することができる。

このような危険が有るか否かの判断の結果、危険がないと判断した場合には、ステップＳ７１の戻って、同様の処理を繰り返す。一方、危険があると判断した場合には、動き検出部６９は、出力装置６に警告信号を出力し、出力装置６は、警報などの警告を施す（Ｓ９１）。

このようにして、ハンドル角度、ハンドルを操作する手の動き、および顔向きに基づいて求められた特徴量によって動き検出を行うことにより、ドライバの顔向きを確実に検出することができる。したがって、より確実な運転状況予測を行うことができる。

次に、本発明の第７の実施形態について説明する。図３０は、本発明の第７の実施形態に係る動き認識装置のブロック構成図である。図３０に示すように、本実施形態に係る動き認識装置Ｕ７は、演算装置７０を備えており、ハンドル画像抽出部７１、トリガー情報学習部７２、学習モデル記憶部７３、ハンドル−手距離算出部７４、右手・左手判定部７５、顔画像抽出部７６、顔向き判定部７７、特徴量検出部７８、および動き検出部７９を備えている。また、演算装置７０には、撮像装置２、トリガー入力装置４、ハンドル角度検出センサ５、および出力装置６が接続されている。

撮像装置２は、第６の実施形態と同様に、図２５に示すように、車両の天井部に取り付けられており、本実施形態における動き認識の対象物となるドライバの右手ＲＨ、左手ＬＨ、ハンドルＳＴ、およびドライバの顔ＦＡなどを上方から撮像し、演算装置７０に出力している。また、トリガー入力装置４は、ドライバが足で操作するブレーキペダルと接続されており、ブレーキペダルが操作された際に、トリガー信号を演算装置７０に出力する。ハンドル角度検出センサ５は、たとえばハンドルＳＴに接続された図示しないステアリングロッドに取り付けられており、ハンドルＳＴの切り角を検出し、演算装置７０に出力している。さらに、出力装置６は、演算装置７０で認識されたドライバの右手ＲＨ、左手ＬＨなどの動きに基づいて判断された車両の動きに危険があり、警告信号が演算装置７０から出力されたときに警報を発する。

演算装置７０におけるハンドル画像抽出部７１では、撮像装置２から出力された画像のうち、手ＨやハンドルＳＴの部分の画像中における特徴量、たとえば色を算出して、手の部分を他の部分から分離して抽出する。トリガー情報学習部７２は、トリガー入力装置４から出力したトリガーとなる音声および特徴量検出部７８で検出された特徴量に基づいて、トリガー情報を学習し、学習モデル記憶部７３に出力する。学習モデル記憶部７３は、トリガー情報学習部７２で学習したトリガー情報を学習モデルとして記憶しており、トリガー情報を動き検出部７９に出力する。

ハンドル−手距離算出部７４では、図示しないアフィン変換部で手およびハンドルの部分にアフィン変換され、肌色領域抽出部で肌色領域抽出された画像における抽出された肌色部分とハンドルの中心との距離から、ハンドルの中心と手との距離を算出する。右手・左手判定部７５では、抽出された肌色領域が、右手に相当するものであるか左手に相当するものであるかを判断する。

また、顔画像抽出部７６には、撮像装置２で撮像された画像が出力される。顔画像抽出部７６では、出力された画像中における顔に相当する部分が画面中の特徴量を算出するなどの手段で検出し、顔向き判定部７７に出力する。顔向き判定部７７では、抽出された顔画像に基づいて、運転者の顔の向きを判定する。特徴量検出部７８は、ハンドルの中心と手との距離、右手であるか左手であるか、顔向きなどの情報に基づいて、顔の動きの特徴量を検出して、動き検出部７９に出力する。動き検出部７９では、右手・左手判定部７５から出力される右手・左手情報、顔向き判定部７７から出力される顔向き情報、およびハンドル角度検出センサ５から出力されるハンドル角度情報に基づいて、車両の動きを検出している。また、この車両の動きに危険があると判断したときには、出力装置６に警告信号を出力する。

次に、本実施形態に係る動き認識装置による動き認識方法について説明する。本実施形態に係る動き認識方法では、トリガー情報を自動的に学習して記憶するとともに、学習して記憶したトリガー情報に基づいて、動き認識を行うものである。トリガー情報の学習は図３１に示す工程に沿って行われる。図３１は、本発明の第７の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。

トリガー情報を学習し記憶する際には、図３１に示すように、まず、撮像装置２で撮像した画像の１つのフレームを演算装置７０のハンドル画像抽出部７１および顔画像抽出部７６に出力する（Ｓ１０１）。ハンドル画像抽出部７１では、図２５に示すように、上方から撮像したハンドルＳＴ近傍の部分を抽出する。この抽出されたハンドルＳＴ付近の画像の上記第６の実施形態と同様のアフィン変換、肌色領域抽出を行った後、ハンドル−手距離算出部７４において、ハンドルＳＴの座標と、抽出された肌色領域の座標とによって、ハンドルＳＴの中心から検出された肌色領域までの距離を算出する（Ｓ１０２）。一方、右手・左手判定部７５では、上記第６の実施形態と同様にして、アフィン変換した画像から抽出した肌色領域について、右手・左手判定部７５において、抽出された肌色領域が右手のものであるか左手のものであるかを判定する（Ｓ１０３）。さらに、特徴量検出部７８では、肌色領域が算出された位置およびその肌色領域が右手であるか左手であるかに基づいて、ハンドル角度が算出される（Ｓ１０４）。

一方、顔画像抽出部７６では、撮像装置２から出力された画像から、ドライバの顔部分を抽出する（Ｓ１０５）。抽出した画像中における顔部分は、顔向き判定部７７に出力される。顔向き判定部７７では、出力された画像中における顔部分の形状等に基づいて、顔向きを判定する（Ｓ１０６）。顔向きを判定したら、判定結果を特徴量検出部７８に出力する。

特徴量検出部６８では、ハンドル角度や手の位置、さらには顔向きに基づいて、特徴量を算出し（Ｓ１０７）、トリガー情報学習部７２に出力する。また、トリガー情報学習部７２には、トリガー入力装置４からのトリガー信号が出力される。トリガー情報学習部７２では、トリガー入力装置４からのトリガーの出力があったか否かを判断する（Ｓ１０８）。その結果、トリガーが出力されなかった場合には、ステップＳ３１に戻り、同様の手順を繰り返す。一方、トリガーが出力された場合には、トリガー情報を学習する（Ｓ１０９）。

ここでいうトリガー情報について、図３２および図３３を参照して説明する。図３２に模式的に示すように、車両にはアクセルペダルＡＰおよびブレーキペダルＢＰが設けられており、ドライバは、通常右足ＲＦで示すように、アクセルペダルＡＰおよびブレーキペダルＰＢを操作する。また、左足ＬＦは利用されない。このうちのブレーキペダルＢＰが操作された（踏まれた）ときに、トリガー入力装置４にブレーキ信号が出力される。このブレーキ信号が出力されたトリガー入力装置４は、演算装置７０におけるトリガー情報学習部７２に出力する。また、トリガー情報学習部７２には、特徴量検出部７８から特徴量信号が一定間隔をおいて出力されており、その特徴量の変化を記憶している。たとえば、その特徴量の変化が、図３３に示すグラフＷのようになる。このグラフは、説明の便宜上図１６に示すグラフと同一の波形を有しているが、実際には異なる波形となることがあるのはいうまでもない。図３３において、時刻Ａ，Ｂの点でブレーキペダルＢＰの操作があったことを意味しているが、時刻Ａは、前の時刻Ｂから経過した時間が短いことから、時刻Ａにおけるデータは破棄されている。

このような波形を有するグラフに対して、トリガー入力装置４からトリガーが信号出力された際には、トリガーの入力があった際の直前における一定時間の波形をトリガー情報（正解情報）の学習モデル（特徴量関連情報）として学習する。学習モデルの態様は、上記第３の実施形態に示す態様と同様であり、たとえばＷ（＋１）〜Ｗ（＋３）、Ｗ（＋５）、Ｗ（−１）〜Ｗ（−３）、Ｗ（−５）などを学習モデルとすることができる。

こうして、トリガー情報を学習したら、トリガー情報学習部７２は、学習したトリガー情報を学習モデル記憶部７３に出力する。学習モデル記憶部７３では、出力されたトリガー情報を学習モデルとして追加して記憶する（Ｓ１１０）。こうして、トリガー情報を学習して記憶する工程が終了する。

また、動き認識装置Ｕ７では、学習して記憶したトリガー情報に基づいて、動き認識を行う。この動き認識は、上記第６の実施形態と同様に、図２６に示す手順によって行われる。ただし、本実施形態では、ステップＳ９５における危険があるか否かを判断する際に、特徴量のみならず、特徴量およびトリガー情報から学習した学習モデルを利用する。このように、学習モデルを利用することにより、さらに高い精度で危険を検出することができる。なお、本実施形態では、トリガー信号としてブレーキペダルの操作を利用しているが、たとえばアクセルペダルの操作や両方のペダルの操作をトリガー信号として利用することもできる。

また、本実施形態に係る動き認識装置において、第４の実施形態のようなトリガー情報破棄手段を設ける態様とすることもできる。このようなトリガー情報廃棄手段を設けることにより、学習モデルのデータ長を一定にすることができ、演算装置にかかる負荷を軽減することができるので、処理の迅速化を図ることができる。さらには、上記第５の実施形態のように、判定タイミング調整手段を設ける態様とすることもできる。このような判定タイミング調整手段を設けることにより、バイアス中にあるｔ時間内に学習モデルに相当する変化が特徴量の変化に見られた場合には、この特徴量の変化に相当する部分が、トリガーに対応する部分であると判断することができる。したがって、このような特徴量の変化が見られた部分をトリガーがあった部分と判断することにより、タイミング調整を行うことができる。

第１の実施形態に係る動き検出装置のブロック構成図である。 第１の実施形態に係る動き認識方法の手順を示すフローチャートである。 （ａ）は、第一フレームにおけるタクトを撮像した画像、（ｂ）は、第一フレームを撮像してから一定時間経過した後におけるタクトを撮像した画像の概略図である。 （ａ）は、第一色空間変換画像を示す図、（ｂ）は、第二色空間変換画像を示す図である。 第２の実施形態に係る動き認識装置のブロック構成図である。 第２の実施形態に係る動き認識方法の手順を示すフローチャートである。 タクト部分の形状を算出する手順を示すフローチャートである。 タクト部分の形状を算出する手順の説明に用いる図である。 重心からエッジ交点までの距離と放射線の角度の関係を示すグラフである。 （ａ）は、タクトの形状を抽出した第一フレームの画像を示す図、（ｂ）は、その第二フレームの画像を示す図である。 タクトを撮像した画像を示し、（ａ）は第一フレームに表示された１拍子目、（ｂ）は第二フレームに表示された２拍子目、（ｃ）は第三フレームに表示された３拍子目、（ｄ）は第四フレームに表示された４拍子目のタクトＴの画像を示す図である。 （ａ）〜（ｄ）は、それぞれ図１１に示す各拍子に対応する重心からエッジ交点までの距離と放射線の角度の関係を示すグラフである。 第３の実施形態に係る動き認識装置のブロック構成図である。 第３の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。 （ａ）は、４拍子でタクトを振る状態を撮像した画像を示した図、（ｂ）は、（ａ）に示す画像を色空間変換し、マーカーの部分の動きを示した画像を示す図である。 特徴量の重心値の経時変化を示すグラフである。 第３の実施形態実施形態に係る動き認識方法における動き認識を行う工程を示すフローチャートである。 第４の実施形態に係る動き認識装置のブロック構成図である。 第４の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。 第５の実施形態に係る動き認識装置のブロック構成図である。 第５の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。 第５の実施形態に係る動き認識方法における動き認識を行う工程を示すフローチャートであるである。 特徴量の時系列変化を示し、タイミング調整を説明するためのグラフである。 第６の実施形態に係る動き認識装置のブロック構成図である。 撮像装置を配置した車両内の状態を示す模式図である。 第６の実施形態に係る動き認識方法の手順を示すフローチャートである。 撮像装置で撮像した画像を示す図である。 図２７の画像をアフィン変換した画像を示す図である。 （ａ−１）は、手およびハンドルなどが撮像した画像の一例を示す図、（ｂ−１）は、（ａ−１）の画像をエッジ処理して得られた画像を示す図、（ａ−２）は、他の手およびハンドルなどが撮像した画像の一例を示す図、（ｂ−２）は、（ａ−２）の画像をエッジ処理して得られた画像を示す図である。 第７の実施形態に係る動き認識装置のブロック構成図である。 第７の実施形態に係る動き認識方法におけるトリガー情報学習記憶工程を示すフローチャートである。 ブレーキペダルとアクセルペダル、およびドライバの両足の関係を模式的に示す模式図である。 特徴量の経時変化を示すグラフである。

符号の説明

１…演算装置、２…撮像装置、３…表示装置、４…トリガー入力装置、５…ハンドル角度検出センサ、６…出力装置、１１…画像抽出部、１２…重心算出部、１３…動き検出部、２３…エッジ検出部、２４…形状算出部、３３…特徴量検出部、３４…トリガー情報学習部、３６…学習モデル記憶部、４７…トリガー情報廃棄部、５７…判定タイミング調整部、６１…ハンドル画像抽出部、６２…アフィン変換部、６３…肌色領域抽出部、６４…手距離算出部、６５…右手・左手判定部、６６…顔画像抽出部、６７…顔向き判定部、Ｕ１〜Ｕ７…動き認識装置。

Claims (14)

1. 対象物および前記対象物の動きに関連するとともに前記対象物の変位と異なる変位が生じる関連変位物体を撮像する撮像手段と、
   前記撮像手段で撮像された前記対象物および関連変位物体の部分を抽出する物体部分抽出手段と、
   前記対象物および関連変位物体の部分の変化に基づいて、前記対象物の動きを検出する動き検出手段と、
   を備えることを特徴とする動き認識装置。
2. 前記物体部分抽出手段で抽出された対象物および関連変位物体の重心を求める重心算出手段を備え、
   前記対象物および関連変位物体の変化が、前記重心算出手段で求められた前記対象物および関連変位物体の重心の変化である請求項１に記載の動き認識装置。
3. 対象物を撮像する撮像手段と、
   前記撮像手段で撮像された前記対象物の部分を抽出する物体部分抽出手段と、
   前記物体部分抽出手段で検出された対象物の重心を求める重心算出手段と、
   前記物体部分抽出手段で抽出された対象物のエッジを検出するエッジ検出手段と、
   前記重心算出手段で求められた前記対象物の重心および前記エッジ検出手段で求められた前記対象物のエッジに基づいて、前記対象物の形状を検出する対象物形状算出手段と、
   前記対象物形状検出手段で検出された前記対象物の形状に基づいて、前記対象物の動きを検出する動き検出手段と、
   を備えることを特徴とする動き認識装置。
4. 対象物を撮像する撮像手段と、
   前記対象物の動きに基づく特徴量を検出する特徴量検出手段と、
   前記対象物の特徴量に関連付けられ、かつ前記対象物の特徴量とは異なる特徴量関連情報を検出する関連情報検出手段と、
   前記特徴量と前記特徴量関連情報との関連を学習する特徴量関連情報学習手段と、
   前記特徴量関連情報を記憶する特徴量関連情報記憶手段と、
   前記対象物の動きに基づく特徴量と前記特徴量関連情報との比較に基づいて、前記対象物の動きを検出する動き検出手段と、
   を備えることを特徴とする動き認識装置。
5. 前記特徴量関連情報学習手段が、新しい特徴量関連情報を学習したときに、既に学習した特徴量関連情報を破棄する特徴量関連情報破棄手段を備える請求項４に記載の動き認識装置。
6. 前記特徴量関連情報を古い順に破棄する請求項５に記載の動き認識装置。
7. 前記特徴量と、前記特徴量関連情報との関係のタイミングを調整する時間調整手段を備える請求項４〜請求項６のうちのいずれか１項に記載の動き認識装置。
8. 対象物および前記対象物の動きに関連するとともに前記対象物の変位と異なる変位が生じる関連変位物体を撮像し、
   撮像された前記対象物および関連変位物体の部分を抽出し、
   前記対象物および関連変位物体の部分の変化に基づいて、前記対象物の動きを検出して、前記対象物の動きを認識することを特徴とする動き認識方法。
9. 抽出された前記対象物および関連変位物体の重心を求め、
   対象物および関連変位物体の重心の変化に基づいて、前記対象物の動きを検出して、前記対象物の動きを認識する請求項１に記載の動き認識方法。
10. 対象物を撮像し、
    撮像された前記対象物の部分を抽出し、
    抽出された対象物の重心を求め、
    前記対象物のエッジを検出し、
    前記対象物の重心およびエッジに基づいて、前記対象物の形状を検出し、
    対象物の形状に基づいて、前記対象物の動きを検出して、前記対象物の動きを認識することを特徴とする動き認識方法。
11. 対象物を撮像し、
    前記対象物の動きに基づく特徴量を検出し、
    前記対象物の特徴量に関連付けられ、かつ前記対象物の特徴量とは異なる特徴量関連情報を検出し、
    前記特徴量と前記特徴量関連情報との関連を学習し、
    前記特徴量関連情報を記憶し、
    前記対象物の動きに基づく特徴量と前記特徴量関連情報との比較に基づいて、前記対象物の動きを検出して、前記対象物の動きを認識することを特徴とする動き認識方法。
12. 前記特徴量関連情報学習手段が、新しい特徴量関連情報を学習したときに、既に学習した特徴量関連情報を破棄する請求項１１に記載の動き認識方法。
13. 前記特徴量関連情報を古い順に破棄する請求項１２に記載の動き認識方法。
14. 前記特徴量と、前記特徴量関連情報との関係のタイミングを調整する請求項１１〜請求項１３のうちいずれか１項に記載の動き認識方法。

Images