JP7439004B2

JP7439004B2 - 行動認識装置、学習装置、および行動認識方法

Info

Publication number: JP7439004B2
Application number: JP2021037260A
Authority: JP
Inventors: 敦根尾; 由希子荻原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-09-04
Filing date: 2021-03-09
Publication date: 2024-02-27
Anticipated expiration: 2041-03-09
Also published as: JP2022043974A

Description

本発明は、行動認識装置、学習装置、および行動認識方法に関する。

本技術分野の背景技術として、特許文献１は、人の動作において、表面筋電位等の生体信号に頼らずにそれが意図したものであるか否かを識別する意図推定装置を開示する。この意図推定装置は、人の動作している位置、および角度の計測方法を用いて動作情報を取得し人の動作を人が実現可能な範囲に制限し、その動作中における人の関節角度と動作している部位の先端位置の位置情報を抽出し多変量解析手法を用い、さらに人の動作が意図するものであるか否かを識別する閾値を用いて、人の動作がその人が意図するものであるか否かを識別することで、表面筋電位等の生体信号に頼らずに、動作が意図したものであるか否かを識別する。

特開２０１２－１０１２８４号公報

人の動作における意図を推定するために上記特許文献１に記載された技術では、行動を意図するものか否かの２値化判断するため、複数種類の複雑な動作の意図を分類することはできず、動作の意図推定の精度を著しく低下させる可能性が生じる。

本発明は、認識対象の複数種類の行動を高精度に認識することを目的とする。

本願において開示される発明の一側面となる行動認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、前記プロセッサは、解析対象データから認識対象の形状を検出する検出処理と、前記成分分析により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する成分分析処理と、前記各々の寄与率から得られる累積寄与率に基づいて、前記１以上の各々の次元を示す序数を決定する決定処理と、前記決定処理によって決定された次元を示す序数の成分を１以上含む特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、を実行することを特徴とする。

本願において開示される発明の他の側面となる行動認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、多変量解析で統計的な成分を生成する次元削減により学習対象の形状から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、前記プロセッサは、解析対象データから認識対象の形状を検出する検出処理と、前記次元削減により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する次元削減処理と、前記各々の寄与率に基づいて、前記１以上の成分のうち第１変数からの昇順の成分の次元を示す序数を決定する決定処理と、前記第１変数から前記決定処理によって決定された次元を示す序数の成分までの特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、を実行することを特徴とする。

本願において開示される発明の一側面となる学習装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、前記プロセッサは、学習対象の形状および行動を含む教師データを取得する取得処理と、多変量解析で統計的な成分を生成する成分分析により、前記取得処理によって取得された前記学習対象の形状に基づいて、１以上の成分を生成する成分分析処理と、許容計算量に基づいて、前記１以上の各々の次元を示す序数を制御する制御処理と、前記制御処理によって制御された次元を示す序数の成分を１以上含む成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、を実行することを特徴とする。

本願において開示される発明の他の側面となる学習装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、前記プロセッサは、学習対象の形状および行動を含む教師データを取得する取得処理と、多変量解析で統計的な成分を生成する次元削減により、前記取得処理によって取得された前記学習対象の形状に基づいて、１以上の成分を生成する次元削減処理と、許容計算量に基づいて、前記１以上の成分のうち第１変数からの昇順の成分の次元を示す序数を制御する制御処理と、前記第１変数から前記制御処理によって制御された次元を示す序数の成分までの成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、を実行することを特徴とする。

本発明の代表的な実施の形態によれば、認識対象の複数種類の行動を高精度に認識することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１は、実施例１にかかる行動認識システムのシステム構成例を示す説明図である。図２は、コンピュータのハードウェア構成例を示すブロック図である。図３は、学習データの一例を示す説明図である。図４は、実施例１にかかる行動認識システムの機能的構成例を示すブロック図である。図５は、骨格情報処理部の詳細な機能的構成例を示すブロック図である。図６は、関節角度算出部が実行する関節角度の詳細な算出方法を示す説明図である。図７は、移動量算出部が実行するフレーム間の移動量の詳細な算出方法の例を示す説明図である。図８は、正規化部が実行する骨格情報の正規化の詳細な手法を示す説明図である。図９は、教師信号ＤＢが保持する教師信号の詳細な例を示す説明図である。図１０は、教師信号を入力データとして主成分分析部が生成した主成分を、主成分空間上にプロットした例を示す説明図である。図１１は、行動学習部が行動を学習し、行動認識部が行動を分類するための詳細な手法を示す説明図である。図１２は、次元数決定部が次元数決定の際に用いる累積寄与率の推移を示すグラフである。図１３は、実施例１にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。図１４は、実施例１にかかる骨格情報処理の詳細な処理手順例を示すフローチャートである。図１５は、実施例１にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。図１６は、実施例２にかかる行動認識システムの機能的構成例を示すブロック図である。図１７は、実施例２にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。図１８は、実施例２にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。図１９は、実施例４にかかる骨格情報処理部の機能的構成例を示すブロック図である。図２０は、実施例４にかかる骨格情報処理部の詳細な処理手順例を示すフローチャートである。図２１は、実施例５にかかる行動認識システムの機能的構成例を示すブロック図である。図２２は、実施例６にかかる行動認識システムの機能的構成例を示すブロック図である。図２３は、行動学習部および行動認識部が行動を分類するための基礎となる手法である決定木を示す説明図である。図２４は、決定木による分類の詳細な展開方法を示す説明図である。図２５は、アンサンブル学習と、行動学習部と行動認識部が行動を分類するために用いる手法を示す説明図である。図２６は、実施例７にかかる行動認識システムの機能的構成例を示すブロック図である。図２７は、実施例７にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。

以下、本発明に係る実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

＜行動認識システム＞
図１は、実施例１にかかる行動認識システムのシステム構成例を示す説明図である。行動認識システム１００は、サーバ１０１と、１台以上のクライアント１０２と、を有する。サーバとクライアントとは、インターネット、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワーク１０５を介して通信可能に接続される。サーバ１０１は、クライアント１０２を管理するコンピュータである。クライアント１０２は、センサ１０３に接続され、センサ１０３からのデータを取得するコンピュータである。

センサ１０３は、解析環境から解析対象データを検出する。センサ１０３は、たとえば、静止画または動画を撮像するカメラである。また、センサ１０３は、音声や匂いを検出してもよい。教師信号ＤＢ１０４は、学習データ（人の骨格情報および関節角度）と行動情報（たとえば、「立つ」、「倒れる」といった人の姿勢や動作）との組み合わせを教師信号として保持するデータベースである。教師信号ＤＢ１０４は、サーバ１０１に記憶されていてもよく、サーバ１０１またはクライアント１０２とネットワーク１０５を介して通信可能なコンピュータに接続されていてもよい。

行動認識システム１００は、教師信号ＤＢ１０４を用いた学習機能と、学習機能により得られた行動分類モデルを用いた行動認識機能と、を有する。行動分類モデルとは、人や動物などの認識対象の行動を分類するための学習モデルである。学習機能および行動認識機能は、行動認識システム１００に実装されていれば、サーバ１０１およびクライアント１０２のいずれに実装されていてもよい。たとえば、サーバ１０１が学習機能を実装し、クライアント１０２が行動認識機能を実装してもよい。また、サーバ１０１が学習機能および行動認識機能を実装し、クライアント１０２は、センサ１０３からのデータをサーバ１０１に送信したり、サーバ１０１からの行動認識機能による行動認識結果を受け付けたりしてもよい。

また、クライアント１０２が学習機能および行動認識機能を実装し、サーバ１０１は、クライアント１０２からの行動分類モデルや行動認識結果を管理してもよい。なお、学習機能を実装するコンピュータを学習装置と称し、学習機能および行動認識機能のうち少なくとも行動認識機能を実装するコンピュータを行動認識装置と称す。また、図１では、クライアントサーバ型の行動認識システム１００を例に挙げたが、スタンドアロン型の行動認識装置でもよい。実施例１では、説明の便宜上、サーバ１０１が学習機能を実装し（学習装置）、クライアント１０２が行動認識機能を実装した（行動認識装置）行動認識システム１００を例に挙げて説明する。

＜コンピュータのハードウェア構成例＞
図２は、コンピュータ（サーバ１０１、クライアント１０２）のハードウェア構成例を示すブロック図である。コンピュータ２００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。プロセッサ２０１は、コンピュータ２００を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、フラッシュメモリがある。入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ２０５は、ネットワーク１０５と接続し、データを送受信する。

＜学習データ＞
図３は、学習データの一例を示す説明図である。学習データ３８０は、対象者ごとに骨格情報３２０と、関節角度３７０と、により構成される。骨格情報３２０は、センサ１０３から取得した解析対象データを基に検出される。関節角度３７０は、骨格情報３２０を基に算出される。対象者一人分の学習データ３８０は、たとえば、その対象者が被写体となる複数の時系列なフレームの各々から得られる骨格情報３２０および関節角度３７０の組み合わせにより構成される。

骨格情報３２０は、複数（本例では１８個）の骨格点３００～３１７の各々について、名前３２１と、Ｘ軸におけるｘ座標値３２２と、Ｘ軸に直交するｙ軸におけるｙ座標値３２３と、を有する。関節角度３７０も、複数（本例では１８個）の骨格点３００～３１７の各々について、名前３７１を有する。なお、名前３７１において、∠ａ－ｂ－ｃ（ａ，ｂ，ｃは骨格点の名前３２１）は、線分ａｂと線分ｂｃとのなす骨格点ｂの関節角度３７０である。なお、骨格情報３２０は、たとえば、指の関節を含んでもよい。また、関節角度３７０も、これら以外の関節角度３７０を含んでもよい。

なお、図３では、骨格点３００～３１７の座標値を２次元の位置情報（ｘ座標値およびｙ座標値の組み合わせ）としたが、３次元の位置情報としてもよい。具体的には、たとえば、Ｘ軸およびｙ軸に直交するｚ軸（たとえば、奥行き方向）におけるｚ座標値が追加されてもよい。

＜行動認識システム１００の機能的構成例＞
図４は、実施例１にかかる行動認識システム１００の機能的構成例を示すブロック図である。サーバ１０１は、教師信号取得部４０１と、欠損情報制御部４０２と、骨格情報処理部４０３と、主成分分析部４０４と、次元数制御部４０５と、行動学習部４０６と、を有する。クライアント１０２は、骨格検出部４５１と、欠損情報判断部４５２と、骨格情報処理部４５３と、主成分分析部４５４と、次元数決定部４５５と、行動分類モデル選択部４５６と、行動認識部４５７と、を有する。

これらは、具体的には、たとえば、図２に示した記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される。まず、サーバ１０１側の機能的構成例について説明する。

教師信号取得部４０１は、教師信号ＤＢ１０４から取得した教師信号について学習に用いる教師信号を単数、または複数取得して、選択した教師信号を欠損情報制御部４０２に出力する。

欠損情報制御部４０２は、教師信号取得部４０１から取得した教師信号の内、骨格情報３２０に対して任意の骨格点を欠損させる。欠損させる骨格点は単数でも複数でも０でもよい。欠損情報制御部４０２は、欠損後（欠損させる骨格点が０個の場合も含む）の骨格情報３２０を教師信号内の骨格情報３２０として更新する。またノイズ耐性を強くするため、情報を欠損させる際に骨格情報３２０に対して骨格点位置をずらすようなノイズを加えて、骨格情報３２０を更新してもよい。

そして、欠損情報制御部４０２は、欠損させた骨格点の名前３２１および位置情報（ｘ座標値３２２、ｙ座標値３２３）である欠損情報を含む教師信号を、骨格情報処理部１２０に出力する。また、欠損情報制御部４０２は、欠損情報を骨格情報処理部４０３と主成分分析部４０４と次元数制御部４０５を介して行動学習部４０６に出力する。

骨格情報処理部４０３は、更新後の骨格情報３２０を処理する。具体的には、たとえば、骨格情報処理部４０３は、取得した更新後の教師信号の内、骨格情報３２０から関節角度３７０とフレーム間の移動量とを算出する。また、骨格情報処理部４０３は、骨格情報３２０に対して絶対的な位置情報を除外し、骨格情報３２０の大きさが一定となる正規化を実行する。そして、骨格情報処理部４０３は、関節角度３７０と、フレーム間の移動量と、正規化した骨格情報３２０と、を主成分分析部４０４に出力する。

図５は、骨格情報処理部４０３，４５３の詳細な機能的構成例を示すブロック図である。骨格情報処理部４０３，４５３は、関節角度算出部５０１と、移動量算出部５０２と、正規化部５０３と、を有する。

関節角度算出部５０１は、取得した教師信号の内、骨格情報３２０から関節角度３７０を算出し、移動量算出部５０２と正規化部５０３を介して主成分分析部４０４に出力する。

移動量算出部５０２は、取得した教師信号の内、骨格情報３２０からフレーム間の移動量を算出し、正規化部５０３を介して主成分分析部４０４に出力する。

正規化部５０３は、取得した教師信号の内、骨格情報３２０に対して絶対的な位置情報を除外し、骨格情報３２０の大きさが一定となる正規化を実行して主成分分析部４０４に出力する。

図４に戻り、主成分分析部４０４は、骨格情報処理部４０３から取得した教師信号の内、正規化した骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、を入力データとして、主成分分析を実行して単数または複数の主成分を生成し、次元数制御部４０５に出力する。なお、骨格情報３２０、関節角度３７０、およびフレーム間の移動量のうち、少なくとも骨格情報３２０が入力データであればよい。

主成分分析では下記式（１）に示す通り、入力データｘ_ｉに係数ｗ_ｉｊを各々乗算し、加算することで主成分ｙ_ｉを生成する。主成分分析の一般式を下記式（２）に示す。係数ｗ_ｉｊは、下記式（３）に示す通り、ｙ_ｉの分散をＶ(ｙ_ｉ)として定義した場合、分散Ｖ（ｙ_ｉ）が最大となるように定める。

ただし、係数ｗｉｊに制約を持たせない場合、分散Ｖ（ｙ_ｉ）の絶対量は無限に大きく取ることができ、係数ｗ_ｉｊは一意に決定することができないため、下記式（４）の制約を付すことが望ましい。また、情報の重複を無くすため、新たに生成する主成分ｙ_ｋとこれまでに生成した主成分ｙ_ｋの共分散は０となる下記式（５）の制約を付すことが望ましい。

ただし、制約として付す上記式（４）と上記式（５）は、これに限らず別の制約条件を付したり、または制約を外したりして係数ｗ_ｉｊを算出しても問題ない。こうして生成した新たな主成分ｙ_ｊの分散Ｖ（ｙｊ）について下記式（６）に示す通りλ_ｊとして別途定義した場合、下記式（７）に示す通り入力データｘ_ｊの分散Ｖ（ｘ_ｊ）の合計とλ_ｊの合計は等しい。

ここでｐは入力データｘ_ｊの数とする。新たに生成した主成分ｙ_ｊの分散Ｖ（ｙ_ｊ）は高い方が元の情報をより多く反映しており、分散値が高い主成分から順に第１、第２、…、第ｍ主成分という。新たに生成した変数ｙ_ｊの分散と元のデータの分散の比を寄与率といい、下記式（８）で示される。また、第１主成分の寄与率から分散値の降順（主成分の序数ｍの昇順）に寄与率を加算した結果を累積寄与率といい、下記式(９)で示される。

寄与率と累積寄与率は、新たに生成した主成分ｙ_ｊや生成した複数の主成分が元のデータの情報量をどの程度表しているかといった尺度となり、主成分と共に生成される。なお、多変量解析で統計的な成分を生成する成分分析の一例として、主成分分析を適用したが、主成分分析の替わりに、同じく成分分析の一例である独立成分分析を実行してもよい。

独立成分分析の場合、主成分は独立成分となる。この独立成分が入力データｘｉにどのくらい影響を与えているのかを示す指標として、寄与率を用いてもよい。独立成分分析では、独立成分ごとの独立成分分析における混合係数行列の２乗和が、各独立成分の強度となる。

独立成分の強度は独立成分の入力データｘ_ｉにおける分散を示す。すなわち、独立成分分析によって得られた独立成分はいずれも分散が１に統一されるため、混合係数の２乗和をとれば入力データｘ_ｉの分散になる。そして、独立成分の強度を、全独立成分の強度の総和で割った値を、その独立変数の寄与率とすればよい。

次元数制御部４０５は、１以上の成分の各々の次元を示す序数ｋを制御する。具体的には、たとえば、次元数制御部４０５は、取得した主成分の内、行動学習部４０６で学習に用いる主成分を分散値の高い順に何次元まで使用するかを決定し、第１主成分から、決定した次元ｋ（ｋは１以上の整数）を序数とする第ｋ主成分までの主成分を、分散値の高い順に行動学習部４０６に出力する。

行動学習部４０６は、次元数制御部４０５から取得した主成分と、教師信号ＤＢ１０４から取得した教師信号内の行動情報とを、関連付けて学習する。具体的には、たとえば、行動学習部４０６は、次元数制御部４０５から取得した第１主成分から第ｋ主成分までの主成分群を入力データとし、教師信号ＤＢ１０４から取得した教師信号内の行動情報を出力データとして、機械学習により、行動分類モデルを生成する。行動学習部４０６は、学習の結果生成した行動分類モデルを、欠損情報制御部４０２から取得した欠損情報と関連付けて、行動分類モデル選択部４５６に出力する。

つぎに、クライアント１０２側の機能的構成例について説明する。骨格検出部４５１は、センサ１０３から取得した解析対象データに映る人の骨格情報３２０を検出し、欠損情報判断部４５２に出力する。骨格情報３２０の検出には機械学習により生成した人の骨格情報３２０を推定可能なＮＮ（ｎｅｕｒａｌｎｅｔｗｏｒｋ）を用いてもよいし、検出したい人の骨格点にマーカーを付与して、画像に映るマーカー位置から骨格情報３２０を検出してもよく、骨格情報３２０を検出する方法は限定されない。

欠損情報判断部４５２は、骨格検出部４５１で検出した骨格情報３２０の内、オクルージョンなどにより取得できない骨格点があるか否かを判断し、取得できなかった骨格点があれば、その位置情報を欠損情報とし、骨格検出部４５１で検出した骨格情報３２０を骨格情報処理部４５３に出力する。また、欠損情報判断部４５２は、欠損情報を骨格情報処理部４５３と主成分分析部４５４と次元数決定部４５５を介して行動分類モデル選択部４５６に出力する。

骨格情報処理部４５３は、骨格情報処理部４０３と同様の機能を有する。骨格情報処理部４５３は、骨格検出部４５１で検出した骨格情報３２０に対して骨格情報処理部４０３と同様の処理を実行して、関節角度３７０と、フレーム間の移動量と、正規化した骨格情報３２０と、を主成分分析部４５４に出力する。

主成分分析部４５４は、主成分分析部４０４と同様の機能を有する。主成分分析部４５４は、骨格情報処理部４５３からの出力データに対して主成分分析部４０４と同様の処理を実行して、単数または複数の主成分を生成する。また、主成分分析部４５４は、主成分と共に生成した寄与率と累積寄与率とを次元数決定部４５５に出力する。

次元数決定部４５５は、各々の寄与率から得られる累積寄与率に基づいて、１以上の成分の各々の次元を示す序数ｋを決定する。具体的には、たとえば、次元数決定部４５５は、取得した寄与率および累積寄与率から、取得した主成分の内、分散の高い順に何次元までの主成分を行動分類モデル選択部４５６に出力するかを示す次元数ｋを決定する。次元数ｋとは、主成分の次元を示す序数ｋである。たとえば、第１主成分であれば、次元数（序数）ｋ＝１であり、第２主成分であれば、次元数（序数）ｋ＝２である。次元数決定部４５５は、分散の高い順に第１主成分から第ｋ主成分までの主成分群を行動分類モデル選択部４５６に出力する。

行動分類モデル選択部４５６は、欠損情報制御部４０２が生成する欠損情報に関連付けられた行動分類モデルの内、欠損情報判断部４５２から取得した欠損情報と同じ欠損情報が関連付けられ、かつ、次元数決定部４５５が決定した第ｋ次元までの主成分群（第１主成分～第ｋ主成分）で行動学習を行った行動分類モデルを選択する。行動分類モデル選択部４５６は、第１主成分から第ｋ主成分までの主成分群と共に選択した行動分類モデルを行動認識部４５７に出力する。

特に２次元画像においては、定義したすべての骨格点をオクルージョンなどにより取得できない可能性があり、取得できなかった一部の骨格点が欠損した骨格情報３２０が骨格検出部４５１で生成される可能性がある。この一部の骨格点が欠損した骨格情報３２０について行動認識を行う場合、クライアント１０２は、骨格検出部４５１で検出された欠損した骨格情報３２０の欠損情報に関連付けられた行動学習モデルを用いて行動認識を行う。これにより、一部の骨格点が欠損した骨格情報３２０についても高精度な行動認識が実現される。

なお、行動学習部４０６から取得した欠損情報制御部４０２が生成する欠損情報に関連付けられた行動分類モデルの内、欠損情報判断部４５２から取得した欠損情報と同じ欠損情報が関連付けられ、且つ次元数決定部４５５が決定した主成分の次元を示す序数ｋと同一の主成分（第１主成分～第ｋ主成分）で行動学習を行った行動分類モデルが生成されていない場合も想定される。

この場合、行動分類モデル選択部４５６は、この条件に最も近い行動分類モデル（たとえば、欠損した骨格点の位置情報と所定距離以内の欠損情報が関連付けられた行動分類モデル、第１主成分～第（ｋ－１）主成分で行動学習を行った行動分類モデルなど）を選択してもよい。

行動認識部４５７は、選択した行動分類モデルと第１主成分から第ｋ主成分までの主成分群とに基づいて、センサ１０３から取得した解析対象データに映る人の行動を認識する。具体的には、たとえば、行動認識部４５７は、解析対象データから得らえた主成分群（第１主成分～第ｋ主成分）を、選択した行動分類モデルに入力することにより、解析対象データに映る人の行動を示す予測値を認識結果として出力する。

＜関節角度算出の例＞
図６は、関節角度算出部５０１が実行する関節角度３７０の詳細な算出方法を示す説明図である。関節角度算出部５０１は、連結する３点の骨格点６００～６０２において関節角度θを算出する。骨格点６００～６０２の骨格情報６２０について、原点６３０を基準とする位置ベクトルＯ、Ａ、Ｂのように各々定義する。関節角度算出部５０１は、骨格点６００を原点とする相対ベクトルを下記式（１０），（１１）に示す通り算出し、算出したベクトルから下記式（１２）が成立し、下記式（１３）に示す通り逆余弦を算出することで関節角度θを算出する。

＜フレーム間の移動量算出の例＞
図７は、移動量算出部５０２が実行するフレーム間の移動量の詳細な算出方法の例を示す説明図である。移動量算出部５０２は、フレーム間の移動量の算出において、同一被写体についての第Ｎフレーム目の骨格情報７０１と第Ｎ－Ｍフレーム目の骨格情報７０２とを用いる。Ｎ、Ｍは１以上の整数であり、Ｎ＞Ｍである。Ｍの値は任意に設定可能である。下記式（１４）～（１６）に示す通り、移動量算出部５０２は、各フレーム間で示される同一人物の同一骨格点３００～３１７の距離を各々算出する。１８個の骨格点３００～３１７のフレーム間の移動量が、当該人物についてのフレーム間の移動量となる。

ただ、移動量算出部５０２が実行するフレーム間の移動量はこれに限定されるものではなく、下記式（１７）に示す通り、移動量算出部５０２は、各フレーム間で示される同一人物の同一骨格点３００～３１７の距離を各々算出し、全１８個の骨格点３００～３１７のフレーム間の移動量を合算した値を、当該人物についてのフレーム間の移動量としてもよい。

また、移動量算出部５０２は、第ｎフレームの骨格情報７０１と第ｎ－ｍフレームの骨格情報７０２の内、重心となる重心骨格情報７１１と重心骨格情報７１２を用いてもよい。具体的には、たとえば、移動量算出部５０２は、下記式（１８）～（１９）に示す通り、人物ごとに重心を算出し、下記式（２０）に示す通り、算出した重心に対して、当該人物についてのフレーム間の移動量を算出してもよい。

＜正規化の例＞
図８は、正規化部５０３が実行する骨格情報３２０の正規化の詳細な手法を示す説明図である。まず、正規化部５０３は、（ａ）すべてまたは一部の骨格情報３２０から重心を算出し、（ｂ）重心を原点とする相対座標に変換する。その後、正規化部５０３は、（ｃ）１８個の骨格点３００～３１７を囲う最小の長方形の対角線の長さＬで、（ｄ）骨格情報３２０の各骨格点の位置情報を割る。（ｄ）で得られた骨格情報３２０を教師信号とした場合、割り算後の骨格点３００～３１７の位置情報も組み込まれることとなる。

たとえば、正規化部５０３が実行されないと「１８０ｃｍの人が地点Ａで座る」といった行動について骨格検出および行動分類のための学習が実行されると、「地点Ａ以外では座らない」、「１８０ｃｍ以外の人は座らない」といった判定が下される可能性がある。こうした限定を除外し、行動分類に汎用性を持たせるため、画像内の絶対的な位置情報と、骨格の大きさに関する情報について除去するため、正規化部５０３が骨格情報３２０の正規化を実行する。

＜教師信号ＤＢ１０４が保持する教師信号＞
図９は、教師信号ＤＢ１０４が保持する教師信号の詳細な例を示す説明図である。解析対象データとなる（ａ）画像９００に映る人において、（ｂ）骨格情報３２０Ａと、関節角度３７０（不図示）と、骨格情報３２０Ａに関連付けられる（ｃ）行動情報９０１（「立つ」）と、の組み合わせが、教師信号となる。同様に、解析対象データとなる（ａ）画像９１０に映る人において、（ｂ）骨格情報３２０Ｂと、関節角度３７０（不図示）と、骨格情報３２０Ｂに関連付けられる（ｃ）行動情報９１１（「倒れる」）と、の組み合わせが、教師信号となる。

＜次元数制御部４０５による次元数制御と行動学習部４０６による行動学習＞
図１０は、教師信号を入力データとして主成分分析部４０４が生成した主成分を、主成分空間上にプロットした例を示す説明図である。凡例は教師信号に含まれる行動情報１０００～１００４を示す。

図１０において、（ａ）はＸ軸に第１主成分を、Ｙ軸に第２主成分をとり、第２主成分までの情報を２次元平面上にプロットした例を示す。（ｂ）はＸ軸に第１主成分を、Ｙ軸に第２主成分をとり、Ｚ軸に第３主成分をとり、第３主成分までの情報を３次元空間上にプロットした例を示す。

（ａ）において、立つ１０００と、座る１００１と、倒れる１００４は、第２主成分までの２次元平面上でも分離可能な様子が伺えるが、歩く１００２と、しゃがむ１００３は第２主成分までの２次元平面上では分離困難な様子が伺える。ここで、（ｂ）において、第３主成分までを含めた３次元空間上で、歩く１００２としゃがむ１００３をプロットした場合、分離の可能性が拡大する場合がある。

このため、主成分分析部４０４が生成した主成分を多く用いれば高精度な行動分類の可能性がある。ただし、主成分の次元を示す序数ｋを多くすると計算量は増加するため、精度と計算量からどこまでの主成分を考慮し、どのくらいの次元の空間で行動を表すかを判断する必要がある。

したがって、次元数制御部４０５は、行動学習部４０６で学習に用いる主成分の最大序数を変化させ、第１主成分～最大序数の主成分までの主成分群を行動学習部４０６に出力する。具体的には、たとえば、上述した行動分類の要求精度（たとえば、最低限必要な主成分の次元を示す序数）または／および許容計算量をあらかじめ設定しておき、次元数制御部４０５が、行動学習部４０６で学習に用いる主成分の最大序数を変化させ、要求精度または／および許容計算量を最大限充足する序数を決定する。

たとえば、要求精度が次元を示す序数「３」（第３主成分）という条件の場合、次元数制御部４０５は、最大序数を「３」に決定し、第１主成分～第３主成分までの主成分群を行動学習部４０６に出力する。

また、許容計算量が条件に設定されている場合、次元数制御部４０５は、第１主成分から昇順に計算量を順次取得し、最大序数を、許容計算量をはじめて超えたときの序数（たとえば、「５」）より１つ少ない序数（たとえば、「４」）に決定し、第１主成分から最大序数ｋ＝４の第４主成分までの主成分群を行動学習部４０６に出力する。

また、要求精度が次元を示す序数「３」（第３主成分）以上という条件で、かつ、許容計算量が条件に設定されている場合、第３主成分までの累積計算量が許容計算量以下であれば、次元数制御部４０５は、最大序数を「３」から「４」に変化させる。そして、第４主成分までの累積計算量が許容計算量を超えれば、次元数制御部４０５は、最大序数ｋを「３」に決定し、第１主成分～第３主成分までの主成分群を行動学習部４０６に出力する。

一方、第３主成分までの累積計算量が許容計算量を超えれば、次元数制御部４０５は、最大序数を「３」から「２」に変化させる。そして、第２主成分までの累積計算量が許容計算量以下であれば、次元数制御部４０５は、最大序数ｋを「２」に決定し、第１主成分～第２主成分までの主成分群を行動学習部４０６に出力する。

なお、行動学習部４０６に出力する主成分群は、第１主成分から昇順に限定する必要はない。たとえば、次元数制御部４０５は、予め定めた主成分群を特定の数だけ取り出してもよい。また、次元数制御部４０５は、特定の主成分群を除外した上で行動学習部４０６に出力する主成分群を決定してもよい。このように、行動学習部４０６に出力する主成分群は第１主成分から昇順の主成分群に限定されない。

また、この場合においても、許容計算量が条件に設定されている場合、次元数制御部４０５は、上述した第１主成分からの昇順に限定していない主成分群について、序数の昇順に計算量を順次取得し、許容計算量をはじめて超えたときの序数より１つ前の序数までの主成分群を行動学習部４０６に出力する。たとえば、主成分群が第２主成分、第３主成分、第５主成分からなる場合、第２主成分では許容計算量を超えず、第２主成分および第３主成分でも許容計算量を超えず、第２主成分、第３主成分、および第５主成分ではじめて許容計算量を超えた場合、次元数制御部４０５は、第２主成分から第５主成分の１つ前の第３主成分までを、行動学習部４０６に出力する主成分群に決定してもよい。

行動学習部４０６は、予め複数の条件での行動学習を行い、行動分類モデルを生成し、行動分類モデル選択部４５６に出力する。こうして生成した複数の行動分類モデルから状況に合わせて行動分類モデルを選択することで、汎用的で高精度な行動認識を実現する。

図１１は、行動学習部４０６が行動を学習し、行動認識部４５７が行動を分類するための詳細な手法を示す説明図である。主成分空間上での各行動について、行動学習部４０６は、（ａ）境界線１１０１や（ｂ）境界平面１１０２を用いて、各行動を領域毎に分類する。行動を学習し分類する際の手法は、ｋ平均法や、サポートベクトルマシン、決定木や、ランダムフォレストなどいずれを採用してもよく、行動学習方法は限定されない。

行動学習部４０６が学習して生成した行動分類モデルを用いて、行動認識部４５７は行動を認識する。具体的には、たとえば、クライアント１０２は、新たに入力された骨格情報３２０について主成分分析を適用し、新たに生成された主成分を行動分類モデルが設定する境界線１１０１や境界平面１１０２に従って、どの領域に属するかを判定し、判定された領域に従って行動を認識する。

図１２は、次元数決定部４５５が次元数決定の際に用いる累積寄与率の推移を示すグラフである。累積寄与率は、新たに生成した複数の主成分が元のデータの情報量をどの程度表しているかといったことを示す尺度となる。このため、主成分の数を増やして、行動分類の際の次元数を増やしても、累積寄与率に大きな変化が見られない場合は、大きな精度向上は見込めない。

そこで、次元数決定部４５５は、予め定めた累積寄与率の閾値を超えるのに必要な数だけ主成分を使用することとし、次元数を決定する。たとえば、予め定めた累積寄与率の閾値を「０．８」とする場合、第２主成分まであれば条件を満たすため、ここでの次元数ｋは「２」として、第１主成分と第２主成分とを行動分類モデル選択部４５６に出力する。

なお、行動分類モデル選択部４５６に出力する主成分群は、第１主成分から昇順に限定する必要はない。たとえば、次元数決定部４５５は、予め定めた累積寄与率の閾値を超えずかつ累積寄与率が最大となる主成分の序数ｋの組み合わせを決定してもよい。また、次元数決定部４５５は、このような主成分の序数ｋの組み合わせを、行動分類モデルに適用さされる主成分群から選択してもよい。このように、行動分類モデル選択部４５６に出力する主成分群は第１主成分から昇順の主成分群に限定されない。

＜学習処理＞
図１３は、実施例１にかかるサーバ１０１（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。サーバ１０１は、教師信号取得部４０１により、教師信号ＤＢ１０４から取得した教師信号について学習に用いる教師信号を単数、または複数取得する（ステップＳ１３００）。

サーバ１０１は、欠損情報制御部４０２により、取得した教師信号内の骨格情報３２０に対して情報を欠損させ、欠損させた骨格情報３２０を教師信号内の骨格情報３２０として更新し、欠損させた骨格点の名前３２１および位置情報（ｘ座標値３２２，ｙ座標値３２３）を欠損情報とする（ステップＳ１３０１）。欠損情報制御部が実行された教師信号を、更新教師信号と称す。

サーバ１０１は、骨格情報処理部４０３により、更新教師信号ごとに骨格情報処理を実行する（ステップＳ１３０２）。具体的には、たとえば、サーバ１０１は、関節角度算出部５０１、移動量算出部５０２、および正規化部５０３による処理を実行する。

図１４は、実施例１にかかる骨格情報処理の詳細な処理手順例を示すフローチャートである。サーバ１０１は、関節角度算出部５０１により、更新教師信号ごとに、更新教師信号内の骨格情報３２０から関節角度３７０を算出する（ステップＳ１４０１）。つぎに、サーバ１０１は、移動量算出部５０２により、更新教師信号ごとに、更新教師信号内の骨格情報３２０からフレーム間の移動量を算出する（ステップＳ１４０１）。

そして、サーバ１０１は、正規化部により、更新教師信号ごとに、骨格情報３２０に対して絶対的な位置情報を除外し、骨格情報３２０の大きさが一定となる正規化を実行する（ステップＳ１３０３）。これにより、更新教師信号について、関節角度３７０と、フレーム間の移動量と、正規化した骨格情報３２０と、が得られる。そして、図１３のステップＳ１３０３に移行する。

図１３に戻り、サーバ１０１は、主成分分析部４０４により、正規化した骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、を入力データとして、主成分分析を実行して、単数または複数の主成分を生成する（ステップＳ１３０３）。

つぎに、サーバ１０１は、次元数制御部４０５により、生成した主成分の内、学習に用いる主成分を分散値の高い順に何次元使用するか決定し、決定したｋ次元までの主成分（第１主成分～第ｋ主成分）を分散値の高い順に選択する（ステップＳ１３０４）。

そして、サーバ１０１は、行動学習部により、選択した主成分と、更新教師信号内の行動情報と、に基づいて学習を行い、学習の結果、行動分類モデルを生成し、欠損情報と関連付ける（ステップＳ１３０５）。

主成分分析（ステップＳ１３０３）では、主成分分析を実行する前の情報と同じ次元数ｋの主成分を生成することが可能である。このため、ステップＳ１３０６では、サーバ１０１は、次元数制御部４０５により、ステップＳ１３０４で決定した学習に用いる主成分の次元数ｋについて、これまでに決定していない主成分の次元がある場合は（ステップＳ１３０６：Ｎｏ）、ステップＳ１３０４に戻り、これまでに決定していない主成分の次元を決定する（ステップＳ１３０４）。

一方、決定可能な学習に用いるすべての主成分の次元をこれまでに決定している場合は（ステップＳ１３０６：Ｙｅｓ）、ステップＳ１３０７に進む。ただ、ステップＳ１３０６の処理の判断は、決定可能な学習に用いるすべての主成分の次元の決定の是非で次の処理を判断のみに限定されない。たとえば、繰返し回数を予め定めておき、予め定めた繰返し回数だけステップＳ１３０４を繰返していれば、ステップＳ１３０７の処理に進むなどの処理としてもよい。

ステップＳ１３０７では、ステップＳ１３０１で欠損させた骨格情報３２０について、まだ欠損させていない骨格情報３２０があれば（ステップＳ１３０７：Ｎｏ）、ステップＳ１３０１の処理に戻り、サーバ１０１は、これまでに欠損させていない骨格について欠損させる（ステップＳ１３０１）。

一方、すべての骨格情報３２０について欠損させた場合（ステップＳ１３０７：Ｙｅｓ）、ステップＳ１３０８の処理に進む。ただステップＳ１３０７の処理の判断はこれに限らず、サーバ１０１は、予め定めた繰返し回数に従ってステップＳ１３０１に戻るか、ステップＳ１３０８に進むかを判断してもよい。また、欠損させる骨格を予め定めておき、サーバ１０１は、予め定めた骨格をすべて欠損させたか否かでステップＳ１３０１に戻るか、ステップＳ１３０８に進むか判断してもよい。

ステップＳ１３０８では、ステップＳ１３００で選択した教師信号について、まだ選択していない教師信号があれば（ステップＳ１３０８：Ｎｏ）、サーバ１０１は、これまでに選択していない教師信号を選択する（ステップＳ１３００）。一方、すべての教師信号について選択した場合は（ステップＳ１３０８：Ｙｅｓ）、サーバ１０１は、行動学習の処理を終了する。ただステップＳ１３０８の処理の判断はこれに限らず、サーバ１０１は、予め定めた繰返し回数に従ってステップＳ１３００に戻るか、行動学習の処理を終了するかを判断してもよい。

＜行動認識処理＞
図１５は、実施例１にかかるクライアント１０２（行動認識装置）による行動認識処理手順例を示すフローチャートである。クライアント１０２は、骨格検出部４５１により、センサ１０３から取得した解析対象データに映る人の骨格情報３２０を検出する（ステップＳ１５００）。つぎに、クライアント１０２は、欠損情報判断部４５２により、検出した骨格情報３２０の内、オクルージョンなどにより検出できなかった骨格点の位置情報を欠損情報であると判断する（ステップＳ１５０１）

つぎに、クライアント１０２は、骨格情報処理部４５３により、ステップＳ１５００で検出した骨格情報３２０について、ステップＳ１３０２の処理と同様に、骨格情報処理を実行する（ステップＳ１５０２）。具体的には、たとえば、サーバ１０１は、図１４に示したように、関節角度算出部５０１、移動量算出部５０２、および正規化部５０３による処理を実行する。

つぎに、クライアント１０２は、主成分分析部４５４により、ステップＳ１５０２で正規化した骨格情報３２０と関節角度３７０とフレーム間の移動量とを入力データとして、主成分分析を実行して、単数または複数の主成分を生成し、主成分と共に寄与率と累積寄与率も算出する（ステップＳ１５０３）。

つぎに、クライアント１０２は、次元数決定部４５５により、算出した寄与率および累積寄与率から、生成した主成分の内、分散の高い順にいくつの主成分を使用するかを決定する（ステップＳ１５０４）。

つぎに、クライアント１０２は、行動分類モデル選択部４５６により、行動学習により生成した行動分類モデルの内、ステップＳ１５０１で検出した欠損情報と同じ欠損情報が関連付けられ、且つステップＳ１５０４で決定した主成分の次元数と同じ次元数の主成分で行動学習を行った行動分類モデルを選択する（ステップＳ１５０５）。

つぎに、クライアント１０２は、行動認識部４５７により、ステップＳ１５０５で選択した行動分類モデルと主成分とに基づいて、センサ１０３から取得した解析対象データに映る人の行動を認識する（ステップＳ１５０６）。クライアント１０２は、認識結果をサーバ１０１に送信してもよく、また、認識結果を用いて、クライアント１０２に接続されている機器を制御してもよい。

たとえば、センサ１０３が配備されている解析環境が工場である場合、行動認識システム１００は、認識結果を用いて、工場内での作業員の作業監視や、製品の欠陥検査などに適用可能である。解析環境が電車である場合、行動認識システム１００は、認識結果を用いて、電車内での乗客の監視や車内設備の監視、火災などの災害検知などに適用可能である。

このように、実施例１によれば、認識対象の複数種類の行動を高精度に認識することができる。特に、オクルージョンになどにより骨格点３００～３１７が一部欠損した場合においても、欠損した骨格点に応じた複数種類の行動を高精度に認識することができる。

実施例２を、実施例１との相違点を中心に説明する。なお、実施例１と共通する点については、同一符号を付し、その説明を省略する。

図１６は、実施例２にかかる行動認識システム１００の機能的構成例を示すブロック図である。実施例２では、欠損情報制御部４０２が削除され、欠損情報判断部４５２が欠損情報補間部１６５２に変更される。これにより、人の動作している位置の計測について、オクルージョンなどにより一部骨格が計測できずに欠損情報が含まれる場合に、欠損情報補間部１６５２は、計測可能であった骨格情報３２０から欠損情報を補間する。

具体的には、たとえば、欠損情報補間部１６５２は、骨格検出部４５１から取得した骨格情報３２０の内、オクルージョンなどにより取得できなかった骨格点の位置情報を欠損情報とし、欠損情報を補間して骨格情報処理部４５３に出力する。欠損情報補間部１６５２は、たとえば、取得できた骨格情報３２０の内、連結される骨格点または欠損情報に近い位置にある骨格点から、欠損情報を補間してもよい。

また、欠損情報補間部１６５２は、欠損情報に対して予め定めた位置情報を代入してもよい。また、欠損情報補間部１６５２は、これまでに取得した別のフレームの骨格情報３２０について欠損情報を含むと判断された骨格情報３２０の欠損情報を用いて補間してもよい。このように、欠損情報の補間手法は限定されない。

＜学習処理＞
図１７は、実施例２にかかるサーバ１０１（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。実施例２では、欠損情報制御（ステップＳ１３０１）が実行されず、ステップＳ１３００で選択された教師信号について骨格情報処理（ステップＳ１３０２）が実行される。すなわち、実施例２では、骨格点の欠損の有無にかかわらず、骨格情報３２０を区別することなく、行動学習部４０６が１つの行動分類モデルを生成する。

＜行動認識処理＞
図１８は、実施例２にかかるクライアント１０２（行動認識装置）による行動認識処理手順例を示すフローチャートである。実施例２では、欠損情報判断（ステップＳ１５０１）が欠損情報補間（ステップＳ１８０１）に変更される。クライアント１０２は、骨格検出（ステップＳ１５００）で検出した骨格情報３２０の内、オクルージョンなどにより取得できなかった骨格点の位置情報を欠損情報で補間し、補間後の骨格情報３２０に更新する（ステップＳ１８０１）。骨格情報処理（ステップＳ１５０２）では、補間後の骨格情報３２０を含む教師信号が用いられる。

このように、実施例２によれば、オクルージョンなどにより欠損のある骨格情報３２０を補間することにより、欠損情報ごとに行動分類モデルを生成する必要がない。これにより、学習機能の処理負荷の低減と、行動認識機能の高速化と、を図ることができる。

実施例３は、実施例１と実施例２とを組み合わせた実施例である。具体的には、たとえば、実施例３の行動認識システム１００では、ユーザ操作により、実施例１にかかる学習処理および行動認識処理を実行する第１モードと、実施例２にかかる学習処理および行動認識処理を実行する第２モードと、に切替可能である。

このように、実施例３によれば、欠損情報を考慮したければ第１モードを選択することにより、高精度な行動認識結果を得ることができ、欠損を補間したければ第２モードを選択することにより、効率的に行動認識結果を得ることができる。

実施例４を、実施例１～実施例３との相違点を中心に説明する。なお、実施例１～実施例３と共通する点については、同一符号を付し、その説明を省略する。

図１９は、実施例４にかかる骨格情報処理部の機能的構成例を示すブロック図である。実施例４では、骨格情報処理部４０３，４５３は、相互情報正規化部１９０４を有する。相互情報正規化部１９０４は、主成分分析部４０４に出力する骨格情報３２０、関節角度３７０、およびフレーム間の移動量について、値域を一定の範囲内に正規化する。

骨格情報３２０およびフレーム間の移動量の値域は、解析対象データの解像度に依存する。一方、関節角度３７０の値域は、０から２π、または０度から３６０度の範囲となる。主成分分析の実行対象となるデータについて、値域に大きな違いがある場合、元のデータの主成分に対する影響にデータ種毎の偏りが生じる場合がある。

この偏りを無くすため、相互情報正規化部１９０４は、主成分にかけるデータの値域を一定の範囲内にする正規化を実行する。たとえば、相互情報正規化部１９０４は、骨格情報３２０を下記式（２１）～（２２）に従い、フレーム間移動量を下記式（２３）に従って、元のデータの値域を０から２πに統一する。

ただし、相互情報正規化部１９０４が実行する正規化の手法はこれに限らず、相互情報正規化部１９０４は、たとえば、主成分分析の実行対象となるデータの解像度の大きさに従って、関節角度３７０の値域を一定に正規化してもよい。

図２０は、実施例４にかかる骨格情報処理部の詳細な処理手順例を示すフローチャートである。実施例４では、骨格情報処理（ステップＳ１３０２，Ｓ１５０２）において、クライアント１０２は、正規化（ステップＳ１４０３）のあと、相互情報正規化（ステップＳ２００４）を実行する。相互情報正規化（ステップＳ２００４）では、正規化部で正規化された骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、について、取りえる値域を一定に正規化する。

このように、実施例４によれば、主成分分析を実行する元のデータ（骨格情報３２０、関節角度３７０、フレーム間の移動量）の取り得る値域を一定に統一することで、広い値域を持つ特定のデータによる主成分への影響の偏りを無くし、複数種類の行動を高精度に判別することができる。

実施例５を、実施例１～実施例４との相違点を中心に説明する。なお、実施例１～実施例４と共通する点については、同一符号を付し、その説明を省略する。

図２１は、実施例５にかかる行動認識システム１００の機能的構成例を示すブロック図である。実施例５では、主成分分析部４０４と主成分分析部４４５が、次元削減部２１００と次元削減部２１０１に変更される。次元削減は、元の情報量を可能な限り維持した上で元の変数の数または元の次元の数を削減する処理であり、実施例１～実施例４の主成分分析や独立成分分析といった成分分析を包含する概念である。

次元削減部２１００は、骨格情報処理部４０３から取得した教師信号の内、正規化した骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、を入力データとして、次元削減を実行して単数または複数の変数を生成し、次元数制御部４０５に出力する。

次元削減部２１００が行う次元削減の手法としては、ＳＮＥ（ＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）、ｔ－ＳＮＥ（ｔ－ＤｉｓｔｒｉｂｕｔｅｄＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）、ＵＭＡＰ（ＵｎｉｆｏｒｍＭａｎｉｆｏｌｄＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＰｒｏｊｅｃｔｉｏｎ）、Ｉｓｏｍａｐ、ＬＬＥ（ＬｏｃａｌｌｙＬｉｎｅａｒＥｍｂｅｄｄｉｎｇ）、ラプラシアン固有マップ（ＬａｐｌａｃｉａｎＥｉｇｎｍａｐ）、ＬａｒｇｅＶｉｓ、および拡散マップのような手法がある。次元削減部２１００は、ｔ－ＳＮＥやＵＭＡＰに主成分分析や独立成分分析を組み合わせて次元削減してもよい。以下、各次元削減の手法と、各手法を組み合わせて行う次元削減の手法を説明する。

ＳＮＥの処理を、下記式（２４）～（２８）を用いて説明する。

ｘ_ｉとｘ_ｊの２つのｘ座標値３２２（入力データ）の類似度をｘ_ｉが与えられたときに近傍としてｘ_ｊを選択する条件付確率ｐ_ｊ｜ｉとする。条件付確率ｐ_ｊ｜ｉを上記式（２４）に示す。この時、ｘ_ｊはｘ_ｉを中心とした正規分布に基づいて選択されると仮定する。次に、次元削減後のｙ_ｉとｙ_ｊの２つのｙ座標値３２３（主成分）の類似度も、次元削減前のｘ_ｉとｘ_ｊの類似度と同様に、上記式（２５）に示す条件付き確率ｑ_ｊ｜ｉとする。但し、次元削減後の座標値の分散は、式を簡略化するため１／√２で固定される。

次元削減前後での距離関係を維持するように次元削減のｙを生成すれば、情報量も可能な限り維持した上で、次元削減することが可能である。情報量の低減を抑制した上で次元削減を行うため、次元削減部２１００は、ｐ_ｊ｜ｉ＝ｑ_ｊ｜ｉとなるように処理を行う。次元削減には２つの確率分布がどの程度似ているかを表す尺度であるＫＬダイバージェンスが用いられる。

ＫＬダイバージェンスを損失関数として次元削減前後の確率分布を適応した式を上記式（２６）に示す。次元削減部２１００は、損失関数である上記式（２６）を確率的勾配降下法により最小化する。この勾配は損失関数をｙ_ｉで微分した上記式（２７）を用いて、ｙ_ｉを変動させる。この変動の際の更新式は上記式（２８）で示される。

以上、ｙ_ｉを変動させながら上記式（２８）を更新させ、上記式（２７）が最小となるｙ_ｉを得ることで次元削減を行ない、新たな変数を得る。ただし、ＳＮＥの場合、主成分分析と異なり処理の特性上縮約後の次元数（変数）は２または，３種類になる。このため、ＳＮＥによる次元削減を実施の際は、予め定めた次元数（変数）を次元数制御部４０５に出力し、次元数制御部４０５は前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

ただＳＮＥでは損失関数の最小化が難しく、また次元削減の際に等距離性を保とうとして、ｘ座標値３２２およびｙ座標値３２３で特定される骨格点が密になってしまう問題がある。この問題の解決手法としてｔ－ＳＮＥがある。

ｔ－ＳＮＥの処理を下記式（２９）～（３３）を用いて説明する。

損失関数最小化を簡単にするため、損失関数を対称化する。損失関数の対称化処理では、上記式（２９）に示す通り、ｘ_ｉとｘ_ｊの距離を同時確率分布ｐ_ｉｊで表す。ｐ_ｊ｜ｉは上記式（２４）同様で上記式（３０）で示せる。また次元削減後のｙ_ｉとｙ_ｊの距離を上記式（３１）に示す同時確率分布ｑ_ｉｊで表す。

次元削減後の点の距離はスチューデントのｔ分布を仮定している。スチューデントのｔ分布は、正規分布に比較して、平均値からずれた値の存在確率が高いことが特徴であり、この特徴が次元削減後のデータ間の距離について長い距離の分布も許容することが可能となる。

ｔ－ＳＮＥでは、次元削減部２１００は、上記式（２９）～（３１）で求めたｐｉｊとｑ_ｉｊを用いて、上記式（３２）に示す損失関数を最小化することで次元削減を行う。次元削減部２１００は、損失関数の最小化にはＳＮＥと同様に上記式（３３）に示す確率的勾配降下法を用いる。

以上、上記式（３３）が最小となるｙ_ｉを得ることで、次元削減部２１００は、次元削減を行ない、新たな変数を得る。ｔ－ＳＮＥもＳＮＥ同様に処理の特性上縮約後の次元数（変数）は２または３種類になる。このため、ｔ－ＳＮＥによる次元削減を実施の際は、予め定めた次元数（変数）を次元数制御部４０５に出力し、次元数制御部４０５は前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

ｔ－ＳＮＥは、次元削減前の高次元の局所的な構造を保った上で、大局的な構造も可能な限り捉えることから精度よく次元削減可能であるが、次元削減前の次元数に応じて計算時間が増加するといった問題がある。この次元削減の計算時間の問題を解決する手法としてＵＭＡＰがある。ＵＭＡＰの処理を下記式（３４）～（３６）を用いて説明する。

とり得る値の全体Ａの中で、高次元の集合Ｘ（上記式（３４））がある。Ａの中から任意のデータを取り出した際に、それが集合Ｘに含まれる度合いを０から１の範囲で出力するメンバーシップ関数をμとする。上記式（１）に示す入力Ｘに対して、上記式（２）に示すＹを用意する。ＹはＸに比較して低い次元の空間に存在するｍ（＜ｐ）個の点の集合であり、次元削減後のデータの集合である。そしてＹのメンバーシップ関数をνとして、次元削減部２１００は、上記式（３６）が最小となるようなＹを定めることで次元削減を行ない、新たな変数を得る。

ＵＭＡＰによる次元削減を実施の際には、次元削減部２１００は、ＳＮＥやｔ－ＳＮＥ同様に予め定めた次元数（変数）を次元数制御部４０５に出力してもよいし、または、次元削減後のメンバーシップ関数νが予め定めた値域以上となるような次元数（変数）を必要な次元数として次元制御部４０５に出力してもよい。この際、次元数制御部４０５は、次元削減部２１００が出力する次元数（変数）に従って、使用する次元数（変数の数）を決定すればよい。

Ｉｓｏｍａｐの処理を説明する。次元削減部２１００は、任意のデータにおいて、近傍にあるデータの最短距離を算出し、算出した距離を多次元尺度構成法（ＭＤＳ）により測地線距離行列で表すことで次元削減を行ない、新たな変数を得る。Ｉｓｏｍａｐによる次元削減の実施の際には、次元削減部２１００は、予め定めた次元数（変数）を次元数制御部４０５に出力し、前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

ＬＬＥについて下記式（３５）～（４１）を用いて説明する。

ｘ_ｉの近傍にある点を線形結合で近似的に上記式（３５）で表す。ここで、上記式（３６）の制約下で上記式（３７）を最小化することで次元削減前のｘ_ｉの近似値が定まる。次に、次元削減後のｙ_ｉについて、次元削減後にも可能な限りｘ_ｉの線形の隣接関係を保つため、次元削減部２１００は、上記式（３８）を最小化する。この解は上記式（３９）の固有ベクトルを固有値の２番目に小さいものｖ_ｉから（ｄ＋１）番目のｖ_ｄまで抽出することで上記式（４０）の通り得られ、次元削減部２１００は、上記式（４１）の通り、次元削減後のｙ_ｉを取得する。

ＬＬＥによる次元削減を実施の際には、次元削減部２１００は、予め定めた次元数（変数）を次元数制御部４０５に出力し、次元数制御部４０５は前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

ラプラシアン固有マップの処理を下記式（４２）～（４７）を用いて説明する。

次元削減前のデータが生成する近傍グラフの各辺ｘ_ｉｘ_ｊを上記式（４２）または上記式（４３）に割り当てる。割り当てた重みに対して上記式（４４）のグラフラプラシアンを導入し、グラフラプラシアンの固有ベクトル（上記式（４５））を固有値の２番目に小さいｖ_ｉから（ｄ＋１）番目のｖ_ｄまで抽出することで上記式（４６）の通り得られ、次元削減部２１００は、上記式（４７）の通り次元削減後の値ｙ_ｉを取得する。

ラプラシアン固有マップによる次元削減を実施の際には、次元削減部２１００は、予め定めた次元数（変数）を次元数制御部４０５に出力し、次元数制御部４０５は前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

ＬａｒｇｅＶｉｓの処理について説明する。ＬａｒｇｅＶｉｓはｔ－ＳＮＥの計算時間を改善した手法である。ｔ－ＳＮＥではデータ点同士の距離を求めるため、データ数に応じて計算時間が増大していた。ＬａｒｇｅＶｉｓでは、次元削減部２１００は、近傍のデータからＫ－ＮＮグラフを用いてデータを領域ごとに分け、領域ごとに分けられたデータモデル毎にｔ－ＳＮＥと同様の手法で次元削減を行う。

ＬａｒｇｅＶｉｓによる次元削減を実施の際には、次元数制御部４０５は、予め定めた次元数（変数）を次元数制御部４０５に出力し、前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

拡散マップについて下記式（４８）～（５３）を用いて説明する。

次元削減前のｘ_ｉと近傍にあるｘ_ｊから構成される近傍グラフの各辺ｘ_ｉｘ_ｊに重みＷ_ｉｊを割当て、これを正規化して上記式（４８）に示すＮ×Ｎの推移確率行列Ｐを作る。ｐ_ｔ（ｘ_ｉｘ_ｊ）はＰで表現されるグラフ上のランダムウォークによってｘ_ｉを出発してｔステップ後にｘ_ｊに到達する確率を表すとする。推移行列の性質からｐ_ｔ（ｘ_ｉｘ_ｊ）はｔ→∞で定常分布φ_０（ｘ_ｊ）に収束する。この時、点ｘ_ｉｘ_ｊの拡散距離を上記式（４９）で定義する。推移確率行列Ｐの固有値を上記式（５０）、固有ベクトルを上記式（５１）とする。この時、上記式(５２)が成り立つ。λ_ｉの絶対値は１以下であるから、次元削減部２１００は、Ｎより小さい適当な次元ｄ（ｔ）までの固有ベクトルをとって、上記式（５３）の通り次元削減を行ない、新たな変数を得る。

拡散マップによる次元削減を実施の際には、予め定めた次元数（変数）を次元数制御部４０５に出力し、次元数制御部４０５は前記予め定めた次元数に従って、使用する変数の数を決定すればよい。

次元削減部２１００は、これまでに説明した主成分分析、独立成分分析、ｔ－ＳＮＥ、ＵＭＡＰ、Ｉｓｏｍａｐ、ＬＬＥ、ラプラシアン固有マップ、ＬａｒｇｅＶｉｓ、拡散マップなどを組み合わせて実施してもよい。たとえば、次元削減部２１００は、３６次元、または３６変数ある高次元なデータに対して、１０次元までの次元削減を主成分分析を用いて行い、その後２次元までの次元削減をＵＭＡＰを用いるなど、次元削減に用いる手法の組合せは限定されない。このように次元削減の際に各種手法を組み合わせることで性能や計算時間に複合的な効果が期待できる。

また、これら次元削減の手法は、実施例５に記載の範囲で限定されるものではなく、たとえば、単に高次元の情報を可算、減算、乗算または除算したり、予め定めた係数に従って畳み込んだりしてもよく、実施例５記載の手法のように高次元のデータまたは多変数を、より低い次元のデータや、少ない数の変数を生成する手法であれば、次元削減の手法は限定されない。

次元削減部２１０１は、次元削減部２１００と同様の機能を有する。次元削減部２１０１は、骨格情報処理部４５３からの出力データに対して次元削減部２１００と同様の処理を実行して、次元削減前に比較して、少ない単数または複数の新たな変数を生成する。また、主成分分析部４５４は、主成分と共に生成した寄与率と累積寄与率とを次元数決定部４５５に出力する。

次元削減部２１０１は、次元削減部２１００と同様の機能を有する。次元削減部２１０１は、骨格情報処理部４５３からの出力データに対して次元削減部２１００と同様の処理を実行して、単数または複数の新たな変数を生成する。また、次元削減部２１０１は、次元削減部２１００同様の手法で、新たな変数と共に次元数決定部４５５で必要な次元数（変数）の情報を次元数決定部４５５に出力する。

次元数決定部４５５は、取得した次元数（変数）をもとに、取得した変数をいくつまで行動分類モデル選択部４５６に出力するかを示す次元数ｋを決定し、決定した数だけ新たに生成した変数を行動分類モデル選択部４５６に出力する。

このように、実施例５によれば、次元削減の手法を変えることで、骨格情報処理部４０３から取得するデータに合わせて、効果的に、または計算時間を短縮して次元削減可能となり、複雑な行動を高精度に判別することができる。

実施例６を、実施例１～実施例５との相違点を中心に説明する。なお、実施例１～実施例５と共通する点については、同一符号を付し、その説明を省略する。

図２２は、実施例６にかかる行動認識システム１００の機能的構成例を示すブロック図である。実施例６では、行動学習部４０６と行動認識部４５７が、行動学習部２２００と行動認識部２２０１に変更される。行動学習部２２００および行動認識部２２０１が行動を分類するための詳細な手法を図２３～図２５を用いて説明する。

図２３は、行動学習部２２００および行動認識部２２０１が行動を分類するための基礎となる手法である決定木を示す説明図である。決定木を用いた行動分類手法を説明する。決定木では、次元削減後に新たに生成された変数空間での各行動について、予め行動の種類を与えられた変数２３００から変数２３０３を用いて、（ａ）境界線２３１０が生成される。

（ａ）境界線２３１０を生成する手法を説明する。決定木は、入力された変数群２３２１の不純度が最小になるように段階的に行動を分類しいく。１段階目では第２変数軸上で、行動を変数群２３２２と変数群２３２３とに分類し、２段階目では第１変数軸上で、変数群２３２２および変数群２３２３を変数群２３２４～２３２７に分類する。こうして不純度が最小となるよう分類していく過程で得られる判別式を用いて（ａ）境界線２３１０が生成される。尚、各段階でどの軸で行動を分類するかは限定されず、また各軸での行動分類について１回などの規定された回数で分類するなどの限定もされない。

図２４は、決定木による分類の詳細な展開方法を示す説明図である。決定木には、レベル（深さ）ごとに決定木を成長させるレベルワイズ２４００と、リーフ（分岐後のデータ群）ごとに決定木を成長させるリーフワイズ２４０１と、がある。決定木のような分類器を重ねて学習することをアンサンブル学習という。

図２５は、アンサンブル学習と、行動学習部２２００と行動認識部２２０１が行動を分類するために用いる手法を示す説明図である。アンサンブル学習には、決定木のような分類木を並列に用いるバギング２４０１と、前の結果を引き継ぎ学習結果を更新していくブースティング２４０２と、がある。実施例１のランダムフォレストは、決定木についてバギング２４０１を採用した手法で、実施例６の行動学習部２２００および行動認識部２２０１は、ブースティング２４０２を使用した分類手法である。

行動学習部２２００が行動を学習し、行動認識部２２０１が行動を分類するにあたっては、各決定木をレベルワイズにより成長させ、複数の決定木を重ねるブースティングにより入力された変数を分類してもよいし、各決定木をリーフワイズにより成長させ、複数の決定木を重ねるブースティングにより入力された変数を分類してもよい。

尚、各決定木をレベルワイズにより成長させ、複数の決定木を重ねるブースティングを行動分類手法として採用する際にはソフトウェアライブラリｘｇｂｏｏｓｔを用いて実装してもよい。また一方で、各決定木をリーフワイズにより成長させ、複数の決定木を重ねるブースティングを行動分類手法として採用する際にはソフトウェアライブラリＬｉｇｈｔＧＢＭを用いて実装してもよい。ただし、実装手法はこれらに限定されない。

このように、実施例６によれば、行動分類手法にブースティングを用いて、複数の決定木を重ねることにより、複雑な行動を高精度に判別することができる。

実施例７を、実施例１～実施例６との相違点を中心に説明する。なお、実施例１～実施例６と共通する点については、同一符号を付し、その説明を省略する。

図２６は、実施例７にかかる行動認識システム１００の機能的構成例を示すブロック図である。実施例７では、次元削減部２１００と次元数制御部４０５と行動学習部４０６と次元数決定部４５５が、次元削減部２６００と次元数制御部２６０１と行動学習部２６０２と次元削減部２６０３に変更される。

次元削減部２６００は、予め定めた次元数に従って、実施例１～実施例６のいずれかの手法で次元削減を行い、次元削減後に生成した新たな変数を次元数制御部２６０１に出力する。次元数制御部２６０１は取得した次元数に従って、次元削減後の変数を行動学習部２６０２に出力する。

行動学習部２６０２は、取得した次元削減後の変数と共に、与えられた行動の種類から機械学習により、行動分類のための境界線を生成し、行動分類モデルを生成する。この際、生成した行動分類モデルに対して、どのくらいの精度で行動を予測できるかという行動分類精度を算出する。

行動学習部２６０２は、行動分類モデル生成に用いた変数を用いて行動分類精度を算出してもよい。行動学習部２６０２は、次元制御部２６００から取得した変数の内、一部を行動分類モデル生成には用いず、行動分類生成に用いなかった変数を用いて行動分類精度を算出してもよい。ただし、行動分類精度算出の方法は、これらに限定されない。算出した行動分類精度が予め定めた精度より高ければ、行動学習部２６０２は、生成した行動分類モデルを行動分類モデル選択部４５６に出力する。またこの際、行動学習部２６０２は、取得した次元数と行動分類精度が合格であったことを次元制御部２６０１に出力する。

一方で、行動学習部２６０２は、算出した行動分類精度が予め定めた精度より低ければ、行動分類精度が不合格であったことを次元制御部２６０１に出力する。ただし、設定可能な次元数（変数）すべてで行動分類モデルを生成した上で、そのすべてで行動分類精度が不合格であった場合には、行動学習部２６０２は、これまでに生成した行動分類モデルの中で最も行動分類精度が高かった行動分類モデルを行動分類モデル選択部４５６に出力し、出力した際に用いた次元数（変数）を全学習完了情報と共に次元数制御部２６０１に出力する。

次元制御部２６０１は、行動学習部２６０２から取得した合否情報と全学習完了情報に従って、合格または全学習完了情報を取得した場合には、取得した次元数情報を次元削減部２６０３に出力し、不合格であった場合には次元削減に用いる次元数を変更して再度次元削減を実施するよう次元削減命令を次元削減部２６００に出力する。

次元削減部２６００は、取得した次元削減命令に従って、これまでに設定していない次元数を設定して再度次元削減を実施し、生成した変数を次元数制御部２６０１に出力する。

次元削減部２６０３は、次元数制御部２６０１から取得した次元数（変数）に従って、骨格情報処理部４５２から取得したデータに、実施例１～実施例６の次元削減手法を用いて次元削減を行い、生成した変数を行動分類モデル選択部４５６に出力する。尚、合否を判断する行動分類精度を定めず、次元削減部２６０３は、設定可能な次元数全てで学習を行い、行動分類精度を算出した上で、算出した行動分類精度に従って、行動分類モデルと次元数を決定してもよい。

行動学習部２６０２が算出する行動分類精度は実施例１に記載の寄与率に見立ててもよい。例えば、取得した次元削減後の変数とそれを用いて算出した行動分類精度とを関連付けておき、算出された行動分類精度が、算出に用いた次元削減後の変数の元の情報に対する寄与率とする。次元制御部２６０１は、こうして見立てた寄与率に応じて、次元削減後の変数についてどれを用いて制御を行うか決定する。

＜学習処理＞
図２７は、実施例７にかかるサーバ１０１（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。サーバ１０１は、次元数制御部２６０１により、次元数を決定する。この際、初めて次元削減を実施する場合には予め定めた次元数を決定し、２回目以降の次元削減の場合は、これまでに決定してない次元数を決定する（ステップＳ２７００）。

つぎに、サーバ１０１は決定した次元数に従って、次元削減部２６０１で次元削減を行い、新たな変数を生成する（Ｓ２７０１）。ステップＳ２７０２では、サーバ１０１は行動学習部２６０２から取得した行動分類精度に対して、合否判断を行い、合格であればステップＳ１３０７に進み、不合格であればステップＳ２７００に戻る。

このように、実施例７によれば、目標の行動分類精度に合わせて次元数を変更し、次元削減を繰り返すことで、複雑な行動を高精度に判別することができる。

また、上述した実施例１～実施例７の行動認識装置および学習装置は、下記（１）～（１４）のように構成することもできる。

（１）プログラムを実行するプロセッサ２０１と、前記プログラムを記憶する記憶デバイス２０２と、を有する行動認識装置（クライアント１０２）は、多変量解析で統計的な成分を生成する成分分析（主成分分析または独立成分分析）により学習対象の形状（骨格情報３２０）から得られる成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、前記プロセッサ２０１は、センサ１０３から得られた解析対象データから認識対象の形状（骨格情報３２０）を検出する検出処理と、前記成分分析により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する成分分析処理と、前記各々の寄与率から得られる累積寄与率に基づいて、前記１以上の各々の次元を示す序数ｋを決定する決定処理と、前記決定処理によって決定された次元を示す序数ｋの成分を１以上含む特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、を実行する。

これにより、学習対象の形状に応じた行動分類モデルが用意されているため、認識対象の複数種類の行動を高精度に認識することができる。

（２）上記（１）の行動認識装置において、前記行動分類モデル群の各々の行動分類モデルは、前記学習対象の形状および前記形状を構成する複数の頂点の角度（関節角度３７０）から得られる成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習されており、前記プロセッサ２０１は、前記認識対象の形状に基づいて、前記認識対象の形状を構成する複数の頂点の角度（関節角度３７０）を算出する算出処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の頂点の角度と、に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

これにより、頂点の角度に起因する形状の変化に応じて、認識対象の複数種類の行動を高精度に認識することができる。

（３）上記（１）の行動認識装置において、前記行動分類モデル群の各々の行動分類モデルは、前記学習対象の形状および前記学習対象の移動量から得られる成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習されており、前記プロセッサ２０１は、前記認識対象の異なる時点の複数の形状に基づいて、前記認識対象の移動量を算出する算出処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の移動量と、に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

これにより、移動に起因する形状の経時的な変化に応じて、認識対象の複数種類の行動を高精度に認識することができる。

（４）上記（１）の行動認識装置において、前記プロセッサ２０１は、前記認識対象の形状の大きさを正規化する第１正規化処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記第１正規化処理による第１正規化後の前記認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

これにより、行動分類の汎用性の向上により、誤認識の抑制を図ることができる。

（５）上記（２）の行動認識装置において、前記プロセッサ２０１は、前記認識対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記第２正規化処理による第２正規化後の前記認識対象の形状および頂点の角度（関節角度３７０）に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

これにより、形状と角度という異なるデータ種における値域の偏りを抑制することができ、行動認識の高精度化を図ることができる。

（６）上記（１）の行動認識装置において、前記決定処理では、前記プロセッサ２０１は、前記累積寄与率がしきい値を超えるのに必要な前記成分の次元を示す序数ｋを決定する。

累積寄与率は、新たに生成した複数の成分が元のデータの情報量をどの程度表しているかといったことを示す尺度となるため、累積寄与率を参照することにより、次元数増加の抑制を図ることができる。

（７）上記（１）の行動認識装置において、前記行動分類モデル群の各々の行動分類モデルは、学習対象の一部欠損した形状から得られる成分群と、前記学習対象の行動と、を用いて、前記一部欠損した形状および成分群の組み合わせごとに学習されており、前記プロセッサ２０１は、前記認識対象の一部欠損した形状を判断する判断処理と、前記成分分析処理では、前記プロセッサ２０１は、前記判断処理によって判断された前記認識対象の一部欠損した形状に基づいて、前記１以上の成分と、前記１以上の成分の各々の寄与率と、を生成し、前記選択処理では、前記プロセッサ２０１は、前記認識対象の一部欠損した形状と同一欠損形状および前記特定の成分群と同じ成分群の組み合わせで学習された特定の行動分類モデルを、前記行動分類モデル群から選択する。

認識対象の形状が一部欠損していても、当該一部欠損に対応した行動分類モデルを用いて、高精度な行動認識をおこなうことができる。

（８）上記（１）の行動認識装置において、前記プロセッサ２０１は、前記認識対象の形状に一部欠損があれば補間する補間処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記補間処理による補間後の認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

これにより、形状に欠損がない学習対象によって生成された行動分類モデルに適切な入力を与えることができ、行動認識精度の低下を抑制することができる。

（９）プログラムを実行するプロセッサ２０１と、前記プログラムを記憶する記憶デバイス２０２と、を有する行動認識装置（クライアント１０２）は、多変量解析で統計的な成分を生成する次元削減（主成分分析または独立成分分析またはＳＮＥ（ＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）またはｔ－ＳＮＥ（ｔ－ＤｉｓｔｒｉｂｕｔｅｄＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）またはＵＭＡＰ（ＵｎｉｆｏｒｍＭａｎｉｆｏｌｄＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＰｒｏｊｅｃｔｉｏｎ）またはＩｓｏｍａｐまたはＬＬＥ（ＬｏｃａｌｌｙＬｉｎｅａｒＥｍｂｅｄｄｉｎｇ）またはラプラシアン固有マップ（ＬａｐｌａｃｉａｎＥｉｇｎｍａｐ）またはＬａｒｇｅＶｉｓまたは拡散マップ）により学習対象の形状（骨格情報３２０）から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、前記プロセッサ２０１は、センサ１０３から得られた解析対象データから認識対象の形状（骨格情報３２０）を検出する検出処理と、前記次元削減により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する次元削減処理と、前記各々の寄与率から得られる累積寄与率に基づいて、前記１以上の成分のうち第１変数からの昇順の成分の次元を示す序数ｋを決定する決定処理と、前記第１変数から前記決定処理によって決定された次元を示す序数ｋの成分までの特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、を実行する。

（１０）上記（９）の行動認識装置において、前記行動分類モデル群の各々の行動分類モデルは、前記学習対象の形状および前記形状を構成する複数の頂点の角度（関節角度３７０）から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習されており、前記プロセッサ２０１は、前記認識対象の形状に基づいて、前記認識対象の形状を構成する複数の頂点の角度（関節角度３７０）を算出する算出処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の頂点の角度と、に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

（１１）上記（９）の行動認識装置において、前記行動分類モデル群の各々の行動分類モデルは、前記学習対象の形状および前記学習対象の移動量から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習されており、前記プロセッサ２０１は、前記認識対象の異なる時点の複数の形状に基づいて、前記認識対象の移動量を算出する算出処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の移動量と、に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

（１２）上記（９）の行動認識装置において、前記プロセッサ２０１は、前記認識対象の形状の大きさを正規化する第１正規化処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記第１正規化処理による第１正規化後の前記認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

（１３）上記（１０）の行動認識装置において、前記プロセッサ２０１は、前記認識対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記第２正規化処理による第２正規化後の前記認識対象の形状および頂点の角度（関節角度３７０）に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

（１４）上記（９）の行動認識装置において、前記決定処理では、前記プロセッサ２０１は、前記第１変数からの累積寄与率がしきい値を超えるのに必要な前記第１変数からの昇順の成分の次元を示す序数ｋを決定する。

（１５）上記（９）の行動認識装置において、前記行動分類モデル群の各々の行動分類モデルは、学習対象の一部欠損した形状から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、前記一部欠損した形状および成分群の組み合わせごとに学習されており、前記プロセッサ２０１は、前記認識対象の一部欠損した形状を判断する判断処理と、前記次元削減処理では、前記プロセッサ２０１は、前記判断処理によって判断された前記認識対象の一部欠損した形状に基づいて、前記１以上の成分と、前記１以上の成分の各々の寄与率と、を生成し、前記選択処理では、前記プロセッサ２０１は、前記認識対象の一部欠損した形状と同一欠損形状および前記特定の成分群と同じ成分群の組み合わせで学習された特定の行動分類モデルを、前記行動分類モデル群から選択する。

（１６）上記（９）の行動認識装置において、前記プロセッサ２０１は、前記認識対象の形状に一部欠損があれば補間する補間処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記補間処理による補間後の認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する。

（１７）プログラムを実行するプロセッサ２０１と、前記プログラムを記憶する記憶デバイス２０２と、を有する学習装置において、前記プロセッサ２０１は、学習対象の形状および行動を含む教師データを取得する取得処理と、多変量解析で統計的な成分を生成する成分分析（主成分分析または独立成分分析）により、前記取得処理によって取得された前記学習対象の形状に基づいて、１以上の成分を生成する成分分析処理と、許容計算量に基づいて、前記１以上の成分の各々の次元を示す序数を制御する制御処理と、前記制御処理によって制御された次元を示す序数の成分を１以上含む成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、を実行する。

これにより、学習対象の形状に応じた行動分類モデルを複数種類用意することができるため、認識対象の複数種類の行動を高精度に認識することができる。

（１８）上記（１７）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状に基づいて、前記学習対象の形状を構成する複数の頂点の角度（関節角度３７０）を算出する算出処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の頂点の角度と、に基づいて、前記１以上の成分を生成する。

これにより、頂点の角度に起因する形状の変化に応じて、行動分類モデルを複数種類用意することができるため、認識対象の頂点の角度に起因する形状の変化に応じた複数種類の行動を、高精度に認識することができる。

（１９）上記（１７）の学習装置において、前記プロセッサ２０１は、前記学習対象の異なる時点の複数の形状に基づいて、前記学習対象の移動量を算出する算出処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の移動量と、に基づいて、前記１以上の成分を生成する。

これにより、移動に起因する形状の経時的な変化に応じて、行動分類モデルを複数種類用意することができるため、移動に起因する形状の経時的な変化に応じた複数種類の行動を、高精度に認識することができる。

（２０）上記（１７）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状の大きさを正規化する第１正規化処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記第１正規化処理による第１正規化後の前記学習対象の形状に基づいて、前記１以上の成分を生成する。

これにより、行動分類学習の汎用性の向上により、誤学習の抑制を図ることができる。

（２１）上記（１８）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記第２正規化処理による第２正規化後の前記学習対象の形状および頂点の角度に基づいて、前記１以上の成分を生成する。

これにより、形状と角度という異なるデータ種における値域の偏りを抑制することができ、行動分類学習の高精度化を図ることができる。

（２２）上記（１７）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状を一部欠損させる欠損制御処理を実行し、前記成分分析処理では、前記プロセッサ２０１は、前記欠損制御処理によって得られた前記学習対象の一部欠損した形状に基づいて、前記１以上の成分を生成し、前記行動学習処理では、前記プロセッサ２０１は、前記成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記行動分類モデルを生成し、前記一部欠損させた形状に関する欠損情報と関連付ける。

意図的に一部欠損した形状を生成することにより、行動分類モデルの種類数の増加を図ることができる。これにより、認識対象の様々な形状に対応した高精度な行動認識が可能になる。

（２３）プログラムを実行するプロセッサ２０１と、前記プログラムを記憶する記憶デバイス２０２と、を有する学習装置において、前記プロセッサ２０１は、学習対象の形状および行動を含む教師データを取得する取得処理と、多変量解析で統計的な成分を生成する次元削減（主成分分析または独立成分分析またはＳＮＥ（ＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）またはｔ－ＳＮＥ（ｔ－ＤｉｓｔｒｉｂｕｔｅｄＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）またはＵＭＡＰ（ＵｎｉｆｏｒｍＭａｎｉｆｏｌｄＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＰｒｏｊｅｃｔｉｏｎ）またはＩｓｏｍａｐまたはＬＬＥ（ＬｏｃａｌｌｙＬｉｎｅａｒＥｍｂｅｄｄｉｎｇ）またはラプラシアン固有マップ（ＬａｐｌａｃｉａｎＥｉｇｎｍａｐ）またはＬａｒｇｅＶｉｓまたは拡散マップ）により、前記取得処理によって取得された前記学習対象の形状に基づいて、１以上の成分を生成する次元削減処理と、許容計算量に基づいて、前記１以上の成分のうち第１変数からの昇順の成分の次元を示す序数を制御する制御処理と、前記第１変数から前記制御処理によって制御された次元を示す序数の成分までの成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、を実行する。

（２４）上記（２３）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状に基づいて、前記学習対象の形状を構成する複数の頂点の角度（関節角度３７０）を算出する算出処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の頂点の角度と、に基づいて、前記１以上の成分を生成する。

（２５）上記（２３）の学習装置において、前記プロセッサ２０１は、前記学習対象の異なる時点の複数の形状に基づいて、前記学習対象の移動量を算出する算出処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の移動量と、に基づいて、前記１以上の成分を生成する。

（２６）上記（２３）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状の大きさを正規化する第１正規化処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記第１正規化処理による第１正規化後の前記学習対象の形状に基づいて、前記１以上の成分を生成する。

（２７）上記（２４）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記第２正規化処理による第２正規化後の前記学習対象の形状および頂点の角度に基づいて、前記１以上の成分を生成する。

（２８）上記（２３）の学習装置において、前記プロセッサ２０１は、前記学習対象の形状を一部欠損させる欠損制御処理を実行し、前記次元削減処理では、前記プロセッサ２０１は、前記欠損制御処理によって得られた前記学習対象の一部欠損した形状に基づいて、前記１以上の成分を生成し、前記行動学習処理では、前記プロセッサ２０１は、前記第１変数から前記次元を示す序数の成分までの成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記行動分類モデルを生成し、前記一部欠損させた形状に関する欠損情報と関連付ける。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサ２０１がそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、又は、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要なすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。

１００行動認識システム
１０１サーバ
１０２クライアント
１０３センサ
１０４教師信号ＤＢ
２０１プロセッサ
２０２記憶デバイス
３２０骨格情報
４０１教師信号取得部
４０２欠損情報制御部
４０３，４５３骨格情報処理部
４０４，４５４主成分分析部
４０５，２６０１次元数制御部
４０６，２２００，２６０２行動学習部
４５１骨格検出部
４５２欠損情報判断部
４５５次元数決定部
４５６行動分類モデル選択部
４５７，２２０１行動認識部
５０１関節角度算出部
５０２移動量算出部
５０３正規化部
１６５２欠損情報補間部
１９０４相互情報正規化部
２１００，２１０１，２６００，２６０３次元削減部

Claims

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、
多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、
前記プロセッサは、
解析対象データから認識対象の形状を検出する検出処理と、
前記成分分析により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する成分分析処理と、
前記各々の寄与率から得られる累積寄与率に基づいて、前記１以上の成分の各々の次元を示す序数を決定する決定処理と、
前記決定処理によって決定された次元を示す序数の成分を１以上含む特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、
前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、
を実行することを特徴とする行動認識装置。
請求項１に記載の行動認識装置であって、
前記行動分類モデル群の各々の行動分類モデルは、学習対象の一部欠損した形状から得られる成分群と、前記学習対象の行動と、を用いて、前記一部欠損した形状および成分群の組み合わせごとに学習されており、
前記プロセッサは、
前記認識対象の一部欠損した形状を判断する判断処理と、
前記成分分析処理では、前記プロセッサは、前記判断処理によって判断された前記認識対象の一部欠損した形状に基づいて、前記１以上の成分と、前記１以上の成分の各々の寄与率と、を生成し、
前記選択処理では、前記プロセッサは、前記認識対象の一部欠損した形状と同一欠損形状および前記特定の成分群と同じ成分群の組み合わせで学習された特定の行動分類モデルを、前記行動分類モデル群から選択する、
ことを特徴とする行動認識装置。
請求項１に記載の行動認識装置であって、
前記プロセッサは、
前記認識対象の形状に一部欠損があれば補間する補間処理を実行し、
前記成分分析処理では、前記プロセッサは、前記補間処理による補間後の認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する、
ことを特徴とする行動認識装置。
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、
多変量解析で統計的な成分を生成する次元削減により学習対象の形状から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、
前記プロセッサは、
解析対象データから認識対象の形状を検出する検出処理と、
前記次元削減により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する次元削減処理と、
前記各々の寄与率に基づいて、前記１以上の成分のうち第１変数からの昇順の成分の次元を示す序数を決定する決定処理と、
前記第１変数から前記決定処理によって決定された次元を示す序数の成分までの特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、
前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、
を実行することを特徴とする行動認識装置。
請求項４に記載の行動認識装置であって、
前記行動分類モデル群の各々の行動分類モデルは、前記学習対象の形状および前記形状を構成する複数の頂点の角度から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習されており、
前記プロセッサは、
前記認識対象の形状に基づいて、前記認識対象の形状を構成する複数の頂点の角度を算出する算出処理を実行し、
前記次元削減処理では、前記プロセッサは、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の頂点の角度と、に基づいて、前記１以上の成分と、前記寄与率と、を生成する、
ことを特徴とする行動認識装置。
請求項４に記載の行動認識装置であって、
前記行動分類モデル群の各々の行動分類モデルは、前記学習対象の形状および前記学習対象の移動量から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習されており、
前記プロセッサは、
前記認識対象の異なる時点の複数の形状に基づいて、前記認識対象の移動量を算出する算出処理を実行し、
前記次元削減処理では、前記プロセッサは、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の移動量と、に基づいて、前記１以上の成分と、前記寄与率と、を生成する、
ことを特徴とする行動認識装置。
請求項４に記載の行動認識装置であって、
前記プロセッサは、
前記認識対象の形状の大きさを正規化する第１正規化処理を実行し、
前記次元削減処理では、前記プロセッサは、前記第１正規化処理による第１正規化後の前記認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する、
ことを特徴とする行動認識装置。
請求項５に記載の行動認識装置であって、
前記プロセッサは、
前記認識対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、
前記次元削減処理では、前記プロセッサは、前記第２正規化処理による第２正規化後の前記認識対象の形状および頂点の角度に基づいて、前記１以上の成分と、前記寄与率と、を生成する、
ことを特徴とする行動認識装置。
請求項４に記載の行動認識装置であって、
前記決定処理では、前記プロセッサは、前記寄与率がしきい値を超えるのに必要な前記第１変数からの昇順の成分の次元を示す序数を決定する、
ことを特徴とする行動認識装置。
請求項４に記載の行動認識装置であって、
前記行動分類モデル群の各々の行動分類モデルは、学習対象の一部欠損した形状から得られる第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて、前記一部欠損した形状および成分群の組み合わせごとに学習されており、
前記プロセッサは、
前記認識対象の一部欠損した形状を判断する判断処理と、
前記次元削減処理では、前記プロセッサは、前記判断処理によって判断された前記認識対象の一部欠損した形状に基づいて、前記１以上の成分と、前記１以上の成分の各々の寄与率と、を生成し、
前記選択処理では、前記プロセッサは、前記認識対象の一部欠損した形状と同一欠損形状および前記特定の成分群と同じ成分群の組み合わせで学習された特定の行動分類モデルを、前記行動分類モデル群から選択する、
ことを特徴とする行動認識装置。
請求項４に記載の行動認識装置であって、
前記プロセッサは、
前記認識対象の形状に一部欠損があれば補間する補間処理を実行し、
前記次元削減処理では、前記プロセッサは、前記補間処理による補間後の認識対象の形状に基づいて、前記１以上の成分と、前記寄与率と、を生成する、
ことを特徴とする行動認識装置。
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、
前記プロセッサは、
学習対象の形状および行動を含む教師データを取得する取得処理と、
多変量解析で統計的な成分を生成する成分分析により、前記取得処理によって取得された前記学習対象の形状に基づいて、１以上の成分を生成する成分分析処理と、
許容計算量に基づいて、前記１以上の成分の各々の次元を示す序数を制御する制御処理と、
前記制御処理によって制御された次元を示す序数の成分を１以上含む成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、
を実行することを特徴とする学習装置。
請求項１２に記載の学習装置であって、
前記プロセッサは、
前記学習対象の形状を一部欠損させる欠損制御処理を実行し、
前記成分分析処理では、前記プロセッサは、前記欠損制御処理によって得られた前記学習対象の一部欠損した形状に基づいて、前記１以上の成分を生成し、
前記行動学習処理では、前記プロセッサは、
前記成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記行動分類モデルを生成し、前記一部欠損させた形状に関する欠損情報と関連付ける、
ことを特徴とする学習装置。
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、
前記プロセッサは、
学習対象の形状および行動を含む教師データを取得する取得処理と、
多変量解析で統計的な成分を生成する次元削減により、前記取得処理によって取得された前記学習対象の形状に基づいて、１以上の成分を生成する次元削減処理と、
許容計算量に基づいて、前記１以上の成分のうち第１変数からの昇順の成分の次元を示す序数を制御する制御処理と、
前記第１変数から前記制御処理によって制御された次元を示す序数の成分までの成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、
を実行することを特徴とする学習装置。
請求項１４に記載の学習装置であって、
前記プロセッサは、
前記学習対象の形状に基づいて、前記学習対象の形状を構成する複数の頂点の角度を算出する算出処理を実行し、
前記次元削減処理では、前記プロセッサは、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の頂点の角度と、に基づいて、前記１以上の成分を生成する、
ことを特徴とする学習装置。
請求項１４に記載の学習装置であって、
前記プロセッサは、
前記学習対象の異なる時点の複数の形状に基づいて、前記学習対象の移動量を算出する算出処理を実行し、
前記次元削減処理では、前記プロセッサは、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の移動量と、に基づいて、前記１以上の成分を生成する、
ことを特徴とする学習装置。
請求項１４に記載の学習装置であって、
前記プロセッサは、
前記学習対象の形状の大きさを正規化する第１正規化処理を実行し、
前記次元削減処理では、前記プロセッサは、前記第１正規化処理による第１正規化後の前記学習対象の形状に基づいて、前記１以上の成分を生成する、
ことを特徴とする学習装置。
請求項１５に記載の学習装置であって、
前記プロセッサは、
前記学習対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、
前記次元削減処理では、前記プロセッサは、前記第２正規化処理による第２正規化後の前記学習対象の形状および頂点の角度に基づいて、前記１以上の成分を生成する、
ことを特徴とする学習装置。
請求項１４に記載の学習装置であって、
前記プロセッサは、
前記学習対象の形状を一部欠損させる欠損制御処理を実行し、
前記次元削減処理では、前記プロセッサは、前記欠損制御処理によって得られた前記学習対象の一部欠損した形状に基づいて、前記１以上の成分を生成し、
前記行動学習処理では、前記プロセッサは、
前記第１変数から前記次元を示す序数の成分までの成分群と、前記学習対象の行動と、に基づいて、前記学習対象の行動を学習して、前記行動分類モデルを生成し、前記一部欠損させた形状に関する欠損情報と関連付ける、
ことを特徴とする学習装置。
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置が実行する行動認識方法であって、
多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる成分群と、前記学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、
前記行動認識方法は、
前記プロセッサが、
解析対象データから認識対象の形状を検出する検出処理と、
前記成分分析により、前記検出処理によって検出された前記認識対象の形状に基づいて、１以上の成分と、前記成分の各々の寄与率と、を生成する成分分析処理と、
前記各々の寄与率から得られる累積寄与率に基づいて、前記１以上の成分の各々の次元を示す序数を決定する決定処理と、
前記決定処理によって決定された次元を示す序数の成分を１以上含む特定の成分群と同じ成分群で学習された特定の行動分類モデルを、前記行動分類モデル群から選択する選択処理と、
前記選択処理によって選択された特定の行動分類モデルに前記特定の成分群を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、
を実行することを特徴とする行動認識方法。