JP2018108300A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】 取得された座標情報に基づき、より実態に近い測定値を算出すること【解決手段】 被験者の関節の座標情報を取得し、取得された座標情報に基づき、被験者の瞬間歩幅を算出する。瞬間歩幅の配列を正弦関数に近似し、近似した結果に基づき前記被験者の歩幅を算出する。【選択図】 図１

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ技術を用いて、介護やリハビリテーションにおける効果測定が行われている。

モーションキャプチャ技術の方式の一つとして、被験者にマーカを付けて複数方位からカメラにより撮影することで、マーカを検出し、被験者の動きをデジタルデータに変換し記録する方式がある。また、マーカを使わずに、赤外線センサーを利用してセンサーから被験者までの距離を測定し、測定された値をもとに、被験者の動きを記録する方式がある。

特許文献１には、リハビリテーションの現場においてモーションキャプチャ技術を用いた仕組みについて開示されている。

特開２０１５−６１５７７号公報

特許文献１には、モーションキャプチャ技術により取得された被験者の各関節の座標情報を取得し、被験者の動作を検証する仕組みが記載されている。

このような各関節の座標情報を取得し、被験者の動作を検証する仕組みにおいては、関節の座標情報を正しく認識することが重要となる。

しかし、関節が重なり合った状態や、手足が交差した状態など、正しい座標情報を取得することが難しいケースも発生する。

そこで本発明は、取得された座標情報に基づき、より実態に近い測定値を算出する仕組みを提供することを目的とする。

本発明の情報処理装置は被験者の関節の座標情報を取得する座標取得手段と、前記座標取得手段により取得された座標情報に基づき、被験者の瞬間歩幅を算出する瞬間歩幅算出手段と、前記歩幅算出手段により算出された瞬間歩幅の配列を正弦関数に近似する処理を実行する近似手段と、前記近似手段による処理の結果に基づき、前記被験者の歩幅を算出する歩幅算出手段と、を備えることを特徴とする。

また、本発明の情報処理方法は、情報処理装置における情報処理方法であって、前記情報書装置の座標取得手段が、被験者の関節の座標情報を取得する座標取得工程と、前記情報処理装置の瞬間歩幅算出手段が、前記座標取得工程により取得された座標情報に基づき、被験者の瞬間歩幅を算出する瞬間歩幅算出工程と、前記情報処理装置の近似手段が、前記歩幅算出工程により算出された瞬間歩幅の配列を正弦関数に近似する処理を実行する近似工程と、前記情報処理装置の歩幅算出手段が、前記近似工程による処理の結果に基づき、前記被験者の歩幅を算出する歩幅算出工程と、を備えることを特徴とする。

また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、被験者の関節の座標情報を取得する座標取得手段と、前記座標取得手段により取得された座標情報に基づき、被験者の瞬間歩幅を算出する瞬間歩幅算出手段と、前記歩幅算出手段により算出された瞬間歩幅の配列を正弦関数に近似する処理を実行する近似手段と、前記近似手段による処理の結果に基づき、前記被験者の歩幅を算出する歩幅算出手段として機能させるためのプログラム。

本発明によれば、取得された座標情報に基づき、より実態に近い測定値を算出することが可能となる。

情報処理装置１０１の機能構成の一例を示す図 情報処理装置１０１のハードウェア構成の一例を示す図 本実施形態における情報処理装置が実行する処理の一例を示すフローチャート ステップＳ３０４の処理の詳細を示すフローチャート モーション情報取得部１５１により取得された被験者の様子を示す図 歩行計測をしている被験者（６０１）と、当該被験者の骨格情報とが表示された画面の一例 ステップＳ３０４の処理内容を説明するための計算式 正方向の振幅Ａｐを算出する計算式 振幅Ａを算出する計算式 ｖ（ｔ）とｖ（ｔ＋Ｔ）との残差平方和（ＲＳＳ）が最小となるＴを見つけるための計算式 ｖ（ｔ）とｆ（ｔ）の残差平方和が最小となるαを見つけるための計算式 歩幅の実測値をグラフ化した図 ステップＳ３０４の処理を実行したデータをグラフ化した図 ステップＳ３０８により再度正弦関数に近似させたあとのデータをグラフ化した図

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、情報処理装置１０１の機能構成の一例を示した図である。

モーション情報取得部１５１は、介護やリハビリが行われる空間における人物（本発明においては、被験者（介護やリハビリを受ける者））の動きを検知し、被験者のモーション情報を取得する。

具体的には、モーション情報取得部１５１は、Ｋｉｎｅｃｔ（登録商標）として知られるセンサー群であり、ＲＧＢカメラ、深度センサー、音声センサーなどが内蔵され、被写体（本発明においては、被験者（介護やリハビリを受ける者））の位置、動き、声、顔などを認識することができる。

深度センサーは、赤外線を利用して被験者までの距離を測定する方式を用いるものとする。この方式によれば、被験者にマーカ等を付けることなくセンサーから被験者までの距離を測定することが可能である。

モーション情報取得部１５１で取得された各データは、動画データとして記憶部に記憶される。

モーション情報取得部１５１の各センサーにより取得されたモーション情報は、モーション情報解析部１５２に送信され、データ解析が行われる。

モーション情報解析部１５２では、モーション情報取得部１５１により取得された各データを解析し、被験者の動作を座標情報に変換する。

図５はモーション情報取得部１５１により取得された被験者の様子を示している。モーション情報取得部１５１は、被験者の動きを検知し、予め記憶された人体パターンとマッチングすることで、被験者の人体表面の座標を得る。そして、当該被験者の骨格を形成する各関節の座標を算出し、算出された座標情報に基づき、被験者の骨格を形成する。

このようにして各関節の座標情報を算出し、各関節の座標の変化を検出することで、被験者が足を上げたり、膝を曲げたりする動作を認識することが可能となる。

測定部１５３は、モーション情報解析部１５２により解析されたモーション情報と、各種目に応じた設定に基づき、当該種目における測定を行う。

図２は、本発明の実施形態に係わる情報処理装置１０１のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置１０１では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、入力装置２１０からの入力を制御する。入力装置２１０としては、キーボード、タッチパネル、マウス等のポインティングデバイス等が挙げられる。

なお、入力装置２１０がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

音声入力コントローラ２０６は、マイク／スピーカ２１１がマイク機能として動作する場合、マイク／スピーカ２１１からの音声入力を制御し、マイク／スピーカ２１１から入力された音声を認識することが可能となっている。また、音声入力コントローラ２０６は、マイク／スピーカ２１１がスピーカ機能として動作する場合、マイク／スピーカ２１１への音声出力を制御し、マイク／スピーカ２１１に対し音声を出力することが可能となっている。

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置２１０を提供する。

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

本発明では、ユーザが情報処理装置を通常使用する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９は、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

次に、図３、図４を用いて、本実施形態における情報処理装置１０１が実行する処理について説明する。なお、図３、図４のフローチャートに示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

次に図３に示すフローチャートを用いて、被験者を撮影しながら測定を行う処理について説明する。なお、図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定のプログラムを読み出して実行する処理である。

ステップＳ３０１では、ユーザから被験者の選択と種目の選択を受け付ける。

被験者情報は、あらかじめ被験者リストとして各種情報が登録されているものとするが、既に登録されている情報から選択するだけでなく、新規で登録しても良い。
。また、種目としては、眼を開けて片足で立っていられた時間を計測する「開眼片足立ち」、制限時間内に立ち座り動作を何回行えたかを計測する「椅子立ち座り」、最大歩幅を計測する「最大一歩」、５ｍの距離の歩行にかかる時間を計測する「通常歩行」、椅子から立ち上がり３ｍの距離を往復して椅子に座るまでの時間を計測する「ＴＵＧ（ＴｉｍｅｄＵｐ＆Ｇｏ）」などがある。なお、本発明は、被験者の歩幅を計測することを目的とするため、「通常歩行」などが選択された場合に適用可能である。

種目の選択を受け付けることで、当該種目の測定に必要な設定ファイルやプログラムを読み込む。

ステップＳ３０２では、ユーザから撮影指示を受け付ける。撮影指示を受け付けると、情報処理装置１０１のモーション情報取得部１５１は、被験者の撮影を開始する。すなわち、被験者を含む画像を取得する。また、各センサーにより得られた情報（被験者の各関節の座標情報など）であるモーション情報の取得を行う。本実施例においては、被験者の歩幅を算出することを目的とするため、足首（またはつま先や踵など、歩幅の計測に適した部位）の関節座標を取得するものとする。

ステップＳ３０３では、ステップＳ３０２で取得した関節座標の情報に基づき、被験者の瞬間歩幅を算出する。瞬間歩幅とは、具体的には、取得した画像から算出された被験者の左右の足首の関節座標の間隔である。

ステップＳ３０４では、ステップＳ３０３で算出した歩幅の実測値（瞬間歩幅の時系列変化）に近似する正弦関数（図７に示す計算式）を求める。ステップＳ３０４の処理の詳細は、図４に示すフローチャートを用いて説明する。

図４は、ステップＳ３０４の処理の詳細を示すフローチャートである。

ステップＳ４０１では、取得した画像を解析することで得られた歩幅の実測値から、瞬間歩幅の配列を作成する。

ステップＳ４０２では、瞬間歩幅の正の値の平均値を算出し、正方向の振幅Ａｐを算出する。計算式を図８に示す。

ステップＳ４０３では、ステップＳ４０２と同様に、瞬間歩幅の負の値の平均値を算出し、負方向の振幅Ａｍを算出する。

ステップＳ４０４では、ステップＳ４０２、Ｓ４０３で算出された正方向の振幅Ａｐ、負方向の振幅Ａｍから、振幅Ａを算出する。計算式を図９に示す。

ステップＳ４０５では、ステップＳ４０２で算出した振幅ＡｐとステップＳ４０４で算出した振幅Ａとの差（Ａｐ−Ａ）により、ズレβを算出する。

ステップＳ４０６では、図１０に示す計算式により、ｖ（ｔ）とｖ（ｔ＋Ｔ）との残差平方和（ＲＳＳ）が最小となるＴを見つける。

ステップＳ４０７では、ステップＳ４０４〜Ｓ４０６の処理により求められた振幅Ａ、ズレβ、Ｔとを用いて、図１１の計算式により、ｖ（ｔ）とｆ（ｔ）の残差平方和が最小となるαを見つける。

以上の処理により、実測値の歩幅を正弦関数に近似するよう補正する。

ステップＳ３０５では、ステップＳ３０１の処理により求められた値のうち、ｆ（ｔ）が最初に０になるまでの値と、ｆ（ｔ）が最後に０になった後の値について、振幅計算の対象から除外する。

この処理により、振幅を計算する際に誤差の原因となる値を除外することが可能となる。

ステップＳ３０６では、ｆ（ｔ）とｖ（ｔ）の距離が離れている実測値を無効にする。ｆ（ｔ）とｖ（ｔ）の距離については、例えば２０ｃｍ以上離れている場合は無効にするといったように予め設定しておくものとする。

ステップＳ３０７では、ステップＳ３０６による処理の結果、無効となった値の数が所定の割合を満たすか否か（例えば、全データ数の５０％を超える数の値が無効になったか否か）を判定する。なお、所定の値は５０％に限定されず、管理者等により適宜設定できるものとする。

無効になった値の数が所定の割合を満たす場合（ステップＳ３０７：ＹＥＳ）は、処理をステップＳ３０９に移行する。

無効になった値の数が所定の割合を満たさない場合（ステップＳ３０７：ＮＯ）は、処理をステップＳ３０８に移行し、無効になった値を除外したデータにより、再度図４に示す正弦関数に近似する処理を実行する（リファイン処理）。

ステップＳ３０９では、ステップＳ３０１〜Ｓ３０８の処理により求められた各測定結果を保存する。具体的には、ステップＳ３０１〜Ｓ３０８の処理により求められた波形の振幅が被験者の歩幅として算出され、当該値を測定結果として保存する。また、
図６は、歩行計測をしている被験者（６０１）と、当該被験者の骨格情報とが表示された画面の一例である。図６の６０２に示すように、被験者の歩幅をリアルタイムでグラフ化して表示している。また、不図示であるが、計測が終了し図３のフローチャートに示す処理が終了した場合には、図１４に示すグラフを６０２で示す領域に表示してもよい。

図１２は、瞬間歩幅の実測値をグラフ化した図である。Ｘ軸が時間（またはフレーム）、Ｙ軸が瞬間歩幅（左右の足首等の距離）を示している。すなわち、瞬間歩幅の時系列変化を表したグラフである。瞬間歩幅が最大となっている値が、当該被験者の歩幅（着地した瞬間の歩幅）であるといえる。

左右の歩幅が均等であれば、きれいな正弦曲線を描くことになるが、実際の計測値は図１２の１２０１であらわす値のように、突然マイナスの値を取るといったこともある。これは、計測の途中で、右足の足首と左足の足首とを入れ替えて認識してしまったことが原因である。特に歩行の様子を被験者の横から撮影した場合には、両足の足首が揃う（重なる）瞬間が発生することから、左右の足を誤認識してしまう事態が生じてしまう。

図１３は、ステップＳ３０４の処理を実行したデータをグラフ化した図である。ひし形のプロットは実測値を示し、三角形のプロットが正弦関数に近似した結果を示している。

ステップＳ３０６の処理は、図１３の１３０１で示す値（近似する正弦関数であらわされる値と距離が離れている実測値）を無効化する処理である。

図１４は、ステップＳ３０８により再度正弦関数に近似させたあとのデータを示すグラフである。ステップＳ３０６で無効化された値を除いたデータにより近似させることで、より実際の歩幅に近いデータを得ることが可能となる。

また、ステップＳ３０７により、無効化される値が多いと判定される場合には、再度近似させると逆に実際の歩幅から離れたデータとなってしまう。そのため、ステップＳ３０７の判定処理により、再度近似するか否かを判定している。

以上の処理により、左右の足を誤認識する等により、歩幅を正しく測定できないタイミングが発生した場合であっても、被験者の歩幅を精度高く推定することが可能となる。

以上、情報処理装置としての実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図３、図４に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３、図４の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３、図４の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 情報処理装置

Claims (5)

1. 被験者の関節の座標情報を取得する座標取得手段と、
   前記座標取得手段により取得された座標情報に基づき、被験者の瞬間歩幅を算出する瞬間歩幅算出手段と、
   前記歩幅算出手段により算出された瞬間歩幅の配列を正弦関数に近似する処理を実行する近似手段と、
   前記近似手段による処理の結果に基づき、前記被験者の歩幅を算出する歩幅算出手段と、
   を備えることを特徴とする情報処理装置。
2. 前記瞬間歩幅算出手段により算出された瞬間歩幅のうち、前記近似手段による処理の結果との距離が所定の値を超えるデータについて無効化する無効化手段をさらに備え、
   前記近似手段は、前記瞬間歩幅の配列から、前記無効化手段により無効化されたデータを除外したデータにより、再度近似する処理を実行することを特徴とする請求項１に記載の情報処理装置。
3. 前記無効化手段により無効化された値の数が、所定の条件を満たすかを判定する判定手段をさらに備え、
   前記近似手段は、前記判定手段により所定の条件を満たすと判定された場合に、再度の近似処理を実行することを特徴とする請求項２に記載の情報処理装置。
4. 情報処理装置における情報処理方法であって、
   前記情報書装置の座標取得手段が、被験者の関節の座標情報を取得する座標取得工程と、
   前記情報処理装置の瞬間歩幅算出手段が、前記座標取得工程により取得された座標情報に基づき、被験者の瞬間歩幅を算出する瞬間歩幅算出工程と、
   前記情報処理装置の近似手段が、前記歩幅算出工程により算出された瞬間歩幅の配列を正弦関数に近似する処理を実行する近似工程と、
   前記情報処理装置の歩幅算出手段が、前記近似工程による処理の結果に基づき、前記被験者の歩幅を算出する歩幅算出工程と、
   を備えることを特徴とする情報処理方法。
5. 情報処理装置において実行可能なプログラムであって、
   前記情報処理装置を、
   被験者の関節の座標情報を取得する座標取得手段と、
   前記座標取得手段により取得された座標情報に基づき、被験者の瞬間歩幅を算出する瞬間歩幅算出手段と、
   前記歩幅算出手段により算出された瞬間歩幅の配列を正弦関数に近似する処理を実行する近似手段と、
   前記近似手段による処理の結果に基づき、前記被験者の歩幅を算出する歩幅算出手段として機能させるためのプログラム。

Images