(実施形態1)
本実施形態の運動支援システム1は、病気や怪我により四肢に障害が残った患者に所定の運動を行わせることにより、四肢の機能の回復を図ることを目的とするリハビリテーションに使用される。ただし、以下の実施形態の記載は運動支援システムの用途を限定する趣旨ではなく、たとえば健常者がヨガやダンス等の運動に運動支援システムを用いてもよい。なお、以下では、利用者が立った姿勢で運動支援システムを利用する例を示すが、これに限らず、利用者は椅子などに座った姿勢で運動支援システムを利用してもよい。
本実施形態の運動支援システム1は、図1に示すように、利用者(患者)2の正面に配置され利用者2と向き合う表示面30に映像を映す表示装置3と、距離画像を生成する距離画像センサ4と、表示装置3等の動作を制御する制御装置5とを備えている。表示装置3および距離画像センサ4は、いずれも制御装置5に対して接続されている。
また、この運動支援システム1は、表示装置3の表示面30の手前(利用者2側)に配置されたハーフミラー6をさらに備えている。ハーフミラー6は、その前面(鏡面)が利用者2と向き合うように、表示装置3と利用者2との間に垂直に立てて配置されており、背後の表示装置3に表示された映像を利用者2側に透過させる。
表示装置3は、利用者2に画像を表示する表示面30を有する。表示装置3は、ここではプラズマディスプレイからなり、ハーフミラー6の背面側に取り付けられている。図1では、ハーフミラー6を支持する構造や、表示装置3の取付構造の図示を省略しているが、適宜選択される構造で、ハーフミラー6および表示装置3は十分な強度をもって定位置に固定される。なお、表示装置3はプラズマディスプレイに限らず、液晶ディスプレイ等、他のディスプレイ装置であってもよい。また、ディスプレイ装置の代わりに、ハーフミラー6の背面に貼り付けられる拡散シート(図示せず)と、ハーフミラー6の後方(利用者2とは反対側)から拡散シートに映像を投影する投影装置(図示せず)とで構成される表示装置を用いることも考えられる。
本実施形態においては、ハーフミラー6は、前面が縦長の長方形状であって、利用者2の全身を映す姿見として機能する大きさに形成されている。ハーフミラー6の透過率は、ハーフミラー6を鏡として利用でき、且つ利用者2がハーフミラー6を通して表示装置3に表示される映像を視認できるように設計される。ハーフミラー6は、ガラスや合成樹脂の透明な基材の少なくとも一表面に、金属膜などによる鏡面コーティングが施されることにより形成されている。
ここでは、表示装置3は、ハーフミラー6の背面に表示面30が接するように配置されている。表示装置3の高さ位置は、下端縁がハーフミラー6の下端から所定の間隔を空けて位置し、且つ上端縁がハーフミラー6の上端から所定の間隔を空けて位置するように決められている。ここで、表示装置3はハーフミラー6の中心よりもやや上方寄りに配置されている。また、表示装置3に表示される映像をハーフミラー6の前面に高輝度で表示できるよう、ハーフミラー6と表示面30との間には、屈折率を調節して反射を防止する透明材料が充填されていてもよい。
上記構成によれば、ハーフミラー6の前面は、鏡として利用者2の鏡像を映し出すとともに、表示装置3の表示面30に表示された映像を映し出すように機能する。つまり、ハーフミラー6の正面に利用者2が居れば、利用者2の鏡像がハーフミラー6の前面に映るとともに、表示装置3に表示される映像がハーフミラー6を透過してハーフミラー6の前面に映し出されることになる。詳しくは後述するが、表示装置3に表示される映像は制御装置5によって生成される。
距離画像センサ4は、強度変調光を用いタイムオブフライト法の原理で、画素値が距離値となる距離画像を生成する。ただし、距離画像センサ4は、距離画像を生成する構成であればよく、タイムオブフライト法を用いる距離画像センサに限らない。この距離画像センサ4は、センシング領域内に存在する検出対象までの距離を検出し、三次元空間内での検出対象の位置を距離画像として検出する。
ここでは、距離画像センサ4は、表示装置3と重ならないように表示装置3の上方に配置され、ハーフミラー6の正面に居る利用者2の距離画像を生成する。距離画像センサ4は、表示装置3の上方であって左右方向の略中央に位置決めされ、利用者2を斜め上前方から見下ろすように上下方向の向き(チルト角)が決められている。
さらに、距離画像センサ4は、その視野内に利用者2の全身が含まれ、且つ利用者2が直立した状態で利用者2の身体の左右方向における中心線が距離画像の左右方向の中心線に一致するように、左右方向の向き(パン角)が調節されている。
なお、距離画像センサ4は、上記配置に限らずたとえばカメラスタンド等を利用してハーフミラー6の正面側(利用者2側)における利用者2の目の高さ位置に設置されていてもよい。
上述したような距離画像センサ4の位置および向きの調節は、利用者2の位置および姿勢が決定してから初期設定として行われる。これにより、距離画像センサ4では、利用者2の全身を映した距離画像の動画が生成されることになる。
ところで、本実施形態の運動支援システム1は、利用者2に行わせる運動と同じ運動をする比較対象の映像を比較映像として記憶した記憶部51と、利用者2の運動時に表示装置3に比較映像を表示させる表示制御部52とを制御装置5に有している。換言すれば、本実施形態の運動支援システム1は、所定の運動を行う運動者の画像である比較画像(比較映像)を記憶する比較画像記憶部(記憶部)51と、比較画像記憶部51に記憶された比較画像を表示面30に表示する比較画像表示部(表示制御部)52と、を有する。
本実施形態では、利用者2に行わせる運動の模範を示す比較対象の映像が比較映像として用いられる。すなわち、所定の運動は、利用者2が行う運動の模範となる運動である。具体的には、利用者2に行わせる運動を比較対象としてのインストラクタが実際に行っている様子を、撮像装置(図示せず)にて、インストラクタの全身が入るようにインストラクタの正面から撮像することにより得られた動画像が、比較映像として用いられる。このようにして得られる比較映像は、記憶部51に予め記憶されている。なお、本実施形態では、比較画像は、静止画像であってもよい。この場合、比較画像は、利用者2が手本とすべき運動者の姿勢を示す。すなわち、比較画像は、所定の運動を行う運動者の静止画であってもよいし、所定の運動を行う運動者の動画像であってもよい。
表示制御部52は、利用者2から見てハーフミラー6に映る自身の鏡像と比較映像中の比較対象とが重なるように、表示面30上における比較映像のサイズを調整するサイズ調整部(図示せず)と、位置を調整する位置調整部(図示せず)とを有している。すなわち、表示制御部(比較画像表示部)52は、比較画像が利用者2の鏡像と重なるように、表示面30における比較画像の位置および大きさを調節するように構成される。
ここに、利用者2の視点から見たハーフミラー6に映る自身の鏡像は実物の2分の1のサイズになるので、サイズ調整部は、比較映像の比較対象を実物の2分の1のサイズで表示装置3の表示面30に表示させるように表示サイズを調節する。なお、比較対象(インストラクタ)と利用者2とで体格(主に身長)に違いがある場合には、利用者2の鏡像に比較対象のサイズを合わせるように、サイズ調整部にて比較映像の表示サイズが調節される。ただし、比較映像の比較対象が実物の2分の1のサイズでなく、たとえばより大きなサイズあるいはより小さなサイズで表示されていても、利用者2に身体の動きの見本を示すという意味では問題ない。
位置調整部は、表示面30における比較映像の表示位置を自由に調節可能な位置合わせ機能を有しており、利用者2の視点から見て自身の鏡像と比較対象(インストラクタ)の像とが重なる位置に比較映像が表示されるように、比較映像の表示位置を調節する。具体的には、ハーフミラー6と利用者2との位置関係に応じて表示面30における比較映像の位置が調節される。ハーフミラー6と利用者2との位置関係は、ハーフミラー6の正面中央部に利用者2が立つように予め定められていればよい。あるいは、利用者2の重心位置を検出する圧力センサ(図示せず)が付加され、圧力センサの検出結果からハーフミラー6と利用者2との位置関係が求められるようにしてもよい。
次に、簡易に比較映像の表示位置を調整する方法について説明する。制御装置5は、利用者2の身長として予め一律(たとえば170cm)の値が登録されている身長登録部(図示せず)を備える。なお、身長登録部に登録される身長は、利用者2によって直接入力されるようにしてもよい。
ハーフミラー6と利用者2との位置関係が特定されていれば、表示制御部52は、利用者2の身長に基づいた位置に比較映像を表示させることで、利用者2の視点から見て自身の鏡像と重なる位置に比較対象を表示させることが可能となる。
さらに別の方法について説明する。身長登録部に利用者2の身長が登録されていなくても、距離画像センサ4の位置および向きと、距離画像より検出される利用者2の立ち位置および頭頂部の位置とから、ハーフミラー6に映る鏡像の特定部位(たとえば頭部)の位置が判断されてもよい。したがって、表示制御部52は、利用者2の視点から見て自身の鏡像と重なる位置に比較対象を表示させることが可能となる。
なお、比較映像の表示サイズおよび表示位置の調節は、初期設定時に手動で行われてもよいし、自動化されていてもよい。
結果的に、ハーフミラー6の前面には、図2に示すように利用者2の鏡像20が映るとともに、見本となる姿勢を示す比較対象(インストラクタ)31の映像(比較映像)がハーフミラー6を透過して映し出されることになる。すなわち、表示装置3の前面に配置されるハーフミラー6が、利用者2の鏡像を比較画像に重ねて表示する鏡像表示手段として機能する。したがって、利用者2は、ハーフミラー6に映る自身の鏡像20と、表示面30上に表示される比較映像中の比較対象31とを見比べながら運動することができる。なお、図2では、利用者2の鏡像20を破線で示し、表示面30に表示されている比較映像中の比較対象31を実線で示している。
しかも、利用者2の鏡像20と比較映像中の比較対象31とが重なるように比較映像が表示されるので、利用者2は、身体をどのように動かせばよいのかを比較映像から把握し易いという利点もある。すなわち、利用者2が自身の鏡像20を見ることにより、比較対象31の映像が利用者2の視野内に入るため、利用者2は視線を殆ど動かさなくても自身の鏡像20と比較映像中の比較対象31とを見比べることができる。また、比較対象31の右半身が利用者2の右半身、比較対象31の左半身が利用者2の左半身の鏡像に重ねて表示されるため、利用者2は、比較対象31の動作の右、左の区別がつきやすく、身体をどのように動かせばよいのか把握し易くなる。
ここで、利用者2は、眼の焦点距離(比較映像の焦点距離:鏡像の焦点距離=1:2)を切り替えることにより、ハーフミラー6に映った鏡像20と、表示装置3に表示される比較映像とのどちらかに注目することができる。そのため、利用者2は、自身の鏡像20と比較映像中の比較対象31とを見分けながら、自身の姿勢を比較対象31の姿勢に合わせるように運動することができる。
なお、利用者2から見て、ハーフミラー6に映る鏡像20と表示装置3に表示される比較映像との見え方に大差が生じないように、運動支援システム1を使用時には、表示装置3の輝度や室内の明るさが適宜調節されていることが望ましい。
また、記憶部51に、比較対象(インストラクタ)を正面以外の方向(たとえば側方)から撮像した動画像が参照映像としてさらに記憶され、表示制御部52が、比較映像と共に参照映像を表示装置3に表示させる構成であってもよい。この場合、参照映像は比較映像に重なることがないように、たとえば表示面30における比較映像の側方に表示されることが望ましい。表示装置3に参照映像が表示されることにより、利用者2は、たとえば前後方向への身体の動きを理解するのに参照映像を参照することができるので、比較映像中の比較対象31に合わせて身体を動かし易くなる。
なお、表示制御部52は、比較映像中の比較対象31を利用者2の鏡像20と重なる位置に表示する構成に限らず、表示面30において利用者2の鏡像20の側方あるいは上方または下方となる位置に比較対象31を表示してもよい。比較対象31を利用者2の鏡像20と重なる位置に表示する場合でも、利用者2の鏡像20と比較映像中の比較対象31とは完全に重なっている必要はなく、たとえば足元などの基準となる部位が重なっていればよい。
ところで、本実施形態の運動支援システム1では、距離画像センサ4で生成された利用者2の距離画像は、制御装置5に出力され、利用者2の姿勢を認識する処理に用いられる。具体的に説明すると、制御装置5はコンピュータからなり、距離画像を距離画像センサ4から取得する取得部53と、取得した距離画像を用いて利用者2の姿勢を表す第1の特徴量を抽出する第1抽出部(特徴量抽出部)54とを有している。さらに、制御装置5は、比較対象31の姿勢を表す第2の特徴量を抽出する第2抽出部(基準量抽出部)55と、利用者2と比較対象31との姿勢のずれを評価する評価部(姿勢評価部)56と、評価部56の評価結果を提示する提示部57とを有している。
第1抽出部54は、画像認識技術によって、距離画像中の利用者2の特定点の位置を検出し、この特定点の位置に基づいて利用者2の姿勢を表す第1の特徴量を抽出する。すなわち、第1抽出部(特徴量抽出部)54は、利用者2の身体における所定の標本点(特定点)22の位置を検出し当該標本点22の位置に基づいて利用者2の姿勢を表す特徴量(第1の特徴量)を求めるように構成される。ここでは、利用者2の体幹の中心線や、頭頂部、肩部、肘部、手部、腰部、膝部、足首などの位置にそれぞれ設定される複数の点を特定点とする場合を例示するが、この例に限らず、特定点は距離画像中の利用者2の指先等、特定の位置に設定されていればよい。第1抽出部54は、このようにして検出される特定点の位置に基づいて、利用者2の姿勢を表す第1の特徴量を抽出する。
第2抽出部55は、比較対象31の特定点の位置を検出し、この特定点の位置に基づいて比較対象31の姿勢を表す第2の特徴量を抽出する。すなわち、第2抽出部(基準量抽出部)55は、比較対象(運動者)31の身体における所定の標本点(特定点)33の位置を検出し当該標本点33の位置に基づいて運動者31の姿勢を表す基準量(第2の特徴量)を求めるように構成される。比較対象31の特定点の位置は、比較映像の撮像時に距離画像センサ4で得られる距離画像から検出される。
評価部56は、第1の特徴量と第2の特徴量とを比較することにより、利用者2と比較対象31との姿勢のずれを評価する。すなわち、評価部(姿勢評価部)56は、第1抽出部(特徴量抽出部)で54求められた特徴量(第1の特徴量)を運動者(比較対象)の姿勢を表す基準量(第2の特徴量)と比較して、利用者2の姿勢の運動者の姿勢からのずれの評価を行うように構成される。
提示部57は、評価部56で評価された利用者2と比較対象31との姿勢のずれを利用者2に提示する。すなわち、提示部57は、評価部(姿勢評価部)56による評価の結果を提示するように構成される。具体的には、提示部57は、評価部56の評価結果を音声や光等で利用者2に提示する。あるいは、表示制御部52からの指示により評価部56の評価結果を表示装置3に表示させる構成とし、表示装置3が提示部57として兼用されてもよい。
以下に、第1抽出部54、第2抽出部55、評価部56、提示部57の動作について詳しく説明する。
本実施形態では、第1抽出部54は、図3,4に示すように利用者2の全身から複数の特定点22の位置を検出し、これら特定点同士を直線で結ぶことにより、三次元空間における利用者2の姿勢を表す身体モデル(以下、「第1の身体モデル」という)21を生成する。つまり、第1抽出部54では、図3に示すような姿勢の利用者2の距離画像から、図4に示すような第1の身体モデル21を生成する。すなわち、第1抽出部(特徴量抽出部)54は、利用者2の身体における複数の標本点22の位置を検出し、複数の標本点の位置に基づいて利用者2の身体を示す身体モデル(第1の身体モデル)21を作成し、身体モデル21に基づいて特徴量(第1の特徴量)を求めるように構成される。本実施形態では、利用者2の身体における複数の標本点22は、利用者2の頭部の標本点22(22a)と、利用者2の右肩の標本点22(22b)と、利用者2の左肩の標本点22(22c)と、利用者2の右肘の標本点22(22d)と、利用者2の左肘の標本点22(22e)と、利用者2の右手の標本点22(22f)と、利用者2の左手の標本点22(22g)と、利用者2の腰部の標本点22(22h)と、利用者2の右膝の標本点22(22i)と、利用者2の左膝の標本点22(22j)と、利用者2の右足の標本点22(22k)と、利用者2の左足の標本点22(22l)と、を含む。第1抽出部54は、12の標本点22a−22lに基づいて、第1の身体モデル21を生成する(図4参照)。
なお、距離画像センサ4で生成される利用者2の距離画像は利用者2の動きに合わせて随時変化する動画であるので、距離画像の各フレームから生成される第1の身体モデル21は、利用者2の動きをリアルタイムで表すことになる。
距離画像センサ4は、図1に示されるように、利用者2より上方に設置されている。そのため、距離画像センサ4より得られる利用者2の画像(距離画像)は、利用者2を斜め上方向から撮影して得られた画像となる。すなわち、距離画像は、利用者2が歪んだ画像となる。そのため、距離画像センサ4のカメラの俯角に起因して特徴量に誤差が生じるおそれがある。そこで、第1抽出部54は、標本点(特定点)22を検出する前処理として、距離画像センサ4より得られた距離画像を、利用者2を正面から撮影して得られる距離画像に補正する補正処理を行うように構成される。なお、このような補正処理は、予め求められた行列を利用して画像の座標を変換することで行える。第1抽出部54は、補正処理を行った後に、距離画像から標本点22の位置を検出する。なお、俯角に起因する誤差が小さい場合には、補正処理を省略してもよい。距離画像センサ4は、利用者2の目の高さより下に設置されてもよい。たとえば、距離画像センサ4は、ハーフミラー6の前面の下端中央に設置されてもよい。この場合も、第1抽出部54は、距離画像センサ4より得られた距離画像を、利用者2を正面から撮影して得られる距離画像に補正する補正処理を行うように構成される。また、距離画像センサ4は、利用者2の右方や左方に設置されていてもよく、この場合も、上記と同様の補正処理を行うことで、利用者2を正面から撮影した場合と同様の距離画像が得られる。
また、第1抽出部54は、第1の身体モデル21を生成する際、距離画像から検出された特定点22の位置を、距離画像センサ4で得られる距離画像について規定された撮像座標系の座標位置から、仮想空間に規定された表示座標系の座標位置へと座標変換する。ここでいう仮想空間は、表示装置3の前方における利用者2の立ち位置を含む直方体状の空間に対応しており、利用者2の前後方向、左右方向、上下方向をそれぞれ座標軸とする三次元直交座標系の空間である。つまり、第1抽出部54は、所定の変換式を用いて、距離画像センサ4が基準となる極座標系から、仮想空間に規定された三次元直交座標系へと特定点22の位置を座標変換した上で、第1の身体モデル21を生成する。
一方、第2抽出部55は、比較映像中の比較対象31の姿勢を表す身体モデル(以下、「第2の身体モデル」という)32(図6参照)を生成する。すなわち、第2抽出部(基準量抽出部)55は、比較対象(運動者)31の身体における複数の標本点33の位置を検出し、複数の標本点の位置に基づいて比較対象31の身体を示す身体モデル(第2の身体モデル)32を作成し、身体モデル32に基づいて基準量(第2の特徴量)を求めるように構成される。本実施形態では、比較対象(運動者)31の身体における複数の標本点33は、比較対象31の頭部の標本点33(33a)と、比較対象31の右肩の標本点33(33b)と、比較対象31の左肩の標本点33(33c)と、比較対象31の右肘の標本点33(33d)と、比較対象31の左肘の標本点33(33e)と、比較対象31の右手の標本点33(33f)と、比較対象31の左手の標本点33(33g)と、比較対象31の腰部の標本点33(33h)と、比較対象31の右膝の標本点33(33i)と、比較対象31の左膝の標本点33(33j)と、比較対象31の右足の標本点33(33k)と、比較対象31の左足の標本点33(33l)と、を含む。第2抽出部55は、12の標本点33a−33lに基づいて、第2の身体モデル32を生成する(図6参照)。
比較対象31の姿勢を表す第2の身体モデル32は、比較映像の撮像時に、第1の身体モデル21と同様に距離画像センサ4で得られる距離画像から生成される。なお、第2抽出部55は、第1抽出部54と同様に、標本点(特定点)33を検出する前処理として、距離画像センサ4より得られた距離画像を、比較対象31を正面から撮影して得られる距離画像に補正する補正処理を行うように構成される。つまり、第2抽出部55は、比較映像の撮像時に得られた距離画像中の複数の特定点22同士を直線で結ぶことにより、第2の身体モデル32を生成する。第2の身体モデル32は、第1の身体モデル21と同様、仮想空間に規定された三次元直交座標系(表示座標系)上に生成される。このようにして生成される第2の身体モデル32は、比較映像と共に記憶部51に予め記憶されていてもよい。なお、基準量を予め記憶部41に記憶させておけば、第2抽出部55を省略できる。
生成された第1の身体モデル21は、表示制御部52によって、表示面30における利用者2の鏡像20と重なる位置、あるいは表示面30における利用者2の鏡像20の側方あるいは上方または下方となる位置に表示されてもよい。同様に、第2の身体モデル32についても、表示制御部52によって、比較映像中の比較対象31と重なる位置、あるいは表示面30における比較対象31の側方あるいは上方または下方となる位置に表示されてもよい。第1の身体モデル21と第2の身体モデル32との両方が表示される場合、利用者2は、表示面30に表示される両身体モデルを見比べながら運動することができるので、身体のどの部位の動きが比較対象31からずれているのかを把握し易くなる。
ここで、第1抽出部54は、第1の身体モデル21から複数の特定点22同士を結ぶ直線の所定の基準線に対する角度を求め、この角度を第1の特徴量とする。すなわち、特徴量(第1の特徴量)は、第1の身体モデル21に関して、複数の標本点22から選択される2つの標本点22同士を結ぶ直線と所定の基準線との間の角度である。たとえば、図5に示す第1の身体モデル21のうち、右肩に相当する特定点22(22c)に着目すると、右肩−左肩間を結ぶ直線(標本点22cと標本点22bとを結ぶ直線)を基準線として、右肩−右肘間を結ぶ直線(標本点22cと標本点22bとを結ぶ直線)の基準線に対する角度α、つまり右肩関節の角度αが求まる。また、第1の身体モデル21のうち、右肘に相当する特定点22(22e)に着目すると、右肩−右肘間を結ぶ直線(標本点22cと標本点22eとを結ぶ直線)を基準線として、右肘−右手間を結ぶ直線(標本点22eと標本点22gとを結ぶ直線)の基準線に対する角度β、つまり右肘関節の角度βが求まる。
同様に、第2抽出部55は、第2の身体モデル32から複数の特定点33同士を結ぶ直線の所定の基準線に対する角度を求め、この角度を第2の特徴量とする。すなわち、基準量(第2の特徴量)は、第2の身体モデル32に関して、複数の標本点33から選択される2つの標本点33同士を結ぶ直線と所定の基準線との間の角度である。たとえば、図6に示すような第2の身体モデル32からは、右肩関節の角度αと右肘関節の角度βとが求まる。
要するに、第1抽出部54は、第1の身体モデル21から求まるある関節についての角度を第1の特徴量として抽出し、第2抽出部55は、第2の身体モデル32から求まるある関節についての角度を第2の特徴量として抽出する。
また、特徴量(第1特徴量)は、利用者2の身体の傾きであってもよい。利用者2の身体の傾きは、たとえば、利用者2の肩の傾き(図7参照)である。この場合、第1抽出部(特徴量抽出部)54は、利用者2の右上肢の標本点22と左上肢の標本点22との位置を検出するように構成される。図7に示す例では、右上肢の標本点22は右肘の標本点22eであり、左上肢の標本点22は左肘の標本点22dである。なお、右上肢の標本点22は右肩の標本点22cであってもよいし、左上肢の標本点22は左肩の標本点22bであってもよい。第1抽出部54は、右上肢の標本点22と左上肢の標本点22とを結ぶ直線L100と水平線L200との間の角度を、利用者2の肩の傾きとして算出するように構成される。図7に示す例では、利用者2の肩の傾きは−20°である。利用者2の肩の傾きは、直線L100の傾きが正であれば負、直線L100の傾きが負であれば正となるように表される。
また、利用者2の身体の傾きは、たとえば、利用者2の体幹の傾き(図8参照)であってもよい。この場合、第1抽出部(特徴量抽出部)54は、利用者2の頭部の標本点22aと腰部の標本点22hとの位置を検出し、頭部の標本点22aと腰部の標本点22hとを結ぶ直線L110と垂直線L210との間の角度を、利用者2の体幹の傾きとして算出するように構成される。図8に示す例では、利用者2の体幹の傾きは−30°である。利用者2の体幹の傾きは、直線L110の傾きが正であれば正、直線L110の傾きが負であれば負となるように表される。
同様の方法で、基準量抽出部55は、基準量(第2の特徴量)として、比較対象31の身体の傾き(肩や体幹の傾き)を求めることができる。
また、特徴量(第1の特徴量)は、利用者2の身体の特定部位の可動域であってもよい。特に、特定部位は、利用者2の上肢である(図9参照)。図9に示す例では、特定部位は右上肢である。この例では、第1抽出部(特徴量抽出部)54は、利用者2の上肢の標本点22(右手の標本点22g)と上肢に対応する肩の標本点22(右肩の標本点22c)との位置を検出する。利用者2の上肢の標本点22は、右肘の標本点22eであってもよい。そして、第1抽出部54は、上肢の標本点22(22g)と肩の標本点22(22c)とを結ぶ直線L120と垂直線L210との間の角度を上肢の可動域として算出するように構成される。図9に示す例では、第1抽出部54は、利用者2の右上肢の可動域を求めており、その値は70°である。
なお、特定部位は、左上肢であってもよい。この場合は、第1抽出部(特徴量抽出部)54は、利用者2の上肢の標本点22(左手の標本点22fや左肘の標本点22d)と上肢に対応する肩の標本点22(左肩の標本点22b)との位置を検出すればよい。
また、特定部位は、下肢(右下肢や左下肢)であってもよい。この場合、第1抽出部54は、下肢の標本点22(たとえば、左膝、左足、右膝、右足の標本点22i,22k,22j,22l)と腰部の標本点22hとを結ぶ直線(図示せず)と垂直線L210との間の角度を下肢の可動域として算出するように構成される。
同様の方法で、基準量抽出部55は、基準量(第2の特徴量)として、比較対象31の身体の特定部位(上肢や下肢)の可動域を求めることができる。
また、第1の身体モデル21は、利用者2を正面から捉えた距離画像から生成される身体モデルに限らず、利用者2を側方から捉えた距離画像から生成される身体モデルであってもよい。たとえば、利用者2の足元に設置された圧力センサで利用者2の両足の位置および重心位置を検出すれば、その結果から、利用者2の身体が距離画像センサ4に対して正面を向いているのか、側方を向いているのかを判断することができる。この判断結果から、第1抽出部54は、利用者2が正面を向いていれば正面視の第1の身体モデル21を生成し、利用者2が側方を向いていれば、正面視の身体モデルを鉛直方向の軸周りで90度回転させた横向きの第1の身体モデル21を生成する。
このようにして生成される横向きの第1の身体モデル21によれば、前後方向への身体の動き(たとえば肩部と腰部とを結ぶ直線の前傾・後傾など)なども第1の特徴量として抽出可能である。第2の身体モデル32についても、同様に横向きの身体モデルが生成されていてもよい。これらの横向きの身体モデルが表示制御部52によって表示面30に表示されると、利用者2は、身体モデルから自身の前後方向への身体の動きを確認することができる。
評価部56は、第1の特徴量として第1の身体モデル21から抽出された関節の角度と、第2の特徴量として第2の身体モデル32から抽出された関節の角度とを比較することにより、利用者2と比較対象31との姿勢のずれを評価する。評価部56は、関節の角度を比較することにより、腕の長さ等の違いを無視して利用者2と比較対象31との姿勢のずれを客観的に評価することができる。なお、評価部56では、両身体モデル間で、複数の関節の角度を比較してもよいし、特定の関節のみに着目して角度を比較してもよい。
ここでは、評価部56は、第1の特徴量と第2の特徴量との間で差分を算出する。評価部56は、算出した差分値に応じて利用者2と比較対象31との姿勢のずれの程度を数値化してもよいし、差分値が所定の閾値を超えるか否かによって利用者2と比較対象31との間に姿勢のずれが生じているか否かを判断してもよい。ここに、評価部56は、三次元モデルである第1の身体モデル21、第2の身体モデル32からそれぞれ抽出された特徴量を用いて評価を行うので、表示面30に沿う平面内でのずれだけでなく、奥行き方向(表示面30に直交する方向)のずれについても評価できる。
提示部57が提示する内容は、単に利用者2と比較対象31とで姿勢がずれているか否かの判断結果であってもよいし、ずれの程度を表す内容であってもよい。さらに、評価部56が、第1の特徴量と第2の特徴量とを比較することにより、身体のどの部位がどの向きにずれているかといった細かい判断をしている場合には、提示部57は、ずれを小さくするためのアドバイスを提示してもよい。右腕を大きく横に広げる運動のときに、利用者2の右肘関節が曲がっている場合、提示部57は「腕を伸ばしてください」などというアドバイスを提示する。
また、表示装置3が提示部57として兼用される場合には、表示制御部52が、比較映像の中で利用者2の姿勢のずれ量が大きい部位の色を変えるなどして強調表示を行うことによって、どの部位を正しく動かせていないのかを利用者2に認識させることができる。たとえば、右腕を大きく横に広げる運動のときに、利用者2の右腕が十分に上がっておらず比較対象31の右腕とずれている場合、表示制御部52は、比較映像中の比較対象31の右腕部分を強調表示し、右腕部分のずれを利用者2に提示する。これにより、利用者2は比較対象31とずれている部位に注意して運動することが可能になり、比較映像中の比較対象31に合わせて運動し易くなる。
このように、提示部57は、利用者2の身体のどの部位が比較対象31からずれているのか、またどの向きにずれているのかといった情報を利用者2にフィードバックすることにより、利用者2に正しい運動を習得させることができる。
さらにまた、評価部56が、第1の特徴量と第2の特徴量との差分値に応じて、利用者2と比較対象31との姿勢のずれの程度を数値化する場合、提示部57は、ずれの程度を表すこの数値を提示してもよい。すなわち、評価部(姿勢評価部)56は、特徴量(第1の特徴量)と基準量(第2の特徴量)の差分を示す数値を求めるように構成され、提示部57は、姿勢評価部56で求められた数値を提示するように構成されてもよい。具体的には、提示部57は、第1の特徴量と第2の特徴量との差分値をそのまま提示したり、当該差分値に応じて求まる利用者2と比較対象31との姿勢の一致度を示す得点を提示したりすることにより、ずれの程度や一致度を提示することができる。
このように、利用者2と比較対象31との姿勢のずれの程度や一致度が定量化されて提示されることにより、利用者2は、提示された数値を運動の習熟度の目安として、運動の効果を容易に評価することができる。なお、提示部57は、利用者2と比較対象31との姿勢の一致度を表す数値を複数の段階に分け、ランク付けして提示してもよい。
また、他の例として、第1抽出部54は、第1の身体モデル21から複数の特定点22同士を結ぶ直線で囲まれた領域の面積を求め、この面積を第1の特徴量としてもよい。すなわち、第1の身体モデル21における標本点の数は、少なくとも3つ以上であり、特徴量(第1の特徴量)は、複数の標本点により規定される領域の面積であってもよい。たとえば、図5に示す第1の身体モデル21のうち、右肩、右肘、右手、体幹、右膝、右足首に着目すると、これらの特定点22を結ぶ直線で囲まれた領域(図中斜線部)の面積が求まる。同様に、第2抽出部55は、図6に示す第2の身体モデル32から、右肩、右肘、右手、体幹、右膝、右足首を結ぶ直線で囲まれた領域(図中斜線部)の面積を求め、この面積を第2の特徴量とする。すなわち、第2身体モデル32における標本点の数は、少なくとも3つ以上であり、基準量(第2の特徴量)は、複数の標本点により規定される領域の面積であってもよい。
この場合、評価部56は、第1の特徴量として第1の身体モデル21から抽出された面積と、第2の特徴量として第2の身体モデル32から抽出された面積とを比較することにより、利用者2と比較対象31との姿勢のずれを評価する。このようにして求まる面積は姿勢の傾向(身体の開き具合等)を表すので、評価部56は、上記面積を比較することにより、利用者2と比較対象31との姿勢のずれを大まかに評価することができる。なお、評価部56では、両身体モデル間で、複数の領域の面積を比較してもよいし、単一の領域の面積を比較してもよい。
以上述べたように、本実施形態の運動支援システム1は、利用者2の正面に配置され利用者2と向き合う表示面30に映像を表示する表示装置3と、表示面30に対して利用者2側に配置されるハーフミラー6と、利用者2に行わせる運動と同じ運動をする比較対象31の映像を比較映像として記憶した記憶部51と、利用者2の運動時に表示装置3に比較映像を表示させる表示制御部52とを備える。さらに、運動支援システム1は、利用者2の身体の特定点の位置を検出し当該特定点の位置に基づいて利用者2の姿勢を表す第1の特徴量を抽出する第1抽出部54と、比較対象31の特定点の位置を検出し当該特定点の位置に基づいて比較対象31の姿勢を表す第2の特徴量を抽出する第2抽出部55と、第1の特徴量と第2の特徴量とを比較して利用者2と比較対象31との姿勢のずれを評価する評価部56と、評価部56の評価結果を提示する提示部57とを備える。
すなわち、本実施形態の運動支援システム1は、利用者2に画像を表示する表示面30を有する表示装置3と、所定の運動を行う運動者(比較対象31)の画像である比較画像を記憶する記憶部(比較画像記憶部)51と、比較画像記憶部51に記憶された比較画像を表示面30に表示する表示制御部(比較画像表示部)52と、利用者2の鏡像を比較画像に重ねて表示する鏡像表示手段と、利用者2の身体における所定の標本点の位置を検出し当該標本点の位置に基づいて利用者2の姿勢を表す特徴量(第1の特徴量)を求める第1抽出部(特徴量抽出部)54と、特徴量抽出部54で求められた特徴量を運動者の姿勢を表す基準量(第2の特徴量)と比較して、利用者2の姿勢の運動者の姿勢からのずれの評価を行う評価部(姿勢評価部)56と、姿勢評価部56による評価の結果を提示する提示部57と、を備える。
本実施形態の運動支援システム1において、鏡像表示手段は、表示装置3の前面に配置されるハーフミラー6である。
また、本実施形態の運動支援システム1は、基準量抽出部(第2抽出部)55を備える。基準量抽出部55は、比較画像の運動者(比較対象31)の身体における所定の標本点(特定点)の位置を検出し当該標本点の位置に基づいて運動者の姿勢を表す基準量(第2の特徴量)を求めるように構成される。
以上説明した構成の運動支援システム1によれば、利用者2は、ハーフミラー6に映る自身の鏡像20と、表示面30に映る比較映像中の比較対象31とを比較しながら運動することができるので、比較対象31に合わせて運動することが容易になる。その結果、利用者2においては、運動時の正しい姿勢(動き)を習得し易くなり、運動の効果が十分に得られるようになるという利点がある。
また、評価部56は、利用者2の姿勢を表す第1の特徴量と比較対象32の姿勢を表す第2の特徴量とを比較して利用者2と比較対象31との姿勢のずれを評価し、評価結果を提示部57に提示させる。そのため、利用者2に比較対象31との姿勢のずれを認識させることができる。すなわち、利用者2に自身の姿勢と比較映像中の比較対象31の姿勢との違いがどの程度あるのかを認識させることができる。したがって、利用者2が比較対象31の姿勢から大きく外れた運動をしているような場合、そのことを利用者2自身に気付かせることができるため、利用者2は動きの改善を図ることができ、運動時の正しい姿勢を習得し易くなる。
なお、本実施形態の運動支援システム1では、比較映像は、利用者2に行わせる運動の模範を示す比較対象31の映像である。すなわち、所定の運動は、利用者2が行う運動の模範となる運動である。
本実施形態の運動支援システム1では、第1抽出部54および第2抽出部55は、それぞれ複数の特定点の位置を検出し当該特定点同士を結ぶことにより身体モデルを生成して、当該身体モデルから特徴量を抽出する。すなわち、特徴量抽出部(第1抽出部)54は、利用者2の身体における複数の標本点(特定点)の位置を検出し、複数の標本点の位置に基づいて利用者2の身体を示す身体モデル(第1の身体モデル)21を作成し、身体モデル21に基づいて特徴量(第1の特徴量)を求めるように構成される。また、基準量抽出部(第2抽出部)55は、比較画像の比較対象31の身体における複数の標本点(特定点)の位置を検出し、複数の標本点の位置に基づいて比較対象31の身体を示す身体モデル(第2の身体モデル)32を作成し、身体モデル32に基づいて基準量(第2の特徴量)を求めるように構成される。
また、本実施形態の運動支援システム1では、第1抽出部54および第2抽出部55は、複数の特定点同士を結ぶ直線の所定の基準線に対する角度を特徴量とする。すなわち、特徴量は、複数の標本点から選択される2つの標本点同士を結ぶ直線と所定の基準線との間の角度である。
また、本実施形態の運動支援システム1では、特徴量(第1の特徴量)は、利用者2の身体の傾きであってもよい。特に、利用者2の身体の傾きは、利用者2の肩の傾きであってもよい。この場合、特徴量抽出部54は、利用者2の右上肢の標本点22と左上肢の標本点22との位置を検出し、右上肢の標本点22と左上肢の標本点22とを結ぶ直線L100と水平線L200との間の角度を、利用者2の肩の傾きとして算出するように構成される。また、利用者2の身体の傾きは、利用者2の体幹の傾きであってもよい。この場合、特徴量抽出部54は、利用者2の頭部の標本点22と腰部の標本点22との位置を検出し、頭部の標本点22と腰部の標本点22とを結ぶ直線L110と垂直線L210との間の角度を、利用者2の体幹の傾きとして算出するように構成される。同様に、本実施形態の運動支援システム1では、基準量抽出部55は、基準量(第2の特徴量)として、比較対象31の身体の傾き(肩や体幹の傾き)を求めてもよい。
また、本実施形態の運動支援システム1では、特徴量(第1の特徴量)は、利用者2の身体の特定部位の可動域であってもよい。特に、特定部位は、利用者2の上肢であってもよい。この場合、特徴量抽出部54は、利用者2の上肢の標本点22と上肢に対応する肩の標本点22との位置を検出し、上肢の標本点22と肩の標本点22とを結ぶ直線L120と垂直線L210との間の角度を上肢の可動域として算出するように構成される。同様に、本実施形態の運動支援システム1では、基準量抽出部55は、基準量(第2の特徴量)として、比較対象31の特定部位(たとえば、上肢)の可動域を求めてもよい。
本実施形態の運動支援システム1では、第1抽出部54および第2抽出部55は、複数の特定点同士を結ぶ直線で囲まれた領域の面積を特徴量とする。すなわち、標本点の数は、少なくとも3つ以上であり、特徴量は、複数の標本点により規定される領域の面積である。
本実施形態の運動支援システム1では、表示制御部52は、利用者2から当該利用者2の像と比較対象31の像とが重なって見えるように、表示面30上における比較映像31の位置および大きさを調節する。すなわち、比較画像表示部(表示制御部)52は、比較画像が利用者の鏡像と重なるように、表示面30における比較画像の位置および大きさを調節するように構成される。
本実施形態の運動支援システム1では、評価部56は、第1の特徴量と第2の特徴量との差分を数値化し、提示部57に提示させる。すなわち、姿勢評価部(評価部)56は、特徴量(第1の特徴量)と基準量(第2の特徴量)の差分を示す数値を求めるように構成され、提示部57は、姿勢評価部56で求められた数値を提示するように構成される。
ところで、本実施形態では、第1抽出部54および第2抽出部55が、利用者2あるいは比較対象31の全身から特定点22の位置を検出し、利用者2あるいは比較対象31の全身に対応する身体モデルを用いて特徴量を抽出する例を示したが、この構成に限らない。たとえば、第1抽出部54が利用者2のある特定点22の座標位置を第1の特徴量とし、第2抽出部55が比較対象31のある特定点22の座標位置を第2の特徴量とする構成であってもよい。
この場合、評価部56は、第1の特徴量と第2の特徴量とを比較することにより、利用者2と比較対象31との間で、身体の同じ部位に相当する特定点22のずれを評価する。たとえば、利用者2と比較対象31とで体幹の位置を合わせて、右手に相当する特定点22の座標位置を第1および第2の特徴量とした場合、評価部56は、両特徴量の差分を算出することによって利用者2と比較対象31との間で右手の位置のずれを評価する。つまり、評価部56は、身体の同じ部位に相当する特定点22間の相対的な距離を、利用者2と比較対象31との間で求めることにより、利用者2と比較対象31との姿勢のずれを評価する。
他にも、評価部56は、たとえば右肩に相当する特定点22に対して右手に相当する特定点22が高い位置にあるか否か等、ある特定点22の位置に対する他の特定点22の相対的な位置関係に基づいて、利用者2と比較対象31との姿勢のずれを評価してもよい。この場合、たとえば右腕を大きく横に広げる運動のときに、利用者2の右肩に相当する特定点22よりも低い位置に右手に相当する特定点22がある場合、提示部57は「腕をもっと高く上げてください」などというアドバイスを提示することができる。
さらに、2台の距離画像センサ4を、利用者2の正面(ハーフミラー6側)と側方とに1台ずつ設置することにより、取得部53が、利用者2を正面から捉えた距離画像と側方から捉えた距離画像との両方を同時に取得できる構成としてもよい。この場合、利用者2を正面から捉えた距離画像より身体の左右方向の傾きを特徴量として抽出し、利用者2を側方から捉えた距離画像より身体の前後方向の傾きを特徴量として抽出することができる。その結果、前後左右の身体の傾き(姿勢)を表す特徴量を、1台の距離画像センサ4で得られる距離画像のみから抽出する構成に比べ、精度よく測定することができるという利点がある。
また、第1抽出部54は、上述したように距離画像センサ4で得られた距離画像を用いて利用者2の特定点の位置を検出する構成に限らない。たとえば、第1抽出部54は、CCD(Charge Coupled Device)カメラなどの二次元カメラで撮影された利用者2の二次元画像や、利用者2に取着されたジャイロセンサ式のモーションキャプチャ等のセンサ出力を用いて、利用者2の特定点の位置を検出してもよい。第2抽出部55についても同様に、距離画像以外から比較対象31の特定点の位置を検出する構成であってもよい。
(実施形態2)
本実施形態の運動支援システム1Aは、ハーフミラー6を備えていない点が実施形態1の運動支援システム1と相違する。また、本実施形態の運動支援システム1Aでは、図10に示すように、利用者2の前方に配置され利用者2を前方から撮像する向きにレンズが向けられた撮像装置7が設けられている。
撮像装置7は、利用者2を撮影して利用者2の画像を生成するように構成される。撮像装置7は、たとえばカメラスタンド等を利用して表示装置3の正面側(利用者2側)における利用者2の目の高さ位置に設置されている。さらに、撮像装置7は、その視野内に利用者2の全身が含まれ、且つ利用者2が直立した状態で利用者2の身体の左右方向における中心線が撮像した映像の左右方向の中心線に一致するように、チルト角およびパン角が調節されている。
上述したような撮像装置7の位置および向きの調節は、利用者2の立ち位置、目線の高さ等が決定してから初期設定として行われる。これにより、撮像装置7では、利用者2の全身を映した動画像(以下、「全身映像」という)が撮像されることになる。
制御装置5Aは、表示装置3と撮像装置7との両方に接続されており、撮像装置7で撮像された映像を加工して表示装置3に表示させる機能を持つ。具体的には、制御装置5Aは、全身映像を撮像装置7から取得部53で取得し、取得した全身映像を左右反転させて反転映像を生成する反転処理部58を有する。すなわち、反転処理部58は、撮像装置7で生成された利用者2の画像を左右反転させて左右反転画像を生成するように構成される。さらに、制御装置5Aは、反転映像の左右方向の中心線が表示面30の左右方向の中心線に一致するように、表示制御部52Aにて反転映像を表示装置3に表示させる。すなわち、表示制御部52Aは、反転処理部58で生成された左右反転画像を表示面30に表示する反転画像表示部として機能する。これにより、表示装置3の表示面30には、利用者2の全身の映像が、鏡に映った鏡像のように左右反転されて表示されることになる。
すなわち、撮像装置7で撮像される映像は、何の加工も施されなければ、鏡像のように左右が反転されることはなく、表示面30に正対する利用者2から見た左右と、表示面30に表示される映像における左右とは反対になる。要するに、撮像装置7で撮像された利用者2の全身の映像が、何の加工も施されずに、利用者2と正対する表示装置3の表示面30に表示されると、表示面30上では右側に利用者2の左半身が映り、左側に利用者2の右半身が映ることになる。
これに対して、反転映像は全身映像を左右反転させた映像であるから、表示装置3は、表示面30上では右側に利用者2の右半身が映り、左側に利用者2の左半身が映るように反転映像を表示する。その結果、表示装置3は、表示面30に映る反転映像を利用者2に視認させることにより、利用者2に対して、反転映像を自らの全身の鏡像と錯覚させることができる。
ここで、制御装置5Aは、撮像装置7から入力される映像をリアルタイム(1秒間に15〜30フレーム程度)で加工(反転)して、表示装置3に映像信号を出力する。表示装置3は、制御装置5Aからの映像信号を受け、リアルタイムで反転映像を表示する。そのため、表示装置3の表示面30には、実際の利用者2の動きに合わせて動く動画像が反転映像として表示されることになる。たとえば、利用者2が右腕を上げると、その動きに合わせて表示面30に表示される反転映像においても利用者2から見て右側の腕が上がることになる。
すなわち、本実施形態の運動支援システム1Aは、光学的に形成される鏡像を提示することはなく、表示装置3に表示された反転映像を利用者2に視認させ、利用者2に対して、反転映像を自身の鏡像と錯覚させることができる。
さらに、表示制御部52Aは、反転処理部58で生成された反転映像と共に、利用者2に行わせる運動と同じ運動をする比較対象31を示す比較映像を表示装置3に表示させる。表示制御部52Aは、表示面30上において反転映像中の利用者2の像と比較映像中の比較対象(インストラクタ)31の像とが重なるように、サイズ調整部と位置調整部とによって表示面30上における比較映像のサイズおよび位置を調整する。ここで、反転映像と比較映像との区別が付きやすいように、表示制御部52Aは、反転映像と比較映像との一方を半透明(たとえば透過率50%)の映像として表示する。
以上述べた本実施形態の運動支援システム1Aは、利用者2の正面に配置され利用者2と向き合う表示面30に映像を表示する表示装置3と、利用者2の前方に配置され利用者の映像を撮像する撮像装置7と、撮像装置7で撮像された利用者2の映像を左右反転させて反転映像を生成する反転処理部58と、利用者2と同じ運動をする比較対象31の映像を比較映像として記憶した記憶部51と、利用者2の運動時に表示装置3に反転映像と共に比較映像を表示させる表示制御部52Aとを備える。さらに、運動支援システム1は、利用者2の身体の特定点の位置を検出し当該特定点の位置に基づいて利用者2の姿勢を表す第1の特徴量を抽出する第1抽出部54と、比較対象31の特定点の位置を検出し当該特定点の位置に基づいて比較対象31の姿勢を表す第2の特徴量を抽出する第2抽出部55と、第1の特徴量と第2の特徴量とを比較して利用者2と比較対象31との姿勢のずれを評価する評価部56と、評価部56の評価結果を提示する提示部57とを備える。
すなわち、本実施形態の運動支援システム1Aは、利用者2に画像を表示する表示面30を有する表示装置3と、所定の運動を行う運動者(比較対象31)の画像である比較画像を記憶する記憶部(比較画像記憶部)51と、比較画像記憶部51に記憶された比較画像を表示面30に表示する表示制御部(比較画像表示部)52Aと、利用者2の鏡像を比較画像に重ねて表示する鏡像表示手段と、利用者2の身体における所定の標本点の位置を検出し当該標本点の位置に基づいて利用者2の姿勢を表す特徴量(第1の特徴量)を求める第1抽出部(特徴量抽出部)54と、特徴量抽出部54で求められた特徴量を運動者の姿勢を表す基準量(第2の特徴量)と比較して、利用者2の姿勢の運動者の姿勢からのずれの評価を行う評価部(姿勢評価部)56と、姿勢評価部56による評価の結果を提示する提示部57と、を備える。
本実施形態の運動支援システム1において、鏡像表示手段は、利用者2を撮影して利用者の画像を生成する撮像装置7と、撮像装置7で生成された利用者2の画像を左右反転させて左右反転画像を生成する反転処理部58と、反転処理部58で生成された左右反転画像を表示面30に表示する反転画像表示部(表示制御部)52Aと、を備える。
以上説明した本実施形態の運動支援システム1Aによれば、ハーフミラー6を省略した分だけ、実施形態1の運動支援システム1に比べて構成を簡略化できるという利点がある。しかも、本実施形態の構成では、比較的大型の画面を備えるディスプレイが予め備わっていれば、専用のディスプレイを新設しなくても、既存のディスプレイを表示装置3として用いることが可能であるため、運動支援システムの導入コストを低減できる。
本実施形態の運動支援システム1Aのその他の構成および機能は実施形態1の運動支援システム1と同様である。
ところで、上記実施形態1,2では、比較映像として利用者2に行わせる運動の模範を示すインストラクタの映像を用いる例を示したが、この例に限らず、比較映像は、利用者2に行わせる運動と同じ運動をする比較対象の映像であればよい。つまり、比較映像は、たとえば人の身体を表したコンピュータグラフィックスや、上述した第2の身体モデルなどを比較対象とする映像であってもよい。この場合、利用者2は、上述したようなインストラクタの映像の代わりに、比較映像中のコンピュータグラフィックスや第2の身体モデルの動きに合わせて運動することになる。
その他にも、制御装置5Aは、利用者2の前方に配置された撮像装置で撮像した運動時の利用者2の映像を記憶部51に記憶し、この映像を次回の運動時に比較映像として表示制御部52にて表示装置3に表示させてもよい。すなわち、本実施形態の運動支援システム1Aにおいて、利用者2の前方に配置され利用者2の映像を撮像する撮像装置7を備え、比較映像は、過去に撮像装置7で撮像された利用者の映像であってもよい。換言すれば、本実施形態の運動支援システム1Aは、所定の運動を行う利用者2を撮影して所定の運動を行う利用者2の画像である記録画像を生成する撮像装置7と、基準量抽出部(第2抽出部)55と、を備える。比較画像表示部(表示制御部)52Aは、撮像装置7で生成された記録画像を比較画像として表示面30に表示するように構成される。基準量抽出部55は、記録画像から利用者2の身体における所定の標本点の位置を検出し当該標本点の位置に基づいて利用者の姿勢を表す特徴量を基準量として求めるように構成される。この例では、利用者2が運動を行う際には、過去(前回)の運動時に撮像装置で撮像された利用者2の映像が、比較映像として表示面30に表示されることになる。
この構成では、利用者2は、現在の自分を過去の自分と比較しながら運動を行うことができる。そのため、利用者2は、自身と体格(腕の長さ等)が同じである比較対象を見本として運動することができるので、インストラクタの映像が比較映像として用いられる場合に比べて、自身の姿勢(動き)を比較対象に合わせ易くなる。
またこの場合、評価部56では、利用者2の姿勢を表す第1の特徴量と比較対象の姿勢を表す第2の特徴量とが比較されることにより、現在の利用者2と、比較対象としての過去の利用者2の映像との間で姿勢のずれが評価されることになる。したがって、評価部56は、利用者2の運動時の姿勢が従来に比べてどうなったのかを評価でき、リハビリテーションの進捗度を評価することができる。
(実施形態3)
本実施形態の運動支援システム1Bは、可動域訓練システムとしての側面を有する。可動域訓練システムは、四肢等の身体の特定部位の可動域を正常範囲に戻したり正常範囲に維持したりするための可動域訓練に用いられる。
たとえばリハビリテーションの分野において、病気や怪我により、患者の四肢等の動く範囲(可動域)が制限されることを予防したり改善したりすることを目的として、可動域訓練が一般的に取り入れられている。可動域訓練は、患者の訓練対象とする特定部位を継続的に(たとえば毎日)動かすことにより、四肢等の身体の特定部位の可動域を正常範囲に戻したり正常範囲に維持したりするために行われる。
可動域訓練においては、通常、患者の特定部位の可動域が測定され、測定結果は障害の程度や訓練の効果(回復度)の判定などに用いられている。特定部位の可動域を測定する方法としては、たとえば患者が腕を上げた際の腕の高さや、肘関節を曲げた際の上腕と前腕との間の相対角度を、巻尺や角度測定器を用いて測定する方法が一般的である。
この種の測定に用いられる角度測定器として、アームに対する重力方向を特定する傾斜角度計を備え、測定者が鉛直方向に対する上腕や前腕の傾斜角を導き出せるように構成された角度測定器が提案されている(たとえば文献2[日本国特許公報4445468号]参照)。文献2記載の角度測定器によれば、たとえば上腕および前腕の相対角度の測定に当たって人体全体と上腕や前腕との相対角度がさらに規定されるので、リハビリテーションの分野で利用者の回復度が定量的にきめ細かく判定可能となる。
しかし、上述したような可動域訓練では、患者は、可動域の測定結果(角度など)を知ることができるだけであって、療法士等の専門家に測定結果から特定部位の可動域を評価してもらわなければ、測定結果がどのような意味を持つのか十分に認識できない。たとえば、腕が何センチの高さまで上がったかという測定結果が得られた場合、患者自身では、その測定結果から、可動域がどの程度回復し或いはどの程度悪化しているのかを理解することができず、可動域訓練の必要性や効果を十分に理解することができない。
したがって、可動域訓練システムは、利用者に対して身体の特定部位の可動域の評価結果を提示できることが好ましい。
本実施形態の運動支援システム1Bは、可動域訓練システムとして用いられる。可動域訓練システムは、病気や怪我により患者の四肢等の動く範囲(可動域)が制限されることを予防したり改善したりすることを目的とするリハビリテーションに使用される。ただし、以下の実施形態の記載は可動域訓練システムの用途を限定する趣旨ではなく、たとえば健常者が四肢の可動域を拡大するためのトレーニングや、経年的に四肢の可動域が制限されていくことの予防などに可動域訓練システムを用いてもよい。なお、以下では、利用者が立った姿勢で可動域訓練システムを利用する例を示すが、これに限らず、利用者は椅子などに座った姿勢で可動域訓練システムを利用してもよい。
本実施形態の運動支援システム1Bは、図11に示すように、制御装置5Bにおいて実施形態1の運動支援システム1と異なる。本実施形態の運動支援システム1Bは、利用者(患者)2の正面に配置され利用者2と向き合う表示面30に映像を映す表示装置3と、距離画像を生成する距離画像センサ4と、表示装置3等の動作を制御する制御装置5Bとを備えている。表示装置3および距離画像センサ4は、いずれも制御装置5Bに対して接続されている。また、本実施形態の運動支援システム1Bは、鏡像表示手段であるハーフミラー6を備えている。
本実施形態の可動域訓練システム1Bでは、距離画像センサ4で生成された利用者2の距離画像は、制御装置5Bに出力され、利用者2の身体の特定部位の位置を検出する処理に用いられる。
具体的に説明すると、制御装置5Bはコンピュータからなり、距離画像を距離画像センサ4から取得する取得部53と、取得した距離画像を用いて特定部位の位置を検出する位置検出部152とを有している。さらに、本実施形態の可動域訓練システム1Bは、位置検出部152で検出された利用者2の身体の特定部位の位置に対応する表示面30上の位置に指標を設定する指標設定部153と、図像を生成して表示装置3に表示させる映像生成部154とを制御装置5Bに有している。
すなわち、制御装置5Bは、図11に示すように、記憶部51と、取得部53と、第1抽出部54と、第2抽出部55と、評価部56と、提示部57Bと、位置検出部152と、指標設定部153と、映像生成部154と、評価部155と、を備える。なお、運動支援システム1Bを可動域訓練システムとしてのみ使用する場合には、第1抽出部54、第2抽出部55、評価部(姿勢評価部)56は必ずしも設ける必要はない。
位置検出部152は、利用者2の身体の特定部位の位置を検出するように構成される。本実施形態では、位置検出部152は、画像認識技術によって、距離画像中の利用者2の身体の特定部位の位置を検出する。ここでは利用者2の腕部を特定部位とする場合を例示するが、特定部位は、利用者2の身体の特定の部位であればよく、たとえば脚部、頭部などであってもよい。距離画像センサ4で生成される利用者2の距離画像は利用者2の動きに合わせて随時変化する動画であるので、位置検出部152は、距離画像の各フレームから特定部位の位置を検出することにより、随時変化する特定部位の位置をリアルタイムで検出できる。
本実施形態では、位置検出部152は、利用者2の関節の位置を検出し、関節同士を直線で結ぶことにより、三次元空間における特定部位の位置を表す身体モデルを生成する。すなわち、位置検出部152は、たとえば特定部位として利用者2の右腕の位置を検出する場合、利用者の右肩関節、右肘関節、右手首の位置をそれぞれ検出し、これらの関節同士を直線で結ぶことにより、利用者2の右腕に相当する身体モデルを生成する。位置検出部152は、このような身体モデルを用いることにより、三次元センサとしての距離画像センサ4の出力から三次元空間内での利用者2の特定部位の位置を検出する。
指標設定部153は、位置検出部152で検出された位置に基づいて表示面30における指標の位置を決定するように構成される。本実施形態では、指標設定部153は、特定部位の少なくとも一部の位置を、距離画像センサ4で得られる距離画像について規定された撮像座標系の座標位置から、表示面30について規定された表示座標系の座標位置へと座標変換して求まる位置に指標を設定する。ここでいう表示座標系は、表示装置3の表示面30の左右方向、上下方向をそれぞれ座標軸とする二次元直交座標系である。
つまり、指標設定部153は、所定の変換式を用いて、距離画像センサ4が基準となる極座標系から二次元直交座標系へと、特定部位の少なくとも一部の位置を座標変換して求まる表示面30上の位置に指標を設定する。これにより、位置検出部152で検出された特定部位の位置に対応する表示面30上の位置に、指標が設定されることになる。
本実施形態では、特定部位は腕部全体であるのに対し、指標設定部153が指標を設定するのは、特定部位(腕部)の一部である手首の位置に対応する表示面30上の位置である。ただし、指標設定部153は、特定部位の少なくとも一部に対応する表示面30上の位置に指標を設定する構成であればよく、特定部位の全体に対応する表示面30上の位置に指標を設定する構成であってもよい。
つまり、本実施形態のように特定部位が腕部全体である場合には、指標設定部153は、腕部全体の位置に対応する表示面30上の位置に指標を設定してもよい。この場合、特定部位としての腕部がある程度の大きさを持つので、指標は表示面30上の一定の範囲に設定されることになる。
また、本実施形態における指標設定部153は、表示面30においてハーフミラー6に映る利用者2の鏡像のうち特定部位の鏡像に重なる位置に指標が設定されるように、指標の位置を校正する機能を有している。すなわち、ハーフミラー6と利用者2との位置関係によって、利用者2から見てハーフミラー6に映る自身の鏡像の位置は変わるので、指標設定部153は、上述した座標変換によって求まる位置に適宜のオフセットを与えることにより指標の位置を校正する。
具体的には、ハーフミラー6と利用者2との位置関係に応じて表示面30における指標の位置が校正される。ハーフミラー6と利用者2との位置関係は、ハーフミラー6の正面中央部に利用者2が立つように予め定められていればよい。或いは、利用者2の重心位置を検出する圧力センサ(図示せず)が付加され、圧力センサの検出結果からハーフミラー6と利用者2との位置関係が求められるようにしてもよい。
次に、簡易に指標の位置を校正する方法について説明する。制御装置5Bは、利用者2の身長として予め一律(たとえば170cm)の値が登録されている身長登録部(図示せず)を備える。なお、身長登録部に登録される身長は、利用者2によって直接入力されるようにしてもよい。
ハーフミラー6と利用者2との位置関係が特定されていれば、指標設定部153は、利用者2の身長に基づいた位置に指標を校正することで、利用者2の視点から見て自身の鏡像の特定部位と重なる位置に指標を設定することが可能となる。
さらに別の方法について説明する。身長登録部に利用者2の身長が登録されていなくても、距離画像カメラ4の位置および向きと、距離画像より検出される利用者2の立ち位置および頭頂部の位置とから、ハーフミラー6に映る鏡像の特定部位(たとえば頭部)の位置が判断されてもよい。したがって、指標設定部153は、利用者2の視点から見て自身の鏡像の特定部位と重なる位置に指標の位置を校正することが可能となる。
なお、指標の位置の校正は、初期設定時に手動で行われてもよいし、自動化されていてもよい。
映像生成部154は、図12に示すように、判定部1541と、表示制御部52Bと、で構成される。判定部1541は、表示面30における所定位置に指標が位置しているか否かを判定するように構成される。表示制御部52Bは、判定部1541が所定位置に指標が位置していると判定すると所定位置に所定のイベント画像を表示するイベント画像表示部として機能する。映像生成部154は、指標設定部153で設定された指標の位置が重なると所定の処理を実行するように、当該処理と関連付けられた図像を生成して表示装置3に表示させる。すなわち、映像生成部154は、適宜の図像を表示装置3に表示させておき、当該図像に実行すべき処理を関連付けておくことにより、当該図像に指標設定部153で指定された指標の位置が重なったときに、図像に関連付けた処理を実行させることができる。
具体的には、映像生成部154は、図13に示すように風船の絵柄を表した図像131を表示面30上の所定範囲内に略等間隔で多数個表示させる。これにより、ハーフミラー6の前面には、利用者2の鏡像が映るとともに、映像生成部154にて生成された図像131がハーフミラー6を透過して映し出されることになる。
ここでは、図像131は風船の静止画ではなく、空中を漂っているように揺らぐ風船の動画からなる。この図像131には、指標の位置が重なったときには風船が破裂するようなアニメーションを伴って風船の絵柄が消滅する処理が関連付けられている。また、図像131には、指標の位置が重なったときに、たとえば風船が破裂する破裂音など絵柄の変化に対応した音を制御装置5Bのスピーカ(図示せず)から発生させるような処理が関連付けられていてもよい。なお、図像131には、風船の色をランダムに虹色に変化させるような処理が関連付けられていてもよい。
なお、利用者2から見て、ハーフミラー6に映る鏡像と表示装置3に表示される図像131との見え方に大差が生じないように、運動支援システム1Bの使用時には、表示装置3の輝度や室内の明るさが適宜調節されていることが望ましい。
ここで、指標設定部153で設定される指標の位置は制御装置5Bの内部処理(図像131の処理)でのみ用いられていればよく、表示装置3に指標そのものが表示されることは必須ではない。ただし、映像生成部154にて、図14に示すように指標が設定された位置に適宜形状(たとえば円形)のマーク132を表示装置3に表示させるようにしてもよく、この場合、利用者2に指標の位置を確実に認識させることができる。
上述した構成の運動支援システム1Bを用いれば、利用者2は、ハーフミラー6に映る自身の鏡像を見ながら、特定部位(ここでは腕部)を動かすことによって、表示面30上の指標を動かすことができる。表示面30上で指標が動くと、この指標の位置と重なった図像131で風船が破裂する処理が実行されるので、利用者2は、表示面30に表示されている図像131を見ることにより特定部位の移動した範囲を、視覚的に認識することができる。本実施形態では特定部位は腕部であるから、利用者2は、自身の腕がどの程度まで上がっているのかを視覚的に認識することができる。
すなわち、利用者2は、映像生成部154が表示装置3に図像131を表示させている間に、特定部位を動かして、四肢等の身体の特定部位の可動域が制限されることを予防したり改善したりする可動域訓練を行うことができる。映像生成部154が表示装置3に図像131を表示させる期間は、制御装置5Bの入力インタフェース(図示せず)に対し可動域訓練を開始する所定の操作が為されてから、タイマ(図示せず)にて計時される所定の訓練時間の間である。ここで、訓練時間の残り時間は、映像生成部154によって表示装置3の表示面30上に表示させることにより、利用者2に提示されることが望ましい。
ところで、本実施形態の運動支援システム1Bは、特定部位の位置の変化から求まる評価対象を所定の評価基準と対比して特定部位の可動域を評価する評価部(第2評価部)155と、評価部155での評価結果を提示する提示部57とを制御装置5Bにさらに有している。
評価部155は、位置検出部152で検出された位置に基づいて特定部位の可動域を示す評価データを作成する評価データ作成部1551と、評価データ作成部1551で作成された評価データと基準データとの比較に基づいて特定部位の可動域の評価を行う可動域評価部1552とを備える。評価部155は、映像生成部154が表示装置3に図像131を表示させる期間(訓練時間)中に、位置検出部152で検出される利用者2の特定部位が実際に動いた範囲に基づいて、特定部位の可動域(可動範囲)を評価する。すなわち、評価データは、所定方向における特定部位の可動範囲を示すデータを含む。具体的に説明すると、表示面30に表示される図像131には予め点数が対応付けられており、評価部155は、指標の位置が重なって風船が破裂する処理が実行された図像131に対応する点数を算出し、この点数を腕部(特定部位)の可動域として評価する。
ここにおいて、利用者2の腕部の上がる高さは腕部の可動域に直接関係しており、腕部が高く上がるほど腕部の可動域は広いと評価することができる。そこで、本実施形態では、表示面30における表示位置が高い図像131ほど点数が高くなるように、表示面30における図像131の位置によって点数が割り当てられており、獲得された点数のうちで最高の点数が利用者2の得点とされる。これにより、利用者2が腕部(特定部位)の先端部を床面から高く上げるほど、獲得できる点数が高くなる。言い換えれば、評価部155は、床面からの腕部の高さを評価対象として、腕部の可動域を得点という形式で評価する。
各図像131に対する点数の割り当ては制御装置5Bの記憶部51に記憶されており、評価部155は、記憶部51から読み出した点数の割り当てに従って、各図像131の点数を計算する。ここでは、健常者が獲得可能な標準的な点数が100点となるように、表示面30の最も高い位置に表示される図像131に100点が割り当てられ、表示面30の最も低い位置に表示される図像131に20点が割り当てられている。つまり、標準記憶部としての記憶部51には、評価部155の評価対象(腕部の高さ)の標準を示す標準情報として、図像31に対する点数の割り当てが記憶され、評価部155は評価対象を標準情報と対比することにより腕部の可動域を標準に対して相対的に評価する。
記憶部51には、たとえば年齢や性別や身長ごとに標準情報が記憶されていてもよく、この場合、評価部155は評価対象と対比する標準情報を、利用者2の年齢や性別、身長に応じて選択する。すなわち、利用者2の年齢や性別、身長によって図像131に対する点数の割り当てが変化する。
評価部155が所定の一方向における特定部位の可動範囲(可動域)を評価対象とする方法としては、上述したように床面からの利用者2の特定部位の高さに応じた得点をつける方法に限らず、たとえばある方向における利用者2の特定部位の移動距離を計測する方法などもある。具体的には、特定部位が腕部であれば、評価部155は、利用者2が腕部を下ろした状態での腕部の先端部の位置(初期位置)から腕部を上げた状態での腕部の先端部の位置までの上下方向の距離を計測し、この距離を評価対象としてもよい。この場合、評価部155は、計測された距離が大きくなる程、腕部の可動域が広いと評価することができるので、初期位置から離れた図像131ほど点数が高くなるように点数が割り当てられていればよい。さらに、体幹の中心線から特定部位(たとえば右腕)の先端部までの水平方向(左右方向)の距離を評価対象とすることも考えられる。
また、他の例として、評価部155は、表示面30に沿う平面(二次元空間)内において特定部位が通った領域の面積を評価対象として、特定部位の可動域を評価する構成であってもよい。すなわち、評価データは、表示面30に平行な面内において特定部位が通過した領域の面積を示すデータを含んでいてもよい。具体的には、指標設定部153が特定部位(腕部)の全体に対応する表示面30上の位置に指標を設定し、評価部155は、表示面30に沿う平面内において指標が通った領域の面積を評価対象とする。要するに、評価部155は、指標の位置が重なって風船が破裂する処理が実行された図像131の合計点数を算出し、この点数を特定部位の可動域として評価する。この場合でも、健常者が獲得可能な標準的な点数が100点となるように、各図像131に点数が割り当てられ、評価部155は、評価対象を標準情報と対比することにより腕部の可動域を標準に対して相対的に評価する。
或いは、位置検出部152が三次元センサである距離画像センサ4の出力から三次元空間内での特定部位の位置を検出している構成では、評価部155は、三次元空間において特定部位が通った領域の体積を評価対象に含んでいてもよい。つまり、評価データは、特定部位が通過した領域の体積を示すデータを含んでいてもよい。すなわち、評価部155は、三次元空間内において数値化される体積に基づいて、当該体積が大きいほど特定部位の可動域が広いと評価する。この場合、評価部155は、記憶部51内の標準情報に基づいて体積をたとえば100点満点の点数に換算し、健常者が獲得可能な標準的な点数が100点となるように、評価対象を標準情報と対比することにより特定部位の可動域を標準に対して相対的に評価する。
さらにまた、評価部155は、たとえば特定部位としての腕部が上下方向に一往復する動作など、特定部位が所定の動作に要した時間を評価対象に含んでいてもよい。すなわち、評価データは、利用者2が特定部位で所定の動作を行うのに要した時間を示すデータを含んでいてもよい。つまり、初期位置(たとえば腕部を下ろした状態での先端部位置)からある目標位置(たとえば腕部を最大限上げた状態での先端部位置)までの距離を移動時間で除算することで特定部位の動作速度を求め、この動作速度を回復度合いの指標とすることもできる。そこで、評価部155は、特定部位が所定の動作に要した時間に基づいて、当該時間が短いほど特定部位の可動域が広いと評価する。この場合、評価部155は、記憶部51内の標準情報に基づいて時間をたとえば100点満点の点数に換算し、健常者が獲得可能な標準的な点数が100点となるように、評価対象を標準情報と対比することにより特定部位の可動域を標準に対して相対的に評価する。
その他にも、評価部155は、特定部位としての腕部が移動した軌跡(二次元空間内、三次元空間内の両方を含む)を評価対象に含んでいてもよい。すなわち、評価データは、特定部位の軌跡を示すデータを含んでいてもよい。この場合、記憶部51には、健常者の標準的な腕部の移動経路が標準情報として複数パターン記憶され、評価部155は、評価対象の標準情報からの偏差をたとえば100点満点の点数に換算する。
提示部57Bは、このようにして評価部155で為された特定部位の可動域の評価結果を利用者2に提示する。すなわち、提示部57Bは、評価部(可動域評価部)155による評価の結果を提示するように構成される。具体的には、提示部57Bは、評価部155の評価結果を音声や光等で利用者2に提示する。あるいは、映像生成部154からの指示により評価部155の評価結果を表示装置3に表示させる構成とし、表示装置3が提示部57Bとして兼用されてもよい。表示装置3が提示部57Bとして兼用される場合、訓練時間の終了後、表示面30にはたとえば図15に示すように評価結果を示すメッセージ133が表示される。
提示部57Bが提示する内容は、特定部位の可動域の評価結果のみであってもよいし、評価結果に加えて評価対象とされた高さ(距離)、面積や体積、時間や軌跡などを定量的に示す数値を含んでいてもよい。たとえば、評価部155が上述のように風船の図像131によって床からの利用者2の腕部の高さに応じた得点をつけている場合、提示部57Bは獲得された得点のみを提示してもよいし、利用者2の腕部の高さを表す数値や破裂した風船の個数なども併せて提示してもよい。
また、提示部57Bは、評価部155での評価に用いられた評価対象と評価基準(標準情報)とを一緒に提示したり、両者の偏差を提示したりしてもよい。これにより、利用者2においては、評価結果だけでなく、評価対象の標準的な値や標準的な値からの偏差を知ることができ、今後の可動域訓練の目標とすることができる。
以上述べた本実施形態の運動支援システム(可動域訓練システム)1Bは、利用者2の正面に配置され利用者2と向き合う表示面30に映像を表示する表示装置3と、利用者2の動作に伴って変化する利用者2の身体の特定部位の位置を検出する位置検出部152と、特定部位の少なくとも一部の位置に対応する表示面30上の位置に指標を設定する指標設定部153と、指標の位置が重なると所定の処理を実行するように当該処理と関連付けられた図像を生成して表示装置3に表示させる映像生成部154と、位置検出部152で検出された特定部位の位置の変化から求まる評価対象を所定の評価基準と対比して特定部位の可動域を評価する評価部155と、評価部155での評価結果を提示する提示部57Bとを備える。
すなわち、運動支援システム1Bは、利用者2の身体の特定部位の位置を検出する位置検出部152と、位置検出部152で検出された位置に基づいて表示面30における指標の位置を決定する指標設定部153と、表示面30における所定位置に指標が位置しているか否かを判定する判定部1541と、判定部1541が所定位置に指標が位置していると判定すると、所定位置に所定のイベント画像を表示するイベント画像表示部(表示制御部)52Bと、位置検出部152で検出された位置に基づいて、特定部位の可動域を示す評価データを作成する評価データ作成部1551と、評価データ作成部1551で作成された評価データと基準データとの比較に基づいて、特定部位の可動域の評価を行う可動域評価部1552と、を備え、提示部57Bは、可動域評価部155による評価の結果を提示するように構成される。
この運動支援システム1Bは、表示面30に対して利用者2側に配置され表示装置3に表示された映像を透過させるハーフミラー6をさらに備える。指標設定部153は、表示面30においてハーフミラー6に映る利用者2の鏡像のうち特定部位の鏡像に重なる位置に指標を設定するように構成される。換言すれば、本実施形態において、鏡像表示手段は、表示装置3の前面に配置されるハーフミラー6である。指標設定部153は、ハーフミラー6に映った特定部位と重なる表示面30の位置に指標の位置が対応するように、指標の位置を決定するように構成される。
以上説明した本実施形態の運動支援システム1Bによれば、利用者2に対して身体の特定部位の可動域の評価結果を提示することができる。また、運動支援システム1Bによれば、評価部155は、特定部位の位置の変化から求まる評価対象を所定の評価基準と対比して特定部位の可動域を評価するので、その評価結果が提示部57Bから利用者2にフィードバックされる。したがって、利用者2は、自身の特定部位の可動域の測定結果を知るだけではなく、測定結果がどのような意味を持つのか理解することが可能となる。すなわち、利用者2は、たとえば腕が何センチの高さまで上がったかという測定結果だけでなく、可動域が100点中、何点と評価されるのかを知ることができ、可動域訓練の必要性や効果を十分に理解することができる。
しかも、利用者2は、高得点を目指すことにより、特に意識しなくても可動域の範囲内で特定部位を極力大きく動かすことになるので、ゲームを楽しんでいるような感覚で身体を動かすことにより十分な可動域訓練の効果を享受できる。なお、特定部位が腕部である場合、利用者2がたとえば体幹を傾けたりすると、腕部の可動域を正確に評価することができないので、特定部位以外の部位(たとえば体幹)が移動した場合には評価を無効にするなどの処理が行われてもよい。
また、運動支援システム1Bは、評価対象の標準を示す標準情報を記憶する標準記憶部51をさらに備え、評価部155は、標準情報を評価基準として可動域を評価するように構成される。すなわち、基準データは、健常者の標準的な特定部位の可動域を示すデータである。
つまり、本実施形態では、評価部155は、評価対象の標準を示す標準情報を評価基準として、評価対象を評価基準と対比し特定部位の可動域を評価するので、利用者2の特定部位の可動域を標準的な可動域に対して相対的に評価することができる。したがって、病気や怪我により特定部位の可動域が制限された利用者2にあっては、標準的な可動域を目標にして可動域訓練を行うことができる。
また、運動支援システム1Bでは、評価部155は、表示面30上に沿う平面内において特定部位が通った領域の面積を評価対象に含む。すなわち、評価データは、表示面30に平行な面内において特定部位が通過した領域の面積を示すデータを含む。
また、運動支援システム1Bでは、評価部155は、所定の一方向における特定部位の可動範囲を評価対象に含む。すなわち、評価データは、所定方向における特定部位の可動範囲を示すデータを含む。
つまり、評価部155が、所定の一方向における特定部位の可動範囲や平面上の移動領域の面積を評価対象とする構成では、特定部位の位置を三次元的に特定する必要はない。そのため、距離画像センサ4に代えてCCD(Charge Coupled Device)カメラなどの二次元カメラを用いることができ、位置検出部152の処理速度も向上するという利点がある。さらに、一次元的な距離等を計測するだけであれば、距離画像センサ4に代えてレーザ、超音波などを用いた物体検知センサを用いることもできる。
また、運動支援システム1Bでは、位置検出部152は三次元センサの出力から三次元空間内での特定部位の位置を検出し、評価部155は、三次元空間において特定部位が通った領域の体積を評価対象に含む。すなわち、位置検出部152は、三次元センサの出力から特定部位の位置を検出するように構成される。評価データは、特定部位が通過した領域の体積を示すデータを含む。
また、運動支援システム1Bにおいて、評価部155は、特定部位の軌跡を評価対象に含む。すなわち、評価データは、特定部位の軌跡を示すデータを含む。
つまり、評価部155が、特定部位の移動領域の体積や移動軌跡を評価対象に含む構成では、前後方向への動きも含めて利用者2の特定部位の可動域を詳細に評価することができる。
また、運動支援システム1Bでは、評価部155は、特定部位が所定の動作に要した時間を評価対象に含む。すなわち、評価データは、利用者2が特定部位で所定の動作を行うのに要した時間を示すデータを含む。
つまり、評価部155が、特定部位が所定の動作に要する時間を評価対象に含む構成では、特定部位がどの程度スムーズに動くのかについても評価することができるという利点がある。
ところで、本実施形態では、記憶部51は、評価対象の標準(標準情報)を記憶する標準記憶部として用いられているが、この構成に限らず、評価対象の履歴を履歴情報として記憶する履歴記憶部として記憶部51が用いられていてもよい。ここでいう履歴情報は、利用者2の特定部位の位置の変化から求められた高さ(距離)、面積や体積、時間や軌跡などの比較対象が、利用者2ごとに時系列にまとめられた情報である。すなわち、運動支援システム1Bは、評価対象の履歴を時系列に履歴情報として記憶する履歴記憶部51をさらに備え、評価部155は、履歴情報を評価基準として可動域を評価してもよい。換言すれば、可動域評価部(評価部155)は、前回の特定部位の可動域の評価に用いられた評価データを、基準データとして採用するように構成されてもよい。
この場合、評価部155は、記憶部51に記憶された履歴情報を評価基準として、評価対象を評価基準と対比して特定部位の可動域を評価する。すなわち、評価部155は、過去に利用者2が可動域訓練を行った際の比較対象を評価基準として、現在、利用者2が行っている可動域訓練における評価対象と対比することにより、特定部位の可動域を評価する。これにより、評価部155では、同一の利用者2について、特定部位の可動域が従来に比べてどうなったのかを評価でき、可動域訓練の進捗度を評価することができる。
(実施形態4)
本実施形態の運動支援システム(可動域訓練システム)1Cは、図16に示すように、ハーフミラー6を備えていない点が実施形態3の運動支援システム(可動域訓練システム)1Bと相違する。また、本実施形態の運動支援システム1Cでは、利用者2の前方に配置され利用者2を前方から撮像する向きにレンズが向けられた撮像装置7が設けられている。
さらに、本実施形態の運動支援システム1Cは、制御装置5Cで実施形態3の運動支援システム1Bと異なる。制御装置5Cは、図16に示すように、記憶部51と、取得部53と、第1抽出部(特徴量抽出部)54と、第2抽出部(基準量抽出部)55と、評価部(姿勢評価部)56と、提示部57Bと、位置検出部152と、指標設定部153と、評価部(第2評価部)155と、映像生成部154とに加えて、反転処理部58を備えている。
映像生成部154は、判定部1541と、表示制御部52Bと、を備える。表示制御部52Bは、反転処理部58で生成された左右反転画像を表示面30に表示する反転画像表示部として機能する。
また、本実施形態において、指標設定部153は、左右反転画像における特定部位の位置に指標の位置が対応するように、指標の位置を決定するように構成される。
すなわち、本実施形態の運動支援システム(可動域訓練システム)1Cは、光学的に形成される鏡像を提示することはなく、表示装置3に表示された反転映像を利用者2に視認させ、利用者2に対して、反転映像を自身の鏡像と錯覚させることができる。
さらに、映像生成部154は、反転処理部58で生成された反転映像と共に、図像131を表示装置3に表示させる。指標設定部153は、表示面30において反転映像のうち特定部位の映像と重なるように、指標の位置を設定する。ここでは、特定部位は腕部全体であり、指標は腕部の一部である手首の位置に対応する位置に設定されるので、指標設定部153は、表示面30上で反転映像中の腕部の手首の映像と重なる位置に指標を設定する。
以上述べたように、本実施形態の運動支援システム1Cは、利用者2の前方に配置され利用者2の映像を撮像する撮像装置7をさらに備える。映像生成部154は、撮像装置7で撮像された利用者の映像を左右反転させた反転映像を図像と共に表示装置3に表示させるように構成される。指標設定部153は、表示面30において反転映像のうち特定部位の映像に重なる位置に指標を設定するように構成される。
すなわち、本実施形態の運動支援システム1Cの鏡像表示手段は、利用者2を撮影して利用者2の画像を生成する撮像装置7と、撮像装置7で生成された利用者2の画像を左右反転させて左右反転画像を生成する反転処理部58と、反転処理部58で生成された左右反転画像を表示面30に表示する表示制御部(反転画像表示部)52Bと、で構成される。
以上説明した本実施形態の運動支援システム1Cによれば、ハーフミラー6を省略した分だけ、実施形態3の運動支援システム1Bに比べて構成を簡略化できるという利点がある。しかも、本実施形態の構成では、比較的大型の画面を備えるディスプレイが予め備わっていれば、専用のディスプレイを新設しなくても、既存のディスプレイを表示装置3として用いることが可能であるため、システムの導入コストを低減できる。
本実施形態の運動支援システム1Cのその他の構成および機能は実施形態3の運動支援システム1Bと同様である。
(実施形態5)
本実施形態の運動支援システム1Dは、重心移動訓練システムとしての側面を有する。重心移動訓練システムは、利用者の重心移動の訓練に用いられる。
人の重要な運動機能の1つに重心移動の機能があるが、たとえば病気や怪我により身体の動きに障害のある患者や高齢者等においては、この重心移動の機能が衰えている場合がある。重心移動の機能が不十分な人は、たとえば左右の脚に交互に体重が掛かるようにスムーズに重心移動させることができないがために、歩行などの基本的な運動にも支障がでる場合がある。そのため、重心移動をスムーズに行わせるための重心移動訓練は、たとえばリハビリテーションの分野等に広く取り入れられている。
一方、利用者の足元に配置され使用者の前後左右における荷重の比率を測定する測定装置(バランス検出装置)を備え、測定装置の出力から求まる使用者の重心位置を示す映像を表示装置に表示させるシステムが提案されている(たとえば文献3[日本国公開特許公報2009−277195号]参照)。文献3記載のシステムを用いれば、使用者は、重心位置を目標位置に一致させるように姿勢を修正することによって、重心が中心に位置するときの正しい姿勢を習得することができる。
しかし、文献3記載のシステムでは、重心位置が使用者にフィードバックされることによって、正しい姿勢からの重心位置の変動を少なくする訓練はできるものの、歩行などに必要なスムーズな重心移動を使用者に習得させるための訓練は難しい。すなわち、文献3記載のシステムは、重心位置の移動軌跡等も表示可能であるが、重心位置の移動軌跡からではスムーズに重心移動できているか否かの評価は難しく、スムーズな重心移動を習得させるための訓練に用いるには不十分である。
したがって、重心移動訓練システムは、利用者にスムーズな重心移動を習得させるための訓練を行えることが好ましい。
本実施形態の運動支援システム1Dは、重心移動訓練システムとして用いられる。重心移動訓練システムは、病気や怪我により重心移動の機能が衰えた患者を対象として、重心移動をスムーズに行わせるためのリハビリテーションに用いられる。ただし、以下の実施形態の記載は重心移動訓練システムの用途を限定する趣旨ではなく、たとえば健常者が日頃の運動や、各種のスポーツに必要な重心移動の感覚を習得するためのトレーニングなどに重心移動訓練システムを用いてもよい。
本実施形態の運動支援システム(重心移動訓練システム)1Dは、図17に示すように、利用者(患者)2の正面に配置され表示面30に映像を映す表示装置3と、水平面内での利用者2の荷重の分布を測定する測定装置8と、表示装置3等の動作を制御する制御装置5Dとを備えている。表示装置3および測定装置8は、いずれも制御装置5Dに対して接続されている。また、本実施形態の運動支援システム1Dは、鏡像表示手段であるハーフミラー6を備えている。
測定装置8は、ハーフミラー6の手前の床であって利用者2の足元に配置されている。この測定装置8は、利用者2が搭乗する搭乗台80と、搭乗台80上での利用者2の左右の各脚にそれぞれ掛かる荷重を測定する荷重センサ(図示せず)とを具備している。荷重センサは、右脚側の搭乗台80と左脚側の搭乗台80とのそれぞれに対応して少なくとも1個ずつ設けられている。すなわち、測定装置8は、利用者から荷重を受ける作用面を有し、作用面における荷重の分布を測定するように構成される。本実施形態では、作用面は搭乗台80の上面である。
本実施形態では、測定装置8は、各荷重センサでそれぞれ荷重を測定することにより、搭乗台80上に立つ利用者2の水平面内での荷重の分布を測定する。つまり、測定装置8は、搭乗台80の左右方向の中心線を境に左側の領域に掛かる荷重と右側の領域に掛かる荷重とをそれぞれ測定し、左脚と左脚との各々に掛かる荷重の分布をリアルタイムで測定する。
このように、測定装置8は水平面内での利用者2の荷重の分布をリアルタイムで測定し、測定結果を制御装置5Dに対して出力する。制御装置5Dに出力される測定装置8の測定結果は水平面内での利用者2の荷重の分布を表す値であればよく、本実施形態では、測定装置8は利用者2の左脚と右脚とのそれぞれに掛かる荷重を制御装置5Dに出力する。
ここで、測定装置8は、荷重センサにより利用者2の左脚と右脚との一方のみに掛かる荷重を測定する構成であってもよい。つまり、測定装置8は、利用者2の体重が既知として予め与えられていれば、たとえば左脚に掛かる荷重を測定することにより、この荷重が体重に占める割合から、利用者2の荷重の分布を求めることができる。
ところで、本実施形態の運動支援システム1Dは、測定装置8の測定結果に基づいて利用者2の左右の荷重の比率を表すバランス値を算出する算出部251を制御装置5Dに有している。さらに、制御装置5Dは、利用者2の重心移動に伴うバランス値の変化を示す指標映像を生成する指標生成部252と、重心移動の模範となるバランス値の周期的な変化を示す模範映像を生成する模範生成部253と、各種設定値等が記憶される記憶部254とを有している。指標生成部252および模範生成部253は、それぞれ生成した指標映像、模範映像を表示装置3に表示させる。
本実施形態において、制御装置5Dは、図18に示すように、第1抽出部(特徴量抽出部)54と、第2抽出部(基準量抽出部)55と、評価部56と、提示部57Dと、記憶部51と、表示制御部52Dと、算出部251と、記憶部(第2記憶部)254と、バランス値表示部2521と、目標値表示部2531と、重心移動評価部255と、を備える。なお、運動支援システム1Dを重心移動訓練システムとしてのみ使用する場合には、第1抽出部54、第2抽出部55、評価部(姿勢評価部)56は必ずしも設ける必要はない。
算出部251は、測定装置8で測定された荷重の分布に基づいて作用面内の所定箇所における荷重の比率を表すバランス値を算出するように構成される。たとえば、算出部251は、測定装置8の測定結果から、搭乗台80の左右方向の中心線より左側の領域に掛かる荷重(左脚に掛かる荷重)と右側の領域に掛かる荷重(右脚に掛かる荷重)との比率を表すバランス値を、リアルタイムで算出する。具体的には、算出部251は、利用者2の左脚と右脚とのそれぞれに掛かる荷重に基づいて、その総和(つまり利用者2の体重)を基準として左右の各荷重が占める割合を、バランス値としてリアルタイムで算出する。
第2記憶部254は、バランス値記憶部2541と、設定データ記憶部2542とを備える。バランス値記憶部2541は、算出部251で算出されたバランス値を記憶するように構成される。設定データ記憶部2542は、バランス値の目標値の時間的変化を示す設定データを記憶するように構成される。設定データは、たとえば、所定周期の正弦波で定義される。設定データは、上記正弦波を定義する値として、周期と、振幅値と、を含む。また、設定データは、正弦波の長さを定義する運動時間を含む。本実施形態では、振幅値は、運動強度により表されている。運動強度は、予め設定された基準値に対する振幅値の比率(百分率)を示す。すなわち、運動強度が50%であれば、振幅値は基準値の半分になる。
たとえば、体重50kgの利用者2の場合に、左脚に掛かる荷重が30kg、右脚に掛かる荷重が20kgであれば、算出部251は、左=60%(=0.6)、右=40%(=0.4)というバランス値を算出する。なお、バランス値にて示される左脚に掛かる荷重の割合と右脚に掛かる荷重の割合との和は、常に100%(=1)になる。
指標生成部252は、算出部251で算出されたバランス値に基づいて、指標映像を生成して表示装置3に表示させる。本実施形態では、指標生成部252は、バランス値表示部2521と、表示制御部52Dとによって構成される。バランス値表示部2521は、算出部251で算出されたバランス値を表示面30に表示するように構成される。本実施形態において、バランス値表示部2521は、バランス値に基づいて指標映像(指標画像)を生成し、指標映像が表示面30に表示されるように表示制御部52Dを制御する。
一方、模範生成部253は、記憶部254に記憶されている設定値に従って、模範映像を生成して表示装置3に表示させる。本実施形態では、模範生成部253は、目標値表示部2531と、表示制御部52Dとによって構成される。目標値表示部2531は、設定データ記憶部2542に記憶された設定データに基づいて目標値を表示面30に表示するように構成される。本実施形態において、目標値表示部2521は、目標値(設定値)に基づいて模範映像(模範画像)を生成し、模範映像が表示面30に表示されるように表示制御部52Dを制御する。
ここでいう指標映像および模範映像は、いずれもバランス値をリアルタイムで表す動画映像であって、本実施形態では、図19に例示するように、左脚に掛かる荷重の割合と右脚に掛かる荷重の割合とを高さで表す棒グラフの映像である。図19の例では、表示面30の左右方向に棒グラフが4本並んで表示されているが、そのうち外側の2本の棒グラフが指標映像231であって、内側の2本は模範映像232である。ここで、利用者2が指標映像231と模範映像232とを容易に区別可能となるように、たとえば指標映像231の棒グラフは白色で表示され、模範映像232の棒グラフは橙色で表示される。
すなわち、指標映像231および模範映像232は、左脚と右脚に対応するように棒グラフを一対ずつ含んでおり、それぞれ縦長の長方形状の枠内に表示された棒グラフの高さによって、100%を上限に左右の各脚に掛かる荷重の全体重に占める割合を示している。本実施形態では、表示面30の左端に表示される棒グラフが左脚、右端に表示される棒グラフが右脚に対応しており、指標映像231および模範映像232は左右の各脚に掛かる荷重の割合を1%刻みで各棒グラフの高さに反映している。
したがって、たとえば利用者2が左脚から右脚に重心を移すように重心移動を行った場合、指標映像231は、重心移動に伴って左脚に対応する棒グラフが徐々に低くなり右脚に対応する棒グラフが徐々に高くなるように変化する。これに対して、模範映像232は、利用者2の動きには関係なく、所定の周期で左右の棒グラフが交互に高くなるように変化することにより、利用者2の重心移動の模範となるバランス値の周期的な変化を表す。
記憶部254(設定データ記憶部2542)には、模範映像232の動きを決める設定値として、周期と運動強度と運動時間とが予め記憶されている。ここでいう周期はバランス値の変化の周期を表しており、運動強度は左右の各脚に掛かる荷重の割合の最大値(つまり棒グラフの最大値)を表しており、運動時間は利用者2に運動をさせる時間を表している。これらの設定値は、制御装置5Dの入力部となる入力インタフェース(キーボード等)を用いて外部から任意に設定され、記憶部254に予め記憶されている。なお、運動強度は、ここでは左脚と右脚とで別々の値が設定されてもよい。
模範生成部253は、記憶部254に記憶されている周期と運動強度とによって決定されるバランス値の変化のパターンを示す模範映像232を生成し、この模範映像232を運動時間に亘って表示装置3に表示させる。本実施形態においては、模範生成部253は、棒グラフの高さの時間変化が正弦波状となるようなパターンで変化する模範映像232を生成する。
なお、図19の例では、運動強度233、周期(周波数)234、運動時間235がそれぞれ表示面30における指標映像231、模範映像232の上方に表示され、残り時間236が指標映像231、模範映像232の下方に表示されている。ここでいう残り時間は、運動時間から経過時間を差し引いた時間である。これらの情報が表示されることにより、利用者2は模範映像232中の棒グラフの変化によって示される運動のパターンを定量的に認識することができる。
上述したように指標映像231と模範映像232とが表示装置3に表示されることにより、利用者2に対して、模範映像232中の棒グラフの動きを指標映像231で追従するように、左右の各脚に掛かる荷重の割合を変化させるための重心移動を行わせることができる。すなわち、利用者2は、模範映像232中の棒グラフの動きに合わせて左右の各脚に掛かる荷重の割合を変化させるべく重心移動を行うことができる。ここで、算出部251で算出されたバランス値が、模範映像232の表すバランス値を中心とする所定の許容範囲(たとえば±3%)に入ると、模範生成部253がたとえば棒グラフの表示色を変化させるなどして利用者2に通知するようにしてもよい。
ところで、本実施形態の運動支援1Dは、模範映像232と指標映像231との間でバランス値が変化するタイミングのずれを評価する評価部(重心移動評価部)255と、評価部255の評価結果を提示する提示部57Dとを、制御装置5Dにさらに有している。
重心移動評価部255は、バランス値記憶部2541に記憶されたバランス値からバランス値の時間的変化を求め、バランス値の時間的変化と設定データが示す目標値の時間的変化とに基づいて利用者2の重心移動の評価を行うように構成される。すなわち、評価部(重心移動評価)255は、利用者2の重心移動に伴うバランス値の変化を示す指標映像231と、重心移動の模範となるバランス値の周期的な変化を示す模範映像232とを対比して、両者間でバランス値の変化のタイミングのずれを評価する。この評価結果は、模範映像232にて示される模範的な重心移動に対する、指標映像231によって示される実際の利用者2の重心移動の追従性を表しており、ずれが小さいほど追従性が高いことを表す。
具体的に説明すると、評価部255は、所定のサンプリング周期(たとえば100msec)で、一方の脚(たとえば右脚)に掛かる荷重の全体重に占める割合について、模範映像232が示す値と指標映像231が示す値との差分を算出する。このようにして算出される差分には、その大きさに応じた点数が予め割り当てられており、評価部255は、差分を算出する度に当該差分に対応する点数を加算していき、最終的に求まった合計点数を評価点とする。このようにして求まる評価点は、差分が小さい(つまりずれが小さい)ほど高得点となるように割り当てられている。
要するに、本実施形態では、評価部255は模範映像232と指標映像231との間で同一タイミングにおけるバランス値の差を評価対象に含み、模範映像232と指標映像231とのずれを評価する。すなわち、重心移動評価部255は、所定の時点におけるバランス値と目標値との差を用いて重心移動の評価を行うように構成される。これにより、評価部255では、たとえば模範映像232と指標映像231とで、バランス値の変化のタイミングだけは合っているものの、バランス値の大きさがずれているような場合に、その大きさのずれをも評価することができる。その結果、評価部255は、模範映像232にて示される模範的な重心移動と、指標映像231によって示される実際の利用者2の重心移動とのずれを厳密に評価することができるという利点がある。
ただし、評価部255が行う評価の方法は上述した方法に限らず、模範映像232と指標映像231との間でバランス値が変化するタイミングのずれを評価できる方法であればよい。たとえば、評価部255は、所定のサンプリング周期ごとに算出した差分の累計を求め、求まった累計値を点数に換算することにより評価点を求めてもよい。
また、同一タイミングにおけるバランス値の差を評価対象に含まない場合でも、評価部255は、模範映像232と指標映像231との間でバランス値が変化するタイミングのずれを評価することができる。つまり、評価部255は、たとえば模範映像232と指標映像231との各々から一方の脚(たとえば右脚)に掛かる荷重の全体重に占める割合の極大点(または極小点)を抽出し、時間軸方向における極大点(または極小点)のずれを数値化することで評価できる。
提示部57Dは、重心移動評価部255による評価の結果を提示するように構成される。たとえば、提示部57Dは、評価部255で為された模範映像232と指標映像231とのタイミングのずれの評価結果を利用者2に提示する。具体的には、提示部57Dは、評価部255の評価結果を音声や光等で利用者2に提示する。あるいは、評価部255の評価結果を表示装置3に表示させる構成とし、表示装置3が提示部57Dとして兼用されてもよい。表示装置3が提示部57Dとして兼用される場合、訓練時間の終了後、表示面30に評価結果を示すメッセージが表示される構成とすることが考えられる。
提示部57Dが提示する内容は、ずれの程度を数値化して定量的に表す評価点であってもよいし、評価点を複数の段階に分けてランク付けした結果であってもよい。評価部255により、たとえば右脚側に重心を移動させる際に大きくずれているといったずれの傾向が判断されている場合には、この判断結果に応じたアドバイスを提示部57Dが提示してもよい。
次に、上述した運動支援システム(重心移動訓練システム)1Dを用いて利用者2が重心移動の訓練を行う例について説明する。
制御装置5Dは、入力インタフェースに対し訓練を開始する所定の操作が為されると、タイマ(図示せず)にて運動時間の計時を開始するとともに、指標映像231および模範映像232を表示装置3に表示させる。利用者2は、指標映像231と模範映像232とを見ながら、指標映像231の棒グラフの動きを模範映像232に合わせるように、重心移動を行うことで、正しい重心移動の運動を行うことができる。
運動時間が終了すると、制御装置5Dは、指標映像231および模範映像232の表示を終了するとともに、評価部255にて模範映像232と指標映像231とのタイミングのずれを評価し、提示部57Dにて評価結果を利用者2に提示する。この状態で、入力インタフェースに対し訓練を開始する所定の操作が為されると、制御装置5Dは再度、運動時間の計時を開始するとともに、指標映像231および模範映像232を表示装置3に表示させる。
以上述べたように、本実施形態の運動支援システム(重心移動訓練システム)1Dは、表示面30に映像を表示する表示装置3と、表示装置3に映像を表示させる制御装置5Dと、表示面30と向き合う利用者2の足元に配置され水平面内での利用者2の荷重の分布を測定する測定装置8とを備える。制御装置5Dは、測定装置8の測定結果に基づいて利用者2の左右または前後の荷重の比率を表すバランス値を算出する算出部251と、利用者2の重心移動に伴うバランス値の変化を示す指標映像を生成し表示装置3に表示させる指標生成部252と、重心移動の模範となるバランス値の周期的な変化を示す模範映像を生成し表示装置3に表示させる模範生成部253と、模範映像と指標映像との間でバランス値が変化するタイミングのずれを評価する評価部255と、評価部255の評価結果を提示する提示部57Dとを有する。
換言すれば、運動支援システム1Dは、利用者2から荷重を受ける作用面(搭乗台80の上面)を有し作用面における荷重の分布を測定する測定装置8と、測定装置8で測定された荷重の分布に基づいて作用面内の所定箇所における荷重の比率を表すバランス値を算出する算出部251と、算出部251で算出されたバランス値を記憶するバランス値記憶部2541と、算出部251で算出されたバランス値を表示面30に表示するバランス値表示部2521と、バランス値の目標値の時間的変化を示す設定データを記憶する設定データ記憶部2542と、設定データ記憶部2542に記憶された設定データに基づいて目標値を表示面30に表示する目標値表示部2531と、バランス値記憶部2541に記憶されたバランス値からバランス値の時間的変化を求め、バランス値の時間的変化と設定データが示す目標値の時間的変化とに基づいて利用者2の重心移動の評価を行う重心移動評価部255と、を備える。提示部57Dは、重心移動評価部255による評価の結果を提示するように構成される。
以上説明した構成の重心移動訓練システム1Dによれば、利用者2は、模範映像232に指標映像231を合わせるように重心移動を行うことにより、模範映像232にて模範される正しい重心移動を習得することができる。ここで、利用者2は、周期的に変化する重心位置に合わせて重心移動を行うことができるように訓練することは、スムーズな重心移動を習得することに直結する。そのため、利用者2は、ゲームを楽しんでいるような感覚で身体を動かすだけで、歩行などに必要なスムーズな重心移動を習得するための訓練を行うことができる。すなわち、本実施形態の運動支援システム1Dによれば、利用者2にスムーズな重心移動を習得させるための訓練をさせることができる。このような訓練を行うことにより、利用者2は瞬発力も鍛えられることになり、歩行時の転倒防止などにもつながる。
この運動支援システム1Dでは、評価部255は、模範映像と指標映像との間で同一タイミングにおけるバランス値の差を評価対象に含む。すなわち、評価部(重心移動評価部)255は、所定の時点におけるバランス値と目標値との差を用いて重心移動の評価を行うように構成される。
したがって、本実施形態の運動支援システム1Dによれば、評価部255は、模範映像232と指標映像231とのタイミングのずれから、模範映像232にて示される模範的な重心移動に対する実際の利用者2の重心移動の追従性を評価し、その評価結果は提示部57Dから利用者2にフィードバックされる。したがって、利用者2は、自身がスムーズに重心移動できているか否かの評価結果に基づいて、重心移動訓練の必要性や効果を十分に理解することができる。
本実施形態の運動支援システム1Dは、表示面30に対して利用者2側に配置され、表示面30に表示される映像を透過させるとともに利用者2の鏡像を映すハーフミラー6をさらに備える。すなわち、本実施形態の運動支援システム1Dは、鏡像表示手段として、表示面30の前方に配置されるハーフミラー6を備える。
そのため、本実施形態の運動支援システム1Dでは、利用者2は、ハーフミラー6に映る自身の鏡像を見ながら運動することができるので、自身がどのような姿勢のときにどのように重心が移動するのかということを視覚的に学習することができる。そのため、利用者2は、訓練を行う中で、たとえば右脚に荷重を掛ける場合には身体をどのように傾ければよいか等、重心移動に必要な身体の動きを習得することができるという利点がある。さらに、利用者2は、重心の移動を視覚的に理解できるだけでなく、自分の姿勢を確認しながら重心を移動させる訓練を行える。たとえば、利用者2は、身体の傾きを確認しながら重心を移動させる訓練を行える。また、利用者2は、両肩を結ぶ線を水平に保ったまま重心を移動させる訓練を行える。
また、本実施形態の運動支援システム(重心移動訓練システム)1Dでは、制御装置5Dは、模範映像の動きを決めるための設定値を記憶する記憶部(設定データ記憶部)2542と、記憶部2542内の設定値を評価部255の評価結果に応じて変更する設定更新部256とを有する。すなわち、制御装置5Dは、重心移動評価部255による評価の結果に応じて設定データ記憶部2542に記憶される設定データが示す目標値の時間的変化を変更する設定更新部256を備える。
この構成では、模範生成部253は、評価部255の評価結果に応じて模範映像232の内容を変更することになる。
つまり、評価部255にて高い評価が得られた場合(ずれが小さい場合)、設定更新部256は、模範映像232が示す重心移動の難易度を上げるべく、設定値の周期を短くしたり、運動強度を上げたりする。たとえば、ずれが所定の第1閾値以下であれば、設定更新部256は、周期を所定値だけ小さくする、あるいは、運動強度を所定値だけ大きくする。一方、評価部255にて低い評価が得られた場合(ずれが大きい場合)、設定更新部256は、模範映像232が示す重心移動の難易度を下げるべく、設定値の周期を長くしたり、運動強度を下げたりする。たとえば、ずれが第1閾値より大きい所定の第2閾値以上であれば、設定更新部256は、周期を所定値だけ大きくする、あるいは、運動強度を所定値だけ小さくする。
その結果、運動支援システム(重心移動訓練システム)1Dは、利用者2の重心移動の能力に合った難易度の訓練を利用者2に受けさせることができ、利用者2に過度な負担を与えることなく、適切な運動を行わせることができる。
なお、本実施形態では、指標映像231および模範映像232として、棒グラフの映像を例示したが、この例に限らず、たとえば真上を指した基準位置から左右に振れるように回動する針の映像などであってもよい。
(実施形態6)
本実施形態の運動支援システム(重心移動訓練システム)1Eは、ハーフミラー6を備えていない点が実施形態5の運動支援システム(重心移動訓練システム)1Dと相違する。また、本実施形態の運動支援システム1Eでは、利用者2の前方に配置され利用者2を前方から撮像する向きにレンズが向けられた撮像装置7が設けられている。
さらに、本実施形態の運動支援システム1Eは、制御装置5Eで実施形態5の運動支援システム1Dと異なる。制御装置5Eは、図20に示すように、第1抽出部(特徴量抽出部)54と、第2抽出部(基準量抽出部)55と、評価部56と、提示部57Dと、記憶部51と、表示制御部52Dと、算出部251と、記憶部(第2記憶部)254と、バランス値表示部2521と、目標値表示部2531と、重心移動評価部255とに加えて、取得部53と、反転処理部58とを備える。
表示制御部52Dは、反転処理部58で生成された左右反転画像を表示面30に表示する反転画像表示部として機能する。
すなわち、本実施形態の運動支援システム1Eは、光学的に形成される鏡像を提示することはなく、表示装置3に表示された反転映像を利用者2に視認させ、利用者2に対して、反転映像を自身の鏡像と錯覚させることができる。よって、本実施形態の運動支援システム1Eによれば、ハーフミラー6を設けた場合と同様の効果を得ることができる。
さらに、指標生成部252および模範生成部253は、反転処理部58で生成された反転映像と共に、指標映像231および模範映像232を表示装置3に表示させる。反転映像は指標映像231および模範映像232と重なるように表示されてもよいが、この場合、反転映像は半透明(たとえば透過率50%)の映像として表示されることが望ましい。
以上述べたように、本実施形態の運動支援システム1Eの鏡像表示手段は、利用者2を撮影して利用者2の画像を生成する撮像装置7と、撮像装置7で生成された利用者2の画像を左右反転させて左右反転画像を生成する反転処理部58と、反転処理部58で生成された左右反転画像を表示面30に表示する表示制御52Dと、で構成される。
以上説明した本実施形態の運動支援システム1Eによれば、ハーフミラー6を省略した分だけ、実施形態5の運動支援システム1Dに比べて構成を簡略化できるという利点がある。しかも、本実施形態の構成では、比較的大型の画面を備えるディスプレイが予め備わっていれば、専用のディスプレイを新設しなくても、既存のディスプレイを表示装置3として用いることが可能であるため、システムの導入コストを低減できる。
なお、利用者2自身の重心移動は指標映像231にて利用者2に提示されているので、利用者2が自身の像(鏡像)を見ながら運動できることは必須ではなく、反転映像を表示する機能は省略されていてもよい。
本実施形態の運動支援システム1Eのその他の構成および機能は実施形態5の運動支援システム1Dと同様である。
ところで、上記各実施形態5,6では、算出部251は利用者2の左右の荷重の比率をバランス値として求め、評価部255においてもこのバランス値に基づいて重心移動のずれが評価される例を示したが、この例に限らず、バランス値は利用者2の前後の荷重の比率でもよい。この場合、運動支援システム(重心移動訓練システム)1Eは、重心位置を前後方向に交互に移動させるような重心移動を行う訓練に用いることができる。