JP6181373B2 - 医用情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、医用情報処理装置及びプログラムに関する。

従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。

一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。

特開平９−５６６９７号公報

本発明が解決しようとする課題は、回旋方向の運動を評価することができる医用情報処理装置及びプログラムを提供することである。

実施形態に係る医用情報処理装置は、取得部と、検出部と、算出部とを備える。取得部は、撮影方向と略同一となる回旋軸で回旋運動を行う被写体の３次元の空間内における座標情報と深度情報とを含む深度画像情報を取得する。検出部は、前記深度情報に基づいて、前記深度画像情報から、前記被写体の回旋運動により回旋される部位が占める領域を検出する。算出部は、前記深度画像情報から検出された前記領域の座標情報を用いて、該領域の長軸を検出し、検出した長軸の角度を回旋方向の動きを示す角度情報として算出する。

図１は、第１の実施形態に係る医用情報処理装置の構成例を示すブロック図である。 図２Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図４は、前腕の回旋運動について説明するための図である。 図５は、第１の実施形態に係る医用情報処理装置の詳細な構成例を示すブロック図である。 図６Ａは、第１の実施形態に係る設定部の処理を説明するための図である。 図６Ｂは、第１の実施形態に係る設定部の処理を説明するための図である。 図７は、第１の実施形態に係る検出部の処理を説明するための図である。 図８は、第１の実施形態に係る算出部の処理を説明するための図である。 図９は、第１の実施形態に係る表示制御部の処理を説明するための図である。 図１０は、第１の実施形態に係る算出処理の処理手順の一例を説明するためのフローチャートである。 図１１は、第１の実施形態に係る表示画像を表示する処理の処理手順の一例を説明するためのフローチャートである。 図１２は、第１の実施形態に係るグラフを表示する処理の処理手順の一例を説明するためのフローチャートである。 図１３は、第１の実施形態に係る最大回旋角度を表示する処理の処理手順の一例を説明するためのフローチャートである。 図１４は、第２の実施形態に係る検出部の処理を説明するための図である。 図１５は、第２の実施形態に係る角度算出処理の処理手順の一例を説明するためのフローチャートである。 図１６は、サービス提供装置に適用される場合の一例を説明するための図である。

以下、図面を参照して、実施形態に係る医用情報処理装置及びプログラムを説明する。なお、以下で説明する医用情報処理装置は、医用情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。

（第１の実施形態）
図１は、第１の実施形態に係る医用情報処理装置１００の構成例を示すブロック図である。第１の実施形態に係る医用情報処理装置１００は、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。

図１に示すように、第１の実施形態において、医用情報処理装置１００は、動作情報収集部１０に接続される。

動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。

図１に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図１に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。

カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。

距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。

音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。

動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。

図２Ａから図２Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図２Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図２Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。

第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。

ここで、人体パターンについて説明する。図２Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図２Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。

図２Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。

なお、図２Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図２Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。

動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図２Ｂに示す人体パターンの人体表面と、図２Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図２Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。

なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。

続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。

ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。

そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図３は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図３に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図３において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。

図３の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図３の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。

このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、医用情報処理装置１００へ出力し、後述の動作情報記憶部１３１へ格納する。

なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。

また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。

また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて医用情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて医用情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。

また、動作情報生成部１４は、世界座標系のｚ軸方向の座標の値である深度を用いて、撮影範囲に対応する１フレームの深度画像情報を生成する。この１フレーム分の深度画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する深度が対応付けられた情報とが含まれる。言い換えると、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。動作情報生成部１４は、生成した深度画像情報を医用情報処理装置１００へ出力し、後述の深度画像情報記憶部１３２に格納する。なお、深度画像情報は、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像として出力されても良い。

なお、ここでは、動作情報収集部１０によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の撮影範囲に含まれていれば、動作情報収集部１０は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として医用情報処理装置１００へ出力する。

また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて医用情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を医用情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。

更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、医用情報処理装置１００側で行っても良い。

図１の説明に戻る。医用情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。医用情報処理装置１００は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。

出力部１１０は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部１１０は、医用情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、医用情報処理装置１００において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであっても良い。

入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部１２０は、医用情報処理装置１００の操作者から各種要求の入力を受け付け、受け付けた各種要求を医用情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

以上、第１の実施形態に係る医用情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る医用情報処理装置１００は、動作情報収集部１０によって収集されたリハビリを実行する対象者の動作情報を解析することで、対象者のリハビリを支援する。

ここで、第１の実施形態に係る医用情報処理装置１００は、以下に説明する処理により、回旋方向の運動を評価することができる。例えば、医用情報処理装置１００は、関節の座標のみでは評価困難な前腕の回旋運動を評価することができる。

図４は、前腕の回旋運動について説明するための図である。前腕の回旋運動には、回内及び回外の二つの動作が含まれる。図４には、ある人物が右腕の回旋運動を行う場合を例示する。図４に示す例では、ある人物が、右手の掌が向かって右側、右手の甲が向かって左側になるように、右腕の前腕（右肘から右手首までの部分）を水平に向けている。ここで、前腕の位置を変えずに、右手の掌を下へ向ける方向４ａに回旋させることを回内、右手の掌を上へ向ける方向４ｂに回旋させることを回外と呼ぶ。

ここで、上述した動作情報を図４の人物に適用し、右腕の前腕に対応する関節２ｆ（右肘）及び関節２ｇ（右手首）の座標を取得しても、回旋運動を評価することが困難である。具体的には、右腕の回内及び回外が行われても、関節２ｆ及び関節２ｇの座標は変化しないため、回旋運動を評価することが困難である。そこで、第１の実施形態に係る医用情報処理装置１００は、以下に説明する処理により、回旋方向の運動を評価することを可能にする。

なお、以下では、医用情報処理装置１００が前腕の回旋運動を評価する場合を説明するが、実施の形態はこれに限定されるものではない。例えば、医用情報処理装置１００は、肩や股関節の回旋運動、さらには関節の座標のみでも評価可能な回旋方向の運動にも適用可能である。すなわち、第１の実施形態に係る医用情報処理装置１００は、回旋方向の運動を評価するための新たな方法を提供するものである。

図５は、第１の実施形態に係る医用情報処理装置１００の詳細な構成例を示すブロック図である。図５に示すように、医用情報処理装置１００においては、記憶部１３０が動作情報記憶部１３１と、深度画像情報記憶部１３２と、カラー画像情報記憶部１３３と、角度情報記憶部１３４とを有する。

動作情報記憶部１３１は、動作情報収集部１０によって収集された動作情報を記憶する。この動作情報は、動作情報生成部１４によって生成されたフレームごとの骨格情報である。例えば、動作情報は、動作情報収集部１０によって収集されるごとに動作情報記憶部１３１に格納される。

深度画像情報記憶部１３２は、動作情報収集部１０によって生成された深度画像情報を記憶する。例えば、深度画像情報は、動作情報収集部１０によって生成されるごとに深度画像情報記憶部１３２に格納される。

カラー画像情報記憶部１３３は、動作情報収集部１０によって収集されたカラー画像情報を記憶する。例えば、カラー画像情報は、動作情報収集部１０によって収集されるごとにカラー画像情報記憶部１３３に格納される。

なお、動作情報記憶部１３１、深度画像情報記憶部１３２及びカラー画像情報記憶部１３３において、骨格情報の各関節の座標、深度画像情報の画素位置及びカラー画像情報の画素位置は、予め対応付けられている。また、骨格情報の撮影時刻情報、深度画像情報の撮影時刻情報及びカラー画像情報の撮影時刻情報は、予め対応付けられている。

角度情報記憶部１３４は、例えば、処理対象となる部位の角度を示す情報を記憶する。例えば、角度情報記憶部１３４は、左腕の回旋運動を評価する場合には、深度画像の左右方向に対して左手がなす角度を示す情報を、フレームごとに記憶する。角度情報記憶部１３４に記憶される情報は、後述の算出部１４４によって算出される。なお、角度情報記憶部１３４に記憶される情報は、これに限定されるものではない。例えば、角度情報記憶部１３４は、深度画像の左右方向に対して左手がなす角度の時間変化量である角速度を記憶しても良い。

医用情報処理装置１００においては、制御部１４０が取得部１４１と、設定部１４２と、検出部１４３と、算出部１４４と、表示制御部１４５とを有する。

取得部１４１は、リハビリテーションが行われる空間内に存在する被写体の座標情報と深度情報とを含む深度画像情報を取得する。例えば、取得部１４１は、動作情報収集部１０及び医用情報処理装置１００に電源が投入され、１フレームの骨格情報が動作情報記憶部１３１に格納されるごとに、骨格情報と、対応するフレームの深度画像情報及びカラー画像情報とを、動作情報記憶部１３１、深度画像情報記憶部１３２及びカラー画像情報記憶部１３３からそれぞれ取得する。

設定部１４２は、処理対象となる部位を含む検出空間を設定する。例えば、設定部１４２は、リハビリの対象となる部位及び運動内容を指定する旨の入力を、入力部１２０を介して利用者から受け付ける。続いて、設定部１４２は、入力によって指定された部位及び運動内容にしたがって、取得部１４１によって取得された動作情報から処理対象となる関節２ｌの座標を抽出する。そして、設定部１４２は、リハビリテーションが行われる空間に対して、抽出した関節の座標を含む検出空間を設定する。

ここで、設定部１４２が検出空間を設定するのは、リハビリテーションが行われる空間において回旋方向の運動が行われる空間を絞り込むためである。すなわち、回旋方向の運動が行われる空間を、ｘｙｚ方向について絞り込む。また、ｘｙ方向について絞り込むことで、対象者が行う回旋方向の運動を、他の運動や他の被写体の位置変化と区別して解析することが可能となる。具体例を挙げると、両腕で前腕の回旋運動を行う場合にも、右手と左手の位置をそれぞれ中心とする検出空間を設定することにより、両腕の回旋運動を同時に解析することができる。なお、この検出空間で行われる回旋方向の運動は、回旋軸と略同一の撮影方向で撮影した画像を解析することで、画像的に捉えることが可能となる。この処理の詳細については、後述する。

図６Ａ及び図６Ｂは、第１の実施形態に係る設定部１４２の処理を説明するための図である。図６Ａ及び図６Ｂには、ある人物が左腕前腕の回旋運動を行う場合を例示する。この場合、設定部１４２は、左腕前腕の回旋運動を行う旨の入力を、入力部１２０を介して利用者から受け付けているものとする。なお、図６Ａは、回旋運動を行う人物を正面から見た図であり、動作情報収集部１０によって撮影されるカラー画像に対応する。このカラー画像の左右方向は、距離画像座標系の「画素位置Ｘ」に対応し、深度画像の上下方向は、距離画像座標系の「画素位置Ｙ」に対応する。また、図６Ｂは、回旋運動を行う人物を横から見た図であり、図の左方向は、世界座標系のｚ軸方向、すなわち深度に対応する。

図６Ａ及び図６Ｂに示すように、設定部１４２は、左腕前腕の回旋運動を行う旨の入力を受け付けると、取得部１４１によって取得された動作情報から左手の関節２ｌの座標を抽出する。そして、設定部１４２は、リハビリテーションが行われる空間に対して、抽出した関節２ｌの座標を含む検出空間６ａを設定する。この検出空間６ａは、世界座標系で表される。具体的には、例えば、検出空間６ａのｘ軸方向については、関節２ｌのｘ軸方向の値を中心とする３０ｃｍの範囲が設定される。また、検出空間６ａのｙ軸方向については、関節２ｌのｙ軸方向の値を中心とする３０ｃｍの範囲が設定される。つまり、図６Ａに示すように、検出空間６ａのｘ軸方向の範囲及びｙ軸方向の範囲は、それぞれ距離画像座標系（画素位置Ｘの範囲及び画素位置Ｙの範囲）に変換することで、カラー画像上で表される。また、検出空間６ａのｚ軸方向については、図６Ｂに示すように、関節２ｌのｚ軸方向の値を１．２倍した値の位置から動作情報収集部１０の位置までの範囲が設定される。このように、設定部１４２は、処理対象となる関節の位置を含む角柱形の空間を検出空間として設定する。なお、設定部１４２が設定する検出空間は上記の例に限定されるものではなく、上記の値は処理対象となる部位に応じて任意に変更されて良い。また、設定部１４２は、正六面体形や球形等の任意の形状の空間を検出空間として設定しても良い。

検出部１４３は、深度情報に基づいて、深度画像情報から、被写体の部位を検出する。例えば、検出部１４３は、設定部１４２によって設定された検出空間を用いて深度画像情報を２値化することで、処理対象となる部位を検出する。

図７は、第１の実施形態に係る検出部１４３の処理を説明するための図である。図７には、図６Ａに対応する深度画像を２値化した場合を例示する。図７に示すように、検出部１４３は、取得部１４１によって取得された深度画像のうち、検出空間６ａのｘ軸方向の範囲及びｙ軸方向の範囲で囲まれる領域を、検出処理の対象とする。そして、検出部１４３は、検出処理の対象とする領域に含まれる各画素を、関節２ｌのｚ軸方向の値を１．２倍した値を閾値として２値化する。図７に示す例では、検出部１４３は、閾値以上の画素（検出空間６ａに被写体が存在しない画素）を黒、閾値未満の画素（検出空間６ａに被写体が存在する画素）を白として２値化する。これにより、検出部１４３は、深度画像において人物の左手が存在する領域７ａを検出する。なお、深度画像のうち検出空間６ａ以外の領域は、検出処理の対象ではないため、網掛けで示している。

算出部１４４は、深度画像情報から検出された部位の座標情報を用いて、その部位の回旋方向の動きを示す角度情報を算出する。例えば、算出部１４４は、検出部１４３によって２値化された深度画像のうち、検出空間６ａのｘ軸方向の範囲及びｙ軸方向の範囲で囲まれる領域を、算出処理の対象とする。そして、算出部１４４は、算出処理の対象とする領域のうち、検出部１４３によって検出された部位の重心を算出する。そして、算出部１４４は、算出した重心を用いて、検出された部位の長軸（慣性主軸）の左右方向に対する角度を算出する。そして、算出部１４４は、算出した角度を角度情報記憶部１３４に格納する。

図８は、第１の実施形態に係る算出部１４４の処理を説明するための図である。図８には、算出部１４４が、図７で検出された領域７ａの重心８ａと、長軸８ｂの角度を算出する場合を示す。

図８に示すように、算出部１４４は、下記の式（１）及び（２）を用いて、領域７ａの重心８ａを算出する。なお、式（１）及び（２）において、Ｘｃは、重心８ａのＸ座標の値を示し、Ｙｃは、重心８ａのＹ座標の値を示す。また、Ｘは、検出空間６ａに含まれる各画素のＸ座標の値を示し、Ｙは、検出空間６ａに含まれる各画素のＹ座標の値を示す。また、ｆ（Ｘ，Ｙ）は、座標（Ｘ，Ｙ）の画素が白であれば「１」、黒であれば「０」である。

Ｘｃ＝ΣＸ×ｆ（Ｘ，Ｙ）／ｓｕｍ（ｆ（Ｘ，Ｙ））・・・（１）
Ｙｃ＝ΣＹ×ｆ（Ｘ，Ｙ）／ｓｕｍ（ｆ（Ｘ，Ｙ））・・・（２）

そして、下記の式（３）から（６）を用いて、領域７ａの長軸８ｂの角度を算出する。なお、式（３）から（６）において、σＸは、Ｘ軸方向の画素の分散を示し、σＹは、Ｙ軸方向の画素の分散を示す。また、σＸＹは、Ｘ及びＹの共分散を示し、θは、図８の左右方向（水平方向）に対する長軸８ｂの角度を示す。

σＸ＝Σ（（Ｘ−Ｘｃ）^２×ｆ（Ｘ，Ｙ））・・・（３）
σＹ＝Σ（（Ｙ−Ｙｃ）^２×ｆ（Ｘ，Ｙ））・・・（４）
σＸＹ＝Σ（（Ｘ−Ｘｃ）×（Ｙ−Ｙｃ）×ｆ（Ｘ，Ｙ））・・・（５）
θ＝ａｔａｎ２（σＸＹ，（σＸ−σＹ））・・・（６）

なお、ここで算出される角度θは、左右方向に対する鋭角を表す。このため、算出部１４４は、算出された角度を追従させることにより、回旋運動における回旋角度を算出する。具体例を挙げると、算出部１４４は、左腕前腕の回旋運動を評価する場合には、左手の親指を上に向けた位置を０度とし、回外を正の角度、回内を負の角度として表す。この場合、算出部１４４は、リハビリを行う対象者が左手を０度の位置に置いた状態から角度の算出を行い、算出した角度を追従する。対象者が回外を行った場合には、０度から正の方向へ角度が変化するので、算出部１４４は、回外の動きに応じて、０度、４５度、９０度、１３５度・・・と、回旋角度を算出する。また、対象者が回内を行った場合には、０度から負の方向へ角度が変化するので、算出部１４４は、回外の動きに応じて、０度、−４５度、−９０度、−１３５度・・・と、回旋角度を算出する。なお、回外の回旋角度を表示する場合には、−４５度、−９０度、−１３５度・・・と表示されても良いし、回外４５度、回外９０度、回外１３５度・・・と表示されても良い。また、回旋運動においては、例えば、正常可動範囲が０〜９０度とされている場合には、算出された回旋角度を０〜９０度の範囲内で評価する。

このように、算出部１４４は、領域７ａが検出されるごとに、重心８ａから伸びる長軸８ｂの角度θを算出する。そして、算出部１４４は、算出した角度を追従することにより、回旋運動の回旋角度をフレームごとに算出する。そして、算出部１４４は、算出した回旋角度をフレームごとに角度情報記憶部１３４に格納する。なお、ここでは、回旋運動の回旋角度を角度情報記憶部１３４に格納する場合を説明したが、実施形態はこれに限定されるものではない。例えば、算出部１４４は、算出した角度θをそのまま算出部１４４に格納しても良いし、対象者が行うリハビリの種別に応じて加工した角度の値を算出し、格納しても良い。

表示制御部１４５は、部位の回旋方向の動きを表示する。例えば、表示制御部１４５は、カラー画像情報記憶部１３３に記憶されたカラー画像情報と、設定部１４２によって設定された検出空間６ａと、検出部１４３によって検出された領域７ａと、算出部１４４によって算出された重心８ａと、算出部１４４によって算出された長軸８ｂとのうち、少なくとも一つを出力部１１０に表示する。

図９は、第１の実施形態に係る表示制御部１４５の処理を説明するための図である。図９には、表示制御部１４５によって表示される表示画面９ａの一例を示す。この表示画面９ａは、表示画像９ｂと、グラフ９ｃと、グラフ９ｄとを含む。このうち、表示画像９ｂは、取得部１４１によって取得されたカラー画像情報に、検出空間６ａ、領域７ａ、重心８ａ及び長軸８ｂを重畳表示させたものである。また、グラフ９ｃは、縦軸を回旋角度とし、横軸を時間変化として示したものである。また、グラフ９ｄは、今回行っているリハビリにおける最大回旋角度を示し、点９ｅは、回外における最大回旋角度（回内における最小回旋角度）を示し、点９ｆは、回外における最小回旋角度（回内における最大回旋角度）を示し、バー９ｇは、現在の回旋角度を示す。

図９に示すように、表示制御部１４５は、カラー画像情報記憶部１３３に記憶されたカラー画像情報に、設定部１４２によって設定された検出空間６ａと、検出部１４３によって検出された領域７ａと、算出部１４４によって算出された重心８ａ及び長軸８ｂとを重畳させ、表示画像９ｂを生成する。そして、表示制御部１４５は、生成した表示画像９ｂを出力部１１０に表示させる。なお、説明の便宜上、図９は単色で表示しているが、ここで重畳表示される対象は、それぞれ異なる色で表示することが好ましい。例えば、検出空間６ａを青色の枠線、領域７ａを白色の塗り潰し、重心８ａを水色の点、長軸８ｂを紫色の直線でそれぞれ表示すると良い。また、例示の色に限らず、例えば、背景画像であるカラー画像に含まれない色を任意に選択して表示しても良い。また、これらは図示の例に限定されるものではなく、例えば、長軸８ｂは、図示の例よりも短い直線で示しても良いし、破線で示しても良い。さらに、長軸８ｂ上は、線に限定されるものではなく、例えば、長軸８ｂ上に位置する点が表示されても良い。例えば、長軸８ｂ上に位置する一点のみを表示し、この点と重心との位置関係を用いて回旋方向の運動を評価しても良い。

また、表示制御部１４５は、角度情報記憶部１３４からフレームごとの回旋角度を取得する。そして、表示制御部１４５は、所定数のフレームごとに、回旋角度の平均値を算出し、グラフ９ｃにプロットする。表示制御部１４５は、プロットするごとにグラフ９ｃを更新する。なお、説明の便宜上、図９は単色で表示しているが、プロットされた結果（図の波形）は、例えば、水色の曲線で表示することが好ましい。また、例示の色に限らず、例えば、目盛線とは異なる色を任意に選択して表示しても良い。また、プロットされるのは必ずしも平均値でなくても良く、例えば、数フレームごとの回旋角度をプロットしても良い。これにより、プロットされたグラフが連続的に表示されることを趣旨とする。

また、表示制御部１４５は、最大回旋角度を示す点９ｅ及び点９ｆを表示する。具体的には、表示制御部１４５は、角度情報記憶部１３４からフレームごとの回旋角度を取得する。そして、表示制御部１４５は、所定数のフレームごとに、回旋角度の平均値を算出し、これを記憶する。そして、表示制御部１４５は、既に算出済みの回旋角度の平均値のうち最大値を、回外における最大回旋角度とし、点９ｅとしてプロットする。また、表示制御部１４５は、既に算出済みの回旋角度の平均値のうち最小値を、回外における最小回旋角度（回内における最大回旋角度）とし、点９ｆとしてプロットする。そして、表示制御部１４５は、最大回旋角度を示す点９ｅ及び点９ｆ、更にその比較対象として現在の値を示すバー９ｇを含むグラフ９ｄを更新表示する。なお、説明の便宜上、図９は単色で表示しているが、点９ｅ、点９ｆ及びバー９ｇは、それぞれ異なる色で表示することが好ましい。例えば、点９ｅ及び点９ｆを黄色、バー９ｇを青色でそれぞれ表示すると良い。また、例示の色に限らず、例えば、目盛線とは異なる色を任意に選択して表示しても良い。

また、表示制御部１４５は、最大回旋角度を示す点９ｅ及び点９ｆを、極大値及び極小値を求めることによって表示しても良い。例えば、表示制御部１４５は、回旋角度の極大値及び極小値を算出する。具体例を挙げると、表示制御部１４５は、グラフ９ｃの値の微分値を算出する。そして、表示制御部１４５は、算出した微分値が正から負へ変化した点の値を極大値、その微分値が負から正へ変化した点の値を極小値としてそれぞれ求める。そして、表示制御部１４５は、求めた極大値を回外における最大回旋角度とし、点９ｅとしてプロットする。ここで、既に最大回旋角度として点９ｅがプロットされている場合には、表示制御部１４５は、求めた極大値と点９ｅの値とを比較し、求めた極大値の方が大きい場合に、その極大値を新たな最大回旋角度として点９ｅの位置を更新する。また、表示制御部１４５は、求めた極小値を回内における最大回旋角度とし、点９ｆとしてプロットする。ここで、既に最大回旋角度として点９ｆがプロットされている場合には、表示制御部１４５は、求めた極小値と点９ｆの値とを比較し、求めた極小値の方が小さい場合に、その極小値を新たな最大回旋角度として点９ｆの位置を更新する。そして、表示制御部１４５は、最大回旋角度を示す点９ｅ及び点９ｆ、更にその比較対象として現在の値を示すバー９ｇを含むグラフ９ｄを表示する。

なお、図示しないが、表示制御部１４５は、上記以外の表示形態によって表示画面９ａを表示しても良い。例えば、表示制御部１４５は、所定値以上の回旋角度のみをグラフ９ｃに表示しても良い。また、例えば、表示制御部１４５は、回旋角度の変化速度、その変化速度の微分値等を算出し、算出したそれぞれの値が正負反転した時点の前後数秒の値のみをプロットすることとしても良い。このように、表示制御部１４５は、プロットする値を限定することにより、リハビリで着目すべきポイントを絞ってグラフ９ｃを作成・表示することができる。更に、リハビリで着目すべきポイントを強調表示しても良い。

次に、図１０から図１３を用いて、第１の実施形態に係る医用情報処理装置１００の処理手順について説明する。図１０は、第１の実施形態に係る算出処理の処理手順の一例を説明するためのフローチャートである。

図１０に示すように、取得部１４１は、動作情報及び深度画像情報をフレームごとに取得する（ステップＳ１０１）。続いて、設定部１４２は、検出空間を設定済みか判定する（ステップＳ１０２）。ここで、検出空間を設定済みである場合には（ステップＳ１０２肯定）、設定部１４２は、処理を行わず、ステップＳ１０５の処理に移行する。

検出空間を設定済みでない場合には（ステップＳ１０２否定）、設定部１４２は、取得部１４１によって取得された動作情報から、処理対象となる関節の座標を抽出する（ステップＳ１０３）。そして、設定部１４２は、抽出した関節の座標を含む検出空間を設定する（ステップＳ１０４）。

続いて、検出部１４３は、設定部１４２によって設定された検出空間を用いて深度画像情報を２値化することで、処理対象となる部位を検出する（ステップＳ１０５）。

続いて、算出部１４４は、検出部１４３によって検出された部位の重心及び長軸の角度を算出する（ステップＳ１０６）。そして、算出部１４４は、算出した角度を角度情報記憶部１３４に格納し（ステップＳ１０７）、処理を終了する。

このように、医用情報処理装置１００は、動作情報収集部１０及び医用情報処理装置１００に電源が投入され、動作情報収集部１０から医用情報処理装置１００に動作情報及び深度画像情報が出力されるごとに、当該動作情報及び深度画像情報を取得する。そして、医用情報処理装置１００は、取得した動作情報及び深度画像情報を用いて、上記のステップＳ１０１からステップＳ１０７までの処理を繰り返し実行することにより、処理対象となる部位の重心及び長軸の角度を略リアルタイムで算出する。

図１１は、第１の実施形態に係る表示画像を表示する処理の処理手順の一例を説明するためのフローチャートである。

図１１に示すように、表示制御部１４５は、カラー画像情報記憶部１３３に記憶されたカラー画像、設定部１４２によって設定された検出空間６ａ、検出部１４３によって検出された領域７ａ、算出部１４４によって算出された重心８ａ及び長軸８ｂをそれぞれ示す情報を取得する（ステップＳ２０１）。そして、表示制御部１４５は、カラー画像、検出空間６ａ、領域７ａ、重心８ａ及び長軸８ｂを重畳させ、表示画像９ｂを生成する（ステップＳ２０２）。そして、表示制御部１４５は、生成した表示画像９ｂを出力部１１０に表示させ（ステップＳ２０３）、処理を終了する。

このように、表示制御部１４５は、動作情報収集部１０及び医用情報処理装置１００に電源が投入され、カラー画像情報記憶部１３３にカラー画像情報が格納されるごとに、上記のステップＳ２０１からステップＳ２０３までの処理を繰り返し実行する。これにより、表示制御部１４５は、例えば、図９に例示の表示画像９ｂを略リアルタイムで動画表示する。具体的には、表示制御部１４５は、リハビリを行う対象者が左腕の回旋運動を行う場合に、対象者がリハビリを行う様子を対象者自身に閲覧させるカラー画像を表示するとともに、左手を検出する検出空間６ａと、検出された左手の領域７ａとを表示する。更に、表示制御部１４５は、左腕の回旋運動に伴って回旋する左手の回旋方向の動きを長軸８ｂの向きによって表示する。

図１２は、第１の実施形態に係るグラフを表示する処理の処理手順の一例を説明するためのフローチャートである。

図１２に示すように、表示制御部１４５は、角度情報記憶部１３４からフレームごとの回旋角度を取得する（ステップＳ３０１）。続いて、表示制御部１４５は、所定数のフレームごとに、角度の平均値を算出する（ステップＳ３０２）。そして、表示制御部１４５は、所定数フレームごとの平均値をグラフにプロットする（ステップＳ３０３）。そして、表示制御部１４５は、プロットしたグラフを時間方向にずらしながら更新表示する（ステップＳ３０４）。

このように、表示制御部１４５は、角度情報記憶部１３４にフレームごとの回旋角度が格納されるごとに、当該回線角度を取得し、上記のステップＳ３０１からステップＳ３０４までの処理を繰り返し実行する。これにより、表示制御部１４５は、例えば、図９に例示のグラフ９ｃを略リアルタイムで表示する。

なお、表示制御部１４５によって表示されるのは、上記の例に限定されるものではない。例えば、表示制御部１４５は、評価対象となる回旋角度の０度の位置を示す線を基本軸として表示画像９ｂに表示しても良い。具体的には、表示制御部１４５は、左手の回旋運動について、左手の親指を上に向けた位置（鉛直方向）が基本軸（基本肢位）として設定される場合には、表示画像９ｂに重心８ａを通る鉛直方向の線を表示しても良い。更に、表示制御部１４５は、例えば、基本軸に長軸８ｂが一致した場合には、その旨を文字情報として表示したり、基本軸を強調表示したりしても良い。更に、表示制御部１４５は、評価対象の基本軸の位置変化に関する量を検出し、検出した位置変化に関する量の情報を表示しても良い。具体的には、表示制御部１４５は、基本軸が単位時間あたりにブレる量を検出し、これを表示しても良い。

また、表示制御部１４５は、例えば、運動ごとに注意すべき事項（注意事項）が設定されている場合には、この注意事項を表示しても良い。具体的には、回旋運動では、注意事項として「肩の回旋が入らないように肘を９０度に屈曲する。０度の位置は前腕の中間位。回外は手掌が天井を向いた状態。回内は手掌が床面を向いた状態。」という情報が設定されている場合がある。この場合、表示制御部１４５は、例えば、設定されている注意事項を取得し、表示画像９ｂに表示しても良い。更に、表示制御部１４５は、運動ごとに正常可動範囲が設定されている場合には、この正常可動範囲を表示しても良い。例えば、正常可動範囲が０〜９０度とされている場合には、表示制御部１４５は、０度と９０度とをそれぞれ示す線を表示したり、これらの線の動きを表す領域を他の領域とは異なる色で表示したりしても良い。更に、表示制御部１４５は、対象者の回旋運動が正常可動範囲を満たしていない場合には、異常を示す警告や、対象者を支援するための支援情報を文字情報として表示したり、音で出力したりしても良い。

図１３は、第１の実施形態に係る最大回旋角度を表示する処理の処理手順の一例を説明するためのフローチャートである。

図１３に示すように、表示制御部１４５は、角度情報記憶部１３４からフレームごとの回旋角度を取得する（ステップＳ４０１）。続いて、表示制御部１４５は、所定数のフレームごとに、角度の平均値を算出する（ステップＳ４０２）。そして、表示制御部１４５は、所定数フレームごとに算出した回旋角度の平均値のうち最大値を、回外における最大回旋角度とし、点９ｅとしてプロットする（ステップＳ４０３）。そして、表示制御部１４５は、所定数フレームごとに算出した回旋角度の平均値のうち最小値を、回外における最小回旋角度とし、点９ｆとしてプロットする（ステップＳ４０４）。そして、表示制御部１４５は、最大回旋角度を示す点９ｅ及び点９ｆ、更にその比較対象として現在の値を示すバー９ｇを含むグラフ９ｄを更新表示する（ステップＳ４０５）。

このように、表示制御部１４５は、角度情報記憶部１３４にフレームごとの回旋角度が格納されるごとに、当該回線角度を取得し、上記のステップＳ４０１からステップＳ４０５までの処理を繰り返し実行する。これにより、表示制御部１４５は、例えば、図９に例示のグラフ９ｄを略リアルタイムで表示する。

なお、上述した処理手順は必ずしも上記の順序で実行されなくても良い。例えば、回外における最大回旋角度をプロットする処理であるステップＳ４０３の処理は、回外における最小回旋角度をプロットする処理であるステップＳ４０４の処理が実行された後に実行されても良い。

上述してきたように、第１の実施形態に係る医用情報処理装置１００は、リハビリテーションが行われる空間内に存在する被写体の座標情報と深度情報とを含む深度画像情報を取得する。そして、医用情報処理装置１００は、前記深度情報に基づいて、前記深度画像情報から、前記被写体の部位を検出する。そして、医用情報処理装置１００は、深度画像情報から検出された部位の座標情報を用いて、該部位の回旋方向の動きを示す角度情報を算出する。このため、医用情報処理装置１００は、回旋方向の運動を評価することができる。例えば、医用情報処理装置１００は、前腕の回旋運動のように、上述した関節の座標のみでは評価できない回旋方向の運動を評価することができる。具体的には、医用情報処理装置１００は、関節の座標の変化として捉えることが困難な回旋方向の運動であっても、回旋軸と略同一の撮影方向で撮影した画像を解析することで、回旋方向の運動を評価することができる。

また、例えば、医用情報処理装置１００は、処理対象となる関節の位置を含む検出空間を設定する。このため、医用情報処理装置１００は、対象者がリハビリを行いやすい位置でリハビリを行っていても、リハビリの対象となる関節を自動的に認識し、関節の運動を評価することができる。

また、例えば、医用情報処理装置１００は、検出空間をカラー画像に重畳表示させる。このため、医用情報処理装置１００は、どの位置でリハビリを行えばリハビリを評価できるかを対象者に認識させることができる。

また、例えば、医用情報処理装置１００は、カラー画像上に重畳表示させた検出空間に対して対象者がリハビリを行う部位（例えば、左手）を差し出すと、この部位を検知し、検知した部位を背景画像と異なる色で表示する。このため、医用情報処理装置１００は、リハビリの評価対象として検出している部位を対象者に認識させることができる。

また、例えば、医用情報処理装置１００は、処理対象となる部位をカラー画像に重畳表示させる。このため、医用情報処理装置１００は、リハビリの評価対象として検出している部位を対象者に認識させることができる。

また、例えば、医用情報処理装置１００は、処理対象となる部位の重心及び長軸を、カラー画像に重畳表示させる。このため、医用情報処理装置１００は、表示画像を閲覧する者に対して、リハビリの評価を直感的に認識させることができる。

（第２の実施形態）
上述した第１の実施形態では、医用情報処理装置１００が処理対象となる関節の位置を検出し、これに基づいて検出空間を設定する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用情報処理装置１００は、検出空間を予め設定しておき、設定済みの検出空間に存在する部位を処理対象として検出しても良い。そこで、第２の実施形態では、医用情報処理装置１００が検出空間を予め設定しておく場合を説明する。

第２の実施形態に係る医用情報処理装置１００は、図５に示した医用情報処理装置１００と同様の構成を有し、検出部１４３における処理が一部相違する。そこで、第２の実施形態では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図５と同一の符号を付し、説明を省略する。なお、第２の実施形態に係る医用情報処理装置１００は、動作情報記憶部１３１を有していなくても良い。また、第２の実施形態に係る医用情報処理装置１００において、取得部１４１は、動作情報を取得しなくても良い。

例えば、検出部１４３は、取得部１４１によって取得された深度画像情報を、予め設定された検出空間を用いて２値化することで、処理対象となる部位を検出する。

図１４は、第２の実施形態に係る検出部１４３の処理を説明するための図である。図１４は、回旋運動を行う人物を横から見た図であり、図の左方向は、世界座標系のｚ軸方向、すなわち深度に対応する。また、図１４において、動作情報収集部１０から破線の位置までの空間が、処理対象を検出する検出空間として予め設定されているものとする。

図１４に示すように、検出部１４３は、取得部１４１によって取得された深度画像情報を、破線の位置を閾値として２値化する。図１４に示す例では、検出部１４３は、閾値以上の画素（動作情報収集部１０から見て破線より遠い位置にある画素）を黒、閾値未満の画素（動作情報収集部１０から見て破線より近い位置にある画素）を白として２値化する。このため、検出部１４３は、深度画像における人物の左手が存在する領域７ａを白で表すことで、処理対象である左手を検出する。なお、この検出空間は、第１の閾値＜ｚ＜第２の閾値で表される場合であっても良い。

次に、図１５を用いて、第２の実施形態に係る医用情報処理装置１００の処理手順について説明する。図１５は、第２の実施形態に係る算出処理の処理手順の一例を説明するためのフローチャートである。

図１５に示すように、取得部１４１は、深度画像情報をフレームごとに取得する（ステップＳ５０１）。続いて、設定部１４２は、深度画像情報に基づく検出空間を用いて深度画像情報を２値化することで、処理対象となる部位を検出する（ステップＳ５０２）。

続いて、算出部１４４は、検出部１４３によって検出された部位の重心及び長軸の角度を算出する（ステップＳ５０３）。そして、算出部１４４は、算出した角度を角度情報記憶部１３４に格納し（ステップＳ５０４）、処理を終了する。

上述してきたように、第２の実施形態に係る医用情報処理装置１００は、予め設定された検出空間のうち、被写体が存在する画素を白、被写体が存在しない画素を黒と２値化することで、処理対象を検出する。このため、医用情報処理装置１００は、少ない処理負荷で回旋方向の運動を評価することができる。

（その他の実施形態）
さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されて良いものである。

例えば、上述した第１及び第２の実施形態では、医用情報処理装置１００が前腕の回旋運動を評価する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用情報処理装置１００は、椅子に着座した姿勢から足を蹴り上げる動作も、回旋方向の運動として評価することができる。

また、例えば、上述した第１及び第２の実施形態では、算出部１４４によって算出された角度に基づいて画像を表示する処理を説明したが、この処理は必ずしも実行されなくても良い。具体的には、医用情報処理装置１００は、算出部１４４によって算出された角度を示す情報を角度情報記憶部１３４に蓄積しておき、後の解析で必要に応じて蓄積した角度を示す情報を読み出し、利用しても良い。

また、例えば、上述した第１の実施形態では、設定部１４２によって検出空間が設定された後に、検出部１４３によって部位を検出する場合を説明したが、これに限定されるものではない。例えば、医用情報処理装置１００は、第２の実施形態で説明したように検出部１４３によって部位を検出した後に、設定部１４２によって検出空間を設定しても良い。そして、医用情報処理装置１００は、検出された部位のうち、設定された検出空間に含まれる部位を用いて、当該部位の重心及び長軸の角度を算出しても良い。

また、例えば、上述した第１の実施形態では、領域７ａの長軸８ｂの角度を算出する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用情報処理装置１００は、領域７ａの短軸の角度を算出しても良い。

また、例えば、上述した第１の実施形態では、角度を追従させることで回旋角度を算出する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用情報処理装置１００は、親指の位置をフラグとし、親指の位置を追従することで回旋角度を算出しても良い。具体的には、医用情報処理装置１００は、親指を表す画像の特徴を領域７ａからパターンマッチング等によって検出し、親指の位置と重心の位置との位置関係を追従することで回旋角度を算出しても良い。

また、例えば、上述した第１及び第２の実施形態では、動作情報収集部１０によって収集した動作情報を、医用情報処理装置１００によって解析することで、対象者を支援する場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行されても良い。

また、例えば、医用情報処理装置１００は、回旋方向の運動において人物が異常を感じた位置を検知し、これを記録しても良い。この場合、例えば、医用情報処理装置１００において、制御部１４０は、更に、回旋方向の運動において人物が異常を感じた位置（角度）を検知する検知部を有する。なお、人物が感じる異常とは、例えば、痛み、痒み、違和感などがある。以下では一例として、人物が痛みを感じた位置を検知する場合を説明する。

例えば、検知部は、「痛い」という言葉を検知する。具体的には、検知部は、動作情報収集部１０から音声認識結果をフレームごとに取得する。そして、検知部は、回旋方向の運動を行っている人物が「痛い」という言葉を発した旨を示す音声認識結果を取得した場合には、当該時刻に対応するフレームにおいて算出された角度情報を、当該人物が痛みを感じた位置として検知する。例えば、検知部は、当該時刻に対応するフレームにおいて算出された角度情報に対応付けて、当該人物が「痛い」と発した旨を示す情報を角度情報記憶部１３４に格納する。

また、例えば、検知部は、人物が痛いと感じた際の表情を検知する。具体的には、検知部は、人物が眉をしかめた際の画像の特徴や目を瞑った際の画像の特徴を用いて、カラー画像情報のパターンマッチングを行う。そして、検知部は、パターンマッチングによって当該特徴を検知した場合には、当該時刻に対応するフレームにおいて算出された角度情報を、当該人物が痛みを感じた位置として検知する。例えば、検知部は、当該時刻に対応するフレームにおいて算出された角度情報に対応付けて、当該人物が痛いと感じた際の表示が検知された旨を示す情報を角度情報記憶部１３４に格納する。

このように、検知部は、回旋方向の運動において人物が痛みを感じた位置（角度）を検知する。なお、検知部は、検知した位置を用いて、回旋方向の運動における最大可動範囲の指標として記録しても良い。

図１６は、サービス提供装置に適用される場合の一例を説明するための図である。図１６に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０がそれぞれ接続される。また、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。また、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。

例えば、サービス提供装置２００は、図５において説明した医用情報処理装置１００と同様の機能を有し、当該機能によって端末装置３００にサービスとして提供する。すなわち、サービス提供装置２００は、取得部１４１と、検出部１４３と、算出部１４４とそれぞれ同様の機能部を有する。そして、取得部１４１と同様の機能部は、リハビリテーションが行われる空間の深度情報を取得する。そして検出部１４３と同様の機能部は、取得部１４１と同様の機能部によって取得された深度情報を用いて、該深度情報に基づく検出空間に含まれる部位を検出する。そして、算出部１４４と同様の機能部は、検出部１４３と同様の機能部によって検出された部位の回旋方向の動きを算出する。このようなことから、サービス提供装置２００は、回旋方向の運動を評価することができる。

例えば、サービス提供装置２００は、端末装置３００から処理の対象となる深度画像情報（例えば、一定期間の回旋方向の運動を撮影したもの）のアップロードを受け付ける。そして、サービス提供装置２００は、上記の処理を行って回旋方向の運動を解析する。そして、サービス提供装置２００は、解析結果を端末装置３００にダウンロードさせる。

また、上述した第１及び第２の実施形態における医用情報処理装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、設定部１４２、検出部１４３及び算出部１４４を統合することが可能である。

また、第１及び第２の実施形態において説明した取得部１４１、検出部１４３及び算出部１４４の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４１、検出部１４３及び算出部１４４の機能は、上記の実施形態において取得部１４１、検出部１４３及び算出部１４４が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

以上説明した少なくともひとつの実施形態によれば、本実施形態の医用情報処理装置及びプログラムは、回旋方向の運動を評価することができる。

１０ 動作情報収集部
１００ 医用情報処理装置
１４０ 制御部
１４１ 取得部
１４３ 検出部
１４４ 算出部

Claims (10)

1. 撮影方向と略同一となる回旋軸で回旋運動を行う被写体の３次元の空間内における座標情報と深度情報とを含む深度画像情報を取得する取得部と、
   前記深度情報に基づいて、前記深度画像情報から、前記被写体の回旋運動により回旋される部位が占める領域を検出する検出部と、
   前記深度画像情報から検出された前記領域の座標情報を用いて、該領域の長軸を検出し、検出した長軸の角度を回旋方向の動きを示す角度情報として算出する算出部と
   を備えたことを特徴とする医用情報処理装置。
2. 前記検出部は、前記深度画像情報を前記深度情報に基づいて多値化することにより、該深度画像情報から前記空間の部分空間に対応する深度画像情報を抽出することで、前記被写体の部位が占める領域を検出することを特徴とする請求項１に記載の医用情報処理装置。
3. 前記空間内で、前記部位に対応する関節の位置を検出し、検出した位置によって定まる範囲を、前記部分空間として設定する設定部を更に備え、
   前記取得部は、更に、各関節の位置によって表す骨格情報を取得し、
   前記設定部は、前記骨格情報に基づいて前記部位に対応する関節の座標を抽出し、抽出した座標によって定まる範囲を、前記部分空間として設定することを特徴とする請求項２に記載の医用情報処理装置。
4. 前記角度情報を表示部に表示する表示制御部を更に備え、
   前記表示制御部は、前記角度情報に対応する傾きを示す情報が前記部位上に重畳された画像、及び、前記角度情報に関する値を示すグラフのうち、少なくともいずれか一方を表示することを特徴とする請求項１〜３のいずれかひとつに記載の医用情報処理装置。
5. 前記表示制御部は、更に、前記画像に前記空間の部分空間を表示することを特徴とする請求項４に記載の医用情報処理装置。
6. 前記表示制御部は、前記角度情報の値の時間変化を示すグラフを表示することを特徴とする請求項４に記載の医用情報処理装置。
7. 前記表示制御部は、前記角度情報の最大値若しくは最小値のうち、少なくともいずれか一方をプロットしたグラフを表示することを特徴とする請求項４に記載の医用情報処理装置。
8. 前記表示制御部は、評価対象の基本軸の位置変化に関する量を検出し、検出した位置変化に関する量の情報を表示することを特徴とする請求項４に記載の医用情報処理装置。
9. 前記回旋方向の動きにおいて人物が異常を感じた位置を検知する検知部を更に備えることを特徴とする請求項１〜８のいずれかひとつに記載の医用情報処理装置。
10. 撮影方向と略同一となる回旋軸で回旋運動を行う被写体の３次元の空間内における座標情報と深度情報とを含む深度画像情報を取得する取得手順と、
    前記深度情報に基づいて、前記深度画像情報から、前記被写体の回旋運動により回旋される部位が占める領域を検出する検出手順と、
    前記深度画像情報から検出された前記領域の座標情報を用いて、該領域の長軸を検出し、検出した長軸の角度を回旋方向の動きを示す角度情報として算出する算出手順と
    をコンピュータに実行させることを特徴とする医用情報処理プログラム。