JP2008167867A - ダンスロボット、ダンスロボットの制御方法及び制御プログラム - Google Patents

Abstract

【課題】ロボットの肢と自己の肢の対応関係を分り易くして、効率的にダンスを習得することができるようにする。
【解決手段】カメラ１４により生成された画像データを解析して、ダンスロボットの対面側の所定領域内にユーザが存在しているか否かを判別する存在判別処理部１５を設け、肢制御部１６が存在判別処理部１５によりユーザが存在していないと判別された場合、通常練習用振付データにしたがってダンスロボットの上肢を制御し、存在判別処理部１５によりユーザが存在していると判別された場合、対面練習用振付データにしたがってダンスロボットの上肢を制御する。
【選択図】図１

Description

この発明は、ダンスの振り付けを再現して、ユーザのダンスの練習を支援するダンスロボットと、ダンスロボットの制御方法及び制御プログラムとに関するものである。

ダンスの振り付けを再現して、ユーザのダンスの練習を支援するダンスロボットは開発されていないが、ダンスロボットに相当する運動トレーニング装置として、以下の運動トレーニング装置が開発されている（例えば、特許文献１を参照）。
即ち、運動トレーニング装置は、予め、インストラクターによる見本の運動を撮影して、見本の運動の映像を記憶し、ユーザが運動を行うとき、インストラクターによる見本の運動の映像をモニタに表示する。
また、運動トレーニング装置は、ユーザの運動を撮影し、ユーザの運動の映像をインストラクターによる見本の運動の映像と同時にモニタに表示する。

特表２００１−５１６２３３号公報（図３）

従来の運動トレーニング装置は以上のように構成されているので、ユーザが自己の運動とインストラクターによる見本の運動を見比べながら運動を行うことができる。しかし、モニタに表示されるインストラクターが顔を向けている場合でも、背を向けている場合でも、同じ運動を表示するものである。このため、インストラクターが背を向けていれば、ユーザはインストラクターと同じ側の手や足を動かせばよいが、インストラクターが顔を向けている場合、モニタ上では、鏡に映っているように、インストラクターの四肢の動きが左右逆にならないため、ユーザは自己の四肢とインストラクターの四肢の対応関係が分り難く（例えば、インストラクターが右腕を上げているとき、左を上げてしまうことがある）、効率的に運動を習得することができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、ロボットの肢と自己の肢の対応関係を分り易くして、効率的にダンスを習得することができるダンスロボット、ダンスロボットの制御方法及び制御プログラムを得ることを目的とする。

請求項１記載の発明に係るダンスロボットは、ダンスの見本の振り付けを再現する振付データを記憶している振付データ記憶手段と、前方の所定領域を撮影する撮影手段と、上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別手段と、上記存在判別手段によりユーザが存在していないと判別された場合、上記振付データ記憶手段に記憶されている振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている振付データから見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データを生成し、上記振付データにしたがって肢を制御する肢制御手段とを備えるようにしたものである。

請求項１記載の発明によれば、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果が得られる。

請求項２記載の発明に係るダンスロボットは、ダンスの見本の振り付けを再現する第１の振付データを記憶しているとともに、見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する第２の振付データを記憶している振付データ記憶手段と、前方の所定領域を撮影する撮影手段と、上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別手段と、上記存在判別手段によりユーザが存在していないと判別された場合、上記振付データ記憶手段に記憶されている第１の振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている第２の振付データにしたがって肢を制御する肢制御手段とを備えるようにしたものである。

請求項２記載の発明によれば、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果が得られる。

請求項３記載の発明に係るダンスロボットは、撮影手段により撮影された映像を解析して、ユーザのダンスの習熟度を判定する習熟度判定手段を設けるようにしたものである。

請求項３記載の発明によれば、ユーザのダンスの習熟度に応じた振り付けを行うことができる効果が得られる。

請求項４記載の発明に係るダンスロボットは、撮影手段により撮影された映像を解析して、ユーザのダンス動作を特定し、ユーザのダンス動作と基準のダンス動作を比較して、ユーザのダンスの習熟度を判定するようにしたものである。

請求項４記載の発明によれば、構成の複雑化を招くことなく、ユーザのダンスの習熟度を判定することができる効果が得られる。

請求項５記載の発明に係るダンスロボットは、習熟度判定手段により判定された習熟度に応じた振り付け速度で肢を制御するようにしたものである。

請求項５記載の発明によれば、ユーザの習熟度に見合う振り付け速度でダンスを練習することができるようになり、その結果、ユーザが無理なくダンスを練習することができるため、ダンスの上達を早めることができる効果が得られる。

請求項６記載の発明に係るダンスロボットは、肢制御手段による肢の振り付けと同期を取りながらダンスの音楽を再生する音楽再生手段を設けるようにしたものである。

請求項６記載の発明によれば、肢の振り付けと音楽の再生がずれることによる違和感の発生を防止することができる効果が得られる。

請求項７記載の発明に係るダンスロボットは、習熟度判定手段により判定された習熟度に応じた速度でダンスの音楽を再生する音楽再生手段を設けるようにしたものである。

請求項７記載の発明によれば、ユーザの習熟度に見合う速度でダンスの音楽を再生することができるようになり、その結果、ユーザが無理なくダンスを練習することができるため、ダンスの上達を早めることができる効果が得られる。

請求項８記載の発明に係るダンスロボットは、四肢の中から、制御する対象の肢の指定を受け付け、指定の肢だけを制御するようにしたものである。

請求項８記載の発明によれば、ユーザが効率的にダンスの練習を行うことができる効果が得られる。

請求項９記載の発明に係るダンスロボットの制御方法は、撮影手段が前方の所定領域を撮影する撮影ステップと、存在判別手段が上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別ステップと、肢制御手段が上記存在判別手段によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データから見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データを生成し、上記振付データにしたがって肢を制御する肢制御ステップとを備えるようにしたものである。

請求項９記載の発明によれば、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果が得られる。

請求項１０記載の発明に係るダンスロボットの制御方法は、撮影手段が前方の所定領域を撮影する撮影ステップと、存在判別手段が上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別ステップと、肢制御手段が上記存在判別手段によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する第１の振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する第２の振付データにしたがって肢を制御する肢制御ステップとを備えるようにしたものである。

請求項１０記載の発明によれば、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果が得られる。

請求項１１記載の発明に係るダンスロボットの制御プログラムは、前方の所定領域を撮影する撮影処理手順と、上記撮影処理手順により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別処理手順と、上記存在判別処理手順によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する振付データにしたがって肢を制御し、上記存在判別処理手順によりユーザが存在していると判別された場合、上記振付データから見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データを生成し、上記振付データにしたがって肢を制御する肢制御処理手順とを備えるようにしたものである。

請求項１１記載の発明によれば、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果が得られる。

請求項１２記載の発明に係るダンスロボットの制御プログラムは、前方の所定領域を撮影する撮影処理手順と、上記撮影処理手順により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別処理手順と、上記存在判別処理手順によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する第１の振付データにしたがって肢を制御し、上記存在判別処理手順によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する第２の振付データにしたがって肢を制御する肢制御処理手順とを備えるようにしたものである。

請求項１２記載の発明によれば、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果が得られる。

この発明によれば、撮影手段により撮影された前方の所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別手段を設け、肢制御手段が存在判別手段によりユーザが存在していないと判別された場合、ダンスの見本の振り付けを再現する振付データにしたがって肢を制御し、存在判別手段によりユーザが存在していると判別された場合、見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データにしたがって肢を制御するように構成したので、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるダンスロボットの内部を示す構成図であり、図２はこの発明の実施の形態１によるダンスロボットを示す正面図である。また、図３はこの発明の実施の形態１によるダンスロボットを示す側面図である。図２及び図３では、上肢（左上腕部１Ｌ、右上腕部１Ｒ、左下腕部２Ｌ、右下腕部２Ｒ）を動かしてダンスを行うダンスロボットの例を示している。
図１〜３において、ダンスロボットの左上腕部１Ｌは一端が可動自在に左肩関節部３Ｌに取り付けられており、左下腕部２Ｌは一端が可動自在に左肘関節部４Ｌに取り付けられている。
左肩関節部３Ｌは肢制御部１６の指示の下、例えば、左上腕部１Ｌを矢印Ａ方向に回転させるアクチュエータや、左上腕部１Ｌを矢印Ｂ方向にスイングさせるアクチュエータなどからなる機械要素である。
左肘関節部４Ｌは肢制御部１６の指示の下、例えば、左下腕部２Ｌを矢印Ｃ方向に回転させるアクチュエータなどからなる機械要素である。

ダンスロボットの右上腕部１Ｒは一端が可動自在に右肩関節部３Ｒに取り付けられており、右下腕部２Ｒは一端が可動自在に右肘関節部４Ｒに取り付けられている。
右肩関節部３Ｒは肢制御部１６の指示の下、例えば、右上腕部１Ｒを矢印Ａ方向に回転させるアクチュエータや、右上腕部１Ｒを矢印Ｂ方向にスイングさせるアクチュエータなどからなる機械要素である。
右肘関節部４Ｒは肢制御部１６の指示の下、例えば、右下腕部２Ｒを矢印Ｃ方向に回転させるアクチュエータなどからなる機械要素である。

通常練習用振付データ記憶部１１は通常練習用のダンスの振り付け（ダンスの見本の振り付け）を再現する通常練習用振付データ（第１の振付データ）を記憶しているメモリである。通常練習用振付データはダンスロボットがユーザに背を向けてダンスを行う際、左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御する時系列の制御データである。
なお、通常練習用振付データ記憶部１１は振付データ記憶手段を構成している。

音楽データ記憶部１３はダンス動作時の音楽を再現する音楽データを記憶しているメモリである。
カメラ１４はロボットがダンスの生徒であるユーザと対面しているか否かを判断するものであり、カメラ１４のレンズ部分１４ａが例えばダンスロボットの胸部に埋め込まれており、ダンスロボットの対面側（ダンスロボットの前方）の所定領域を撮影して、所定領域の映像を示す画像データを生成する処理を実施する。なお、カメラ１４は撮影手段を構成している。
ここでは、レンズ部分１４ａがダンスロボットの胸部に埋め込まれている例を示しているが、これに限るものではなく、例えば、レンズ部分１４ａがダンスロボットの台座に設置されていてもよい。
また、カメラ１４の搭載台数は１台に限るものではなく、複数台搭載するようにしてもよい。カメラ１４を複数台搭載する場合、例えば、カメラ１４のレンズ部分１４ａをダンスロボットの胸部に埋め込むほか、ダンスロボットの背中などに埋め込むようにする。カメラ１４のレンズ部分１４ａをダンスロボットの胸部と背中など、複数個所に埋め込めば、ダンスロボットがいかなる方向を向いていても、後述する実施の形態２における習熟度判定部２１の習熟度判定が可能になる。
存在判別処理部１５は例えばＣＰＵなどを実装している半導体集積回路から構成されており、カメラ１４により生成された画像データを解析して、所定領域内にユーザが存在しているか否かを判別する処理を実施する。なお、存在判別処理部１５は存在判別手段を構成している。

肢制御部１６は例えばＣＰＵなどを実装している半導体集積回路から構成されており、タイミング発生部１８から出力されるタイミング信号に同期して上肢の制御を行う。
即ち、肢制御部１６は存在判別処理部１５によりユーザが所定領域に存在していないと判別された場合、通常練習用振付データ記憶部１１に記憶されている通常練習用振付データにしたがって左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御することにより、左上腕部１Ｌ、右上腕部１Ｒ、左下腕部２Ｌ及び右下腕部２Ｒを制御し、存在判別処理部１５によりユーザが所定領域に存在していると判別された場合、通常練習用振付データ記憶部１１に記憶されている通常練習用振付データから見本の振り付けと上肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する対面練習用振付データを生成し、その対面練習用振付データにしたがって左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御することにより、左上腕部１Ｌ、右上腕部１Ｒ、左下腕部２Ｌ及び右下腕部２Ｒを制御する。なお、肢制御部１６は肢制御手段を構成している。

音楽再生部１７はスピーカ１７ａが例えばダンスロボットの口に埋め込まれており、タイミング発生部１８から出力されるタイミング信号に同期して音楽の再生を行う。
即ち、音楽再生部１７は肢制御部１６が上腕を制御する際、音楽データ記憶部１３に記憶されている音楽データにしたがってダンス動作時の音楽を再現する処理を実施する。
タイミング発生部１８は肢制御部１６と音楽再生部１７の同期を確立するために、タイミング信号（例えば、所定周波数のパルス信号や、開始トリガ信号など）を肢制御部１６及び音楽再生部１７に出力する。

図４はこの発明の実施の形態１によるダンスロボットの存在判別処理部１５を示す構成図であり、図において、画像データ入力部５１はカメラ１４により生成された画像データを入力する処理を実施する。
輪郭抽出部５２は画像データ入力部５１により入力された画像データを解析して、その画像データ内に存在している物体の輪郭を抽出する処理を実施する。
特徴量抽出部５３は輪郭抽出部５２により抽出された輪郭の特徴を解析して、その物体の特徴量を抽出する処理を実施する。

特徴量記憶部５４は予め人間の特徴量（例えば、人間の平均的な体型の特徴量）を記憶しているメモリである。
存在判定部５５は特徴量抽出部５３により抽出された物体の特徴量と特徴量記憶部５４に記憶されている人間の特徴量を比較し、その物体の特徴量と人間の特徴量との差分が、所定の閾値より小さければ、その物体が人間であると認識して、所定領域内にユーザが存在していると判別する一方、その物体の特徴量と人間の特徴量との差分が、所定の閾値より大きければ、その物体は人間でないと認識して、所定領域内にユーザが存在していないと判別する処理を実施する。

図１の例では、ダンスロボットの構成要素であるカメラ１４、存在判別処理部１５、肢制御部１６、音楽再生部１７及びタイミング発生部１８がそれぞれ専用のハードウェアで構成されていることを想定しているが、予め、カメラ１４、存在判別処理部１５、肢制御部１６、音楽再生部１７及びタイミング発生部１８の処理内容（撮影処理手順、存在判別処理手順、腕制御処理手順、音楽再生処理手順）を記述している制御プログラムをメモリに格納し、カメラ１４、存在判別処理部１５、肢制御部１６、音楽再生部１７及びタイミング発生部１８の代わりに、コンピュータのＣＰＵが当該メモリに格納されている制御プログラムを実行するようにしてもよい。
また、図１の例では、ダンスロボットの構成要素である通常練習用振付データ記憶部１１、音楽データ記憶部１３、カメラ１４、存在判別処理部１５、肢制御部１６、音楽再生部１７及びタイミング発生部１８が図２のダンスロボットの内部に実装されているものを想定しているが、図１のダンスロボットの構成要素の設置場所は図２のダンスロボットの内部に限るものではなく、例えば、図２のダンスロボットの外部に設置されていてもよい。
図５はこの発明の実施の形態１によるダンスロボットのカメラ１４及び存在判別処理部１５の処理内容を示すフローチャートである。

次に動作について説明する。
この実施の形態１のダンスロボットは、ダンスの生徒であるユーザに背を向けてダンスを行う通常練習の場合、ユーザがダンスロボットの上肢に合わせてダンスするため、ダンスの見本となる振り付けを行う。
一方、ユーザと対面しながらダンスを行う対面練習の場合、ダンスロボットとユーザが鏡の関係になるようにするため、即ち、ダンスロボットが例えば右手を上げれば、ユーザが左手を上げ、ダンスロボットが例えば左手を上げれば、ユーザが右手を上げれば良いようにするため、通常練習用のダンスの振り付けと上肢の振り付けが左右逆である対面練習用のダンスの振り付けを行う。
具体的には、以下の通りである。

まず、レンズ部分１４ａが例えばダンスロボットの胸部（または台座）に埋め込まれているカメラ１４は、ダンスロボットの対面側（ダンスロボットの前方）の所定領域を撮影して（ステップＳＴ１）、所定領域の映像を示す画像データを生成する（ステップＳＴ２）。
存在判別処理部１５は、カメラ１４が画像データを生成すると、その画像データを解析して、所定領域内にユーザが存在しているか否かを判別する。

具体的には、次のようにして、所定領域内にユーザが存在しているか否かを判別する。
存在判別処理部１５の画像データ入力部５１は、カメラ１４が画像データを生成すると、その画像データを入力して、その画像データを輪郭抽出部５２に出力する。
存在判別処理部１５の輪郭抽出部５２は、画像データ入力部５１から画像データを受けると、その画像データを解析して、その画像データ内に存在している物体の輪郭を抽出する（ステップＳＴ３）。
存在判別処理部１５の特徴量抽出部５３は、輪郭抽出部５２が物体の輪郭を抽出すると、その輪郭の特徴を解析して、その物体の特徴量を抽出する（ステップＳＴ４）。

存在判別処理部１５の存在判定部５５は、特徴量抽出部５３が物体の特徴量を抽出すると、その物体の特徴量と特徴量記憶部５４に記憶されている人間の特徴量（例えば、人間の平均的な体型の特徴量）を比較する（ステップＳＴ５）。
存在判別処理部１５の存在判定部５５は、その物体の特徴量と人間の特徴量との差分が、所定の閾値より小さければ（ステップＳＴ６）、その物体が人間であると認識して、所定領域内にユーザが存在していると判別する（ステップＳＴ７）。
一方、その物体の特徴量と人間の特徴量との差分が、所定の閾値より大きければ（ステップＳＴ６）、その物体は人間でないと認識して、所定領域内にユーザが存在していないと判別する（ステップＳＴ８）。

ここでは、存在判別処理部１５が物体の輪郭を抽出する処理や特徴量を抽出する処理などを実施して、所定領域内にユーザが存在しているか否かを判別するものについて示したが、例えば、公知の顔認識アルゴリズムを使用して、画像データ内に存在している物体が顔画像であるか否かを判別することにより、所定領域内にユーザが存在しているか否かを判別するようにしてもよい。
公知の顔認識アルゴリズムは、例えば、「電子情報通信学会論文誌Ｄ−ＩＩ ｖｏｌ．Ｊ８８−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３３９−１３４８ ２００５」などに開示されている。

肢制御部１６は、存在判別処理部１５からユーザが所定領域に存在していないとする判別結果を受けると、通常練習用振付データ記憶部１１から通常練習用振付データを読み取り、その通常練習用振付データにしたがって左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御することにより、左上腕部１Ｌ、右上腕部１Ｒ、左下腕部２Ｌ及び右下腕部２Ｒを制御する。
ここで、通常練習用振付データは、下記に示すように、ダンスロボットがユーザに背を向けてダンスを行う際、左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御する時系列の制御データである。

通常練習用振付データの一例
・ダンス開始してから３秒間
左肩関節部３Ｌを左スイング
左肘関節部４Ｌを左回転
↓
・３秒経過してから５秒間
右肩関節部３Ｒを左スイング
右肘関節部４Ｒを左回転
↓
・８秒経過してから３秒間
右肩関節部３Ｒを右スイング
右肘関節部４Ｒを右回転
↓
：
↓
・５５秒経過してから５秒間
左肩関節部３Ｌを右スイング
左肘関節部４Ｌを右回転

肢制御部１６は、存在判別処理部１５からユーザが所定領域に存在しているとする判別結果を受けると、通常練習用振付データ記憶部１１に記憶されている通常練習用振付データから通常練習用振付データを読み取り、その通常練習用振付データから対面練習用振付データを生成する。
対面練習用振付データの生成は、見本の振り付けと上肢の振り付けが左右逆になるように、通常練習用振付データに記述されている制御対象を左右逆にすることにより行う。
肢制御部１６は、対面練習用振付データを生成すると、その対面練習用振付データにしたがって左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御することにより、左上腕部１Ｌ、右上腕部１Ｒ、左下腕部２Ｌ及び右下腕部２Ｒを制御する。
ここで、対面練習用振付データは、下記に示すように、ダンスロボットがユーザと対面しながらダンスを行う際、左肩関節部３Ｌ、右肩関節部３Ｒ、左肘関節部４Ｌ及び右肘関節部４Ｒのアクチュエータを制御する時系列の制御データである。

対面練習用振付データの一例
・ダンス開始してから３秒間
右肩関節部３Ｒを右スイング
右肘関節部４Ｒを右回転
↓
・３秒経過してから５秒間
左肩関節部３Ｌを右スイング
左肘関節部４Ｌを右回転
↓
・８秒経過してから３秒間
左肩関節部３Ｌを左スイング
左肘関節部４Ｌを左回転
↓
：
↓
・５５秒経過してから５秒間
右肩関節部３Ｒを左スイング
右肘関節部４Ｒを左回転

音楽再生部１７は、肢制御部１６が上腕の制御を開始すると、音楽データ記憶部１３から音楽データを読み取り、その音楽データにしたがってダンス動作時の音楽を再現する。
これにより、ユーザは、ダンス音楽を聴きながら、ロボットの上肢に合わせてダンスの練習を行うことができる。
なお、タイミング発生部１８は、肢制御部１６と音楽再生部１７の同期を確立するために、タイミング信号（例えば、所定周波数のパルス信号や、開始トリガ信号）を肢制御部１６及び音楽再生部１７に出力している。これにより、肢制御部１６は当該タイミング信号に同期して上肢を制御し、音楽再生部１７は当該タイミング信号に同期して音楽を再生するので、上肢の振り付けと音楽の再生がずれることによる違和感の発生を防止することができる。

ここでは、タイミング発生部１８が肢制御部１６と音楽再生部１７の同期を確立するものについて示したが、タイミング発生部１８を実装せずに、例えば、肢制御部１６が使用する振付データに音楽データを含め、あるいは、音楽再生部１７が使用する音楽データに振付データを含めることにより、肢制御部１６が音楽再生部１７を同期制御、または、音楽再生部１７が肢制御部１６を同期制御するようにしてもよい。

以上で明らかなように、この実施の形態１によれば、カメラ１４により生成された画像データを解析して、ダンスロボットの対面側の所定領域内にユーザが存在しているか否かを判別する存在判別処理部１５を設け、肢制御部１６が存在判別処理部１５によりユーザが存在していないと判別された場合、通常練習用のダンスの振り付けを再現する通常練習用振付データにしたがってダンスロボットの上肢を制御し、存在判別処理部１５によりユーザが存在していると判別された場合、その通常練習用振付データから対面練習用のダンスの振り付けを再現する対面練習用振付データを生成し、その対面練習用振付データにしたがってダンスロボットの上肢を制御するように構成したので、ユーザが対面練習しているか否かに応じてダンスの振り付けを切り替えることができるようになり、その結果、ロボットの肢と自己の肢の対応関係が分り易くなるため、効率的にダンスを習得することができる効果を奏する。

この実施の形態１では、肢制御部１６がダンスロボットの上肢を制御するものについて示したが、肢制御部１６がダンスロボットの下肢を制御するようにしてもよい。また、肢制御部１６がダンスロボットの上肢と下肢の双方を制御するようにしてもよい。
さらに、肢制御部１６が例えばダンスロボットの頸部や腰部などを制御するようにしてもよい。
なお、この実施の形態１では、音楽再生部１７が音楽データにしたがってダンス動作時の音楽を再生するものについて示したが、音楽の再生に限るものではなく、例えば、音楽再生部１７がダンス動作時のメトロノームを動かすようにしてもよい。

実施の形態２．
図６はこの発明の実施の形態２によるダンスロボットの内部を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
習熟度判定部２１は例えばＣＰＵなどを実装している半導体集積回路から構成されており、存在判別処理部１５によりユーザが存在していると判別された場合、カメラ１４により生成された画像データを解析して、ユーザのダンスの習熟度を判定する処理を実施する。
チェックポイント格納部２２は習熟度判定部２１がユーザのダンスの習熟度を判定する際に参照するチェックポイントを格納しているメモリである。
なお、習熟度判定部２１及びチェックポイント格納部２２から習熟度判定手段が構成されている。

肢制御部２３は図１の肢制御部１６と同様に、タイミング発生部１８から出力されるタイミング信号に同期してダンスロボットの上肢を制御する他、次回のダンス動作時において、習熟度判定部２１により判定された習熟度に応じた振り付け速度でダンスロボットの上肢を制御する。なお、肢制御部２３は肢制御手段を構成している。
音楽再生部２４は図１の音楽再生部１７と同様に、タイミング発生部１８から出力されるタイミング信号に同期してダンスの音楽を再生する他、次回のダンス動作時において、肢制御部２３における振り付け速度に対応する再生速度でダンスの音楽を再生する。
なお、音楽再生部２４は音楽再生手段を構成している。
図７はこの発明の実施の形態２によるダンスロボットの習熟度判定部２１の処理内容を示すフローチャートである。

次に動作について説明する。
ユーザが初めてダンスの練習を行う場合、ダンスロボットの振り付けが予め設定されている初期の振り付け速度で行われる。
２回目以降のダンスの練習では、前回の練習によるダンスの習得具合を考慮して振り付け速度が設定されて、ダンスロボットの振り付けが行われる。

習熟度判定部２１は、肢制御部２３が図１の肢制御部１６と同様にして、ダンスロボットの上肢の制御を開始すると、カメラ１４により生成された画像データを解析して、ユーザのダンスの習熟度を判定する。
具体的には、次のようにして、ユーザのダンスの習熟度を判定する。図８はチェックポイントの設定例を示す説明図である。

習熟度判定部２１は、例えば、３０秒毎にＮ個のチェックポイントを設定し、チェック時刻毎にユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_i（ｉ＝１，２，・・・，Ｎ）を算出する。
即ち、習熟度判定部２１は、カメラ１４により生成された画像データの解析処理をチェック時刻毎（例えば、３０秒毎）に実施して（ステップＳＴ１１）、チェック時刻のユーザの姿勢（ダンス動作）を特定する（ステップＳＴ１２）。
習熟度判定部２１は、チェック時刻のユーザの姿勢を特定すると、チェックポイント格納部２２からそのチェック時刻に対応するチェックポイントを読み込み（ステップＳＴ１３）、ユーザの姿勢とチェックポイントの姿勢とを比較して、ユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_iを算出する（ステップＳＴ１４）。

図８の例では、３０秒経過時のチェックポイントが「右腕が水平に伸びている」、６０秒経過時のチェックポイントが「左肘の角度が所定の角度範囲内である」、９０秒経過時のチェックポイントが「右肘が肩より高い位置にある」・・であるので、例えば、３０秒経過時においては、習熟度判定部２１がカメラ１４により生成された３０秒経過時の画像データを解析して、ユーザの右腕を特定する。
習熟度判定部２１は、ユーザの右腕を特定すると、ユーザの右腕と垂直軸の角度αを測定し（図９を参照）、例えば、下記に示すように、その角度αに応じてユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_iを設定する。
角度α 一致度Ｇ_i
８５°≦α≦９５° → ５
８０°≦α＜８５° ｏｒ ９５°＜α≦１００° → ４
７５°≦α＜８０° ｏｒ １００°＜α≦１０５° → ３
７０°≦α＜７５° ｏｒ １０５°＜α≦１１０° → ２
α＜７０° ｏｒ １１０°＜α → １

習熟度判定部２１は、予め設定されているＮ個のチェックポイントについて、ユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_iを算出すると（ステップＳＴ１５）、これらの一致度Ｇ_iを集計する（ステップＳＴ１６）。
Ｇ＝ΣＧ_i
ただし、Σはｉ＝１からＮまでのＧ_iの総和を示す数学記号である。

習熟度判定部２１は、一致度の集計値Ｇを算出すると、例えば、下記に示すように（下記の例はＮ＝１０である場合を想定）、一致度の集計値Ｇに基づいてユーザのダンスの習熟度を判定する（ステップＳＴ１７）。
集計値Ｇ 習熟度
Ｇ≧４５ → Ａ
４０≦Ｇ＜４５ → Ｂ
３５≦Ｇ＜４０ → Ｃ
３０≦Ｇ＜３５ → Ｄ
Ｇ＜３０ → Ｅ

肢制御部２３は、習熟度判定部２１がユーザのダンスの習熟度を判定すると、例えば、下記に示すように、その習熟度にしたがって次回のダンス動作時における振り付け速度を設定する。
習熟度 振り付け速度
Ａ → ３０回／分
Ｂ → ２５回／分
Ｃ → ２０回／分
Ｄ → １５回／分
Ｅ → １０回／分

音楽再生部２４は、肢制御部２３が次回のダンス動作時における振り付け速度を設定すると、次回のダンス動作時における音楽の再生速度を、肢制御部２３における振り付け速度に対応する再生速度に設定する。
音楽再生部２４は、肢制御部２３における振り付け速度に対応する再生速度に設定すると、図１の音楽再生部１７と同様に、タイミング発生部１８から出力されるタイミング信号に同期してダンスの音楽を再生する。

ここでは、肢制御部２３が習熟度判定部２１により判定された習熟度にしたがって次回のダンス動作時における振り付け速度を設定するものについて示したが、タイミング発生部１８が習熟度判定部２１により判定された習熟度にしたがって次回のダンス動作時におけるタイミング信号のパルス発生周期を変更することにより、次回のダンス動作時における振り付け速度を変更するようにしてもよい。
例えば、タイミング発生部１８から出力されるタイミング信号のパルス発生周期が長くなれば、肢制御部２３における振り付け速度及び音楽再生部２４における再生速度が遅くなる。一方、タイミング発生部１８から出力されるタイミング信号のパルス発生周期が短くなれば、肢制御部２３における振り付け速度及び音楽再生部２４における再生速度が速くなる。

以上で明らかなように、この実施の形態２によれば、次回のダンス動作時では、習熟度判定部２１により判定された習熟度に応じた振り付け速度で上肢を制御するように構成したので、ユーザの習熟度に見合う振り付け速度でダンスを練習することができるようになり、その結果、ユーザが無理なくダンスを練習することができるため、ダンスの上達を早めることができる効果を奏する。
また、この実施の形態２によれば、次回のダンス動作時では、習熟度判定部２１により判定された習熟度に応じた振り付け速度でダンスの音楽を再生するように構成したので、ユーザの習熟度に見合う振り付け速度でダンスの音楽を再生することができるようになり、その結果、ユーザが無理なくダンスを練習することができるため、ダンスの上達を早めることができる効果を奏する。

なお、この実施の形態２では、習熟度判定部２１がユーザの右腕と垂直軸の角度αを測定し、その角度αに応じてユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_iを設定するものについて示したが、習熟度判定部２１がチェック時刻毎に、ユーザのダンス動作がチェックポイントを通過しているか否かを判定することにより、ユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_iを設定するようにしてもよい。
即ち、習熟度判定部２１はチェック時刻毎に、チェック時刻から、ユーザの右腕と垂直軸の角度αが合格範囲（８５°≦α≦９５°の範囲）に入るまでの遅延時間ｔ（ユーザのダンス動作がチェックポイントを通過するまでの時間）を測定する。
習熟度判定部２１は、遅延時間ｔを測定すると、例えば、下記に示すように、その遅延時間ｔに応じてユーザのダンス動作とダンスロボットのダンス動作との一致度Ｇ_iを設定するようにしてもよい。
遅延時間ｔ 一致度Ｇ_i
ｔ＝０ → ５
０＜ｔ≦０．５ → ４
０．５＜ｔ≦１．０ → ３
１．０＜ｔ≦１．５ → ２
１．５＜ｔ → １
遅延時間ｔに対する閾値（上記の例では“０”、“０．５”、“１．０”、“１．５”）は、音楽の再生速度に応じて適宜変更するようにしてもよい。

また、この実施の形態２では、肢制御部２３が習熟度判定部２１により判定された習熟度に応じた振り付け速度で上肢を制御するものについて示したが、習熟度判定部２１により判定された習熟度に応じたレベルの振付データにしたがって上肢を制御するようにしてもよい。
具体的には、例えば、通常練習用振付データ記憶部１１がダンスの困難度が普通の通常練習用振付データの他に、ダンスの困難度が高い通常練習用振付データを記憶する。
そして、肢制御部２３は、習熟度判定部２１により判定された習熟度が普通レベルであれば、ダンスの困難度が普通の通常練習用振付データ（または、普通の通常練習用振付データから生成された対面練習用振付データ）にしたがって上肢を制御するが、習熟度判定部２１により判定された習熟度が高レベルであれば、ダンスの困難度が高い通常練習用振付データ（または、困難度が高い通常練習用振付データから生成された対面練習用振付データ）にしたがって上肢を制御するようにする。

この実施の形態２では、習熟度判定部２１が習熟度を判定し、肢制御部２３が習熟度判定部２１により判定された習熟度に応じて次回のダンス動作時における振り付け速度を設定するものについて示したが、習熟度判定部２１が、ダンスが終了する前の途中段階で習熟度を判定し、肢制御部２３が途中段階の習熟度に応じて、今回のダンスの途中で振り付け速度を変更するようにしてもよい。

実施の形態３．
図１０はこの発明の実施の形態３によるダンスロボットの内部を示す構成図であり、図において、図６と同一符号は同一または相当部分を示すので説明を省略する。
制御対象受付部３１は例えばキーボードやマウスなどのマンマシンインタフェースから構成されており、ダンスロボットの四肢の中から、制御する対象の肢の指定を受け付ける処理を実施する。
肢制御部３２は図６の肢制御部２３と同様に、タイミング発生部１８から出力されるタイミング信号に同期してダンスロボットの上肢を制御する他、制御対象受付部３１により指定が受け付けられた制御対象の肢だけを制御する。
なお、制御対象受付部３１及び肢制御部３２から肢制御手段が構成されている。

上記実施の形態１，２では、ダンスロボットの上肢又は下肢、あるいは、上肢及び下肢の双方を制御するものについて示したが、例えば、ユーザが右腕の振り付けのみを練習したいような場合があることに対処するために、ユーザが指定の肢のみを制御するようにしてもよい。

即ち、この実施の形態３では、例えば、ユーザが右腕の振り付けのみを練習したい場合、ユーザが制御対象受付部３１を操作して、制御対象の肢として、“右腕”を指定する。
肢制御部３２は、制御対象受付部３１が制御対象の肢として、“右腕”の指定を受け付けると、通常練習用振付データ又は対面練習用振付データにしたがって右肩関節部３Ｒ及び右肘関節部４Ｒのアクチュエータを制御することにより、右上腕部１Ｒ及び右下腕部２Ｒを制御する。

以上で明らかなように、この実施の形態３によれば、ダンスロボットの四肢の中から、制御する対象の肢の指定を受け付け、指定の肢だけを制御するように構成したので、ユーザが効率的にダンスの練習を行うことができる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、存在判別処理部１５によりユーザが存在していると判別された場合、肢制御部１６，２３，３２が通常練習用振付データ記憶部１１に記憶されている通常練習用振付データから対面練習用振付データを生成するものについて示したが、図１１、図１２及び図１３に示すように、対面練習用のダンスの振り付けを再現する対面練習用振付データ（第２の振付データ）を記憶している対面練習用振付データ記憶部１２（振付データ記憶手段）を実装し、存在判別処理部１５によりユーザが存在していると判別された場合、肢制御部１６，２３，３２が対面練習用振付データ記憶部１２から対面練習用振付データを読み取るようにしてもよい。
この場合、肢制御部１６，２３，３２が通常練習用振付データから対面練習用振付データを生成する処理が不要になるため、処理負荷の軽減を図ることができる。

この発明の実施の形態１によるダンスロボットの内部を示す構成図である。 この発明の実施の形態１によるダンスロボットを示す正面図である。 この発明の実施の形態１によるダンスロボットを示す側面図である。 この発明の実施の形態１によるダンスロボットの存在判別処理部１５を示す構成図である。 この発明の実施の形態１によるダンスロボットのカメラ１４及び存在判別処理部１５の処理内容を示すフローチャートである。 この発明の実施の形態２によるダンスロボットの内部を示す構成図である。 この発明の実施の形態２によるダンスロボットの習熟度判定部２１の処理内容を示すフローチャートである。 チェックポイントの設定例を示す説明図である。 ユーザの右腕と垂直軸の角度αを示す説明図である。 この発明の実施の形態３によるダンスロボットの内部を示す構成図である。 この発明の実施の形態４によるダンスロボットの内部を示す構成図である。 この発明の実施の形態４によるダンスロボットの内部を示す構成図である。 この発明の実施の形態４によるダンスロボットの内部を示す構成図である。

符号の説明

１Ｌ 左上腕部
１Ｒ 右上腕部
２Ｌ 左下腕部
２Ｒ 右下腕部
３Ｌ 左肩関節部
３Ｒ 右肩関節部
４Ｌ 左肘関節部
４Ｒ 右肘関節部
１１ 通常練習用振付データ記憶部（振付データ記憶手段）
１２ 対面練習用振付データ記憶部（振付データ記憶手段）
１３ 音楽データ記憶部
１４ カメラ（撮影手段）
１４ａ レンズ部分
１５ 存在判別処理部（存在判別手段）
１６ 肢制御部（肢制御手段）
１７ 音楽再生部
１７ａ スピーカ
１８ タイミング発生部
２１ 習熟度判定部（習熟度判定手段）
２２ チェックポイント格納部（習熟度判定手段）
２３ 肢制御部（肢制御手段）
２４ 音楽再生部（音楽再生手段）
３１ 制御対象受付部（肢制御手段）
３２ 肢制御部（肢制御手段）
５１ 画像データ入力部
５２ 輪郭抽出部
５３ 特徴量抽出部
５４ 特徴量記憶部
５５ 存在判定部

Claims (12)

1. ダンスの見本の振り付けを再現する振付データを記憶している振付データ記憶手段と、前方の所定領域を撮影する撮影手段と、上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別手段と、上記存在判別手段によりユーザが存在していないと判別された場合、上記振付データ記憶手段に記憶されている振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている振付データから見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データを生成し、上記振付データにしたがって肢を制御する肢制御手段とを備えたダンスロボット。
2. ダンスの見本の振り付けを再現する第１の振付データを記憶しているとともに、見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する第２の振付データを記憶している振付データ記憶手段と、前方の所定領域を撮影する撮影手段と、上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別手段と、上記存在判別手段によりユーザが存在していないと判別された場合、上記振付データ記憶手段に記憶されている第１の振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている第２の振付データにしたがって肢を制御する肢制御手段とを備えたダンスロボット。
3. 撮影手段により撮影された映像を解析して、ユーザのダンスの習熟度を判定する習熟度判定手段を設けたことを特徴とする請求項１または請求項２記載のダンスロボット。
4. 習熟度判定手段は、撮影手段により撮影された映像を解析して、ユーザのダンス動作を特定し、ユーザのダンス動作と基準のダンス動作を比較して、ユーザのダンスの習熟度を判定することを特徴とする請求項３記載のダンスロボット。
5. 肢制御手段は、習熟度判定手段により判定された習熟度に応じた振り付け速度で肢を制御することを特徴とする請求項３または請求項４記載のダンスロボット。
6. 肢制御手段による肢の制御と同期を取りながらダンスの音楽を再生する音楽再生手段を設けたことを特徴とする請求項３または請求項４記載のダンスロボット。
7. 習熟度判定手段により判定された習熟度に応じた速度でダンスの音楽を再生する音楽再生手段を設けたことを特徴とする請求項３または請求項４記載のダンスロボット。
8. 肢制御手段は、四肢の中から、制御する対象の肢の指定を受け付け、指定の肢だけを制御することを特徴とする請求項１から請求項７のうちのいずれか１項記載のダンスロボット。
9. 撮影手段が前方の所定領域を撮影する撮影ステップと、存在判別手段が上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別ステップと、肢制御手段が上記存在判別手段によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データから見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データを生成し、上記振付データにしたがって肢を制御する肢制御ステップとを備えたダンスロボットの制御方法。
10. 撮影手段が前方の所定領域を撮影する撮影ステップと、存在判別手段が上記撮影手段により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別ステップと、肢制御手段が上記存在判別手段によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する第１の振付データにしたがって肢を制御し、上記存在判別手段によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する第２の振付データにしたがって肢を制御する肢制御ステップとを備えたダンスロボットの制御方法。
11. 前方の所定領域を撮影する撮影処理手順と、上記撮影処理手順により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別処理手順と、上記存在判別処理手順によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する振付データにしたがって肢を制御し、上記存在判別処理手順によりユーザが存在していると判別された場合、上記振付データから見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する振付データを生成し、上記振付データにしたがって肢を制御する肢制御処理手順とをコンピュータに実行させるためのダンスロボットの制御プログラム。
12. 前方の所定領域を撮影する撮影処理手順と、上記撮影処理手順により撮影された所定領域の映像を解析して、所定領域内にユーザが存在しているか否かを判別する存在判別処理手順と、上記存在判別処理手順によりユーザが存在していないと判別された場合、振付データ記憶手段に記憶されているダンスの見本の振り付けを再現する第１の振付データにしたがって肢を制御し、上記存在判別処理手順によりユーザが存在していると判別された場合、上記振付データ記憶手段に記憶されている見本の振り付けと肢の振り付けが左右逆である対面練習用のダンスの振り付けを再現する第２の振付データにしたがって肢を制御する肢制御処理手順とをコンピュータに実行させるためのダンスロボットの制御プログラム。

Images