JP2004356819A - リモート操作装置 - Google Patents

Abstract

【課題】リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置を提供する。
【解決手段】操作機器１１を操作するユーザを撮影可能な場所に取り付けられたカメラ１、画像の動き及び／又は形状を認識する画像認識器５，６、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器８を備え、画像認識結果と選択メニューで表示された選択肢画像パターンとが一致するとき、一致したメニュー項目を選択し、この選択結果に基づいて、例えば、次ニュー表示，表示切，入力切替などの選択メニュー表示のオン／オフ、あるいは操作機器インターフェース１０を介して操作機器１１の選局等の制御コマンドを実行する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、機器を遠隔操作するリモート操作装置に関する。
【０００２】
【従来の技術】
一般的に家庭用機器を遠隔操作する場合には、赤外光を利用したワイヤレス・リモートコントロール装置（以下、リモコンと称する）を用いて行っている。送信機側では、操作指示を信号（データ）を変調した赤外光信号として送信し、受信機側では、その赤外光信号を受光して復調し、元の信号（データ）を取り出して、取り出した信号により、操作指示に従った動作を行っている。例えば、カメラにリモコンを搭載した場合には、撮影者が送信機に設けられた撮影のためのボタンを押せば、カメラのレリーズボタンを直接押下しなくとも、離れたまま撮影を行うことができる。
【０００３】
従来、テレビ等に用いられている赤外線を利用したリモコンがあるが、当然ながら操作のためにはリモコンが必要であり、リモコンを手元に置いていない場合やリモコンを紛失した場合には使えない。そこで例えば、特許文献１には、撮影手段と撮影画像の動きや形状を認識する手段を持つことにより、ユーザの手などの動作を認識して機器を操作する機器制御装置及び方法が開示されている。
【特許文献１】
特開２００１−５９７５号（図１）
【０００４】
【発明が解決しようとする課題】
このような従来のリモコンによる操作方法や機器操作装置にあっては、以下のような問題点があった。
【０００５】
上述したように、リモコンによる操作方法では、リモコンを手元に置いていない場合やリモコンを紛失した場合には使えない。
また、特許文献１に記載の装置では、（１）ユーザ操作への反応が操作結果の実動作のみなので、操作途中で操作が機器に受け入れられているかどうかがわかりづらい。（２）コマンドとなる動作や形状をユーザが覚える必要があり、使いづらい。（３）コマンドとなる動作や形状をユーザが覚えられる数には限りがあるため、コマンドの数が限られる。（４）誤判定による誤動作が発生しやすい、などの問題点があった。
【０００６】
リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、ユーザ操作の結果で選択メニューが表示されるため、操作途中でも操作が機器に受け入れられているかどうかを認識することができ、コマンドとなる動作や形状がシンプルであり、ユーザにわかりやすく、さらに選択メニューを階層化できるため操作項目が多くても対応できる。ユーザが覚える必要のある動作は最小限で済む。
【０００７】
本発明は、このような課題に鑑みてなされたものであって、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のリモート操作装置は、撮影手段と、前記撮影手段によって撮影された画像の動きを検出する動き検出手段と、前記検出された画像から動きのある部分を抽出する動き部分抽出手段と、前記抽出された部分の画像から所定の動き及び／又は形状を認識する画像認識手段と、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示する表示手段と、前記画像認識結果と前記選択メニューで表示された選択肢画像パターンとが対応することを判別する判別手段と、前記判別結果に基づいて操作内容を実行する制御手段とを備えることを特徴としている。
【０００９】
より好ましい具体的な態様として、前記判別手段は、前記画像認識結果と前記選択メニューで表示された選択肢画像パターンとが一致するとき、該一致した選択肢画像パターンのメニュー項目を選択する。
【００１０】
また、制御対象の操作機器とのインターフェースとなる操作機器インターフェース手段を備え、前記制御手段は、前記判別結果に基づいて前記操作機器を制御するものであることで、メニュー選択結果によって制御対象の操作機器を制御することができる。
【００１１】
前記表示手段は、前記選択されたメニュー項目の選択肢画像パターンの表示を変化させることで、ユーザの選択動作が有効か無効かをユーザへ示すことができる。
【００１２】
また、前記画像認識結果が一定期間継続したことを検出する認識結果検出手段を備え、前記表示手段は、前記画像認識結果が一定期間継続したとき、前記選択されたメニュー項目の選択肢画像パターンの表示を変化させることで、選択肢の確定をユーザに示すことができる。
【００１３】
また、前記画像認識結果が一定期間継続したことを検出する認識結果検出手段を備え、前記表示手段は、前記画像認識結果が一定期間得られなかったとき、前記選択メニューの表示をオフするものであってもよい。
【００１４】
前記選択メニューは、該選択メニューを表示切して該選択メニューから抜けるメニュー項目を含むことがより好ましい。
前記選択メニューは、該選択メニューを表示オフするメニュー項目を含むことがより好ましい。
【００１５】
前記選択メニューは、複数の階層からなるものであってもよい。
前記画像認識手段は、操作者の手を振る動作を認識し、前記表示手段は、前記手を振る動作を認識したとき、前記選択メニューの表示をオンすることで、ユーザが手を振るという簡単かつ自然な動作をすることによって選択メニューを表示することができる。
【００１６】
前記画像認識手段は、操作者の指を立てた手の向きを認識し、前記判別手段は、前記指を立てた手の向きに対応する選択肢画像パターンのメニュー項目を選択することで、ユーザが指を立てた手の向きを示すことによって選択メニューからの選択を行うことができる。
前記画像認識結果によるリモート操作のオン／オフをユーザが設定する設定手段を備えることで、ユーザの使用環境にあったリモート操作を行うことができる。
【００１７】
より好ましい具体的な態様として、前記操作機器は、テレビ受信機を含み、前記選択メニューは、該テレビ受信機の選局アップ／ダウンのメニュー項目を含むことで、テレビ用リモート操作装置を実現することができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適なリモート操作装置の実施の形態について詳細に説明する。
図１は、本発明の実施の形態のリモート操作装置の構成を示すブロック図である。本実施の形態のリモート操作装置としてテレビジョン受信機に適用した例である。また、対象となる操作機器もテレビ受信機に適用している。
【００１９】
図１において、リモート操作装置は、機器を操作するユーザを撮影可能な場所に取り付けられたカメラ１（撮影手段）と、カメラ１によって撮影された画像の動きを検出する動き検出器２（動き検出手段）と、動き検出器２により検出された画像から動きのある部分を抽出する動き部分抽出器３（動き部分抽出手段）と、動き部分を含む被写体ウィンドウの領域を決定し、撮影映像の該当領域を抽出する被写体ウィンドウ設定器４と、抽出された部分の画像から所定の動き及び／又は形状を認識する画像認識器５，６（画像認識手段）と、認識結果があらかじめ設定された確定時間以上継続することを検出する認識結果確定検出器７（認識結果検出手段）と、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器８（表示手段）と、ユーザからの有効な選択動作がある一定期間検出されないことを検出する有効認識結果タイムアウト検出器９と、対象の操作機器とのインターフェースとなる操作機器インターフェース１０（操作機器インターフェース手段）と、操作機器１１と、リモコンレス操作モードのオン／オフを設定するリモコンレスモードスイッチ１２（設定手段）とを備えて構成される。
【００２０】
メニュー表示器８は、画像認識結果があらかじめ決められたパターンに一致したとき選択メニューを表示する構成としてもよい。
カメラ１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等から構成され、対象となる画像情報を入力する。入力映像信号を図示しないＡＤ変換器によりデジタル信号に変換され、動き検出器２及び動き部分抽出器３に出力される。
【００２１】
上記動き検出器２、動き部分抽出器３、被写体ウィンドウ設定器４、画像認識器５，６、認識結果確定検出器７、メニュー表示器８、及び有効認識結果タイムアウト検出器９は、具体的には、本装置全体を制御する制御部であるＣＰＵ（判別手段，制御手段）と、制御プログラムや固定データ等を記憶するメモリとにより実現される。なお、上記動き検出器２、動き部分抽出器３及び被写体ウィンドウ設定器４は、専用の動き補償回路（ＬＳＩ）を用いるものでもよい。
【００２２】
上記ＣＰＵは、画像認識処理，画像表示処理などのアプリケーションの処理の実行を含むリモート操作装置全体の制御を行うとともに、各制御部を総括して制御する。
【００２３】
特に、ＣＰＵは、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示する表示手段と、画像認識結果と選択メニューで表示された選択肢画像パターンとが対応することを判別する判別手段と、判別結果に基づいて操作内容を実行する制御手段としての機能を有する。動作の詳細については図３により後述する。
【００２４】
本リモート操作装置は、メニュー表示器８によって表示画面上（例えば、操作機器がテレビ受信機である場合、そのテレビ画面上）に表示されたソフトウェアキーによる選択メニューから、ユーザ動作により所望の操作選択（例えば、選局）を行うものである。
【００２５】
図２は、リモート操作装置の選択メニューの表示例を説明する図であり、図２（ａ）は選択メニューのテレビ画面への表示例を、図２（ｂ）は第１階層目の選択メニュー＜１＞の表示例を、図２（ｃ）は第２階層目の選択メニュー＜２＞の表示例をそれぞれ示す。
【００２６】
図２（ａ）において、２０は本リモート操作装置が適用されたテレビ受信機の表示画面、２１は表示画面２０上のテレビ映像の所定領域（ここでは右下隅）にＯＳＤ（オン・スクリーン・ディスプレイ）又はソフトウェア処理により表示されるソフトウェアキーである選択メニュー（選択メニュー＜１＞）である。
【００２７】
選択メニュー２１は、本リモート操作開始時に表示される第１階層目の選択メニュー＜１＞であり、図２（ｂ）にその拡大詳細を示すように、選択メニュー２１（選択メニュー＜１＞）は、指を立てた手を上下左右方向に４つ組み合わせた選択肢選択用の画像パターンから構成される。第１階層目の選択メニュー＜１＞は、テレビの選局アップ２１ａ，選局ダウン２１ｂ，次メニュー２１ｃ，表示切２１ｄの、指を立てた手の各画像パターンから構成される。ユーザはこの画像パターンに従って指を立てた手を所望の向きに動かせば該当する操作を直感的に行うことができる。例えば、ユーザが指を立てた手を上に向けて動かせば選局アップ２１ａであると認識され、テレビの選局アップが実行される。
【００２８】
図２（ｂ）に示す第１階層目の選択メニュー＜１＞において、次メニュー２１ｃが選択されると、図２（ｃ）に示すように、次の階層である第２階層目の選択メニュー２２（選択メニュー＜２＞）が表示される。第２階層目の選択メニュー＜２＞も、第１階層目の選択メニュー＜１＞と同様に、指を立てた手の画像パターンによるテレビの音声アップ２２ａ，音声ダウン２２ｂ，入力切替２２ｃ，表示切２２ｄの、各画像パターンから構成される。入力切替２２ｃが選択されると、図２（ｂ）に示す第１階層目の選択メニュー＜１＞の表示に戻る。
【００２９】
また、第１階層目の選択メニュー＜１＞及び第２階層目の選択メニュー＜２＞のいずれにも、選択メニューを表示切して選択メニューから抜けるための選択肢である表示切２１ｄ，２２ｄが設置されている。
また、画像認識結果があらかじめ決められたパターンに一致した場合、有効な画像認識結果が一定期間得られなかった場合には、選択メニューを表示オフする。
さらに、選択メニュー表示開始用の画像パターンには手を振る動作を用いるようにして、操作者が手を振る動作をすることによって選択メニューが表示される。
【００３０】
なお、本実施の形態では、第１及び第２の階層としているがそれ以上の階層構造や階層構造を持たない構成であってもよい。
また、指を立てた手による選択肢選択用の画像パターンは一例であり、どのようなものでもよい。第１の階層と第２の階層とで画像パターンを変えてもよいがユーザに違和感を与えないためには同一の画像パターンとすることが好ましい。
【００３１】
以下、上述のように構成されたリモート操作装置の動作を説明する。
カメラ１は、機器を操作するユーザを撮影可能な場所に取り付けてあり、撮影されたユーザの映像はＡＤ変換されてから動き検出器２と被写体ウィンドウ設定器４に供給される。
【００３２】
動き検出器２では、撮影された映像から動き成分を検出し、動き部分抽出器３に供給する。動き検出は、フレームメモリを用いて撮影映像をフレーム遅延させた信号と現撮影映像信号間での差分を取って検出できる。勿論、より良い動き検出性能を得るためにはさらに複雑な処理が必要であるが、本発明は動き検出性能を向上するためのものではないため、ここでは記載しない。
【００３３】
動き部分抽出器３では、動き検出信号の分布を分析し、動きが集中的に検出された部分を抽出し、被写体ウィンドウ設定器４に供給する。
被写体ウィンドウ設定器４は、動き部分を含む被写体ウィンドウの領域を決定し、撮影映像の該当領域を抽出し、画像認識器５と画像認識器６に供給する。
【００３４】
画像認識器５では、選択メニューを表示オン／オフするためのパターンを検出し、検出結果を選択メニュー表示切替指示としてメニュー表示器８に供給する。
選択メニューを表示切替するためのパターンは、ユーザが手を振る動作と決めることで、ユーザが手を振ったら選択メニューが表示されるという、非常に直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現することができる。
【００３５】
手を振る動作をパターンとして検出する方法について説明する。
フレームメモリを用いて撮影映像をフレーム遅延させた信号と現撮影映像間でパターンマッチングにより、動きベクトルを検出する。具体的には、画像を１６画素×１６画素程度のブロックに分け、その１つ１つが１フレーム前の画像でどのブロックに近いかを差分をとり、その差分データ量や２乗和の最も小さいブロックを求めることにより、対応するブロック間の位置的差が求まりこれが動きベクトルとなる。手以外の静止部分については有効な動きベクトルは検出されないが、動きのある手の部分では有効な大きさを持つ動きベクトルが検出され、それが単純な運動であるため、その動きベクトルの推移により特定パターンとして検出可能である。勿論、手の形状や色を判定要素に加えても良いし、温度感知型カメラを使って表面温度を判定要素に加えても良い。
【００３６】
選択メニュー表示切替指示が送られると、メニュー表示器８は、テレビ画面に選択メニュー２１（選択メニュー＜１＞）を表示する（図２（ａ）参照）。選択メニューが表示されている状態で、再度選択メニューを表示オン／オフするためのパターンが検出されれば、それを受けたメニュー表示器８は選択メニューの表示を消す。
【００３７】
図１に戻って、画像認識器６は、選択メニューからの選択肢に対応するパターンをパターンマッチングにより認識してその認識結果を、認識結果確定検出器７とメニュー表示器８に供給する。選択肢の選択用のパターンは、例えば手の指を１本立てた指の向きと決めることで、直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現できる。認識結果を受けたメニュー表示器８は、選択メニュー表示の認識結果に対応する選択肢部分の色を変化させ、ユーザの動作が有効な状態か無効な状態かを表す。
【００３８】
認識結果確定検出器７は、認識結果があらかじめ設定された確定時間以上継続することを検出し、確定時間以上継続が検出された場合、それを選択確定結果として有効認識結果タイムアウト検出器９、メニュー表示器８、及びリモコンレスモードスイッチ１２に供給する。このようにユーザからの選択動作を検出するために、継続時間の検出を用いることにより、ユーザ意図とは異なる誤判定を軽減でき、さらに確定時間をユーザが設定できるような設定手段を設けているので、ユーザが操作に慣れてきて確定を早くしてスピードアップしたいという要求に応えられる。
【００３９】
有効認識結果タイムアウト検出器９は、選択メニューが表示された状態で、ユーザからの有効な選択動作がある一定期間検出されなかった場合、メニュー表示器８に選択メニュー表示切を指示する。これを受けてメニュー表示器８は、選択メニューを表示切する。一方、タイムアウト前に選択確定が、メニュー表示器８に供給された場合、認識結果確定検出器７からの選択確定により、メニュー表示器８は、対応する選択肢の表示の色を変化させ、ユーザの選択動作が確定されたことを表す。
【００４０】
また、リモコンレスモードスイッチ１２は、リモコンレス操作モードのオン／オフを設定するためにある。ここでユーザが、本リモート操作を行うリモコンレスモードを使用するかしないかを設定できるようにすれば、多人数が撮影されて誤判定が発生しやすいような状況では、あらかじめリモコンレスモードをオフして誤判定による誤動作を防止することができる。この設定は機器本体のボタンによる設定やリモコンでの設定操作による。リモコンレスモードがオンのときには、リモコンレスモードスイッチ１２は操作機器インターフェース１０に接続されており、ユーザからの選択動作により操作機器インターフェース１０経由で操作機器１１がコントロールされる。
【００４１】
図３は、本リモート操作装置の動作を示すフローチャートであり、図中、Ｓはフローの各ステップを示す。
プログラムが起動すると、まず、ステップＳ１で撮影映像の画像認識により選択メニュー切替用パターン検出を行い、ステップＳ２で選択メニュー切替用パターン検出が検出されたか否かを判別する。選択メニュー切替用パターンが検出されないときはステップＳ１に戻る。選択メニュー切替用パターンが検出されたときは、ステップＳ３で選択メニュー＜１＞の表示を行う。選択メニュー＜１＞の表示例は、図２（ｂ）に示される。
【００４２】
次いで、ステップＳ４で撮影映像の画像認識を行い、ステップＳ５で選択メニュー切替用パターンが検出されたか否かを判別する。選択メニュー切替用パターンが検出されたときは、ステップＳ６で選択メニュー表示切を実行してステップＳ１の画像認識処理に戻る。
【００４３】
上記ステップＳ５で選択メニュー切替用パターンが検出されなかったときは、ステップＳ７で選択肢選択用パターンか否かの判定を行う。有効な選択用パターンでなければ、ステップＳ８で選択肢表示の色戻しにより全選択肢を通常の色に戻してステップＳ４の画像認識処理に戻る。有効な選択用パターンであれば、ステップＳ９で選択肢表示の色変更により選択メニュー表示の選択された選択肢に対応する表示部分の色を選択されていることを表す色に設定する。
【００４４】
ステップＳ１０では、ユーザの選択動作が確定したか否かを判別し、ユーザの選択動作が確定していれば、ステップＳ１１で選択表示の色変更により選択メニュー表示の選択された選択肢に対応する表示部分の色を確定されたことを表す色に設定する。選択確定でなければ、ステップＳ４の画像認識処理に戻る。
【００４５】
ステップＳ１２では、選択確定した選択肢が「表示切」か否かを判別する。選択確定した選択肢が「表示切」であれば、ステップＳ６で選択メニュー表示切を実行後、ステップＳ１の画像認識処理に戻る。
【００４６】
上記ステップＳ１２で「表示切」でなければ、ステップＳ１３で選択確定した選択肢が「次メニュー」であるか否かを判別する。選択確定した選択肢が「次メニュー」であれば、ステップＳ１４で選択メニュー＜２＞により次の階層の選択メニューを表示し、ステップＳ４の画像認識処理に戻る。選択メニュー＜２＞の例を図２（ｃ）に示す。「次メニュー」でなければ、ステップＳ１５で操作機器の制御により操作機器１１をコントロールしてステップＳ４の画像認識処理に戻る。
【００４７】
これにより、図２（ｂ）に示すように選択メニューの第１階層に、選局アップ／ダウンを設けることにより、テレビで使用頻度の多い選局動作を２アクションで実行できる。また、図２（ｃ）に示すように、各メニューに必ず「表示切」の選択肢を設けることにより、いつでもメニューを消すことができる。
【００４８】
以上のように、本実施の形態のリモート操作装置は、操作機器１１を操作するユーザを撮影可能な場所に取り付けられたカメラ１、画像の動き及び／又は形状を認識する画像認識器５，６、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器８を備え、画像認識結果と選択メニューで表示された選択肢画像パターンとが一致するとき、一致したメニュー項目を選択し、この選択結果に基づいて、例えば、次ニュー表示，表示切，入力切替などの選択メニュー表示のオン／オフ、あるいは操作機器インターフェース１０を介して操作機器１１の選局等の制御コマンドを実行するので、遠隔操作のためにリモコンを使用しないことから、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができる。
【００４９】
また、ユーザ操作の結果で選択メニューが表示されるため、操作途中でも操作が機器に受け入れられているかどうかを認識することができることに加え、ユーザの手による動作であるためコマンドとなる動作や形状がシンプルであり、ユーザにわかりやすく、さらに選択メニューを階層化できるため操作項目が多くても対応できる効果がある。ユーザが覚える必要のある動作は最小限で済む。
また、ユーザが自身の選択動作が有効か無効かをメニュー項目の選択肢の表示変化から視覚的に認識できる。
【００５０】
さらに、有効認識結果タイムアウト検出器９を備え、選択動作の一定期間継続を検出するので、選択の際の誤判定を軽減でき、また、選択確定時には選択肢の表示を変化させることにより、ユーザが自身の選択動作の確定を選択肢の表示変化から視覚的に認識できる。
【００５１】
また、選択メニュー２１，２２に必ず表示切するための選択肢（表示切２１ｄ，２２ｄ）が含まれる構成としているので、選択メニューのどの階層にあっても１アクションで表示切が行える。
【００５２】
また、画像認識結果があらかじめ決められたパターンに一致したら選択メニューを表示オフする構成としているので、選択メニューの中に表示切の選択肢が無くても、１アクションで表示切が行える。
【００５３】
また、有効な画像認識結果が一定期間得られなかったら選択メニューを表示オフする構成としているので、ユーザが操作を途中で止めた場合に選択メニューが自動で消え便利である。また、ユーザの意図しない動作によって選択メニューが表示されたとしても自然に選択メニューが消えるため便利である。
【００５４】
また、選択メニューの第１階層目にはテレビの選局アップ／ダウンの選択肢（選局アップ２１ａ，選局ダウン２１ｂ）を含む構成としているため、テレビの選局操作が少ないアクションで行え便利である。
【００５５】
また、選択メニュー表示開始用の画像パターンには手を振る動作を用いる構成としているため、ユーザが手を振ったら選択メニューが表示されるという、直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現することができる。
【００５６】
また、選択肢選択用の画像パターンには指を立てた手の向きを用いる構成としているため、操作者が指を立てた手の向きを示すことによって選択メニューからの選択を行え、直感的にわかりやすくユーザフレンドリィなユーザインターフェースを実現できる。
【００５７】
さらに、画像認識結果によるリモート操作のオン／オフを行うユーザ設定メニューを備える構成としているので、多人数が撮影されて誤判定が発生しやすいような状況であっても、あらかじめリモコンレスモードをオフして誤判定による誤動作を防止することができる。
【００５８】
さらにまた、選択メニューでの選択確定用に有効な画像認識結果が一定期間継続したことを検出するための継続時間長をユーザが設定できる構成としているので、ユーザが操作に慣れてきて確定を早くしてスピードアップしたいという要求に応えられる。
【００５９】
なお、上記実施の形態では、リモート操作装置として、テレビ受信機に適用した例であるが、テレビ受信機に限るものでなく、他の家電機器や家電機器以外の産業機器に幅広く適用できる。
【００６０】
また、本実施の形態では、リモート操作装置という名称を用いたが、これは説明の便宜上であり、機器制御装置、リモートコントロール装置や機器制御方法等でもよいことは勿論である。
【００６１】
さらに、上記表示画面上の選択メニュー，メニュー項目，画像パターンの数や配置、色、背景色、表示点滅、表示形式等はどのようなものでもよい。
さらに、上記リモート操作装置を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００６２】
また、以上説明したリモート操作装置は、これらリモート操作装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、ＣＰＵのメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００６３】
ここで、上記プログラムメディアは、通信端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００６４】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００６５】
【発明の効果】
以上、詳述したように、本発明によれば、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができる。
【００６６】
また、コマンドとなる動作や形状をユーザが覚える必要はなく、直感的にわかりやすくユーザフレンドリィなユーザインターフェースにより機器をリモート操作することができる。さらに、選択メニューの階層を複数階層にすることにより、コマンドの数を順次増やすことができる。その際、各選択メニューに表示切を設けておけばいつでもメニュー表示をオフすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のリモート操作装置の構成を示すブロック図である。
【図２】本実施の形態のリモート操作装置の選択メニューの表示例を説明する図である。
【図３】本実施の形態のリモート操作装置の動作を示すフローチャートである。
【符号の説明】
１ カメラ（撮影手段）
２ 動き検出器（動き検出手段）
３ 動き部分抽出器（動き部分抽出手段）
４ 被写体ウィンドウ設定器
５，６ 画像認識器（画像認識手段）
７ 認識結果確定検出器（認識結果検出手段）
８ メニュー表示器（表示手段）
９ 有効認識結果タイムアウト検出器
１０ 操作機器インターフェース（操作機器インターフェース手段）
１１ 操作機器
１２ リモコンレスモードスイッチ（設定手段）
２０ テレビ受信機（操作機器）の表示画面
２１ 選択メニュー（第１階層目の選択メニュー＜１＞）
２１ａ 選局アップ
２１ｂ 選局ダウン
２１ｃ 次メニュー
２１ｄ 表示切
２２ 選択メニュー（第２階層目の選択メニュー＜２＞）
２２ａ 音声アップ
２２ｂ 音声ダウン
２２ｃ 入力切替
２２ｄ 表示切

Claims (13)

1. 撮影手段と、
   前記撮影手段によって撮影された画像の動きを検出する動き検出手段と、
   前記検出された画像から動きのある部分を抽出する動き部分抽出手段と、
   前記抽出された部分の画像から所定の動き及び／又は形状を認識する画像認識手段と、
   操作内容を選択させる選択肢画像パターンからなる選択メニューを表示する表示手段と、
   前記画像認識結果と前記選択メニューで表示された選択肢画像パターンとが対応することを判別する判別手段と、
   前記判別結果に基づいて操作内容を実行する制御手段と
   を備えることを特徴とするリモート操作装置。
2. 前記判別手段は、前記画像認識結果と前記選択メニューで表示された選択肢画像パターンとが一致するとき、該一致した選択肢画像パターンのメニュー項目を選択することを特徴とする請求項１記載のリモート操作装置。
3. 制御対象の操作機器とのインターフェースとなる操作機器インターフェース手段を備え、
   前記制御手段は、前記判別結果に基づいて前記操作機器を制御することを特徴とする請求項１又は２に記載のリモート操作装置。
4. 前記表示手段は、前記選択されたメニュー項目の選択肢画像パターンの表示を変化させることを特徴とする請求項１乃至３のいずれか一項に記載のリモート操作装置。
5. 前記画像認識結果が一定期間継続したことを検出する認識結果検出手段を備え、
   前記表示手段は、前記画像認識結果が一定期間継続したとき、前記選択されたメニュー項目の選択肢画像パターンの表示を変化させることを特徴とする請求項１乃至４のいずれか一項に記載のリモート操作装置。
6. 前記画像認識結果が一定期間継続したことを検出する認識結果検出手段を備え、
   前記表示手段は、前記画像認識結果が一定期間得られなかったとき、前記選択メニューの表示をオフすることを特徴とする請求項１乃至５のいずれか一項に記載のリモート操作装置。
7. 前記選択メニューは、該選択メニューを表示切して該選択メニューから抜けるメニュー項目を含むことを特徴とする請求項１乃至６のいずれか一項に記載のリモート操作装置。
8. 前記選択メニューは、該選択メニューを表示オフするメニュー項目を含むことを特徴とする請求項１乃至７のいずれか一項に記載のリモート操作装置。
9. 前記選択メニューは、複数の階層からなることを特徴とする請求項１乃至８のいずれか一項に記載のリモート操作装置。
10. 前記画像認識手段は、操作者の手を振る動作を認識し、
    前記表示手段は、前記手を振る動作を認識したとき、前記選択メニューの表示をオンすることを特徴とする請求項１乃至９のいずれか一項に記載のリモート操作装置。
11. 前記画像認識手段は、操作者の指を立てた手の向きを認識し、
    前記判別手段は、前記指を立てた手の向きに対応する選択肢画像パターンのメニュー項目を選択することを特徴とする請求項１乃至１０のいずれか一項に記載のリモート操作装置。
12. 前記画像認識結果によるリモート操作のオン／オフをユーザが設定する設定手段を備えることを特徴とする請求項１乃至１１のいずれか一項に記載のリモート操作装置。
13. 前記操作機器は、テレビ受信機を含み、
    前記選択メニューは、該テレビ受信機の選局アップ／ダウンのメニュー項目を含むことを特徴とする請求項１乃至１２のいずれか一項に記載のリモート操作装置。

Images