JP2010086367A - 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置 - Google Patents

Abstract

【課題】ジェスチャに応じて操作入力を行うときの操作性を向上させる。
【解決手段】受信装置４２が、所定の撮像範囲を撮像して撮像画像を生成し、生成した撮像画像から、操作者の小指を検出し、検出した小指の、撮像画像における位置情報を算出し、算出した位置情報を、PC４３に入力する。これに対して、PC４３が、受信装置４２から入力された位置情報に応じた処理を実行する。本発明は、例えば、操作者の片手のジェスチャを認識し、その認識結果に基づく操作入力が可能な入力装置と、その操作入力に応じた処理を行う情報処理装置により構成される情報処理システムに適用できる。
【選択図】図３

Description

本発明は、位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置に関し、特に、操作者のジェスチャに応じて操作入力を行う位置情報入力装置等の操作性を向上させるようにした位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置に関する。

従来、操作者の片手が撮像された撮像画像から、操作者の片手が表示された領域（片手領域）を検出し、検出した片手領域に基づいて、表示画面上のポインタを移動させるジェスチャ認識技術が存在する（例えば、非特許文献１を参照）。

ここで、従来のジェスチャ認識技術を説明する。図１は、操作者の片手の形状１を示している。

従来のジェスチャ認識技術では、撮像画像から図１に示すような片手の形状１を検出した場合、人差し指の指先２をトレースポイント(TracePoint)として、そのトレースポイントの動きを追尾するように、表示画面上のポインタを移動させる。

そして、操作者は、表示画面上のポインタを任意の位置に移動させ、移動後のポインタの位置でクリックを行う場合には、トレースポイントとされていない方の手を用いて、クリックを行うためのボタン等を押下する。

また、片手のみで、表示画面上のポインタを移動させる他、クリックを行うことが可能なエアタップ操作技術が存在する（例えば、非特許文献２を参照）。このエアタップ操作技術では、図２に示すように、図２A、図２B、図２Cの順序で、人指し指を空中で上下させるエアタップを行った場合に、表示画面上でクリックが行われる。

Thomas A. Mysliwiec."FingerMouse:A Freehand Computer Pointing Interface," The University of Illinois, 1994. Daniel Vogel,Ravin Balakrishnan."Distant Freehand Pointing and Clicking on Very Large, High Resolution Displays," University of Tronto.

ところで、従来のジェスチャ認識技術では、１つのポインタの位置を入力することは可能だが、２つ以上のポインタの位置を入力する、いわゆるマルチタッチインタフェースに対応することができない。

また、従来のエアタップ操作技術では、エアタップを行うときに、エアタップの動作に影響されて、トレースポイントである人差し指の指先が移動してしまうため、操作者が所望する、表示画面上のポインタの位置で、クリックを行うことができない。

なお、人差し指に代えて、親指、中指等の指を用いて、エアタップを行うことも提案されているが、その場合にも、エアタップの動作に影響されて、やはり、人差し指の指先が移動してしまい、ポインタの位置がずれてしまう。

そこで、現在時刻から所定の時間だけ過去のポインタの位置を記憶しておいて、エアタップが行われた場合には、その直前のポインタの位置でクリックが行われるように構成することも提案されている。

しかしながら、そのような構成を実現させる場合、ソフトウェアを実装する負担が増加してしまうため、実装されるソフトウェアにバグが生じ易く、ジェスチャを用いた操作入力において不安定な動作を招きかねない。

本発明は、このような状況に鑑みてなされたものであり、操作者の手を用いたジェスチャによる操作入力の操作性を向上させるようにするものである。

本発明の第１の側面の第１の位置情報入力装置は、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置であり、所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、算出された前記位置情報を入力する入力手段とを含む位置情報入力装置である。

予め用意した３次元モデルと前記撮像画像とを比較する比較手段をさらに設けるようにすることができ、前記検出手段には、前記比較手段による比較結果に基づいて、前記操作者の小指を検出させるようにすることができる。

前記操作者の小指には、マーカが付加されており、前記検出手段には、前記撮像画像から、前記マーカを前記操作者の小指として検出させるようにすることができ、前記算出手段には、前記マーカの位置を示す前記位置情報を算出させるようにすることができる。

前記算出手段には、前記撮像画像内の、前記操作者の小指を示す領域の重心を、前記位置情報として算出させるようにすることができる。

本発明の第１の側面の第１の位置情報入力方法は、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置の位置情報入力方法であり、前記位置情報入力装置は、撮像手段と、検出手段と、算出手段と、入力手段とを含み、前記撮像手段が、所定の撮像範囲を撮像して撮像画像を生成し、前記検出手段が、生成された前記撮像画像から、前記操作者の小指を検出し、前記算出手段が、検出された前記小指の、前記撮像画像における前記位置情報を算出し、前記入力手段が、算出された前記位置情報を入力するステップを含む位置情報入力方法である。

本発明の第１の側面の第１のプログラムは、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置のコンピュータを、所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、算出された前記位置情報を入力する入力手段として機能させるためのプログラムである。

本発明の第１の側面によれば、所定の撮像範囲が撮像されて撮像画像が生成され、生成された前記撮像画像から、前記操作者の小指が検出され、検出された前記小指の、前記撮像画像における前記位置情報が算出され、算出された前記位置情報が入力される。

本発明の第２の側面の情報処理システムは、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置と、入力された前記位置情報に応じた処理を実行する前記情報処理装置とにより構成される情報処理システムであり、前記位置情報入力装置が、所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、算出された前記位置情報を、前記情報処理装置に入力する入力手段とを含み、前記情報処理装置が、入力された前記位置情報に応じた処理を実行する処理手段を含む情報処理システムである。

本発明の第２の側面によれば、位置情報入力装置において、所定の撮像範囲が撮像されて撮像画像が生成され、生成された前記撮像画像から、前記操作者の小指が検出され、検出された前記小指の、前記撮像画像における前記位置情報が算出され、算出された前記位置情報が、情報処理装置に入力される。そして、前記情報処理装置において、入力された前記位置情報に応じた処理が実行される。

本発明の第３の側面の第２の位置情報入力装置は、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置であり、前記操作者の小指に生じた加速度を検出する加速度検出手段と、検出された前記加速度に基づいて、前記位置情報を更新する更新手段と、更新された前記位置情報を入力する入力手段とを含む位置情報入力装置である。

本発明の第３の側面の第２の位置情報入力方法は、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置の位置情報入力方法であり、前記位置情報入力装置は、加速度検出手段と、更新手段と、入力手段とを含み、前記加速度検出手段が、前記操作者の小指に生じた加速度を検出し、前記更新手段が、検出された前記加速度に基づいて、前記位置情報を更新し、前記入力手段が、更新された前記位置情報を入力するステップを含む位置情報入力方法である。

本発明の第３の側面の第２のプログラムは、操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置のコンピュータを、前記操作者の小指に生じた加速度を検出する加速度検出手段と、検出された前記加速度に基づいて、前記位置情報を更新する更新手段と、更新された前記位置情報を入力する入力手段として機能させるためのプログラムである。

本発明の第３の側面によれば、前記操作者の小指に生じた加速度が検出され、検出された前記加速度に基づいて、位置情報が更新され、更新された前記位置情報が入力される。

本発明の第４の側面の電子装置は、操作者が指示する位置を示す位置情報に応じた処理を実行する電子装置であり、所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、算出された前記位置情報に応じた処理を実行する処理手段とを含む電子装置である。

本発明の第４の側面によれば、所定の撮像範囲が撮像されて撮像画像が生成され、生成された前記撮像画像から、操作者の小指が検出され、検出された前記小指の、前記撮像画像における位置情報が算出され、算出された前記位置情報に応じた処理が実行される。

本発明によれば、操作者の手を用いたジェスチャによる操作入力の操作性を向上させることができる。

以下、発明を実施するための最良の形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。

１．第１の実施の形態（情報処理システム：画像処理を使用する例）
２．第２の実施の形態（情報処理システム：モーションセンサを使用する例）
３．第１の実施の形態の変形例

＜１．第１の実施の形態＞
[情報処理システムの外観例]
図３は、本発明の第１の実施の形態である情報処理システム２１の外観の一例を示している。

この情報処理システム２１では、片手を用いた操作者のジェスチャとして、例えば、操作者が片手を移動させると、その動きを追尾するように、例えば、表示画面上のポインタが移動するようになされている。

この情報処理システム２１は、操作入力装置４１、受信装置４２（位置情報入力装置）、及びパーソナルコンピュータ４３（以下、PC４３という）により構成される。

操作入力装置４１は、操作者の片手に装着されるものであり、クリック検出部４１a、LED(light emitting diode)４１b、及び制御部４１cにより構成される。

クリック検出部４１aは、操作者の人差し指に装着されており、人指し指を親指に押し付けることにより、親指により押下されたことを検出し、その検出結果を、制御部４１cに供給する。

LED４１bは、操作者の小指（小指の指先から付け根までのいずれかの部分）に装着され、受信装置４２に、操作者の小指の位置を検出させるために発光する。本発明では、LED４１bを操作者の小指に装着することがポイントである（詳細は後述する）。

制御部４１cは、操作者の手首に装着されており、クリック検出部４１aから検出結果が供給されたことに対応して、クリックが行われたことを示すクリック信号を、赤外線等の無線により、受信装置４２に送信する。

受信装置４２は、例えば、PC４３の表示画面４３aの下側に固定され、且つ、USB（universal serial bus）等の有線によりPC４３と接続されており、制御部４１cからのクリック信号を受信し、USB等を介してPC４３に供給する。

また、受信装置４２は、予め決められた撮像範囲を撮像するカメラを内蔵しており、内蔵するカメラにより、LED４１b（が発光する光）を撮像する。そして、その撮像により得られた撮像画像に基づいて、撮像画像内のLED４１bの位置を示す座標（位置情報）を算出し、USB等を介してPC４３に供給する。

PC４３は、USB等の有線により受信装置４２と接続されており、受信装置４２からの座標に対応して、表示画面４３a上のポインタを移動させる。

また、PC４３は、受信装置４２からのクリック信号に対応して、現在のポインタの位置でクリックが行われたことに応じた処理を実行する。

[受信装置及びPCの構成例]
次に、図４は、受信装置４２及びPC４３の詳細な構成例を示している。

受信装置４２は、カメラ６１、DSP(digital signal processor)６２、及び送信部６３により構成される。

カメラ６１は、予め決められた撮像範囲内で撮像し、その撮像により得られた撮像画像をDSP６２に供給する。なお、操作者は、表示画面４３a上のポインタを移動させる操作等を行う場合には、カメラ６１の撮像範囲内で、操作入力装置４１が装着された片手を移動させる必要がある。この場合、カメラ６１は、撮像により、操作者の片手が表示された撮像画像を得てDSP６２に供給する。

DSP６２は、カメラ６１からの撮像画像に対して画像処理を行い、撮像画像内の、操作者の小指（小指に装着されたLED４１bが発光する光）の位置を示す座標を算出し、送信部６３に供給する。

送信部６３は、DSP６２からの座標を、PC４３に送信する。なお、送信部６３には、受信装置４２から、クリック信号が供給される。送信部６３は、受信装置４２からのクリック信号を、PC４３に送信する。

PC４３は、受信部８１及びアプリケーション部８２により構成される。

受信部８１は、送信部６３からの座標及びクリック信号を受信し、アプリケーション部８２に供給する。

アプリケーション部８２は、受信部８１からの座標に対応して、PC４３の表示画面４３a上のポインタを移動させる。すなわち、例えば、アプリケーション部８２は、受信部８１からの座標に基づいて、LED４１bが移動した移動方向、移動量、移動速度等を検出し、検出した移動方向に、検出した移動量や移動速度に対応する距離だけ、表示画面４３a上のポインタを移動させる。

また、アプリケーション部８２は、受信部８１からのクリック信号に対応して、現在のポインタの位置でクリックが行われたことに応じた処理を実行する。

[DSPが行う画像処理の説明]
次に、図５乃至図７を参照して、DSP６２が行う画像処理について説明する。

図５は、DSP６２が所定のプログラムを実行することにより実現される機能ブロックとしての、位置検出部１０１及び座標算出部１０２により構成される。

位置検出部１０１には、カメラ６１から撮像画像が供給される。位置検出部１０１は、カメラ６１からの撮像画像に基づいて、操作者の小指の位置を検出し、座標算出部１０２に供給する。

次に、図６を参照して、位置検出部１０１が行う詳細な処理の一例を説明する。

図６は、カメラ６１により撮像された撮像画像の一例を示している。図６に示す撮像画像１２１には、操作者の小指に装着されたLED４１bが撮像されている。

位置検出部１０１は、カメラ６１からの撮像画像１２１を構成する複数の画素の輝度値のうち、輝度値の大きい順に上位４位までの輝度値それぞれに対応する４画素を検出する。そして、検出した４画素それぞれの位置を、LED４１bの位置（操作者の小指の位置）として、座標算出部１０２に供給する。

なお、図６に示された例のように、親指と人指し指の指先どうしを接触させた姿勢をとる場合、操作者は、直感的（感覚的）に、親指と人指し指の指先どうしが接触する接触点をトレースポイントとして認識し、片手を動かす傾向にある。したがって、トレースポイントを検出するために装着されるLED４１bは、接触点の軌跡と同様の軌跡を描く位置に装着されることが望ましい。

また、LED４１bは、人指し指を親指に押し付けることにより、クリック検出部４１aを押下するクリック動作が行われた場合に、ポインタの位置ずれを防止するため、クリック動作に影響されない位置に装着されることが望ましい。

そこで、本発明者は、トレースポイントとして採用される最適な位置として、小指の位置に着目した。

すなわち、例えば、直感的（感覚的）なトレースポイントとして、接触点を移動させる場合、手首を回転軸として、片手を動かすことになる。この場合、回転軸である手首から、トレースポイントとされる小指の位置までの距離を、手首から接触点までの距離としたとき、トレースポイントとされる小指の位置が移動する移動方向や移動量は、接触点の移動方向や移動量と同一となる。

なお、親指、人指し指、中指、及び薬指についても同様のことがいえるが、クリック動作が行われた場合、親指、人指し指、中指、及び薬指はユーザの意図に反して動いてしまうため、クリック動作によるポインタの位置ずれを防止することはできない。

具体的には、例えば、親指又は人差し指のいずれか一方をトレースポイントとした場合、親指と人指し指を用いてクリック動作が行われるため、クリック動作に応じて、親指及び人指し指が動いてしまう。

また、例えば、中指又は薬指のいずれか一方をトレースポイントとした場合に、クリック動作が行われたとき、中指及び薬指は、人間の手の構造上、親指と人指し指を用いたクリック動作に影響され易いため、クリック動作に伴って、中指及び薬指も動いてしまう。

これに対して、小指は、人間の手の構造上、クリック動作に（殆ど）影響されない。

なお、クリック動作に影響されない手の部分としては、小指の他、手の甲や手の平が存在するが、手の甲や手の平と手首との距離は、接触点と手首との距離と比較して短くなる。したがって、手の甲や手の平のいずれかの位置をトレースポイントとした場合、トレースポイントとされる手の甲や手の平のいずれかの位置が移動する移動量は、接触点の移動量と比較して小さくなり、接触点の移動量と同一にはならない。

このため、上述したように、本発明者は、トレースポイントとして採用される最適な位置として、接触点と同一の移動方向及び移動量で移動するとともに、クリック動作に影響されない小指の位置を採用することとした。

以下の説明においては、LED４１bは、接触点の軌跡と同一の軌跡を描く最適な位置として、上述した小指の位置に装着されているものとする。

座標算出部１０２は、位置検出部１０１からのLED４１bの位置に基づいて、撮像画像１２１内におけるLED４１bの位置を示す座標を算出し、送信部６３に供給する。

次に、図７を参照して、座標算出部１０２が行う詳細な処理の一例を説明する。

図７は、撮像画像１２１内に定義されるXY座標を示している。このXY座標は、撮像画像１２１の最も左下の位置を原点(0,0)として、互いに直交するX軸とY軸とで定義される直交座標を示している。

座標算出部１０２は、位置検出部１０１からの４画素それぞれのLED４１bの位置（例えば図７に示す位置１２１a乃至１２１d）に対応する、撮像画像１２１上の座標(x,y)を算出する。そして、算出した４つの座標(x,y)の、例えば重心を、LED４１bの位置を示す座標として、送信部６３に供給する。

[受信装置の動作説明]
次に、図８のフローチャートを参照して、受信装置４２が行う第１の座標算出処理を説明する。

ステップＳ１において、カメラ６１は、予め決められた撮像範囲内で撮像し、その撮像により得られた撮像画像を、DSP６２の位置検出部１０１に供給する。

ステップＳ２において、位置検出部１０１は、カメラ６１からの撮像画像１２１を構成する複数の画素の輝度値のうち、輝度値の大きい順に上位４位までの輝度値それぞれに対応する４画素を検出する。そして、検出した４画素それぞれの位置を、LED４１bの位置（操作者の小指の位置）として、座標算出部１０２に供給する。

ステップＳ３において、座標算出部１０２は、位置検出部１０１からの４画素それぞれのLED４１bの位置（例えば図７に示す位置１２１a乃至１２１d）に対応する、撮像画像１２１上の座標(x,y)を算出する。そして、算出した４つの座標(x,y)の、例えば重心を、LED４１bの位置を示す座標として、送信部６３に供給する。

ステップＳ４において、送信部６３は、座標算出部１０２からの座標を、PC４３に送信する。このとき、PC４３は、送信部６３からの座標に基づいて、LED４１bが移動した移動方向、移動量、移動速度等を検出し、検出した移動方向に、検出した移動量や移動速度に対応する距離だけ、表示画面４３a上のポインタを移動させる。

以上説明したように、第１の座標算出処理では、接触点と同一の移動方向及び移動量で移動するとともに、クリック動作に（殆ど）影響されない小指の位置をトレースポイントとし、そのトレースポイントを示す座標を算出して、PC４３に送信するようにした。したがって、他の指をトレースポイントとした場合と比較して、ポインタの移動やクリック等の操作性をより向上させることができる。

すなわち、例えば、トレースポイントである小指は、クリック動作に影響されて動いてしまうことがないため、クリック動作時に生じるトレースポイントの位置ずれを防止することが可能となる。

また、両手の小指それぞれにLED４１bを装着した場合には、２つのポインタを同時に移動させるとともに、クリックを行うことが可能となるため、マルチタッチインタフェースに対応することが可能となる。

さらに、操作者の小指に装着されたLED４１bは、手首を回転軸として親指と人指し指との接触点が描く軌跡と（殆ど）同じ軌跡を描く。よって、操作者は、トレースポイントとして、直感的に認識される親指と人指し指との接触点を、トレースポイントとして認識した状態で、容易に操作を行うことが可能となる。

また、操作者は、例えば、マウスを用いてポインタを移動させるときのように、片手の形状をマウスの形状に合わせることにより、片手を、片手の甲の方向に沿った状態（手の甲と、肘から手首までの腕により形成される手首の角度が小さい不自然な状態）を維持する必要がなく、操作者に負担のかからない片手の形状を維持した状態（手首の角度が大きい（１６０度乃至１８０度程度）の自然な状態）で、ポインタを移動させることが可能である。

次に、図９乃至図１３を参照して、トレースポイントを小指とした情報処理システム２１が、トレースポイントを小指以外の他の指（例えば、人差し指）とした場合と比較して、より操作性を向上させることができるシステムであることを説明する。

[情報処理システムの外観例]
図９は、トレースポイントを人指し指とする情報処理システム１４１の外観の一例を示している。

この情報処理システム１４１は、クリック検出部４１aが、人差し指に代えて中指に装着されているとともに、LED４１bが、小指に代えて人差し指に装着されている他は、図３の情報処理システム２１と同様に構成されているため、情報処理システム１４１の説明は省略する。

[被験者による実験結果]
次に、図１０乃至図１３を参照して、小指をトレースポイントとしたほうが、例えば人指し指をトレースポイントとする場合と比較して、所定の位置でクリックを行う精度が向上することを説明する。

図１０は、被験者１を対象として、２つの異なる位置で交互にクリックする動作を１０往復だけ行わせる実験を、小指をトレースポイントとする情報処理システム２１により行うとともに、人指し指をトレースポイントとする情報処理システム１４１により行ったときの実験結果を示している。

図１０A及び図１０Bに示す表示画面４３aには、左側の領域T_L、及び右側の領域T_Rが表示されている。なお、領域T_L及び領域T_Rは、直径７(mm)の円を示しており、領域T_Lと領域T_Rは、７０(mm)だけ離れて配置されている。また、表示画面４３a内の黒点は、操作者がクリックを行ったときのポインタのクリック位置を示している。

なお、表示画面４３aの大きさは１１インチであって、その解像度は1280×768（横×縦）画素である。

被験者１は、情報処理システム２１と情報処理システム１４１とを用いて、表示画面４３aに表示される領域T_Lと領域T_Rを交互にクリックする動作を、１０往復だけ行う。なお、この実験は、操作入力装置４１と表示画面４３aとを、300(mm)の距離だけ離した状態で行われる。

小指をトレースポイントとする情報処理システム２１（第１の実施の形態）により実験を行った場合、図１０Aに示したように、被験者１のクリック位置が、領域T_L及び領域T_R内にすべて含まれている。

人指し指をトレースポイントとする情報処理システム１４１により実験を行った場合、図１０Bに示したように、被験者１のクリック位置が、領域T_L及び領域T_Rから外れてしまっている。

次に、図１１乃至図１３には、それぞれ、被験者２乃至被験者４を対象として、上述の実験を行ったときの実験結果を示している。

なお、被験者１乃至４は、それぞれ異なる被験者を示している。また、図１１乃至図１３は、上述した図１０と同様に構成されているため、説明は省略する。

図１０乃至図１３において、被験者１乃至被験者４のいずれの場合においても、小指をトレースポイントとする情報処理システム２１の方が、領域T_L及び領域T_Rに対するクリック位置の精度が良いことがわかる。

上述した第１の実施の形態では、操作者の小指(LED４１b)を撮像した撮像画像に対して、画像処理を行うことにより、操作者の小指の位置を示す座標を算出することとしたが、図１４乃至図１６に示すように、操作者の小指の動きに応じて生じる３軸方向の加速度等を検出し、検出した加速度等に基づいて、座標を算出することが可能である。

<２．第２の実施の形態>
[情報処理システムの外観例]
図１４は、本発明の第２の実施の形態である情報処理システム１５１の外観の一例を示している。

なお、図中、図３に示された第１の外観例に対応する部分については同一の符号を付してあるため、以下、その説明は適宜省略する。すなわち、第２の実施の形態である情報処理システム１５１は、第１の実施の形態である情報処理システム２１（図３）に対して、LED４１bに代えて座標入力部１６１（位置情報入力装置）が、受信装置４２に代えて受信装置１６２が、それぞれ設けられたものである。

座標入力部１６１は、操作者の小指に装着されており、操作者の小指の動きに応じて生じる３軸方向の加速度等を示す動き情報に基づいて、操作者の小指の位置を示す座標を算出（更新）し、受信装置１６２に送信する。

受信装置１６２は、PC４３の表示画面４３aの下側に固定されており、制御部４１cからのクリック信号を受信し、PC４３に供給する。

また、受信装置１６２は、座標入力部１６１からの座標を受信し、USB等の有線を介してPC４３に供給する。

[座標入力部の構成例]
図１５は、座標入力部１６１の構成例を示している。

この座標入力部１６１は、モーションセンサ１８１、座標算出部１８２、及び送信部１８３により構成される。

モーションセンサ１８１は、加速度センサやジャイロセンサであり、操作者の小指の動きに応じて生じる３軸方向の加速度等を検出し、その検出結果を示す動き情報を、座標算出部１８２に供給する。

座標算出部１８２は、モーションセンサ１８１からの動き情報に基づいて、操作者の小指の位置を示す座標を算出（更新）し、送信部１８３に供給する。

送信部１８３は、座標算出部１８２からの座標を、受信装置１６２に送信する。

[座標入力部の動作説明]
次に、図１６のフローチャートを参照して、座標入力部１６１が行う第２の座標算出処理を説明する。

ステップＳ３１において、モーションセンサ１８１は、加速度センサやジャイロセンサであり、操作者の小指の動きに応じて生じる３軸方向の加速度等を検出し、その検出結果を示す動き情報を、座標算出部１８２に供給する。

ステップＳ３２において、座標算出部１８２は、モーションセンサ１８１からの動き情報に基づいて、操作者の小指の位置を示す座標を算出（更新）し、送信部１８３に供給する。

ステップＳ３３において、送信部１８３は、座標算出部１８２からの座標を、受信装置１６２に送信する。このとき、受信装置１６２は、送信部１８３からの座標を、PC４３に供給する。そして、PC４３は、受信装置１６２からの座標に対応して、表示画面４３a上のポインタを移動させる。

以上説明したように、第２の座標算出処理では、接触点と同一の移動方向及び移動量で移動するとともに、クリック動作に（殆ど）影響されない小指の位置をトレースポイントとし、そのトレースポイントを示す座標を算出して、受信装置１６２を介してPC４３に送信するようにした。したがって、他の指をトレースポイントとした場合と比較して、ポインタの移動やクリック等の操作性をより向上させることができる。

＜３．第１の実施の形態の変形例＞

なお、第１の実施の形態では、図５の位置検出部１０１が、カメラ６１からの撮像画像１２１を構成する複数の画素の輝度値のうち、輝度値の大きい順に上位４位までの輝度値それぞれに対応する４画素の位置を検出することとした。

しかしながら、検出した４画素の輝度値が、LED４１bが発光する光の輝度値として想定される範囲内でない場合には、検出した４画素それぞれの位置を、LED４１bの位置として検出しないようにすることが可能である。この場合、LED４１bの位置が誤って検出されることを防止することができる。

また、位置検出部１０１が検出する画素数は４個に限定されず、５個以上又は３個以下の画素数を採用することが可能である。

さらに、第１の実施の形態では、座標算出部１０２が、位置検出部１０１からの４画素それぞれのLED４１bの位置に対応する、撮像画像１２１上の座標(x,y)の重心を、LED４１bの位置を示す座標として算出したが、これに限定されない。

すなわち、例えば、座標算出部１０２は、４画素それぞれのLED４１bの位置に対応する、撮像画像１２１上の座標(x,y)を、そのまま、受信装置４２の送信部６３、及びPC４３の受信部８１を介して、アプリケーション部８２に供給するようにしてもよい。そして、アプリケーション部８２は、座標算出部１０２からの４画素それぞれのLED４１bの位置に対応する、撮像画像１２１上の座標(x,y)から、LED４１bの位置を示す座標を算出し、算出した座標に対応して、表示画面４３a上のポインタを移動させる。

この場合、座標算出部１０２は、撮像画像１２１上の座標(x,y)の重心を算出する場合と比較して、より迅速に処理を行うことが可能となる。

また、第１の実施の形態では、操作者の小指の位置を検出するための目印（マーカ）として、操作者の小指にLED４１bを装着し、位置検出部１０１が、撮像画像から、LED４１bの位置を、操作者の小指の位置として検出することとしたが、操作者の小指を検出するための目印は、これに限定されない。

すなわち、操作者の小指を検出するための目印としては、その他、例えば、操作者の小指にはめられた指輪、小指に塗布された所定の波長を反射するマニキュア等を採用することが可能である。

なお、小指に塗布されたマニキュアを、操作者の小指の位置として検出する場合には、操作入力装置４１が不要になり、LED４１bを装着する場合と比較して、片手の動きが制限されなくなるため、例えば、文字を書く等の他の動作を容易に行うことが可能となる。

さらに、第１の実施の形態では、操作者の小指の位置を検出するために、操作者の小指にLED４１bを装着することとしたが、スケルトンモデル(skelton model)や容量モデル(volumetric model)等の３次元モデルを用いることにより、LED４１b等の目印を装着（付加）することなく、操作者の小指の関節の位置を検出することが可能である。

すなわち、例えば、図５の位置検出部１０１は、操作者の手を撮像した撮像画像から、操作者の手の形状を示すシルエットを生成し、生成したシルエットと、様々な手の形状を示す複数の３次元モデルとを比較して、生成したシルエットと最も類似（マッチ）する３次元モデルを、操作者の手の形状を表す３次元モデルとして決定する。

そして、決定された３次元モデルに対して、拡張カルマンフィルタ（EKF，extended kalman filter）を適用することにより、操作者の手を構成する小指の各関節の３次元位置を検出することが可能である。この場合、小指に塗布されたマニキュアを、操作者の小指の位置として検出する場合と同様に、操作入力装置４１が不要になり、例えば、文字を書く等の他の動作を容易に行うことが可能となる。

なお、関節の３次元位置を検出するためのより詳細な検出方法は、例えば、N.Shimada, Y.Shirai, Y.Kuno, J.Miura,”Hand gesture estimation and model refinement using monocular camera-ambiguilty limitation by inequality constraints,””Proc.IEEE International Conference on Automatic Face and Gesture Recognition '98,pp.268-273,1998”に記載されている。

また、拡張カルマンフィルタについては、R.Kalman,”A new approach to linear filtering and prediction problem,” Journal of Basic Engineering,Vol.82,pp.35-45,1960.に、より詳細に記載されている。

さらに、位置検出部１０１は、LED４１bの位置を、操作者の小指の位置として検出することとしたが、例えば、撮像画像内の、操作者の小指を示す領域の重心を、操作者の小指の位置として検出することができる。

この場合、例えば、操作者が、ポインタの移動を意図せずに小指を動かしてしまったときでも、操作者の小指の位置として重心を採用することにより、操作者の意図しない小指の動きにより、ポインタが大きく移動してしまうことを抑止することが可能となる。

また、第１の実施の形態では、情報処理システム２１において、受信装置４２とPC４３とを別々の装置としたが、受信装置４２とPC４３とを、両機能を有する電子装置として構成することが可能である。

なお、本発明は、操作者の片手のジェスチャを認識し、その認識結果に基づいて、PCの他、テレビジョン受像機、カーナビゲーション装置、画像を写真立てのように表示させるデジタルフォトフレーム等の表示制御装置への操作入力が可能な入力装置に適用することが可能である。

次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

[コンピュータの構成例]
図１７は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。

CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図１７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に記録されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

ジェスチャ認識技術を説明するための図である。 エアタップ操作技術を説明するための図である。 第１の実施の形態である情報処理システムの外観の一例を示す図である。 受信装置、及びPCの詳細な構成例を示すブロック図である。 DSPにより実現される制御部の一例を示すブロック図である。・ カメラにより撮像された撮像画像を示す図である。 撮像画像内に定義されるXY座標を示す図である。 第１の座標算出処理を説明するフローチャートである。 トレースポイントを人指し指とする情報処理システムの外観の一例を示す図である。 被験者１を対象とした実験結果を示す図である。 被験者２を対象とした実験結果を示す図である。 被験者３を対象とした実験結果を示す図である。 被験者４を対象とした実験結果を示す図である。 第２の実施の形態である情報処理システムの外観の一例を示す図である。 座標入力部の構成例を示すブロック図である。 第２の座標算出処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

符号の説明

２１ 情報処理システム， ４１ 操作入力装置， ４１a クリック検出部， ４１b LED， ４１c 制御部， ４２ 受信装置， ４３ PC， ６１ カメラ， ６２ DSP， ６３ 送信部， ８１ 受信部， ８２ アプリケーション部， １０１ 位置検出部， １０２ 座標算出部， １５１ 情報処理システム， １６１ 座標入力部， １６２ 受信装置， １８１ モーションセンサ， １８２ 座標算出部， １８３ 送信部

Claims (11)

1. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置において、
   所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、
   生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、
   検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、
   算出された前記位置情報を入力する入力手段と
   を含む位置情報入力装置。
2. 予め用意した３次元モデルと前記撮像画像とを比較する比較手段をさらに含み、
   前記検出手段は、前記比較手段による比較結果に基づいて、前記操作者の小指を検出する
   請求項１に記載の位置情報入力装置。
3. 前記操作者の小指には、マーカが付加されており、
   前記検出手段は、前記撮像画像から、前記マーカを前記操作者の小指として検出し、
   前記算出手段は、前記マーカの位置を示す前記位置情報を算出する
   請求項１に記載の位置情報入力装置。
4. 前記算出手段は、前記撮像画像内の、前記操作者の小指を示す領域の重心を、前記位置情報として算出する
   請求項１に記載の位置情報入力装置。
5. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置の位置情報入力方法において、
   前記位置情報入力装置は、
   撮像手段と、
   検出手段と、
   算出手段と、
   入力手段と
   を含み、
   前記撮像手段が、所定の撮像範囲を撮像して撮像画像を生成し、
   前記検出手段が、生成された前記撮像画像から、前記操作者の小指を検出し、
   前記算出手段が、検出された前記小指の、前記撮像画像における前記位置情報を算出し、
   前記入力手段が、算出された前記位置情報を入力する
   ステップを含む位置情報入力方法。
6. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置のコンピュータを、
   所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、
   生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、
   検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、
   算出された前記位置情報を入力する入力手段と
   して機能させるためのプログラム。
7. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置と、入力された前記位置情報に応じた処理を実行する前記情報処理装置とにより構成される情報処理システムにおいて、
   前記位置情報入力装置が、
   所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、
   生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、
   検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、
   算出された前記位置情報を、前記情報処理装置に入力する入力手段と
   を含み、
   前記情報処理装置が、
   入力された前記位置情報に応じた処理を実行する処理手段
   を含む情報処理システム。
8. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置において、
   前記操作者の小指に生じた加速度を検出する加速度検出手段と、
   検出された前記加速度に基づいて、前記位置情報を更新する更新手段と、
   更新された前記位置情報を入力する入力手段と
   を含む位置情報入力装置。
9. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置の位置情報入力方法において、
   前記位置情報入力装置は、
   加速度検出手段と、
   更新手段と、
   入力手段と
   を含み、
   前記加速度検出手段が、前記操作者の小指に生じた加速度を検出し、
   前記更新手段が、検出された前記加速度に基づいて、前記位置情報を更新し、
   前記入力手段が、更新された前記位置情報を入力する
   ステップを含む位置情報入力方法。
10. 操作者が指示する位置を示す位置情報を所定の情報処理装置に入力する位置情報入力装置のコンピュータを、
    前記操作者の小指に生じた加速度を検出する加速度検出手段と、
    検出された前記加速度に基づいて、前記位置情報を更新する更新手段と、
    更新された前記位置情報を入力する入力手段と
    して機能させるためのプログラム。
11. 操作者が指示する位置を示す位置情報に応じた処理を実行する電子装置において、
    所定の撮像範囲を撮像して撮像画像を生成する撮像手段と、
    生成された前記撮像画像から、前記操作者の小指を検出する検出手段と、
    検出された前記小指の、前記撮像画像における前記位置情報を算出する算出手段と、
    算出された前記位置情報に応じた処理を実行する処理手段と
    を含む電子装置。

Images