JP3749369B2 - ハンドポインティング装置 - Google Patents
ハンドポインティング装置 Download PDFInfo
- Publication number
- JP3749369B2 JP3749369B2 JP36962897A JP36962897A JP3749369B2 JP 3749369 B2 JP3749369 B2 JP 3749369B2 JP 36962897 A JP36962897 A JP 36962897A JP 36962897 A JP36962897 A JP 36962897A JP 3749369 B2 JP3749369 B2 JP 3749369B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- imaging
- information input
- recognition target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はハンドポインティング装置に係り、特に、認識対象者を撮像し、認識対象者が指し示した位置又は方向を判断するハンドポインティング装置に関する。
【０００２】
【従来の技術】
従来より、所定の情報を表示するディスプレイ、ディスプレイの近傍に到来した情報入力者を照明する照明装置、到来した情報入力者を互いに異なる方向から撮像する複数の撮像手段を備え、到来した情報入力者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて情報入力者を認識し、情報入力者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、情報入力者が親指を上げるクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたと認識して所定の処理を行うハンドポインティング入力装置が知られている（例えば特開平4-271423号公報、特開平 5-19957号公報、特開平5-324181号公報等参照）。
【０００３】
上記のハンドポインティング入力装置によれば、情報入力者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。
【０００４】
【発明が解決しようとする課題】
しかしながら、ハンドポインティング入力装置を実際に運用する環境下では、認識対象物体である情報入力者の周囲に、例えば情報入力者の荷物やゴミ等の認識対象でない物体が存在している可能性がある。照明装置から射出された照明光は情報入力者の周囲にも照射されるので、上記のような非認識対象物体が情報入力者の周囲に存在していると、撮像手段の撮像によって得られた画像中に、非認識対象物体が高輝度の物体として存在することになり、非認識対象物体を情報入力者と誤認識する可能性が高い。
【０００５】
この情報入力者の誤認識を回避するためには、情報入力者の認識の精度を高くする必要があり、例えば、輝度の他に複数の画像特徴量も用いて総合的に情報入力者を認識する等の煩雑な画像処理（例えば画像特徴量の１つである輪郭形状に基づくパターンマッチング等）を行う必要がある。従って、撮像によって得られた画像に基づき認識等の画像処理を行う画像処理部に多大な負荷が加わるので、情報入力者からの指示の判定に時間がかかる原因になっていた。そして、情報入力者からの指示の判定に要する時間を短縮するためには処理速度の高い画像処理部を用いる必要があり、装置のコストが嵩むという問題があった。
【０００６】
また従来は、撮像によって得られた画像上での情報入力者の特徴点（例えば人指し指の先端等）の位置から、演算によって特徴点の３次元座標を求め、情報入力者が指示したディスプレイ上の位置を判定していたが、特徴点の３次元座標を求めるための演算処理が複雑であり、上記と同様に、情報入力者からの指示の判定に時間がかかる原因になっていた。
【０００７】
また従来は、親指を上げる動作をクリック動作として予め定めておき、クリック動作として親指を上げる動作のみを検出するようにしていたが、動作としての自由度が低く、使い勝手が悪いという問題があった。しかし、クリック動作として親指を上げる動作以外に別の動作も検出するようにすると、クリック動作を検出するための処理が煩雑になり、クリック動作の検出に時間がかかるという問題があった。
【０００８】
本発明は上記事実を考慮して成されたもので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができるハンドポインティング装置を得ることが目的である。
【０００９】
また本発明は、認識対象者からの指示の判定に時間がかかることなく、認識対象者が指示するための動作の自由度を向上させることができるハンドポインティング装置を得ることが目的である。
【００１０】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係るハンドポインティング装置は、認識対象者を照明する照明手段と、互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ前記照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整された複数の撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００１１】
本発明において、認識対象者は、例えばディスプレイの表示面等の面上の特定の位置を指し示してもよいし、特定の方向（例えば認識対象者から見て特定の物体が存在している方向）を指し示してもよい。判断手段は、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する。この指し示した特定の位置又は方向の判断は、具体的には、認識対象者の特徴点（認識対象者が特定の位置又は方向を指し示す動作に応じて位置が変化する点、例えば指し示す動作を行っている認識対象者の身体の所定部分（例えば手、指等）の先端や、認識対象者が把持している指示器の先端等）の３次元座標を演算し、認識対象者の位置と前記特徴点の３次元座標に基づいて行うことができる。
【００１２】
また請求項１記載の発明では、複数の撮像手段の撮像範囲が、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように各々調整されている。これにより、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとしても、この非認識対象物体が撮像手段の撮像範囲内に入る可能性が低くなると共に、仮に非認識対象物体が撮像範囲内に入っていたとしてもその輝度は低くなるので、撮像手段の撮像によって得られた画像についても、非認識対象物体に相当する画像部が存在する確率が低く、かつ前記画像部が存在していたとしてもその輝度が低くなる。
【００１３】
このため、判断手段での認識対象者に相当する画像部の抽出において、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００１４】
請求項２記載の発明に係るハンドポインティング装置は、互いに異なる方向から認識対象者を照明する複数の照明手段と、互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整された複数の撮像手段と、認識対象者が特定の位置又は方向を指し示しているときに、複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段によって照明される床面上の照明範囲が撮像範囲から外れている撮像手段によって前記認識対象者を撮像させ、該撮像によって得られた画像を出力させる制御手段と、前記複数の撮像手段から各々出力された複数の画像に基づいて、前記画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００１５】
請求項２記載の発明では、互いに異なる方向から認識対象者を照明する複数の照明手段が設けられており、複数の撮像手段は、互いに異なる位置に配置され、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整されている。これにより、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとしても、この非認識対象物体が各撮像手段の撮像範囲内に入る可能性が低くなる。
【００１６】
また制御手段は、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段による床面上の照明範囲が撮像範囲から外れている撮像手段によって認識対象者を撮像させ、該撮像によって得られた画像を出力させる。これにより、仮に非認識対象物体が撮像範囲内に入っていたとしても、その輝度が低い状況で各撮像手段での撮像が行われ、撮像によって得られた画像が出力されることになる。
【００１７】
そして、判断手段は、複数の撮像手段から各々出力された複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する。これにより、請求項１の発明と同様に、非認識対象物体に相当する画像部が存在する確率が低く、かつ該画像部が存在していたとしてもその輝度が低い複数の画像に基づいて、認識対象者に相当する画像部の抽出が行われるので、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００１８】
請求項３記載の発明に係るハンドポインティング装置は、互いに異なる方向から認識対象者を照明する複数の照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、認識対象者が特定の位置又は方向を指し示しているときに、前記複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、前記複数の画像中の前記認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う判別手段と、前記判別手段による判別結果に基づいて、前記複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００１９】
請求項３記載の発明では、判別手段が、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、複数の画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う。
【００２０】
複数の照明手段は認識対象者を照明する方向が互いに異なっているので、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られる複数の画像において、認識対象者に相当する画像部については常に高い輝度となるが、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとすると、該非認識対象物体に相当する画像部については、撮像時の照明の方向によって輝度が大きく変動する。従って、画像中の各画像部の輝度を前記複数の画像に亘って比較（例えば輝度の平均値や最低値を各画像部毎に比較）する、という非常に簡単な処理により、画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することができる。
【００２１】
そして判断手段は、判別手段による判別結果に基づいて、複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断するので、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができ、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００２６】
請求項４記載の発明に係るハンドポインティング装置は、所定箇所に到来した認識対象者を照明する照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、前記所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を各々記憶する記憶手段と、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の前記認識対象者に相当する画像部を抽出して認識対象者の特徴点の前記各画像上での位置を求め、前記各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の３次元座標を求め、求めた特徴点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００２７】
請求項４記載の発明では、所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報が記憶手段に各々記憶されている。判断手段は、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の認識対象者に相当する画像部を抽出して認識対象者の特徴点の各画像上での位置を求め、各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の３次元座標を求め、認識対象者が指し示した位置又は方向を判断する。
【００２８】
このように、請求項４の発明では、所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点の各々の３次元座標と、各撮像手段の撮像によって得られる各画像上での各仮想点の位置との対応が、記憶手段に記憶されている情報により予め判明しており、認識対象者の特徴点の３次元座標を前記情報に基づいて求めているので、非常に簡単な処理で認識対象者の特徴点の３次元座標を求めることができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００２９】
また、請求項４の発明では、多数の仮想点が一定間隔で格子状に並んでいるので、特徴点が所定箇所付近の何れの位置に位置していたとしても、特徴点に近接した位置に仮想点が存在していることになる。３次元座標上で近接した位置に存在している可能性の高い仮想点の３次元座標に基づいて特徴点の３次元座標を求めることにより、特徴点の３次元座標上での位置に拘らず、特徴点の３次元座標を精度良く求めることができる。
【００３１】
また、上記のように多数の仮想点が一定間隔で格子状に並んでいる場合、特徴点の３次元座標は、例えば以下のようにして求めることができる。すなわち、請求項５記載の発明は、請求項４の発明において、判断手段は、複数の撮像手段の撮像によって得られる各画像上での特徴点の位置を各々求めた後に、画像上での位置が前記特徴点を包含する所定範囲内である仮想点を前記各画像から各々抽出し、前記各画像から共通に抽出された仮想点の３次元座標に基づいて前記特徴点の３次元座標を求めることを特徴としている。
【００３２】
請求項５の発明では、判断手段が、各画像上での特徴点の位置を各々求めた後に、画像上での位置が特徴点を包含する所定範囲内である仮想点を各画像から各々抽出する。これにより、３次元座標上で特徴点に近接した位置に存在している可能性がある仮想点が全て抽出される。なお、前記所定範囲の広さは仮想点の間隔に応じて定めることができる。また判断手段は、各画像から共通に抽出された仮想点の３次元座標に基づいて特徴点の３次元座標を求めている。撮像手段の撮像によって得られる画像は撮像範囲内の状況を平面に投影した画像であるので、３次元座標が異なっているものの撮像手段から重なって見える位置関係にある点は撮像によって得られた画像上での位置が等しいが、各画像から共通に抽出された仮想点は３次元座標上で特徴点に近接した位置に存在している仮想点であるので、前記共通に抽出された仮想点の３次元座標から特徴点の３次元座標を求めることにより、特徴点の３次元座標を更に精度良く求めることができる。
【００３３】
なお、記憶手段に記憶する情報は、認識対象者が到来する所定箇所と撮像手段との位置関係が正確に一定である場合には、所定箇所付近に位置している複数の仮想点の各々の３次元座標、及び各撮像手段の撮像によって得られる各画像上での複数の仮想点の各々の位置を実験等により測定し、測定結果に基づいて固定的に設定することも可能であるが、前記位置関係にばらつきがあったり、個々のハンドポインティング装置毎に前記位置関係が大幅に異なる設計となっている等の場合には、記憶手段に記憶する情報を設定し直す必要がある。
【００３４】
上記を考慮し、請求項６記載の発明は、請求項４の発明において、前記仮想点の位置にマーカが位置している状況を前記複数の撮像手段によって撮像させ、前記仮想点の３次元座標と各撮像手段の撮像によって得られた各画像上でのマーカの位置とに基づいて、仮想点の３次元座標と前記各画像上での仮想点の位置とを対応付ける情報を生成し、前記記憶手段に記憶させる生成手段を更に備えたことを特徴としている。
【００３５】
なお、上記のマーカは撮像によって得られた画像上での識別が容易なものであればよく、例えば特有の色に着色されたマークや、ＬＥＤ等の発光源を用いることができる。また、所定位置にマーカを位置させることは、人間が行ってもよいし、マーカを任意の位置に移動可能な移動手段を設けて自動的に行ってもよい。移動手段によってマーカを移動させる場合には、移動手段によるマーカの移動量から所定位置の３次元座標を求めることができる。
【００３６】
請求項６の発明では、仮想点の３次元座標と前記各画像上での仮想点の位置とを対応付ける情報が生成手段によって自動的に生成されるので、認識対象者が到来する所定箇所と撮像手段との位置関係にばらつきがあったり、個々のハンドポインティング装置毎に前記位置関係が大幅に異なる設計となっている等の場合であっても、仮想点の３次元座標と前記各画像上での仮想点の位置とを精度良く対応付ける情報を自動的に得ることができる。
【００４０】
ところで、人間が特定の位置や特定の方向を指し示す動作では、指し示す位置や方向を変更した場合であっても、指先等は一般に腕の付け根付近を中心とする仮想的な球面に沿って移動するのみであり、指先等と腕の付け根を含む胴体部との距離は殆ど変化しない。
【００４１】
上記に着目し、請求項７記載の発明に係るハンドポインティング装置は、認識対象者を照明する照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、前記基準点と前記特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する処理手段と、を含んで構成している。
【００４２】
請求項７記載の発明に係る判断手段は、複数の画像から認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する。また処理手段は、基準点と特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する。なお特徴点としては、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する点を用いることができ、基準点としては、例えば認識対象者の胴体部（例えば胸部や腕の付け根等）に相当する点を用いることができる。
【００４３】
これにより、基準点から特徴点に向かう方向が認識対象者から見て指示対象としての位置又は方向に対応するように、基準点に対する特徴点の方向を調節する動作を行えば、指し示した位置又は方向が判断手段によって判断され、認識対象者が腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離が変化し、この距離の変化に基づいて所定の処理が行われることになる。
【００４４】
このように、請求項７の発明は、基準点及び特徴点の位置関係から認識対象者が指し示した位置又は方向が判断されると共に、基準点及び特徴点の距離（相対位置）の変化に基づいて所定の処理の実行が指示されたか否かが判断されるので、撮像手段による撮像方向を、指の上げ下げ等の動作を考慮することなく、基準点及び特徴点が確実に検出できるように定めることができると共に、所定の処理の実行が指示されたか否かを判定するために、新たな画像特徴量を検出する必要もない。そして、基準点と特徴点の距離は人間が特定の位置や特定の方向を指し示す動作では殆ど変化しない。従って、請求項７の発明によれば、認識対象者による所定の処理の実行を指示する動作（腕を屈曲又は伸長させる動作）を短時間で確実に検出することができ、認識対象者からの指示を短時間で判定することができる。
【００４５】
なお処理手段は、所定の処理として、例えば基準点と特徴点との距離が変化したときに認識対象者が指し示していた位置又は方向に関連する処理を実行することができるが、腕を屈曲又は伸長させる動作は、上記の所定の処理の実行を指示するための動作として極めて自然な動作であるので、所定の処理の実行を指示する動作を、認識対象者が違和感を感ずることなく行うことができる。
【００４６】
また、腕を屈曲又は伸長させる動作に伴う基準点と特徴点との距離の変化方向には２種類ある（距離が増加する方向及び減少する方向）ので、請求項８に記載したように、基準点と特徴点との距離が増加した場合には第１の所定の処理を行い、基準点と特徴点との距離が減少した場合には前記第１の所定の処理と異なる第２の所定の処理を行うようにしてもよい。
【００４７】
請求項８の発明では、認識対象者が腕を伸長させる動作（この場合、基準点と特徴点との距離は増加する）を行うと第１の所定の処理が行われ、認識対象者が腕を屈曲させる動作（この場合、基準点と特徴点との距離は減少する）を行うと第２の所定の処理が行われるので、マウスの左クリックと右クリックのように、第１の所定の処理及び第２の所定の処理のうち実行させるべき処理を認識対象者が選択することが可能となる。そして、認識対象者が上記の何れかの動作を行うことにより、第１の所定の処理及び第２の所定の処理のうち認識対象者によって選択された処理を確実に実行することができる。
【００４８】
なお、基準点と特徴点との距離の変化に基づいて所定の処理の実行が指示されたか否かを判断することは、具体的には、例えば基準点と特徴点との距離の変化の大きさに基づいて、距離の変化が所定値以上となった場合に所定の処理の実行が指示されたと判断することも可能ではあるが、所定の処理の実行を意図しない別の動作において基準点と特徴点との距離が大きく変化したとすると、認識対象者からの指示を誤判断する可能性もある。
【００４９】
これを考慮すると、請求項９に記載したように、処理手段は、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行することが好ましい。
【００５０】
請求項９の発明では、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行するので、認識対象者が、腕を素早く屈曲又は伸長させる、という特有の動作を行うことによって、基準点と特徴点との距離の変化速度が閾値以上になって所定の処理が実行されることになる。これにより、認識対象者による所定の処理の実行を指示する動作の認識率が向上し、認識対象者が所定の処理の実行を指示する動作を行った場合にのみ、これを確実に検知して所定の処理を実行することができる。
【００５１】
また、認識対象者の体格は一定ではないと共に、認識対象者の筋力等も一定ではないので、処理手段に所定の処理を行わせるために認識対象者が腕を素早く屈曲又は伸長させる動作を行ったとしても、基準点と特徴点との距離の変化速度は個々の認識対象者毎にばらつきがある。従って、所定の処理を行わせるために認識対象者が腕を素早く屈曲又は伸長させる動作を行ったとしても検知できなかったり、逆に認識対象者が前記動作を行っていないにも拘らず前記動作を誤検知することも考えられる。
【００５２】
このため請求項１０記載の発明は、請求項９の発明において、処理手段に所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの基準点と特徴点との距離の変化速度に基づいて前記閾値を予め設定する閾値設定手段を更に備えたことを特徴としている。
【００５３】
請求項１０記載の発明では、処理手段に所定の処理を行わせるために認識対象者が腕を屈曲又は伸長させる動作（腕を素早く屈曲又は伸長させる動作）を行ったときの基準点と特徴点との距離の変化速度に基づいて、処理手段が所定の処理を行うか否かの閾値を予め設定するので、個々の認識対象者の体格や筋力等に応じた閾値を得ることができる。そして、この閾値を用いて所定の処理の実行が指示されたか否かを判断することにより、個々の認識対象者の体格や筋力等のばらつきに拘らず、認識対象者による所定の処理の実行を指示する動作を確実に検知して所定の処理を実行することができる。
【００５４】
また請求項７の発明において、請求項１１に記載したように、認識対象者の腕が下げられたか否かを検出する第２の検出手段を設け、処理手段は、第２の検出手段によって認識対象者の腕が下げられたことが検出された場合には、処理を実行又は停止している状態を継続するようにすれば、ある処理を継続して実行させるために、認識対象者が継続的に腕を上げ続ける必要がなくなるので、認識対象者の負担を軽減することができる。
【００５５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示すように、本発明の認識対象者としての情報入力者１０が到来する箇所の壁面には大画面ディスプレイ１２が埋め込まれている。なお、ディスプレイ１２としては液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、光ファイバディスプレイ等の周知の表示手段を適用できる。
【００５６】
ディスプレイ１２はパーソナルコンピュータ等から成る情報処理装置１４に接続されており（図２参照）、情報処理装置１４により、各種の情報が表示面上に図形、表、文字、画像等の種々の表示形態で表示される。本実施形態において、情報入力者１０は、ディスプレイ１２の前方の図１に示した箇所（情報入力空間）に到来し、ディスプレイ１２の表示面上の各種情報が表示されている位置を指し示すと共に、クリック動作（詳細は後述）を行うことにより、情報処理装置１４に対して各種の指示を与えたり各種の処理を実行させる。
【００５７】
図２に示すように、情報処理装置１４には、本実施形態に係るハンドポインティング入力装置２０のコントローラ２２が接続されている。コントローラ２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄを備えており、これらがバスを介して互いに接続されて構成されている。入出力インタフェース２２Ｄには情報処理装置１４が接続されていると共に、記憶内容を書換え可能な不揮発性の記憶装置２４、各種の情報を表示するためのディスプレイ２６、オペレータが各種の指示やデータを入力するためのキーボード２８が接続されている。
【００５８】
また、コントローラ２２の入出力インタフェース２２Ｄには照明制御装置３０が接続されており、この照明制御装置３０には、近赤外域の波長の光をビーム状に射出する複数の近赤外光照明装置３２Ａ、３２Ｂが接続されている。図１に示すように、近赤外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の互いに異なる箇所に配設されており、情報入力空間に到来した情報入力者１０を、互いに異なる方向から照明するように照射範囲が調整されている（図３も参照）。照明制御装置３０は、コントローラ２２から指示に応じて照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。
【００５９】
コントローラ２２の入出力インタフェース２２Ｄには撮像制御装置３４が接続されており、この撮像制御装置３４には、情報入力空間の上方の互いに異なる箇所に配設された（図１参照）複数のビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオカメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光に感度を有するＣＣＤ等から成るエリアセンサを備えていると共に、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられている。
【００６０】
また図３に示すように、ビデオカメラ３６Ａは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ａから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において、照明装置３２Ａによる照明範囲の中心と床面から所定高さで交差するように向きが調整されている。従ってビデオカメラ３６Ａは、照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように撮像範囲が調整されている。同様にビデオカメラ３６Ｂは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ｂから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において、照明装置３２Ｂによる照明範囲の中心と床面から所定高さで交差するように向きが調整されている。
【００６１】
このように、ビデオカメラ３６Ａ、３６Ｂは、互いに異なる照明装置によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整されており、請求項１、より詳しくは請求項２に記載の撮像手段に対応している。
【００６２】
また、コントローラ２２の入出力インタフェース２２Ｄにはマーク板駆動装置３８も接続されている。図４に示すように、ハンドポインティング入力装置２０は、情報入力空間の近傍に配設されたマーク板４０を備えている。マーク板４０は、透明な平板に多数のマーク４０Ａがマトリクス状に等間隔で記録されて構成されており、マーク４０Ａの配列方向に直交する方向（図４の矢印Ａ方向）に沿って情報入力空間を横切るように移動可能とされている。なおマーク４０Ａは、画像上での認識が容易な色（例えば赤色）に着色されている。マーク板駆動装置３８は、コントローラ２２からの指示に応じてマーク板４０を図４の矢印Ａ方向に沿って移動させる。
【００６３】
次に本実施形態の作用として、まず、ハンドポインティング入力装置２０が設置された際に行われる格子点位置情報初期設定処理について、図５のフローチャートを参照して説明する。
【００６４】
ステップ１００では、マーク板駆動装置３８により、マーク板４０を所定位置（マーク板４０の移動範囲の端部に相当する位置）に移動させる。次のステップ１０２では、現在のマーク板４０の位置において、マーク板４０に記録されている多数のマーク４０Ａの情報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算する。ステップ１０４では撮像制御装置３４を介し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、次のステップ１０６では、ビデオカメラ３６Ａが情報入力空間を撮像することによって得られた画像（以下画像Ａと称する）を撮像制御装置３４を介して取り込む。
【００６５】
ステップ１０８では、ステップ１０６で取り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１０では認識した全てのマーク４０Ａについて、画像Ａ上での位置（ＸA ，ＹA ）を演算する。そしてステップ１１２では、画像Ａ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（ＸA ，ＹA ）とを対応させ、ビデオカメラ３６Ａの格子点位置情報として記憶装置２４に記憶させる。
【００６６】
次のステップ１１４〜１２０では、上記のステップ１０６〜１１２と同様にしてビデオカメラ３６Ｂに対する処理を行う。すなわち、ステップ１１４ではビデオカメラ３６Ｂが情報入力空間を撮像することによって得られた画像（以下画像Ｂと称する）を撮像制御装置３４を介して取り込み、ステップ１１６ではステップ１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１８では認識した全てのマーク４０Ａについて、画像Ｂ上での位置（ＸB ，ＹB ）を演算する。そしてステップ１２０では、画像Ｂ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上での位置（ＸB ，ＹB ）とを対応させ、ビデオカメラ３６Ｂの格子点位置情報として記憶装置２４に記憶させる。
【００６７】
次のステップ１２２では、マーク板４０が最終位置（マーク板４０の移動範囲のうちステップ１００における所定位置と反対側の端部に相当する位置）迄移動したか否か判定する。ステップ１２２の判定が否定された場合にはステップ１２４へ移行し、マーク板駆動装置３８により、マーク板４０を所定方向に一定距離（詳しくは、マーク板４０上におけるマーク４０Ａの間隔に一致する距離）だけ移動させた後にステップ１０２に戻る。
【００６８】
上記のように、マーク板４０が最終位置に移動する迄、ステップ１０２〜１２４が繰り返されることにより、マーク板４０に記録されている多数のマーク４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点（請求項４に記載の仮想点に相当）に対応する位置へ移動され、ビデオカメラ３６Ａの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ａ上での位置とが対応されて記憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ｂ上での位置とが対応されて記憶装置２４に記憶されることになる。
【００６９】
上記の格子点位置情報初期設定処理は請求項６に記載の生成手段に対応しており、上記処理によって初期設定される格子点位置情報は、請求項４及び請求項６に記載の「仮想点の３次元座標と画像上での仮想点の位置とを対応付ける情報」に相当し、記憶装置２４は本発明の記憶手段に対応している。なお、マーク板４０及びマーク板駆動装置３８は、上記の格子点位置情報初期設定処理においてのみ用いられ、後述する処理では用いないので、上記の処理を実行した後に、マーク板４０及びマーク板駆動装置３８を撤去するようにしてもよい。
【００７０】
次に図６のフローチャートを参照し、上記の格子点位置情報初期設定処理が行われた後に、コントローラ２２で定常的に実行される照明制御処理について説明する。ステップ１３０では、照明制御装置３０により照明装置３２Ａを点灯させると共に照明装置３２Ｂを消灯させる。ステップ１３２では、ビデオカメラ３６Ａによって情報入力空間を撮像させ、ビデオカメラ３６Ａから画像を出力させる。ステップ１３４では照明装置３２Ａの点灯を開始してから所定時間経過したか否か判定し、判定が肯定される迄待機する。
【００７１】
ステップ１３４の判定が肯定されるとステップ１３６へ移行し、照明制御装置３０により照明装置３２Ａを消灯させると共に照明装置３２Ｂを点灯させる。ステップ１３８では、ビデオカメラ３６Ｂによって情報入力空間を撮像させ、ビデオカメラ３６Ｂから画像を出力させる。ステップ１４０では照明装置３２Ｂの点灯を開始してから所定時間経過したか否か判定し、判定が肯定される迄待機する。そして、ステップ１４０の判定が肯定されるとステップ１３０へ戻る。
【００７２】
上記の照明制御処理により、図７にも示すように、照明装置３２Ａ及び照明装置３２Ｂは所定時間毎に交互に点灯されると共に、照明装置３２Ａが点灯しているときにビデオカメラ３６Ａの撮像が行われ、ビデオカメラ３６Ａの撮像によって得られた画像Ａを表す画像データが撮像制御装置３４を介してコントローラ２２に出力され、照明装置３２Ｂが点灯しているときにビデオカメラ３６Ｂの撮像が行われ、ビデオカメラ３６Ｂの撮像によって得られた画像Ｂを表す画像データが撮像制御装置３４を介してコントローラ２２に出力される。上記の照明制御処理は請求項２に記載の制御手段に対応している。
【００７３】
本実施形態では、近赤外光により撮像を行っているので、撮像によって得られる画像中の情報入力者１０に相当する画像部の輝度が、可視光が射出されるディスプレイ１２の輝度の変化や、情報入力者１０の肌の色や服の色の影響を受けて変化することはなく、後述する指示判断処理において、情報入力者１０に相当する画像部を高精度に抽出することができる。また、情報入力空間の近傍に、近赤外域の波長の光が射出されないように処理した蛍光灯を配置したとしても、この影響を受けることはない。更に、近赤外光が照射されていることを情報入力者１０に感知されることがないので、上記のように照明装置３２Ａ、３２Ｂを交互に点灯させても、情報入力者１０に不快感を与えることはない。
【００７４】
次に図８のフローチャートを参照し、上記の照明制御処理と並行してコントローラ２２で所定時間毎に繰り返し実行される、情報入力者１０からの指示を判断する指示判断処理について説明する。
【００７５】
ステップ１５０では、ビデオカメラ３６Ａから出力される画像Ａを表す画像データ、及びビデオカメラ３６Ｂから出力される画像Ｂを表す画像データを、図７に示すタイミングで各々取り込む。次のステップ１５２では、ステップ１５０で取り込んだ画像Ａ、画像Ｂの画像データに基づいて、情報入力空間内に情報入力者１０が存在しているか否か判定する。
【００７６】
先に説明したように、ビデオカメラ３６Ａによる情報入力空間の撮像は照明装置３２Ａのみが点灯しているときに行われ、ビデオカメラ３６Ａの撮像範囲は照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように調整されている。従って、照明装置３２Ａによる床面上の照明範囲内に情報入力者１０の荷物やゴミ等の非認識対象物５０Ａ（図３参照）が存在していたとしても、この非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ａによって撮像される範囲内に非認識対象物５０Ｂ（図３参照）が存在していた場合には、非認識対象物５０Ｂはビデオカメラ３６Ａによって撮像されることになるが、非認識対象物５０Ｂは照明装置３２Ａによる照明範囲から外れているので、画像Ａ中に存在する非認識対象物５０Ｂに相当する画像部の輝度は非常に低くなる。
【００７７】
また、ビデオカメラ３６Ｂによる情報入力空間の撮像についても照明装置３２Ｂのみが点灯しているときに行われ、ビデオカメラ３６Ｂの撮像範囲は照明装置３２Ｂによる床面上の照明範囲が撮像範囲から外れるように調整されている。従って、照明装置３２Ｂによって照明される床面上に非認識対象物５０Ｂが存在していたとしても、この非認識対象物５０Ｂがビデオカメラ３６Ｂの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ｂによって撮像される範囲内に非認識対象物５０Ａが存在していた場合には、ビデオカメラ３６Ｂによって非認識対象物５０Ｂが撮像され、画像Ｂ中に非認識対象物５０Ｂに相当する画像部が存在することになるが、上記と同様にその輝度は非常に低い。
【００７８】
従って、先のステップ１５２では、例えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理により、情報入力空間内に情報入力者１０が存在しているか否かを判定することができる。ステップ１５２の判定が否定された場合には、何ら処理を行うことなく指示判断処理を終了する。
【００７９】
一方、ステップ１５２の判定が肯定された場合にはステップ１５４へ移行する。なお、ステップ１５４以降の処理は本発明の判断手段に対応している。ステップ１５４では画像Ａ及び画像Ｂから、情報入力者１０の全体像に相当する画像部を各々抽出する。この情報入力者１０の全体像に相当する画像部についても、高輝度の画素から成る所定値以上の面積の連続した領域を判断することで容易に抽出することができる。
【００８０】
ステップ１５６では、情報入力者１０の全体像に相当する画像部に基づき、情報入力者１０の身長を求める。図９に示すように、点Ｏに位置しているビデオカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐとの距離をＲ、情報入力者１０の頭頂部に相当する点Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度をθ’、ビデオカメラ３６のエリアセンサの受光面に結像される情報入力者の像の長さをｈ’、点Ｐに対応する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離をｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式から求めることができる。
【００８１】
θ ＝ｔａｎ-1（Ｒ／Ｈ） …（１）
θ’＝ｔａｎ-1｛Ｒ／（Ｈ−ｈ）｝ …（２）
ｒ ＝ｆθ …（３）
ｒ’＝ｆθ’ …（４）
【００８２】
従って、情報入力者１０の身長ｈ及び距離Ｒは次の（５）式及び（６）式によって求めることができる。
【００８３】
ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５）
Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６）
【００８４】
距離Ｈ及び焦点距離ｆは既知であるので、ステップ１５６ではビデオカメラ３６Ａ、３６Ｂの撮像によって得られた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求め、これを（５）式に代入することにより情報入力者１０の身長ｈを求めることができる。また、ステップ１５６では、画像Ａ及び画像Ｂの各々から距離ｒを求め、これを（６）式に各々代入して距離Ｒを各々求めることにより、情報入力者１０の床面上の位置（２次元座標）を求める。
【００８５】
次のステップ１５８では、ステップ１５６で求めた情報入力者１０の身長ｈ及び情報入力者の床面上の位置に基づき、情報入力者１０の基準点Ｐ0 の３次元座標（ｘ0 ，ｙ0 ，ｚ0 ）を決定する。なお基準点Ｐ0 としては、例えば情報入力者１０の背中に相当する点（図１１に示す点Ｐ0 ）等を用いることができる。この場合、情報入力者１０の身長ｈに基づいて情報入力者１０の背中に相当する基準点Ｐ0 の床面からの高さ（例えばｚ0 の値）を割り出し、情報入力者１０の床面上の位置（平面座標）を基準点Ｐ0 の平面座標（例えばｘ0 、ｙ0 の値）として設定することにより、基準点Ｐ0 の３次元座標を決定することができる。
【００８６】
ステップ１５９では、画像Ａ及び画像Ｂ上での情報入力者１０の全体像に相当する画像部の形状に基づいて、情報入力者１０が指示動作（指等によりディスプレイ１２側を指し示す動作）を行っているか否か判定する。情報入力者１０から見たディスプレイ１２の方向は既知であるので、ステップ１５９の判定は、例えば情報入力者１０の全体像に相当する画像部において、情報入力者１０の手に相当すると判断できる高さ位置に、情報入力者１０から見たディスプレイ１２の方向に向かって突出している部分が有るか否かを判断することで実現できる。
【００８７】
これにより、情報入力者１０が、図１２（Ａ）に示す直立状態から、図１２（Ｂ）又は（Ｃ）に示すように手をディスプレイ１２側に向ければ、情報入力者１０が指示動作を行っていると判定されることになる。ステップ１５９の判定が否定された場合には、何ら処理を行うことなく指示判断処理を一旦終了するが、ステップ１５９の判定が肯定された場合には、ステップ１６０へ移行する。
【００８８】
ステップ１６０では、ビデオカメラ３６Ａから取り込んだ画像Ａを表す画像データに基づいて、画像Ａ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）を演算する。情報入力者１０の特徴点Ｐx としては、ディスプレイ１２側を指し示す動作を行っている指の先端に相当する点等を用いることができる。この場合、情報入力者１０の全体像を表す画像部のうち、情報入力者１０の手に相当すると判断できる高さ位置に、ディスプレイ１２の方向に向かって突出している部分の先端の位置を、特徴点Ｐx の位置として演算することができる。
【００８９】
これにより、ビデオカメラ３６Ａにより情報入力者１０の手が図１０（Ａ）に示すように撮像された場合、特徴点Ｐx の位置として、図１０（Ｂ）に示す特徴点Ｐx の座標（ＸA ，ＹA ）が演算されることになる。
【００９０】
ステップ１６２では、記憶装置２４に記憶されているビデオカメラ３６Ａの格子点位置情報に基づき、画像Ａ上での位置が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲（図１０（Ｂ）にハッチングで囲んだ範囲を参照）に入る格子点を全て検索する。なお、このｄＸ及びｄＹの大きさは、格子点の間隔（マーク４０Ａの間隔）に基づき、少なくとも１個以上の格子点が抽出されるように定められている。
【００９１】
また、本実施形態ではビデオカメラの結像レンズとして広角レンズを用いており、仮にｄＸ及びｄＹを一定とすると、ビデオカメラと格子点との距離が大きくなるに従って多くの格子点が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲に入り、後述する特徴点Ｐx の３次元座標の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹは、３次元座標上でのビデオカメラからの距離が離れるに従って値が小さくなるように設定される。従って、３次元座標上での（ＸA ±ｄＸ，ＹA ±ｄＹ）に相当する範囲は、底面がビデオカメラ側に位置している円錐状（又は楕円錐状）となる。このステップ１６２は、請求項５に記載の「画像上での位置が特徴点を包含する所定範囲内である仮想点を抽出する」ことに対応している。
【００９２】
ステップ１６４では、先のステップ１６０と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを表す画像データに基づいて、画像Ｂ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）を演算する。ステップ１６６では、先のステップ１６２と同様に、記憶装置２４に記憶されているビデオカメラ３６Ｂの格子点位置情報に基づき、画像Ｂ上での位置が（ＸB ±ｄＸ，ＹB ±ｄＹ）の範囲に入る格子点を全て検索する。このステップ１６６も、請求項５に記載の「画像上での位置が特徴点を包含する所定範囲内である仮想点を抽出する」ことに対応している。
【００９３】
次のステップ１６８では、画像Ａ及び画像Ｂから共通に抽出した格子点を判定する。これにより、情報入力空間内で特徴点Ｐx に近接した位置に存在している格子点のみが複数抽出されることになる。ステップ１７０では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標を、格子点位置情報から取り込む。
【００９４】
本実施形態では、後述するように、特徴点Ｐx の３次元座標を、情報入力空間内で特徴点に近接した位置に存在している複数の格子点の３次元座標から内挿によって演算する（具体的には、前記複数の格子点の３次元座標の座標値の重み付き平均により特徴点の３次元座標の座標値を求める）。このため、特徴点Ｐx の３次元座標を演算するに先立ち、次のステップ１７２では、画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）に基づいて、画像Ａ及び画像Ｂから共通に抽出した各格子点の３次元座標からの内挿の割合（各格子点の３次元座標の座標値に対する重み）を決定する。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特徴点と近接した位置に存在している格子点の３次元座標の座標値の重みが大きくなるように決定することができる。
【００９５】
ステップ１７４では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標、及びステップ１７２で決定した内挿の割合に基づいて、特徴点Ｐx の３次元座標（Ｘx ，Ｙx ，Ｚx ）を演算する。
【００９６】
ステップ１７６では、先のステップ１５８で演算した情報入力者の基準点Ｐ0 の３次元座標と、ステップ１７４で演算した特徴点の３次元座標とに基づき、情報入力者１０が指し示している方向として、上記の基準点と特徴点とを結ぶ仮想線（図１１の仮想線５４参照）の延びる方向を求め、情報入力者１０が指し示している位置として、大画面ディスプレイ１２の表示面を含む平面と前記仮想線の交点（図１１の点Ｓ参照）の座標（平面座標）を演算する。
【００９７】
次のステップ１７８では、ステップ１７６で求めた座標に基づいて、情報入力者１０が大画面ディスプレイ１２の表示面上を指し示しているか否か判定する。判定が否定された場合には、ステップ１８０で監視フラグ（クリック動作を監視するためのフラグ）を０にして指示判断処理を終了する。一方、ステップ１７８の判定が肯定された場合には、ステップ１７６で演算した情報入力者１０が指し示している位置を表す座標を情報処理装置１４に出力する。これにより、情報処理装置１４では、情報入力者１０が指し示していると判断されたディスプレイ１２の表示面上の所定位置にカーソルを表示する等の処理を行う。
【００９８】
次のステップ１８４以降は情報入力者１０がクリック動作を行ったか否かを判定する。なお、本実施形態ではクリック動作が、情報入力者が自身の手を動かすあらゆる動作（例えば手首の屈曲や回転、任意の指の曲げ伸ばし等）として定義されている。ステップ１８４では、画像Ａ中に存在する情報入力者１０の手に相当する画像部を抽出し、該画像部の面積を求めると共に、画像Ｂ中に存在する情報入力者１０の手に相当する画像部を抽出し、該画像部の面積を求める。
【００９９】
次のステップ１８６では監視フラグが１か否か判定する。ステップ１８６の判定が否定された場合は、指示判断処理を前回行ったときには情報入力者１０がディスプレイ１２の表示面上を指し示していなかった場合であるので、ステップ１８８で監視フラグを１にして、次のステップ１９０では、後にクリック動作の判定を行うために、ステップ１８４で演算した情報入力者の手に相当する画像部の面積をＲＡＭ２２Ｃに記憶し、指示判断処理を一旦終了する。
【０１００】
一方、ステップ１８６の判定が肯定された場合は、情報入力者１０がディスプレイ１２の表示面上を継続的に指し示している場合であるので、ステップ１９２へ移行し、ステップ１８４で演算した面積を、ＲＡＭ２２Ｃ等に記憶されている面積（情報入力者１０がディスプレイ１２の表示面上を指し示すことを開始したとき、すなわち過去にステップ１８８で監視フラグを１にしたときに演算した面積）と比較し、情報入力者１０の手に相当する画像部の面積に所定値以上の変化が有ったか否か判定する。ステップ１９２の判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断し、何ら処理を行うことなく指示判断処理を終了する。
【０１０１】
また、情報入力者１０が手首の屈曲や回転（例えば図１２（Ｂ）に示す状態から図１２（Ｃ）に示す状態への変化、或いはその逆の変化）、任意の指の曲げ伸ばし等の動作を行うと、画像Ａ及び画像Ｂ中に存在する情報入力者１０の手に相当する画像部の面積が所定値以上変化することによってステップ１９２の判定が肯定される。ステップ１９２の判定が肯定されると、ステップ１９４で「クリック有り」を表す情報を情報処理装置１４に出力し、次のステップ１９６で監視フラグを０にした後に指示判断処理を終了する。
【０１０２】
これにより、情報処理装置１４では、情報入力者１０によって指し示されているディスプレイ１２の表示面上の所定位置（ステップ１８２で入力された座標に相当する位置）がクリックされたと判断し、ディスプレイ１２の表示面上の所定位置に表示している情報に応じた処理を行う。
【０１０３】
ハンドポインティング入力装置２０のコントローラ２２において、上記の指示判断処理を所定時間毎に繰り返し実行することにより、情報入力者１０によるディスプレイ１２上の表示面上の指示位置及びクリック動作の有無をリアルタイムで判断することができるので、情報処理処理装置１４で実行される処理と組み合わせることで、以下で説明するように種々の利用形態での利用が可能となる。
【０１０４】
例えばディスプレイ１２を地下街等の壁面に設置し、情報処理装置１４がディスプレイ１２に商品の広告等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じて特定の商品を詳しく説明する画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。また、利用者に課金用のカードを所持させるようにすれば、このカードにより課金することで利用者が商品を購入することも可能となる。
【０１０５】
また、例えばディスプレイ１２をビルのエントランスに設置し、情報処理装置１４がディスプレイ１２にビル内を案内する案内図等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じてビル内のうち利用者が訪問する箇所を詳しく説明する画面や、訪問する箇所迄の経路を示す画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。
【０１０６】
また、クリーンルームには取扱説明書やその他のマニュアルを持ち込めないことが一般的であるが、例えばディスプレイ１２をクリーンルームの外部に、クリーンルーム内から視認可能に配置し、ハンドポインティング入力装置２０によって判断したクリーンルーム内の作業者からの指示に応じて取扱説明書やその他のマニュアルの内容をディスプレイ１２に表示するようにすれば、クリーンルーム内とクリーンルーム外との双方向のコミュニケーションが可能となり、クリーンルーム内での作業の効率が向上する。
【０１０７】
更に、例えば大画面のディスプレイ１２、ハンドポインティング入力装置２０及び情報処理装置１４をアミューズメント施設のゲーム機として動作させたり、会議のプレゼンテーションにおいて、ディスプレイ１２に説明用の資料を表示しディスプレイ１２の表示面上の任意の位置を指し示す際に適用することも可能である。
【０１０８】
なお、上記では、照明装置３２Ａによる床面上の照明範囲がビデオカメラ３６Ａの撮像範囲から外れるように調整すると共に、照明装置３２Ｂによる床面上の照明範囲がビデオカメラ３６Ｂの撮像範囲から外れるように調整し、照明装置３２Ａのみが点灯しているときにビデオカメラ３６Ａによる撮像を行い、照明装置３２Ｂのみが点灯しているときにビデオカメラ３６Ｂによる撮像を行うことにより、情報入力者１０に相当する画像部の抽出が容易な画像Ａ及び画像Ｂを得ていたが、これに限定されるものではなく、照明装置３２による床面上の照明範囲がビデオカメラ３６の撮像範囲内に入っていたとしても、情報入力者１０に相当する画像部の抽出が容易な画像を得ることは可能である。
【０１０９】
図１３に示す例では、ビデオカメラ３６の撮像範囲が、照明装置３２Ａによる床面上の照明範囲及び照明装置３２Ｂによる床面上の照明範囲を含んでおり、照明装置３２Ａによって照明される床面上に存在している非認識対象物５０Ａ、照明装置３２Ｂによって照明される床面上に存在している非認識対象物５０Ｂは、ビデオカメラ３６によって各々撮像される。このような場合には、図１４に示す照明制御処理を行えばよい。
【０１１０】
図１４に示す照明制御処理では、ステップ２５０で照明装置３２Ａを点灯させると共に照明装置３２Ｂを消灯させた後に、ステップ２５２ではビデオカメラ３６によって情報入力空間を撮像させ、ステップ２５４ではビデオカメラ３６から出力された画像データ（該画像データが表す画像を便宜的に第１の画像という）を取り込んでＲＡＭ２２Ｃに記憶する。ステップ２５６では、照明装置３２Ａを点灯させてから所定時間Ｔが経過したか否か判定し、所定時間Ｔが経過する迄待機する。ステップ２５６の判定が肯定されるとステップ２５８へ移行し、照明装置３２Ｂを点灯させると共に、照明装置３２Ｂを点灯させてから所定時間ｔ0 経過後に照明装置３２Ａを消灯させる（但し、ｔ0 ＜Ｔ：図１５参照）。
【０１１１】
次のステップ２６０ではビデオカメラ３６によって情報入力空間を撮像させ、ステップ２６２ではビデオカメラ３６から出力された画像データ（該画像データが表す画像を便宜的に第２の画像という）を取り込む。ステップ２６４では、ステップ２５４でＲＡＭ２２Ｃに記憶した第１の画像を表す画像データと、ステップ２６２で取り込んだ第２の画像を表す画像データに基づいて、或る画素について第１の画像上での輝度値と第２の画像上での輝度値のうち低輝度の輝度値を選択し、選択した輝度値を前記画素の輝度値として採用することを全ての画素について行うことにより、新たな画像データを生成し、生成した画像データを出力する。
【０１１２】
この照明制御処理では、図１５に示すように、照明装置３２Ａが点灯している期間と照明装置３２Ｂが点灯している期間とが所定時間ｔ0 だけオーバラップしているので、情報入力者１０は常に照明されるが、図１３に示すように、非認識対象物５０Ａは照明装置３２Ａが点灯しているときにのみ照明され、非認識対象物５０Ｂは照明装置３２Ｂが点灯しているときにのみ照明される。従って、ステップ２６２の処理により、情報入力者１０に相当する画像部のみが高輝度となっている画像、すなわち情報入力者１０に相当する画像部の抽出が容易な画像（を表す画像データ）が得られることになる。
【０１１３】
次のステップ２６６では、照明装置３２Ｂを点灯させてから所定時間Ｔが経過したか否か判定し、所定時間Ｔが経過する迄待機する。ステップ２６６の判定が肯定されるとステップ２６８へ移行し、照明装置３２Ａを点灯させると共に、照明装置３２Ａを点灯させてから所定時間ｔ0 経過後に照明装置３２Ｂを消灯させた後にステップ２５２へ戻る。
【０１１４】
上記の照明制御処理は請求項３に記載の判別手段に対応している。なお、上記では説明を簡単にするために、図１３にビデオカメラ３６を１台のみ示し、図１４には１台のビデオカメラ３６に対する処理のみを示しているが、情報入力空間を各々異なる方向から撮像する複数台のビデオカメラ３６が設けられている場合であっても、各ビデオカメラ３６に対して上記の処理を各々行えば、情報入力者１０に相当する画像部の抽出が容易な画像を各々得ることができる。
【０１１５】
また、図１４の照明制御処理では、照明装置３２Ａ、３２Ｂの点消灯のタイミングと同期して、照明装置３２Ａ及び照明装置３２Ｂの何れか一方が点灯している期間にのみ画像データの取込みを行うようにしていたが、例えば照明装置３２Ａ、３２Ｂの点消灯のタイミングと無関係に、所定時間Ｔ（図１４及び図１５参照）の整数分の１の周期で画像データの取込みを行い、２×Ｔの周期でステップ２６４の処理を行うようにしてもよい。
【０１１６】
また、先のステップ２６４のように各画素毎に低輝度の値を選択することに代えて、例えばオーバラップ期間ｔ0 を挟んで照明装置３２Ａと照明装置３２Ｂを一定周期で交互に点灯させ（これにより、照明装置３２Ａ、３２Ｂの点灯のデューティー比は各々５０＋α％になる：αはオーバラップ期間に相当）、各画素について、照明装置３２Ａ、３２Ｂの点灯の１サイクルにおける平均輝度を各画素の輝度として採用するようにしてもよいし、照明装置３２Ａ、３２Ｂの点灯の１サイクルにおける各画素毎の輝度の変化に対し、ローパスフィルタや高速フーリエ変換等により輝度変化の直流成分のみを取り出し、取り出した輝度変化の直流成分に相当する輝度値を各画素の輝度値として採用するようにしてもよい。上記の場合にも、照明装置３２Ａ、３２Ｂの点灯の１サイクルの間、照明装置３２Ａ又は照明装置３２Ｂによって常に照明される情報入力者１０に相当する画素については、輝度値として比較的高輝度の値が採用され、情報入力者１０に相当する画像部の抽出が容易な画像を得ることができる。
【０１１７】
また、情報入力者１０に相当する画像部の抽出が容易な画像を得るために、図１６に示すように、情報入力空間の床面上に傾斜台５８を配設してもよい。この傾斜台５８は、情報入力空間に到来した情報入力者１０を囲むように傾斜面５８Ａが形成されている。これにより、例えば情報入力者１０が荷物等を携行して情報入力空間に到来したとしても、情報入力者１０が前記荷物等を自身の近くに置くことは傾斜台５８によって阻止され、情報入力者１０から離れた箇所、すなわちビデオカメラ３６の撮像範囲外に荷物等が置かれることになる。従って、ビデオカメラ３６の撮像によって得られる画像中に、情報入力者１０の荷物等の非認識対象物に相当する画像部が存在することが防止され、情報入力者１０に相当する画像部の抽出が容易な画像を得ることができる。
【０１１８】
また、情報入力者１０の周囲に、非認識対象物として比較的小さなゴミや塵埃等が滞留する場合には、情報入力者１０の周囲に空気の流れを発生させるファン等を設け、上記のような非認識対象物を空気流によって吹き飛ばすようにしてもよい。また情報入力者１０の周囲に水等を貯留する貯留槽を配設してもよいし、更に貯留槽を環状とし、貯留槽内を水等が循環するように構成しても、情報入力者１０の周囲に非認識対象物が滞留することを阻止できる。
【０１１９】
更に、上記では、透明な平板に多数のマーク４０Ａがマトリクス状に等間隔で記録されて構成されたマーク板４０を用いて格子点位置情報を設定するようにしていたが、これに限定されるものではなく、図１７に示すように、透明な平板にＬＥＤ等の多数の発光素子６２Ａ（請求項６記載のマーカに対応）がマトリクス状に配設されたマーク板６２を用いてもよい。
【０１２０】
この場合、格子点位置情報初期設定処理では、発光素子６２Ａを１個ずつ順に点灯させると共に、各発光素子６２Ａを点灯させる毎に、点灯している発光素子６２Ａの３次元座標を演算し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、画像Ａ、画像Ｂ上での発光素子６２Ａの位置を演算し、発光素子６２Ａの３次元座標と画像Ａ、画像Ｂ上での発光素子６２Ａの位置とを対応させて格子点位置情報として記憶装置２４に記憶させ、マーク板６２の全ての発光素子６２Ａを点灯させた後に、マーク板駆動装置３８によってマーク板６２を一定量移動させることを繰り返すようにすればよい。
【０１２１】
また、マーク板４０やマーク板６２に代えて、図１８に示すように、アーム６６Ａの先端に取付けられたハンド６６Ｂを情報入力空間内の任意の位置に移動可能で、ハンド６６Ｂに発光素子６８（請求項６記載のマーカに対応）が取付けられたロボットアーム装置６６を用いてもよい。この場合、格子点位置情報初期設定処理では、発光素子６８を点灯させ、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する各位置へ発光素子６８を移動させると共に、発光素子６８が前記各位置に位置する毎に、発光素子６８の３次元座標を演算し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、画像Ａ、画像Ｂ上での発光素子６８の位置を演算し、発光素子６８の３次元座標と画像Ａ、画像Ｂ上での発光素子６８の位置とを対応させて格子点位置情報として記憶装置２４に記憶させるようにすればよい。
【０１２２】
更に、上記のようにマーク板４０、マーク板６２、ロボットアーム装置６６等を駆動することで、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する各位置にマーカ（マーク４０Ａ又は発光素子６２Ａ又は発光素子６８）を自動的に位置させることに代えて、オペレータが、前記多数の格子点に対応する各位置にマーカを手動で位置させ、この状況を撮像することにより格子点位置情報の設定のみを自動的に行うようにしてもよい。
【０１２３】
また、図８に示した指示判断処理では、情報入力者１０が指示動作を行っていないとき（ステップ１５９の判定が否定された場合）には、ディスプレイ１２の表示面上の情報入力者１０が指し示している位置の座標の演算・情報処理装置１４への出力を行わないので、結果として、情報入力者１０が指示動作を行っていないときにはディスプレイ１２にカーソル等が表示されないことになる。従って、ディスプレイ１２にカーソル等を継続的に表示させるためには、カーソル等を表示させたい位置を情報入力者１０が指し示し続ける必要があり、情報入力者１０の負担が大きいという問題がある。
【０１２４】
上記を考慮すると、図８に示した指示判断処理に代えて、図１９に示す指示判断処理を行うようにしてもよい。この指示判断処理では、図８の指示判断処理のステップ１５０、１５２と同様に、ステップ２３０でビデオカメラ３６Ａ、３６Ｂから出力される画像データを取り込み、次のステップ２３２では、取り込んだ画像データ基づいて情報入力空間内に情報入力者１０が存在しているか否か判定する。
【０１２５】
判定が否定された場合にはステップ２８０へ移行し、到来フラグ（情報入力者１０が情報入力空間に到来していることを表すフラグ）が１か否か判定する。到来フラグの初期値は０であるので、最初はステップ２８０の判定は否定され、何ら処理を行うことなく指示判断処理を一旦終了する。なお、情報入力空間に情報入力者が到来していないときには、情報処理装置１４はディスプレイ１２に所定の呼び込み画面（情報入力空間の近傍を通りかかった人を情報入力空間に呼び込む画面）を表示させる。
【０１２６】
一方、情報入力空間に情報入力者１０が到来すると、ステップ２３２の判定が肯定されてステップ２３４へ移行し、到来フラグが０か否か判定する。ステップ２３４の判定が肯定されるとステップ２３６へ移行し、情報入力空間に情報入力者が到来したことを情報処理装置１４に通知する。これにより情報処理装置１４は、ディスプレイ１２に表示する画面を呼び込み画面から初期画面（例えば商品の広告であれば商品の一覧を示した画面等）に切替える。
【０１２７】
次のステップ２３８では、情報入力空間に情報入力者が到来したので、到来フラグを１にすると共に、指示フラグ（情報入力者１０がディスプレイ１２の表示面上を指し示していることを表すフラグ）及び監視フラグを０にして、ステップ２４０へ移行する。なお、ステップ２３４の判定が否定された場合、すなわち指示判断処理を前回実行したときから情報入力空間に継続的に情報入力者が居る場合には、ステップ２３６、２３８の処理を行うことなくステップ２４０へ移行する。
【０１２８】
ステップ２４０では、図８のフローチャートのステップ１５４乃至ステップ１５８と同様に、ビデオカメラ３６Ａ、３６Ｂの撮像によって得られた画像から情報入力者１０の全体像に相当する画像部を抽出し、情報入力者１０の身長ｈ及び床面上の位置を演算し、情報入力者１０の基準点の３次元座標を決定する。そして次のステップ２４２では、図８のフローチャートのステップ１５９と同様に、情報入力者１０が指示動作を行っているか否か判定する。判定が否定された場合には、ステップ２７０で指示フラグが１か否か判定し、この判定も否定された場合には指示判断処理を一旦終了する。
【０１２９】
一方、情報入力者１０が、図１２（Ａ）に示す直立している状態から、図１２（Ｂ）又は（Ｃ）に示すように手をディスプレイ１２側に向けると、ステップ２４２の判定が肯定されてステップ２４４へ移行する。ステップ２４４では、図８のフローチャートのステップ１６０乃至ステップ１７６と同様にして情報入力者１０の特徴点の３次元座標を演算し、情報入力者１０が指し示している位置を演算する。
【０１３０】
次のステップ２４６では情報入力者１０がディスプレイ１２の表示面上を指し示しているか否か判定する。判定が否定された場合にはステップ２７０へ移行するが、判定が肯定された場合には、ステップ２４７で指示フラグを１にした後に、ステップ２４８でディスプレイ１２の表示面上の情報入力者１０が指し示している位置の座標を情報処理装置１４に出力すると共に、前記座標をＲＡＭ２２Ｃ等に記憶する。これにより、情報処理装置１４では、ディスプレイ１２の表示面上の情報入力者１０が指し示している位置にカーソル等を表示する。
【０１３１】
次のステップ２５２乃至２６２の処理は、図８のフローチャートのステップ１８４乃至ステップ１９６の処理を同様にしてクリック動作を検出する。すなわち、画像中に存在する情報入力者１０の手に相当する画像部を抽出し、その面積を求め（ステップ２５０）、監視フラグが１か否か判定する（ステップ２５２）。判定が否定された場合は、監視フラグを１にして（ステップ２５４）、先に演算した情報入力者の手に相当する画像部の面積を記憶し（ステップ２５６）、指示判断処理を一旦終了する。
【０１３２】
また、ステップ２５２の判定が肯定された場合は、ステップ２５０で演算した面積を、ＲＡＭ２２Ｃ等に記憶されている面積と比較し、情報入力者１０の手に相当する画像部の面積に所定値以上の変化が有ったか否か判定する（ステップ２５８）。判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断し、何ら処理を行うことなく指示判断処理を終了するが、判定が肯定された場合には、「クリック有り」を表す情報を情報処理装置１４に出力し（ステップ２６０：これにより、情報処理装置１４ではディスプレイ１２に表示している画面の切替え等の所定の処理を実行する）、監視フラグ及び指示フラグを０にして（ステップ２６２）、指示判断処理を終了する。
【０１３３】
また、情報入力者１０がディスプレイ１２の表示面上を指し示した後に、クリック動作を行うことなく腕を下ろした場合には、ステップ２４２の判定が否定されてステップ２７０へ移行するが、このときには指示フラグが１であるのでステップ２７０の判定が肯定され、ステップ２７２へ移行する。ステップ２７２では、ステップ２４８で演算しＲＡＭ２２Ｃに記憶している、ディスプレイ１２の表示面上の情報入力者１０が指し示している位置の座標を情報処理装置１４に出力する。これにより、情報処理装置１４は、情報入力者１０が腕を下ろす前にカーソルを表示していた位置に、継続してカーソルを表示させる。
【０１３４】
このカーソルの表示の継続は請求項１１に記載の処理手段による処理に対応しており、上記のステップ２７０は、ステップ２４２、２４７と共に請求項１１に記載の第２の検出手段に対応している。
【０１３５】
上記により、情報入力者１０の姿勢が、図１２（Ｂ）又は（Ｃ）に示す姿勢から図１２（Ａ）に示す姿勢に変化したとしても、カーソルの表示が継続されるので、情報入力者１０がカーソルを継続して表示させたい等の場合にも（例えば会議のプレゼンテーション等）、情報入力者１０が継続的に腕を上げ続ける必要がなくなるので、情報入力者１０の負担を軽減することができる。
【０１３６】
また、情報入力者１０が情報入力空間から退去すると、それが情報処理装置１４における一連の処理の途中であったとしても、ステップ２３２の判定が否定され、ステップ２８０へ移行する。情報入力者１０が情報入力空間から退去したときには、到来フラグは１になっているので、ステップ２８０の判定が肯定され、ステップ２８２で情報入力空間から情報入力者１０が退去したことを情報処理装置１４に通知する。これにより、情報処理装置１４は実行途中の処理があれば該処理の実行を中止すると共に、ディスプレイ１２に表示している画面を呼び込み画面に切替える。次のステップ２８４では到来フラグを０にして、指示判断処理を一旦終了する。
【０１３７】
これにより、情報入力空間に情報入力者１０が居ない間は常に呼び込み画面がディスプレイに表示され、情報入力空間に情報入力者１０が到来する毎に、情報処理装置１４では、ディスプレイ１２への初期画面の表示から始まる一連の処理が行われることになる。
【０１３８】
また、図８及び図１９に示した指示判断処理では、情報入力者が自身の手を動かすあらゆる動作（例えば手首の屈曲や回転、任意の指の曲げ伸ばし等）をクリック動作として定義していたが、これに限定されるものではなく、情報入力者１０が手を前方に素早く移動させる動作（図２２（Ａ）参照、以下「前進クリック」という）、及び情報入力者１０が手を後方に素早く移動させる動作（図２２（Ｂ）参照、以下「後進クリック」という）をクリック動作としてもよい。上記のクリック動作は、図８や図１９に示した指示判断処理に代えて、例えば図２０に示す指示判断処理を行うことで検知することができる。
【０１３９】
すなわち、図２０に示す指示判断処理では、まずステップ３１０において、図８のフローチャートのステップ１５２、図１９のフローチャートのステップ２３２と同様に、情報入力空間内に情報入力者１０が到来したか（存在しているか）否かを判定する。この判定も、例えば画像Ａ及び画像Ｂ中に高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理で済む。ステップ３１０の判定が否定された場合には、判定が肯定される迄待機する。情報入力空間に情報入力者１０が到来すると、ステップ３１０の判定が肯定されてステップ３１２へ移行し、クリック動作速度設定処理を実行する。
【０１４０】
このクリック動作速度設定処理について、図２１のフローチャートを参照して説明する。なお、クリック動作速度設定処理は請求項１０に記載の閾値設定手段に対応している。ステップ２９０では、クリック動作の実行を情報入力者１０に要請するメッセージをディスプレイ１２に表示するよう情報処理装置１４に指示し、情報処理装置１４はディスプレイ１２に前記メッセージを表示させる。ディスプレイ１２に前記メッセージが表示されると、情報入力者１０は腕を屈曲又は伸長させ、前進クリック動作又は後進クリック動作を繰り返し行う。
【０１４１】
次のステップ２９２では、基準点・特徴点座標演算処理（図８のフローチャートのステップ１５４乃至ステップ１７６と同様の処理）を行って基準点Ｐ0 及び特徴点Ｐx の３次元座標を求め、ステップ２９４では情報入力者１０がディスプレイ１２を指し示す指示動作を行っているか否か判定する。ステップ２９４の判定が否定された場合にはステップ２９２に戻り、情報入力者１０が指示動作を行う迄ステップ２９２、２９４を繰り返す。ステップ２９４の判定が肯定されるとステップ２９６へ移行する。
【０１４２】
ステップ２９６では、ステップ２９２で取り込んだ基準点Ｐ0 及び特徴点Ｐx の３次元座標から基準点Ｐ0 と特徴点Ｐx との距離ｋを演算する。また、ステップ２９６は繰り返し実行されるが、２回目以降の実行時には、今回演算した距離ｋの値と前回演算した距離ｋの値との差に基づいて距離ｋの変化速度Ｖ（基準点Ｐ0 に対する特徴点Ｐx の位置の移動速度）を演算し、演算結果を記憶する。
【０１４３】
次のステップ２９８では、クリック動作の実行を要請するメッセージをディスプレイ１２に表示してから所定時間が経過したか否か判定する。判定が否定された場合にはステップ２９２に戻り、ステップ２９２〜２９８を繰り返す。従って、クリック動作の実行を要請するメッセージを表示してから所定時間が経過する迄の間は、基準点Ｐ0 と特徴点Ｐx との距離ｋの変化速度Ｖが繰り返し演算・記憶されることになる。
【０１４４】
ステップ２９８の判定が肯定されるとステップ３００へ移行し、先に演算・記憶した変化速度Ｖを取り込み、情報入力者１０が１回のクリック動作を行っている間の変化速度Ｖの推移に基づいてクリック動作速度Ｖ0 （請求項９及び請求項１０に記載の閾値に対応）を設定・記憶する。このクリック動作速度Ｖ0 は、後述する処理において、情報入力者１０がクリック動作を行ったか否かを判定するための閾値として用いる。このため、情報入力者１０がクリック動作を行ったことを確実に判定するために、クリック動作速度Ｖ0 としては、例えば情報入力者１０の１回のクリック動作における変化速度Ｖの平均値よりも若干低い値を設定することができる。また、情報入力者１０の１回のクリック動作における変化速度Ｖの最小値をクリック動作速度Ｖ0 として設定するようにしてもよい。
【０１４５】
情報入力者１０が腕を屈曲又は伸長させてクリック動作を行ったときの特徴点Ｐx の移動速度（変化速度Ｖ）は情報入力者１０毎にばらつきがあるが、上記のクリック動作速度設定処理は情報入力空間に情報入力者１０が到来する毎に実行されるので、情報入力空間に新たな情報入力者１０が到来すると、クリック動作速度Ｖ0 として到来した情報入力者１０の体格や筋力等に応じた適切な値が新たに設定されることになる。
【０１４６】
上述したクリック動作速度設定処理を終了すると、指示判断処理（図２０）のステップ３１４へ移行し、基準点・特徴点座標演算処理（図８のフローチャートのステップ１５４乃至ステップ１７６と同様の処理）を行って基準点Ｐ0 及び特徴点Ｐx の３次元座標を求める。次のステップ３１６では、ステップ３１４で求めた基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて、情報入力者１０が指示動作を行っているか否か判定する。
【０１４７】
ステップ３１６の判定が否定された場合にはステップ３３４へ移行し、情報入力空間から情報入力者１０が退去したか否か判定する。この判定についても、先に説明したステップ３１０と同様に、画像Ａ及び画像Ｂから高輝度でかつ所定値以上の面積の画像部が無くなったか否か等の極めて簡単な判断処理で済む。上記判定が否定された場合にはステップ３１４に戻り、情報入力者１０が指示動作を行う迄ステップ３１４、３１６、３３４を繰り返す。
【０１４８】
また、ステップ３１６の判定が肯定されるとステップ３１８へ移行し、ステップ３１４で求めた基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて、図８のフローチャートのステップ１７６と同様に、情報入力者１０が指し示している位置として、大画面ディスプレイ１２の表示面を含む平面と、基準点と特徴点とを結ぶ仮想線と、の交点の座標を演算する。次のステップ３２０では、ステップ３１８で求めた座標に基づいて、情報入力者１０が大画面ディスプレイ１２の表示面上を指し示しているか否か判定する。
【０１４９】
ステップ３２０の判定が否定された場合には何ら処理を行うことなくステップ３３４へ移行するが、前記判定が肯定された場合は、ステップ３２２において、ステップ３１８で演算した座標を情報処理装置１４に出力し、情報処理装置１４に対してカーソルの表示を指示する。これにより、情報処理装置１４では、情報入力者１０が指し示していると判断されたディスプレイ１２の表示面上の所定位置にカーソルを表示する等の処理を行う。
【０１５０】
次のステップ３２４では、基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて基準点Ｐ0 と特徴点Ｐx の距離ｋを演算し、距離ｋの変化が有ったか否か判定する。なお、ステップ３２４は情報入力者１０がディスプレイ１２の表示面を指し示す動作を行っている間（ステップ３２０の判定が肯定されている間）繰り返し実行されるが、ステップ３２４で最初に距離ｋが演算されたときには、距離ｋの変化の有無を判定できないのでステップ３２４の判定は無条件に否定される。
【０１５１】
一方、ステップ３２４の判定が肯定された場合にはステップ３２６へ移行し、距離ｋの変化速度Ｖを演算し、演算した変化速度Ｖが閾値（クリック動作速度設定処理によって設定されたクリック動作速度Ｖ0 ）以上か否か判定する。なお、ステップ３２６についても、ステップ３２４で最初に距離ｋが演算されたときには距離ｋの変化速度Ｖを演算することができないので、判定は無条件に否定される。ステップ３２４又はステップ３２６の判定が否定された場合には、情報入力者１０はクリック動作を行っていないと判断し、何ら処理を行うことなくステップ３３４へ移行する。
【０１５２】
また、ステップ３２４、３２６の判定が各々肯定された場合には情報入力者１０がクリック動作を行ったと判断し、ステップ３２８において距離ｋの変化方向を判定し、判定結果に応じて分岐する。距離ｋが増大方向に変化していた場合には、情報入力者１０が腕を素早く伸長させる前進クリック動作を行ったと判断できるので、ステップ３３０へ移行し、前進クリックが有ったことを表す情報を情報処理装置１４に出力し、ステップ３３４へ移行する。また、距離ｋが減少方向に変化していた場合には、情報入力者１０が腕を素早く屈曲させる後進クリック動作を行ったと判断できるので、ステップ３３２へ移行し、後進クリックが有ったことを表す情報を情報処理装置１４に出力した後に、ステップ３３４へ移行する。
【０１５３】
情報処理装置１４では、前進クリックが有ったことを表す情報又は後進クリックが有ったことを表す情報が入力されると、情報入力者１０による現在の指示箇所がクリックされたと判断し、前進クリックが有った場合には現在の指示箇所に対応する第１の処理を、後進クリックが有った場合には現在の指示箇所に対応する第２の処理（第１の処理と異なる処理）を行う。なお、この第１の処理、第２の処理は、請求項７に記載の所定の処理（より詳しくは、請求項８に記載の第１の所定の処理、第２の所定の処理）に対応している。
【０１５４】
このように、ステップ３２４〜３３２は、実際に第１の処理、第２の処理を行う情報処理装置１４と共に、請求項７に記載の処理手段（より詳しくは請求項８及び請求項９に記載の処理手段）に対応している。なお、情報入力空間から情報入力者１０が退去した場合には、ステップ３３４の判定が肯定されてステップ３１０に戻る。
【０１５５】
上述した指示判断処理におけるクリック動作は、ディスプレイ１２の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であるので、認識対象者は違和感を感ずることなくクリック動作を行うことができる。また、上記では、基準点と特徴点との距離ｋの変化に基づいて、クリック動作が行われたか否か及び行われたクリック動作が前進クリック動作か後進クリック動作かを判断することができるので、クリック動作の検知を短時間で行うことができる。また、クリック動作として２種類のクリック動作（前進クリック動作及び後進クリック動作）を定義しているので、情報入力者１０が、第１の処理及び第２の処理を選択的に実行させることができる。
【０１５６】
ところで、上記の前進クリック動作又は後進クリック動作を行った後の人間の自然な手の動きは、クリック動作を行う前の位置（ニュートラルポジション）に戻ろうとする動きであるので、前進クリック動作を行った後のニュートラルポジションに戻ろうとする手の動きを後進クリック動作と誤検知したり、後進クリック動作を行った後のニュートラルポジションに戻ろうとする手の動きを前進クリック動作を誤検知することを防止するために、前進クリック動作又は後進クリック動作を検知した後のニュートラルポジションに戻ろうとする手の動きを無視することが望ましい。これは、例えば前進クリック動作又は後進クリック動作を検知してからクリック動作の検知を所定時間停止したり、或いは前進クリック動作又は後進クリック動作を検知する前の距離ｋの値をニュートラルポジションに相当する値として予め記憶しておき、前進クリック動作又は後進クリック動作を検知してから距離ｋの値が前記ニュートラルポジションに相当する値になる迄の間、クリック動作の検知を停止することによって実現することができる。
【０１５７】
また、上述した指示判断処理においても、図１９に示した指示判断処理と同様に、情報入力者１０が腕を下ろした場合に、腕を下ろす前にカーソルを表示していた位置に、継続してカーソルを表示させるようにしてもよいことは言うまでもない。
【０１５８】
また、上記では情報入力者１０の基準点及び特徴点の３次元座標に基づいて情報入力者１０が指し示している位置を演算していたが、これに限定されるものではなく、ビデオカメラ３６の撮像によって得られた画像から情報入力者１０の全体像に相当する画像部を抽出し（図２３の画像部７２を参照）、情報入力者１０の身長ｈ及び床面上の位置を演算し、更に、太さ等の情報入力者に関する他のパラメータを決定した後に、身長ｈを含む各種パラメータに基づいて、情報入力者１０の全体像をダミーモデル７４（図２３参照）に変換し、このダミーモデルに基づいて、ディスプレイ１２の表示面上を指し示す動作を含む、情報入力者の各種動作の認識を行うようにしてもよい。
【０１５９】
上記のようにダミーモデルを用いた場合、例えば手を振る等のように、情報入力者の全体像からは認識が困難な動作も認識することができる。そして、例えば情報入力者が手を振る動作を「取消し」を意味する動作と定義しておき、情報入力者が手を振る動作を行ったことを認識したときには、その前に認識した情報入力者の動作に応じて実行した処理を中止させることも可能となる。
【０１６０】
また、上記では情報入力者１０がディスプレイ１２の表示面上の任意の位置を指し示す態様を例に説明したが、情報入力者が指し示す対象はディスプレイに限定されるものではなく、情報入力者が任意の方向を指し示したり、情報入力者との距離が不定の任意の物体を指し示すようにしてもよい。
【０１６１】
情報入力者が任意の方向を指し示す場合には、指示判断処理（例えば図８のフローチャートのステップ１７６）において、情報入力者の基準点と特徴点とを結ぶ仮想線の延びる方向を求めるようにすることで、情報入力者によって指し示された方向を判断できる。また、情報入力者が、情報入力者との距離が不定の任意の物体を指し示す場合には、先のステップ１７６において、仮想線の延びる方向を求めた後に、該仮想線を延長した先に存在する物体を判定することで、情報入力者が指し示している物体を判断することができる。
【０１６２】
情報入力者が任意の方向を指し示す利用形態としては、例えば劇場等において、スポットライトの照射方向や、アレイ状に配置された多数のスピーカによって形成される音響ビームの方向を、オペレータ（情報入力者）が指し示した方向に向ける場合等が挙げられる。
【０１６３】
また、情報入力者が、情報入力者からの距離が不定の任意の物体を指し示す利用形態としては、例えば建設現場や工場等においてクレーンやその他の機械をオペレータ（情報入力者）の指示に応じて動作させる場合、或いはホームオートメーションにおいて情報入力者が各種設備機器に対して各種の指示を行う場合等が挙げられる。
【０１６４】
また、上記では２台のビデオカメラ３６Ａ、３６Ｂを設けた例を説明したが、これに限定されるものではなく、より多数のビデオカメラによって情報入力空間を各々撮像し、情報入力者１０からの指示を判断するようにしてもよい。
【０１６５】
【発明の効果】
以上説明したように請求項１記載の発明は、複数の撮像手段の撮像範囲を、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように各々調整するようにしたので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１６６】
請求項２記載の発明は、互いに異なる位置に配置される複数の撮像手段の撮像範囲を、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように各々調整し、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、各照明手段の点灯時に、点灯している照明手段による床面上の照明範囲が撮像範囲から外れている撮像手段によって認識対象者を撮像させるので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１６７】
請求項３記載の発明は、互いに異なる方向から認識対象者を照明する複数の照明手段を設け、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、各照明手段の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、複数の画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行い、判別結果に基づいて複数の画像から認識対象者に相当する画像部を各々抽出するので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１６９】
請求項４記載の発明は、認識対象者が到来する所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を記憶手段に各々記憶し、複数の撮像手段の撮像によって得られた各画像上での特徴点の位置及び記憶手段に記憶された情報に基づいて特徴点の３次元座標を求めているので、特徴点の３次元座標上での位置に拘らず、特徴点の３次元座標を精度良く求めることができ、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１７１】
請求項５記載の発明は、請求項４の発明において、複数の撮像手段の撮像によって得られる各画像上での特徴点の位置を各々求めた後に、画像上での位置が特徴点を包含する所定範囲内である仮想点を各画像から各々抽出し、各画像から共通に抽出された仮想点の３次元座標に基づいて特徴点の３次元座標を求めているので、上記効果に加え、特徴点の３次元座標を更に精度良く求めることができる、という効果を有する。
【０１７２】
請求項６記載の発明は、請求項４の発明において、仮想点の位置にマーカが位置している状況を複数の撮像手段によって撮像させ、仮想点の３次元座標と各画像上での仮想点の位置とを対応付ける情報を生成し、記憶手段に記憶させるようにしたので、上記効果に加え、仮想点の３次元座標と前記各画像上での仮想点の位置とを精度良く対応付ける情報を自動的に得ることができる、という効果を有する。
【０１７４】
請求項７記載の発明は、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断すると共に、基準点と特徴点との距離の変化に基づいて所定の処理を実行するようにしたので、認識対象者による所定の処理の実行を指示する動作を短時間で確実に検出することができ、認識対象者からの指示を短時間で判定することができる、という優れた効果を有する。
【０１７５】
請求項８記載の発明は、請求項７の発明において、基準点と特徴点との距離が増加した場合には第１の所定の処理を行い、基準点と特徴点との距離が減少した場合には第１の所定の処理と異なる第２の所定の処理を行うので、上記効果に加え、第１の所定処理及び第２の所定の処理のうち実行させるべき処理を認識対象者が選択することが可能となると共に、第１の所定処理及び第２の所定の処理のうち認識対象者によって選択された処理を確実に実行することができる、という効果を有する。
【０１７６】
請求項９記載の発明は、請求項７又は請求項８の発明において、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行するようにしたので、上記効果に加え、認識対象者が所定の処理の実行を指示する動作を行った場合に、これを確実に検知して所定の処理を実行することができる、という効果を有する。
【０１７７】
請求項１０記載の発明は、請求項９の発明において、所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの基準点と特徴点との距離の変化速度に基づいて前記閾値を予め設定するようにしたので、上記効果に加え、個々の認識対象者の体格や筋力等のばらつきに拘らず、認識対象者による所定の処理の実行を指示する動作を確実に検知して所定の処理を実行することができる、という効果を有する。
【０１７８】
請求項１１記載の発明は、請求項７の発明において、認識対象者の腕が下げられたことが検出された場合には、処理を実行又は停止している状態を継続するようにしたので、上記効果に加え、認識対象者の負担を軽減することができる、という効果を有する。
【図面の簡単な説明】
【図１】情報入力空間の周辺を示す斜視図である。
【図２】本実施形態に係るハンドポインティング入力装置の概略構成を示すブロック図である。
【図３】照明装置の照明範囲とビデオカメラの撮像範囲との関係の一例を示す概略図である。
【図４】マーク板の一例を示す情報入力空間の斜視図である。
【図５】格子点位置情報初期設定処理を示すフローチャートである。
【図６】照明制御処理を示すフローチャートである。
【図７】図６の照明制御処理による照明装置Ａ、Ｂの点灯・消灯、ビデオカメラの撮像によって得られる画像の出力（取り込み）のタイミングを示すタイミングチャートである。
【図８】指示判断処理を示すフローチャートである。
【図９】情報入力者の身長及び床面上の位置の演算を説明するための、情報入力空間の側面図である。
【図１０】（Ａ）はビデオカメラにより撮像された情報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及び特徴点の３次元座標を求めるための格子点の検索範囲を示す概念図である。
【図１１】情報入力者が指し示しているディスプレイ上の位置の判定を説明するための、（Ａ）は情報入力空間の平面図、（Ｂ）は情報入力空間の側面図である。
【図１２】（Ａ）乃至（Ｃ）は情報入力者の動作の一例を示すイメージ図である。
【図１３】照明装置の照明範囲とビデオカメラの撮像範囲との関係の他の例を示す概略図である。
【図１４】図１３に示す配置における照明制御処理を示すフローチャートである。
【図１５】図１４の照明制御処理による照明装置Ａ、Ｂの点灯・消灯のタイミングを示すタイミングチャートである。
【図１６】情報入力空間の床面上に傾斜台を配設した態様を示す斜視図である。
【図１７】マーク板の他の例を示す情報入力空間の斜視図である。
【図１８】ロボットアーム装置によってマーカの位置を移動させる例を示す情報入力空間の斜視図である。
【図１９】指示判断処理の他の例を示すフローチャートである。
【図２０】指示判断処理の他の例を示すフローチャートである。
【図２１】クリック動作速度設定処理を示すフローチャートである。
【図２２】（Ａ）は前進クリック動作、（Ｂ）は後進クリック動作を説明するためのイメージ図である。
【図２３】ダミーモデルへのデータ変換を説明するためのイメージ図である。
【符号の説明】
１０ 情報入力者
１２ 大画面ディスプレイ
１４ 情報処理装置
２０ ハンドポインティング入力装置
２２ コントローラ
２４ 記憶装置
３２ 近赤外光照明装置
３６ ビデオカメラ
４０ マーク板
【発明の属する技術分野】
本発明はハンドポインティング装置に係り、特に、認識対象者を撮像し、認識対象者が指し示した位置又は方向を判断するハンドポインティング装置に関する。
【０００２】
【従来の技術】
従来より、所定の情報を表示するディスプレイ、ディスプレイの近傍に到来した情報入力者を照明する照明装置、到来した情報入力者を互いに異なる方向から撮像する複数の撮像手段を備え、到来した情報入力者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて情報入力者を認識し、情報入力者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、情報入力者が親指を上げるクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたと認識して所定の処理を行うハンドポインティング入力装置が知られている（例えば特開平4-271423号公報、特開平 5-19957号公報、特開平5-324181号公報等参照）。
【０００３】
上記のハンドポインティング入力装置によれば、情報入力者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。
【０００４】
【発明が解決しようとする課題】
しかしながら、ハンドポインティング入力装置を実際に運用する環境下では、認識対象物体である情報入力者の周囲に、例えば情報入力者の荷物やゴミ等の認識対象でない物体が存在している可能性がある。照明装置から射出された照明光は情報入力者の周囲にも照射されるので、上記のような非認識対象物体が情報入力者の周囲に存在していると、撮像手段の撮像によって得られた画像中に、非認識対象物体が高輝度の物体として存在することになり、非認識対象物体を情報入力者と誤認識する可能性が高い。
【０００５】
この情報入力者の誤認識を回避するためには、情報入力者の認識の精度を高くする必要があり、例えば、輝度の他に複数の画像特徴量も用いて総合的に情報入力者を認識する等の煩雑な画像処理（例えば画像特徴量の１つである輪郭形状に基づくパターンマッチング等）を行う必要がある。従って、撮像によって得られた画像に基づき認識等の画像処理を行う画像処理部に多大な負荷が加わるので、情報入力者からの指示の判定に時間がかかる原因になっていた。そして、情報入力者からの指示の判定に要する時間を短縮するためには処理速度の高い画像処理部を用いる必要があり、装置のコストが嵩むという問題があった。
【０００６】
また従来は、撮像によって得られた画像上での情報入力者の特徴点（例えば人指し指の先端等）の位置から、演算によって特徴点の３次元座標を求め、情報入力者が指示したディスプレイ上の位置を判定していたが、特徴点の３次元座標を求めるための演算処理が複雑であり、上記と同様に、情報入力者からの指示の判定に時間がかかる原因になっていた。
【０００７】
また従来は、親指を上げる動作をクリック動作として予め定めておき、クリック動作として親指を上げる動作のみを検出するようにしていたが、動作としての自由度が低く、使い勝手が悪いという問題があった。しかし、クリック動作として親指を上げる動作以外に別の動作も検出するようにすると、クリック動作を検出するための処理が煩雑になり、クリック動作の検出に時間がかかるという問題があった。
【０００８】
本発明は上記事実を考慮して成されたもので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができるハンドポインティング装置を得ることが目的である。
【０００９】
また本発明は、認識対象者からの指示の判定に時間がかかることなく、認識対象者が指示するための動作の自由度を向上させることができるハンドポインティング装置を得ることが目的である。
【００１０】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係るハンドポインティング装置は、認識対象者を照明する照明手段と、互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ前記照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整された複数の撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００１１】
本発明において、認識対象者は、例えばディスプレイの表示面等の面上の特定の位置を指し示してもよいし、特定の方向（例えば認識対象者から見て特定の物体が存在している方向）を指し示してもよい。判断手段は、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する。この指し示した特定の位置又は方向の判断は、具体的には、認識対象者の特徴点（認識対象者が特定の位置又は方向を指し示す動作に応じて位置が変化する点、例えば指し示す動作を行っている認識対象者の身体の所定部分（例えば手、指等）の先端や、認識対象者が把持している指示器の先端等）の３次元座標を演算し、認識対象者の位置と前記特徴点の３次元座標に基づいて行うことができる。
【００１２】
また請求項１記載の発明では、複数の撮像手段の撮像範囲が、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように各々調整されている。これにより、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとしても、この非認識対象物体が撮像手段の撮像範囲内に入る可能性が低くなると共に、仮に非認識対象物体が撮像範囲内に入っていたとしてもその輝度は低くなるので、撮像手段の撮像によって得られた画像についても、非認識対象物体に相当する画像部が存在する確率が低く、かつ前記画像部が存在していたとしてもその輝度が低くなる。
【００１３】
このため、判断手段での認識対象者に相当する画像部の抽出において、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００１４】
請求項２記載の発明に係るハンドポインティング装置は、互いに異なる方向から認識対象者を照明する複数の照明手段と、互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整された複数の撮像手段と、認識対象者が特定の位置又は方向を指し示しているときに、複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段によって照明される床面上の照明範囲が撮像範囲から外れている撮像手段によって前記認識対象者を撮像させ、該撮像によって得られた画像を出力させる制御手段と、前記複数の撮像手段から各々出力された複数の画像に基づいて、前記画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００１５】
請求項２記載の発明では、互いに異なる方向から認識対象者を照明する複数の照明手段が設けられており、複数の撮像手段は、互いに異なる位置に配置され、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整されている。これにより、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとしても、この非認識対象物体が各撮像手段の撮像範囲内に入る可能性が低くなる。
【００１６】
また制御手段は、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段による床面上の照明範囲が撮像範囲から外れている撮像手段によって認識対象者を撮像させ、該撮像によって得られた画像を出力させる。これにより、仮に非認識対象物体が撮像範囲内に入っていたとしても、その輝度が低い状況で各撮像手段での撮像が行われ、撮像によって得られた画像が出力されることになる。
【００１７】
そして、判断手段は、複数の撮像手段から各々出力された複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する。これにより、請求項１の発明と同様に、非認識対象物体に相当する画像部が存在する確率が低く、かつ該画像部が存在していたとしてもその輝度が低い複数の画像に基づいて、認識対象者に相当する画像部の抽出が行われるので、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００１８】
請求項３記載の発明に係るハンドポインティング装置は、互いに異なる方向から認識対象者を照明する複数の照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、認識対象者が特定の位置又は方向を指し示しているときに、前記複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、前記複数の画像中の前記認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う判別手段と、前記判別手段による判別結果に基づいて、前記複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００１９】
請求項３記載の発明では、判別手段が、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、複数の画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う。
【００２０】
複数の照明手段は認識対象者を照明する方向が互いに異なっているので、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られる複数の画像において、認識対象者に相当する画像部については常に高い輝度となるが、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとすると、該非認識対象物体に相当する画像部については、撮像時の照明の方向によって輝度が大きく変動する。従って、画像中の各画像部の輝度を前記複数の画像に亘って比較（例えば輝度の平均値や最低値を各画像部毎に比較）する、という非常に簡単な処理により、画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することができる。
【００２１】
そして判断手段は、判別手段による判別結果に基づいて、複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断するので、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができ、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００２６】
請求項４記載の発明に係るハンドポインティング装置は、所定箇所に到来した認識対象者を照明する照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、前記所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を各々記憶する記憶手段と、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の前記認識対象者に相当する画像部を抽出して認識対象者の特徴点の前記各画像上での位置を求め、前記各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の３次元座標を求め、求めた特徴点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【００２７】
請求項４記載の発明では、所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報が記憶手段に各々記憶されている。判断手段は、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の認識対象者に相当する画像部を抽出して認識対象者の特徴点の各画像上での位置を求め、各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の３次元座標を求め、認識対象者が指し示した位置又は方向を判断する。
【００２８】
このように、請求項４の発明では、所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点の各々の３次元座標と、各撮像手段の撮像によって得られる各画像上での各仮想点の位置との対応が、記憶手段に記憶されている情報により予め判明しており、認識対象者の特徴点の３次元座標を前記情報に基づいて求めているので、非常に簡単な処理で認識対象者の特徴点の３次元座標を求めることができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【００２９】
また、請求項４の発明では、多数の仮想点が一定間隔で格子状に並んでいるので、特徴点が所定箇所付近の何れの位置に位置していたとしても、特徴点に近接した位置に仮想点が存在していることになる。３次元座標上で近接した位置に存在している可能性の高い仮想点の３次元座標に基づいて特徴点の３次元座標を求めることにより、特徴点の３次元座標上での位置に拘らず、特徴点の３次元座標を精度良く求めることができる。
【００３１】
また、上記のように多数の仮想点が一定間隔で格子状に並んでいる場合、特徴点の３次元座標は、例えば以下のようにして求めることができる。すなわち、請求項５記載の発明は、請求項４の発明において、判断手段は、複数の撮像手段の撮像によって得られる各画像上での特徴点の位置を各々求めた後に、画像上での位置が前記特徴点を包含する所定範囲内である仮想点を前記各画像から各々抽出し、前記各画像から共通に抽出された仮想点の３次元座標に基づいて前記特徴点の３次元座標を求めることを特徴としている。
【００３２】
請求項５の発明では、判断手段が、各画像上での特徴点の位置を各々求めた後に、画像上での位置が特徴点を包含する所定範囲内である仮想点を各画像から各々抽出する。これにより、３次元座標上で特徴点に近接した位置に存在している可能性がある仮想点が全て抽出される。なお、前記所定範囲の広さは仮想点の間隔に応じて定めることができる。また判断手段は、各画像から共通に抽出された仮想点の３次元座標に基づいて特徴点の３次元座標を求めている。撮像手段の撮像によって得られる画像は撮像範囲内の状況を平面に投影した画像であるので、３次元座標が異なっているものの撮像手段から重なって見える位置関係にある点は撮像によって得られた画像上での位置が等しいが、各画像から共通に抽出された仮想点は３次元座標上で特徴点に近接した位置に存在している仮想点であるので、前記共通に抽出された仮想点の３次元座標から特徴点の３次元座標を求めることにより、特徴点の３次元座標を更に精度良く求めることができる。
【００３３】
なお、記憶手段に記憶する情報は、認識対象者が到来する所定箇所と撮像手段との位置関係が正確に一定である場合には、所定箇所付近に位置している複数の仮想点の各々の３次元座標、及び各撮像手段の撮像によって得られる各画像上での複数の仮想点の各々の位置を実験等により測定し、測定結果に基づいて固定的に設定することも可能であるが、前記位置関係にばらつきがあったり、個々のハンドポインティング装置毎に前記位置関係が大幅に異なる設計となっている等の場合には、記憶手段に記憶する情報を設定し直す必要がある。
【００３４】
上記を考慮し、請求項６記載の発明は、請求項４の発明において、前記仮想点の位置にマーカが位置している状況を前記複数の撮像手段によって撮像させ、前記仮想点の３次元座標と各撮像手段の撮像によって得られた各画像上でのマーカの位置とに基づいて、仮想点の３次元座標と前記各画像上での仮想点の位置とを対応付ける情報を生成し、前記記憶手段に記憶させる生成手段を更に備えたことを特徴としている。
【００３５】
なお、上記のマーカは撮像によって得られた画像上での識別が容易なものであればよく、例えば特有の色に着色されたマークや、ＬＥＤ等の発光源を用いることができる。また、所定位置にマーカを位置させることは、人間が行ってもよいし、マーカを任意の位置に移動可能な移動手段を設けて自動的に行ってもよい。移動手段によってマーカを移動させる場合には、移動手段によるマーカの移動量から所定位置の３次元座標を求めることができる。
【００３６】
請求項６の発明では、仮想点の３次元座標と前記各画像上での仮想点の位置とを対応付ける情報が生成手段によって自動的に生成されるので、認識対象者が到来する所定箇所と撮像手段との位置関係にばらつきがあったり、個々のハンドポインティング装置毎に前記位置関係が大幅に異なる設計となっている等の場合であっても、仮想点の３次元座標と前記各画像上での仮想点の位置とを精度良く対応付ける情報を自動的に得ることができる。
【００４０】
ところで、人間が特定の位置や特定の方向を指し示す動作では、指し示す位置や方向を変更した場合であっても、指先等は一般に腕の付け根付近を中心とする仮想的な球面に沿って移動するのみであり、指先等と腕の付け根を含む胴体部との距離は殆ど変化しない。
【００４１】
上記に着目し、請求項７記載の発明に係るハンドポインティング装置は、認識対象者を照明する照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、前記基準点と前記特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する処理手段と、を含んで構成している。
【００４２】
請求項７記載の発明に係る判断手段は、複数の画像から認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する。また処理手段は、基準点と特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する。なお特徴点としては、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する点を用いることができ、基準点としては、例えば認識対象者の胴体部（例えば胸部や腕の付け根等）に相当する点を用いることができる。
【００４３】
これにより、基準点から特徴点に向かう方向が認識対象者から見て指示対象としての位置又は方向に対応するように、基準点に対する特徴点の方向を調節する動作を行えば、指し示した位置又は方向が判断手段によって判断され、認識対象者が腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離が変化し、この距離の変化に基づいて所定の処理が行われることになる。
【００４４】
このように、請求項７の発明は、基準点及び特徴点の位置関係から認識対象者が指し示した位置又は方向が判断されると共に、基準点及び特徴点の距離（相対位置）の変化に基づいて所定の処理の実行が指示されたか否かが判断されるので、撮像手段による撮像方向を、指の上げ下げ等の動作を考慮することなく、基準点及び特徴点が確実に検出できるように定めることができると共に、所定の処理の実行が指示されたか否かを判定するために、新たな画像特徴量を検出する必要もない。そして、基準点と特徴点の距離は人間が特定の位置や特定の方向を指し示す動作では殆ど変化しない。従って、請求項７の発明によれば、認識対象者による所定の処理の実行を指示する動作（腕を屈曲又は伸長させる動作）を短時間で確実に検出することができ、認識対象者からの指示を短時間で判定することができる。
【００４５】
なお処理手段は、所定の処理として、例えば基準点と特徴点との距離が変化したときに認識対象者が指し示していた位置又は方向に関連する処理を実行することができるが、腕を屈曲又は伸長させる動作は、上記の所定の処理の実行を指示するための動作として極めて自然な動作であるので、所定の処理の実行を指示する動作を、認識対象者が違和感を感ずることなく行うことができる。
【００４６】
また、腕を屈曲又は伸長させる動作に伴う基準点と特徴点との距離の変化方向には２種類ある（距離が増加する方向及び減少する方向）ので、請求項８に記載したように、基準点と特徴点との距離が増加した場合には第１の所定の処理を行い、基準点と特徴点との距離が減少した場合には前記第１の所定の処理と異なる第２の所定の処理を行うようにしてもよい。
【００４７】
請求項８の発明では、認識対象者が腕を伸長させる動作（この場合、基準点と特徴点との距離は増加する）を行うと第１の所定の処理が行われ、認識対象者が腕を屈曲させる動作（この場合、基準点と特徴点との距離は減少する）を行うと第２の所定の処理が行われるので、マウスの左クリックと右クリックのように、第１の所定の処理及び第２の所定の処理のうち実行させるべき処理を認識対象者が選択することが可能となる。そして、認識対象者が上記の何れかの動作を行うことにより、第１の所定の処理及び第２の所定の処理のうち認識対象者によって選択された処理を確実に実行することができる。
【００４８】
なお、基準点と特徴点との距離の変化に基づいて所定の処理の実行が指示されたか否かを判断することは、具体的には、例えば基準点と特徴点との距離の変化の大きさに基づいて、距離の変化が所定値以上となった場合に所定の処理の実行が指示されたと判断することも可能ではあるが、所定の処理の実行を意図しない別の動作において基準点と特徴点との距離が大きく変化したとすると、認識対象者からの指示を誤判断する可能性もある。
【００４９】
これを考慮すると、請求項９に記載したように、処理手段は、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行することが好ましい。
【００５０】
請求項９の発明では、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行するので、認識対象者が、腕を素早く屈曲又は伸長させる、という特有の動作を行うことによって、基準点と特徴点との距離の変化速度が閾値以上になって所定の処理が実行されることになる。これにより、認識対象者による所定の処理の実行を指示する動作の認識率が向上し、認識対象者が所定の処理の実行を指示する動作を行った場合にのみ、これを確実に検知して所定の処理を実行することができる。
【００５１】
また、認識対象者の体格は一定ではないと共に、認識対象者の筋力等も一定ではないので、処理手段に所定の処理を行わせるために認識対象者が腕を素早く屈曲又は伸長させる動作を行ったとしても、基準点と特徴点との距離の変化速度は個々の認識対象者毎にばらつきがある。従って、所定の処理を行わせるために認識対象者が腕を素早く屈曲又は伸長させる動作を行ったとしても検知できなかったり、逆に認識対象者が前記動作を行っていないにも拘らず前記動作を誤検知することも考えられる。
【００５２】
このため請求項１０記載の発明は、請求項９の発明において、処理手段に所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの基準点と特徴点との距離の変化速度に基づいて前記閾値を予め設定する閾値設定手段を更に備えたことを特徴としている。
【００５３】
請求項１０記載の発明では、処理手段に所定の処理を行わせるために認識対象者が腕を屈曲又は伸長させる動作（腕を素早く屈曲又は伸長させる動作）を行ったときの基準点と特徴点との距離の変化速度に基づいて、処理手段が所定の処理を行うか否かの閾値を予め設定するので、個々の認識対象者の体格や筋力等に応じた閾値を得ることができる。そして、この閾値を用いて所定の処理の実行が指示されたか否かを判断することにより、個々の認識対象者の体格や筋力等のばらつきに拘らず、認識対象者による所定の処理の実行を指示する動作を確実に検知して所定の処理を実行することができる。
【００５４】
また請求項７の発明において、請求項１１に記載したように、認識対象者の腕が下げられたか否かを検出する第２の検出手段を設け、処理手段は、第２の検出手段によって認識対象者の腕が下げられたことが検出された場合には、処理を実行又は停止している状態を継続するようにすれば、ある処理を継続して実行させるために、認識対象者が継続的に腕を上げ続ける必要がなくなるので、認識対象者の負担を軽減することができる。
【００５５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示すように、本発明の認識対象者としての情報入力者１０が到来する箇所の壁面には大画面ディスプレイ１２が埋め込まれている。なお、ディスプレイ１２としては液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、光ファイバディスプレイ等の周知の表示手段を適用できる。
【００５６】
ディスプレイ１２はパーソナルコンピュータ等から成る情報処理装置１４に接続されており（図２参照）、情報処理装置１４により、各種の情報が表示面上に図形、表、文字、画像等の種々の表示形態で表示される。本実施形態において、情報入力者１０は、ディスプレイ１２の前方の図１に示した箇所（情報入力空間）に到来し、ディスプレイ１２の表示面上の各種情報が表示されている位置を指し示すと共に、クリック動作（詳細は後述）を行うことにより、情報処理装置１４に対して各種の指示を与えたり各種の処理を実行させる。
【００５７】
図２に示すように、情報処理装置１４には、本実施形態に係るハンドポインティング入力装置２０のコントローラ２２が接続されている。コントローラ２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄを備えており、これらがバスを介して互いに接続されて構成されている。入出力インタフェース２２Ｄには情報処理装置１４が接続されていると共に、記憶内容を書換え可能な不揮発性の記憶装置２４、各種の情報を表示するためのディスプレイ２６、オペレータが各種の指示やデータを入力するためのキーボード２８が接続されている。
【００５８】
また、コントローラ２２の入出力インタフェース２２Ｄには照明制御装置３０が接続されており、この照明制御装置３０には、近赤外域の波長の光をビーム状に射出する複数の近赤外光照明装置３２Ａ、３２Ｂが接続されている。図１に示すように、近赤外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の互いに異なる箇所に配設されており、情報入力空間に到来した情報入力者１０を、互いに異なる方向から照明するように照射範囲が調整されている（図３も参照）。照明制御装置３０は、コントローラ２２から指示に応じて照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。
【００５９】
コントローラ２２の入出力インタフェース２２Ｄには撮像制御装置３４が接続されており、この撮像制御装置３４には、情報入力空間の上方の互いに異なる箇所に配設された（図１参照）複数のビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオカメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光に感度を有するＣＣＤ等から成るエリアセンサを備えていると共に、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられている。
【００６０】
また図３に示すように、ビデオカメラ３６Ａは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ａから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において、照明装置３２Ａによる照明範囲の中心と床面から所定高さで交差するように向きが調整されている。従ってビデオカメラ３６Ａは、照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように撮像範囲が調整されている。同様にビデオカメラ３６Ｂは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ｂから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において、照明装置３２Ｂによる照明範囲の中心と床面から所定高さで交差するように向きが調整されている。
【００６１】
このように、ビデオカメラ３６Ａ、３６Ｂは、互いに異なる照明装置によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整されており、請求項１、より詳しくは請求項２に記載の撮像手段に対応している。
【００６２】
また、コントローラ２２の入出力インタフェース２２Ｄにはマーク板駆動装置３８も接続されている。図４に示すように、ハンドポインティング入力装置２０は、情報入力空間の近傍に配設されたマーク板４０を備えている。マーク板４０は、透明な平板に多数のマーク４０Ａがマトリクス状に等間隔で記録されて構成されており、マーク４０Ａの配列方向に直交する方向（図４の矢印Ａ方向）に沿って情報入力空間を横切るように移動可能とされている。なおマーク４０Ａは、画像上での認識が容易な色（例えば赤色）に着色されている。マーク板駆動装置３８は、コントローラ２２からの指示に応じてマーク板４０を図４の矢印Ａ方向に沿って移動させる。
【００６３】
次に本実施形態の作用として、まず、ハンドポインティング入力装置２０が設置された際に行われる格子点位置情報初期設定処理について、図５のフローチャートを参照して説明する。
【００６４】
ステップ１００では、マーク板駆動装置３８により、マーク板４０を所定位置（マーク板４０の移動範囲の端部に相当する位置）に移動させる。次のステップ１０２では、現在のマーク板４０の位置において、マーク板４０に記録されている多数のマーク４０Ａの情報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算する。ステップ１０４では撮像制御装置３４を介し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、次のステップ１０６では、ビデオカメラ３６Ａが情報入力空間を撮像することによって得られた画像（以下画像Ａと称する）を撮像制御装置３４を介して取り込む。
【００６５】
ステップ１０８では、ステップ１０６で取り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１０では認識した全てのマーク４０Ａについて、画像Ａ上での位置（ＸA ，ＹA ）を演算する。そしてステップ１１２では、画像Ａ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（ＸA ，ＹA ）とを対応させ、ビデオカメラ３６Ａの格子点位置情報として記憶装置２４に記憶させる。
【００６６】
次のステップ１１４〜１２０では、上記のステップ１０６〜１１２と同様にしてビデオカメラ３６Ｂに対する処理を行う。すなわち、ステップ１１４ではビデオカメラ３６Ｂが情報入力空間を撮像することによって得られた画像（以下画像Ｂと称する）を撮像制御装置３４を介して取り込み、ステップ１１６ではステップ１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１８では認識した全てのマーク４０Ａについて、画像Ｂ上での位置（ＸB ，ＹB ）を演算する。そしてステップ１２０では、画像Ｂ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上での位置（ＸB ，ＹB ）とを対応させ、ビデオカメラ３６Ｂの格子点位置情報として記憶装置２４に記憶させる。
【００６７】
次のステップ１２２では、マーク板４０が最終位置（マーク板４０の移動範囲のうちステップ１００における所定位置と反対側の端部に相当する位置）迄移動したか否か判定する。ステップ１２２の判定が否定された場合にはステップ１２４へ移行し、マーク板駆動装置３８により、マーク板４０を所定方向に一定距離（詳しくは、マーク板４０上におけるマーク４０Ａの間隔に一致する距離）だけ移動させた後にステップ１０２に戻る。
【００６８】
上記のように、マーク板４０が最終位置に移動する迄、ステップ１０２〜１２４が繰り返されることにより、マーク板４０に記録されている多数のマーク４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点（請求項４に記載の仮想点に相当）に対応する位置へ移動され、ビデオカメラ３６Ａの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ａ上での位置とが対応されて記憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ｂ上での位置とが対応されて記憶装置２４に記憶されることになる。
【００６９】
上記の格子点位置情報初期設定処理は請求項６に記載の生成手段に対応しており、上記処理によって初期設定される格子点位置情報は、請求項４及び請求項６に記載の「仮想点の３次元座標と画像上での仮想点の位置とを対応付ける情報」に相当し、記憶装置２４は本発明の記憶手段に対応している。なお、マーク板４０及びマーク板駆動装置３８は、上記の格子点位置情報初期設定処理においてのみ用いられ、後述する処理では用いないので、上記の処理を実行した後に、マーク板４０及びマーク板駆動装置３８を撤去するようにしてもよい。
【００７０】
次に図６のフローチャートを参照し、上記の格子点位置情報初期設定処理が行われた後に、コントローラ２２で定常的に実行される照明制御処理について説明する。ステップ１３０では、照明制御装置３０により照明装置３２Ａを点灯させると共に照明装置３２Ｂを消灯させる。ステップ１３２では、ビデオカメラ３６Ａによって情報入力空間を撮像させ、ビデオカメラ３６Ａから画像を出力させる。ステップ１３４では照明装置３２Ａの点灯を開始してから所定時間経過したか否か判定し、判定が肯定される迄待機する。
【００７１】
ステップ１３４の判定が肯定されるとステップ１３６へ移行し、照明制御装置３０により照明装置３２Ａを消灯させると共に照明装置３２Ｂを点灯させる。ステップ１３８では、ビデオカメラ３６Ｂによって情報入力空間を撮像させ、ビデオカメラ３６Ｂから画像を出力させる。ステップ１４０では照明装置３２Ｂの点灯を開始してから所定時間経過したか否か判定し、判定が肯定される迄待機する。そして、ステップ１４０の判定が肯定されるとステップ１３０へ戻る。
【００７２】
上記の照明制御処理により、図７にも示すように、照明装置３２Ａ及び照明装置３２Ｂは所定時間毎に交互に点灯されると共に、照明装置３２Ａが点灯しているときにビデオカメラ３６Ａの撮像が行われ、ビデオカメラ３６Ａの撮像によって得られた画像Ａを表す画像データが撮像制御装置３４を介してコントローラ２２に出力され、照明装置３２Ｂが点灯しているときにビデオカメラ３６Ｂの撮像が行われ、ビデオカメラ３６Ｂの撮像によって得られた画像Ｂを表す画像データが撮像制御装置３４を介してコントローラ２２に出力される。上記の照明制御処理は請求項２に記載の制御手段に対応している。
【００７３】
本実施形態では、近赤外光により撮像を行っているので、撮像によって得られる画像中の情報入力者１０に相当する画像部の輝度が、可視光が射出されるディスプレイ１２の輝度の変化や、情報入力者１０の肌の色や服の色の影響を受けて変化することはなく、後述する指示判断処理において、情報入力者１０に相当する画像部を高精度に抽出することができる。また、情報入力空間の近傍に、近赤外域の波長の光が射出されないように処理した蛍光灯を配置したとしても、この影響を受けることはない。更に、近赤外光が照射されていることを情報入力者１０に感知されることがないので、上記のように照明装置３２Ａ、３２Ｂを交互に点灯させても、情報入力者１０に不快感を与えることはない。
【００７４】
次に図８のフローチャートを参照し、上記の照明制御処理と並行してコントローラ２２で所定時間毎に繰り返し実行される、情報入力者１０からの指示を判断する指示判断処理について説明する。
【００７５】
ステップ１５０では、ビデオカメラ３６Ａから出力される画像Ａを表す画像データ、及びビデオカメラ３６Ｂから出力される画像Ｂを表す画像データを、図７に示すタイミングで各々取り込む。次のステップ１５２では、ステップ１５０で取り込んだ画像Ａ、画像Ｂの画像データに基づいて、情報入力空間内に情報入力者１０が存在しているか否か判定する。
【００７６】
先に説明したように、ビデオカメラ３６Ａによる情報入力空間の撮像は照明装置３２Ａのみが点灯しているときに行われ、ビデオカメラ３６Ａの撮像範囲は照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように調整されている。従って、照明装置３２Ａによる床面上の照明範囲内に情報入力者１０の荷物やゴミ等の非認識対象物５０Ａ（図３参照）が存在していたとしても、この非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ａによって撮像される範囲内に非認識対象物５０Ｂ（図３参照）が存在していた場合には、非認識対象物５０Ｂはビデオカメラ３６Ａによって撮像されることになるが、非認識対象物５０Ｂは照明装置３２Ａによる照明範囲から外れているので、画像Ａ中に存在する非認識対象物５０Ｂに相当する画像部の輝度は非常に低くなる。
【００７７】
また、ビデオカメラ３６Ｂによる情報入力空間の撮像についても照明装置３２Ｂのみが点灯しているときに行われ、ビデオカメラ３６Ｂの撮像範囲は照明装置３２Ｂによる床面上の照明範囲が撮像範囲から外れるように調整されている。従って、照明装置３２Ｂによって照明される床面上に非認識対象物５０Ｂが存在していたとしても、この非認識対象物５０Ｂがビデオカメラ３６Ｂの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ｂによって撮像される範囲内に非認識対象物５０Ａが存在していた場合には、ビデオカメラ３６Ｂによって非認識対象物５０Ｂが撮像され、画像Ｂ中に非認識対象物５０Ｂに相当する画像部が存在することになるが、上記と同様にその輝度は非常に低い。
【００７８】
従って、先のステップ１５２では、例えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理により、情報入力空間内に情報入力者１０が存在しているか否かを判定することができる。ステップ１５２の判定が否定された場合には、何ら処理を行うことなく指示判断処理を終了する。
【００７９】
一方、ステップ１５２の判定が肯定された場合にはステップ１５４へ移行する。なお、ステップ１５４以降の処理は本発明の判断手段に対応している。ステップ１５４では画像Ａ及び画像Ｂから、情報入力者１０の全体像に相当する画像部を各々抽出する。この情報入力者１０の全体像に相当する画像部についても、高輝度の画素から成る所定値以上の面積の連続した領域を判断することで容易に抽出することができる。
【００８０】
ステップ１５６では、情報入力者１０の全体像に相当する画像部に基づき、情報入力者１０の身長を求める。図９に示すように、点Ｏに位置しているビデオカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐとの距離をＲ、情報入力者１０の頭頂部に相当する点Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度をθ’、ビデオカメラ３６のエリアセンサの受光面に結像される情報入力者の像の長さをｈ’、点Ｐに対応する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離をｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式から求めることができる。
【００８１】
θ ＝ｔａｎ-1（Ｒ／Ｈ） …（１）
θ’＝ｔａｎ-1｛Ｒ／（Ｈ−ｈ）｝ …（２）
ｒ ＝ｆθ …（３）
ｒ’＝ｆθ’ …（４）
【００８２】
従って、情報入力者１０の身長ｈ及び距離Ｒは次の（５）式及び（６）式によって求めることができる。
【００８３】
ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５）
Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６）
【００８４】
距離Ｈ及び焦点距離ｆは既知であるので、ステップ１５６ではビデオカメラ３６Ａ、３６Ｂの撮像によって得られた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求め、これを（５）式に代入することにより情報入力者１０の身長ｈを求めることができる。また、ステップ１５６では、画像Ａ及び画像Ｂの各々から距離ｒを求め、これを（６）式に各々代入して距離Ｒを各々求めることにより、情報入力者１０の床面上の位置（２次元座標）を求める。
【００８５】
次のステップ１５８では、ステップ１５６で求めた情報入力者１０の身長ｈ及び情報入力者の床面上の位置に基づき、情報入力者１０の基準点Ｐ0 の３次元座標（ｘ0 ，ｙ0 ，ｚ0 ）を決定する。なお基準点Ｐ0 としては、例えば情報入力者１０の背中に相当する点（図１１に示す点Ｐ0 ）等を用いることができる。この場合、情報入力者１０の身長ｈに基づいて情報入力者１０の背中に相当する基準点Ｐ0 の床面からの高さ（例えばｚ0 の値）を割り出し、情報入力者１０の床面上の位置（平面座標）を基準点Ｐ0 の平面座標（例えばｘ0 、ｙ0 の値）として設定することにより、基準点Ｐ0 の３次元座標を決定することができる。
【００８６】
ステップ１５９では、画像Ａ及び画像Ｂ上での情報入力者１０の全体像に相当する画像部の形状に基づいて、情報入力者１０が指示動作（指等によりディスプレイ１２側を指し示す動作）を行っているか否か判定する。情報入力者１０から見たディスプレイ１２の方向は既知であるので、ステップ１５９の判定は、例えば情報入力者１０の全体像に相当する画像部において、情報入力者１０の手に相当すると判断できる高さ位置に、情報入力者１０から見たディスプレイ１２の方向に向かって突出している部分が有るか否かを判断することで実現できる。
【００８７】
これにより、情報入力者１０が、図１２（Ａ）に示す直立状態から、図１２（Ｂ）又は（Ｃ）に示すように手をディスプレイ１２側に向ければ、情報入力者１０が指示動作を行っていると判定されることになる。ステップ１５９の判定が否定された場合には、何ら処理を行うことなく指示判断処理を一旦終了するが、ステップ１５９の判定が肯定された場合には、ステップ１６０へ移行する。
【００８８】
ステップ１６０では、ビデオカメラ３６Ａから取り込んだ画像Ａを表す画像データに基づいて、画像Ａ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）を演算する。情報入力者１０の特徴点Ｐx としては、ディスプレイ１２側を指し示す動作を行っている指の先端に相当する点等を用いることができる。この場合、情報入力者１０の全体像を表す画像部のうち、情報入力者１０の手に相当すると判断できる高さ位置に、ディスプレイ１２の方向に向かって突出している部分の先端の位置を、特徴点Ｐx の位置として演算することができる。
【００８９】
これにより、ビデオカメラ３６Ａにより情報入力者１０の手が図１０（Ａ）に示すように撮像された場合、特徴点Ｐx の位置として、図１０（Ｂ）に示す特徴点Ｐx の座標（ＸA ，ＹA ）が演算されることになる。
【００９０】
ステップ１６２では、記憶装置２４に記憶されているビデオカメラ３６Ａの格子点位置情報に基づき、画像Ａ上での位置が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲（図１０（Ｂ）にハッチングで囲んだ範囲を参照）に入る格子点を全て検索する。なお、このｄＸ及びｄＹの大きさは、格子点の間隔（マーク４０Ａの間隔）に基づき、少なくとも１個以上の格子点が抽出されるように定められている。
【００９１】
また、本実施形態ではビデオカメラの結像レンズとして広角レンズを用いており、仮にｄＸ及びｄＹを一定とすると、ビデオカメラと格子点との距離が大きくなるに従って多くの格子点が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲に入り、後述する特徴点Ｐx の３次元座標の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹは、３次元座標上でのビデオカメラからの距離が離れるに従って値が小さくなるように設定される。従って、３次元座標上での（ＸA ±ｄＸ，ＹA ±ｄＹ）に相当する範囲は、底面がビデオカメラ側に位置している円錐状（又は楕円錐状）となる。このステップ１６２は、請求項５に記載の「画像上での位置が特徴点を包含する所定範囲内である仮想点を抽出する」ことに対応している。
【００９２】
ステップ１６４では、先のステップ１６０と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを表す画像データに基づいて、画像Ｂ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）を演算する。ステップ１６６では、先のステップ１６２と同様に、記憶装置２４に記憶されているビデオカメラ３６Ｂの格子点位置情報に基づき、画像Ｂ上での位置が（ＸB ±ｄＸ，ＹB ±ｄＹ）の範囲に入る格子点を全て検索する。このステップ１６６も、請求項５に記載の「画像上での位置が特徴点を包含する所定範囲内である仮想点を抽出する」ことに対応している。
【００９３】
次のステップ１６８では、画像Ａ及び画像Ｂから共通に抽出した格子点を判定する。これにより、情報入力空間内で特徴点Ｐx に近接した位置に存在している格子点のみが複数抽出されることになる。ステップ１７０では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標を、格子点位置情報から取り込む。
【００９４】
本実施形態では、後述するように、特徴点Ｐx の３次元座標を、情報入力空間内で特徴点に近接した位置に存在している複数の格子点の３次元座標から内挿によって演算する（具体的には、前記複数の格子点の３次元座標の座標値の重み付き平均により特徴点の３次元座標の座標値を求める）。このため、特徴点Ｐx の３次元座標を演算するに先立ち、次のステップ１７２では、画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）に基づいて、画像Ａ及び画像Ｂから共通に抽出した各格子点の３次元座標からの内挿の割合（各格子点の３次元座標の座標値に対する重み）を決定する。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特徴点と近接した位置に存在している格子点の３次元座標の座標値の重みが大きくなるように決定することができる。
【００９５】
ステップ１７４では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標、及びステップ１７２で決定した内挿の割合に基づいて、特徴点Ｐx の３次元座標（Ｘx ，Ｙx ，Ｚx ）を演算する。
【００９６】
ステップ１７６では、先のステップ１５８で演算した情報入力者の基準点Ｐ0 の３次元座標と、ステップ１７４で演算した特徴点の３次元座標とに基づき、情報入力者１０が指し示している方向として、上記の基準点と特徴点とを結ぶ仮想線（図１１の仮想線５４参照）の延びる方向を求め、情報入力者１０が指し示している位置として、大画面ディスプレイ１２の表示面を含む平面と前記仮想線の交点（図１１の点Ｓ参照）の座標（平面座標）を演算する。
【００９７】
次のステップ１７８では、ステップ１７６で求めた座標に基づいて、情報入力者１０が大画面ディスプレイ１２の表示面上を指し示しているか否か判定する。判定が否定された場合には、ステップ１８０で監視フラグ（クリック動作を監視するためのフラグ）を０にして指示判断処理を終了する。一方、ステップ１７８の判定が肯定された場合には、ステップ１７６で演算した情報入力者１０が指し示している位置を表す座標を情報処理装置１４に出力する。これにより、情報処理装置１４では、情報入力者１０が指し示していると判断されたディスプレイ１２の表示面上の所定位置にカーソルを表示する等の処理を行う。
【００９８】
次のステップ１８４以降は情報入力者１０がクリック動作を行ったか否かを判定する。なお、本実施形態ではクリック動作が、情報入力者が自身の手を動かすあらゆる動作（例えば手首の屈曲や回転、任意の指の曲げ伸ばし等）として定義されている。ステップ１８４では、画像Ａ中に存在する情報入力者１０の手に相当する画像部を抽出し、該画像部の面積を求めると共に、画像Ｂ中に存在する情報入力者１０の手に相当する画像部を抽出し、該画像部の面積を求める。
【００９９】
次のステップ１８６では監視フラグが１か否か判定する。ステップ１８６の判定が否定された場合は、指示判断処理を前回行ったときには情報入力者１０がディスプレイ１２の表示面上を指し示していなかった場合であるので、ステップ１８８で監視フラグを１にして、次のステップ１９０では、後にクリック動作の判定を行うために、ステップ１８４で演算した情報入力者の手に相当する画像部の面積をＲＡＭ２２Ｃに記憶し、指示判断処理を一旦終了する。
【０１００】
一方、ステップ１８６の判定が肯定された場合は、情報入力者１０がディスプレイ１２の表示面上を継続的に指し示している場合であるので、ステップ１９２へ移行し、ステップ１８４で演算した面積を、ＲＡＭ２２Ｃ等に記憶されている面積（情報入力者１０がディスプレイ１２の表示面上を指し示すことを開始したとき、すなわち過去にステップ１８８で監視フラグを１にしたときに演算した面積）と比較し、情報入力者１０の手に相当する画像部の面積に所定値以上の変化が有ったか否か判定する。ステップ１９２の判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断し、何ら処理を行うことなく指示判断処理を終了する。
【０１０１】
また、情報入力者１０が手首の屈曲や回転（例えば図１２（Ｂ）に示す状態から図１２（Ｃ）に示す状態への変化、或いはその逆の変化）、任意の指の曲げ伸ばし等の動作を行うと、画像Ａ及び画像Ｂ中に存在する情報入力者１０の手に相当する画像部の面積が所定値以上変化することによってステップ１９２の判定が肯定される。ステップ１９２の判定が肯定されると、ステップ１９４で「クリック有り」を表す情報を情報処理装置１４に出力し、次のステップ１９６で監視フラグを０にした後に指示判断処理を終了する。
【０１０２】
これにより、情報処理装置１４では、情報入力者１０によって指し示されているディスプレイ１２の表示面上の所定位置（ステップ１８２で入力された座標に相当する位置）がクリックされたと判断し、ディスプレイ１２の表示面上の所定位置に表示している情報に応じた処理を行う。
【０１０３】
ハンドポインティング入力装置２０のコントローラ２２において、上記の指示判断処理を所定時間毎に繰り返し実行することにより、情報入力者１０によるディスプレイ１２上の表示面上の指示位置及びクリック動作の有無をリアルタイムで判断することができるので、情報処理処理装置１４で実行される処理と組み合わせることで、以下で説明するように種々の利用形態での利用が可能となる。
【０１０４】
例えばディスプレイ１２を地下街等の壁面に設置し、情報処理装置１４がディスプレイ１２に商品の広告等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じて特定の商品を詳しく説明する画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。また、利用者に課金用のカードを所持させるようにすれば、このカードにより課金することで利用者が商品を購入することも可能となる。
【０１０５】
また、例えばディスプレイ１２をビルのエントランスに設置し、情報処理装置１４がディスプレイ１２にビル内を案内する案内図等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じてビル内のうち利用者が訪問する箇所を詳しく説明する画面や、訪問する箇所迄の経路を示す画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。
【０１０６】
また、クリーンルームには取扱説明書やその他のマニュアルを持ち込めないことが一般的であるが、例えばディスプレイ１２をクリーンルームの外部に、クリーンルーム内から視認可能に配置し、ハンドポインティング入力装置２０によって判断したクリーンルーム内の作業者からの指示に応じて取扱説明書やその他のマニュアルの内容をディスプレイ１２に表示するようにすれば、クリーンルーム内とクリーンルーム外との双方向のコミュニケーションが可能となり、クリーンルーム内での作業の効率が向上する。
【０１０７】
更に、例えば大画面のディスプレイ１２、ハンドポインティング入力装置２０及び情報処理装置１４をアミューズメント施設のゲーム機として動作させたり、会議のプレゼンテーションにおいて、ディスプレイ１２に説明用の資料を表示しディスプレイ１２の表示面上の任意の位置を指し示す際に適用することも可能である。
【０１０８】
なお、上記では、照明装置３２Ａによる床面上の照明範囲がビデオカメラ３６Ａの撮像範囲から外れるように調整すると共に、照明装置３２Ｂによる床面上の照明範囲がビデオカメラ３６Ｂの撮像範囲から外れるように調整し、照明装置３２Ａのみが点灯しているときにビデオカメラ３６Ａによる撮像を行い、照明装置３２Ｂのみが点灯しているときにビデオカメラ３６Ｂによる撮像を行うことにより、情報入力者１０に相当する画像部の抽出が容易な画像Ａ及び画像Ｂを得ていたが、これに限定されるものではなく、照明装置３２による床面上の照明範囲がビデオカメラ３６の撮像範囲内に入っていたとしても、情報入力者１０に相当する画像部の抽出が容易な画像を得ることは可能である。
【０１０９】
図１３に示す例では、ビデオカメラ３６の撮像範囲が、照明装置３２Ａによる床面上の照明範囲及び照明装置３２Ｂによる床面上の照明範囲を含んでおり、照明装置３２Ａによって照明される床面上に存在している非認識対象物５０Ａ、照明装置３２Ｂによって照明される床面上に存在している非認識対象物５０Ｂは、ビデオカメラ３６によって各々撮像される。このような場合には、図１４に示す照明制御処理を行えばよい。
【０１１０】
図１４に示す照明制御処理では、ステップ２５０で照明装置３２Ａを点灯させると共に照明装置３２Ｂを消灯させた後に、ステップ２５２ではビデオカメラ３６によって情報入力空間を撮像させ、ステップ２５４ではビデオカメラ３６から出力された画像データ（該画像データが表す画像を便宜的に第１の画像という）を取り込んでＲＡＭ２２Ｃに記憶する。ステップ２５６では、照明装置３２Ａを点灯させてから所定時間Ｔが経過したか否か判定し、所定時間Ｔが経過する迄待機する。ステップ２５６の判定が肯定されるとステップ２５８へ移行し、照明装置３２Ｂを点灯させると共に、照明装置３２Ｂを点灯させてから所定時間ｔ0 経過後に照明装置３２Ａを消灯させる（但し、ｔ0 ＜Ｔ：図１５参照）。
【０１１１】
次のステップ２６０ではビデオカメラ３６によって情報入力空間を撮像させ、ステップ２６２ではビデオカメラ３６から出力された画像データ（該画像データが表す画像を便宜的に第２の画像という）を取り込む。ステップ２６４では、ステップ２５４でＲＡＭ２２Ｃに記憶した第１の画像を表す画像データと、ステップ２６２で取り込んだ第２の画像を表す画像データに基づいて、或る画素について第１の画像上での輝度値と第２の画像上での輝度値のうち低輝度の輝度値を選択し、選択した輝度値を前記画素の輝度値として採用することを全ての画素について行うことにより、新たな画像データを生成し、生成した画像データを出力する。
【０１１２】
この照明制御処理では、図１５に示すように、照明装置３２Ａが点灯している期間と照明装置３２Ｂが点灯している期間とが所定時間ｔ0 だけオーバラップしているので、情報入力者１０は常に照明されるが、図１３に示すように、非認識対象物５０Ａは照明装置３２Ａが点灯しているときにのみ照明され、非認識対象物５０Ｂは照明装置３２Ｂが点灯しているときにのみ照明される。従って、ステップ２６２の処理により、情報入力者１０に相当する画像部のみが高輝度となっている画像、すなわち情報入力者１０に相当する画像部の抽出が容易な画像（を表す画像データ）が得られることになる。
【０１１３】
次のステップ２６６では、照明装置３２Ｂを点灯させてから所定時間Ｔが経過したか否か判定し、所定時間Ｔが経過する迄待機する。ステップ２６６の判定が肯定されるとステップ２６８へ移行し、照明装置３２Ａを点灯させると共に、照明装置３２Ａを点灯させてから所定時間ｔ0 経過後に照明装置３２Ｂを消灯させた後にステップ２５２へ戻る。
【０１１４】
上記の照明制御処理は請求項３に記載の判別手段に対応している。なお、上記では説明を簡単にするために、図１３にビデオカメラ３６を１台のみ示し、図１４には１台のビデオカメラ３６に対する処理のみを示しているが、情報入力空間を各々異なる方向から撮像する複数台のビデオカメラ３６が設けられている場合であっても、各ビデオカメラ３６に対して上記の処理を各々行えば、情報入力者１０に相当する画像部の抽出が容易な画像を各々得ることができる。
【０１１５】
また、図１４の照明制御処理では、照明装置３２Ａ、３２Ｂの点消灯のタイミングと同期して、照明装置３２Ａ及び照明装置３２Ｂの何れか一方が点灯している期間にのみ画像データの取込みを行うようにしていたが、例えば照明装置３２Ａ、３２Ｂの点消灯のタイミングと無関係に、所定時間Ｔ（図１４及び図１５参照）の整数分の１の周期で画像データの取込みを行い、２×Ｔの周期でステップ２６４の処理を行うようにしてもよい。
【０１１６】
また、先のステップ２６４のように各画素毎に低輝度の値を選択することに代えて、例えばオーバラップ期間ｔ0 を挟んで照明装置３２Ａと照明装置３２Ｂを一定周期で交互に点灯させ（これにより、照明装置３２Ａ、３２Ｂの点灯のデューティー比は各々５０＋α％になる：αはオーバラップ期間に相当）、各画素について、照明装置３２Ａ、３２Ｂの点灯の１サイクルにおける平均輝度を各画素の輝度として採用するようにしてもよいし、照明装置３２Ａ、３２Ｂの点灯の１サイクルにおける各画素毎の輝度の変化に対し、ローパスフィルタや高速フーリエ変換等により輝度変化の直流成分のみを取り出し、取り出した輝度変化の直流成分に相当する輝度値を各画素の輝度値として採用するようにしてもよい。上記の場合にも、照明装置３２Ａ、３２Ｂの点灯の１サイクルの間、照明装置３２Ａ又は照明装置３２Ｂによって常に照明される情報入力者１０に相当する画素については、輝度値として比較的高輝度の値が採用され、情報入力者１０に相当する画像部の抽出が容易な画像を得ることができる。
【０１１７】
また、情報入力者１０に相当する画像部の抽出が容易な画像を得るために、図１６に示すように、情報入力空間の床面上に傾斜台５８を配設してもよい。この傾斜台５８は、情報入力空間に到来した情報入力者１０を囲むように傾斜面５８Ａが形成されている。これにより、例えば情報入力者１０が荷物等を携行して情報入力空間に到来したとしても、情報入力者１０が前記荷物等を自身の近くに置くことは傾斜台５８によって阻止され、情報入力者１０から離れた箇所、すなわちビデオカメラ３６の撮像範囲外に荷物等が置かれることになる。従って、ビデオカメラ３６の撮像によって得られる画像中に、情報入力者１０の荷物等の非認識対象物に相当する画像部が存在することが防止され、情報入力者１０に相当する画像部の抽出が容易な画像を得ることができる。
【０１１８】
また、情報入力者１０の周囲に、非認識対象物として比較的小さなゴミや塵埃等が滞留する場合には、情報入力者１０の周囲に空気の流れを発生させるファン等を設け、上記のような非認識対象物を空気流によって吹き飛ばすようにしてもよい。また情報入力者１０の周囲に水等を貯留する貯留槽を配設してもよいし、更に貯留槽を環状とし、貯留槽内を水等が循環するように構成しても、情報入力者１０の周囲に非認識対象物が滞留することを阻止できる。
【０１１９】
更に、上記では、透明な平板に多数のマーク４０Ａがマトリクス状に等間隔で記録されて構成されたマーク板４０を用いて格子点位置情報を設定するようにしていたが、これに限定されるものではなく、図１７に示すように、透明な平板にＬＥＤ等の多数の発光素子６２Ａ（請求項６記載のマーカに対応）がマトリクス状に配設されたマーク板６２を用いてもよい。
【０１２０】
この場合、格子点位置情報初期設定処理では、発光素子６２Ａを１個ずつ順に点灯させると共に、各発光素子６２Ａを点灯させる毎に、点灯している発光素子６２Ａの３次元座標を演算し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、画像Ａ、画像Ｂ上での発光素子６２Ａの位置を演算し、発光素子６２Ａの３次元座標と画像Ａ、画像Ｂ上での発光素子６２Ａの位置とを対応させて格子点位置情報として記憶装置２４に記憶させ、マーク板６２の全ての発光素子６２Ａを点灯させた後に、マーク板駆動装置３８によってマーク板６２を一定量移動させることを繰り返すようにすればよい。
【０１２１】
また、マーク板４０やマーク板６２に代えて、図１８に示すように、アーム６６Ａの先端に取付けられたハンド６６Ｂを情報入力空間内の任意の位置に移動可能で、ハンド６６Ｂに発光素子６８（請求項６記載のマーカに対応）が取付けられたロボットアーム装置６６を用いてもよい。この場合、格子点位置情報初期設定処理では、発光素子６８を点灯させ、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する各位置へ発光素子６８を移動させると共に、発光素子６８が前記各位置に位置する毎に、発光素子６８の３次元座標を演算し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、画像Ａ、画像Ｂ上での発光素子６８の位置を演算し、発光素子６８の３次元座標と画像Ａ、画像Ｂ上での発光素子６８の位置とを対応させて格子点位置情報として記憶装置２４に記憶させるようにすればよい。
【０１２２】
更に、上記のようにマーク板４０、マーク板６２、ロボットアーム装置６６等を駆動することで、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する各位置にマーカ（マーク４０Ａ又は発光素子６２Ａ又は発光素子６８）を自動的に位置させることに代えて、オペレータが、前記多数の格子点に対応する各位置にマーカを手動で位置させ、この状況を撮像することにより格子点位置情報の設定のみを自動的に行うようにしてもよい。
【０１２３】
また、図８に示した指示判断処理では、情報入力者１０が指示動作を行っていないとき（ステップ１５９の判定が否定された場合）には、ディスプレイ１２の表示面上の情報入力者１０が指し示している位置の座標の演算・情報処理装置１４への出力を行わないので、結果として、情報入力者１０が指示動作を行っていないときにはディスプレイ１２にカーソル等が表示されないことになる。従って、ディスプレイ１２にカーソル等を継続的に表示させるためには、カーソル等を表示させたい位置を情報入力者１０が指し示し続ける必要があり、情報入力者１０の負担が大きいという問題がある。
【０１２４】
上記を考慮すると、図８に示した指示判断処理に代えて、図１９に示す指示判断処理を行うようにしてもよい。この指示判断処理では、図８の指示判断処理のステップ１５０、１５２と同様に、ステップ２３０でビデオカメラ３６Ａ、３６Ｂから出力される画像データを取り込み、次のステップ２３２では、取り込んだ画像データ基づいて情報入力空間内に情報入力者１０が存在しているか否か判定する。
【０１２５】
判定が否定された場合にはステップ２８０へ移行し、到来フラグ（情報入力者１０が情報入力空間に到来していることを表すフラグ）が１か否か判定する。到来フラグの初期値は０であるので、最初はステップ２８０の判定は否定され、何ら処理を行うことなく指示判断処理を一旦終了する。なお、情報入力空間に情報入力者が到来していないときには、情報処理装置１４はディスプレイ１２に所定の呼び込み画面（情報入力空間の近傍を通りかかった人を情報入力空間に呼び込む画面）を表示させる。
【０１２６】
一方、情報入力空間に情報入力者１０が到来すると、ステップ２３２の判定が肯定されてステップ２３４へ移行し、到来フラグが０か否か判定する。ステップ２３４の判定が肯定されるとステップ２３６へ移行し、情報入力空間に情報入力者が到来したことを情報処理装置１４に通知する。これにより情報処理装置１４は、ディスプレイ１２に表示する画面を呼び込み画面から初期画面（例えば商品の広告であれば商品の一覧を示した画面等）に切替える。
【０１２７】
次のステップ２３８では、情報入力空間に情報入力者が到来したので、到来フラグを１にすると共に、指示フラグ（情報入力者１０がディスプレイ１２の表示面上を指し示していることを表すフラグ）及び監視フラグを０にして、ステップ２４０へ移行する。なお、ステップ２３４の判定が否定された場合、すなわち指示判断処理を前回実行したときから情報入力空間に継続的に情報入力者が居る場合には、ステップ２３６、２３８の処理を行うことなくステップ２４０へ移行する。
【０１２８】
ステップ２４０では、図８のフローチャートのステップ１５４乃至ステップ１５８と同様に、ビデオカメラ３６Ａ、３６Ｂの撮像によって得られた画像から情報入力者１０の全体像に相当する画像部を抽出し、情報入力者１０の身長ｈ及び床面上の位置を演算し、情報入力者１０の基準点の３次元座標を決定する。そして次のステップ２４２では、図８のフローチャートのステップ１５９と同様に、情報入力者１０が指示動作を行っているか否か判定する。判定が否定された場合には、ステップ２７０で指示フラグが１か否か判定し、この判定も否定された場合には指示判断処理を一旦終了する。
【０１２９】
一方、情報入力者１０が、図１２（Ａ）に示す直立している状態から、図１２（Ｂ）又は（Ｃ）に示すように手をディスプレイ１２側に向けると、ステップ２４２の判定が肯定されてステップ２４４へ移行する。ステップ２４４では、図８のフローチャートのステップ１６０乃至ステップ１７６と同様にして情報入力者１０の特徴点の３次元座標を演算し、情報入力者１０が指し示している位置を演算する。
【０１３０】
次のステップ２４６では情報入力者１０がディスプレイ１２の表示面上を指し示しているか否か判定する。判定が否定された場合にはステップ２７０へ移行するが、判定が肯定された場合には、ステップ２４７で指示フラグを１にした後に、ステップ２４８でディスプレイ１２の表示面上の情報入力者１０が指し示している位置の座標を情報処理装置１４に出力すると共に、前記座標をＲＡＭ２２Ｃ等に記憶する。これにより、情報処理装置１４では、ディスプレイ１２の表示面上の情報入力者１０が指し示している位置にカーソル等を表示する。
【０１３１】
次のステップ２５２乃至２６２の処理は、図８のフローチャートのステップ１８４乃至ステップ１９６の処理を同様にしてクリック動作を検出する。すなわち、画像中に存在する情報入力者１０の手に相当する画像部を抽出し、その面積を求め（ステップ２５０）、監視フラグが１か否か判定する（ステップ２５２）。判定が否定された場合は、監視フラグを１にして（ステップ２５４）、先に演算した情報入力者の手に相当する画像部の面積を記憶し（ステップ２５６）、指示判断処理を一旦終了する。
【０１３２】
また、ステップ２５２の判定が肯定された場合は、ステップ２５０で演算した面積を、ＲＡＭ２２Ｃ等に記憶されている面積と比較し、情報入力者１０の手に相当する画像部の面積に所定値以上の変化が有ったか否か判定する（ステップ２５８）。判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断し、何ら処理を行うことなく指示判断処理を終了するが、判定が肯定された場合には、「クリック有り」を表す情報を情報処理装置１４に出力し（ステップ２６０：これにより、情報処理装置１４ではディスプレイ１２に表示している画面の切替え等の所定の処理を実行する）、監視フラグ及び指示フラグを０にして（ステップ２６２）、指示判断処理を終了する。
【０１３３】
また、情報入力者１０がディスプレイ１２の表示面上を指し示した後に、クリック動作を行うことなく腕を下ろした場合には、ステップ２４２の判定が否定されてステップ２７０へ移行するが、このときには指示フラグが１であるのでステップ２７０の判定が肯定され、ステップ２７２へ移行する。ステップ２７２では、ステップ２４８で演算しＲＡＭ２２Ｃに記憶している、ディスプレイ１２の表示面上の情報入力者１０が指し示している位置の座標を情報処理装置１４に出力する。これにより、情報処理装置１４は、情報入力者１０が腕を下ろす前にカーソルを表示していた位置に、継続してカーソルを表示させる。
【０１３４】
このカーソルの表示の継続は請求項１１に記載の処理手段による処理に対応しており、上記のステップ２７０は、ステップ２４２、２４７と共に請求項１１に記載の第２の検出手段に対応している。
【０１３５】
上記により、情報入力者１０の姿勢が、図１２（Ｂ）又は（Ｃ）に示す姿勢から図１２（Ａ）に示す姿勢に変化したとしても、カーソルの表示が継続されるので、情報入力者１０がカーソルを継続して表示させたい等の場合にも（例えば会議のプレゼンテーション等）、情報入力者１０が継続的に腕を上げ続ける必要がなくなるので、情報入力者１０の負担を軽減することができる。
【０１３６】
また、情報入力者１０が情報入力空間から退去すると、それが情報処理装置１４における一連の処理の途中であったとしても、ステップ２３２の判定が否定され、ステップ２８０へ移行する。情報入力者１０が情報入力空間から退去したときには、到来フラグは１になっているので、ステップ２８０の判定が肯定され、ステップ２８２で情報入力空間から情報入力者１０が退去したことを情報処理装置１４に通知する。これにより、情報処理装置１４は実行途中の処理があれば該処理の実行を中止すると共に、ディスプレイ１２に表示している画面を呼び込み画面に切替える。次のステップ２８４では到来フラグを０にして、指示判断処理を一旦終了する。
【０１３７】
これにより、情報入力空間に情報入力者１０が居ない間は常に呼び込み画面がディスプレイに表示され、情報入力空間に情報入力者１０が到来する毎に、情報処理装置１４では、ディスプレイ１２への初期画面の表示から始まる一連の処理が行われることになる。
【０１３８】
また、図８及び図１９に示した指示判断処理では、情報入力者が自身の手を動かすあらゆる動作（例えば手首の屈曲や回転、任意の指の曲げ伸ばし等）をクリック動作として定義していたが、これに限定されるものではなく、情報入力者１０が手を前方に素早く移動させる動作（図２２（Ａ）参照、以下「前進クリック」という）、及び情報入力者１０が手を後方に素早く移動させる動作（図２２（Ｂ）参照、以下「後進クリック」という）をクリック動作としてもよい。上記のクリック動作は、図８や図１９に示した指示判断処理に代えて、例えば図２０に示す指示判断処理を行うことで検知することができる。
【０１３９】
すなわち、図２０に示す指示判断処理では、まずステップ３１０において、図８のフローチャートのステップ１５２、図１９のフローチャートのステップ２３２と同様に、情報入力空間内に情報入力者１０が到来したか（存在しているか）否かを判定する。この判定も、例えば画像Ａ及び画像Ｂ中に高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理で済む。ステップ３１０の判定が否定された場合には、判定が肯定される迄待機する。情報入力空間に情報入力者１０が到来すると、ステップ３１０の判定が肯定されてステップ３１２へ移行し、クリック動作速度設定処理を実行する。
【０１４０】
このクリック動作速度設定処理について、図２１のフローチャートを参照して説明する。なお、クリック動作速度設定処理は請求項１０に記載の閾値設定手段に対応している。ステップ２９０では、クリック動作の実行を情報入力者１０に要請するメッセージをディスプレイ１２に表示するよう情報処理装置１４に指示し、情報処理装置１４はディスプレイ１２に前記メッセージを表示させる。ディスプレイ１２に前記メッセージが表示されると、情報入力者１０は腕を屈曲又は伸長させ、前進クリック動作又は後進クリック動作を繰り返し行う。
【０１４１】
次のステップ２９２では、基準点・特徴点座標演算処理（図８のフローチャートのステップ１５４乃至ステップ１７６と同様の処理）を行って基準点Ｐ0 及び特徴点Ｐx の３次元座標を求め、ステップ２９４では情報入力者１０がディスプレイ１２を指し示す指示動作を行っているか否か判定する。ステップ２９４の判定が否定された場合にはステップ２９２に戻り、情報入力者１０が指示動作を行う迄ステップ２９２、２９４を繰り返す。ステップ２９４の判定が肯定されるとステップ２９６へ移行する。
【０１４２】
ステップ２９６では、ステップ２９２で取り込んだ基準点Ｐ0 及び特徴点Ｐx の３次元座標から基準点Ｐ0 と特徴点Ｐx との距離ｋを演算する。また、ステップ２９６は繰り返し実行されるが、２回目以降の実行時には、今回演算した距離ｋの値と前回演算した距離ｋの値との差に基づいて距離ｋの変化速度Ｖ（基準点Ｐ0 に対する特徴点Ｐx の位置の移動速度）を演算し、演算結果を記憶する。
【０１４３】
次のステップ２９８では、クリック動作の実行を要請するメッセージをディスプレイ１２に表示してから所定時間が経過したか否か判定する。判定が否定された場合にはステップ２９２に戻り、ステップ２９２〜２９８を繰り返す。従って、クリック動作の実行を要請するメッセージを表示してから所定時間が経過する迄の間は、基準点Ｐ0 と特徴点Ｐx との距離ｋの変化速度Ｖが繰り返し演算・記憶されることになる。
【０１４４】
ステップ２９８の判定が肯定されるとステップ３００へ移行し、先に演算・記憶した変化速度Ｖを取り込み、情報入力者１０が１回のクリック動作を行っている間の変化速度Ｖの推移に基づいてクリック動作速度Ｖ0 （請求項９及び請求項１０に記載の閾値に対応）を設定・記憶する。このクリック動作速度Ｖ0 は、後述する処理において、情報入力者１０がクリック動作を行ったか否かを判定するための閾値として用いる。このため、情報入力者１０がクリック動作を行ったことを確実に判定するために、クリック動作速度Ｖ0 としては、例えば情報入力者１０の１回のクリック動作における変化速度Ｖの平均値よりも若干低い値を設定することができる。また、情報入力者１０の１回のクリック動作における変化速度Ｖの最小値をクリック動作速度Ｖ0 として設定するようにしてもよい。
【０１４５】
情報入力者１０が腕を屈曲又は伸長させてクリック動作を行ったときの特徴点Ｐx の移動速度（変化速度Ｖ）は情報入力者１０毎にばらつきがあるが、上記のクリック動作速度設定処理は情報入力空間に情報入力者１０が到来する毎に実行されるので、情報入力空間に新たな情報入力者１０が到来すると、クリック動作速度Ｖ0 として到来した情報入力者１０の体格や筋力等に応じた適切な値が新たに設定されることになる。
【０１４６】
上述したクリック動作速度設定処理を終了すると、指示判断処理（図２０）のステップ３１４へ移行し、基準点・特徴点座標演算処理（図８のフローチャートのステップ１５４乃至ステップ１７６と同様の処理）を行って基準点Ｐ0 及び特徴点Ｐx の３次元座標を求める。次のステップ３１６では、ステップ３１４で求めた基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて、情報入力者１０が指示動作を行っているか否か判定する。
【０１４７】
ステップ３１６の判定が否定された場合にはステップ３３４へ移行し、情報入力空間から情報入力者１０が退去したか否か判定する。この判定についても、先に説明したステップ３１０と同様に、画像Ａ及び画像Ｂから高輝度でかつ所定値以上の面積の画像部が無くなったか否か等の極めて簡単な判断処理で済む。上記判定が否定された場合にはステップ３１４に戻り、情報入力者１０が指示動作を行う迄ステップ３１４、３１６、３３４を繰り返す。
【０１４８】
また、ステップ３１６の判定が肯定されるとステップ３１８へ移行し、ステップ３１４で求めた基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて、図８のフローチャートのステップ１７６と同様に、情報入力者１０が指し示している位置として、大画面ディスプレイ１２の表示面を含む平面と、基準点と特徴点とを結ぶ仮想線と、の交点の座標を演算する。次のステップ３２０では、ステップ３１８で求めた座標に基づいて、情報入力者１０が大画面ディスプレイ１２の表示面上を指し示しているか否か判定する。
【０１４９】
ステップ３２０の判定が否定された場合には何ら処理を行うことなくステップ３３４へ移行するが、前記判定が肯定された場合は、ステップ３２２において、ステップ３１８で演算した座標を情報処理装置１４に出力し、情報処理装置１４に対してカーソルの表示を指示する。これにより、情報処理装置１４では、情報入力者１０が指し示していると判断されたディスプレイ１２の表示面上の所定位置にカーソルを表示する等の処理を行う。
【０１５０】
次のステップ３２４では、基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて基準点Ｐ0 と特徴点Ｐx の距離ｋを演算し、距離ｋの変化が有ったか否か判定する。なお、ステップ３２４は情報入力者１０がディスプレイ１２の表示面を指し示す動作を行っている間（ステップ３２０の判定が肯定されている間）繰り返し実行されるが、ステップ３２４で最初に距離ｋが演算されたときには、距離ｋの変化の有無を判定できないのでステップ３２４の判定は無条件に否定される。
【０１５１】
一方、ステップ３２４の判定が肯定された場合にはステップ３２６へ移行し、距離ｋの変化速度Ｖを演算し、演算した変化速度Ｖが閾値（クリック動作速度設定処理によって設定されたクリック動作速度Ｖ0 ）以上か否か判定する。なお、ステップ３２６についても、ステップ３２４で最初に距離ｋが演算されたときには距離ｋの変化速度Ｖを演算することができないので、判定は無条件に否定される。ステップ３２４又はステップ３２６の判定が否定された場合には、情報入力者１０はクリック動作を行っていないと判断し、何ら処理を行うことなくステップ３３４へ移行する。
【０１５２】
また、ステップ３２４、３２６の判定が各々肯定された場合には情報入力者１０がクリック動作を行ったと判断し、ステップ３２８において距離ｋの変化方向を判定し、判定結果に応じて分岐する。距離ｋが増大方向に変化していた場合には、情報入力者１０が腕を素早く伸長させる前進クリック動作を行ったと判断できるので、ステップ３３０へ移行し、前進クリックが有ったことを表す情報を情報処理装置１４に出力し、ステップ３３４へ移行する。また、距離ｋが減少方向に変化していた場合には、情報入力者１０が腕を素早く屈曲させる後進クリック動作を行ったと判断できるので、ステップ３３２へ移行し、後進クリックが有ったことを表す情報を情報処理装置１４に出力した後に、ステップ３３４へ移行する。
【０１５３】
情報処理装置１４では、前進クリックが有ったことを表す情報又は後進クリックが有ったことを表す情報が入力されると、情報入力者１０による現在の指示箇所がクリックされたと判断し、前進クリックが有った場合には現在の指示箇所に対応する第１の処理を、後進クリックが有った場合には現在の指示箇所に対応する第２の処理（第１の処理と異なる処理）を行う。なお、この第１の処理、第２の処理は、請求項７に記載の所定の処理（より詳しくは、請求項８に記載の第１の所定の処理、第２の所定の処理）に対応している。
【０１５４】
このように、ステップ３２４〜３３２は、実際に第１の処理、第２の処理を行う情報処理装置１４と共に、請求項７に記載の処理手段（より詳しくは請求項８及び請求項９に記載の処理手段）に対応している。なお、情報入力空間から情報入力者１０が退去した場合には、ステップ３３４の判定が肯定されてステップ３１０に戻る。
【０１５５】
上述した指示判断処理におけるクリック動作は、ディスプレイ１２の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であるので、認識対象者は違和感を感ずることなくクリック動作を行うことができる。また、上記では、基準点と特徴点との距離ｋの変化に基づいて、クリック動作が行われたか否か及び行われたクリック動作が前進クリック動作か後進クリック動作かを判断することができるので、クリック動作の検知を短時間で行うことができる。また、クリック動作として２種類のクリック動作（前進クリック動作及び後進クリック動作）を定義しているので、情報入力者１０が、第１の処理及び第２の処理を選択的に実行させることができる。
【０１５６】
ところで、上記の前進クリック動作又は後進クリック動作を行った後の人間の自然な手の動きは、クリック動作を行う前の位置（ニュートラルポジション）に戻ろうとする動きであるので、前進クリック動作を行った後のニュートラルポジションに戻ろうとする手の動きを後進クリック動作と誤検知したり、後進クリック動作を行った後のニュートラルポジションに戻ろうとする手の動きを前進クリック動作を誤検知することを防止するために、前進クリック動作又は後進クリック動作を検知した後のニュートラルポジションに戻ろうとする手の動きを無視することが望ましい。これは、例えば前進クリック動作又は後進クリック動作を検知してからクリック動作の検知を所定時間停止したり、或いは前進クリック動作又は後進クリック動作を検知する前の距離ｋの値をニュートラルポジションに相当する値として予め記憶しておき、前進クリック動作又は後進クリック動作を検知してから距離ｋの値が前記ニュートラルポジションに相当する値になる迄の間、クリック動作の検知を停止することによって実現することができる。
【０１５７】
また、上述した指示判断処理においても、図１９に示した指示判断処理と同様に、情報入力者１０が腕を下ろした場合に、腕を下ろす前にカーソルを表示していた位置に、継続してカーソルを表示させるようにしてもよいことは言うまでもない。
【０１５８】
また、上記では情報入力者１０の基準点及び特徴点の３次元座標に基づいて情報入力者１０が指し示している位置を演算していたが、これに限定されるものではなく、ビデオカメラ３６の撮像によって得られた画像から情報入力者１０の全体像に相当する画像部を抽出し（図２３の画像部７２を参照）、情報入力者１０の身長ｈ及び床面上の位置を演算し、更に、太さ等の情報入力者に関する他のパラメータを決定した後に、身長ｈを含む各種パラメータに基づいて、情報入力者１０の全体像をダミーモデル７４（図２３参照）に変換し、このダミーモデルに基づいて、ディスプレイ１２の表示面上を指し示す動作を含む、情報入力者の各種動作の認識を行うようにしてもよい。
【０１５９】
上記のようにダミーモデルを用いた場合、例えば手を振る等のように、情報入力者の全体像からは認識が困難な動作も認識することができる。そして、例えば情報入力者が手を振る動作を「取消し」を意味する動作と定義しておき、情報入力者が手を振る動作を行ったことを認識したときには、その前に認識した情報入力者の動作に応じて実行した処理を中止させることも可能となる。
【０１６０】
また、上記では情報入力者１０がディスプレイ１２の表示面上の任意の位置を指し示す態様を例に説明したが、情報入力者が指し示す対象はディスプレイに限定されるものではなく、情報入力者が任意の方向を指し示したり、情報入力者との距離が不定の任意の物体を指し示すようにしてもよい。
【０１６１】
情報入力者が任意の方向を指し示す場合には、指示判断処理（例えば図８のフローチャートのステップ１７６）において、情報入力者の基準点と特徴点とを結ぶ仮想線の延びる方向を求めるようにすることで、情報入力者によって指し示された方向を判断できる。また、情報入力者が、情報入力者との距離が不定の任意の物体を指し示す場合には、先のステップ１７６において、仮想線の延びる方向を求めた後に、該仮想線を延長した先に存在する物体を判定することで、情報入力者が指し示している物体を判断することができる。
【０１６２】
情報入力者が任意の方向を指し示す利用形態としては、例えば劇場等において、スポットライトの照射方向や、アレイ状に配置された多数のスピーカによって形成される音響ビームの方向を、オペレータ（情報入力者）が指し示した方向に向ける場合等が挙げられる。
【０１６３】
また、情報入力者が、情報入力者からの距離が不定の任意の物体を指し示す利用形態としては、例えば建設現場や工場等においてクレーンやその他の機械をオペレータ（情報入力者）の指示に応じて動作させる場合、或いはホームオートメーションにおいて情報入力者が各種設備機器に対して各種の指示を行う場合等が挙げられる。
【０１６４】
また、上記では２台のビデオカメラ３６Ａ、３６Ｂを設けた例を説明したが、これに限定されるものではなく、より多数のビデオカメラによって情報入力空間を各々撮像し、情報入力者１０からの指示を判断するようにしてもよい。
【０１６５】
【発明の効果】
以上説明したように請求項１記載の発明は、複数の撮像手段の撮像範囲を、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように各々調整するようにしたので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１６６】
請求項２記載の発明は、互いに異なる位置に配置される複数の撮像手段の撮像範囲を、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように各々調整し、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、各照明手段の点灯時に、点灯している照明手段による床面上の照明範囲が撮像範囲から外れている撮像手段によって認識対象者を撮像させるので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１６７】
請求項３記載の発明は、互いに異なる方向から認識対象者を照明する複数の照明手段を設け、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか１つを順に点灯させると共に、各照明手段の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、複数の画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行い、判別結果に基づいて複数の画像から認識対象者に相当する画像部を各々抽出するので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１６９】
請求項４記載の発明は、認識対象者が到来する所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を記憶手段に各々記憶し、複数の撮像手段の撮像によって得られた各画像上での特徴点の位置及び記憶手段に記憶された情報に基づいて特徴点の３次元座標を求めているので、特徴点の３次元座標上での位置に拘らず、特徴点の３次元座標を精度良く求めることができ、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【０１７１】
請求項５記載の発明は、請求項４の発明において、複数の撮像手段の撮像によって得られる各画像上での特徴点の位置を各々求めた後に、画像上での位置が特徴点を包含する所定範囲内である仮想点を各画像から各々抽出し、各画像から共通に抽出された仮想点の３次元座標に基づいて特徴点の３次元座標を求めているので、上記効果に加え、特徴点の３次元座標を更に精度良く求めることができる、という効果を有する。
【０１７２】
請求項６記載の発明は、請求項４の発明において、仮想点の位置にマーカが位置している状況を複数の撮像手段によって撮像させ、仮想点の３次元座標と各画像上での仮想点の位置とを対応付ける情報を生成し、記憶手段に記憶させるようにしたので、上記効果に加え、仮想点の３次元座標と前記各画像上での仮想点の位置とを精度良く対応付ける情報を自動的に得ることができる、という効果を有する。
【０１７４】
請求項７記載の発明は、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断すると共に、基準点と特徴点との距離の変化に基づいて所定の処理を実行するようにしたので、認識対象者による所定の処理の実行を指示する動作を短時間で確実に検出することができ、認識対象者からの指示を短時間で判定することができる、という優れた効果を有する。
【０１７５】
請求項８記載の発明は、請求項７の発明において、基準点と特徴点との距離が増加した場合には第１の所定の処理を行い、基準点と特徴点との距離が減少した場合には第１の所定の処理と異なる第２の所定の処理を行うので、上記効果に加え、第１の所定処理及び第２の所定の処理のうち実行させるべき処理を認識対象者が選択することが可能となると共に、第１の所定処理及び第２の所定の処理のうち認識対象者によって選択された処理を確実に実行することができる、という効果を有する。
【０１７６】
請求項９記載の発明は、請求項７又は請求項８の発明において、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行するようにしたので、上記効果に加え、認識対象者が所定の処理の実行を指示する動作を行った場合に、これを確実に検知して所定の処理を実行することができる、という効果を有する。
【０１７７】
請求項１０記載の発明は、請求項９の発明において、所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの基準点と特徴点との距離の変化速度に基づいて前記閾値を予め設定するようにしたので、上記効果に加え、個々の認識対象者の体格や筋力等のばらつきに拘らず、認識対象者による所定の処理の実行を指示する動作を確実に検知して所定の処理を実行することができる、という効果を有する。
【０１７８】
請求項１１記載の発明は、請求項７の発明において、認識対象者の腕が下げられたことが検出された場合には、処理を実行又は停止している状態を継続するようにしたので、上記効果に加え、認識対象者の負担を軽減することができる、という効果を有する。
【図面の簡単な説明】
【図１】情報入力空間の周辺を示す斜視図である。
【図２】本実施形態に係るハンドポインティング入力装置の概略構成を示すブロック図である。
【図３】照明装置の照明範囲とビデオカメラの撮像範囲との関係の一例を示す概略図である。
【図４】マーク板の一例を示す情報入力空間の斜視図である。
【図５】格子点位置情報初期設定処理を示すフローチャートである。
【図６】照明制御処理を示すフローチャートである。
【図７】図６の照明制御処理による照明装置Ａ、Ｂの点灯・消灯、ビデオカメラの撮像によって得られる画像の出力（取り込み）のタイミングを示すタイミングチャートである。
【図８】指示判断処理を示すフローチャートである。
【図９】情報入力者の身長及び床面上の位置の演算を説明するための、情報入力空間の側面図である。
【図１０】（Ａ）はビデオカメラにより撮像された情報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及び特徴点の３次元座標を求めるための格子点の検索範囲を示す概念図である。
【図１１】情報入力者が指し示しているディスプレイ上の位置の判定を説明するための、（Ａ）は情報入力空間の平面図、（Ｂ）は情報入力空間の側面図である。
【図１２】（Ａ）乃至（Ｃ）は情報入力者の動作の一例を示すイメージ図である。
【図１３】照明装置の照明範囲とビデオカメラの撮像範囲との関係の他の例を示す概略図である。
【図１４】図１３に示す配置における照明制御処理を示すフローチャートである。
【図１５】図１４の照明制御処理による照明装置Ａ、Ｂの点灯・消灯のタイミングを示すタイミングチャートである。
【図１６】情報入力空間の床面上に傾斜台を配設した態様を示す斜視図である。
【図１７】マーク板の他の例を示す情報入力空間の斜視図である。
【図１８】ロボットアーム装置によってマーカの位置を移動させる例を示す情報入力空間の斜視図である。
【図１９】指示判断処理の他の例を示すフローチャートである。
【図２０】指示判断処理の他の例を示すフローチャートである。
【図２１】クリック動作速度設定処理を示すフローチャートである。
【図２２】（Ａ）は前進クリック動作、（Ｂ）は後進クリック動作を説明するためのイメージ図である。
【図２３】ダミーモデルへのデータ変換を説明するためのイメージ図である。
【符号の説明】
１０ 情報入力者
１２ 大画面ディスプレイ
１４ 情報処理装置
２０ ハンドポインティング入力装置
２２ コントローラ
２４ 記憶装置
３２ 近赤外光照明装置
３６ ビデオカメラ
４０ マーク板
Claims (11)
- 認識対象者を照明する照明手段と、
互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ前記照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整された複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 互いに異なる方向から認識対象者を照明する複数の照明手段と、
互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整された複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示しているときに、複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段によって照明される床面上の照明範囲が撮像範囲から外れている撮像手段によって前記認識対象者を撮像させ、該撮像によって得られた画像を出力させる制御手段と、
前記複数の撮像手段から各々出力された複数の画像に基づいて、前記画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 互いに異なる方向から認識対象者を照明する複数の照明手段と、
前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示しているときに、前記複数の照明手段の何れか１つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、前記複数の画像中の前記認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う判別手段と、
前記判別手段による判別結果に基づいて、前記複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 所定箇所に到来した認識対象者を照明する照明手段と、
前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、
前記所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の３次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を各々記憶する記憶手段と、
認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の前記認識対象者に相当する画像部を抽出して認識対象者の特徴点の前記各画像上での位置を求め、前記各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の３次元座標を求め、求めた特徴点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 前記判断手段は、複数の撮像手段の撮像によって得られる各画像上での前記特徴点の位置を各々求めた後に、画像上での位置が前記特徴点を包含する所定範囲内である仮想点を前記各画像から各々抽出し、前記各画像から共通に抽出された仮想点の３次元座標に基づいて前記特徴点の３次元座標を求めることを特徴とする請求項４記載の ハンドポインティング装置。
- 前記仮想点の位置にマーカが位置している状況を前記複数の撮像手段によって撮像させ、前記仮想点の３次元座標と各撮像手段の撮像によって得られた各画像上でのマーカの位置とに基づいて、仮想点の３次元座標と前記各画像上での仮想点の位置とを対応付ける情報を生成し、前記記憶手段に記憶させる生成手段を更に備えたことを特徴とする請求項４記載のハンドポインティング装置。
- 認識対象者を照明する照明手段と、
前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、
前記基準点と前記特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する処理手段と、
を含むハンドポインティング装置。 - 前記処理手段は、前記基準点と前記特徴点との距離が増加した場合には第１の所定の処理を行い、前記基準点と前記特徴点との距離が減少した場合には前記第１の所定の処理と異なる第２の所定の処理を行うことを特徴とする請求項７記載のハンドポインティング装置。
- 前記処理手段は、前記基準点と前記特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行することを特徴とする請求項７又は請求項８記載のハンドポインティング装置。
- 前記処理手段に所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの前記基準点と前記特徴点との距離の変化速度に基づいて前記閾値を予め設定する閾値設定手段を更に備えたことを特徴とする請求項９記載のハンドポインティング装置。
- 前記複数の画像中の前記認識対象者の腕に相当する画像部を抽出し、認識対象者の腕が下げられたか否かを検出する第２の検出手段を更に備え、
前記処理手段は、前記第２の検出手段によって前記認識対象者の腕が下げられたことが検出された場合には処理を実行又は停止している状態を継続する
ことを特徴とする請求項７記載のハンドポインティング装置。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36962897A JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
| EP98104954A EP0866419B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
| EP03008194A EP1329839B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
| DE69829424T DE69829424T2 (de) | 1997-03-21 | 1998-03-18 | Hinweisvorrichtung, die das Bild einer Hand verwendet |
| EP03008193A EP1329838B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
| DE69824225T DE69824225T2 (de) | 1997-03-21 | 1998-03-18 | Das Bild einer Hand verwendende Hinweisvorrichtung |
| DE69828912T DE69828912T2 (de) | 1997-03-21 | 1998-03-18 | Hinweisvorrichtung, die das Bild einer Hand verwendet |
| US09/040,436 US6385331B2 (en) | 1997-03-21 | 1998-03-18 | Hand pointing device |
| KR1019980009762A KR100328648B1 (ko) | 1997-03-21 | 1998-03-20 | 핸드포인팅장치 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-68602 | 1997-03-21 | ||
| JP6860297 | 1997-03-21 | ||
| JP36962897A JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10326148A JPH10326148A (ja) | 1998-12-08 |
| JP3749369B2 true JP3749369B2 (ja) | 2006-02-22 |
Family
ID=26409810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36962897A Expired - Fee Related JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6385331B2 (ja) |
| EP (3) | EP0866419B1 (ja) |
| JP (1) | JP3749369B2 (ja) |
| KR (1) | KR100328648B1 (ja) |
| DE (3) | DE69824225T2 (ja) |
Families Citing this family (135)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256046B1 (en) * | 1997-04-18 | 2001-07-03 | Compaq Computer Corporation | Method and apparatus for visual sensing of humans for active public interfaces |
| JP3795647B2 (ja) * | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
| DE19806024A1 (de) * | 1998-02-13 | 1999-08-19 | Siemens Nixdorf Inf Syst | Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung |
| US6690357B1 (en) | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
| TW464800B (en) * | 1998-10-07 | 2001-11-21 | Intel Corp | A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system |
| JP2000181601A (ja) * | 1998-12-18 | 2000-06-30 | Fujitsu General Ltd | 情報表示システム |
| JP2000222117A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
| WO2000075860A1 (en) * | 1999-06-08 | 2000-12-14 | Soffix, S.R.L. | Electronic writing/display apparatus and respective method of operation |
| EP1074943A3 (en) * | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US6738041B2 (en) | 1999-10-29 | 2004-05-18 | Intel Corporation | Using video information to control cursor position |
| EP1292877B1 (en) * | 2000-05-17 | 2008-03-26 | Koninklijke Philips Electronics N.V. | Apparatus and method for indicating a target by image processing without three-dimensional modeling |
| US6531999B1 (en) | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| WO2002071337A1 (en) * | 2001-03-01 | 2002-09-12 | Volume Interactions Pte Ltd | A display apparatus |
| US6711280B2 (en) * | 2001-05-25 | 2004-03-23 | Oscar M. Stafsudd | Method and apparatus for intelligent ranging via image subtraction |
| US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
| JP2003084229A (ja) * | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | 指示位置表示装置及び方法 |
| US20030165048A1 (en) * | 2001-12-07 | 2003-09-04 | Cyrus Bamji | Enhanced light-generated interface for use with electronic devices |
| US7340077B2 (en) * | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
| JP3762309B2 (ja) * | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
| US6973579B2 (en) * | 2002-05-07 | 2005-12-06 | Interdigital Technology Corporation | Generation of user equipment identification specific scrambling code for the high speed shared control channel |
| US7209883B2 (en) * | 2002-05-09 | 2007-04-24 | Intel Corporation | Factorial hidden markov model for audiovisual speech recognition |
| US7165029B2 (en) | 2002-05-09 | 2007-01-16 | Intel Corporation | Coupled hidden Markov model for audiovisual speech recognition |
| US20030212552A1 (en) * | 2002-05-09 | 2003-11-13 | Liang Lu Hong | Face recognition procedure useful for audiovisual speech recognition |
| JP4149213B2 (ja) * | 2002-07-12 | 2008-09-10 | 本田技研工業株式会社 | 指示位置検出装置及び自律ロボット |
| US7151530B2 (en) | 2002-08-20 | 2006-12-19 | Canesta, Inc. | System and method for determining an input selected by a user through a virtual interface |
| US7526120B2 (en) * | 2002-09-11 | 2009-04-28 | Canesta, Inc. | System and method for providing intelligent airbag deployment |
| US20040066500A1 (en) * | 2002-10-02 | 2004-04-08 | Gokturk Salih Burak | Occupancy detection and measurement system and method |
| DE60215504T2 (de) | 2002-10-07 | 2007-09-06 | Sony France S.A. | Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik |
| US7171043B2 (en) | 2002-10-11 | 2007-01-30 | Intel Corporation | Image recognition using hidden markov models and coupled hidden markov models |
| US7472063B2 (en) * | 2002-12-19 | 2008-12-30 | Intel Corporation | Audio-visual feature fusion and support vector machine useful for continuous speech recognition |
| US7203368B2 (en) * | 2003-01-06 | 2007-04-10 | Intel Corporation | Embedded bayesian network for pattern recognition |
| JP3849645B2 (ja) * | 2003-01-20 | 2006-11-22 | ソニー株式会社 | 監視装置 |
| JP4286556B2 (ja) * | 2003-02-24 | 2009-07-01 | 株式会社東芝 | 画像表示装置 |
| US7618323B2 (en) * | 2003-02-26 | 2009-11-17 | Wms Gaming Inc. | Gaming machine system having a gesture-sensing mechanism |
| FR2853423B1 (fr) * | 2003-03-20 | 2005-07-15 | Simag Dev | Dispositif de saisie comportant un capteur optique suivi d'un moyen de filtrage |
| DE602004006190T8 (de) * | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
| US7439074B2 (en) * | 2003-09-30 | 2008-10-21 | Hoa Duc Nguyen | Method of analysis of alcohol by mass spectrometry |
| WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
| CN1977293A (zh) * | 2004-06-29 | 2007-06-06 | 皇家飞利浦电子股份有限公司 | 个人手势签名 |
| WO2006027423A1 (fr) * | 2004-08-09 | 2006-03-16 | Simag Developpement | Dispositif de saisie comportant un capteur optique suivi d’un moyen de filtrage |
| US8009871B2 (en) | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
| US7598942B2 (en) * | 2005-02-08 | 2009-10-06 | Oblong Industries, Inc. | System and method for gesture based control system |
| KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
| JP4654773B2 (ja) * | 2005-05-31 | 2011-03-23 | 富士フイルム株式会社 | 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| KR100815159B1 (ko) | 2005-12-08 | 2008-03-19 | 한국전자통신연구원 | 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법 |
| US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
| US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
| US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
| US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| WO2007107874A2 (en) * | 2006-03-22 | 2007-09-27 | Home Focus Development Ltd | Interactive playmat |
| US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
| US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
| US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
| US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
| US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
| US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
| JP2008052029A (ja) * | 2006-08-24 | 2008-03-06 | Takata Corp | 撮像システム、車両乗員検出システム、作動装置制御システム、車両 |
| US8356254B2 (en) * | 2006-10-25 | 2013-01-15 | International Business Machines Corporation | System and method for interacting with a display |
| KR100799766B1 (ko) | 2006-10-25 | 2008-02-01 | 엠텍비젼 주식회사 | 포인터 이동 제어 장치 |
| KR100814289B1 (ko) | 2006-11-14 | 2008-03-18 | 서경대학교 산학협력단 | 실시간 동작 인식 장치 및 그 방법 |
| KR100851977B1 (ko) * | 2006-11-20 | 2008-08-12 | 삼성전자주식회사 | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. |
| CN101641964B (zh) * | 2007-03-30 | 2012-01-18 | 独立行政法人情报通信研究机构 | 空中影像互动装置 |
| WO2008134452A2 (en) | 2007-04-24 | 2008-11-06 | Oblong Industries, Inc. | Proteins, pools, and slawx in processing environments |
| CA2684672A1 (en) * | 2007-04-26 | 2008-11-06 | Roberto Rosso | Communications control bus and apparatus for controlling multiple electronic hardware devices |
| US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
| US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
| JP5120754B2 (ja) * | 2008-03-28 | 2013-01-16 | 株式会社国際電気通信基礎技術研究所 | 動作検出装置 |
| US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
| US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
| US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
| US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
| US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
| WO2009155465A1 (en) * | 2008-06-18 | 2009-12-23 | Oblong Industries, Inc. | Gesture-based control system for vehicle interfaces |
| US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
| US20100066673A1 (en) * | 2008-09-16 | 2010-03-18 | Shang Tai Yeh | Laser pointer capable of detecting a gesture associated therewith and representing the gesture with a function |
| JP5183398B2 (ja) * | 2008-09-29 | 2013-04-17 | 株式会社日立製作所 | 入力装置 |
| EP2352078B1 (en) * | 2008-10-01 | 2022-09-07 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing method, information recording medium, and program |
| US8788977B2 (en) * | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
| US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
| US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| JP2010257089A (ja) * | 2009-04-22 | 2010-11-11 | Xiroku:Kk | 光学式位置検出装置 |
| JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | ３次元計測装置、その計測方法及びプログラム |
| JP4701424B2 (ja) * | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
| KR100969927B1 (ko) * | 2009-08-17 | 2010-07-14 | (주)예연창 | 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 |
| US8970669B2 (en) * | 2009-09-30 | 2015-03-03 | Rovi Guides, Inc. | Systems and methods for generating a three-dimensional media guidance application |
| US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| JP2011166332A (ja) * | 2010-02-08 | 2011-08-25 | Hitachi Consumer Electronics Co Ltd | 情報処理装置 |
| US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
| US9052800B2 (en) | 2010-10-01 | 2015-06-09 | Z124 | User interface with stacked application management |
| KR20120051212A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
| US9440144B2 (en) | 2011-04-21 | 2016-09-13 | Sony Interactive Entertainment Inc. | User identified to a controller |
| US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
| KR101235432B1 (ko) * | 2011-07-11 | 2013-02-22 | 김석중 | 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 |
| US9041734B2 (en) | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
| US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
| JP2013070368A (ja) | 2011-09-05 | 2013-04-18 | Panasonic Corp | テレビ対話システム、端末および方法 |
| US8947351B1 (en) | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
| US9182935B2 (en) | 2011-09-27 | 2015-11-10 | Z124 | Secondary single screen mode activation through menu option |
| US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
| US8884928B1 (en) | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
| US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
| US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
| US9587804B2 (en) | 2012-05-07 | 2017-03-07 | Chia Ming Chen | Light control systems and methods |
| US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
| WO2013190538A1 (en) * | 2012-06-20 | 2013-12-27 | Pointgrab Ltd. | Method for touchless control of a device |
| CN102968208B (zh) * | 2012-09-05 | 2015-10-07 | 广东威创视讯科技股份有限公司 | 面阵摄像头定位图像有效区域调整方式的选择方法和系统 |
| US9423886B1 (en) | 2012-10-02 | 2016-08-23 | Amazon Technologies, Inc. | Sensor connectivity approaches |
| US8933882B2 (en) * | 2012-12-31 | 2015-01-13 | Intentive Inc. | User centric interface for interaction with visual display that recognizes user intentions |
| JP6070211B2 (ja) * | 2013-01-22 | 2017-02-01 | 株式会社リコー | 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム |
| US9734582B2 (en) | 2013-02-21 | 2017-08-15 | Lg Electronics Inc. | Remote pointing method |
| US9524028B2 (en) | 2013-03-08 | 2016-12-20 | Fastvdo Llc | Visual language for human computer interfaces |
| US9035874B1 (en) | 2013-03-08 | 2015-05-19 | Amazon Technologies, Inc. | Providing user input to a computing device with an eye closure |
| US9829984B2 (en) | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
| US9717118B2 (en) | 2013-07-16 | 2017-07-25 | Chia Ming Chen | Light control systems and methods |
| US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
| US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
| US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
| US9367203B1 (en) | 2013-10-04 | 2016-06-14 | Amazon Technologies, Inc. | User interface techniques for simulating three-dimensional depth |
| US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
| US10406967B2 (en) | 2014-04-29 | 2019-09-10 | Chia Ming Chen | Light control systems and methods |
| US10088971B2 (en) | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
| JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
| JP6586891B2 (ja) * | 2016-01-13 | 2019-10-09 | セイコーエプソン株式会社 | プロジェクター及びプロジェクターの制御方法 |
| US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
| CN106383500A (zh) * | 2016-09-05 | 2017-02-08 | 湖北工业大学 | 一种智能建筑门窗幕墙系统 |
| JP6255129B1 (ja) * | 2017-04-18 | 2017-12-27 | 京セラ株式会社 | 電子機器 |
| JP7380453B2 (ja) * | 2020-07-01 | 2023-11-15 | トヨタ自動車株式会社 | サーバ装置、情報処理システム、及びシステムの動作方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE8915535U1 (de) | 1989-03-02 | 1990-10-25 | Carl Zeiss, 89518 Heidenheim | Auflicht-Objektbeleuchtungseinrichtung |
| JPH0474285A (ja) | 1990-07-17 | 1992-03-09 | Medama Kikaku:Kk | 特定人又は物の位置検出表示装置 |
| JP3114813B2 (ja) * | 1991-02-27 | 2000-12-04 | 日本電信電話株式会社 | 情報入力方法 |
| JPH0519957A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
| DE4142614A1 (de) * | 1991-10-14 | 1993-04-15 | Tropf Hermann Dr Ing | Vorrichtung und verfahren zum erkennen von objekten, wie unregelmaessigkeiten in oberflaechen oder dergleichen |
| JPH05324181A (ja) | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
| EP0571702A3 (en) * | 1992-05-26 | 1994-10-12 | Takenaka Corp | Handheld input device and wall computer unit. |
| IT1264225B1 (it) * | 1993-09-24 | 1996-09-23 | Sintecna S R L | Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi |
| JPH07160412A (ja) * | 1993-12-10 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置検出方法 |
| JP2552427B2 (ja) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
| US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
| JPH08329222A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ３次元位置認識装置 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
-
1997
- 1997-12-29 JP JP36962897A patent/JP3749369B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-18 US US09/040,436 patent/US6385331B2/en not_active Expired - Fee Related
- 1998-03-18 EP EP98104954A patent/EP0866419B1/en not_active Expired - Lifetime
- 1998-03-18 DE DE69824225T patent/DE69824225T2/de not_active Expired - Fee Related
- 1998-03-18 DE DE69829424T patent/DE69829424T2/de not_active Expired - Fee Related
- 1998-03-18 DE DE69828912T patent/DE69828912T2/de not_active Expired - Fee Related
- 1998-03-18 EP EP03008193A patent/EP1329838B1/en not_active Expired - Lifetime
- 1998-03-18 EP EP03008194A patent/EP1329839B1/en not_active Expired - Lifetime
- 1998-03-20 KR KR1019980009762A patent/KR100328648B1/ko not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1329838B1 (en) | 2005-02-02 |
| EP0866419A3 (en) | 2001-05-23 |
| EP1329839A2 (en) | 2003-07-23 |
| EP1329839A3 (en) | 2003-07-30 |
| DE69824225T2 (de) | 2005-06-23 |
| DE69828912D1 (de) | 2005-03-10 |
| KR100328648B1 (ko) | 2002-07-31 |
| US20010043719A1 (en) | 2001-11-22 |
| EP1329838A2 (en) | 2003-07-23 |
| JPH10326148A (ja) | 1998-12-08 |
| DE69828912T2 (de) | 2005-07-28 |
| US6385331B2 (en) | 2002-05-07 |
| EP0866419A2 (en) | 1998-09-23 |
| DE69829424T2 (de) | 2006-05-04 |
| KR19980080509A (ko) | 1998-11-25 |
| DE69829424D1 (de) | 2005-04-21 |
| EP1329839B1 (en) | 2005-03-16 |
| DE69824225D1 (de) | 2004-07-08 |
| EP1329838A3 (en) | 2003-08-06 |
| EP0866419B1 (en) | 2004-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3749369B2 (ja) | ハンドポインティング装置 | |
| JP3795647B2 (ja) | ハンドポインティング装置 | |
| JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US5912721A (en) | Gaze detection apparatus and its method as well as information display apparatus | |
| JP4278979B2 (ja) | ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム | |
| JPH0844490A (ja) | インターフェイス装置 | |
| CN108389231B (zh) | 基于棋盘表面图像的棋子定位识别方法及系统 | |
| JP2004078977A (ja) | インターフェイス装置 | |
| JP3792907B2 (ja) | ハンドポインティング装置 | |
| JP4968922B2 (ja) | 機器制御装置及び制御方法 | |
| JP2013156889A (ja) | 移動制御装置、移動制御装置の制御方法、及びプログラム | |
| CN110520822B (zh) | 控制装置、信息处理系统、控制方法和程序 | |
| CN108572730B (zh) | 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的系统和方法 | |
| KR20130051319A (ko) | 신호 입력 장치 및 신호 입력 방법 | |
| JP3138145U (ja) | 脳トレーニング装置 | |
| CN109144598A (zh) | 基于手势的电子面罩人机交互方法与系统 | |
| JP2003076488A (ja) | 指示位置判断装置及び方法 | |
| US12039650B2 (en) | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof | |
| CN113223344B (zh) | 一种基于大数据的艺术设计用专业教学展示系统 | |
| KR20150049872A (ko) | 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템 | |
| JP2000222098A (ja) | ハンドポインティング装置、指示位置表示方法及び記録媒体 | |
| US11195525B2 (en) | Operation terminal, voice inputting method, and computer-readable recording medium | |
| JPH06301477A (ja) | ３次元空間に対する指示位置の入力装置 | |
| KR20090087778A (ko) | 패턴 마커 인식에의한 모션 캡처장치와 컴퓨터 입력장치 | |
| KR20080083095A (ko) | 패턴 마커 인식에의한 모션 캡처장치와 컴퓨터 입력장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |