JP4436164B2 - 光信号ポインティング方法、光信号ポインティング装置、および、プログラム - Google Patents

Description

本発明は、光源デバイスにより発信される光信号を用いてディスプレイの表示領域中の任意位置をポインティングし、操作イベントを入力する技術に関する。

従来、ディスプレイの表示領域中の任意の位置をポインティングする方法として、マウス、トラックボール、ライトペン、タッチパネルなどのポインティングデバイスを用いる方法がある。マウスは平面の上に置いて、前後左右に滑らせ、その動きに連動して、表示領域上のカーソルを移動し、ボタンを押すことでカーソルの指示する位置をポインティングするデバイスである。

同様に、トラックボールは、操作面に露出したボールを手で回転させることでカーソルを移動し、ボタンを押すことでカーソルの指示する位置をポインティングするデバイスである。

ライトペンは、表示領域上の任意の位置をタッチすることによりポインティングするデバイスである。ライトペンでは、ライトペンによりディスプレイがタッチされるとタッチセンサーがそのことを制御部に伝え、表示領域全面を走査点だけ発光させるようにして瞬時に走査する。ライトペンがペン先の走査点の発光を検知した時点で、そのことを制御部に知らせることにより、この時点で発光している走査点位置を、ライトペンの指している位置として検出する仕組みになっている。

ライトペンと同等の仕組みを用いた銃型のポインティングデバイスもある。このデバイスは銃口（光センサ）をディスプレイに向けトリガーを引くことで、任意の位置をポインティングする。

タッチパネルは、ディスプレイの表示領域を覆う形で装備されるポインティングデバイスであり、ライトペンと同様に表示領域上の任意の位置を指先やペンなどで直接タッチすることでポインティングするものである。

ポインティングデバイスを使用して情報を提供する方法として、例えば、第１情報端末に表示されているアイコン(何らかの情報を格納している)をペン型ポインティングディバイスでタッチして、前記アイコンを一時的に前記ペン型ポインティングディバイスに格納し、前記ペン型ポインティングディバイスを第２情報端末にタッチすることで、前記アイコンを第１情報端末から第２情報端末に送信する発明が開示されている(例えば、特許文献１参照。)。
特開２００３−１７７８６４号公報

マウス、トラックボール、ライトペンにおいて用いられるポインティング方法では、ポインティングデバイスそのものがコンピュータ等を介してディスプレイに接続されている必要がある。一方、タッチパネルに用いられるポインティング方法は、任意のポインティングデバイスを利用できるが、ディスプレイ表面への接触を監視しているだけであり、クリックやダブルクリック以外の操作イベント信号を入力することができない。

そこで、光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングし、さらに、この位置に所定の操作イベント信号を入力することが可能な新たなポインティングシステムが考えられるが、光源デバイスとして携帯端末などのディスプレイを用いた場合には、光信号を発光することを意図して設計されていないため、発信可能な光信号の点滅周波数は、光信号発信用のＬＥＤなどに比べて極めて低い。点滅周波数が低い場合、光信号として一般的な輝度差による点滅信号（光ビーコン）は、ロバストに検出することが難しい。

さらに、光信号をポインティングに用いる場合、光信号が安定して検出されないために、カーソル位置や移動が不安定になるという課題もある。

本発明は、光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングし、さらに、当該位置に所定の操作イベント信号を入力することが可能な新たなポインティング技術の実現を目的とする。さらに、光源デバイスとして、携帯端末のディスプレイを用いることを可能にする。

光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングするため、本発明の光信号ポインティング方法では、次の処理を行うものとした。

光源デバイスが所定のカーソル光信号を発光し、光信号検出手段が、例えばディスプレイに具備しているイメージセンサ手段が撮像する映像からカーソル光信号を検出し、撮影映像中におけるカーソル位置座標を求め、前記ディスプレイの解像度に合うように座標値を変換してカーソル位置を決定し出力し、所定の制御手段が、カーソル位置に基づいて、ディスプレイの表示領域中にカーソルを表示するものとした。

なお、制御手段は、光信号検出手段より出力されるカーソル位置を利用して、カーソルの表示以外の処理も行う。

さらに、携帯端末のディスプレイなど低周波数の点滅しかできない光源デバイスを利用可能にするために、以下に述べる方法でカーソル位置を決定するものとした。

まず、カーソル光信号として、所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用いる。一方、光信号検出手段には、イメージセンサ手段が撮像する映像から点滅周期に等しい周期で明度差が生じた画素を抽出するステップと、さらに、抽出された画素の中で、明度が高い時点の色相と、所定の色相を比較し、色相差が既定値未満である画素をカーソル信号画素とするステップと、さらに、既定値以上の画素数からなるカーソル信号画素の連結成分をカーソル信号成分として抽出するステップと、連結成分の形状に基づいて前記カーソル位置を決定するステップを有するものとした。

また、カーソル光信号が安定して検出できないために、カーソル位置や移動が不安定になる問題を解消するために、光信号検出手段における処理に、次のステップを設けた。

すなわち、光信号検出手段は、連続的に検出されたカーソル位置の軌跡を保持し、さらに、当該軌跡に基づいて、新たに決定したカーソル位置に対し、直近２つのカーソル位置を加えた３点を頂点とする三角形の外接円の中心を求め、前記新たに決定したカーソル位置と前記外接円の中心を結ぶ線分が、前記直近２つのカーソル位置を結ぶ線分と交差するかを判断し、交差する場合には、前記新たに決定したカーソル位置を直前のカーソル位置に補正するステップを有するものとした。

上記の方法を用いることにより、低周波数の点滅光源でも利用可能となるが、映像中に類似した点滅信号が存在する場合に誤検出が発生する可能性がある。この課題を改善するために、さらに以下のステップを設けた。

すなわち、光信号検出手段には、最近に決定したカーソル位置を含む既定のサイズの画素領域を処理対象領域として決定するステップを設け、処理対象領域に対してのみ、上記各ステップの処理を行い、新たなカーソル位置を決定するものとした。

また、処理対象領域がカーソル信号の存在する領域を含むように適宜変更されるように、光信号検出手段は、カーソル位置が検出できなかった場合に、処理対象領域を変更するステップを有するものとした。

さらに、光源デバイスより発信する光信号を用いて、ディスプレイの表示領域中の任意の位置に所定の操作イベント信号を入力するために、次の処理を行うものとした。

すなわち、光源デバイスは、さらに、光源デバイスに具備された操作手段に所定の操作がなされた時点に、イベント光信号を発光し、光信号検出手段が、例えばディスプレイに具備されたイメージセンサ手段が撮像する映像からイベント光信号を検出し、イベント発生位置とイベント内容を決定し、所定の制御手段に出力するものとした。

なお、制御手段は、出力されたイベント発生位置とイベント内容に応じた処理を実施する手段である。

上記の技術は以下に示す発明により実現できる。

請求項１は、光信号ポインティング装置が光源デバイスからのカーソル光信号を検出し、当該カーソル光信号位置に対応するディスプレイの表示領域中の位置をポインティング表示する光信号ポインティング方法であって、前記光信号ポインティング装置はイメージセンサ手段、光信号検出手段、および、制御手段を有しており、前記イメージセンサ手段が、映像を撮像するステップと、前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出し、撮影映像中におけるカーソル位置座標を求め、前記ディスプレイの解像度に合うように座標値を変換してカーソル位置を決定するステップと、前記制御手段が、前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示するステップとを行う。

さらに請求項１は、前記光信号検出手段が、前記カーソル位置を連続的に検出して、このカーソル位置の軌跡を保持するステップと、新たに決定したカーソル位置に対し、直近２つのカーソル位置を加えた３点を頂点とする三角形の外接円の中心を求め、前記新たに決定したカーソル位置と前記外接円の中心を結ぶ線分が、前記直近２つのカーソル位置を結ぶ線分と交差するかを判断し、交差する場合には、前記新たに決定したカーソル位置を直前のカーソル位置に補正するステップと、を行うことを特徴とする。

請求項２は、請求項１において、前記光源デバイスに携帯端末の表示器を用い、前記カーソル光信号として所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用い、前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出するステップと、前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とするステップと、前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出するステップと、前記カーソル信号成分の形状に基づいて前記カーソル位置を決定するステップと、を行うことを特徴とする。

請求項３は、請求項１または２において、前記光信号検出手段は、最近に決定したカーソル位置を含んだ既定サイズの画素領域を処理対象領域として決定するステップを有し、前記処理対象領域に対してのみカーソル位置決定処理を行うことを特徴とする。

請求項４は、請求項３において、前記処理によりカーソル位置の検出ができなかったときには、前記光信号検出手段は、前記処理対象領域を変更するステップを行うことを特徴とする。

請求項５は、請求項１〜４のいずれかにおいて、前記光源デバイスがイベント光信号を発光したときには、前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定するステップと、前記イベント発生位置に対応するイベント内容を決定するステップと、前記制御手段が、前記イベント内容を実行するステップと、を行うことを特徴とする。

請求項６は、請求項５において、前記光信号検出手段は前記処理対象領域についてのみ、前記光源デバイスのイベント光信号の検出を行うことを特徴とする。

請求項７は、光源デバイスからのカーソル光信号を検出して、当該カーソル光信号位置に対応するディスプレイの表示領域中の位置をポインティング表示する光ポインティング装置であって、映像を撮像するイメージセンサ手段と、前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出し、撮影映像中におけるカーソル位置座標を求め、前記ディスプレイの解像度に合うように座標値を変換してカーソル位置を決定する光信号検出手段と、前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示する制御手段と、を有する。

さらに請求項７は、前記光信号検出手段は、前記カーソル位置を連続的に検出して、このカーソル位置の軌跡を保持し、新たに決定したカーソル位置に対し、直近２つのカーソル位置を加えた３点を頂点とする三角形の外接円の中心を求め、前記新たに決定したカーソル位置と前記外接円の中心を結ぶ線分が、前記直近２つのカーソル位置を結ぶ線分と交差するかを判断し、交差する場合には、前記新たに決定したカーソル位置を直前のカーソル位置に補正する、ことを特徴とする。

請求項８は、請求項７において、前記光源デバイスに携帯端末の表示器を用い、前記カーソル光信号として所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用い、前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出し、前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とし、前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出し、前記カーソル信号成分の形状に基づいて前記カーソル位置を決定する、ことを特徴とする。

請求項９は、請求項７または８において、前記光信号検出手段は、最近に決定したカーソル位置を含んだ既定サイズの画素領域を処理対象領域として決定し、前記処理対象領域に対してのみカーソル位置決定処理を行うこと、を特徴とする。

請求項１０は、請求項９において、前記処理によりカーソル位置の検出ができなかったときには、前記光信号検出手段は、前記処理対象領域を変更する、ことを特徴とする。

請求項１１は、請求項７〜１０いずれかにおいて、前記光源デバイスがイベント光信号を発光したときには、前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定し、前記イベント発生位置に対応するイベント内容を決定し、前記制御手段が、前記イベント内容を実行する、ことを特徴とする。

請求項１２は、請求項１１において、前記光信号検出手段は前記処理対象領域についてのみ、前記光源デバイスのイベント光信号の検出を行うことを特徴とする。

請求項１３は、コンピュータに請求項１ないし６のいずれか１項に記載の各手順を実行させるプログラムである。

本発明により、色発光可能な光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングし、さらに、当該位置に所定の操作イベント信号を入力することが可能な新たなポインティングシステムが実現される。

さらに、光源デバイスとして、３０Ｈｚ以下の低い点滅周波数のものを利用できるようになる。

この結果、光源デバイスとして、携帯電話などの携帯端末のディスプレイが利用できるようになる。

同時に、イメージセンサ手段としても、高速イメージセンサなどの特殊機器を用いる必要がなくなり、汎用のビデオフレームレートのカメラを適用できる。

また、光信号を用いて、ポインティングを行う場合に、光信号が誤検出されることや、うまく検出されないことによって、カーソル位置や移動が不安定となる問題が改善される。

さらに、動的に処理対象領域を局所化することで、処理量を低下できる。本ポインティング技術では、映像に対するリアルタイムな処理が必要であるが、処理対象領域の制限により処理量を低下できることによって、低スペックである処理装置上のソフトウェアとして光信号検出手段を実装する場合にも問題なく動作するようになる。

本発明の光信号ポインティング方法を実現する光信号ポインティングシステムの概略構成図の例を図１に示す。図１に示す光信号ポインティングシステムは、本発明による光信号ポインティング方法を用いて多様なアプリケーションを実現するのに必要な手段を含んでいる。

図１の光源デバイス１１は、光信号を発信できるデバイスである。請求項２の発明を実施する場合には、光源デバイス１１は所定の色相の有色光点滅信号を発信するデバイスとなる。この光源デバイス１１としては、携帯電話をはじめとする携帯端末のディスプレイを用いることができる。

イメージセンサ手段１２は、利用する光信号が３０Ｈｚ以下の点滅によって構成されるものである場合、ビデオフレームレート（３０ｆｐｓ）もしくは、それ以下の点滅周波数に等しいフレームレートで映像を撮像するカメラが利用できる。

逆に、光信号の検出性能向上のために、３０Ｈｚより高い周波数で点滅する光源デバイスを利用し、この周波数以上のフレームレートで映像を撮像する高速カメラを利用する場合もある。

制御装置１３は、一実施形態として、計算機をべースにこれを構成できる。この場合、制御手段１４は計算機上のＯＳに相当し、光信号検出手段１５は、０Ｓ上で動作するソフトウェアとして実装できる。

計算機を用いた構成では、図１に示した記憶手段１６は、計算機のメモリーデバイスであり、通信手段１７は、インターネットやＬＡＮなどの外部ネットワークと通信するためのデバイスであり、情報提供手段は１８、各種データを蓄積したハードディスクに相当する。

表示手段１９は、ディスプレイ２２に画像情報を出力するデバイスである。

外部情報提供手段２０は、ネットワーク２１を介して制御装置１３にデータを提供するＷＷＷサーバなどに相当する。

なお、図１中では、計算機を動作させる上で必要となるその他の手段の記載は省略している。

本光信号ポインティング方法による各種アプリケーションは、必要に応じて計算機上の各種手段を用いる。

制御装置１３は、別の実施形態として、専用のハードウェア装置を含む形で構成できる。この場合には、少なくともイメージセンサ手段１２、光信号検出手段１５を具備する専用デバイスを用い、他の手段をＰＣなどの外部機器によって実現するよう構成できる。この専用デバイスは、いわゆるマウスなどのポインティングデバイス相当の機能をＰＣに提供するように構成できる。

本発明の光信号ポインティング方法の基本的な手順は次のようになる。まず、光源デバイス１１が所定のカーソル光信号を発光する。一方、光信号検出手段１５が、ディスプレイに具備されたイメージセンサ手段１２が撮像する映像からカーソル光信号を検出しカーソル位置を決定し出力する。そして、制御手段１４が、カーソル位置に基づいて、ディスプレイ２２の表示領域中にカーソルを表示する。なお、制御手段１４は、光信号検出手段１５より出力されるカーソル位置を利用して、カーソルの表示以外の処理も行う場合もある。

光源デバイス１１は、さらに、光源デバイス１１に具備された操作手段に所定の操作がなされた時点に、イベント光信号を発光する。そして、光信号検出手段１５が、ディスプレイ２２に具備されたイメージセンサ手段１２が撮像する映像からイベント光信号を検出し、イベント発生位置とイベント内容を決定し出力し、所定の制御手段１４が、イベント発生位置とイベント内容に応じた処理を行う。

これにより、ディスプレイ２２前で利用者が手元の光源デバイス１１を動かすことにより、ディスプレイ２２上に表示されたカーソルが移動するようになる。また、光源デバイス１１に具備された操作手段を用いてイベント光信号を発信し、カーソルで指示した位置に任意の操作イベントを入力することができる。すなわち、光源デバイス１１を複数の操作イベントを入力可能なポインティングデバイスとして利用可能になる。

したがって、例えば、ディスプレイ２２上にあらかじめ情報提供手段１８もしくは外部情報提供手段２０から得られる情報画像を複数配置しておき、利用者が光源デバイス１１を操作して、所望の画像情報上にカーソルを移動し、情報取得イベントを入力することで、ディスプレイ２２上の該当位置にある情報画像を光源デバイス１１である携帯情報端末に通信手段１７およびネットワーク２１を介して送信されるというアプリケーションなどが実現できる。

（カーソル光信号処理の実施例）
次に、光源デバイス１１が発信するカーソル光信号の構成例を、図２を用いて説明する。

カーソル光信号として、図２に示すように所定の色相Ｈｓの有色光点滅信号を用いることができる。

次に、カーソル光信号として所定の色相Ｈｓの有色光点滅信号を用いる場合の制御装置１３の処理について説明する。説明を簡易化するために、図２に示すように、カーソル光信号の点滅周波数がＦＨｚであり、かつ、イメージセンサ手段１２の撮像フレームレートがＦｆｐｓであるものとする。なお、点滅周波数と、撮像フレームレートが異なる場合には、点滅に同期した映像フレームを抽出する処理を制御装置１３側で行う。

図３には，イメージセンサ手段１２の撮像映像と、光信号検出手段１５によりカーソル光信号が存在する画素の集合であるカーソル信号成分を抽出した様子を示している。このように、本光信号ポインティング方法では、映像中からカーソル光信号の領域を特定し、この領域に基づいてカーソル位置を決定する。

（光信号検出手段１５によるカーソル位置決定め実施例１）
図４には、図２に示した所定の色相Ｈｓの有色光点滅信号を用いる場合における光信号検出手段１５によるカーソル位置決定処理の一実施例を示している。

図４に示すフロチャートは、連続して撮像される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものである。

まず、新たな映像フレームＦ（ｉ）が取得されると(Ｓ１)、すべての座標の画素について、一つ前の映像フレームＦ（ｉ−１）の同座標に画素との輝度値の差を算出し、輝度差が既定値Ｌｔ以上の画素を抽出する(Ｓ２)。この処理は、映像中の動体領域を検出する処理であり、輝度差以外の属性を用いて処理してもよい。

輝度差がＬｔ以上である画素がある場合には(Ｓ３)、抽出された画素のＦ（ｉ−１）、Ｆ（ｉ）いずれか輝度値の高い時点の色相を算出し、この色相をカーソル光信号の色相Ｈｓと比較する。そして色相差が規定の値Ｈｔ未満である場合に、この画素をカーソル信号画素として抽出する(Ｓ４)。

さらに、カーソル信号画素が存在する場合に(Ｓ５)、既定値Ａｔ以上の画素数を有するカーソル信号画素の連結成分をカーソル信号成分として抽出する(Ｓ６)。

カーソル信号成分が存在すれば(Ｓ７)、その形状に基づきカーソル位置を決定する(Ｓ８)。

例えば、図６の示す手順によってカーソル位置を決定することができる。図６に示す手順では、カーソル信号成分を囲む最小矩形の重心（Ｘｓ，Ｙｓ）を算出し(Ｓ６１)、映像フレームの幅Ｗを用いて（Ｗ−Ｘｓ，Ｙｓ）をカーソル位置として決定している(Ｓ６２)。

ここで、カーソル位置横座標をＷ−Ｘｓとする、すなわち、左右変換をしているのは、利用者が光源デバイスを動かした際に、動かした方向にカーソルが移動するようにするためである。映像中のカーソル信号成分位置に基づく座標（Ｘｓ，Ｙｓ）をそのまま用いると、カーソルが逆方向に移動することになり利便性が悪くなる問題を解決している。

次に、カーソル位置の軌跡に基づき決定されたカーソル位置を補正する場合がある(Ｓ９)。

例えば、図７に示す手順によりカーソル位置を補正する場合がある。

図７に示す例では、局所瞬間的なカーソル位置の移動は円周に近似できるものと仮定し、円周に近似できないようなカーソル位置が得られた場合は、誤検出だとみなして、一つ以前のカーソル位置に補正する処理を行っている。

まず、決定されたカーソル位置(Ｘ(Ｉ)、Ｙ(Ｉ))、および、最近のカーソル軌跡(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))、(Ｘ(Ｉ−２)、Ｙ(Ｉ−２))の３点を頂点とする３角形の外接円の中心(Ｘｃ、Ｙｃ)を求める(Ｓ７１)。

そして、線分[(Ｘ(Ｉ)、Ｙ(Ｉ))−(Ｘｃ、Ｙｃ)]が線分[(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))−(Ｘ(Ｉ−２)、Ｙ(Ｉ−２))]と交差するかを判断し、交差する場合には後段のＳ７３へ進み、交差しない場合には補正を行わない（Ｓ７２）。

線分[(Ｘ(Ｉ)、Ｙ(Ｉ))−(Ｘｃ、Ｙｃ)]が線分[(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))−(Ｘ(Ｉ−２)、Ｙ(Ｉ−２))]と交差する場合には、カーソル位置(Ｘ(Ｉ)、Ｙ(Ｉ))を(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))に補正する（Ｓ７３）。

この後、補正されたカーソル位置を軌跡に追加保持した上(Ｓ１０)、カーソル位置を制御手段１４に出力する(Ｓ１１)。

なお、上述の各過程において、輝度差がＬｔ以上である画素がなかった場合、カーソル信号画素が存在しなかった場合、および、カーソル信号成分が存在しなかった場合は、いずれも、最新の映像フレームＦ（ｉ）に対する処理によってカーソル位置を決定することはできないので、これまでのカーソル位置の軌跡に基づいてカーソル位置を決定する(Ｓ１２)。

例えば、最近に決定されたカーソル位置と同じ位置をカーソル位置として決定する。あるいは、最近の３点を円周で補完し、最近３点の移動方向にある円周上の点を新たなカーソル位置として決定することができる。

上述の手順で決定したカーソル位置を制御手段１４に出力し(Ｓ１１)、次の映像フレームに対するカーソル光信号検出処理に移行する。

なお、光信号検出手段１５より出力されるカーソル位置座標(Ｘ、Ｙ)はイメージセンサ手段１２の撮影映像(解像度が、幅Ｗ、高さＨ)中における位置座表である。制御手段１４は、光信号検出手段１５より受信されたカーソル位置座標をディスプレイの解像度に合うように座標値を変換し、変換したカーソル位置座標(Ｘｄ、Ｙｄ)にカーソル表示する。なお、ディスプレイの解像度が、幅Ｗｄ、高さＨｄであるならば、前記の座標変換は一般に以下の式によって実施される。

表示装置(ディスプレイ２２)の解像度に応じて、ポインティングデバイスにより入力された座標情報を変換する処理は、ＰＣではＯＳ上で動作するポインティングデバイスドライバーが行うものである。

制御手段１４は、ポインティングデバイスドライバーに相当する機能を有しており、以降の動作説明においても、制御手段１４は、光信号検出手段１５より位置座表情報を受信した際には、適宜、ディスプレイ２２の解像度に適合させるための座標変換を行っているものとする。

（光信号検出手段１５によるカーソル位置決定の実施例２）
図５には、図２に示した所定の色相Ｈｓの有色光点滅信号を用いる場合における光信号検出手段１５によるカーソル位置決定処理の別の実施例を示している。

図５に示すフロチャートは、連続して撮像される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものであり、基本的な流れは図４に示すものと同じである。ただし、本実施例では、カーソル信号検出の処理を特定の処理対象領域についてのみ実施している。

初期段階では、処理対象領域は、画像フレーム全体に設定する（Ｓ２１）。以降、処理対象領域は逐次変更される。

まず、新たな映像フレームＦ（ｉ）が取得されると（Ｓ２２）、処理対象領域内の画素について、一つ前の映像フレームＦ（ｉ−１）の同座標に画素との輝度値の差を算出し、輝度差が既定値Ｌｔ以上の画素を抽出する（Ｓ２３）。

輝度差がＬｔ以上である画素がある場合には（Ｓ２４）、抽出された画素のＦ（ｉ−１）、Ｆ（ｉ）いずれか輝度値の高い時点の色相を算出し、この色相をカーソル光信号の色相Ｈｓと比較する。そして色相差が規定の値Ｈｔ未満である場合に、この画素をカーソル信号画素として抽出する（Ｓ２５）。

さらに、カーソル信号画素が存在する場合に（Ｓ２６）、既定値Ａｔ以上の画素数を有するカーソル信号画素の連結成分をカーソル信号成分として抽出する（Ｓ２７）。

カーソル信号成分が存在すれば（Ｓ２８）、その形状に基づきカーソル位置を決定する（Ｓ２９）。

例えば、前述の図６の示す手順によってカーソル位置を決定することができる。

次に、カーソル位置の軌跡に基づき決定されたカーソル位置を補正する場合がある（Ｓ３０）。

例えば、前述の図７に示す手順によりカーソル位置を補正する場合がある。

この後、補正されたカーソル位置を軌跡に追加保持する（Ｓ３１）。

そして、補正されたカーソル位置を含む規定サイズの画素領域を処理対象領域とする（Ｓ３２）。

例えば、カーソル位置を重心とし、各辺の長さが既定値ｒとなるｒ×ｒ個の画素から構成される正方形領域を処理対象領域とすることができる。

なお、上述の各過程において、輝度差がＬｔ以上である画素がなかった場合、カーソル信号画素が存在しなかった場合、および、カーソル信号成分が存在しなかった場合は、いずれも、最新の映像フレームＦ（ｉ）に対する処理によってカーソル位置を決定することはできない。このため、これまでのカーソル位置の軌跡に基づいてカーソル位置を決定する（Ｓ３３）。

例えば、最近に決定されたカーソル位置と同じ位置をカーソル位置として決定する。あるいは、最近の３点を円周で補完し、最近３点の移動方向にある円周上の点を新たなカーソル位置として決定することができる。また、同様に軌跡に基づいて処理対象領域を変更する（Ｓ３４）。

カーソル光信号を検出できない要因としては、処理対象領域内に光源デバイス１１が撮像されていないことが推測されるので、ここでの処理対象領域の変更は、一般に処理対象領域を拡大するようにする。

例えば、最近に検出されたカーソル位置を重心とし、各辺の長さが既定値Ｒ＞ｒとなるＲ×Ｒ個の画素から構成される正方形領域を処理対象領域とすることができる。

あるいは、現在の処理対象領域の正方形の１辺の長さがｒである場合に、定数Ｔを用いてＲ＝Ｔ×ｒとし、カーソル位置を重心とし、各辺の長さがＲである正方形領域を処理対象領域とすることなどができる。

さらには、上述の例において、最近に検出されたカーソル位置の代わりに、最近の３点を円周で補完し、最近３点の移動方向にある円周上の点を重心として、各辺の長さがＲである正方形領域を処理対象領域としてもよい。この他にも多様な手法で処理対象領域の変更を行うことが可能である。

上述の手順で、処理対象領域を定めるとともに、決定補正したカーソル位置を制御手段１４に出力し（Ｓ３５）、次の映像フレームに対するカーソル光信号検出処理に移行する。

（イベント光信号処理の実施例）
次に、光源デバイス１１が発信するイベント光信号の構成例について説明する。

イベント光信号として、例えば、連続して発光される色の色相差にデータ値を変換して送信する色点滅光信号を利用することができる。これは、具体的には、データ値０を色相差２π／３に割り当て、データ値１を色相差４π／３に割り当て、データ値列００１１を送る場合に、連続して発光される色の色相差が２π／３、２π／３、４π／３、４π／３となるように色点滅する光信号方式である（参考文献１：宮奥健人、束野豪、外村佳伸、「Ｃ−Ｂｌｉｎｋ：携帯電話ディスプレイによる色相差光信号マーカー」、情報処理学会シンポジウム・インタラクション２００４論文集、ｐｐ．．，２００４）。

また、（参考文献２：松下伸行、日原大輔、後輝行、吉村真一、暦本純一、「ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なスマートカメラ」、情報処理学会論文誌、ｖｏｌ．４３，Ｎｏ．１２，ｐｐ．３６６４−３６７４，Ｄｅｃ．２００２）に記載されるような輝度差点滅による光信号を利用することができる。

また、輝度差点滅による光信号を用いる場合には、カーソル光信号用の光の色相Ｈｓと異なる色相の色をイベント光信号に用いることができる。

これらの光信号を用いる場合、イベント光信号は、基本的に信号長次第で、どのような長さのデータ信号も送信できるため。極めて多種類の操作イベントを送信できる。

次に、イベント光信号に対する制御装置１３の処理について説明する、説明を簡易化するために、図２に示したように光源デバイス１１の点滅周波数がＦＨｚであり、かつ、イメージセンサ手段１２の撮像フレームレートがＦｆｐｓであるものとする。なお、点滅周波数と、撮像フレームレートが異なる場合には、点滅に同期した映像フレームを抽出する処理を制御装置１３側で行う。

制御装置１３内の光信号検出手段１５は、イメージセンサ手段１２が撮像する各映像フレームに対して、前述したカーソル光信号検出処理を行うと同時に、平行してイベント光信号の検出処理を行う。

そしてイベント光信号が検出された時点で、イベント発生位置とイベント内容を制御手段１４に出力する。

制御手段１４では、イベント発生位置とイベント内容に応じた処理を実施する。処理の内容は、利用されるアプリケーションによって異なる。

例えば、ディスプレイ２２上にあらかじめ情報提供手段１８もしくは外部情報提供手段２０から得られる情報画像を複数配置しておき、情報取得イベントがイベント発生位置において発生した場合、ディスプレイ２２上の該当位置にある情報画像を光源デバイス１１である携帯情報端末に通信手段１７およびネットワーク２１を介して送信するというアプリケーションでは、ディスプレイ２２上の該当位置にある情報画像を光源デバイス１１である携帯情報端末に送信する処理が、制御手段１４の実施する前記処理となる。

これらの制御手段１４の動作は、本発明の光信号ポインティングシステムを利用して別途実装されるアプリケーションにより規定されるものである。これは、いわゆるマウス等のポインティングデバイスによりポインティングが行われた場合、実施される処理が実行中のアプリケーションにより規定されることと同等である。

（光信号検出手段１５によるイベント光信号検出の実施例１）
図８には、光信号検出手段１５によるイベント光信号処理の一実施例を示している。

この図８の例ではイベント光信号とカーソル光信号の点滅周波数が同じであり、さらに、撮像フレームレートも点滅周波数に等しい場合のものである。

また、図８に示す処理は、図４、図５に示すカーソル位置決定処理と平行して実施される。

図８に示すフロチャートは、連続して撮像される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものである。

まず、新たな映像フレームＦ（ｉ）が取得されると（Ｓ８１）、すべての座標の画素について、イベント光信号の検出処理を実施する（Ｓ８２）。具体的な検出処理は利用するイベント光信号の構成に依存する。

また、前記参考文献１、参考文献２に記載の光信号に対する検出処理を実施する（Ｓ８３）。

イベント信号が検出された場合、イベント発生位置とイベント内容を制御手段１４に出力し（Ｓ８４）、次の映像フレームに対するカーソル光信号検出処理に移行する。

なお、ここでのイベント内容とは一般に光信号として受信されたデータ値列である。ただし、本発明の光信号ポインティング方法により通常のマウスポインティングデバイスをエミューレートし利用するアプリケーションにおいては、左クリックイベントもしくは、右クリックイベントに相当する信号を出力する。

（光信号検出手段１５によるイベント光信号検出の実施例２）
図９には、光信号検出手段１５によるイベント光信号処理の一実施例を示している。

この図９の例ではイベント光信号とカーソル光信号の点滅周波数が同じであり、さらに、撮像フレームレートも点滅周波数に等しい場合のものである。

また、図９に示す処理は、図５に示すカーソル位置決定処理と平行して実施される。

図９に示すフロチャートは、連続して撮影される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものである。

新たな映像フレームＦ（ｉ）が取得されると（Ｓ９１）、図５に示すカーソル位置決定処理において決定された処理対象領域内の座標の画素についてイベント光信号の検出処理を実施する（Ｓ９２）。

具体的な検出処理は利用するイベント光信号の構成に依存する。

また、前記参考文献１、参考文献２に記載の光信号に対する検出処理を実施する（Ｓ９３）。

イベント信号が検出された場合、イベント発生位置とイベント内容を制御手段１４に出力し（Ｓ９４）、次の映像フレームに対するカーソル光信号検出処理に移行する。

なお、ここでのイベント内容とは一般に光信号として受信されたデータ値列である。

ただし、本発明の光信号ポインティング方法により通常のマウスポインティングデバイスをエミューレートし利用するアプリケーションにおいては、左クリックイベントもしくは、右クリックイベントに相当する信号を出力する。

図９に示すフロチャートのように、イベント光信号検出処理を実施する領域を処理対象領域に限定することによって、検出に要する計算量が低下され、さらに、光源デバイス１１の周辺でのみ検出することで誤検出の可能性も低減できる。

なお、本発明は図１に示したシステムの一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図４〜図９で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

光信号ポインティングシステムの概略構成図。 カーソル光信号の構成図。 カーソル光信号の検出過程を示す図。 光信号検出手段の第１のカーソル光信号処理手順を示すフロチャート。 光信号検出手段の第２のカーソル光信号処理手順を示すフロチャート。 光信号検出手段のカーソル位置決定ステップ内の処理手順を示すフロチャート。 光信号検出手段のカーソル位置補正ステップ内の処理手順を示すフロチャート。 光信号検出手段の第１のイベント光信号処理手順を示すフロチャート。 光信号検出手段の第２のイベント光信号処理手順を示すフロチャート。

符号の説明

１１…光源デバイス
１２…イメージセンサ手段
１３…制御装置
１４…制御手段
１５…光信号検出手段
１６…記憶手段
１７…通信手段
１８…情報提供手段
１９…表示手段
２０…外部情報提供手段
２１…ネットワーク
２２…ディスプレイ

Claims (13)

1. 光信号ポインティング装置が光源デバイスからのカーソル光信号を検出し、当該カーソル光信号位置に対応するディスプレイの表示領域中の位置をポインティング表示する光信号ポインティング方法であって、
   前記光信号ポインティング装置はイメージセンサ手段、光信号検出手段、および、制御手段を有しており、
   前記イメージセンサ手段が、映像を撮像するステップと、
   前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出し、撮影映像中におけるカーソル位置座標を求め、前記ディスプレイの解像度に合うように座標値を変換してカーソル位置を決定するステップと、
   前記光信号検出手段が、前記カーソル位置を連続的に検出して、このカーソル位置の軌跡を保持するステップと、
   前記光信号検出手段が、新たに決定したカーソル位置に対し、直近２つのカーソル位置を加えた３点を頂点とする三角形の外接円の中心を求め、前記新たに決定したカーソル位置と前記外接円の中心を結ぶ線分が、前記直近２つのカーソル位置を結ぶ線分と交差するかを判断し、交差する場合には、前記新たに決定したカーソル位置を直前のカーソル位置に補正するステップと、
   前記制御手段が、前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示するステップと、を行うことを特徴とする光信号ポインティング方法。
2. 前記光源デバイスに携帯端末の表示器を用い、前記カーソル光信号として所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用い、
   前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出するステップと、
   前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とするステップと、
   前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出するステップと、
   前記カーソル信号成分の形状に基づいて前記カーソル位置を決定するステップと、を行うことを特徴とする請求項１に記載の光信号ポインティング方法。
3. 前記光信号検出手段は、最近に決定したカーソル位置を含んだ既定サイズの画素領域を処理対象領域として決定するステップを有し、
   前記処理対象領域に対してのみカーソル位置決定処理を行うことを特徴とする請求項１または２に記載の光信号ポインティング方法。
4. 前記処理によりカーソル位置の検出ができなかったときには、
   前記光信号検出手段は、前記処理対象領域を変更するステップを行うことを特徴とする請求項３に記載の光信号ポインティング方法。
5. 前記光源デバイスがイベント光信号を発光したときには、
   前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定するステップと、
   前記イベント発生位置に対応するイベント内容を決定するステップと、
   前記制御手段が、前記イベント内容を実行するステップと、を行うことを特徴とする請求項１〜４いずれか１項に記載の光信号ポインティング方法。
6. 前記光信号検出手段は前記処理対象領域についてのみ、前記光源デバイスのイベント光信号の検出を行うことを特徴とする請求項５に記載の光信号ポインティング方法。
7. 光源デバイスからのカーソル光信号を検出して、当該カーソル光信号位置に対応するディスプレイの表示領域中の位置をポインティング表示する光ポインティング装置であって、
   映像を撮像するイメージセンサ手段と、
   前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出し、撮影映像中におけるカーソル位置座標を求め、前記ディスプレイの解像度に合うように座標値を変換してカーソル位置を決定する光信号検出手段と、
   前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示する制御手段と、を有し、
   前記光信号検出手段は、前記カーソル位置を連続的に検出して、このカーソル位置の軌跡を保持し、
   新たに決定したカーソル位置に対し、直近２つのカーソル位置を加えた３点を頂点とする三角形の外接円の中心を求め、前記新たに決定したカーソル位置と前記外接円の中心を結ぶ線分が、前記直近２つのカーソル位置を結ぶ線分と交差するかを判断し、交差する場合には、前記新たに決定したカーソル位置を直前のカーソル位置に補正する、ことを特徴とする光信号ポインティング装置。
8. 前記光源デバイスに携帯端末の表示器を用い、前記カーソル光信号として所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用い、
   前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出し、
   前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とし、
   前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出し、
   前記カーソル信号成分の形状に基づいて前記カーソル位置を決定する、ことを特徴とする請求項７に記載の光信号ポインティング装置。
9. 前記光信号検出手段は、最近に決定したカーソル位置を含んだ既定サイズの画素領域を処理対象領域として決定し、
   前記処理対象領域に対してのみカーソル位置決定処理を行うこと、を特徴とする請求項７または８に記載の光信号ポインティング装置。
10. 前記処理によりカーソル位置の検出ができなかったときには、
    前記光信号検出手段は、前記処理対象領域を変更する、ことを特徴とする請求項９に記載の光信号ポインティング装置。
11. 前記光源デバイスがイベント光信号を発光したときには、
    前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定し、
    前記イベント発生位置に対応するイベント内容を決定し、
    前記制御手段が、前記イベント内容を実行する、ことを特徴とする請求項７〜１０いずれか１項に記載の光信号ポインティング装置。
12. 前記光信号検出手段は前記処理対象領域についてのみ、前記光源デバイスのイベント光信号の検出を行うことを特徴とする請求項１１に記載の光信号ポインティング装置。
13. コンピュータに請求項１ないし６のいずれか１項に記載の各手順を実行させるプログラム。