JP7269131B2 - 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム - Google Patents

Description

本発明は、情報処理装置、視線検出システム、視線検出方法および視線検出プログラムに関する。

入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。 このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。

特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報

しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置と組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。

そこで、本発明は、イベント駆動型のビジョンセンサを視線検出技術に適用することによって、処理負荷を抑えつつ、高速かつ高精度な視線検出を行うことができる情報処理装置、視線検出システム、視線検出方法および視線検出プログラムを提供することを目的とする。

本発明のある観点によれば、ユーザーの眼に光を照射する光源の光の強度を変化させる光源制御部と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する受信部と、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源制御部による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する視線検出部とを備える情報処理装置が提供される。

本発明の別の観点によれば、ユーザーの眼に光を照射する光源と、光源の光の強度を変化させる光源制御部と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサと、ビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する受信部、および、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源制御部による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する視線検出部を有する端末装置とを備える視線検出システムが提供される。

本発明のさらに別の観点によれば、ユーザーの眼に光を照射する光源の光の強度を変化させるステップと、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信するステップと、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源の強度の変化と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出するステップとを含む視線検出方法が提供される。

本発明のさらに別の観点によれば、ユーザーの眼に光を照射する光源の光の強度を変化させる機能と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する機能と、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源の強度の変化と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する機能とをコンピュータに実現させる視線検出プログラムが提供される。

上記の構成によれば、イベント駆動型のビジョンセンサを視線検出技術に適用することによって、処理負荷を抑えつつ、高速かつ高精度な視線検出を行うことができる。

本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の一実施形態における動き検出について概略的に説明するための図である。 本発明の一実施形態における視線検出について概略的に説明するための図である。 本発明の一実施形態に係る処理方法の例を示すフローチャートである。 本発明の一実施形態に係る処理方法の例を示すフローチャート（詳細）である。 本発明の一実施形態における光源制御について概略的に説明するための図である。

以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る視線検出システム１０の概略的な構成を示すブロック図である。本発明の一実施形態に係る視線検出システム１０は、例えば全体がユーザーの頭部に装着されるＨＭＤなどの装置に組み込まれてもよいし、後述する情報処理装置２００を含む部分がユーザーの頭部から離れた位置に配置されるものであってもよい。

図示された例において、視線検出システム１０は、ＬＥＤ（Light Emitting Diode）を備える第１光源部１０１および第２光源部１０２と、イベント駆動型のビジョンセンサであるＥＤＳ（Event Driven Sensor）１０３と、情報処理装置２００とを含む。このうち、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３はユーザーの眼の近傍に配置され、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３のそれぞれとユーザーの眼との相対的な位置関係は既知である。

第１光源部１０１および第２光源部１０２は、例えば、赤外光を発光するＬＥＤを備え、ユーザーの眼に赤外光を照射可能な位置に配置される。また、第１光源部１０１および第２光源部１０２は、情報処理装置２００により制御される。詳細は後述する。

ＥＤＳ１０３は、センサが光の強度変化を検出したときにイベント信号を生成するビジョンセンサの例であり、センサアレイを構成する不図示のセンサと、センサに接続される不図示の処理回路とを含む。各センサは、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。本実施形態において、ＥＤＳ１０３はユーザーの眼の反射像が入射される位置に配置され、ユーザーの眼の反射像に輝度変化を検出したときにイベント信号を生成する。輝度変化を検出しなかったセンサはイベント信号を生成しないため、ＥＤＳ１０３においてイベント信号は時間非同期的に生成される。ＥＤＳ１０３で生成されたイベント信号は、情報処理装置２００に出力される。

ＥＤＳ１０３で生成されるイベント信号は、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプなどを含む。

情報処理装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される光源制御部２０１、受信部２０２、動き検出部２０３、視線検出部２０４の機能を含む。また、情報処理装置２００は、第１光源部１０１および第２光源部１０２を制御するための照射パターンを格納する照射パターンメモリ２０５を備える。照射パターンメモリ２０５は、光源制御部２０１および視線検出部２０４により参照される。以下、各部の機能についてさらに説明する。

光源制御部２０１は、動き検出部２０３から後述するトリガを受信すると、照射パターンメモリ２０５に格納された照射パターンに従って、第１光源部１０１および第２光源部１０２に制御信号を送信する。具体的には、光源制御部２０１は、各光源の点灯または消灯の制御や、各光源から照射する光の強度の制御を行う。このとき、光源制御部２０１は、異なる照射パターンに従って、第１光源部１０１および第２光源部１０２を独立に制御する。

受信部２０２は、ＥＤＳ１０３で生成されたイベント信号を受信する。ここで、受信部２０２が受信するイベント信号は、ＥＤＳ１０３がユーザーの眼の反射像に輝度変化を検出したときに生成されたものである。特に、上述した光源制御部２０１によって第１光源部１０１および第２光源部１０２が制御された場合、ユーザーの眼の反射像には光源制御部２０１による制御によって輝度変化が発生し、その輝度変化に起因して生成されたイベント信号が受信部２０２により受信される。例えば光源制御部２０１によって第１光源部１０１が点灯された場合には、第１光源部１０１に対応する位置と、点灯に対応する極性とを示すイベント信号が受信部２０２により受信される。また、例えば光源制御部２０１によって第２光源部１０２が消灯された場合には、第２光源部１０２に対応する位置と、消灯に対応する極性とを示すイベント信号が受信部２０２により受信される。

動き検出部２０３は、受信部２０２が受信したイベント信号に基づき、ユーザーの視線の動きの有無を検出する。図２は、ユーザーの視線が水平方向に移動した場合に生成されるイベント信号を示す模式図である。図２の領域ａ１およびａ２は、輝度変化の極性が第１の方向（＋または－の何れか）であることを示し、領域ａ３およびａ４は、輝度変化の極性が第１の方向とは反対の第２の方向（＋および－のうち、第１の方向の反対）であることを示す。図２に示されるように、ユーザーの視線が水平方向に移動すると、左右それぞれの瞳において、ＥＤＳ１０３から見て同じ側に同じ極性を示すイベント信号が生成される。また、それぞれの瞳においては、瞳に対して目頭側および目尻側に反対の極性を示すイベント信号が生成される。

このように、ユーザーの視線の動きに応じて生成されるイベント信号は、位置および極性に特徴を有する。動き検出部２０３は、このような特徴に対応して予め用意されたパターンを受信部２０２が受信したイベント信号と照合することにより、ユーザーの視線の動きの有無や、おおよその向きを検出する。なお、イベント信号はユーザーが瞬きをした場合にも生成されるが、動き検出部２０３は、上記のパターンを用いてユーザーの視線の動きと、瞬きとを区別することができる。

なお、詳細は後述するが、上述した動き検出部２０３による検出の時点では、第１光源部１０１および第２光源部１０２が消灯されている場合がある。しかし、第１光源部１０１および第２光源部１０２によりユーザーの眼に光が照射されていなくても、ユーザーの視線の動きに応じてＥＤＳ１０３はイベント信号を生成するため、動き検出部２０３は、第１光源部１０１および第２光源部１０２の点灯または消灯にかかわらず、ユーザーの視線の動きの有無を検出することができる。

そして、動き検出部２０３は、上述したようにユーザーの視線の動きを検出すると、第１光源部１０１および第２光源部１０２の制御を開始させるトリガを、光源制御部２０１に送信する。このトリガにより光源制御部２０１が開始する制御は、ユーザーの視線検出をより正確に行うためのものであり、本実施形態では、光源制御部２０１は、第１光源部１０１および第２光源部１０２をそれぞれ照射パターンメモリ２０５に格納された照射パターンに従って点灯または消灯させる。
また、動き検出部２０３は、動き検出の結果を示す情報を視線検出部２０４に供給する。

視線検出部２０４は、受信部２０２が受信したイベント信号に基づいて、ユーザーの視線を検出する。
ここで、第１光源部１０１および第２光源部１０２の反射像について、図３を用いて説明する。図３の上段は第１光源部１０１および第２光源部１０２とユーザーの視線との関係を示し、下段は、それぞれの状態で生成されるイベント信号における反射像の位置を示す。また、図３の左側の図はユーザーの視線が矢印ｇ１方向を向いている場合を示し、中央の図はユーザーの視線が矢印ｇ２方向を向いている場合を示し、右側の図はユーザーの視線が矢印ｇ３方向を向いている場合を示す。図３に示されるように、ユーザーの視線の向きに応じて、光源の反射像ｒ１，ｒ２，ｒ３の位置が変化する。

上述したように、視線検出システム１０において、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３のそれぞれとユーザーの眼との相対的な位置関係は既知であるため、視線検出部２０４は、受信部２０２が受信したイベント信号に基づき、ユーザーの瞳と光源の反射像ｒ１，ｒ２，ｒ３との相対的な位置を特定し、幾何的な演算を行うことにより、ユーザーの視線の方向を検出することができる。なお、イベント信号において第１光源部１０１が照射した光の反射像と第２光源部１０２が照射した光の反射像とを識別する方法については後述する。

図４は、本発明の一実施形態に係るユーザーの視線検出方法の例を示すフローチャートである。図示された例では、情報処理装置２００の受信部２０２がＥＤＳ１０３により生成されたイベント信号を受信し（ステップＳ１０１）、動き検出部２０３がイベント信号に基づいてユーザーの視線の動きの有無を検出する（ステップＳ１０２）。動き検出部２０３はユーザーの視線の動きがあるか否かを判断し（ステップＳ１０３）、ユーザーの視線の動きがある場合に、視線検出部２０４が後述する視線検出処理を行う（ステップＳ１０４）。視線検出処理の開始後にも動き検出部２０３はユーザーの視線の動きの有無を検出し（ステップＳ１０５）、ユーザーの視線の動きがある間は視線検出部２０４が視線検出処理を繰り返す。一方、ユーザーの視線の動きがない場合には、次にイベント信号に基づいてユーザーの視線の動きがあると判断されるまで視線検出処理は行われない（ステップＳ１０１～Ｓ１０３）。

図５は、図４における視線検出処理の詳細を示すフローチャートであり、図６は、図５で説明するフローチャート実行時の光源制御について説明するための図である。図示された例では、情報処理装置２００の光源制御部２０１が制御信号を送信して第１光源部１０１および第２光源部１０２を同時に点灯させる（ステップＳ２０１）。このとき、受信部２０２は、ＥＤＳ１０３により生成されたイベント信号を受信する（ステップＳ２０２）。ステップＳ２０２で受信部２０２が受信したイベント信号は、ステップＳ２０１で第１光源部１０１および第２光源部１０２を点灯されたことによって光の強度変化が発生し、その強度変化に応じて生成されたイベント信号である。

ここで、ＥＤＳ１０３により生成されるイベント信号は、例えば従来のフレーム型ビジョンセンサとは異なり時間非同期的に、かつ高速に生成されるため、第１光源部１０１および第２光源部１０２をほぼ同時に点灯させた場合、ＥＤＳ１０３でもほぼ同時にそれぞれの光源の点灯を示すイベント信号が生成される。したがって、図６では、ステップＳ２０１で光源制御部２０１が第１光源部１０１および第２光源部１０２を点灯させた時刻、およびステップＳ２０２で受信されたイベント信号の時刻（タイムスタンプ）をいずれも時刻ｔ０としている。

次に、動き検出部２０３は、第１光源部１０１および第２光源部１０２が同時に点灯されてから所定の時間が経過し、時刻がｔ１となったか否かを判断する（ステップＳ２０３）。そして、時刻がｔ１となった場合、光源制御部２０１が制御信号を送信して第１光源部１０１を消灯させる（ステップＳ２０４）。このとき、受信部２０２は、ＥＤＳ１０３により生成されたイベント信号を受信する（ステップＳ２０５）。ステップＳ２０５で受信部２０２が受信したイベント信号は、ステップＳ２０４で第１光源部１０１を消灯させたことによって光の強度変化が発生し、その強度変化に応じて生成されたイベント信号である。

ここで、図６では、上記のステップＳ２０１とステップＳ２０２との関係と同様に、ステップＳ２０４で光源制御部２０１が第１光源部１０１を消灯させた時刻、およびステップＳ２０５で受信されたイベント信号の時刻（タイムスタンプ）は、いずれも時刻ｔ１としている。

次に、動き検出部２０３は、第１光源部１０１が消灯されてから所定の時間が経過し、時刻がｔ２となったか否かを判断する（ステップＳ２０６）。そして、時刻がｔ２となった場合、光源制御部２０１が制御信号を送信して第２光源部１０２を消灯させる（ステップＳ２０７）。このとき、受信部２０２は、ＥＤＳ１０３により生成されたイベント信号を受信する（ステップＳ２０８）。ステップＳ２０８で受信部２０２が受信したイベント信号は、ステップＳ２０７で第２光源部１０２を消灯させたことによって光の強度変化が発生し、その強度変化に応じて生成されたイベント信号である。

ここで、図６では、上記のステップＳ２０１およびステップＳ２０２の関係やステップＳ２０４およびステップＳ２０５の関係と同様に、ステップＳ２０７で光源制御部２０１が第２光源部１０２を消灯させた時刻、およびステップＳ２０８で受信されたイベント信号の時刻（タイムスタンプ）は、いずれも時刻ｔ２としている。

最後に、視線検出部２０４は、ステップＳ２０２，Ｓ２０５，Ｓ２０８において受信部２０２が受信したイベント信号に基づいて、ユーザーの視線を検出する（ステップＳ２０９）。
ここで、予め与えられている情報、およびステップＳ２０２，Ｓ２０５，Ｓ２０８において受信部２０２が受信したイベント信号によって、ステップＳ２０９の時点では以下の情報が特定されている。
・第１光源部１０１および第２光源部１０２とユーザーの眼との相対的な位置関係
・第１光源部１０１および第２光源部１０２の時系列での消灯または点灯の状態
・ＥＤＳ１０３とユーザーの眼との相対的な位置関係
・時系列のイベントの発生位置
・輝度変化の極性
・タイムスタンプ

例えば、図６の時刻ｔ０においては、第１光源部１０１および第２光源部１０２が同時に点灯されることにより、第１光源部１０１および第２光源部１０２のそれぞれに対応する位置に、輝度変化の極性が同じイベントが発生する。したがって、時刻ｔ０においては、第１光源部１０１および第２光源部１０２の点灯に起因して発生したイベントを示すイベント信号が生成される。

次に、図６の時刻ｔ１においては、第１光源部１０１のみが消灯されることにより、第１光源部１０１に対応する位置のみに、輝度変化の極性が時刻ｔ０とは反対の方向であるイベントが発生する。なお、時刻ｔ１において第２光源部１０２は点灯されたままであり、輝度変化が発生しないため、第２光源部１０２に対応する位置にはイベントが発生しない。したがって、時刻ｔ１においては、第１光源部１０１の消灯に起因して発生したイベントのみを示すイベント信号が生成される。

そして、図６の時刻ｔ２においては、第２光源部１０２が消灯されることにより、第２光源部１０２に対応する位置のみに、輝度変化の極性が時刻ｔ０とは反対の方向、かつ時刻ｔ１とは同じ方向であるイベントが発生する。なお、時刻ｔ２において第１光源部１０１は消灯されたままであり、輝度変化が発生しないため、第１光源部１０１に対応する位置にはイベントが発生しない。したがって、時刻ｔ２においては、第２光源部１０２の消灯に起因して発生したイベントのみを示すイベント信号が生成される。
このように、光源制御部２０１による制御と同時にＥＤＳ１０３によってイベント信号が生成されるため、生成された各イベント信号が、いずれの光源が照射した光の反射像における輝度変化に基づくものであるかを識別可能である。

したがって、ステップＳ２０９の時点で、視線検出部２０４は、各時刻において、各光源の点灯または消灯に起因して、どの位置にどのような極性を有するイベントが発生したのかを容易に把握することができる。そのため、視線検出部２０４は、第１光源部１０１および第２光源部１０２が消灯または点灯されたタイミングで生成されたイベント信号に基づき、複雑な計算なしにユーザーの視線の検出を行うことができる。ユーザーの視線は、例えば第１光源部１０１および第２光源部１０２のそれぞれの反射光の位置を利用して瞳孔角膜反射法によって検出することができる。視線検出部２０４は、視線の検出を行う際に、図４のステップＳ１０２で行ったユーザーの視線の動きの有無の検出結果を用いてもよい。例えば、ステップＳ１０２の検出結果に基づいて、図５のステップＳ２０９で行う視線検出の範囲などを限定してもよい。

ここで、図５および図６に示されるように、説明した視線検出処理が終了する時点で、第１光源部１０１および第２光源部１０２は消灯された状態である。つまり、ユーザーの視線検出処理が開始されると、第１光源部１０１および第２光源部１０２が点灯され、視線検出処理が終了する時点では、第１光源部１０１および第２光源部１０２が消灯されることになる。したがって、第１光源部１０１および第２光源部１０２が点灯されるのは必要なタイミングに限定されるので、消費電力の低減が期待できる。

なお、図４に示した例では、ユーザーの視線の動きを検出した場合に図５および図６で示した視線検出処理を実行する例を示したが、図５および図６で示した視線検出処理を常時行う構成としてもよい。また、図５および図６に示した例では、第１光源部１０１および第２光源部１０２を同じタイミングで点灯させた後に、異なるタイミングで消灯させる例を示したが、本発明はこの例に限定されない。例えば、それぞれの光源部を異なるタイミングで点灯させてもよい。

以上で説明したような本発明の一実施形態では、ユーザーの眼に光を照射する第１光源部１０１および第２光源部１０２の光の強度を変化させる光源制御部２０１と、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を生成するＥＤＳ１０３とを備える。そして、ユーザーの眼、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３の相対的な位置関係と、光源制御部２０１による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する。したがって、光源制御部２０１による光源の制御の時間情報と、ＥＤＳ１０３によるイベント信号生成の時間情報とを利用し、第１光源部１０１および第２光源部１０２の制御と、ＥＤＳ１０３によるイベント信号の生成との相関を正確に特定することができる。そのため、処理負荷を抑えつつ、高速かつ高精度な視線検出を行うことができる。

なお、視線検出処理については、リアルタイムでの処理が求められる場合も多いが、本発明の一実施形態によれば、光源制御部２０１による光源の制御とほぼ同時に、光源の制御に起因したイベント信号がＥＤＳ１０３によって生成されるため、時間情報の精度が高い。そのため、制御や演算に関する処理負荷を軽くすることが可能であり、リアルタイムかつ高精度な処理を行うことができる。また、ＥＤＳ１０３は、センサが光の強度変化を検出したときにのみ、イベント信号を生成するビジョンセンサであるため、イメージセンサを利用して常時撮像を行う場合に比べて、消費電力を抑えることができる。また、第１光源部１０１および第２光源部１０２の制御と、ＥＤＳ１０３によるイベント信号の生成との相関が正確に特定されるので、屋外等であっても外光の影響を受けにくい。

また、本発明の一実施形態では、動き検出部２０３によりイベント信号からユーザーの視線の動きの有無を検出し、ユーザーの視線の動きを検出すると、光源制御部２０１による光源の制御を開始する。したがって、ユーザーの視線が動いた可能性がある場合に限定して視線検出処理を行うことにより、必要な精度を維持しつつ、不要な光源制御や視線検出処理を避け、消費電力をさらに低減することができる。

また、本発明の一実施形態では、光源制御部２０１は、第１光源部１０１および第２光源部１０２について、光の強度を独立に制御し、視線検出部２０４は、イベント信号において、第１光源部１０１の光の強度変化に起因してイベントが発生した位置を第１光源部１０１の反射光の位置として特定し、第２光源部１０２の光の強度変化に起因してイベントが発生した位置を第２光源部１０２の反射光の位置として特定する。したがって、第１光源部１０１および第２光源部１０２を互いに異なるタイミングで点灯または消灯させることにより、光源制御部２０１による光源の制御と同時にＥＤＳ１０３により生成されるイベント信号を得る際に、そのイベント信号に対応する光源を容易に特定することができる。

なお、上記の例で説明された視線検出システム１０は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、ＨＭＤなどを含む端末装置に視線検出システム１０全体を実装してもよいし、情報処理装置２００をサーバー装置に分離して実装してもよい。また、マーケティングなどを目的としたデータ分析などの用途を想定し、光源の照射パターンとイベント信号とを時系列上で対応付けられたデータとして保存した上で、事後的に視線検出処理を行う構成としてもよい。この場合、視線検出処理は、光源制御部、受信部、および動き検出部別の装置で行う構成としてもよい。

また、上記の例で説明された視線検出システム１０では、２つの光源（第１光源部１０１および第２光源部１０２）を含む例を示したが、各光源とユーザーの眼との相対的な位置関係が特定されていれば、１つの光源であってもよいし、３つ以上の光源を含んでもよい。特に、３つ以上の光源を含む構成では、一部またはすべての光源を互いに異なるタイミングで点灯または消灯させることにより、三次元情報などのさらに詳細な情報を取得することが期待できる。
また、上記の例で説明された視線検出システム１０では、視線検出処理において、２つの光源（第１光源部１０１および第２光源部１０２）を点灯または消灯させる例を示したが、光源を完全には消灯せず、各光源から照射する光の強度を変更する構成としてもよい。

また、上記の例で説明された視線検出システム１０では、１つのビジョンセンサ（ＥＤＳ１０３）を含む例を示したが、各ビジョンセンサとユーザーの眼との相対的な位置関係が特定されていれば、複数のビジョンセンサを含んでもよい。特に、複数のビジョンセンサを含む構成では、各センサの配置や光源の制御などを工夫することにより、三次元情報などのさらに詳細な情報を取得することが期待できる。

以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０…視線検出システム、１０１…第１光源部、１０２…第２光源部、１０３…ＥＤＳ、２００…情報処理装置、２０１…光源制御部、２０２…受信部、２０３…動き検出部、２０４…視線検出部、２０５…照射パターンメモリ

Claims (5)

1. ユーザーの眼に光を照射する光源の光の強度を変化させる光源制御部と、
   入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信する受信部と、
   前記イベント信号から前記ユーザーの視線の動きの有無を検出する動き検出部と、
   前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源制御部による制御と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出する視線検出部とを備え、
   前記動き検出部が前記ユーザーの視線の動きがあると検出すると、
   前記光源制御部は、前記光源の制御を開始し、
   前記視線検出部は、前記ユーザーの視線の検出を開始する、情報処理装置。
2. 前記光源制御部は、少なくとも第１の光源および第２の光源を含む複数の前記光源について、前記光の強度を独立に制御し、
   前記視線検出部は、前記イベント信号において、前記第１の光源の前記光の強度変化に起因してイベントが発生した位置を前記第１の光源の反射光の位置として特定し、前記第２の光源の前記光の強度変化に起因してイベントが発生した位置を前記第２の光源の反射光の位置として特定する、請求項１に記載の情報処理装置。
3. ユーザーの眼に光を照射する光源と、
   前記光源の光の強度を変化させる光源制御部と、
   入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサと、
   前記ビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信する受信部と、
   前記イベント信号から前記ユーザーの視線の動きの有無を検出する動き検出部と、
   前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源制御部による制御と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出する視線検出部と
   を有する端末装置とを備え、
   前記動き検出部が前記ユーザーの視線の動きがあると検出すると、
   前記光源制御部は、前記光源の制御を開始し、
   前記視線検出部は、前記ユーザーの視線の検出を開始する、視線検出システム。
4. ユーザーの眼に光を照射する光源の光の強度を変化させるステップと、
   入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信するステップと、
   前記イベント信号から前記ユーザーの視線の動きの有無を検出するステップと、
   前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源の光の強度の変化と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出するステップとを含み、
   前記動きの有無を検出するステップにより前記ユーザーの視線の動きがあると検出すると、
   前記光の強度を変化させるステップによる前記光源の制御を開始し、
   前記視線を検出するステップによる前記ユーザーの視線の検出を開始する、視線検出方法。
5. ユーザーの眼に光を照射する光源の光の強度を変化させる機能と、
   入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信する機能と、
   前記イベント信号から前記ユーザーの視線の動きの有無を検出する機能と、
   前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源の光の強度の変化と同時に生成される前記イベント信号とに基づいて、前記イベント
   信号に対応する前記光源を特定し、前記ユーザーの視線を検出する機能とをコンピュータに実現させる視線検出プログラムであって、
   前記動きの有無を検出する機能により前記ユーザーの視線の動きがあると検出すると、
   前記変化させる機能による前記光源の制御を開始し、
   前記視線を検出する機能による前記ユーザーの視線の検出を開始する、視線検出プログラム。

Images