JP2002007053A

JP2002007053A - 視線検出機能付き装置

Info

Publication number: JP2002007053A
Application number: JP2000187226A
Authority: JP
Inventors: Hideki Dobashi; 英記土橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-06-22
Filing date: 2000-06-22
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】使用者が意識して行った瞬きと通常の瞬きと
の区別を容易にし、比較的短い時間の瞬き状態を検出す
ることで確定信号を出力することを可能にする。【解決手段】左右両目について眼球画像を取り込むた
めの撮像手段より得られる眼球画像を画像処理すること
によって眼球回転量を算出し、算出された眼球回転量か
ら注視位置を算出する視線検出手段（＃２，＃３）と、
瞬きの状態を判定する瞬き判定手段と、該判定手段によ
り、左右どちらか一方の目の状態が瞬き状態であり、他
方の目は瞬き状態でないと判定された場合、前記視線検
出手段によって算出された注視位置を入力指示位置とし
て、入力動作を実行するための確定信号を出力する確定
信号出力手段（＃６，＃７）とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線検出手段を有
する視線検出機能付き装置の改良に関するものである。

【０００２】

【従来の技術】従来、視線検出装置を用いて入力動作を
行う際、選択は視線を使って行い、確定はトリガースイ
ッチを使ったものが一般的であった。

【０００３】また、確定に視線を使って行う機器を提案
されている。ここで、この種の機器の各種の動作を制御
する不図示のＣＰＵによって行われる一連の動作につい
て、図１３のフローチャートにより説明する。

【０００４】ステップ＃５０１より動作を開始し、まず
ステップ＃５０２において、図７に示される視線検出サ
ブルーチン（詳細は後述する）を行うことにより、例え
ば右目の眼球の状態の検出（瞬きしているかどうかや、
視線検出が可能かどうか等）を判定し、検出可能な場合
は眼球の回転角を算出してその値を出力する。もし正常
に視線検出できていなければＮＧ信号に“１”のフラグ
を立てて視線検出ができていなかったことを記録してお
く。視線検出結果がＮＧでなければステップ＃５０３へ
進み、パーソナルコンピュータ（ＰＣ）画面上での視線
位置を算出し、その結果を次のステップ＃５０４におい
て、ディスプレイ上に表示させる。次のステップ＃５０
５においては、ＮＧ信号に“１”のフラグが立っている
かの判定を行い、“１”が立っていればステップ＃５０
２へ戻り、視線検出サブルーチンを繰り返す。

【０００５】また、ＮＧ信号に“１”のフラグが立って
いなければステップ＃５０５からステップ＃５０６へ進
み、ここでは視線検出の際に瞬きしているかの判定を行
い、瞬きしていれば瞬きフラグに“１”が立っているの
で、次のステップ＃５０７において、その回数を示すカ
ウントを１つ更新し（ｎＲ＝ｎＲ＋１）、ステップ＃５
０８へ進む。このカウント値ｎＲは、どれくらいの時
間、瞬き状態であるかの情報を示すことにもなる。一
方、瞬きをしていなければステップ５１２において「ｎ
Ｒ＝０」としてステップ＃５０８へ進む。

【０００６】ステップ＃５０８においては、視線検出を
行っている右目につき、瞬きが所定値を超えており、か
つ、左目については所定回数未満であることを判定する
とステップ＃５０９へ進み、入力確定の為の意図した瞬
きが行われたとして確定信号を出力する。そして、次の
ステップ＃８において、視線検出が終了したかの判定を
行い、終了でなければステップ＃５０２へ戻るが、終了
であると判定した場合は次のステップ＃５１１にて動作
を終了する。

【０００７】これ以外にも、一定時間の同じ所を注視す
ることによって確定信号を出力するといった方法を用い
ているものもあった。

【０００８】

【発明が解決しようとする課題】しかし、上記の前者の
従来例のトリガースイッチを設けた機械式の場合、視線
検出装置以外に必要な機器が存在するため、入力装置と
しては複雑なものとなってしまうし、両手がふさがって
いてトリガースイッチを用いて入力確定できない場合な
どもある。

【０００９】また、瞬きを検出して入力確定信号を出力
するような後者の従来例においても、片方の目（上記の
例では右目）にのみ着目している為、通常の瞬きと区別
するには長時間片目を閉じるという動作をしなければな
らず、入力に時間がかかり、大変である。

【００１０】さらに、所定時間注視する場合において
は、注視時間をかなり長くしなければ誤入力が多くなる
ため、入力確定信号を出力するまでに非常に長い時間が
かかり、上記の瞬きによる入力よりさらに時間を必要と
するため、使い勝手が悪く、目の疲労も大きい。更に、
注視では単一の確定しかできないため、入力機器として
は用途が限られてしまうという短所もある。

【００１１】（発明の目的）本発明の第１の目的は、使
用者が意識して行った瞬きと通常の瞬きとの区別を容易
にし、比較的短い時間の瞬き状態を検出することで確定
信号を出力することのできる視線検出機能付き装置を提
供しようとするものである。

【００１２】本発明の第２の目的は、使用者にとって瞬
きのし易い方の目により視線入力を可能にし、使い勝手
を向上させることのできる視線検出機能付き装置を提供
しようとするものである。

【００１３】本発明の第３の目的は、複数種類の確定信
号の出力を可能にし、高速処理を可能にするとともに、
適用できる機器への用途を広げることのできる視線検出
機能付き装置を提供しようとするものである。

【００１４】

【課題を解決するための手段】上記第１の目的を達成す
るために、請求項１に記載の発明は、左右両目について
眼球画像を取り込むための撮像手段より得られる眼球画
像を画像処理することによって眼球回転量を算出し、算
出された眼球回転量から注視位置を算出する視線検出手
段を有する視線検出機能付き装置において、瞬きの状態
を判定する瞬き判定手段と、該判定手段により、左右ど
ちらか一方の目の状態が瞬き状態であり、他方の目は瞬
き状態でないと判定された場合、前記視線検出手段によ
って算出された注視位置を入力指示位置として、入力動
作を実行するための確定信号を出力する確定信号出力手
段とを有する視線検出機能付き装置とするものである。

【００１５】また、上記第２の目的を達成するために、
請求項２に記載の発明は、左右両目について眼球画像を
取り込むための撮像手段より得られる眼球画像を画像処
理することによって眼球回転量を算出し、算出された眼
球回転量から注視位置を算出する視線検出手段を有する
視線検出機能付き装置において、瞬きの状態を判定する
瞬き判定手段と、該判定手段による瞬き状態の判定に供
する左右どちらか一方の目をあらかじめ選択する選択手
段と、該選択手段により選択された方の目の状態が瞬き
状態であり、他方の目は瞬き状態でないことが前記判定
手段により判定された場合、前記視線検出手段によって
算出された注視位置を入力指示位置として、入力動作を
実行するための確定信号を出力する確定信号出力手段と
を有する視線検出機能付き装置とするものである。

【００１６】また、上記第３の目的を達成するために、
請求項３に記載の発明は、左右両目について眼球画像を
取り込むための撮像手段より得られる眼球画像を画像処
理することによって眼球回転量を算出し、算出された眼
球回転量から注視位置を算出する視線検出手段を有する
視線検出機能付き装置において、瞬きの状態を判定する
瞬き判定手段と、該判定手段により、一方の目が瞬き状
態でかつ他方の目が瞬き状態でないと判定された場合、
前記視線検出手段によって算出された注視位置を入力指
示位置として、入力動作を実行するための第１の確定信
号を出力し、他方の目が瞬き状態でかつ一方の目が瞬き
状態でないと判定された場合、前記視線検出手段によっ
て算出された注視位置を入力指示位置として、入力動作
を実行するための第２の確定信号を出力する確定信号出
力手段とを有する視線検出機能付き装置とするものであ
る。

【００１７】同じく上記第３の目的を達成するために、
請求項４に記載の発明は、確定信号出力手段を、一方の
目が瞬き状態であるとして第１の確定信号を出力した
後、続けてさらに前記一方の目が所定時間瞬き状態であ
ることが判定された場合、第３の確定信号を出力し、他
方の目が瞬き状態であるとして第１の確定信号を出力し
た後、続けてさらに前記他方の目が所定時間瞬き状態で
あることが判定された場合、第４の確定信号を出力する
請求項３に記載の視線検出機能付き装置とするものであ
る。

【００１８】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１９】（実施の第１の形態）図１は本発明の実施
の第１の形態に係る視線検出用眼鏡とパーソナルコンピ
ュータ（以下、パソコンと記す）の接続例を示す図であ
り、図２および図３は視線検出用眼鏡の視線検出部を示
す断面図および視線検出部の眼球側から見た図である。

【００２０】これらの図において、１は視線検出用眼
鏡、２はパソコン、３は被験者に対向して配置されるデ
ィスプレイ（フローでは、ＰＣ画面と記す）、４は視線
検出用眼鏡１からのデータを変換するための変換ボック
ス、５は眼球、６（６ａ，６ｂ）は眼球画像を後述の撮
像素子に導くための赤外線反射膜を蒸着したダイクロイ
ックミラー、７（７ａ，７ｂ）は眼球を照射し角膜上に
プルキンエ像を形成するための一つ以上の発光部を備え
た投光手段であるところのＩＲＥＤ、８はダイクロイッ
クミラー６によって反射させられた眼球画像を取り込む
ための撮像素子、９は前記撮像素子８に像を結像させる
ための結像レンズである。

【００２１】まず、視線検出の原理について、図２，図
３及び図８を用いて説明する。

【００２２】ＩＲＥＤ７（７ａ，７ｂ）より眼球５に赤
外光が照射されると、角膜１０上にＩＲＥＤ７の虚像、
すなわち図８に示すようにプルキンエ像１１が形成され
る。この実施の形態においては精度向上のため、ＩＲＥ
Ｄ７に２灯用いている為にプルンエ像１１は２個生じる
ことになる。眼球５の回転に伴い、瞳孔中心とプルキン
エ像１１の相対位置が変化するため、この値を算出する
ことによって眼球５の回転状態を検出している。

【００２３】ＩＲＥＤ７によって照明された眼球の像が
眼球光軸に対して４５°に配置されたダイクロイックミ
ラー６によって上部に反射される。これを結像レンズ９
によって撮像素子８上に結像させることによって眼球５
の画像を取り込む。取り込まれた眼球画像は図８に示す
ようになり、この眼球画像から略円形を成す瞳孔１２の
エッジ部をポイント抽出する。そのポイントから円近似
を行い、中心点を算出する。この円の中心点とプルキン
エ像１１の相対変位量から眼球回転量を算出し視線方向
とする。

【００２４】図４は、ディスプレイ３上に視線表示し、
入力確定を行うためのパソコンでの動作を示すフローチ
ャートであり、以下これに従って動作について説明す
る。

【００２５】図４において、ステップ＃１より動作を開
始し、まずステップ＃２において、視線検出用眼鏡１を
用いて右目の視線検出を行う。このサブルーチンに関し
ては後述する。次のステップ＃３においては、視線検出
用眼鏡１を用いて左目の視線検出を行う。このサブルー
チンに関しても後述する。このステップ＃２およびステ
ップ＃３において得られた左右の眼球回転角を視線検出
眼鏡１から取り出し、変換ボックス４を通じてパソコン
２へ読み込む。

【００２６】そして、ステップ＃４において、ディスプ
レイ３と被験者の位置関係からディスプレイ３上のどの
位置に視線方向があるかをパソコン２によって計算す
る。この実施の形態においては、視線検出眼鏡１から出
力されるデータは眼球の回転角であるため、被験者とデ
ィスプレイ３との距離が異なるとディスプレイ３上で示
される位置も異なるので、ディスプレイ３との距離をあ
らかじめ固定するか、ディスプレイ３と被験者の距離を
測定することによって補正をかけなければならない。

【００２７】次にステップ＃５において、上記計算によ
り得た左右の視線位置をディスプレイ３上に表示する。
この時、表示する位置は左右別々に表示させても良い
し、両者から注視点を推定して一つで表示しても良い。
もしくは、注視位置の表示の形態を変える（注視図形の
色を変えたり、周りに枠を付けたりといったように注視
している図形がどこか分かるような表示形態をする）な
どしてもよい。

【００２８】そして、次のステップ＃６において、後述
する瞬き状態を示すカウンタで、左右目の状態を判定
し、例えば、右目が１０回瞬き状態であり、かつ、同時
期に検出した左目が０回瞬き状態であった場合、条件を
満たしたとしてステップ＃７へ進み、確定信号を出力す
る。それ以外の場合は直ちにステップ＃８へと進む。

【００２９】ステップ＃８においては、視線動作を終了
するか否かを判定し、継続する場合はステップ＃２へ戻
るが、終了する場合はステップ＃９へ進み、ここで動作
を終了する。

【００３０】次に、図４のステップ＃２にて実行され
る、右目の視線検出サブルーチンについて、図５のフロ
ーチャートにより説明する。

【００３１】ステップ＃１０１より動作を開始し、まず
ステップ＃１０２において、視線検出を行う。このサブ
ルーチンについては後述する。次のステップ＃１０３に
おいては、上記ステップ＃１０２で検出された視線の状
態を示すＮＧ信号についてチェックし、“０”が立って
いた場合（視線検出が可能であった場合）はステップ＃
１０４へ進み、そうでなければステップ＃１０７へと進
んでこのサブルーチンをリターンする。

【００３２】ステップ＃１０４へ進むと、ここでは上記
ステップ＃１０２で検出された視線の状態を示す瞬きフ
ラグについてチェックし、“１”が立っていた場合（瞬
きしていた場合）はステップ＃１０５へ進み、瞬きの状
態を示すカウンタを１つ更新して右目が瞬きしていると
いうことを記録する。また、“１”が立っていなければ
ステップ＃１０６へ進み、現在瞬きしていないと判定し
て瞬きの状態を示すカウンタを０に戻す。そして、次の
ステップ＃１０７において、このサブルーチンをリター
ンする。

【００３３】次に、図４のステップ＃３にて実行され
る、左目の視線検出サブルーチンについて、図６のフロ
ーチャートにより説明する。なお、図５と同じ動作を行
う部分は同一のステップ番号を付してある。

【００３４】ステップ＃２０１より動作を開始し、まず
ステップ＃１０２において、視線検出を行う。このサブ
ルーチンについては後述する。次のステップ＃１０３に
おいては、上記ステップ＃１０２で検出された視線の状
態を示すＮＧ信号についてチェックし、“０”が立って
いた場合（視線検出が可能であった場合）はステップ＃
２０４へ進み、そうでなければステップ＃２０７へと進
んでこのサブルーチンをリターンする。

【００３５】ステップ＃２０４へ進むと、ここでは上記
ステップ＃１０２で検出された視線の状態を示す瞬きフ
ラグについてチェックし、“１”が立っていた場合（瞬
きしていた場合）はステップ＃２０５へ進み、瞬きの状
態を示すカウンタを１つ更新して左目が瞬きしていると
いうことを記録する。また、“１”が立っていなければ
ステップ＃２０６へ進み、現在瞬きしていないと判定し
て瞬きの状態を示すカウンタを０に戻す。そして、次の
ステップ＃２０７において、このサブルーチンをリター
ンする。

【００３６】次に、図５及び図６や、図１３にて実行さ
れる視線検出サブルーチンについて、図７のフローチャ
ートを用いて説明する。

【００３７】ステップ＃３０１より動作を開始し、まず
ステップ＃３０２において、ＩＲＥＤ７（７ａ，７ｂ）
を点灯させ、眼球５を照明すると同時に、撮像素子８の
クリア信号を“Ｌ”にして電荷の蓄積を始める。そし
て、次のステップ＃３０３において、撮像素子８の蓄積
状態を検知し、蓄積が終了したかどうかを調べる。蓄積
開始と同時に蓄積状態信号を“Ｌ”にし、ＡＧＣ信号を
モニターすることによって所定のレベルに達すると、蓄
積状態信号を“Ｈ”にし、同時に電荷転送信号を所定時
間“Ｈ”にして、蓄積された電荷をＣＣＤ部に転送させ
るようになっている。

【００３８】このステップ＃３０３において、蓄積状態
信号が“Ｈ”ならば、蓄積が終了したということでステ
ップ＃３０４に移行し、“Ｌ”ならば蓄積未終了という
ことで、もう一度ステップ＃３０３を実行する。

【００３９】ステップ＃３０４へ進むと、撮像素子８の
像信号の増幅したＡ／Ｄ変換および、そのデジタル信号
のＲＡＭ格納を行う。そして、次のステップ＃３０５に
おいて、撮像された画像において中心近辺の領域の輝度
を抽出する。瞬きしていない場合は中心付近には瞳孔１
２と強膜１０があるため、高輝度部分と低輝度部分が存
在する。しかし瞬きをすると、まぶたによって瞳孔１２
が隠されてしまい、中心近辺の輝度が全体的に高くな
る。このような変化から瞬き状態の判定を行うものであ
る。

【００４０】次のステップ＃３０６においては、上記ス
テップ＃３０５にて検出した輝度が全体的にある一定輝
度以上であった場合には瞬きしていると判定してステッ
プ＃３１４へ進み、瞬きフラグに“１”を挿入して瞬き
してるということを示す。また、一定輝度以下の部分が
存在する場合はステップ＃３０７へ進み、瞬き状態を判
定する瞬きフラグに“０”を挿入して瞬きしていないと
いうことを示す。そして、次のステップ＃３０８におい
て、上記ステップ＃３０４にて得られた眼球の情報に基
づき、瞳孔１２のエッジを検出する。これは虹彩部１０
の出力平均の半値に近い出力を生ずる画素を抽出するこ
とによって行われる。

【００４１】次のステップ＃３０９においては、上記ス
テップ＃３０８の処理中に得られた、像のコントラスト
値、予測瞳孔径と検出瞳孔径との差等によって、瞳孔径
検出結果の信頼性を判定する。なお、予測瞳孔径とは、
外界の明るさに応じて収縮、拡大する瞳孔径の標準的な
値である。すなわち、眼球５の跳躍運動中に蓄積が行わ
れて、瞳の像が不鮮明であった場合や、まつ毛による像
出力の低下を瞳孔１２と取り違えた場合等を排除する。
信頼性充分と判定したときはステップ＃３１０へ移行
し、信頼性が不十分と判断されたときはステップ＃３１
５へ移行する。

【００４２】ステップ＃３１０へ進むと、プルキンエ像
１１の抽出を行う。これは角膜９上に現われた輝度ピー
クを検出することによって行われる。そして、次のステ
ップ＃３１１において、上記ステップ＃３１０にて抽出
したプルキンエ像１１から必要な物の選択を行う。抽出
されたプルキンエ像１１のそれぞれの距離を算出し、そ
の距離がある一定の領域内に存在しているか等を判定す
ることによって、必要な１対のプルキンエ像１１を特定
する。図９に示すように、プルキンエ像１１と認識でき
たものが１個しかない場合や、一つも認識できない場合
など、１対のプルキンエ像１１が認識でない場合は信頼
性に乏しい（不十分）としてステップ＃３１５へ進み、
１対の場合は信頼性は十分であるとしてステップ＃３１
２へ移行する。また、検出したプルキンエ像のコントラ
ストを所定値と比較することによって、メガネ等による
ゴースト光がプルキンエ像１１と重なった場合あるい
は、まばたきによってプルキンエ像１１が半分欠けた場
合などもステップ＃３１５へ進む。

【００４３】ステップ＃３１２へ進むと、検出された瞳
孔中心とプルキンエ像位置から眼球の回転角を演算し、
ステップ＃３１３においてサブルーチンをリターンす
る。

【００４４】ステップ＃３０９およびステップ＃３１１
においてプルキンエ像および瞳孔エッジの抽出が信頼性
不十分と判定された場合、前述したようにステップ＃３
１５へ進み、ここでは視線検出不能を表すフラグ“１”
をＮＧフラグにセットし、ステップ＃３１２においてサ
ブルーチンをリターンするようになっている。

【００４５】ここで、視線検出装置（視線検出用眼鏡１
とパソコン３の一部により構成される）として眼球を照
明する為の投光手段を用いたものを実施の形態として挙
げたが、当然投光手段を用いず、眼球を撮像し瞳孔ある
いは虹彩の中心のみを検出して視線方向を算出するもの
なども視線検出装置として含まれる。これは以後の実施
の形態についても同様である。

【００４６】以上説明した実施の第１の形態によれば、
左右どちらか一方の目の状態が瞬き状態であると判定
し、もう一方の目が瞬き状態でないと判定した場合、視
線検出装置によって算出した注視位置を入力指示位置と
して、入力動作を実行するための確定信号を出力するよ
うにしたため、意識をもった瞬き（ウインク）と通常の
瞬きとの区別が用意にできるるようになり、比較的短い
時間の瞬きで確定できるようになった。これは意識をも
った瞬き（ウインク）が片方の目を閉じている状態であ
り、通常の瞬きは両方の目を閉じているということから
判定することができるためである。

【００４７】（実施の第２の形態）図１０は本発明の実
施の第２の形態に係る主要部分の動作を示すフローチャ
ートである。これは上記図４に対応するものであり、同
様の動作を行う部分については同一の符号を付し、その
説明は省略する。

【００４８】ステップ＃１より動作を開始し、まずステ
ップ＃１１において、確定信号を出力する為に瞬きを行
う目が、右目を使うか左目を使うかの何れが使用者によ
って選択されているかを確認し、記憶する。続くステッ
プ＃２〜＃５は、上記実施の第１の形態と同様にして左
右両目の視線検出を行い、ディスプレイ３上に結果を表
示する。

【００４９】次のステップ＃１２においては、上記ステ
ップ＃１１にて確認した目が右目か左目かを判定し、右
目が選ばれていた場合はステップ＃６へ、左目が選ばれ
ていた場合はステップ＃１３へ、それぞれ進む。

【００５０】右目が選ばれていた場合は、上記実施の第
１の形態と同様に、右目が瞬き状態であり、左目が瞬き
状態ではないという状態を検出すれば確定信号を出力し
＃６→＃７）、それ以外の場合は直ちにステップ＃８へ
進んで視線検出を続けるかどうかの判定を行う。

【００５１】また、ステップ＃１２にて左目が選ばれて
いた場合は上記の様にステップ＃１３へ進み、前述の実
施の第１の形態とは反対に、瞬き状態を示すカウンタで
左右目の状態を判定し、例えば左目が１０回瞬き状態で
あり、かつ、同時期に検出した右目が０回瞬き状態であ
った場合、条件を満たしたとしてステップ＃７’へ進ん
で確定信号を出力し、それ以外の場合は直ちにステップ
＃８へと進んで視線検出を続けるかどうかを判定する。

【００５２】以上説明した実施の第２の形態によれば、
左右の目のうち、どちらの目を確定信号を出力するため
に瞬きを行う目とするかを使用者があらかじめ選択でき
るようにしているので、使用者の好みにより瞬き（ウイ
ンク）のし易い目を用いることができ、使い勝手を向上
させることができる。

【００５３】（実施の第３の形態）図１１は本発明の実
施の第３の形態に係る主要部分の動作を示すフローチャ
ートである。これは上記図４に対応するものであり、同
様の動作を行う部分については同一の符号を付し、その
説明は省略する。

【００５４】ステップ＃１〜＃５までは、上記実施の第
１の形態と同様に、左右目の視線検出を行い、ディスプ
レイ３上に表示する。次にステップ＃６へ進み、ここで
左目は開いているが、右目が瞬き状態であると判定する
とステップ＃７１へ進み、第１確定信号を出力する。そ
して、ステップ＃１３へ進む。また、両眼とも開いてい
た（瞬き状態ではなかった）、あるいは、両眼とも閉じ
ていた（瞬き状態であった）場合は、直ちにステップ＃
１３へ進む。

【００５５】ステップ＃１３においては、上記ステップ
＃６とは反対に、右目の開いているが、左目が瞬き状態
であると判定するとステップ＃７２へ進み、第２確定信
号を出力し、ステップ＃８へと進む。また、両眼とも瞬
き状態ではなかった、あるいは、両眼とも瞬き状態であ
った場合は直ちにステップ＃８へと進む。以下は同様の
動作を行う。

【００５６】ここで、上記の第１確定信号と第２確定信
号について具体的に説明を加える。

【００５７】パソコンを例に取ると、マウスを使って動
作を確定するものとして、“クリック”と“ダブルクリ
ック”がある。“クリック”とは、マウスのボタンを１
回押すことで、通常は“ある機能を選択する”というも
のとして使われることが多い。また、“ダブルクリッ
ク”はマウスのボタンを２回押すことで、通常“ある機
能を実行する”というものとして使われることが多い。
このようにボタンであれば続けて２回押すことなどは簡
単であるが、瞬きを２回続けてするということはなかな
か検出しにくい。

【００５８】そこで、この実施の第３の形態のように、
第１確定信号として“クリック”を、第２確定信号とし
て“ダブルクリック”を、それぞれ機能として与えるこ
とにより、マウスで行う操作と同じ操作ができるように
なる。

【００５９】（実施の第４の形態）図１２は本発明の実
施の第４の形態に係る主要部分の動作を示すフローチャ
ートである。これは上記図４や図１１に対応するもので
あり、同様の動作を行う部分については同一の符号を付
し、その説明は省略する。

【００６０】ステップ＃１〜ステップ＃５までは、上記
実施の第１の形態と同様に、左右目の視線検出を行い、
ディスプレイ３上に表示する。次のステップ＃１４にお
いては、第１確定信号が出力されたかどうかを確認す
る。これは第１確定信号が出力されてからも同じ状態か
どうかを判定するためである。出力されていなければス
テップ＃６へ進み、出力されていればステップ＃１６へ
進む。

【００６１】ステップ＃１４からステップ＃６へ進み、
ここで左目の視線検出はできているが、右目が第１の所
定時間検出できていなかった、つまり瞬き状態であると
判定するとステップ＃７１へ進み、第１の確定信号を出
力してステップ＃１５へ進む。また、両眼とも視線検出
できていた、あるいは、両眼ともできていなかった場合
は直ちにステップ＃１５へ進む。そして、ステップ＃１
５において、第２確定信号が出力されたかどうかを確認
する。これは第２確定信号が出力されてからも同じ状態
がどうかを判定するためである。出力されていなければ
ステップ＃１３へ進み、出力されていればステップ＃１
７へ進む。

【００６２】ステップ＃１３へ進むと、ここで上記ステ
ップ＃６とは反対に、右目の視線検出はできているが、
左目が第１の所定時間検出できていなかった、つまり瞬
き状態であると判定するとステップ＃７２へ進み、第２
の確定信号を出力してステップ＃８へと進む。また、両
眼とも視線検出できていた、あるいは、両眼ともできて
いなかった場合は直ちにステップ＃８へと進む。

【００６３】また、ステップ＃１４からステップ＃１６
へ進み、ここで続けて左目の視線検出はできているが、
右目がさらに第２の所定時間検出できていなかった、つ
まり瞬き状態であると判定するとステップ＃７３へ進
み、第３の確定信号を出力する。また、両眼とも視線検
出できていた、あるいは、両眼ともできていなかった場
合は直ちにステップ＃１５へ進む。

【００６４】また、ステップ＃１５からステップ＃１７
へ進み、ここで続けて右目の視線検出はできているが、
左目がさらに第２の所定時間検出できていなかった、つ
まり瞬き状態であると判定するとステップ＃７４へ進
み、第４の確定信号を出力する。また、両眼とも視線検
出できていた、あるいは、両眼ともできていなかった場
合は直ちにステップ＃８へ進む。

【００６５】ここで、上記の第１〜第４の確定信号につ
いて具体的に説明を加える。

【００６６】上記第１および第２の確定信号は、前述の
実施の第３の形態で説明した通り、マウスの確定動作で
ある“クリック”と“ダブルクリック”に相当するもの
とする。そして、マウスを使って動作を確定する他のも
のとして、“トリプルクリック”と“ドラッグ”という
ものがある。“トリプルクリック”とは、マウスのボタ
ンを３回押すことで、通常は“ある特殊機能を実行す
る”というものとして使われることが多い。“クリッ
ク”“ダブルクリック”“トリプルクリック”が使われ
る一例として、ワープロソフトでは“クリック”でカー
ソル位置を選択し、“ダブルクリック”で単語選択機能
を実行し、“トリプルクリック”で文節選択機能を実行
するという使われ方がしている。

【００６７】また“ドラッグ”とは、マウスのボタンを
押しながら移動させるということで、ある物体にカーソ
ルを合わせてマウスのボタンを押し続けながらカーソル
を移動すると物体も移動するという使われ方をする。

【００６８】この実施の第４の形態においては、第３の
確定信号として“ドラッグ”を、第４の確定信号として
“トリプルクリック”を、それぞれ機能として与えるこ
とにより、上記実施の第３の形態よりさらにマウスの操
作に近い操作ができるようになる。

【００６９】また、マウスには確定用のボタンが２個つ
いたものもあり、このようなものに対応する事を考える
と、第１の確定信号で“右クリック”、第３の確定信号
で“右ダブルクリック”、第２の確定信号で“左クリッ
ク”、第４の確定信号で“左ダブルクリック”と言うよ
うに各機能に割り当てるということも考えられる。

【００７０】最後に、上記実施の各形態における効果に
ついて、以下にまとめて列挙する。

【００７１】１）左右どちらか一方の目の状態が瞬き状
態であると判定し、もう一方の目が瞬き状態でないと判
定した場合、視線検出装置によって算出された注視位置
を入力指示位置として入力動作を実行する為の確定信号
を出力するようにしたため、意識をもった瞬き（ウイン
ク）と通常の瞬きとの区別が用意にできるるようにな
り、比較的短い時間のウインクで確定できるようになる
ので、使い勝手が向上する。

【００７２】２）左右目のうち、どちらかが瞬き状態で
あった場合に確定信号を出力するようにするか、あらか
じめ設定できるようにすることで、使用者の好みにより
ウインクのし易い目を用いることができるようになっ
た。

【００７３】３）左目が瞬き状態で、かつ、右目が瞬き
状態でない場合は第１の確定信号を出力し、右目が瞬き
状態で、かつ、左目が瞬き状態でない場合は第２の確定
信号を出力するようにすることで、２種類の確定状態を
出力でき、パソコンのマウスボタンでいう“クリック”
と“ダブルクリック”といった、２種類の確定方法がで
きるため、高度な処理を行うことができる。更に、パソ
コン以外への機器へも適用可能となる。

【００７４】４）上記３）に加え、左目の視線検出が第
１の所定時間検出不能で、第１の確定信号が出力した
後、続けて第２の所定時間検出不能であった場合、第３
の確定信号を出力し、右目の視線検出が第１の所定時間
検出不能で、第１の確定信号が出力した後、続けて第２
の所定時間検出不能であった場合、第４の確定信号を出
力するようにすることで、４種類の確定状態を出力で
き、上記３）よりもさらに高度な処理ができるようにな
った。よって、更に用途を広げることが可能となる。

【００７５】

【発明の効果】以上説明したように、請求項１に記載の
発明によれば、使用者が意識して行った瞬きと通常の瞬
きとの区別を容易にし、比較的短い時間の瞬き状態を検
出することで確定信号を出力することができる視線検出
機能付き装置を提供できるものである。

【００７６】また、請求項２に記載の発明によれば、使
用者にとって瞬きのし易い方の目により視線入力を可能
にし、使い勝手を向上させることができる視線検出機能
付き装置を提供できるものである。

【００７７】また、請求項３又は４に記載の発明によれ
ば、複数種類の確定信号の出力を可能にし、高速処理を
可能にするとともに、適用できる機器への用途を広げる
ことができる視線検出機能付き装置を提供できるもので
ある。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る視線検出用眼
鏡とパソコンの接続状態を示す図である。

【図２】図１の視線検出用眼鏡の視線検出部と眼球の関
係を示す図である。

【図３】図１の視線検出用眼鏡の視線検出部を眼球側か
ら見た図である。

【図４】本発明の実施の第１の形態における主要部分の
動作をフローチャートである。

【図５】図４のステップ＃２での詳細な動作を示すフロ
ーチャートである。

【図６】図４のステップ＃３での詳細な動作を示すフロ
ーチャートである。

【図７】図５等において実行される視線検出動作の詳細
を示すフローチャートである。

【図８】図１のＩＲＥＤ７より赤外光をを投射した時の
眼画像を示す図である。

【図９】プルキンエ像が不適切である時の眼画像を示す
図である。

【図１０】本発明の実施の第２の形態における主要部分
の動作をフローチャートである。

【図１１】本発明の実施の第３の形態における主要部分
の動作をフローチャートである。

【図１２】本発明の実施の第４の形態における主要部分
の動作をフローチャートである。

【図１３】従来の視線入力に関する主要部分の動作をフ
ローチャートである。

【符号の説明】

１視線検出用眼鏡２パソコン３ディスプレイ５眼球６ダイクロイックミラー７ＩＲＥＤ８撮像素子９結像レンズ１０角膜１１プルキンエ像１２瞳孔１３強膜

Claims

【特許請求の範囲】

【請求項１】左右両目について眼球画像を取り込むた
めの撮像手段より得られる眼球画像を画像処理すること
によって眼球回転量を算出し、算出された眼球回転量か
ら注視位置を算出する視線検出手段を有する視線検出機
能付き装置において、瞬きの状態を判定する瞬き判定手段と、該判定手段によ
り、左右どちらか一方の目の状態が瞬き状態であり、他
方の目は瞬き状態でないと判定された場合、前記視線検
出手段によって算出された注視位置を入力指示位置とし
て、入力動作を実行するための確定信号を出力する確定
信号出力手段とを有することを特徴とする視線検出機能
付き装置。
【請求項２】左右両目について眼球画像を取り込むた
めの撮像手段より得られる眼球画像を画像処理すること
によって眼球回転量を算出し、算出された眼球回転量か
ら注視位置を算出する視線検出手段を有する視線検出機
能付き装置において、瞬きの状態を判定する瞬き判定手段と、該判定手段によ
る瞬き状態の判定に供する左右どちらか一方の目をあら
かじめ選択する選択手段と、該選択手段により選択され
た方の目の状態が瞬き状態であり、他方の目は瞬き状態
でないことが前記判定手段により判定された場合、前記
視線検出手段によって算出された注視位置を入力指示位
置として、入力動作を実行するための確定信号を出力す
る確定信号出力手段とを有することを特徴とする視線検
出機能付き装置。
【請求項３】左右両目について眼球画像を取り込むた
めの撮像手段より得られる眼球画像を画像処理すること
によって眼球回転量を算出し、算出された眼球回転量か
ら注視位置を算出する視線検出手段を有する視線検出機
能付き装置において、瞬きの状態を判定する瞬き判定手段と、該判定手段によ
り、一方の目が瞬き状態でかつ他方の目が瞬き状態でな
いと判定された場合、前記視線検出手段によって算出さ
れた注視位置を入力指示位置として、入力動作を実行す
るための第１の確定信号を出力し、他方の目が瞬き状態
でかつ一方の目が瞬き状態でないと判定された場合、前
記視線検出手段によって算出された注視位置を入力指示
位置として、入力動作を実行するための第２の確定信号
を出力する確定信号出力手段とを有することを特徴とす
る視線検出機能付き装置。
【請求項４】前記確定信号出力手段は、一方の目が瞬
き状態であるとして前記第１の確定信号を出力した後、
続けてさらに前記一方の目が所定時間瞬き状態であるこ
とが判定された場合、第３の確定信号を出力し、他方の
目が瞬き状態であるとして第１の確定信号を出力した
後、続けてさらに前記他方の目が所定時間瞬き状態であ
ることが判定された場合、第４の確定信号を出力するこ
とを特徴とする請求項３に記載の視線検出機能付き装
置。
【請求項５】前記判定手段は、前記撮像手段上の所定
のエリアが所定値以上の輝度を示した場合に、瞬き状態
であると判定することを特徴とする請求項１〜４の何れ
かに記載の視線検出機能付き装置。
【請求項６】前記判定手段は、前記視線検出手段によ
る視線検出が所定時間検出不能であった場合に、瞬き状
態であると判定することを特徴とする請求項１〜４の何
れかに記載の視線検出機能付き装置。