JP2002000567A

JP2002000567A - 瞳孔中心位置計測方法及び視点位置検出方法

Info

Publication number: JP2002000567A
Application number: JP2000189850A
Authority: JP
Inventors: Naohisa Ozawa; 尚久小澤; Yusuke Aotake; 雄介青竹; Hiroshi Shimoda; 宏下田; Shigekazu Yoshikawa; 榮和吉川
Original assignee: Kansai Technology Licensing Organization Co Ltd
Current assignee: Kansai Technology Licensing Organization Co Ltd
Priority date: 2000-06-23
Filing date: 2000-06-23
Publication date: 2002-01-08

Abstract

(57)【要約】【課題】瞳孔径を与える瞳孔中心付近に照明に使って
いる赤外線ＬＥＤの輝点や睫毛の影などのノイズ成分が
混入した場合に、正確な瞳孔中心位置が推定できない。【解決手段】赤外線ＣＣＤカメラ２２によって眼球３
０に撮影された瞳孔画像３３から瞳孔の輪郭を検出し、
輪郭線上の任意の設定数個の輪郭点３４から求められる
円の中心座標（３８）を複数回検出して得られた該中心
座標群の分布を中央部と外縁部とに分離し、該中央部を
構成する中心座標群の重心座標を瞳孔中心位置３９と
し、前記輪郭点３４の検出は、前記瞳孔画像３３のビデ
オ信号を白黒二値化し、該ビデオ信号の白黒反転位置
（３４）を検出することで行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間の視点位置を
計測するための要素技術となる、赤外線ＣＣＤカメラと
画像処理技術を用いて人間の瞳孔中心位置を検出する装
置に関するものである。

【０００２】

【従来の技術】従来から一般的に用いられている代表的
な視点位置計測方法には、ＥＯＧ法と呼ばれる眼球の周
囲の顔面皮膚上に固定した電極により、角膜と網膜間の
定常的電位差を測定する方法、強膜反射法と呼ばれる眼
球に赤外線ＬＥＤからの赤外線を照射し、眼球からの赤
外線の反射光を赤外線フォトトランジスタによって受光
させる方法、角膜反射法と呼ばれる、角膜を凸面鏡とし
てできる光源像をＴＶカメラなどのセンサーで検出する
方法、ＣＣＤ法と呼ばれる眼球を直接ＣＣＤカメラで撮
影し、画像処理により眼球の運動を検出する方法などが
存在する。以上のような多様な視点位置計測方法のう
ち、前記ＣＣＤ法では具体的には次のようにして瞳孔中
心位置検出を行っていた。赤外線ＣＣＤカメラによって
人間の左右の眼球を撮像し、図１２に示すように、撮影
した瞳孔画像４３に対して一画面ごとにすべての水平走
査終了時における各水平走査線４２中の瞳孔検知開始と
終了位置の差が最大となるものを瞳孔径５０を与える水
平走査線４２とし、その中点の座標を瞳孔中心位置４９
としていたのである。

【０００３】

【発明が解決しようとしている課題】従来の方法では、
赤外線ＣＣＤカメラで撮影された眼球映像から、適当な
画像処理装置を用いて瞳孔中心位置を求める方法を実現
することは比較的容易である。しかし、図１３に示す画
像のように、瞳孔径を与える瞳孔中心付近に照明に使っ
ている赤外線ＬＥＤの輝点や睫毛の影などのノイズ成分
が混入した場合に、正確な瞳孔中心位置が推定できな
い。

【０００４】

【課題を解決するための手段】本発明の解決しようとす
る課題は以上の如くであり、次に該課題を解決するため
の手段を説明する。即ち、請求項１においては、カメラ
によって撮影された眼球の瞳孔画像から瞳孔の輪郭を検
出し、輪郭線上の任意の設定数個の輪郭点から求められ
る円の中心座標を瞳孔中心位置とするものである。

【０００５】請求項２においては、前記中心座標を複数
回検出して得られた該中心座標群の重心座標を瞳孔中心
位置とするものである。

【０００６】請求項３においては、前記中心座標を複数
回検出して得られた該中心座標群の分布を中央部と外縁
部とに分離し、該中央部を構成する中心座標群の重心座
標を瞳孔中心位置とするものである。

【０００７】請求項４においては、前記輪郭点の検出
は、前記瞳孔画像のビデオ信号を白黒二値化し、該ビデ
オ信号の白黒反転位置を検出することで行うものであ
る。

【０００８】請求項５においては、前記設定数を３とす
るものである。

【０００９】請求項６においては、アイマークレコーダ
での眼球運動の追跡に用いるものである。

【００１０】請求項７においては、それぞれ請求項１か
ら請求項４のいずれかに記載の瞳孔中心位置計測方法よ
り、被検出者の両眼における瞳孔中心位置を検出し、眼
球の撮像装置配設位置から眼球の位置までの距離と、該
眼球形状に応じた、両眼それぞれの該瞳孔中心位置と、
被検出者が見つめる空間上の視点との相関を蓄積し、該
相関より任意の瞳孔中心位置に対する視点位置を検出す
る視点位置検出方法において、被検出者が画像表示装置
上の一点を見つめると、被検出者の視点が検出され、該
視点位置に表示されている映像に対する処理を行う装置
に利用するものである。

【００１１】請求項８においては、それぞれ請求項１か
ら請求項４のいずれかに記載の瞳孔中心位置計測方法よ
り、被検出者の両眼における瞳孔中心位置を検出し、眼
球の撮像装置配設位置から眼球の位置までの距離と、該
眼球形状に応じた、両眼それぞれの該瞳孔中心位置と、
被検出者が見つめる空間上の視点との相関を蓄積し、該
相関より任意の瞳孔中心位置に対する視点位置を検出す
る視点位置検出方法において、被検出者が画像表示装置
上の一点を見つめると、被検出者の視点が検出され、該
視点位置に表示されている映像に対する待機待ち状態に
移行し、瞬きにより処理の実行を行う装置に利用するも
のである。

【００１２】

【発明の実施の形態】次に本発明の実施例を説明する。
図１は瞳孔中心位置測定装置を示す構成図であり、図２
は瞳孔中心位置計測方法を示す処理手順図であり、図３
は赤外線ＣＣＤカメラにて撮像された眼球の画像例を示
す模式図であり、図４は白黒反転二値化した瞳孔像を示
す図であり、図５は瞳孔画像と水平走査信号線の様子を
示す図であり、図６は瞳孔形状データの一例を示す図で
あり、図７は瞳孔中心位置計測の各手順での処理を示す
図であり、図８は擬似瞳孔の瞳孔中心位置測定結果を示
す図であり、図９は瞳孔形状データの一例とそれに対応
する瞳孔中心位置とを示す図であり、図１０は瞳孔形状
データの一例とそれに対応する瞳孔中心位置とを示す図
であり、図１１は瞳孔形状データの一例とそれに対応す
る瞳孔中心位置とを示す図であり、図１２は水平走査線
の最大径の中点位置より瞳孔中心位置を判定する概念図
であり、図１３はノイズ成分が混入した眼球撮影画像を
示す図である。

【００１３】瞳孔中心位置計測方法に関わる瞳孔中心位
置測定装置２１は、図１に示すように、赤外線ＣＣＤカ
メラ２２、画像処理装置２３、制御入力装置２４等より
構成される。画像処理装置２３は、マイクロコンピュー
タ、メモリ等の電子部品によって構成される瞳孔抽出部
２５、瞳孔輪郭検出部２６、瞳孔中心検出部２７、制御
部２８より構成される。前記各部は制御部２８に制御さ
れるものであり、制御入力装置２４から送信される処理
命令に基づき、赤外線ＣＣＤカメラ２２によって得られ
たビデオ信号に対して、後述する処理を行うものであ
る。制御入力装置２４は、後述する瞳孔中心位置計測方
法に基づく処理手順の入力手段であり、具体的にはコン
ピュータ端末等である。また、画像表示装置２９が制御
装置２８に接続されており、後述する処理の処理前及び
処理途上、処理後でのビデオ信号をモニタ画面に画像出
力することを可能としている。

【００１４】これより、瞳孔中心位置計測方法を、図２
に示す処理手順にしたがって説明する。前記制御入力装
置２４に該処理手順のプログラムが入力されて、以下で
説明する処理が行われるのである。まず、人間の眼球３
０を赤外線ＣＣＤカメラ２２によって撮像する（処理
１）。このとき、赤外線ＬＥＤ（発光ダイオード）３１
により人間の眼球３０に照明のための赤外線を照射して
おく。赤外線ＣＣＤカメラ２２によって撮像された人間
の眼球３０の画像例の模式図を図３に示す。後に行う瞳
孔中心位置検出を効率的にするための前処理として、赤
外線ＣＣＤカメラ２２で得られた眼球画像のビデオ信号
の白黒二値化処理さらに、白黒反転処理（以後、白黒反
転二値化処理）を、前記瞳孔抽出部２５にて行う（処理
２）。眼球３０表面において瞳孔部分では赤外光の反射
率がそれ以外の部分と比較して小さいため、図３に示す
ように、赤外線ＣＣＤカメラ２２の出力では黒い部分と
して現れ、閾値を適切に設定することにより、白黒二値
化処理された眼球画像から瞳孔像を抽出することが可能
である。例えば、白黒反転二値化処理された瞳孔像を図
４に示す。

【００１５】次いで、処理２で得られた白黒反転二値化
瞳孔像の輪郭線の抽出を、前記瞳孔輪郭検出部２６にて
行う（処理３）。前記瞳孔抽出部２５より出力されるビ
デオ信号の各水平走査線（走査信号線）３２ごとに、白
黒反転位置（後述する輪郭点３４に相当）を検出する。
瞳孔画像３３と水平走査線３２・３２・・・及び輪郭点
３４・３４・・・の様子を図５に示す。図５に示すよう
に、該ビデオ信号より得られた瞳孔画像３３における各
水平走査信号中の瞳孔輪郭に相当する位置を検出し、最
終的に瞳孔の輪郭形状として、複数の輪郭点３４で構成
される輪郭線にて表現される瞳孔形状データ３６を得
る。またここでは、眼瞼等による眼球３０周辺の影を排
除するために、眼球運動範囲に合わせて赤外線ＣＣＤカ
メラ２２の撮像領域から信号処理の対象とする有効領域
３５を、図５中に示す矩形領域に限定して設定してい
る。なお図５では図解の必要上、瞳孔の背景の黒色を灰
色に変えて表現している。

【００１６】処理３で得られた瞳孔形状データ３６か
ら、瞳孔中心位置を前記瞳孔中心検出部２７にて検出す
る。赤外線ＣＣＤカメラ２２によって撮像される人間の
瞳孔はほぼ円形である。また、撮像された瞳孔像にノイ
ズが混入している場合における瞳孔形状データ３６の実
例を、図６に示している。図６に示す瞳孔形状データ３
６では、ノイズ成分の影響を受けていない円形の輪郭部
分に、一部ノイズの影響を受けた部分が含まれている形
状になっている。そこで、赤外線ＣＣＤカメラ２２によ
って撮像された瞳孔像が円形であると仮定し、該瞳孔中
心検出部２７において、以下で説明するような手順に従
って、瞳孔の中心位置を計算する。

【００１７】まず、図７（ａ）に示すように、輪郭線を
構成する輪郭点３４の内から、無作為に３つの輪郭点３
４・３４・３４を抽出する（処理４）。次いで、図７
（ｂ）に示すように、その３つの輪郭点３４・３４・３
４で決定される円３７の円中心座標３８を求める（処理
５）。処理４・処理５は、図７（ｃ）に示すように、所
定の試行回数（５０回）繰返して行われ、円３７の円中
心座標３８の分布を求めるのである（処理６）。そして
誤差修正として、まず、処理６で求められた円中心座標
３８の分布のうち、水平方向の両端から試行回数（５
０）／５＝１０（個）ずつを削除する（処理７）。処理
７で残った円中心座標３８分布のうち、さらに垂直方向
の両端から試行回数（５０）／５＝１０（個）ずつを削
除する（処理８）。最終的に残った、試行回数（５０）
−（試行回数／５）×４＝試行回数／５＝１０（個）の
座標群の重心座標を求め（処理９）、該重心座標を赤外
線ＣＣＤカメラ２２座標上での瞳孔中心位置３９とす
る。以上の処理により、前記試行回数のサンプルの周辺
部のノイズ成分が取り除かれて、ノイズの影響にロバス
トな瞳孔中心位置３９の推定が行える。

【００１８】なお、処理７と処理８との順序を逆にした
処理手順により、瞳孔中心位置計測方法を構成してもよ
い。また、ノイズ成分が少ないとわかっているときは、
処理６における所定の試行回数の繰返し計測を行わず、
一回だけの計測により、前記円中心座標３８を瞳孔中心
位置３９とすることも可能である。

【００１９】処理４・５では、瞳孔の輪郭線より任意の
３つの輪郭点３４を抽出し、その３つの輪郭点３４で決
定される中心座標を、瞳孔中心位置３９算出のための
（前記試行回数５０回のうちの）１試行としている。こ
こで抽出すべき輪郭点３４の設定数は、前述の３個に限
定されるものではない。例えば、前記設定数を４個とす
る場合は、４つの輪郭点を通る円を最小自乗法等の最適
化方法を用いて決定するのである。また、前記設定数を
５個以上とする場合は、前記最適化方法より楕円を決定
することができる。円よりも楕円を用いて近似を行うほ
うが、計算時間は要しても瞳孔中心位置検出の精度は向
上するのである。

【００２０】また、前記眼球画像の取り込みに用いられ
る撮影装置としては、前記赤外線ＣＣＤカメラに限定さ
れるものではなく、通常の可視光ＣＣＤカメラでもよ
い。あるいは他の撮影装置でも可能である。瞳孔の輪郭
形状の検出には、前記では眼球画像の水平走査によって
白黒反転位置を検出する方法を用いたが、眼球画像の画
素値の変化に対して微分演算を行って瞳孔のエッジ（輪
郭）の検出を行う方法や、ニューラルネットを用いて瞳
孔のエッジを抽出する方法など、他の汎用的な画像処理
・エッジ検出法を用いてもよい。

【００２１】続いて、第一実施例の瞳孔中心位置計測方
法における瞳孔位置測定の精度評価実験に関して説明す
る。本発明の、撮像された瞳孔の輪郭線から３つの輪郭
点３４を抽出し、その３点から求められる円の中心より
瞳孔中心位置３９を求める方法（methodＡ）と、従来よ
り行われている瞳孔径を与える水平走査線３２の瞳孔検
出開始位置と終了位置の中点を瞳孔中心位置とする方法
（methodＢ）の測定精度の比較を行い、methodＡのノイ
ズ成分に対するロバスト性、および測定精度の評価を行
う。また、本実験では瞳孔中心位置の測定対象として、
以下の測定対象Ａ及び測定対象Ｂの２種類を用いた。測
定対象Ａとしては、測定対象が完全に静止し、ノイズの
ない擬似瞳孔（直径５ｍｍで均一である五円硬貨の穴を
利用）を利用し、測定対象Ｂとしては、実際の人間の瞳
孔（被験者３名）である。

【００２２】実験の方法について説明する。本実験で
は、瞳孔中心位置の検出の際に見られる瞳孔中心位置の
誤差範囲を評価することを目的としているが、実際の人
間の眼球は静止することはなく、常に微動している（固
視微動）。したがって、まず、この固視微動による瞳孔
測定への影響を取り除くため、測定対象Ａとして擬似瞳
孔を用い、測定対象が完全に静止した条件下での測定精
度を評価する。擬似瞳孔は眼球照明用の赤外線ＬＥＤ３
１の輝点や眼瞼の陰などのノイズ成分が混入することの
ない条件下で評価することが出来るため、まず擬似瞳孔
の輪郭線とその輪郭線から計算された瞳孔中心位置３９
の比較を行い、実際に瞳孔の中心部分が測定されている
ことの評価も行う。次いで、被験者実験によりノイズ成
分が混入し、きれいな円形の瞳孔形状が入力されない場
合の瞳孔中心の測定精度の評価を行う。methodＡ、meth
odＢのそれぞれの方法で同一の瞳孔像から瞳孔中心位置
を計算する。ここでは赤外線ＣＣＤカメラ２２で撮像さ
れた画像２００フレーム分、すなわち２００回のＣＣＤ
座標系における瞳孔中心位置３９を測定した。

【００２３】実験の手順について説明する。測定対象Ａ
の擬似瞳孔を測定の際には、五円硬貨を赤外線ＣＣＤカ
メラ２２で撮像した。このとき、測定中に五円硬貨の穴
の部分にノイズ成分は混入せず、きれいな円形になって
いることを、前記画像表示装置２９のモニタ画面を目視
して確認した。methodＡ、methodＢとも瞳孔位置の移動
はなかった。被験者を用いた測定では、瞳孔形状がなる
べく良好に撮像できるように瞳孔画像の二値化時の閾値
を調節した。そして、視線を動かさないように、また瞬
目を行わないように指示した上で２００回の瞳孔中心位
置３９の測定を行った。

【００２４】実験結果と考察について説明する。method
Ａ、methodＢそれぞれについて、同じ条件下で測定した
擬似瞳孔の瞳孔中心位置をプロットした結果を、図８に
示している。図８より、両方法とも測定対象を擬似瞳孔
として完全に静止させた条件において測定を行っても、
計算される瞳孔中心位置は１点に留まることなくある程
度の範囲内にゆらぎを持って分布していることがわか
る。そこで、計算した２００個の瞳孔中心位置分布の、
水平方向、垂直方向それぞれの標準偏差を求めた結果を
表１に示す。得られた標準偏差は求めた瞳孔中心位置の
ゆらぎの大きさを示す指標となる。

【００２５】

【表１】

【００２６】表１において、methodＡの方が右眼、左眼
共に水平、垂直方向のいずれについても標準偏差が１ｍ
ｍ以下であり、methodＢと比較しても明らかに小さい値
を示している。このことは、図８にからも明らかにmeth
odＡの方がmethodＢより狭い範囲に測定された瞳孔中心
位置がまとまって分布していることが確認できる。ま
た、実際に、１画面中に測定対象の瞳孔中心位置が瞳孔
中心位置測定装置２１でどのように決定されているかに
注目し、図９、図１０に瞳孔の輪郭形状と計算された中
心の位置関係についてmethodＡ、methodＢで大きな差異
がみられる典型例を示す。この図から両方法を比較する
と、methodＡで計算された瞳孔中心位置３９が実際に測
定対象の輪郭を円形とみなした場合の中心付近に位置し
ていることが確認できる。methodＡでは、ノイズ成分の
影響を削減することを考慮しているため、擬似瞳孔を測
定した場合、撮像された瞳孔像には明らかなノイズ成分
がないため、ほとんどゆらぎのない計算結果を得ること
ができている。また、実際の被験者の瞳孔中心位置の測
定を行った場合にも、図１１に示すように、照明用赤外
線ＬＥＤの輝点や眼瞼の影などのノイズ影響により、瞳
孔形状がきれいに抽出できていない場合にも、ノイズの
影響をあまり受けずに比較的安定した計算結果となって
いる。

【００２７】以上の結果より、瞳孔中心位置測定装置２
１により新たに提案する瞳孔中心位置の測定方法は、従
来から使用されてきた方法と比較して、ノイズ成分に対
するロバスト性に優れ、また、撮像された瞳孔像の瞳孔
中心位置を安定に測定できることが確認されたのであ
る。

【００２８】眼球の運動の軌跡や眼の停留位置や停留時
間等の記録に用いられるアイカメラ、アイマークレコー
ダ等の装置に、前記瞳孔中心位置計測方法を利用して眼
球運動を追跡することができる。

【００２９】次いで、前記瞳孔中心位置計測方法を用い
た視点位置検出方法について説明する。前記瞳孔中心位
置計測方法により、被検出者が見つめる空間上の視点位
置を検出することが可能である。あらかじめ被検出者に
対して、眼球の回転状態に応じた瞳孔中心位置と、視線
の方向との相関関係を導出しておくのである。このた
め、該相関関係より任意の瞳孔中心位置が与えられた場
合に、その視点を推測することが可能なのである。該相
関関係の導出は、瞳孔中心位置計測方法により被検出者
の両眼における瞳孔中心位置を検出し、赤外線ＣＣＤカ
メラ２２配設位置から眼球３０の位置までの距離と、両
眼それぞれの該瞳孔中心位置と、被検出者が見つめる空
間上の視点とを（出来る限り多く）複数回計測して、眼
球中心位置と視点位置との連続的な相関曲線を求めるこ
とで行われる。この導出操作により、被検出者それぞれ
の眼球形状に応じた、相関関係が導かれるのである。こ
のため、前記瞳孔中心位置計測装置２１より両眼の瞳孔
中心位置を計測する視点位置検出方法を構成し、該視点
位置検出方法により被検出者の視点を検出することがで
きるのである。

【００３０】視点位置検出方法は、次のような方面に利
用することが出来る。例えば、利用者（被検出者）が画
像表示装置（前述の画像表示装置２９とは異なる）の表
示画面上の一点を見つめると、視点位置検出方法にした
該被検出者の視点が検出され、該視点位置に表示されて
いる映像に対する入力処理を行う装置への利用である。
例えば、利用者はパソコン画面上の映像に視点を合わせ
ることでマウスの代わりの機能を持たせることができ
る。また、キーボードレイアウトを画像化してパソコン
画面上に表示して、順次特定のキーを見つめることで視
点検出し、情報入力することができる。

【００３１】また、前記の利用に次のような機能を加え
ることも可能である。すなわち、利用者が画像表示装置
の表示画面上の一点を見つめると、視点位置検出方法に
した該被検出者の視点が検出され、該視点位置に表示さ
れている映像に対する処理の待機待ち状態に移行し、瞬
きにより処理の実行を行う装置である。つまり、利用者
が視点を合わせることで、処理の待機待ち（ロック状
態）に移行し、瞬きをすることで処理の実行が行われる
のである。コンピュータ装置のキーボードにおける実行
キーに相当する処理を瞬きにて行うのである。利用者が
瞬きをした場合には、瞳孔部分は瞼に覆われて隠れてし
まうので前記瞳孔中心位置測定装置２１に瞳孔は検出さ
れず、該瞳孔中心位置測定装置２１において利用者によ
り瞬きが行われていることが検出されるのである。

【００３２】

【発明の効果】請求項１記載の如く、カメラによって撮
影された眼球の瞳孔画像から瞳孔の輪郭を検出し、輪郭
線上の任意の設定数個の輪郭点から求められる円の中心
座標を瞳孔中心位置とするので、次のような効果があ
る。輪郭線上の２点より瞳孔中心位置を検出する従来方
法と比べて、正確な瞳孔中心位置の推定ができるのであ
る。

【００３３】請求項２記載の如く、前記中心座標を複数
回検出して得られた該中心座標群の重心座標を瞳孔中心
位置とするので、前記従来方法と比べて、瞳孔中心位置
の検出時のゆらぎの大きさが小さく、ノイズの影響を受
けにくいのである。

【００３４】請求項３記載の如く、前記中心座標を複数
回検出して得られた該中心座標群の分布を中央部と外縁
部とに分離し、該中央部を構成する中心座標群の重心座
標を瞳孔中心位置とするので、ノイズの影響にロバスト
な瞳孔中心位置の推定が行えるのである。この工程によ
って、ノイズの影響を受けた輪郭部分のデータをノイズ
の影響を受けなかった部分より分離して削除することが
出来るため、ノイズによる誤差の影響を最小化できるの
である。

【００３５】請求項４記載の如く、前記輪郭点の検出
は、前記瞳孔画像のビデオ信号を白黒二値化し、該ビデ
オ信号の白黒反転位置を検出することで行うので、撮像
された画像に瞳孔径を与える瞳孔中心付近に照明に使っ
ている赤外線ＬＥＤの輝点や睫毛の影などのノイズ成分
が混入する場合でも、水平走査線中の瞳孔検知開始位置
と終了位置の最大となるものを瞳孔径とする従来方法と
比べて、正確な瞳孔中心位置の推定が出来るのである。

【００３６】請求項５記載の如く、前記設定数を３とす
るので、３点を通過する円がただ一つ決定され、処理に
要する時間が短縮されるのである。

【００３７】請求項６記載の如く、アイマークレコーダ
での眼球運動の追跡に用いるので、眼球の運動の軌跡や
眼の停留位置や停留時間等の計測を効果的に実現するこ
とが出来るのである。

【００３８】請求項７記載の如く、それぞれ請求項１か
ら請求項４のいずれかに記載の瞳孔中心位置計測方法よ
り、被検出者の両眼における瞳孔中心位置を検出し、眼
球の撮像装置配設位置から眼球の位置までの距離と、該
眼球形状に応じた、両眼それぞれの該瞳孔中心位置と、
被検出者が見つめる空間上の視点との相関を蓄積し、該
相関より任意の瞳孔中心位置に対する視点位置を検出す
る視点位置検出方法において、被検出者が画像表示装置
上の一点を見つめると、被検出者の視点が検出され、該
視点位置に表示されている映像に対する処理を行う装置
に利用するので、次のような効果がある。利用者が次々
になんからの情報を引き出したい場合などに、画面上の
映像を眼で追跡するだけで、煩雑な手動による入力操作
を行うことなく、利用者は該情報を得ることが出来るの
である。

【００３９】請求項８記載の如く、それぞれ請求項１か
ら請求項４のいずれかに記載の瞳孔中心位置計測方法よ
り、被検出者の両眼における瞳孔中心位置を検出し、眼
球の撮像装置配設位置から眼球の位置までの距離と、該
眼球形状に応じた、両眼それぞれの該瞳孔中心位置と、
被検出者が見つめる空間上の視点との相関を蓄積し、該
相関より任意の瞳孔中心位置に対する視点位置を検出す
る視点位置検出方法において、被検出者が画像表示装置
上の一点を見つめると、被検出者の視点が検出され、該
視点位置に表示されている映像に対する待機待ち状態に
移行し、瞬きにより処理の実行を行う装置に利用するの
で、次のような効果がある。利用者が手動操作をするこ
となく、画面上の映像を眼で追跡するだけで、入力操作
を行うことが出来るのである。眼で画面上の映像を追跡
するだけで同様の操作を行うことが出来るため、手動で
の操作、入力が困難な人においても手動入力と同等もし
くはそれ以上の作業を行うことが出来るのである。特に
手動での操作、入力と比べて早い処理速度を期待するこ
とが出来るので、処理速度に緊急性を要する場合におい
て、より作業性の効果が期待できるのである。

【図面の簡単な説明】

【図１】瞳孔中心位置測定装置を示す構成図。

【図２】瞳孔中心位置計測方法を示す処理手順図。

【図３】赤外線ＣＣＤカメラにて撮像された眼球の画像
例を示す模式図。

【図４】白黒反転二値化した瞳孔像を示す図。

【図５】瞳孔画像と水平走査信号線の様子を示す図。

【図６】瞳孔形状データの一例を示す図。

【図７】瞳孔中心位置計測の各手順での処理を示す図。

【図８】擬似瞳孔の瞳孔中心位置測定結果を示す図。

【図９】瞳孔形状データの一例とそれに対応する瞳孔中
心位置とを示す図。

【図１０】瞳孔形状データの一例とそれに対応する瞳孔
中心位置とを示す図。

【図１１】瞳孔形状データの一例とそれに対応する瞳孔
中心位置とを示す図。

【図１２】水平走査線の最大径の中点位置より瞳孔中心
位置を判定する概念図。

【図１３】ノイズ成分が混入した眼球撮影画像を示す
図。

【符号の説明】

２９画像表示装置３０眼球３４輪郭点３７円３８円中心座標３９瞳孔中心位置

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 BA02 CE12 DA07 DA16 DC05 DC06 DC16 5L096 BA18 CA02 CA14 EA43 FA06 FA60 FA62

Claims

【特許請求の範囲】

【請求項１】カメラによって撮影された眼球の瞳孔画
像から瞳孔の輪郭を検出し、輪郭線上の任意の設定数個
の輪郭点から求められる円の中心座標を瞳孔中心位置と
することを特徴とする瞳孔中心位置計測方法。
【請求項２】前記中心座標を複数回検出して得られた
該中心座標群の重心座標を瞳孔中心位置とすることを特
徴とする請求項１記載の瞳孔中心位置計測方法。
【請求項３】前記中心座標を複数回検出して得られた
該中心座標群の分布を中央部と外縁部とに分離し、該中
央部を構成する中心座標群の重心座標を瞳孔中心位置と
することを特徴とする請求項１記載の瞳孔中心位置計測
方法。
【請求項４】前記輪郭点の検出は、前記瞳孔画像のビ
デオ信号を白黒二値化し、該ビデオ信号の白黒反転位置
を検出することで行うことを特徴とする請求項１から請
求項３のいずれかに記載の瞳孔中心位置計測方法。
【請求項５】前記設定数を３とすることを特徴とする
請求項１から請求項４のいずれかに記載の瞳孔中心位置
計測方法。
【請求項６】アイマークレコーダでの眼球運動の追跡
に用いることを特徴とする請求項１から請求項５のいず
れかに記載の瞳孔中心位置計測方法。
【請求項７】それぞれ請求項１から請求項５のいずれ
かに記載の瞳孔中心位置計測方法より、被検出者の両眼
における瞳孔中心位置を検出し、眼球の撮像装置配設位
置から眼球の位置までの距離と、該眼球形状に応じた、
両眼それぞれの該瞳孔中心位置と、被検出者が見つめる
空間上の視点との相関を蓄積し、該相関より任意の瞳孔
中心位置に対する視点位置を検出する視点位置検出方法
において、被検出者が画像表示装置上の一点を見つめる
と、被検出者の視点が検出され、該視点位置に表示され
ている映像に対する処理を行う装置に利用することを特
徴とする視点位置検出方法。
【請求項８】それぞれ請求項１から請求項５のいずれ
かに記載の瞳孔中心位置計測方法より、被検出者の両眼
における瞳孔中心位置を検出し、眼球の撮像装置配設位
置から眼球の位置までの距離と、該眼球形状に応じた、
両眼それぞれの該瞳孔中心位置と、被検出者が見つめる
空間上の視点との相関を蓄積し、該相関より任意の瞳孔
中心位置に対する視点位置を検出する視点位置検出方法
において、被検出者が画像表示装置上の一点を見つめる
と、被検出者の視点が検出され、該視点位置に表示され
ている映像に対する待機待ち状態に移行し、瞬きにより
処理の実行を行う装置に利用することを特徴とする視点
位置検出方法。