WO2006013668A1

WO2006013668A1 - 瞳孔検出装置および虹彩認証装置

Info

Publication number: WO2006013668A1
Application number: PCT/JP2005/009418
Authority: WO
Inventors: Morio Sugita; Masahiro Wakamori; Takeshi Fujimatsu
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-08-02
Filing date: 2005-05-24
Publication date: 2006-02-09
Anticipated expiration: 2007-02-02
Also published as: JP2006048205A; EP1796032A1; US20060291702A1; CN1842819A

Abstract

　同心円状の複数の円をそれぞれ積分円Ｃｉとして目画像上に設定し、積分円Ｃｉの円周上に位置する目画像の画像データを抽出する画像データ抽出部と、画像データ抽出部が抽出した画像データを積分円Ｃｉのそれぞれの円周に沿って積分する周回積分部と、周回積分部の積分値が積分円の半径に対してステップ状に変化するような積分円Ｃｉの中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備え、同心円状の複数の積分円Ｃｉは半径が大きくなるほど疎になるように設定した。

Description

明細書

瞳孔検出装置および虹彩認証装置

技術分野

[0001] 本発明は、個人認証等に用いられる虹彩認証装置に関し、特に目を含む画像 (以下、「目画像」と記する）の中力瞳孔の位置を検出する瞳孔検出装置に関する。背景技術

[0002] 従来より目画像の中から瞳孔の位置を検出する様々な方法が提案されている。たとえば、目画像の画像データ（以下、「目画像データ」と記する）を 2値ィ匕し、低輝度領域の中の円形の領域を検出する方法が知られている。また、半径力 Srであり、中心座標が (xO, yO)である円の弧に対して画像強度 I (x, y)の周回積分を計算し、半径 rが増加するにしたがって rに関するこの量の部分的な導関数を計算する方法等が知られている。前述の従来の構成は、例えば、特表平 8— 504979号に開示されている。

[0003] これらの方法を用いて精度よく瞳孔を検出するためには膨大な画像データを高速に処理する必要があり、処理能力の高い大きな CPUゃ大容量メモリを用いても、現状では目画像の画像データをリアルタイムで処理することが困難であり得る。また、画像データをリアルタイムで処理できる程度に CPUの処理量を減らすと検出精度が低下する等の課題があり得る。発明の開示

[0004] 本発明は、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出装置を提供する。

[0005] 本発明の瞳孔検出装置は、画像データ抽出部と、周回積分部と、瞳孔位置検出部とを備える。画像データ抽出部は、同心円状の複数の円をそれぞれ積分円として目画像上に設定し、積分円の円周上に位置する目画像の画像データを抽出する。周回積分部は、画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って積分する。瞳孔位置検出部は、周回積分部の積分値が積分円の半径に対してステップ状に変化するような積分円の中心座標を瞳孔位置座標として検出する。そして、同心円状の複数の積分円は半径が大きくなるほど疎になるように設定した。図面の簡単な説明

[0006] [図 1]図 1は本発明の実施例における瞳孔検出装置を用いた虹彩認証装置の回路ブロック図である。

[図 2A]図 2Aは瞳孔を含む画像の一例を示す図である。

[図 2B]図 2Bは積分円の半径に対する積分値を示す図である。

[図 2C]図 2Cは積分値を積分円の半径で微分した値を示す図である。

[図 2D]図 2Dは目画像上を移動する積分円を示す図である。

[図 3A]図 3Aは積分円が虹彩領域に位置する場合の目画像とそのときの輝度の一例を示す図である。

[図 3B]図 3Bは積分円がメガネフレームに位置する場合の目画像とそのときの輝度の一例を示す図である。

[図 4]図 4は同瞳孔検出装置の回路ブロック図である。

[図 5]図 5は同瞳孔検出装置の画像データ抽出部の回路ブロック図である。

[図 6]図 6は同瞳孔検出装置の画像データ抽出部の動作を説明するための図である

[図 7]図 7は同瞳孔検出装置の画像データ抽出部の動作を説明するための図である

[図 8]図 8は同瞳孔検出装置の画像データ抽出部力抽出すべき画像データの配置を模式的に示す図である。

[図 9]図 9は同瞳孔検出装置の瞳孔位置検出部の回路ブロック図である。

[図 10]図 10は同瞳孔検出装置の瞳孔選択部の動作を説明するための図である。

[図 11]図 11は同瞳孔検出装置の瞳孔選択部の動作を示すフローチャートである。

[図 12A]図 12Aは積分円の半径に対する積分値およびその差分値を示す図である。

[図 12B]図 12Bは積分円の半径に対する積分値およびその差分値を示す図である。

[図 13]図 13は同瞳孔検出装置の目画像 1フレーム分の動作を示すフローチャートである。

符号の説明

[0007] 120 撮像部 130 照明部

140 認証処理部

200 瞳孔検出装置

220 画像データ抽出部

222 部分フレームメモリ

224 - -224 ラインメモリ

1 L

225 - -225 メモリ制御部

1 L

226 マノレチプレクサ

228 - -228 セレクタ

1 n

229 セレクタ制御部

230 周回積分部

240 輝度差算出部

250 変化円検出部

260 ポインタ咅

270 瞳孔位置検出部

280 瞳孔候補保持部

290 瞳孔選択部

発明を実施するための最良の形態

[0008] 本発明の瞳孔検出装置は、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出装置を提供する。

[0009] 本発明の瞳孔検出装置は、画像データ抽出部と、周回積分部と、瞳孔位置検出部とを備える。画像データ抽出部は、同心円状の複数の円をそれぞれ積分円として目画像上に設定し、積分円の円周上に位置する目画像の画像データを抽出する。周回積分部は、画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って積分する。瞳孔位置検出部は、周回積分部の積分値が積分円の半径に対してステップ状に変化するような積分円の中心座標を瞳孔位置座標として検出する。そして、同心円状の複数の積分円は半径が大きくなるほど疎になるように設定する。この構成により、高速にかつ精度よく瞳孔位置の検出が可能となる。 [0010] また、本発明の瞳孔検出装置は、同心円状の複数の積分円の半径の増加分が、その積分円の半径に対して指数関数的に大きくなるように設定してもよい。この構成によっても、高速にかつ精度よく瞳孔位置の検出が可能となる。

[0011] また、本発明の瞳孔検出装置の画像データ抽出部は、積分円のそれぞれに対応する複数の画像データを同時に抽出することが望ましい。この構成により、各積分円に対する演算を並列に行うことができ、高速な瞳孔検出が可能となる。

[0012] また、本発明の虹彩認証装置は、本発明の瞳孔検出装置を備える。この構成により

、精度よくかつ高速に瞳孔位置の検出が可能な虹彩認証装置を提供することができる。

[0013] 以下、本発明の実施例における瞳孔検出装置を用いた虹彩認証装置について、図面を用いて説明する。

[0014] (実施例）

図 1は、本発明の実施例における瞳孔検出装置を用いた虹彩認証装置の回路プロック図である。図 1には、瞳孔検出装置 200にカ卩えて虹彩認証装置 100を構成するために必要な撮像部 120、照明部 130、認証処理部 140も示している。

[0015] 本実施例における虹彩認証装置 100は、撮像部 120と、瞳孔検出装置 200と、認証処理部 140と、認証処理部 140と、照明部 130とを備えている。撮像部 120は、使用者の目画像を撮像する。瞳孔検出装置 200は、目画像の中カゝら瞳孔位置とその半径を検出する。認証処理部 140は、目画像カゝら得られた虹彩コードを、登録されている虹彩コードと比較して個人認証を行う。照明部 130は、目画像取得に適した光量の近赤外線を照射し使用者の目とその周辺部分を照明する。

[0016] 撮像部 120は、誘導ミラー 121、可視光カットフィルタ 122、レンズ 123、撮像素子 1 24および前処理部 125を有する。本実施例においては、レンズ 123として固定焦点レンズを用いることにより光学系の小型、軽量化と低コストィ匕を実現している。誘導ミラ一 121は、使用者が自らの目を映すことにより目を正しい撮像位置へ誘導する。そして、使用者の目はレンズ 123、可視光カットフィルタ 122を通して撮像素子 124で撮像される。前処理部 125は、撮像素子 124の出力信号力画像データ成分を取り出し、ゲイン調整等画像データとして必要な処理を行った上で、使用者の目画像データとして出力する。

[0017] 瞳孔検出装置 200は、画像データ抽出部 220と、周回積分部 230と、輝度差算出部 240と、変化円検出部 250と、ポインタ部 260と、瞳孔位置検出部 270とを有する。瞳孔検出装置 200は、目画像の中から瞳孔位置とその半径を検出し、認証処理部 1 40へ出力する。瞳孔検出装置 200の詳細については後述する。

[0018] 認証処理部 140は、瞳孔検出装置 200が検出した瞳孔中心座標および瞳孔半径にもとづき、目画像データの中から虹彩画像を切り出す。そして、虹彩画像を虹彩の模様を示す固有の虹彩コードに変換し、登録されている虹彩コードと比較すること〖こよって認証動作を実行する。

[0019] 次に、瞳孔検出装置 200の瞳孔検出方法について説明する。図 2A〜図 2Dは、本発明の実施例における瞳孔検出装置の瞳孔検出方法を説明するための図である。図 2Aは、瞳孔を含む画像の一例を示す図である。図 2Bは、積分円の半径に対する積分値を示す図である。図 2Cは、積分値を積分円の半径で微分した値を示す図である。図 2Dは、目画像上を移動する積分円を示す図である。

[0020] 瞳孔を含む画像は図 2Aに示すように、瞳孔を示す円盤状の低輝度領域と、その外側に虹彩を示す円環状の中輝度領域とが存在する。したがって、瞳孔中心の位置座標 (Xo, Yo)を中心として、半径 Rの積分円 Cの円周に沿って画像データを周回積分すると、図 2Βに示すように、積分値 Iは、瞳孔半径 Roのところでステップ状に変化すること〖こなる。そこで、図 2Cに示すように、積分値 Iを半径 Rで微分した値 dl/dRが閾値 (以下、「差分閾値」と記する） A lthを超えるときの積分円の半径を求めることにより瞳孔半径 Roを知ることができる。

[0021] 以上の考え方にもとづき、瞳孔検出装置 200は、瞳孔の位置座標 (Xo, Yo)と瞳孔半径 Roを検出する。まず、図 2Dに示すように、中心座標が等しく半径の異なる n個の積分円 C〜Cを目画像上に設定し、各々の積分円 C (i= l〜n)に対してその円周上に位置する画像データを積分する。現実的には、各々の積分円 Cの円周上に位置する画素の画像データの平均値を計算するか、円周上に位置する画素の中からー定数 (m個）の画素を選んで、その画像データを加算する。

[0022] 本実施例においては、同心円状の積分円の数 nを 20とし、各積分円 Cの円周上に位置する画素の中から m= 8画素を選んで、その画像データを加算し、周回積分の積分値 Iとした。そして、積分円 C〜Cの中心が瞳孔中心と一致している場合には、上述したように、各積分円 Cに対する積分値 I力ステップ状に変化する。よって、積分値 Iの半径 Rに対する差分値 Δ Ιを求めると、瞳孔半径 Roに等しいところで大きな極大値を示すことになる。

[0023] 一方、積分円 C〜Cの中心が瞳孔中心に一致しない場合は、積分値 Iは緩やかに変化するので、その差分値 Δ Ιは大きな値を示さない。したがって、差分値 Δ Ιが差分閾値 A lthよりも大きな値を示す積分円 Cを求めることで、瞳孔の位置とその半径を求めることができる。

[0024] そして、目画像上の各位置に積分円 C〜Cを移動させて、上述の動作を繰り返す。こうして、差分値 Δ Ιが大きな値を示すときの積分円 Cの中心座標 (X, Y)とそのときの半径 Rを求めることにより、瞳孔の位置座標 (Xo, Yo)と瞳孔半径 Roを求めることができる。

[0025] し力しながら、画像によっては偶発的に差分値 Δ Ιが大きな値を示す可能性がある。積分円の数 nや各積分円上で選択する画素の数 mを小さくすると、計算量を減らすことができ、高速な瞳孔検出が可能となる。反面、偶発的に差分値 Δ Ιが大きな値を示す可能性が高くなり、瞳孔検出精度が低下する。そのため、瞳孔検出装置 200に輝度差算出部 240を設け、積分円 Cの各々に対して、円周上における輝度の最大値と最小値の差 Bを求める。その差 Bが所定の閾値 (以下、「輝度差閾値」と記する） Bthより小さい場合に限り積分値 I、あるいは、その差分値 Δ Ιが有効であるとすることで瞳孔検出精度の低下を防、で、る。

[0026] 図 3A及び図 3Bは、輝度差算出部 240の動作を説明するための図である。図 3A は、積分円が虹彩領域に位置する場合の目画像とそのときの輝度の一例を示す図である。図 3Bは、積分円がメガネフレームに位置する場合の目画像とそのときの輝度の一例を示す図である。積分円 C〜Cの中心が瞳孔中心と一致している場合には、各積分円 Cは瞳孔領域内部、虹彩領域内部等、比較的輝度の均一な領域に位置するため、円周上の画像データの輝度ばらつきは小さい。図 3Aに、円環状の中輝度領域である虹彩領域に位置する積分円を示している。この場合、円周上の輝度の最大値と最小値との差は小さぐ輝度差閾値 Bth以下となる。

[0027] し力し、たとえば図 3Bに示すように、積分円 C〜Cの中心が黒いメガネフレームの一部に位置するときには、円周上の輝度は、メガネフレーム上では低ぐ皮膚の部分では高くなるため、輝度の最大値と最小値との差 Bは大きくなる。このように、各積分円 Cの円周上の輝度の最大値と最小値との差 Bを求め、その差 Bが輝度差閾値 Bth より小さい場合に限り積分値 I、あるいはその差分値 Δ Ιが有効であるとする。これにより、メガネフレーム等を誤って瞳孔と判定する等の誤判定を防ぐことができ、瞳孔検出精度の低下を防止できる。

[0028] なお、輝度差閾値 Bthとしては、円周上の輝度データの予想されるばらつきよりわずかに大きく設定することが望ましい。すなわち、虹彩の平均輝度と瞳孔の平均輝度との差よりも大きぐ肌の平均輝度と瞳孔の平均輝度との差よりも小さく設定するとよい。たとえば、 256階調の画像信号の場合、瞳孔の平均輝度が 40階調程度、虹彩の平均輝度が 100階調程度、肌の平均輝度が 200階調程度となるため、輝度差閾値 Bthとしては 60〜160の間で設定するとよ！/、。

[0029] また、積分円が瞳孔上にある場合の積分値 Iは、およそ 40 X 8 = 320であり、積分円が虹彩上にある場合の積分値 Iは、およそ 100 X 8 = 800である。よって、差分閾値 A lthとしては、その差 480の半分程度、すなわち 240程度に設定するとよい。

[0030] 図 4は、本発明の実施例における瞳孔検出装置の回路ブロック図である。瞳孔検出装置 200は、画像データ抽出部 220と、周回積分部 230と、輝度差算出部 240と、変化円検出部 250と、ポインタ部 260と、瞳孔位置検出部 270とを備えている。画像データ抽出部 220は、目画像上に積分円 C〜Cを設定し、各積分円 Cの円周上の画像データを抽出する。周回積分部 230は、抽出された画像データを積分円 C毎に周回積分する。輝度差算出部 240は、各積分円毎に画像データの最大値と最小値との差 Bを求める。変化円検出部 250は、積分値 Iの半径 Rに対する差分値 Δ Ιを求め、差分値の最大値 Δ Iが差分閾値 Δ Ithよりも大き、ときの差分値 Δ Iと積分円の半径 Rとを出力する。ポインタ部 260は、積分円 C〜Cの中心座標 (X, Y)を指示する。瞳孔位置検出部 270は、瞳孔候補保持部 280と瞳孔選択部 290とからなる。

[0031] 瞳孔候補保持部 280は、変化円検出部 250が差分閾値 A lthよりも大きい差分値 Δ を出力したとき瞳孔候補を検出したものとみなし、複数の瞳孔候補の位置座標 ( X, Y)と半径 Rを記憶する。瞳孔選択部 290は、複数の瞳孔候補の中から 1つの瞳孔を選び出す。このようにして瞳孔位置検出部 270は、目画像の中から瞳孔の位置座標と瞳孔の半径を検出する。

[0032] 図 5は、画像データ抽出部 220の回路ブロック図である。画像データ抽出部 220は、部分フレームメモリ 222と、マルチプレクサ 226とから構成されている。マルチプレクサ 226は、部分フレームメモリ 222から読出された画像データを各々の積分円 C毎にまとめて出力する。部分フレームメモリ 222は、ランダムアクセス可能なラインメモリ 22 4 〜224を複数個接続したものである。本実施例においては、 L= 101本のラインメ

1 し

モリ 224 〜224 を用いて部分フレームメモリ 222を構成している。

1 101

[0033] メモリ制御部 225 〜225は、対応するラインメモリ 224 〜224の読出し、書込み

1 し 1 し

を制御する。マルチプレクサ 226は、 n個の積分円 C 〜Cに対応する n個のセレクタ 228 〜228と、セレクタ制御部 229と力も構成されている。セレクタ 228_;は、部分フレームメモリ 222から出力される画像データのうち、対応する積分円 Cの円周上に位置する画像データを選択し出力する。画像データ抽出部 220は、読み出した画像データを積分円毎にまとめて同時に抽出し出力する。

[0034] 図 6および図 7は、画像データ抽出部 220の動作を説明するための図である。以下では簡単のために、 7本のラインメモリ 224 〜224が部分フレームメモリ 222を構成し、その上に 3つの同心円状の積分円 C 〜Cを設定するものとする。そして、それぞ

1 3

れの積分円 C 〜Cの円周上に位置する画素の中からそれぞれ 4画素ずつを選んで

1 3

その画素データを抽出するものとして説明する。図 6は、部分フレームメモリ 222上に設定された 3つの積分円 C 〜Cと、それぞれの積分円上から抽出すべき 12の画像

1 3

データ D とを示している。ここで画像データ D の iはラインメモリ 224 〜224を識別するための添字であり、 jは積分円 C 〜Cを識別するための添字である。

1 3

[0035] 図 7は、前処理部 125から送られる画像データ Sigとラインメモリ 224 〜224力も出力される画像データを示すタイミングチャートである。ここで、前処理部 125から 1つの画像データが送られる期間 Tsigの間にラインメモリ 224 〜224が合計 6回の読出し書込み動作を行う期間 T1〜T6が設けられているものとする。 [0036] 最初の期間 Tlでは、各ラインメモリ 22 は書込まれている最も古い画像データを次のラインメモリ 224 に出力する。次の期間 T2では、 1つ前のラインメモリ 224 か

i+ l i-1 ら出力された画像データを空いたデータエリアへ書込む。このとき最初のラインメモリ

224は前処理部 125から出力された画像データを空いたエリアへ書込む。このように、最初の 2つの期間 Tl、 Τ2は、ラインメモリ 224〜224を部分フレームメモリ 222 として機能させるために使用する。

[0037] 続く 4つの期間 Τ3〜Τ6は、画像データ D を取り出すために使われる。ラインメモリ

1， ]

224は、積分円 Cに対応する 1つの画像データ D を出力する。ラインメモリ 224 は、 1つの画像データ D を出力する。ラインメモリ 224は、 2つの画像データ D と

2, 2 3 3, 2

D とを出力する。そして、ラインメモリ 224は、画像データ D 、 D をそれぞれ 2

3, 3 4 4, 1 4, 3

つずつ、合計 4つのデータを出力する。

[0038] ラインメモリ 224は、 2つの画像データ D 、 D を出力する。ラインメモリ 224は、

5 5, 2 5, 3 6

1つの画像データ D を出力する。ラインメモリ 224は、 1つの画像データ D を出

6, 2 7 7, 1 力する。画像データの出力においては、それぞれのラインメモリがどのタイミングでどの画像データを出力するかはある程度自由に設定できる。しかし、同一の積分円に対応する画像データを同一タイミングで出力しなヽように決められてヽる。

[0039] 次に、各ラインメモリは、図 6に示した順に、それぞれの画像データを出力するものとして、マルチプレクサ 226の動作について説明する。積分円 Cに対応するセレクタ 228は、期間 Τ3においてラインメモリ 224の出力を選択し画像データ D を出力

1 4 4, 1 する。期間 Τ4においても、ラインメモリ 224の出力を選択し、もう 1つの画像データ D

4

を出力する。期間 Τ5においては、ラインメモリ 224の出力を選択し、画像データ D を出力する。期間 Τ6においては、ラインメモリ 224の出力を選択し、画像データ D を出力する。

[0040] こうして、セレクタ 228力は、積分円 Cの円周上の画像データ D 、D 、D 、 D だけが出力される。セレクタ 228は、期間 T3ではラインメモリ 224の出力を選

7, 1 2 3

択する。期間 T4ではラインメモリ 224の出力を選択する。期間 T5ではラインメモリ 22

5

4の出力を選択する。期間 T6ではラインメモリ 224の出力を選択する。このようにし

2 6

て、積分円 Cの円周上の画像データ D 、D 、D 、D を出力する。 [0041] セレクタ 228も同様に、期間 T3ではラインメモリ 224の出力を選択する。期間 T4

3 5

ではラインメモリ 224の出力を選択する。期間 T5および T6ではラインメモリ 224の

3 4 出力を選択する。このようにして、積分円 Cの円周上の画像データ D 、 D 、 D

3 5, 3 3, 3 4, 3

、 D を出力する。こうして、マルチプレクサ 226は、部分フレームメモリ 222から読出

4， 3

された画像データを積分円毎にまとめて出力する。

[0042] そして、部分フレームメモリ 222へ画像データ Sigを 1画素入力する毎に、出力すベき画像データ D を 1画素分移動するように、メモリ制御部 225 〜225は、ラインメモ

1 し

リ 224 〜224のアドレスを制御する。その結果、 1フレーム分の画像データが部分フ

1 し

レームメモリ 222に入力する間に、目画像上では、積分円 C 〜Cが目画像全体を走查すること〖こなる。このときの積分円の中心座標 (X, Y)は、 Xカウンタ 262および Y力ゥンタ 264の出力によって示される。

[0043] 以上の説明では、ラインメモリの数 L = 7、積分円の数 n= 3、 1つの積分円の円周上から取り出すべき画像データの数 m=4として説明したが、これらの数は検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。図 8は、本実施例における目画像上の積分円を模式的に示した図であり、ラインメモリの数 L= 101、積分円の数 n= 20、 1つの積分円の円周上から取り出すべき画像データの数 m= 8 と設定している。

[0044] このように、画像データ抽出部 220から取り出すべき画像データの総数は多いが、これらの画像データが特定のラインメモリに集中しな、ように配置されて、る。これは、 1つの画像データが送られる期間 Tsigの間にラインメモリをアクセスできる回数には上限があり、すべてのラインメモリのアクセス回数をそれ以下に抑えるためである。以上が画像データ抽出部 220の構成とその動作である。

[0045] 周回積分部 230は、積分円 C 〜Cの各々に対して独立な加算器 230 〜230を備え、各積分円 Cの円周上に位置する m個の画像データを加算し、各々の加算結果を積分値 Iとして変化円検出部 250へ出力する。

[0046] 輝度差算出部 240は、積分円 C 〜Cの各々に対して独立な輝度差算出器 240 〜240を備える。各々の輝度差算出器 240は、積分円 Cの円周上に位置する m個の画素データの最大値と最小値とを検出し、その差 Bと輝度差閾値 Bthとを比較して n個の比較結果を変化円検出部 250へ出力する。

[0047] 変ィ匕円検出咅 250は、減算器 252〜252 _と、セレクタ 253と、コンノレータ 254 とを備える。減算器 252は、各積分円 Cに対する積分値 Iの半径 Rに対する差分を求める。すなわち、積分円 C〜Cのうち、半径の 1つ違う積分円 Cとじとに対する積分値 Iと I との差分値 Δ Iを求める。ただし、積分円 Cに対する画像データの最大値と最小値との差 ^が、輝度差閾値 Bthよりも大きい場合には、差分値 Δ Ιを強制的に 0に設定する。

[0048] そして、セレクタ 253およびコンパレータ 254は、差分値 Δ Ιが差分閾値 A lthより大きくなる積分円 Cの半径 Rを、瞳孔候補保持部 280に出力するとともに、その差分値 Δ Ιも評価銜として、瞳孔候補保持部 280に出力する。このとき、積分円 Cに対する

0 i 画像データの最大値と最小値との差 Bが、輝度差閾値 Bthよりも大きい場合、減算器 252iは、差分値 Δ Ιを強制的に 0に設定する。従って、差 B力輝度差閾値 Bthよりも大きい場合には、半径 Rが、瞳孔候補保持部 280に出力されることはない。

[0049] 図 3を用いて説明したように、積分円 C〜Cの中心が瞳孔の中心と一致している場合には、画素データの最大値と最小値との差 Bは、ある限られた値以下となる。しかし、瞳孔の中心と一致していない場合には、差 Bは大きくなる。したがって、差 Bが輝度差閾値 Bthよりも大きい場合の情報を除くことにより、誤検出の可能性を減らすことができ、瞳孔検出精度を上げることができる。

[0050] 図 9は、瞳孔位置検出部 270、すなわち瞳孔候補保持部 280および瞳孔選択部 2 90の回路ブロック図である。瞳孔候補保持部 280は、複数の最大値検出器 280〜 280がそれぞれ直列に接続されている。最大値検出器 280の各々は、レジスタ 282 k i

、 283、 284および 285と、コンノレータ 281と、セレクタ 286、 287、 288および 2 89とを備えている。

[0051] レジスタ 282、 283、 284および 285は、瞳孔候補の X座標、 Y座標、半径 Rおよび評価街の最大値を保持する。コンパレータ 281は、入力した評価値 T とレジスタ 285【こ保持して!/ヽる評価 BJとを it較する。セレクタ 286、 287、 288および 289【ま、入力した X座標、 Y座標、半径 Rおよび評価銜と保持している X座標、 Y座標、半径 Rおよび評価 »の!、ずれかを選択する。 [0052] 先頭の最大値検出器 SSC^には、積分円の座標を示す Xカウンタ 262および Yカウンタ 264の出力 X、 Yが入力され、変化円検出部 250の出力 Rも入力されている。

0 0 0

そして、変化円検出部 250から出力される評価街がレジスタ 285の保持している

0 1

評価銜よりも大きい場合には、それまでレジスタ 282〜285に保持していた X座標 X、 Y座標 Y、半径 R、評価街を、セレクタ 286〜289を介して、 2番目の最大値検出器 280に出力する。さらに、レジスタ 282〜285は、新しく入力した X座標 X、

Y座標 Y

0、半径 R

0、評価街 0を保持する。

[0053] 評価街 0が評価街 1以下の場合には、新しく入力した X座標 X、 Y

0 座標 Y

0、半径 R

0

、評価銜を、セレクタ 286〜289を介して、 2番目の最大値検出器 280に出力す

0 1 1 2

る。

[0054] 2番目の最大値検出器 280は、 1番目の最大値検出器 280から出力される評価

2 1

がレジスタ 285の保持している評価銜よりも大きい場合には、それまでレジスタ

1 2 2

282〜285に保持していた X座標 X、 Y座標 Y、半径 R、評価銜を 3番目の最大

2 2 2 2 2 2 値検出器 280に出力する。さらに、レジスタ 282〜285は、新しく入力した X座標 X

3 2 2

、 Y座標 Y、半径 R、評価 ffiを保持する。評価 »が評価 »以下の場合には、新しく入力した X座標 X、 Y座標 Y、半径 R、評価街を、 3番目の最大値検出器 2 80に出力する。

3

[0055] 以下同様に、 i番目の最大値検出器 28(^は、上流側の最大値検出器 280卜力も出力される評価銜力 Sそれまで保持して、た評価値丁よりも大き、場合には、それまで保持していたデータを下流側の最大値検出器 280 に出力する。さらに、上流側の

i+ 1

データを保持する。評価 iiU が評価 iiU以下の場合には上流側のデータを下流側に出力する。

[0056] その結果、先頭の最大値検出器 280には、最も評価値の大きい瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評価銜が保持される。 2番目の最大値検出器 280 には、 2番目に評価値の大きい瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評

2 2 2 2 価街が保持される。そして、 i番目の最大値検出器 280には、 i番目に評価値の大

2 i

、瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評価銜が保持される。

[0057] なお、本実施例の変化円検出部 250のセレクタ 253は、差分値 Δ Ιの最大値とそのときの積分円 Cの半径 Rを選択する機能をもっている。しかしながら、瞳孔候補保持部 280は、もともと最大値を検出する機能をもっている。したがって、セレクタ 253として、単純に時分割で減算器 252〜252 の出力と積分円の半径とを出力する構成とすることち可會である。

[0058] 瞳孔選択部 290は、瞳孔候補保持部 280に保持されている複数の瞳孔候補の中力も 1つを選び出し、その位置座標および半径を、瞳孔の位置座標および半径として、認証処理部 140へ出力する。

[0059] 図 10は、瞳孔選択部 290の動作を説明するための図である。瞳孔候補 P、 Pは、

1 2 まつげを瞳孔と間違って検出したものであり、瞳孔候補 P〜P は、真の瞳孔を検出

3 11

したものである。このように、一般に、誤検出された瞳孔候補が、密集することはほとんどないが、真の瞳孔の周囲には、瞳孔候補が密集する傾向がある。これは、瞳孔候補の検出精度に依存し、検出精度がよくなるほど、密集する瞳孔候補の数は少なくなる。

[0060] しかし、精度を上げても、撮像素子に依存する 1画素程度の誤差は残るため、真の瞳孔の中心位置に隣接する画素位置には、他の瞳孔候補の中心が存在する可能性が高い。また、照明光が角膜で反射する等の影響で、真の瞳孔の周囲に瞳孔候補力 S生じる場合もある。したがって、周囲に他の瞳孔候補の存在する瞳孔候補を、真の瞳孔として選択することにより、まつげ等を瞳孔と間違って検出する等の誤検出をなくし、瞳孔検出精度を向上させることができる。

[0061] 本実施例においては、次のようにして、複数の瞳孔候補の中から 1つを選び出している。複数の瞳孔候補に対して、互いに距離の近いものを 1つのグループとして、グループ分けする。そして、それぞれのグループに含まれる瞳孔候補の数の多いもの、あるいは、含まれる瞳孔候補の評価値の合計が高いものを手力 Sかりにして、真の瞳孔を選択している。図 11は、このような考え方にもとづいて瞳孔候補の中から瞳孔を選択する動作を示すフローチャートである。

[0062] まず、瞳孔選択部 290は、瞳孔候補を 1つ取り込む。取り込んだ瞳孔候補の X座標、 Y座標、半径および評価値を、それぞれ Xi、 Yi、 Riおよび Jiとする（S71)。次に、 X 座標、 Y座標および半径のそれぞれについて、瞳孔候補の値 Xi、 Yiおよび Riと、グループの平均値 Xgj、 Ygjおよび Rgj (jは正の整数）との差が、所定の閾値 Xth、 Yth および Rthより小さくなるグループが存在するか調べる。

[0063] すなわち、 I Xi— Xgj Iく Xth、 | Yi— Ygj |く Yth、 | Ri-Rgj |く Rthを満たすグループが存在するカゝ調べる（S72)。存在する場合には、ステップ S71で取り込んだ瞳孔候補を、そのグループに追加する（S73)。存在しない場合には、ステップ S 71で取り込んだ瞳孔候補だけを含む新たなグループを作成する（S74)。

[0064] 次に、ステップ S 73で瞳孔候補を追加されたグループ、あるいはステップ S74で新たに作成されたグループに対して、平均値 Xgj、 Ygjおよび Rgjの再計算を行う（S75 ) oグループ分けの終えていない瞳孔候補が残っている場合は、ステップ S71に戻る (S76)。すべての瞳孔候補のグループ分けを終えると、各々のグループに対して、そのグループに含まれる各瞳孔候補の評価値の合計∑Jを求める（S77)。そして、評価値の合計∑Jが最大のグループの X座標、 Y座標および半径の、平均値 Xgj、 Ygj および Rgjを、瞳孔の X座標、 Y座標および半径として、認証処理部 140へ出力する (S78)。

[0065] 以上の方法によれば、原理的には、瞳孔候補の順序によりグループ分けの結果が変わる等の不安定さはある。しかし、誤検出される瞳孔候補は、孤立しており、真の瞳孔を含む瞳孔候補の集まりは、密集している。したがって、たとえば Xth、 Ythの値を予想される瞳孔半径の 1Z2程度に設定すれば、事実上問題は発生しない。瞳孔選択部 290は、以上の動作を行う専用回路を用いて構成することも可能であるが、本実施例にぉヽては、認証処理部 140に設けられてヽる CPU (図示せず)を用いて、上述の処理を行っている。そして、このフローによれば、データ処理が比較的簡単であり、高速動作に適している。

[0066] 次に、本実施例の特徴である、同心円状の積分円を、半径が大きくなるほど、疎になるように設定した点について、詳細に説明する。図 8に示したように、積分円は、半径の小さいところでは密に設定され、半径が大きくなるにつれて、積分円が疎に設定されている。この理由は、撮像された瞳孔の大きさが、瞳孔検出精度に影響を与えないようにするためである。

[0067] 図 12A、図 12Bは、この理由を説明するための図であり、積分円の半径に対する積分値、およびその差分値を示す図である。ここで、横軸は積分円の半径 Rを、縦軸は積分値 Iおよび差分値 Δ Ιを示す。図 12Aにおいて、半径の範囲 R では、積分円は

(1)

瞳孔の内部の低輝度領域に位置するため、積分値 Iは小さな値 I を示す。また、半

(1)

径の範囲 R では、積分円は虹彩を示す円環状の中輝度領域に位置するため、積

(2)

分値 Iは比較的大きな値 I を示す。ところが、半径の範囲 R では、積分円は瞳孔と

(2) (3)

虹彩との境界部分に位置し、その積分値 Iは I と I との間の値を示す。

(1) (2)

[0068] このように、図 12Aにおいて、半径の範囲 R (以下、「境界範囲」と記す）は、瞳孔

(3)

と虹彩との境界領域に対応しており、境界範囲は、目画像を撮像する際にフォーカスがあっていない場合や、光学系の収差等の歪によって発生する。さらに、瞳孔または積分円が真円でないために、あるいは、撮像素子の画素が離散的なために、積分円

1S 瞳孔と虹彩の両方の領域にまたがってしまうことによつても発生する。このように、様々な理由により境界範囲が発生するが、境界範囲は、撮像される瞳孔が大きいほど、広くなる傾向がある。

[0069] 図 12Aの横軸上に記した矢印は、積分円の半径を示している。このように、境界範囲が、矢印で示した積分円の半径の間隔よりも小さい場合には、境界範囲に、積分円が 1つ入る可能性はあるが、 2つ以上の積分円が入る可能性はない。一方、図 12 Bで示したように、撮像された瞳孔が大きくなり、境界範囲が積分円の半径の間隔よりも広くなつた場合には、境界範囲に、積分円が 2つ以上入る可能性が高くなる。

[0070] 図 12Aには、瞳孔が小さく撮像された場合について、積分値 Iの差分値 Δ Ιも同時に示している。また、図 12Bには、瞳孔が大きく撮像された場合について、積分値 Iの差分値 Δ Ιも同時に示している。ただし、図 12A、図 12Bでは、説明のために、同心円状の積分円 C〜Cの半径が、等間隔に設定されているものとし、その位置を矢印で示している。

[0071] 瞳孔が小さく撮像された場合には、図 12Aに示すように、瞳孔と虹彩の境界の位置で、差分値 Δ Ιが大きな値を示す。ところが、瞳孔が大きく撮影された場合には、図 1 2Bに示すように、差分値 Δ Ιが小さくなる傾向がある。これは、瞳孔が大きく撮像されたときには、瞳孔と虹彩との境界領域も広くなり、この境界領域に複数の積分円が含まれると、差分がそれらの積分円に亘り、分散され、それぞれの積分円に対応する差分値が小さくなるためである。その結果、図 12に示すように、積分円の半径を等間隔に設定すると、大きな瞳孔の画像に対する差分値 Δ Ι、すなわち評価街が小さ

i 0 くなり、瞳孔検出精度が低下する可能性があった。

[0072] そこで、本実施例においては、図 8に示したように、半径の小さい積分円 C20〜C1 4は、半径が 1画素ずつ異なる同心円である。そして、もう少し半径の大きい積分円 C 13〜C9は、半径が 2画素ずつ異なる同心円である。さらに半径の大きい積分円 C8 〜C1は、半径力画素ずつ異なる同心円である。このように、同心円状の複数の積分円 C1〜C20は、半径が大きくなるほど疎になるように目画像上に、実施例においては部分フレームメモリ 222上に、設定されている。

[0073] そして、上述したように、境界範囲は、瞳孔が大きくなるほど、広くなる傾向がある。

しかし、たとえば、積分円の半径に比例して境界範囲が広がり、積分円の半径と、積分円の半径の間隔とが比例するように、積分円を設定する場合には、積分円の半径の増加分が、半径に対して指数関数的に大きくなるように、設定すればよい。このように、半径の小さい積分円を密に設定し、半径が大きくなるにつれて積分円を疎に設定することにより、瞳孔検出精度が瞳孔の大きさの影響を受けないようにしている。

[0074] 次に、瞳孔検出装置 200の動作について説明する。以下の説明では、目画像データが順次走査データであり、 1フレームが、たとえば 480ライン X 640ピクセルのデジタルデータで構成されているものとする。図 13は、本発明の実施例における瞳孔検出装置の目画像 1フレーム分の動作を示すフローチャートである。

[0075] まず、瞳孔検出装置 200は、 1画素分の画像データを取り込む（S51)。取り込んだ画像データが、 1フレームの先頭のデータであれば（S52)、 Yカウンタ 263をリセットするとともに、瞳孔候補保持部 280の各レジスタ 282〜285をリセットする（S53)。取り込んだ画像データが、 1ラインの先頭のデータであれば（S54)、 Xカウンタ 262をリセットし、 Yカウンタ 264をインクリメントする（S55)。そして、 Xカウンタ 262をインクリメントする（S56)。

[0076] 次に、取り込んだ画像データを、部分フレームメモリ 222に取り込む。すると、目画像上で、 n個の積分円 C〜Cに対応する画素のうち、各々の積分円 C力 m個ずつ、 n X m個の画像データが引出される。そして、各積分円 Cに対応する加算器 230 は、それぞれ画像データの積分値を算出する。輝度差算出器 24(^は、画像データの最大値と最小値との差 Bを算出する。変化円検出部 250は、それぞれの積分値 I の差分値 Δ Ιを計算する。ただし、差 Bが輝度差閾値 Bthよりも大きい場合には、差分値 Δ Iを強制的に 0とする（S57)。

[0077] そして、コンパレータ 254力差分値 Δ Iと差分閾値 Δ Ithとを比較する（S58)。差分値 Δ Ιが差分閾値 A lthより大きい場合には、瞳孔候補保持部 280は、このときの Xカウンタ 262、 Yカウンタ 264および積分円の半径 Roを、瞳孔候補として保持する。さらに、その差分値 Δ Ιも評価銜 oとして保持する。この場合、瞳孔候補保持部 280 は、評価値の大きい順に瞳孔候補を並べ替え、最大 k個の瞳孔候補を保持する（S5 9)。次に、取り込んだ画像データが、 1フレームの末尾のデータであるか否かを判定し（S60)、末尾でなければステップ S 51に戻る。

[0078] 入力される画像データが、 1フレームの最後の画素に到った場合は、瞳孔選択部 2 90は、それぞれの瞳孔候補に対して、その中心座標に隣接する画素位置に存在する他の瞳孔候補の数を計算する。そして、その値が最も大きい瞳孔候補の X座標、 Y 座標および半径の値を、真の瞳孔の X座標 Xo、 Y座標 Yoおよび瞳孔半径 Roとして、認証処理部 140へ出力する（S61)。

[0079] 以上の、ステップ S51からステップ S61までの一連の動作は、部分フレームメモリ 22 2に画像データを 1画素分入力する毎に実行される。たとえば、フレーム周波数が 30 Hzで、目画像力 40 Χ 480画素で構成されている場合、 lZ (30 X 640 X 480)禾少以下の時間で、上記の一連の動作が実行される。そして、部分フレームメモリ 222に 1画素入力されると、積分円は画像上で 1画素分移動するので、 1フレームの画像を入力する間に、積分円が画像上を 1回走査することになる。このようにして、比較的小規模な回路を用いて、撮像部 120で撮像された画像データに対して、リアルタイムで瞳孔検出することができる。

[0080] なお、本発明の実施例においては、同心円状の積分円の数を 20、 1つの積分円から引出す画像データの数を 8個としたが、これらの数は、検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。また、 1つの積分円から引出す画像データの数を、すべての積分円に対して、同じにする必要はない。この場合には正規化するために、各積分円の積分値を、その積分円から引出す画像データの数で除しておくとよい。

[0081] また、本実施例においては、ラインメモリとマルチプレクサとを用いて画像データ抽出部を構成した場合について説明したが、本発明は、画像データ抽出部の具体的な回路構成に依存するものではない。たとえば、シフトレジスタを用いて構成した画像データ抽出部であってもよぐ他の構成による画像データ抽出部であってもよい。

[0082] 本発明によれば、精度よぐかつ高速に、瞳孔位置の検出が可能な瞳孔検出装置および虹彩認証装置を提供することができる。

産業上の利用可能性

[0083] 本発明は、精度よぐかつ高速に、瞳孔位置検出可能な瞳孔検出装置を提供することができるので、個人認証等に用いられる虹彩認証装置等として有用である。

Claims

請求の範囲

[1] 同心円状の複数の円をそれぞれ積分円として目画像上に設定し、前記積分円の円周上に位置する目画像の画像データを抽出する画像データ抽出部と、

前記画像データ抽出部が抽出した画像データを前記積分円のそれぞれの円周に沿つて積分する周回積分部と、

前記周回積分部の積分値が前記積分円の半径に対してステップ状に変化するような積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備え、前記同心円状の複数の積分円は、半径が大きくなるほど疎になるように設定されている瞳孔検出装置。

[2] 前記同心円状の複数の積分円の半径の増加分は、その積分円の半径に対して指数関数的に大きくなるように設定した請求項 1に記載の瞳孔検出装置。

[3] 前記画像データ抽出部は、前記積分円のそれぞれに対応する複数の画像データを同時に抽出する請求項 1に記載の瞳孔検出装置。

[4] 請求項 1から請求項 3までのいずれかに記載の瞳孔検出装置を備えた虹彩認証装置。