[go: up one dir, main page]

JP2001167279A - 個体識別装置 - Google Patents

個体識別装置

Info

Publication number
JP2001167279A
JP2001167279A JP35401599A JP35401599A JP2001167279A JP 2001167279 A JP2001167279 A JP 2001167279A JP 35401599 A JP35401599 A JP 35401599A JP 35401599 A JP35401599 A JP 35401599A JP 2001167279 A JP2001167279 A JP 2001167279A
Authority
JP
Japan
Prior art keywords
data
individual
feature data
iris
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35401599A
Other languages
English (en)
Other versions
JP3995181B2 (ja
Inventor
Masahiko Suzaki
昌彦 須崎
Yuji Kuno
裕次 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP35401599A priority Critical patent/JP3995181B2/ja
Publication of JP2001167279A publication Critical patent/JP2001167279A/ja
Application granted granted Critical
Publication of JP3995181B2 publication Critical patent/JP3995181B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

(57)【要約】 【課題】 照合時の環境条件やカメラとの位置関係によ
る画像の歪みが生じても、高精度で個体識別を行うこと
のできる装置を実現する。 【解決手段】 入力画像記憶部2は、カメラ1によって
撮影された複数の異なるシーンの画像を記憶する。特徴
データ生成部8は、入力画像記憶部2の複数の画像のそ
れぞれについて、その特徴の各パラメータの値を変動さ
せて擬似的に抽出誤差のある特徴データを生成する。辞
書データ選択部7は、特徴データ生成部8で生成された
各特徴データに対して、ある画像から得られた特徴デー
タと他の画像から得られた特徴データとの平均的な相違
度を計算し、これが所定値よりも小さく、かつ、他のす
でに選択した特徴データとの相違度が予め定めた閾値よ
りも大きい場合に登録用の特徴データとして選択する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像から任意の特
徴を抽出して個体識別を行う個体識別装置に関する。
【0002】
【従来の技術】従来より、例えば下記に示す文献に記載
されているように、個体識別技術として、虹彩(アイリ
ス)を用いたものが提案されている。
【0003】[文献]米国特許第5291560号明細
書、United States Patent BIOMETRICPERSONAL IDENTIF
ICATION SYSTEM BASED ON IRIS ANALISYS
【0004】上記のような従来技術では、テレビカメラ
によって取得した画像データにおいて、瞳孔に外接する
円を検出し、それぞれの円を基準に座標系を設定する。
このようにして座標系を設定することにより、瞳孔の大
きさの変化、被写体とカメラの距離の変化などを吸収し
ている。このようにして設定された座標系に基づいて、
アイリスをいくつかの領域に分割し、それぞれの領域毎
にアイリスコードを生成する。このアイリスコードを比
較することにより個体識別を行う。
【0005】
【発明が解決しようとする課題】しかしながら、上記従
来の技術では、瞳孔の形やアイリスの形が予め設定した
場合と異なる場合や、データ取得時のカメラと被写体の
位置関係、データ取得環境などによる画像の歪みなどの
影響で、正常に照合処理を行った場合でも、期待する照
合の精度を得ることが困難であった。
【0006】
【課題を解決するための手段】本発明は、前述の課題を
解決するため次の構成を採用する。 〈構成1〉個体の画像から任意の特徴を抽出し、この特
徴に基づき個体識別を行う個体識別装置において、1個
体の複数の異なるシーンの画像を記憶する入力画像記憶
部と、入力画像記憶部に記憶された複数の画像のそれぞ
れについて、その特徴の各パラメータの値を変動させて
擬似的に抽出誤差のある特徴データを生成する特徴デー
タ生成部と、特徴データ生成部で生成された各特徴デー
タに対して、任意の画像から得られた特徴データとそれ
以外の画像から得られた特徴データとの平均相違度が所
定値より小さい任意の画像から得られた特徴データを所
定の数だけ選択して登録用の特徴データとする辞書デー
タ選択部とを備えたことを特徴とする個体識別装置。
【0007】〈構成2〉構成1に記載の個体識別装置に
おいて、選択した任意の特徴データと、それ以外のすで
に選択した特徴データとの相違度が所定の閾値より大き
い特徴データを登録用の特徴データとする辞書データ選
択部を備えたことを特徴とする個体識別装置。
【0008】〈構成3〉目画像からアイリスコードを生
成し、このアイリスコードに基づいて個体識別を行う個
体識別装置において、1個体の複数の異なるシーンの目
画像を記憶する入力画像記憶部と、入力画像記憶部に記
憶された複数の目画像のそれぞれについて、アイリス座
標系の各パラメータの値を変動させて擬似的に抽出誤差
のあるアイリスコードを生成する特徴データ生成部と、
特徴データ生成部で生成された各アイリスコードに対し
て、同一個体における任意の画像から得られたアイリス
コードとそれ以外の画像から得られたアイリスコードと
の平均相違度が所定値より小さい任意の画像から得られ
たアイリスコードを所定の数だけ選択して登録用のアイ
リスコードとする辞書データ選択部とを備えたことを特
徴とする個体識別装置。
【0009】〈構成4〉構成3に記載の個体識別装置に
おいて、選択した任意のアイリスコードと、それ以外の
すでに選択したアイリスコードとの相違度が所定の閾値
より大きいアイリスコードを登録用のアイリスコードと
する辞書データ選択部を備えたことを特徴とする個体識
別装置。
【0010】〈構成5〉構成3または4に記載の個体識
別装置において、選択を行った結果、登録用のアイリス
コードが予め決められた数に満たなかった場合、登録失
敗であることを示す情報を出力する辞書データ選択部を
備えたことを特徴とする個体識別装置。
【0011】〈構成6〉構成3〜5のいずれかに記載の
個体識別装置において、特徴データ生成部で生成された
各アイリスコードに対して、同一個体の他の画像から生
成されたアイリスコードとの平均ハミング距離が小さい
もの程照合性能が高いアイリスコードであるとして、照
合性能の高いものを任意の数だけ登録用のデータとして
選択する辞書データ選択部を備えたことを特徴とする個
体識別装置。
【0012】〈構成7〉構成3〜6のいずれかに記載の
個体識別装置において、特徴データ生成部で生成された
各アイリスコードに対して、同一個体の他の画像から生
成されたアイリスコードとのハミング距離が照合時に用
いる閾値よりも小さい場合の数を数え、この数が多いも
の程照合性能が高いアイリスコードであるとして、照合
性能の高いものを任意の数だけ登録用のデータとして選
択する辞書データ選択部を備えたことを特徴とする個体
識別装置。
【0013】〈構成8〉画像から任意の特徴を抽出して
識別を行う個体識別装置において、1個体の複数の異な
るシーンの画像に対応した複数の特徴データと、この複
数の特徴データから生成された擬似的に抽出誤差のある
特徴データとの中から、任意の画像から得られた特徴デ
ータとそれ以外の画像から得られた特徴データとの平均
相違度が所定値より小さい任意の画像から得られた特徴
データを所定の数だけ選択し、これを同一個体における
登録用の特徴データとして保有する登録データベース
と、照合対象となる個体の画像から抽出した特徴データ
に対して、登録データベース中の特徴データを照合する
場合、登録データベース中の同一個体の特徴データを登
録データベース作成時に計算した平均相違度が小さいも
のから順に照合する照合部とを備えたことを特徴とする
個体識別装置。
【0014】〈構成9〉画像から任意の特徴を抽出して
識別を行う個体識別装置において、1個体の複数の異な
るシーンの画像に対応した複数の特徴データと、この複
数の特徴データから生成された擬似的に抽出誤差のある
特徴データとの中から、任意の画像から得られた特徴デ
ータとそれ以外の画像から得られた特徴データとの平均
相違度が所定値より小さい任意の画像から得られた特徴
データを所定の数だけ選択し、これを同一個体における
登録用の特徴データとして保有する登録データベース
と、照合対象となる個体の画像から抽出した特徴データ
に対して、登録データベースの特徴データを照合する場
合、登録データベースの各個体の特徴データ中、照合が
行われていない特徴データの中で最も登録データベース
作成時に計算した平均相違度が小さいものから順に各個
体の特徴データ毎に照合する照合部とを備えたことを特
徴とする個体識別装置。
【0015】〈構成10〉構成9に記載の個体識別装置
において、1回の各個体の特徴データ毎の照合が行われ
る度に、照合対象となる個体の特徴データと、登録デー
タベース中の各個体の特徴データとの最小相違度を常に
記録しておき、この最小相違度が小さい順に並べ替えを
行い、最小値が小さい個体の特徴データのみを次回の照
合対象とする照合部を備えたことを特徴とする個体識別
装置。
【0016】
【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて詳細に説明する。
【0017】《具体例1》 〈構成〉図1は、本発明の個体識別装置の具体例1を示
す構成図である。図の装置は、カメラ1、入力画像記憶
部2、アイリス座標抽出部3、アイリス座標変動部4、
アイリスコード生成部5、データ記憶部(アイリスコー
ド記憶部)6、辞書データ選択部7からなり、アイリス
座標抽出部3、アイリス座標変動部4、アイリスコード
生成部5により特徴データ生成部8を構成している。
【0018】カメラ1は、アイリスコードを登録する人
物または動物の目を撮影するもので、カメラ1によって
取得された映像は、図示しないA/D変換部によりA/
D変換され、静止画として入力画像記憶部2に記憶され
るよう構成されている。入力画像記憶部2は、メモリや
ハードディスク等からなるものである。
【0019】また、カメラ1による撮影は明るさや撮影
角度を人為的に変更しながら一定時間行われ、その間に
撮影された映像のうち、良好な画質のものを複数フレー
ム記録する。
【0020】特徴データ生成部8は、入力画像記憶部2
に記録された全ての入力画像に対してアイリスコードを
生成する。即ち、アイリス座標抽出部3では、アイリス
コード生成のための座標系設定を行う。この座標系の抽
出は、入力画像に対して画像処理技術を用いて自動的に
行われるよう構成されている。ここで、アイリス座標系
とは、瞳孔の外側の輪郭やアイリスの外側の輪郭に、円
や楕円などの図形を当てはめたときの、中心座標や半径
などのパラメータの値であり、この値が変動することに
よって、同じ画像であっても異なるアイリスコードが生
成される。また、同じ個体から選択された画像であって
も、撮影条件などの違いにより、アイリス座標系が正確
に設定されても二つの画像間で異なるアイリスコードが
生成される。
【0021】アイリス座標変動部4は、アイリス座標抽
出部3で抽出されたアイリス座標系の各パラメータを予
め決められた範囲で変動させる機能を有している。アイ
リスコード生成部5は、アイリス座標変動部4で変動さ
せたパラメータに対してアイリスコードを生成し、入力
画像と変動させたパラメータの情報とを共にデータ記憶
部6に追加していくものである。また、このようなアイ
リス座標の変動とアイリスコードの生成は、予め決めら
れた種類のアイリスコードが得られるまで繰り返される
ようになっている。
【0022】辞書データ選択部7は、データ記憶部6に
蓄えられたアイリスコードから登録用として記録するア
イリスコードを選択する機能部であり、詳細については
動作の項で説明する。
【0023】尚、上記構成において、アイリス座標抽出
部3、アイリス座標変動部4、アイリスコード生成部
5、辞書データ選択部7の各機能は、各処理に対応した
ソフトウェアとこれを実行するためのプロセッサやメモ
リ等からなり、入力画像記憶部2やデータ記憶部6は、
半導体メモリやハードディスク装置等の記憶装置から構
成されている。
【0024】〈動作〉ここでは、登録と照合の対象を人
物とし、瞳孔の輪郭とアイリスの外側の輪郭に円を当て
はめることによってアイリスコードを生成する場合につ
いて説明する。
【0025】図2は、アイリスコードを登録するための
映像入力からアイリスコード生成までの動作を示すフロ
ーチャートである。
【0026】登録を行う人物の目に対して、照合時に起
こりうる照明変化やカメラと人との相対位置の変化、目
を動かすなどの動作を行い、それら全ての状態の映像を
記録する(ステップS101)。取得した映像のうち、
様々なシーンから良好な画像を、A/D変換によってデ
ジタル画像として、入力画像記憶部2のメモリまたはハ
ードディスク上に記憶する(ステップS102)。
【0027】従って、一つの目に対して、複数の画像フ
ァイルが生成される。尚、映像は一旦ビデオテープ等に
記録してもよいし、その場で静止画像に変換してハード
ディスクやメモリ上に記録してもよい。
【0028】次に、アイリス座標抽出部3では、入力画
像記憶部2に記録された複数フレームの画像それぞれに
対してエッジ抽出等の処理を行い、瞳孔の輪郭に円を当
てはめ、その中心座標をCp(Xp,Yp)、半径をR
pとし(ステップS104)、これを瞳孔円と呼ぶ。
【0029】また、アイリスの外側の輪郭に対しても同
様に円を当てはめ、中心座標をCi(Xi,Yi)、半
径をRiとし(ステップS105)、これをアイリス円
と呼ぶ。尚、これらの円の当てはめは、例えば従来文献
に記載されているような従来技術を用いることも可能で
あるため、ここでの詳細な説明は省略する。
【0030】上記ステップS104とステップS105
で抽出した円の各パラメータが以下の処理でアイリスコ
ードを生成するための基準となるパラメータであり、こ
れを基準パラメータと呼ぶ。
【0031】図3は、目画像とコード化画像の説明図で
ある。図3(a)は、瞳孔とアイリスの輪郭に円を当て
はめた場合の説明図であり、以下、説明を簡略にするた
め、瞳孔円とアイリス円の中心は同一である(Xp=X
i,Yp=Yi)とするが、撮影時の目とカメラ1の位
置関係による映像の歪みを補正するために、これらを別
々に扱う方法をとってもよい。
【0032】ステップS106〜ステップS109は、
入力画像に対するアイリスコードを生成する部分であ
る。瞳孔円やアイリス円の当てはめの誤差を考慮して、
これらの円の標準パラメータを一定のステップ幅で変動
させ、新しいパラメータを得る(ステップS106)。
このパラメータを変動パラメータと呼ぶ。
【0033】このステップS106では、半径RpとR
iのみを変動させるものとし、変動パラメータの値をそ
れぞれrp(=Rp+Δrp),ri(=Ri+Δr
i)と表すことにする。この他、中心座標CpやCiの
各値を変動させることも可能である。
【0034】ステップS107では、変動パラメータを
元に、アイリスコードを生成するための中間画像(コー
ド化画像と呼ぶ)を生成する。図3(b)では、コード
化画像を生成する方法の例を説明している。アイリスの
上部はまぶたやまつげ等で隠れているので、図示のよう
に、π−θから2π+θまでの範囲をコード化するもの
とする。
【0035】図3(a)のa,b,c,dと、(b)の
a,b,c,dがそれぞれ対応するようにコード化画像
を生成する。具体的には、コード化画像上の任意の点p
(xp,yp)が入力画像上(図3(a))の点q(x
q,yq)と対応するとすると、点pと点qの関係は以
下の式で表される。
【0036】点q(xq,yq)は瞳孔円の中心Cpを
原点とする極座標系で、q(rq,θq)(Cpからの
距離がrq、水平軸とのなす角がθq)と表されるもの
とすると、 xp=w×(θq−(π−θ))/(π+2θ) yp=h×(rq−rp)/(ri−rp)
【0037】ステップS108では、ステップS107
で生成されたコード化画像に対して、バンドパスフィル
タを適用することによってアイリスコードを生成する。
このアイリスコードは既知の技術が適用できるため、こ
こでの詳細な説明は省略する。ただし、アイリスコード
はコード化画像の濃度の変化に依存するため、これらの
パラメータが変動することによって、同じ入力画像から
異なる複数のアイリスコードを得ることになる。
【0038】標準パラメータの変動が決められた範囲で
完了するまで、ステップS106〜ステップS109の
処理が繰り返される。繰り返しの回数がN回であるとす
ると、1枚の入力画像からN種類のアイリスコードが生
成され、画像ファイルの情報と変動したパラメータの情
報と共に、辞書候補データとしてメモリやディスク上に
記録される(ステップS110,ステップS103)。
【0039】図4は、辞書候補データの内容を示す説明
図である。図2のステップS101、S102におい
て、一つの目に対してMフレームの画像がファイルとし
て保存されたとする。また、ステップS106〜S10
9において、ΔrpとΔriをそれぞれ−0.1〜0.
1までステップ幅0.1で変動させたとする。これによ
り、1フレームの画像から3×3=9個のコードが生成
される。この9個のコードをまとめてコードセットCD
(m)、(mは画像の番号)と呼ぶ。
【0040】また、コードセット中でΔrpとΔriが
共に0であるコード(ステップS106で抽出されたパ
ラメータに変動を加えずに生成されたアイリスコード)
を標準コードと呼び、CDs(m)と表す。従って、一
つの目に対してはM個のコードセット(M×9個のコー
ド)が生成されたことになる。m(m=1〜M)番目に
取得された静止画像に対するn(n=1〜N,N=9)
番目のコードをC(m,n)と表す。N(=9)は、Δ
rpとΔriの変動幅とステップ幅によって変化する。
【0041】図5は、辞書候補データから登録データを
選択するための照合度数を求める処理のフローチャート
である。即ち、先ず、辞書候補データ中の全てのコード
に対して、コードの照合度数Q(m,n)={D,AV
E}(m=1〜M,n=1〜N,Dは照合数,AVEは
平均のハミング距離)を計算する。
【0042】あるコードセットCD(m)(m=1〜
M)中のコードC(m,n)(n=1〜N)に対して
(ステップS201〜ステップS204,ステップS2
15)、CD(m)以外のコードセットの標準コードC
Ds(L)(L=1〜M,L≠m)(ステップS205
〜207,ステップS212)とのハミング距離HD
(L)を計算し(ステップS208)、HD(L)が照
合時に本人と他人を区別するための閾値Taを下回って
いれば(ステップS210)、照合数Dを1増やす(ス
テップS211)。
【0043】全てのLについてハミング距離の計算と、
閾値Taとの比較が終了すれば、ハミング距離の平均A
VEを計算し(ステップS209,ステップS21
3)、DとAVEをコードC(m,n)に対する照合度
数Q(m,n)={D,AVE}として登録する(ステ
ップS214)。
【0044】従って、DはC(m、n)を辞書とした場
合、他のコードセットの標準コードCDs(L)が入力
されたときに照合できた数である。
【0045】照合度数の計算はコードセット中の全ての
コードについて(ステップS215、ステップS20
4)、また、全てのコードセットについて(ステップS
216、ステップS201)行われる。なお、「照合数
が多く、照合数が同じであれば平均ハミング距離が小さ
いもの」ほど照合度数が高いものとする。
【0046】照合度数の計算には、あるコードセットC
D(m)中のコードと、それ以外のコードセットCD
(L)の標準コードだけでなく、CD(L)に含まれる
全てのコードを使用してもよい。
【0047】次に、上記照合度数の計算処理で求めた照
合度数Q(m,n)={D,AVE}に基づいて登録デ
ータを選択し、辞書セットに登録する処理を説明する。
【0048】図6は、登録データ選択処理のフローチャ
ートである。辞書セットは、ある目に対してデータ取得
時の明るさやカメラ位置などの条件の違い、アイリス座
標の当てはめ誤差などを考慮して、一つの目に対して複
数のコードを登録しておくためのもので、登録するコー
ド数をRMとすると、辞書セットはCM(r)(r=1
〜RM)と表記する。
【0049】先ず、各コードセット中のアイリスコード
を照合度数の高い順にコードをソートする。ソート後の
コードをCS(m,n)(m=1〜M,n=1〜N)と
表記する(ステップS301)。ここで、同じmに対し
て、nの数が小さいコードほど照合度数が高いものとす
る。更に、全ての辞書候補データ中で最も照合度数が高
いコードC(mm,nn)を含むコードセットをCD
(mm)とし、そのC(mm,nn)を1番目の登録デ
ータとして1番目の辞書セットCM(1)に登録する
(ステップS302)。
【0050】K=mm+1とし、r=2とする(ステッ
プS303)。Kはコードセットの番号で、K>Mなら
ばK=1とする(ステップS304)。コードセットの
CD(K)中で、辞書セットに登録されていないコード
のうち、最も照合度数が高いコードCS(K,n)と、
既に登録されてある辞書セット中の全てのコードCM
(r)とのハミング距離を計算し、その最小値を求め
る。この最小値が登録のための閾値Trよりも大きけれ
ば(ステップS307)、このコードを辞書セットCM
(r)に登録し、Kの値とrの値をそれぞれ1ずつ増や
す(ステップS308)。
【0051】これによって、辞書セット中の各コード
は、これを辞書とした場合、他の入力データに対して照
合できる割合が高く、かつ、辞書セット中の他のコード
とは、その個体のコード空間(その個体から生成され得
る全てのコードの集合)における距離が離れているとい
う性質を持つ。
【0052】図7は、コードCM(r)とコード空間と
の関係を示す説明図である。図示の状態は、即ち、辞書
セット中のコードがコード空間内に適当に散らばってお
り、これを用いれば、照合時の環境の変化におるアイリ
スコードの変動がカバーできることを意味している。
【0053】図6のステップS307において、ハミン
グ距離の最小値がTrよりも小さければ、コードセット
CD(K)中の次に照合度数が高いものについて同じ処
理を行う(ステップS309,S306,S307)。
【0054】コードセットCD(K)中の全てのコード
について、ステップS309,S306、S307の処
理を行った結果、CD(K)中の条件を満たすコードが
なかった場合、Kを1増やして(ステップS311)、
ステップS304に戻る。但し、K=1〜Mの全てのコ
ードセットの全てのコード(辞書候補データ中の全ての
コード)について、ステップS307の条件を満たすコ
ードがなかった場合(ステップS310)、Trを予め
定めた値drだけ下げて(ステップS307の条件を緩
めて)(ステップS312)、ステップS304に戻
る。上記ステップS304〜ステップS312の繰り返
しは、辞書セット中のコード数がRMになるまで(ステ
ップS305でr>RMとなるまで)行われる。
【0055】また、全てのコードセットCD(K)に対
して上記処理を行った結果、辞書セットCM(RM)に
満たなかった場合、辞書データ選択部7は、登録失敗で
あるとして、これを示すメッセージを表示する等、その
情報を出力する。即ち、このような場合は、カメラ1で
取得した画像が不鮮明であったり、照明条件が不適切で
ある等、画像として良好なものが少なかった場合であ
る。従って、このようなメッセージを見ることにより、
オペレータは登録の失敗を認識することができる。
【0056】〈効果〉以上のように具体例1によれば、
1個体の複数の異なるシーンの目画像に対応した複数の
アイリスコードと、これらのアイリスコードからそれぞ
れ生成された擬似的に抽出誤差のあるアイリスコードと
の中から、あるアイリスコードとそれ以外のアイリスコ
ードとのハミング距離が所定値より小さいアイリスコー
ドを所定の数だけ選択し、これを同一個体における登録
用のアイリスコードとして選択するようにしたので、あ
る目に対する照合を行う場合、照合時の環境条件やカメ
ラとの位置関係による画像の歪みが生じても、複数のコ
ードを登録してあるため、照合できる可能性が高くな
る。
【0057】また、アイリスコードのハミング距離があ
る距離以上離れているアイリスコードを登録するように
したので、決められた数でその目から生成されるコード
空間をカバーできることから、一つの目に対する登録辞
書の数が制限でき、データ量の削減を図ることができ
る。
【0058】《具体例2》具体例2は、具体例1の登録
辞書を用いて照合を行うようにした例である。
【0059】〈構成〉図8は、具体例2の構成図であ
る。図の装置は、カメラ11、アイリス座標抽出部1
2、アイリスコード生成部13、照合部(アイリスコー
ド比較部)14、照合結果出力部15、登録データベー
ス16からなり、アイリス座標抽出部12とアイリスコ
ード生成部13により特徴データ生成部17を構成して
いる。
【0060】カメラ11は、照合の対象となる人物また
は動物の目を撮影するもので、カメラ11によって取得
された映像は、図示しないA/D変換部によりA/D変
換され、また、図示しないメモリまたはハードディスク
に保存された後、アイリス座標抽出部12に入力される
よう構成されている。
【0061】アイリス座標抽出部12は、アイリスコー
ド生成のための座標系設定を行う機能部であり、この座
標系の抽出は、入力画像に対して画像処理技術を用いて
自動的に行われるよう構成されている。また、アイリス
コード生成部13は、アイリス座標抽出部12で抽出し
た座標パラメータを用いてアイリスコードを計算する機
能を有している。即ち、特徴データ生成部17は、入力
画像からアイリスコードを生成する機能を有している。
【0062】照合部14は、アイリスコード生成部13
で計算したアイリスコードと登録データベース16の辞
書データとの相違度を計算し、照合結果出力部15に送
る機能を有している。また、照合結果出力部15は、照
合部14で計算した照合結果を出力する機能部である。
【0063】登録データベース16は、照合を行うため
の辞書データであるアイリスコードが登録されたデータ
ベースであり、これは具体例1の装置により生成された
ものである。
【0064】尚、上記構成において、アイリス座標抽出
部12、アイリスコード生成部13、照合部14の各機
能は、各処理に対応したソフトウェアとこれを実行する
ためのプロセッサやメモリ等からなり、登録データベー
ス16は、ハードディスク装置等からなる。また、照合
結果出力部15は、ディスプレイやプリンタあるいはネ
ットワーク等からなる。
【0065】〈動作〉図9は、具体例2の動作を示すフ
ローチャートである。ここでは、個人識別装置での具体
例、即ち、識別対象が人である場合について説明する。
【0066】図9の説明の前に、図8中の登録データベ
ース16の内容について説明する。データベースに登録
している人物の数をNRとすると、データベースはNR
個の辞書セットからなる。辞書セットは上記具体例1で
作成したものと同一であるが、辞書セット内では照合度
数の高いものの順に並べ替えられているものとする。即
ち、ある辞書セットCM(r)に含まれるコードをDC
(r,n)(r=1〜NR,n=1〜ND(r))と表
記すると、
【0067】 Q(r,n)≧Q(r,n+1) Q(r,n)はDC(r,n)の照合度数 となる。但し、ND(r)は辞書セットCM(r)に含
まれるコードの数であり、辞書セットによってその数が
異なっていてもよい。
【0068】図9において、人の目の映像がアイリス座
標抽出部12に入力されると(ステップS401)、ア
イリス座標抽出部12は、アイリス座標を抽出した後、
アイリスコードICを作成する(ステップS402)。
次に、最小値ホルダMD(r)(r=1〜NR)を十分
大きな値で初期化する(ステップS403)。この最小
値ホルダMD(r)は、各辞書セットCM(r)に含ま
れるコードと入力アイリスコードとのハミング距離の最
小値を記憶するものである。
【0069】次に、ステップS404において、繰り返
し回数cr、関数R(cr),辞書セットの個数r、変
数nを初期化する。ここで、繰り返し回数cr(cr=
1〜NC)は、ステップS405の繰り返し回数をカウ
ントする(ステップS412)もので、NCは各辞書セ
ットに含まれるコードの数より少ない整数である。ま
た、この繰り返しが行われる度に、最小値ホルダMD
(r)が小さい順に辞書セットCM(r)をソートする
(ステップS413)。ソートした結果、辞書セットC
M(r)の番号と、含まれるコード、最小値ホルダMD
(r)も対応がとれるように内容を変更する。
【0070】関数R(cr)は、繰り返し回数crに対
して、いくつの辞書セットをハミング距離の比較対象と
なるコードして使用するかを決定する関数である。これ
は、単調減少関数で、cr=1のときはR(cr)=N
Rで、最小値は1である。R(cr)=NRということ
は、全ての辞書セットを検索の対象にするということで
あり、例えば、R(cr)=n(n<NR)であれば、
辞書セットのうち、最小値ホルダMD(r)の値の小さ
い上位n個の辞書セットが検索の対象になるという意味
である。従って、R(cr)=1の場合は、検索対象の
辞書セットが一つに絞られたことになる。R(cr)
は、例えば、下式、
【0071】R(1)=NR R(cr)=R(cr−1)/2 cr>2 if R(cr)<1 then R(cr)=1 という関数にする。これは、繰り返しが行われる度に、
比較の対象となる辞書セットの数を半分に絞っていくと
いう関数である。
【0072】ステップS406のN(cr)は、繰り返
し回数crに対して登録セット内の何番目までのコード
をハミング距離の計算に用いるかを決定する関数であ
る。N(cr)のチェックに用いる変数はnであり(ス
テップS406)、このnはステップS404で初期化
された後は、ステップS407,S408,S409,
S410,ステップS411の繰り返しが行われる度に
1ずつ増える。即ち、ステップS407において、r>
R(cr)となるまで、ステップS408〜ステップS
411の処理を繰り返し、r>R(cr)になった場合
は、nを1増やして(ステップS415)、ステップS
406に戻る。登録セット内のコードの順番は並べ替え
は行われないので、一度ハミング距離を計算したコード
は、それ以降ハミング距離の計算に用いられることはな
い。
【0073】ステップS408では、入力アイリスコー
ドICとr番目の登録セットCM(r)中のn番目のコ
ードDC(r,n)とのハミング距離HDの計算が行わ
れる。ハミング距離HDが本人と他人を区別する閾値T
aより小さければ(ステップS409)、この人物は辞
書セットCM(r)の人物と同じ人物であるとして結果
を出力する(ステップS416)。
【0074】ステップS409の条件が満たされない場
合、辞書セットCM(r)に対応する最小値ホルダMD
(r)の内容を更新し(ステップS410)、rの値を
一つ増やして(ステップS411)、ステップS407
に戻る。
【0075】ステップS405で全ての繰り返しが終了
した場合、入力されたアイリスコードと一致する人物は
いないとして結果を出力する(ステップS414)。
【0076】次に、上記照合動作について一例を用いて
更に説明する。図10は、図9における繰り返し部分の
例を示す説明図である。ここでは、登録してある人物の
数をNR=8とし、各辞書セット中のコードの数をND
(r)=7(r=1〜NR、全ての辞書セットが同じコ
ード数である)、繰り返し数NC=4としている。ま
た、繰り返しごとの比較対象コード数は、
【0077】N(1)=1 N(2)=3 N(3)=5 N(4)=ND(max)=7 とし、R(cr)は上記式の、繰り返しが行われる度に
辞書セットの数を半分に絞っていく関数を用いている。
【0078】1回目の繰り返しでは、全ての辞書セット
中の1番目のコードを入力アイリスコードICとのハミ
ング距離の比較に用いている。その結果、照合できなか
った場合、CM(1)〜CM(8)を最小相違度の小さ
いもの順にソートする。上記R(cr)の式に基づい
て、2回目の繰り返しに進む辞書セットはソートされた
辞書セットのうち上位四つとなる。
【0079】この2回目の繰り返しのときのCM(1)
〜CM(4)の内容は、1回目の繰り返しのときのCM
(1)〜CM(4)とは異なる。例えば、1回目の繰り
返しで最小相違度がCM(3)<CM(6)<CM
(2)<CM(5)<CM(1)<CM(4)<CM
(8)<CM(7)であったとすると、2回目の繰り返
しに進むのは、CM(3)、CM(6)、CM(2)、
CM(5)であり、これらに対して1〜4の番号がふり
直されている。
【0080】2回目の繰り返しでは、N(2)=3よ
り、それぞれの辞書セット中で3番目までのコードをハ
ミング距離の計算に用いる。但し、1番目のコードは計
算済みなので、ここでは2番目と3番目のコードのみが
比較対象となる。2回目の繰り返しが終了すると、CM
(1)〜CM(4)を最小相違度が小さいもの順にソー
トする。上記R(cr)の式に基づいて、3回目の繰り
返しに進む辞書セットはソートされた辞書セットのうち
上位二つとなる。
【0081】この3回目の繰り返しのときのCM
(1)、CM(2)の内容は、上述した2回目の繰り返
しのときの説明と同様に、2回目の繰り返しのときのC
M(1)、CM(2)とは異なる。例えば、2回目の繰
り返しで最小相違度がCM(2)<CM(4)<CM
(1)<CM(3)であったとすると、3回目の繰り返
しに進むのは、CM(2)、CM(4)であり、これら
に対して1、2の番号がふり直されている。
【0082】3回目の繰り返しでは、N(3)=5よ
り、それぞれの辞書セット中で5番目までのコードをハ
ミング距離の計算に用いる。但し、1番目〜3番目のコ
ードは計算済みなので、ここでは4番目と5番目のコー
ドのみが比較対象となる。3回目の繰り返しが終了する
と、CM(1)とCM(2)を最小相違度が小さいもの
順にソートする。上記R(cr)の式に基づいて、4回
目の繰り返しに進む辞書セットはソートされた辞書セッ
トのうち最小相違度の小さい方となる。
【0083】4回目の繰り返しでは、N(4)=ND
(max)(辞書セットに登録されてあるコード数の最大
値)=7より、最後に残った辞書セット中の全てのコー
ドを比較対象にする。
【0084】1回目〜4回目の繰り返しの途中で、照合
している人物と一致すると判断されたコードがあれば、
そのコードの属する辞書セットに記録されている人物の
IDなどを結果として出力する。1回目〜4回目の繰り
返しで、照合できる人物がいなければ、登録されていな
い人物であるという結果を出力する。
【0085】〈効果〉以上のように具体例2によれば、
一人の人物に対して複数のアイリスコードを登録し、そ
れらを予め照合可能性の高い順番に並べておき、その順
番に照合を行うため、照合までの時間が短縮される。ま
た、多人数を登録してある場合でも、それぞれの人物が
登録してあるコードのうち、何番目までを比較に用いる
かを繰り返し回数毎に決めておき、繰り返しが行われる
度に検索対象を絞りながら比較を行うので、それぞれの
辞書セット内を偏りなく検索することができる。
【0086】尚、上記具体例1、2では共に識別対象と
して人物の例を説明したが、同様の認識技術で照合が行
える他の動物に対しても応用が可能である。また、登録
データと入力データの相違度を元に認識を行うような装
置であれば、アイリスコードに限らず他の識別装置に対
しても適用可能である。更に、特徴データの相違度もハ
ミング距離を用いたが、相違度を示すものであればユー
クリッド距離やマハラノビス距離等、他の距離尺度を使
用してもよい。
【図面の簡単な説明】
【図1】本発明の個体識別装置の具体例1を示す構成図
である。
【図2】アイリスコードを登録するための映像入力から
アイリスコード生成までの動作を示すフローチャートで
ある。
【図3】目画像とコード化画像の説明図である。
【図4】辞書候補データの内容を示す説明図である。
【図5】辞書候補データから登録データを選択するため
の照合度数を求める処理のフローチャートである。
【図6】登録データ選択処理のフローチャートである。
【図7】コードCM(r)とコード空間との関係を示す
説明図である。
【図8】具体例2の構成図である。
【図9】具体例2の動作を示すフローチャートである。
【図10】図9における繰り返し部分の例を示す説明図
である。
【符号の説明】
2 入力画像記憶部 6 データ記憶部 7 辞書データ選択部 8、17 特徴データ生成部 14 照合部 16 登録データベース

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 個体の画像から任意の特徴を抽出し、当
    該特徴に基づき個体識別を行う個体識別装置において、 1個体の複数の異なるシーンの画像を記憶する入力画像
    記憶部と、 前記入力画像記憶部に記憶された複数の画像のそれぞれ
    について、その特徴の各パラメータの値を変動させて擬
    似的に抽出誤差のある特徴データを生成する特徴データ
    生成部と、 前記特徴データ生成部で生成された各特徴データに対し
    て、任意の画像から得られた特徴データとそれ以外の画
    像から得られた特徴データとの平均相違度が所定値より
    小さい前記任意の画像から得られた特徴データを所定の
    数だけ選択して登録用の特徴データとする辞書データ選
    択部とを備えたことを特徴とする個体識別装置。
  2. 【請求項2】 請求項1に記載の個体識別装置におい
    て、 選択した任意の特徴データと、それ以外のすでに選択し
    た特徴データとの相違度が所定の閾値より大きい特徴デ
    ータを登録用の特徴データとする辞書データ選択部を備
    えたことを特徴とする個体識別装置。
  3. 【請求項3】 目画像からアイリスコードを生成し、当
    該アイリスコードに基づいて個体識別を行う個体識別装
    置において、 1個体の複数の異なるシーンの目画像を記憶する入力画
    像記憶部と、 前記入力画像記憶部に記憶された複数の目画像のそれぞ
    れについて、アイリス座標系の各パラメータの値を変動
    させて擬似的に抽出誤差のあるアイリスコードを生成す
    る特徴データ生成部と、 前記特徴データ生成部で生成された各アイリスコードに
    対して、同一個体における任意の画像から得られたアイ
    リスコードとそれ以外の画像から得られたアイリスコー
    ドとの平均相違度が所定値より小さい前記任意の画像か
    ら得られたアイリスコードを所定の数だけ選択して登録
    用のアイリスコードとする辞書データ選択部とを備えた
    ことを特徴とする個体識別装置。
  4. 【請求項4】 請求項3に記載の個体識別装置におい
    て、 選択した任意のアイリスコードと、それ以外のすでに選
    択したアイリスコードとの相違度が所定の閾値より大き
    いアイリスコードを登録用のアイリスコードとする辞書
    データ選択部を備えたことを特徴とする個体識別装置。
  5. 【請求項5】 請求項3または4に記載の個体識別装置
    において、 選択を行った結果、登録用のアイリスコードが予め決め
    られた数に満たなかった場合、登録失敗であることを示
    す情報を出力する辞書データ選択部を備えたことを特徴
    とする個体識別装置。
  6. 【請求項6】 請求項3〜5のいずれかに記載の個体識
    別装置において、 特徴データ生成部で生成された各アイリスコードに対し
    て、同一個体の他の画像から生成されたアイリスコード
    との平均ハミング距離が小さいもの程照合性能が高いア
    イリスコードであるとして、当該照合性能の高いものを
    任意の数だけ登録用のデータとして選択する辞書データ
    選択部を備えたことを特徴とする個体識別装置。
  7. 【請求項7】 請求項3〜6のいずれかに記載の個体識
    別装置において、 特徴データ生成部で生成された各アイリスコードに対し
    て、同一個体の他の画像から生成されたアイリスコード
    とのハミング距離が照合時に用いる閾値よりも小さい場
    合の数を数え、この数が多いもの程照合性能が高いアイ
    リスコードであるとして、当該照合性能の高いものを任
    意の数だけ登録用のデータとして選択する辞書データ選
    択部を備えたことを特徴とする個体識別装置。
  8. 【請求項8】 画像から任意の特徴を抽出して識別を行
    う個体識別装置において、 1個体の複数の異なるシーンの画像に対応した複数の特
    徴データと、当該複数の特徴データから生成された擬似
    的に抽出誤差のある特徴データとの中から、任意の画像
    から得られた特徴データとそれ以外の画像から得られた
    特徴データとの平均相違度が所定値より小さい前記任意
    の画像から得られた特徴データを所定の数だけ選択し、
    これを同一個体における登録用の特徴データとして保有
    する登録データベースと、 照合対象となる個体の画像から抽出した特徴データに対
    して、前記登録データベース中の特徴データを照合する
    場合、前記登録データベース中の同一個体の特徴データ
    を当該登録データベース作成時に計算した平均相違度が
    小さいものから順に照合する照合部とを備えたことを特
    徴とする個体識別装置。
  9. 【請求項9】 画像から任意の特徴を抽出して識別を行
    う個体識別装置において、 1個体の複数の異なるシーンの画像に対応した複数の特
    徴データと、当該複数の特徴データから生成された擬似
    的に抽出誤差のある特徴データとの中から、任意の画像
    から得られた特徴データとそれ以外の画像から得られた
    特徴データとの平均相違度が所定値より小さい前記任意
    の画像から得られた特徴データを所定の数だけ選択し、
    これを同一個体における登録用の特徴データとして保有
    する登録データベースと、 照合対象となる個体の画像から抽出した特徴データに対
    して、前記登録データベースの特徴データを照合する場
    合、前記登録データベースの各個体の特徴データ中、照
    合が行われていない特徴データの中で最も前記登録デー
    タベース作成時に計算した平均相違度が小さいものから
    順に各個体の特徴データ毎に照合する照合部とを備えた
    ことを特徴とする個体識別装置。
  10. 【請求項10】 請求項9に記載の個体識別装置におい
    て、 1回の各個体の特徴データ毎の照合が行われる度に、照
    合対象となる個体の特徴データと、登録データベース中
    の各個体の特徴データとの最小相違度を常に記録してお
    き、この最小相違度が小さい順に並べ替えを行い、最小
    値が小さい個体の特徴データのみを次回の照合対象とす
    る照合部を備えたことを特徴とする個体識別装置。
JP35401599A 1999-12-14 1999-12-14 個体識別装置 Expired - Fee Related JP3995181B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35401599A JP3995181B2 (ja) 1999-12-14 1999-12-14 個体識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35401599A JP3995181B2 (ja) 1999-12-14 1999-12-14 個体識別装置

Publications (2)

Publication Number Publication Date
JP2001167279A true JP2001167279A (ja) 2001-06-22
JP3995181B2 JP3995181B2 (ja) 2007-10-24

Family

ID=18434747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35401599A Expired - Fee Related JP3995181B2 (ja) 1999-12-14 1999-12-14 個体識別装置

Country Status (1)

Country Link
JP (1) JP3995181B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004042658A1 (ja) * 2002-11-07 2004-05-21 Matsushita Electric Industrial Co., Ltd. 個人認証方法、虹彩登録装置、虹彩認証装置および個人認証プログラム
JP2004167227A (ja) * 2002-11-07 2004-06-17 Matsushita Electric Ind Co Ltd 個人認証方法、虹彩登録装置、虹彩認証装置および個人認証プログラム
WO2005109344A1 (ja) * 2004-05-10 2005-11-17 Matsushita Electric Industrial Co., Ltd. 虹彩登録方法、虹彩登録装置および虹彩登録プログラム
JP2006338612A (ja) * 2005-06-06 2006-12-14 Hitachi Ltd 本人認証システム
JP2009009488A (ja) * 2007-06-29 2009-01-15 Fuji Xerox Co Ltd 真偽判定装置及び真偽判定プログラム
JP2012221476A (ja) * 2011-04-14 2012-11-12 Toshiba Corp パターン選択装置、パターン選択方法、およびプログラム
JP2020102259A (ja) * 2016-01-19 2020-07-02 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼画像の収集、選択および組み合わせ

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796784B2 (en) 2002-11-07 2010-09-14 Panasonic Corporation Personal authentication method for certificating individual iris
CN100337248C (zh) * 2002-11-07 2007-09-12 松下电器产业株式会社 个人认证方法和认证程序、虹膜登录装置和认证装置
WO2004042658A1 (ja) * 2002-11-07 2004-05-21 Matsushita Electric Industrial Co., Ltd. 個人認証方法、虹彩登録装置、虹彩認証装置および個人認証プログラム
JP2004167227A (ja) * 2002-11-07 2004-06-17 Matsushita Electric Ind Co Ltd 個人認証方法、虹彩登録装置、虹彩認証装置および個人認証プログラム
US8064649B2 (en) 2004-05-10 2011-11-22 Panasonic Corporation Techniques and apparatus for increasing accuracy of iris authentication by utilizing a plurality of iris images having different pupil diameter/iris diameter ratios
CN100498837C (zh) * 2004-05-10 2009-06-10 松下电器产业株式会社 虹彩注册方法、虹彩注册装置
WO2005109344A1 (ja) * 2004-05-10 2005-11-17 Matsushita Electric Industrial Co., Ltd. 虹彩登録方法、虹彩登録装置および虹彩登録プログラム
US7623686B2 (en) 2004-05-10 2009-11-24 Panasonic Corporation Techniques and apparatus for increasing accuracy of iris authentication by utilizing a plurality of iris images
US8208693B2 (en) 2004-05-10 2012-06-26 Panasonic Corporation Techniques and apparatus for increasing accuracy of iris authentication by utilizing a plurality of iris images having different pupil diameter/iris diameter ratios
JP2006338612A (ja) * 2005-06-06 2006-12-14 Hitachi Ltd 本人認証システム
JP2009009488A (ja) * 2007-06-29 2009-01-15 Fuji Xerox Co Ltd 真偽判定装置及び真偽判定プログラム
JP2012221476A (ja) * 2011-04-14 2012-11-12 Toshiba Corp パターン選択装置、パターン選択方法、およびプログラム
JP2020102259A (ja) * 2016-01-19 2020-07-02 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼画像の収集、選択および組み合わせ
US11209898B2 (en) 2016-01-19 2021-12-28 Magic Leap, Inc. Eye image collection
US11231775B2 (en) 2016-01-19 2022-01-25 Magic Leap, Inc. Eye image selection
US11579694B2 (en) 2016-01-19 2023-02-14 Magic Leap, Inc. Eye image selection

Also Published As

Publication number Publication date
JP3995181B2 (ja) 2007-10-24

Similar Documents

Publication Publication Date Title
US8885942B2 (en) Object mapping device, method of mapping object, program and recording medium
JP4863423B2 (ja) 虹彩を用いた身元確認システム及び方法並びにその方法を実行するための身元確認プログラムを格納したコンピュータ読取り可能な記録媒体
US9367756B2 (en) Selection of representative images
JP6026119B2 (ja) 生体情報処理装置
US8311272B2 (en) Image processing apparatus for identifying an individual object, image processing method, and storage medium
US7873190B2 (en) Face feature point detection device and method
US20100266165A1 (en) Methods and systems for biometric identification
US20180357475A1 (en) Authentication device and authentication method
US20070036400A1 (en) User authentication using biometric information
JP2003317102A (ja) 瞳孔・虹彩円検出装置
US10896319B2 (en) Person identification device
JP5963609B2 (ja) 画像処理装置、画像処理方法
KR20050025927A (ko) 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
JP2019159958A (ja) 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
WO2020211387A1 (zh) 电子合同显示方法、装置、电子设备及计算机存储介质
JP7778850B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
JP3995181B2 (ja) 個体識別装置
CN115798022B (zh) 一种基于特征提取的人工智能识别方法
CN110929570B (zh) 虹膜快速定位装置及其定位方法
CN115082996A (zh) 一种人脸关键点检测方法、装置、终端设备及存储介质
KR20230108210A (ko) 사용자 트렌드에 기초한 사진 인화 서비스 제공 방법 및 장치
WO2002007096A1 (en) Device for tracking feature point on face
JPWO2020136794A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

LAPS Cancellation because of no payment of annual fees