[go: up one dir, main page]

KR100977499B1 - 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템 - Google Patents

거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템 Download PDF

Info

Publication number
KR100977499B1
KR100977499B1 KR1020080056432A KR20080056432A KR100977499B1 KR 100977499 B1 KR100977499 B1 KR 100977499B1 KR 1020080056432 A KR1020080056432 A KR 1020080056432A KR 20080056432 A KR20080056432 A KR 20080056432A KR 100977499 B1 KR100977499 B1 KR 100977499B1
Authority
KR
South Korea
Prior art keywords
angle camera
mirror
narrow
wide
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080056432A
Other languages
English (en)
Other versions
KR20090130696A (ko
Inventor
김재희
박강령
조현수
배광혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080056432A priority Critical patent/KR100977499B1/ko
Priority to PCT/KR2009/002912 priority patent/WO2009154368A2/ko
Publication of KR20090130696A publication Critical patent/KR20090130696A/ko
Application granted granted Critical
Publication of KR100977499B1 publication Critical patent/KR100977499B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

본 발명은 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템에 관한 것으로, 가시광선 영상 촬영용 광각카메라와 적외선 영상 촬영용 협각카메라 및 상기 협각카메라용 근적외선 조명장치의 광축을 미러 부재(예컨대, Hot mirror)를 통해 일치시키고, 일치된 광축을 1대의 거울 PT(Pan-Tilt) 장치로 제어하여 원거리에 있는 사용자의 홍채 영상을 획득한다.
본 발명에 의하면 1대의 거울 PT 장치로 협각카메라의 광축이 항상 광각카메라의 광축과 일치한 상태에서 근적외선 조명이 협각카메라의 화각 범위만을 비추도록 제어하므로 별도로 조명 제어를 하지 않더라도 양질의 밝은 홍채 영상을 획득할 수 있고, 협각카메라의 화각 범위만을 비출 규모의 조명이 필요하게 되므로 조명 장치를 종래에 비해 상대적으로 저렴한 가격으로 더 작은 규모로 구현하면서도 조명에 대한 눈 안전성을 향상시킬 수 있으며, 이와 더불어 기존의 메가픽셀급 협각카메라보다 저렴하면서 적은 조명으로도 홍채 영상을 획득할 수 있는 저조도 카메라(예컨대, VGA급 저조도 카메라) 혹은 근적외선 카메라 등을 협각카메라로 사용할 수 있다.
홍채, 홍채 영상 획득 시스템, 거울 PT 장치, 광각카메라, 협각카메라

Description

거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템{Iris image acquisition system using panning and tilting of mirror at a long distance}
본 발명은 홍채 영상 획득 기술에 관한 것이며, 더욱 상세히는 가시광선 영상 촬영용 광각카메라와 적외선 영상 촬영용 협각카메라 및 상기 협각카메라용 근적외선 조명장치의 광축을 일치시키고, 일치된 광축을 1대의 거울 PT(Pan-Tilt) 장치로 제어하여 원거리에 있는 사용자, 즉 홍채 인식 대상자의 홍채 영상을 획득하는 거울의 패닝(panning)과 틸팅(tilting)을 이용한 원거리 홍채 영상 획득 시스템에 관한 것이다.
종래의 홍채 인식 시스템에 일반적으로 적용되는 홍채 영상 획득 기술 중, 사르노프사(Sarnoff Corporation)에서 제품명 "Iris On the Move"로 개발한 포털 시스템(Portal system)은 움직임이 없는 2대의 단초점 메가픽셀급 고해상도 카메라를 사용하고, 원거리에 있는 사용자는 카메라가 촬영하고 있는 게이트를 통과하는 시스템으로, 빠른 처리 속도(20 subjects/min)를 나타내는 장점이 있다.
다른 한편, 미쯔비시사(Mitsubishi Corporation)에서 PT(Pan-Tilt) 장치와 1대의 광각(WFOV; Wide-field-of-view)카메라와 1대의 메가픽셀급 협각(NFOV; narrow-field-of-view)카메라를 이용하여 비교적 넓은 동작 범위에서 원거리에 있는 사용자의 얼굴 검출 및 추출된 얼굴 특징점 정보를 이용한 거리 예측 기법을 이용하여 홍채 영상 취득 기법을 소개한 바 있다.
하지만, 상기한 사르노프사(Sarnoff Corporation)의 포털 시스템(Portal system)은 게이트를 통과하는 사용자의 위치 및 자세의 제약이 있으며, 특히 카메라에서 촬영되는 영역이 게이트 전역이므로 촬영 영역을 전부 비추기 위해서 게이트 전체에 걸쳐 상당한 수의 적외선 조명이 부착되어 전체 시스템 비용이 증가하는 단점이 있다.
또한, 상기한 미쯔비시사(Mitsubishi Corporation)의 홍채 영상 취득 기법은 PT(Pan-Tilt) 기능으로 인해 비교적 넓은 동작 범위를 가지는 장점이 있는 반면에, 상기 메가픽셀급 협각카메라의 촬영 영역을 충분히 비춰줄 만큼 고출력 특성을 나타내는 대규모의 근적외선 조명이 필요하고, 이에 따라 고출력을 내기 위한 대규모 조명들의 제어가 힘들다는 단점이 있다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 가시광선 영상 촬영용 광각카메라와 적외선 영상 촬영용 협각카메라 및 상기 협각카메라용 근적외선 조명장치의 광축을 미러 부재를 통해 일치시키고, 일치된 광축을 1대의 거울 PT(Pan-Tilt) 장치로 제어하면서 상기 협각카메라가 작동할 때만 협각카메라의 촬영 영역을 비추는 근적외선 조명장치를 작동시켜 비강압적으로 원거리에 있는 사용자, 즉 홍채 인식 대상자의 홍채 영상을 획득하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템을 제공하는 것이다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 또 다른 목적은 광각카메라보다 상대적으로 더 큰 화각을 갖는 초광각카메라로 사용자, 즉 홍채 인식 대상자의 눈 위치를 먼저 검출한 다음, 1대의 거울 PT(Pan-Tilt) 장치로 가시광선 영상 촬영용 광각카메라와 적외선 영상 촬영용 협각카메라 및 상기 협각카메라용 근적외선 조명장치의 광축을 일치시키고, 상기 협각카메라가 작동할 때만 협각카메라의 촬영 영역을 비추는 근적외선 조명장치를 사용하여 비강압적으로 원거리에 있는 사용자, 즉 홍채 인식 대상자의 홍채 영상을 획득하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템을 제공하는 것이다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템의 실시예는, 사용자 감지 영상을 촬영하는 광각카메라와; 줌 렌즈 및 초점 렌즈 조절 기능을 구비하여 사용자 홍채 영상을 촬영하는 협각카메라; 상기 협각카메라가 작동할 때만 협각카메라의 촬영 영역을 비추는 근적외선 조명장치; 상기 광각카메라와 협각카메라의 전방에 배치된 상태에서 가시광선을 투과 혹은 반사시키거나 적외선을 투과 혹은 반사시켜 상기 광각카메라와 협각카메라의 광축을 일치시키는 미러 부재; 전반사 거울을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하거나 상기 미러 부재에 반사되는 가시광선이나 적외선의 경로를 변경함으로써 광축 일치된 상기 광각카메라와 협각카메라의 촬영방향을 변경하는 거울 PT(Pan-Tilt) 장치; 및 상기 광각카메라에 의해 촬영된 사용자 감지 영상으로부터 얼굴이 확인된 후 눈 위치를 검출한 결과에 따라 상기 광각카메라의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치의 전반사 거울을 패닝 혹은 틸팅시킨 다음, 상기 근적외선 조명장치를 작동시키면서 상기 거울 PT 장치의 전반사 거울을 패닝 혹은 틸팅시켜 사용자의 눈이 협각카메라의 촬영 영상 중심에 위치하면 상기 협각카메라의 줌 렌즈를 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 가변하고 자동 초점 조절을 하여 홍채 영상을 획득하는 메인 프로세서;로 구성된다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템의 또 다른 실시예는, 사용자 감지 영상을 촬영하는 광각카메라와; 상기 광각카메라보다 상대적으로 더 큰 화각을 갖는 초광각카메라; 줌 렌즈 및 초점 렌즈 조절 기능을 구비하여 사용자 홍채 영상을 촬영하는 협각카메라; 상기 협각카메라가 작동할 때만 협각카메라의 촬영 영역을 비추는 근적외선 조명장치; 상기 광각카메라와 협각카메라의 전방에 배치된 상태에서 가시광선을 투과 혹은 반사시키거나 적외선을 투과 혹은 반사시켜 상기 광각카메라와 협각카메라의 광축을 일치시키는 미러 부재; 전반사 거울을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하거나 상기 미러 부재에 반사되는 가시광선이나 적외선의 경로를 변경함으로써 광축 일치된 상기 광각카메라와 협각카메라의 촬영방향을 변경하는 거울 PT(Pan-Tilt) 장치; 및 상기 초광각카메라에 의해 촬영된 사용자 감지 영상으로부터 얼굴이 확인된 후 눈 위치를 검출한 결과에 따라 상기 광각카메라의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치의 전반사 거울을 패닝 혹은 틸팅시킨 다음, 상기 근적외선 조명장치를 작동시키면서 상기 거울 PT 장치의 전반사 거울을 패닝 혹은 틸팅시켜 사용자의 눈이 협각카메라의 촬영 영상 중심에 위치하면 상기 협각카메라의 줌 렌즈를 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 가변하고 자동 초점 조절을 하여 홍채 영상을 획득하는 메인 프로세서;로 구성된다.
이상에서 설명한 바와 같이, 본 발명에 의하면 1대의 거울 PT 장치로 협각카메라의 광축이 항상 광각카메라의 광축과 일치한 상태로 근적외선 조명이 협각카메라의 화각 범위만을 비추도록 제어하므로 별도로 조명 제어를 하지 않더라도 양질의 밝은 홍채 영상을 획득할 수 있고, 협각카메라의 화각 범위만을 비출 규모의 조명이 필요하게 되므로 조명 장치를 종래에 비해 상대적으로 저렴한 가격으로 더 작은 규모로 구현하면서도 조명에 대한 눈 안전성을 향상시킬 수 있으며, 이와 더불어 기존의 메가픽셀급 협각카메라보다 저렴하면서 적은 조명으로도 홍채 영상을 획득할 수 있는 저조도 카메라(예컨대, VGA급 저조도 카메라) 혹은 근적외선 카메라 등을 협각카메라로 사용할 수 있다.
이하, 본 발명의 실시예들을 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
[제1 실시예]
도 1 내지 도 3을 참조하면, 광각카메라(10)는 가시광선 영상을 촬영하는 카 메라로, 사용자 감지 영상을 촬영하며, 일반 컬러 카메라에 사용자의 얼굴 크기보다 큰 화각을 확보하기 위해 15°이상의 화각을 가진 렌즈가 부착된 카메라를 사용하는 것이 바람직하다.
협각카메라(20)는 가시광선차단 및 적외선투과 필터를 통해 적외선 영상을 촬영하는 카메라로, 줌 렌즈 및 초점 렌즈 조절 기능을 구비하여 사용자 홍채 영상을 촬영한다.
상기 협각카메라(20)는 소량의 빛을 받을 때 CCD센서에서 생긴 소량의 전기적 신호를 증폭하여 일반 카메라보다 밝은 영상을 얻는 저조도 카메라(예컨대, VGA급 저조도 카메라) 혹은 일반적인 감시용 카메라에 비해서 적외선 파장에 따른 반응도가 높은 근적외선 카메라를 사용하는 것이 바람직하다.
상기 협각카메라(20)는 적은 조명에서도 다른 카메라보다 밝은 영상을 얻을 수 있는 저조도 카메라에 1°∼4°의 화각을 가지는 줌 렌즈가 부착된 카메라를 사용하는 것이 바람직하며, 참고로 상기 협각카메라(20)로 VGA급 협각용 저조도 카메라보다 더 고해상도의 저조도 카메라를 사용하는 경우 줌 렌즈 대신 단초점 렌즈를 사용할 수 있다.
근적외선 조명장치(30,30')는 도 2에 나타낸 바와 같이, 상기 협각카메라(20)와 함께 연동하도록 협각카메라(20)의 몸체 외면에 장착되거나, 혹은 도 3에 나타낸 바와 같이, 하기의 미러 부재(예컨대, Hot mirror)의 주변에 장착되어 상기 협각카메라(20)가 작동할 때만 협각카메라(20)의 촬영 영역을 비추며, 바람직하게는 사용자의 얼굴 주변으로 근적외선을 조사한다.
근적외선 조명장치(30,30')는 상기 협각카메라(20)가 촬영하는 영역을 비출 만큼의 조사각을 갖는 것이 바람직하며, 예컨대 상기한 바와 같이 최대 화각이 4°인 협각카메라에 대하여 4°의 조사각을 갖는 근적외선 조명 장치를 이용한다.
상기 근적외선 조명장치(30,30')로는 협각카메라(20)의 몸체 외면 혹은 미러 부재의 주변에 장착되어 상기 협각카메라(20)가 작동할 때만 협각카메라(20)의 촬영 영역을 비추는 단일 조명장치 혹은 복수 조명장치를 사용할 수 있으며, 단일 조명장치만 사용하는 경우에는 조명에 의한 반사광을 홍채 인식에 사용하지 않는 홍채 위 혹은 아래에 맺히게 하거나, 도 2의 (a)와 (b) 혹은 도 3에 나타낸 바와 같이, 복수 조명장치를 사용하는 경우에는 상기 협각카메라(20)의 몸체 외면의 상하 또는 좌우 혹은 미러 부재의 주변 상하 또는 좌우에 위치한 조명장치를 번갈아 켬으로써 사용자의 안경이나 콘택트 렌즈 등에 맺히는 조명 반사광을 피할 수도 있다.
미러 부재는 상기 광각카메라(10)와 협각카메라(20)의 전방에 배치된 상태에서 가시광선을 투과 혹은 반사시키거나 적외선을 투과 혹은 반사시켜 상기 광각카메라(10)와 협각카메라(20)의 광축을 일치시킨다.
상기 미러 부재는 상기 광각카메라(10)와 협각카메라(20)의 전방에 45° 경사진 각도로 배치된 상태에서 상기 광각카메라(10)의 가시광선은 투과시키고 상기 협각카메라(20)의 적외선은 반사시키는 단일 핫 미러(hot mirror)로 구성될 수 있다.
거울 PT(Pan-Tilt) 장치(40)는 전반사 거울(41)을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하는 가시광선과 상기 미러 부재에 반사되는 적외선의 경로를 변경함으로써 광축 일치된 상기 광각카메라(10)와 협각카메라(20)의 촬영방향을 변경하고, 또한 상기 근적외선 조명장치(30,30')가 상기 협각카메라(20)가 촬영하는 영역을 비추는 조명방향을 협각카메라(20)의 촬영방향과 일치시켜 변경한다.
메인 프로세서(50)는 상기 광각카메라(10)에 의해 촬영된 사용자 감지 영상으로부터 얼굴이 확인된 후 눈 위치를 검출한 결과에 따라 상기 광각카메라(10)의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시킨 다음, 상기 근적외선 조명장치(30,30')를 작동시키면서 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시켜 사용자의 눈이 협각카메라(20)의 촬영 영상 중심에 위치하면 상기 협각카메라(20)의 줌 렌즈를 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 가변하고 자동 초점 조절을 하여 홍채 영상을 획득한다.
상기 메인 프로세서(50)는 홍채 영상 획득 시스템과 사용자간의 거리측정장치에 의해 획득한 거리정보를 이용하여 상기 협각카메라(20)의 줌 렌즈를 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 가변하고 자동 초점 조절 알고리즘에 의해 자동 초점 조절을 수행하는 과정의 정확도를 위한 초기값을 산정할 수 있다.
상기 메인 프로세서(50)는 상기 광각카메라(10), 협각카메라(20), 근적외선 조명장치(30,30'), 거울 PT 장치(40)의 작동을 제어한다.
상기 메인 프로세서(50)는 상기 광각카메라(10)에 의해 촬영된 사용자 감지 영상에서 얼굴 검출 방법(예컨대, 아다부스트(AdaBoost), 조명 반사광 추적기법, PCA, ICA 등)을 통해 사용자의 얼굴을 찾거나 확인할 수 있다. 얼굴 검출 및 확인이 된 경우 눈 검출 방법(예컨대, 아다부스트(AdaBoost), 조명 반사광 추적기법, 히스토그램 등)을 통해 눈 위치 혹은 눈을 찾거나 확인할 수 있다.
상기 메인 프로세서(50)는 획득한 홍채 영상을 별도의 홍채 인식 시스템으로 전달하여 홍채 인식을 수행하게 하거나, 직접 홍채 인식 알고리즘을 수행하여 획득한 홍채 영상을 이용한 홍채 인식을 수행할 수 있다.
상기와 같이 구성되는 본 발명의 제1 실시예에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템은 다음과 같이 작동한다.
먼저, 메인 프로세서(50)는 홍채 인식 기능을 구비한 것으로 전제한다.
도 4를 참조하면, 메인 프로세서(50)는 상기 광각카메라(10)에 의해 촬영되는 사용자 감지 영상에서 기존 배경 영상과의 차 영상 등을 생성하여 움직이는 물체, 예컨대 사용자를 감지하고(S10), 상기한 얼굴 검출 방법을 사용하여 해당 사용자 감지 영상에서 얼굴을 검출한다(S20).
만약, 얼굴이 검출되면, 상기한 눈 검출 방법을 통해 눈 위치를 검출한다(S30).
이후, 눈 위치를 검출한 결과에 따라 상기 광각카메라(10)의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시키며(S40), 이에 따라서 자동으로 상기 협각카메라(20)가 눈 영역을 바라보게 된다.
이어서, 메인 프로세서(50)는 상기 근적외선 조명장치(30,30')를 작동시키면서 협각카메라(20)의 초점 조절을 수행한 후(S50), 연이어서 협각카메라(20)에 의해 촬영된 영상에서 눈 위치를 다시 찾아 검증하고(S60), 검증된 눈 위치에서 상기 협각카메라(20)의 촬영 영상의 중심에 눈이 정확하게 오도록 상기 거울 PT 장치(40)의 전반사 거울(41)을 다시 미세하게 패닝 혹은 틸팅시켜 눈 위치를 조정한 다음(S70), 최종적으로 사용자의 눈이 협각카메라(20)의 화각 범위에 들어왔는지 확인한다(S80). 상기 협각카메라(20)에서 눈을 검출할 시에는 원형 경계를 찾을 수 있는 눈 검출 방법(예컨대, 원형 허프(hough) 변환, 원형 경계 추적 방법 등)을 사용한다.
이때, 만약 눈이 검출되지 않으면, 메인 프로세서(50)는 상기 S60 과정으로 돌아가서 눈 위치를 다시 찾고, 미리 설정된 반복 횟수(N) 동안 눈이 확인되지 않을 시에 상기 S30 과정으로 돌아간다(S90).
반면에, 눈이 검출되면, 메인 프로세서(50)는 협각카메라(20)에 의해 촬영된 영상에서 홍채 인식에 필요한 홍채 영역의 크기를 검증하고 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 상기 협각카메라(20)의 줌 렌즈를 가변하고 자동 초점 조절을 하여 최종적으로 홍채 영상을 획득한다(S100,S110,S120).
상기와 같이 최종 홍채 영상이 획득되면, 상기 메인 프로세서(50)는 직접 홍채 인식 알고리즘을 수행하여 획득한 홍채 영상을 이용한 홍채 인식을 수행하며(S130), 다른 한편으로 획득한 홍채 영상을 별도의 홍채 인식 시스템으로 전달하여 홍채 인식을 수행하게 할 수 있다.
[제2 실시예]
도 5를 참조하면, 제2 실시예의 구성에 있어서, 상기 광각카메라(10), 협각카메라(20), 근적외선 조명장치(30,30'), 전반사 거울(41)을 포함하는 거울 PT 장치(40), 메인 프로세서(50)는 상기한 제1 실시예에서 설명한 바와 같이 작동하고, 다만 상기 미러 부재가 상기 광각카메라(10)와 협각카메라(20)의 전방에 45° 경사진 각도로 배치된 상태에서 상기 광각카메라(10)의 가시광선은 반사시키고 상기 협각카메라(20)의 적외선은 투과시키는 단일 콜드 미러(cold mirror)로 구성된 점이 차이가 있다.
따라서, 제2 실시예에 있어서, 상기 거울 PT(Pan-Tilt) 장치(40)는 전반사 거울(41)을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하는 적외선과 상기 미러 부재에 반사되는 가시광선의 경로를 변경함으로써 광축 일치된 상기 광각카메라(10)와 협각카메라(20)의 촬영방향을 변경하고, 또한 상기 근적외선 조명장치(30,30')가 상기 협각카메라(20)가 촬영하는 영역을 비추는 조명방향을 협각카메라(20)의 촬영방향과 일치시켜 변경한다.
상기와 같이 구성되는 본 발명의 제2 실시예에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템의 작동은, 제1 실시예에서 도 4를 참조하여 설명한 내용(S10∼S130)과 동일하게 수행되므로, 자세한 작동 설명은 생략한다.
[제3 실시예]
도 6을 참조하면, 제3 실시예의 구성에 있어서, 상기 광각카메라(10), 협각카메라(20), 근적외선 조명장치(30,30'), 미러 부재(예컨대, Hot mirror), 전반사 거울(41)을 포함하는 거울 PT 장치(40)는 상기한 제1 실시예에서 설명한 바와 같이 작동하고, 다만 상기 광각카메라(10)와 별도로 초광각카메라(10a)가 추가로 구성된 점이 차이가 있으며, 이로 인해 메인 프로세서(50')의 작동이 다소 차이가 있다.
상기 초광각카메라(10a)는 상기 광각카메라(10)보다 상대적으로 더 큰 화각을 갖는 카메라로, 기존 광각카메라(10)의 화각으로써 제한되었던 홍채 인식 시스템의 2차원 동작범위, 즉 상기 광각카메라(10)가 촬영하는 가로, 세로의 범위를 초광각 또는 어안렌즈의 화각으로 넓혀 줄 수 있다.
상기와 같이 구성되는 본 발명의 제3 실시예에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템은 다음과 같이 작동한다.
도 4를 참조하면, 메인 프로세서(50')는 상기 초광각카메라(10a)에 의해 촬영된 사용자 감지 영상에서 기존 배경 영상과의 차 영상 등을 생성하여 움직이는 물체, 예컨대 사용자를 감지하고(S10), 상기한 얼굴 검출 방법을 사용하여 해당 사용자 감지 영상에서 얼굴을 검출한다(S20).
만약, 얼굴이 검출되면, 상기한 눈 검출 방법을 통해 눈 위치를 검출하며(S30), 이후, 눈 위치를 검출한 결과에 따라 상기 광각카메라(10)의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시키며(S40), 이하의 작동 과정(S50∼S130)은 제1 실시예에서 도 4를 참조하여 설명한 내용과 동일하게 수행되므로, 자세한 작동 설명은 생략한다.
[제4 실시예]
도 7을 참조하면, 제4 실시예의 구성에 있어서, 상기 광각카메라(10), 협각카메라(20), 근적외선 조명장치(30,30'), 전반사 거울(41)을 포함하는 거울 PT 장치(40), 메인 프로세서(50')는 상기한 제3 실시예에서 설명한 바와 같이 작동하고, 다만 상기 미러 부재가 상기 광각카메라(10)와 협각카메라(20)의 전방에 45° 경사진 각도로 배치된 상태에서 상기 광각카메라(10)의 가시광선은 반사시키고 상기 협각카메라(20)의 적외선은 투과시키는 단일 콜드 미러(cold mirror)로 구성된 점이 차이가 있다.
따라서, 제4 실시예에 있어서, 상기 거울 PT(Pan-Tilt) 장치(40)는 전반사 거울(41)을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하는 적외선과 상기 미러 부재에 반사되는 가시광선의 경로를 변경함으로써 광축 일치된 상기 광각카메라(10)와 협각카메라(20)의 촬영방향을 변경하고, 또한 상기 근적외선 조명장치(30,30')가 상기 협각카메라(20)가 촬영하는 영역을 비추는 조명방향을 협각카메라(20)의 촬영방향과 일치시켜 변경한다.
상기와 같이 구성되는 본 발명의 제4 실시예에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템의 작동은, 제3 실시예에서 도 4를 참조하여 설명한 내용(S10∼S130)과 동일하게 수행되므로, 자세한 작동 설명은 생략한다.
이상에서 설명한 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
도 1은 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템을 나타낸 제1 실시예.
도 2는 도 1의 협각카메라용 근적외선 조명장치의 사용 상태를 나타낸 실시예.
도 3은 도 1의 협각카메라용 근적외선 조명장치의 사용 상태를 나타낸 다른 실시예.
도 4는 본 발명의 제1 실시예에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템의 작동 과정을 나타낸 플로차트.
도 5는 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템을 나타낸 제2 실시예.
도 6은 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템을 나타낸 제3 실시예.
도 7은 본 발명에 따른 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템을 나타낸 제4 실시예.
<도면의 주요부분에 대한 부호의 설명>
10: 광각카메라 10a: 초광각카메라
20: 협각카메라 30,30': 근적외선 조명장치
40: 거울 PT 장치 41: 전반사 거울
50,50': 메인 프로세서

Claims (7)

  1. 사용자 감지 영상을 촬영하는 광각카메라(10)와;
    줌 렌즈 및 초점 렌즈 조절 기능을 구비하여 사용자 홍채 영상을 촬영하는 협각카메라(20);
    상기 협각카메라(20)가 작동할 때만 협각카메라(20)의 촬영 영역을 비추는 근적외선 조명장치(30,30');
    상기 광각카메라(10)와 협각카메라(20)의 전방에 배치된 상태에서 가시광선을 투과 혹은 반사시키거나 적외선을 투과 혹은 반사시켜 상기 광각카메라(10)와 협각카메라(20)의 광축을 일치시키는 미러 부재;
    전반사 거울(41)을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하거나 상기 미러 부재에 반사되는 가시광선이나 적외선의 경로를 변경함으로써 광축 일치된 상기 광각카메라(10)와 협각카메라(20)의 촬영방향을 변경하는 거울 PT(Pan-Tilt) 장치(40); 및
    상기 광각카메라(10)에 의해 촬영된 사용자 감지 영상으로부터 얼굴이 확인된 후 눈 위치를 검출한 결과에 따라 상기 광각카메라(10)의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시킨 다음, 상기 근적외선 조명장치(30,30')를 작동시키면서 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시켜 사용자의 눈이 협각카메라(20)의 촬영 영상 중심에 위치하면 상기 협각카메라(20)의 줌 렌즈를 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 가변하고 자동 초점 조절을 하여 홍채 영상을 획득하는 메인 프로세서(50);
    로 구성되는 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
  2. 사용자 감지 영상을 촬영하는 광각카메라(10)와;
    상기 광각카메라(10)보다 상대적으로 더 큰 화각을 갖는 초광각카메라(10a);
    줌 렌즈 및 초점 렌즈 조절 기능을 구비하여 사용자 홍채 영상을 촬영하는 협각카메라(20);
    상기 협각카메라(20)가 작동할 때만 협각카메라(20)의 촬영 영역을 비추는 근적외선 조명장치(30,30');
    상기 광각카메라(10)와 협각카메라(20)의 전방에 배치된 상태에서 가시광선을 투과 혹은 반사시키거나 적외선을 투과 혹은 반사시켜 상기 광각카메라(10)와 협각카메라(20)의 광축을 일치시키는 미러 부재;
    전반사 거울(41)을 패닝 혹은 틸팅시켜 상기 미러 부재를 투과하거나 상기 미러 부재에 반사되는 가시광선이나 적외선의 경로를 변경함으로써 광축 일치된 상기 광각카메라(10)와 협각카메라(20)의 촬영방향을 변경하는 거울 PT(Pan-Tilt) 장치(40); 및
    상기 초광각카메라(10a)에 의해 촬영된 사용자 감지 영상으로부터 얼굴이 확인된 후 눈 위치를 검출한 결과에 따라 상기 광각카메라(10)의 촬영 영상의 중심에 눈이 위치하도록 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시킨 다음, 상기 근적외선 조명장치(30,30')를 작동시키면서 상기 거울 PT 장치(40)의 전반사 거울(41)을 패닝 혹은 틸팅시켜 사용자의 눈이 협각카메라(20)의 촬영 영상 중심에 위치하면 상기 협각카메라(20)의 줌 렌즈를 홍채 인식을 위하여 정한 크기의 홍채 영상 획득에 필요한 줌 배율로 가변하고 자동 초점 조절을 하여 홍채 영상을 획득하는 메인 프로세서(50');
    로 구성되는 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 협각카메라(20)는 저조도 카메라 혹은 근적외선 카메라인 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 근적외선 조명장치(30)는 협각카메라(20)의 몸체 외면에 장착되어 상기 협각카메라(20)가 작동할 때만 협각카메라(20)의 촬영 영역을 비추는 조명장치인 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 근적외선 조명장치(30')는 상기 미러 부재의 주변에 장착되어 상기 협각카메라(20)가 작동할 때만 협각카메라(20)의 촬영 영역을 비추는 조명장치인 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 미러 부재는 상기 광각카메라(10)와 협각카메라(20)의 전방에 45° 경사진 각도로 배치된 상태에서 상기 광각카메라(10)의 가시광선은 투과시키고 상기 협각카메라(20)의 적외선은 반사시키는 단일 핫 미러(hot mirror)로 구성되는 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 미러 부재는 상기 광각카메라(10)와 협각카메라(20)의 전방에 45° 경사진 각도로 배치된 상태에서 상기 광각카메라(10)의 가시광선은 반사시키고 상기 협각카메라(20)의 적외선은 투과시키는 단일 콜드 미러(cold mirror)로 구성되는 것을 특징으로 하는 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템.
KR1020080056432A 2008-06-16 2008-06-16 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템 Expired - Fee Related KR100977499B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080056432A KR100977499B1 (ko) 2008-06-16 2008-06-16 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템
PCT/KR2009/002912 WO2009154368A2 (ko) 2008-06-16 2009-06-01 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080056432A KR100977499B1 (ko) 2008-06-16 2008-06-16 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템

Publications (2)

Publication Number Publication Date
KR20090130696A KR20090130696A (ko) 2009-12-24
KR100977499B1 true KR100977499B1 (ko) 2010-08-23

Family

ID=41434531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080056432A Expired - Fee Related KR100977499B1 (ko) 2008-06-16 2008-06-16 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템

Country Status (2)

Country Link
KR (1) KR100977499B1 (ko)
WO (1) WO2009154368A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101150563B1 (ko) * 2011-02-07 2012-05-31 고려대학교 산학협력단 분광기를 이용한 감시 장치 및 방법
CN103417196B (zh) * 2013-08-23 2015-07-22 中山大学 一种静脉显影仪及显影方法
KR102183692B1 (ko) * 2014-03-18 2020-11-27 광운대학교 산학협력단 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
KR102237479B1 (ko) * 2014-06-03 2021-04-07 (주)아이리스아이디 홍채 인식 단말기 및 방법
KR102376954B1 (ko) 2015-03-06 2022-03-21 삼성전자주식회사 홍채를 촬영하기 위한 광을 조사하는 방법 및 그 디바이스
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication
US11151375B2 (en) 2016-01-06 2021-10-19 Lg Innotek Co., Ltd. Lens module and iris recognition camera module comprising same, and iris recognition camera system and terminal comprising same
US20200128188A1 (en) * 2016-09-30 2020-04-23 Nikon Corporation Image pickup device and image pickup system
CN111556306B (zh) * 2019-11-21 2022-03-01 苏州思源科安信息技术有限公司 一种远距离大视场虹膜光学成像的装置及方法
KR20210101928A (ko) 2020-02-11 2021-08-19 주식회사 케이티앤씨 홍채인식범위 확장을 위한 홍채 영상 획득시스템
KR102274270B1 (ko) * 2020-12-10 2021-07-08 주식회사 케이티앤씨 홍채인식범위 확장을 위한 홍채 영상 획득시스템
KR102497020B1 (ko) * 2021-06-23 2023-02-07 경북대학교 산학협력단 다중 광도 및 다중 대역 영상 획득 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1189820A (ja) 1997-09-19 1999-04-06 Oki Electric Ind Co Ltd アイリス入力装置
JP2002056394A (ja) 2000-08-09 2002-02-20 Matsushita Electric Ind Co Ltd 眼位置検出方法および眼位置検出装置
KR20020028406A (ko) * 2000-10-09 2002-04-17 정인수 홍채 영상 포착 장치 및 고인식률의 홍채 인식 방법
KR20040062830A (ko) * 2003-01-03 2004-07-09 주식회사 아이디테크 홍채 인식장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055322A (en) * 1997-12-01 2000-04-25 Sensor, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination
US7095901B2 (en) * 2001-03-15 2006-08-22 Lg Electronics, Inc. Apparatus and method for adjusting focus position in iris recognition system
US7271839B2 (en) * 2001-03-15 2007-09-18 Lg Electronics Inc. Display device of focal angle and focal distance in iris recognition system
KR100484664B1 (ko) * 2002-01-30 2005-04-22 김재희 수동식 및 고정식겸용 홍채 영상획득장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1189820A (ja) 1997-09-19 1999-04-06 Oki Electric Ind Co Ltd アイリス入力装置
JP2002056394A (ja) 2000-08-09 2002-02-20 Matsushita Electric Ind Co Ltd 眼位置検出方法および眼位置検出装置
KR20020028406A (ko) * 2000-10-09 2002-04-17 정인수 홍채 영상 포착 장치 및 고인식률의 홍채 인식 방법
KR20040062830A (ko) * 2003-01-03 2004-07-09 주식회사 아이디테크 홍채 인식장치 및 방법

Also Published As

Publication number Publication date
WO2009154368A3 (ko) 2010-03-04
WO2009154368A2 (ko) 2009-12-23
KR20090130696A (ko) 2009-12-24

Similar Documents

Publication Publication Date Title
KR100977499B1 (ko) 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템
KR100869998B1 (ko) 원거리 홍채 영상 획득 시스템
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
WO2002093481A1 (en) Method and apparatus for picking up image of object being authenticated
WO2020078440A1 (zh) 采集高清晰度面部图像的装置和摄像头云台自动俯仰调节的方法
KR100587422B1 (ko) 전방향 인식가능한 홍채인식방법 및 장치
WO2019036751A1 (en) ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS
JP2002092605A (ja) アイリス認識装置
WO2013056001A1 (en) System and method for the long range acquisition of iris images for stationary and mobile subjects
KR100904254B1 (ko) 비강압적 홍채 영상 획득 시스템 및 그 방법
CN114945955B (zh) 用于扩大虹膜识别范围的虹膜图像获取系统
CN109451233A (zh) 一种采集高清晰度面部图像的装置
KR100447403B1 (ko) 홍채 인식 시스템의 초점 각도 및 거리 표시장치
KR100876821B1 (ko) 촬영 영역 내에서 정확하게 얼굴 영상을 촬영하는 장치
KR100430268B1 (ko) 홍채 인식 시스템의 촛점 각도 표시장치
KR100443674B1 (ko) 홍채 인식 시스템의 거리 측정방법과 장치
AU2007223336B2 (en) A combined face and iris recognition system
KR100411344B1 (ko) 홍채 인식 시스템의 촛점 자동 조절방법
KR100410972B1 (ko) 홍채 인식 시스템의 촛점 거리 지시 장치
KR101969765B1 (ko) 하나의 이미지 센서를 이용한 홍채인식 장치 및 방법
KR20210101928A (ko) 홍채인식범위 확장을 위한 홍채 영상 획득시스템
Gan et al. An embedded self-adaptive iris image acquisition system in a large working volume
KR20050017754A (ko) 홍채 인식 장치 및, 홍채 인식 방법
KR20150139381A (ko) 홍채 인식 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20130613

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20140605

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150715

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20160809

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20170821

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180818

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180818

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000