KR20120035964A - An apparatus for collecting biometrics and a method thereof - Google Patents
An apparatus for collecting biometrics and a method thereof Download PDFInfo
- Publication number
- KR20120035964A KR20120035964A KR1020100097577A KR20100097577A KR20120035964A KR 20120035964 A KR20120035964 A KR 20120035964A KR 1020100097577 A KR1020100097577 A KR 1020100097577A KR 20100097577 A KR20100097577 A KR 20100097577A KR 20120035964 A KR20120035964 A KR 20120035964A
- Authority
- KR
- South Korea
- Prior art keywords
- display
- user
- eye
- unit
- iris recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Input (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 생체 정보 수집 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 홍채 인식 장치 및 방법에 관한 것으로서, 홍채 인식을 위한 눈 이미지를 촬영하는 카메라를 사용자에게 정보를 표시하기 위한 디스플레이의 뒷면에 배치하여 사용자의 시선과 카메라를 동일 선상에 놓이도록 한다. 또한, 본 발명에서는 디스플레이 상에 사용자에게 다양한 가이드를 제공한다. 또한, 투명 디스플레이를 사용하는 경우에는 지문 정보도 수집할 수 있다. The present invention relates to an apparatus and method for collecting biological information. More specifically, the present invention relates to an iris recognition apparatus and method, by placing a camera for photographing an eye image for iris recognition on the back of a display for displaying information to a user so that the user's gaze and the camera are on the same line. To be. In addition, the present invention provides various guides to the user on the display. In addition, when a transparent display is used, fingerprint information can also be collected.
Description
본 발명은 생체 정보 수집 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 홍채 인식 장치 및 방법에 관한 것으로서, 홍채 인식을 위한 눈 이미지를 촬영하는 카메라를 사용자에게 정보를 표시하기 위한 디스플레이의 뒷면에 배치하여 사용자의 시선과 카메라를 동일 선상에 놓이도록 한다. The present invention relates to an apparatus and method for collecting biological information. More specifically, the present invention relates to an iris recognition apparatus and method, by placing a camera for photographing an eye image for iris recognition on the back of a display for displaying information to a user so that the user's gaze and the camera are on the same line. To be.
기존의 열쇠, 출입카드 등을 대체하기는 수단으로서, 홍채, 지문, 정맥, 음성 지문과 같은 생체 정보를 이용한 방법이 개발되고 있다. 이들 중 홍채를 이용한 사용자 인증 장치인, 홍채 인식 장치는 인증할 사용자의 홍채를 인식함으로써 그 사람의 신원을 파악하는 장치로서, 최근에는 출입문 개폐를 위한 사용자 인증은 물론이고, 감시 카메라나 ATM 기기에도 응용되고 있다. As a means to replace existing keys, access cards, etc., methods using biometric information such as iris, fingerprint, vein, and voice fingerprint have been developed. Among them, the iris recognition device, which is a user authentication device using the iris, recognizes the person's identity by recognizing the iris of the user to be authenticated. It is applied.
홍채 인식 장치는 눈 이미지를 촬영하기 위한 카메라와 사용자에게 정보를 표시하기 위한 디스플레이를 포함한다. 종래의 홍채 인식 장치는 눈 이미지를 촬영하기 위한 카메라와 사용자에게 정보를 표시하기 위한 디스플레이가 서로 다른 방향에 위치하기 때문에, 다음의 문제가 발생한다.The iris recognition device includes a camera for capturing an eye image and a display for displaying information to a user. In the conventional iris recognition apparatus, the following problem occurs because a camera for photographing an eye image and a display for displaying information to a user are located in different directions.
카메라의 광축(또는 촬영 방향)과 사용자의 눈의 방향이 일치하지 않음으로 인하여 왜곡된 눈 이미지를 획득하게 된다. 예를 들어, 감시 카메라의 경우에는 통상적으로 천장에 부착되고, ATM 기기의 경우에는 사용자가 바라보는 디스플레이의 상단에 카메라가 배치된다. 위와 같이 카메라의 방향과 사용자의 눈의 방향이 일치하지 않기 때문에, 왜곡된 이미지들을 획득하게 되고, 왜곡된 이미지로부터는 정확한 홍채 인식을 수행하기 어렵게 된다. 또한, 모자 또는 마스크를 착용한 사용자에 대해서는 홍채 인식에 더 어려움이 있게 된다.The distorted eye image is acquired because the optical axis of the camera (or the photographing direction) does not coincide with the direction of the user's eye. For example, a surveillance camera is typically attached to the ceiling, and in the case of an ATM device, the camera is placed on top of a display viewed by the user. Since the direction of the camera and the direction of the user's eyes do not match as described above, distorted images are acquired, and accurate iris recognition is difficult to be performed from the distorted image. In addition, the user wearing a hat or mask is more difficult to recognize the iris.
본 발명은 홍채 인식 장치에 있어서, 홍채 인식용 카메라와 사용자에게 정보를 표시하는 디스플레이가 동일한 선상에 놓이도록 할 수 있는 홍채 인식 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an iris recognition apparatus in which an iris recognition camera and a display for displaying information to a user can be placed on the same line.
또한, 본 발명은 홍채 인식 장치에서, 사용자의 눈의 위치를 검출하기 위한 광각 카메라가 필요없는 홍채 인식 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide an iris recognition apparatus which does not require a wide-angle camera for detecting a position of an eye of a user in an iris recognition apparatus.
또한, 본 발명은 홍채 인식 장치에서, 눈 이미지의 왜곡을 방지할 수 있는 홍채 인식 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide an iris recognition device capable of preventing distortion of an eye image in an iris recognition device.
또한, 본 발명은 홍채 인식에 추가로, 추가 장비 없이 지문을 수집할 수 있는 생체 정보 수집 장치를 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a biometric information collecting device that can collect fingerprints without additional equipment in addition to iris recognition.
본 발명의 일 실시예에 따른 생체 정보 수집 장치는, 디스플레이부; 상기 디스플레이부의 전면에 위치한 사용자의 눈에 적외선을 조명하는 적어도 하나의 조명부; 상기 디스플레이부의 후방에 배치되고, 상기 조명부에 의해 조명된 눈의 이미지을 촬영하는 적어도 하나의 카메라; 및 상기 수집된 눈의 이미지으로부터 홍채 인식을 수행하는 이미지 처리부를 포함한다.Biological information collecting device according to an embodiment of the present invention, the display unit; At least one lighting unit for illuminating infrared rays to a user's eyes located in front of the display unit; At least one camera disposed behind the display unit and configured to capture an image of an eye illuminated by the illumination unit; And an image processor configured to perform iris recognition from the collected images of the eye.
본 발명의 다른 실시예에 따른 생체 정보 수집 방법은, 조명부에 의해 상기 디스플레이부의 전면에 위치한 사용자의 눈에 적외선을 조명하는 단계; 상기 디스플레이부의 후방에 배치된 카메라에 의해 상기 조명된 눈의 이미지를 촬영하는 단계; 및 상기 촬영된 눈 이미지에 대해 홍채 인식을 수행하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of collecting biometric information, the method comprising: illuminating an infrared ray to an eye of a user located in front of the display unit by an illumination unit; Capturing an image of the illuminated eye by a camera disposed behind the display unit; And performing iris recognition on the photographed eye image.
본 발명의 다른 실시예에 따른 생체 정보 수집 장치는, 디스플레이부; 상기 디스플레이부의 전면에 위치한 사용자의 얼굴에 적외선을 조명하는 적어도 하나의 조명부; 상기 디스플레이부의 후방에 배치되고, 상기 조명부에 의해 조명된 얼굴의 이미지를 촬영하는 적어도 하나의 카메라; 및 상기 수집된 얼굴 이미지으로부터 얼굴 인식을 수행하는 이미지 처리부를 포함하는 생체 정보 수집 장치.According to another embodiment of the present invention, an apparatus for collecting biometric information includes a display unit; At least one lighting unit for illuminating infrared rays on a face of a user located in front of the display unit; At least one camera disposed behind the display unit and configured to photograph an image of a face illuminated by the illumination unit; And an image processor configured to perform face recognition from the collected face images.
본 발명에 따르면, 홍채 인식 장치에 있어서, 홍채 인식용 카메라와 사용자에게 정보를 표시하는 디스플레이가 동일한 선상에 놓이게 되므로, 사용자의 눈의 위치를 검출하기 위한 광각 카메라가 필요없다.According to the present invention, in the iris recognition apparatus, the iris recognition camera and the display for displaying information to the user are placed on the same line, so that a wide-angle camera for detecting the position of the user's eyes is not necessary.
또한, 본 발명은 홍채 인식 장치에서, 왜곡이 없는 눈 이미지를 수집할 수 있다. In addition, the present invention can collect the eye image without distortion in the iris recognition device.
또한, 본 발명은 홍채 인식에 외에, 추가 장비 없이 지문도 수집할 수 있다.In addition to iris recognition, the present invention can also collect fingerprints without additional equipment.
도 1은 본 발명의 일 실시예에 따라 홍채 인식을 수행하는 방법을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 홍채 인식 장치의 구성을 나타낸다.
도 3은 본 발명의 일 실시예에 따른, 홍채 인식 장치의 디스플레이부의 화면을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른, 홍채 인식 장치의 디스플레이부를 나타낸다.
도 5는 본 발명의 일 실시예에 따라, 홍채 인식 장치를 ATM 기기에 적용한 경우 디스플레이부를 나타낸다.
도 6은 본 발명의 일 실시예에 따라, 디스플레이 뒤에 배치된 홍채 인식부를 통해 홍채 인식을 수행하는 방법을 나타내는 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 홍채 인식 장치의 구성을 나타낸다.
도 8은 본 발명의 다른 실시예에 따른, 터치 입력을 수용할 수 있는 홍채 인식 장치의 구성을 나타낸다.
도 9는 본 발명의 다른 실시예에 따라, 지문 입력을 수신하기 위한 디스플레이부를 나타낸다.
도 10은 본 발명의 다른 실시예에 따라, 홍채 인식 장치를 ATM 기기에 적용한 경우 디스플레이부를 나타낸다.
도 11은 본 발명의 일 실시예에 따라, 홍채 인식 또는 지문 획득을 수행하는 방법을 나타내는 순서도이다.1 illustrates a method of performing iris recognition according to an embodiment of the present invention.
2 illustrates a configuration of an iris recognition device according to an embodiment of the present invention.
3 illustrates a screen of a display unit of an iris recognition device according to an embodiment of the present invention.
4 illustrates a display unit of an iris recognition device according to another embodiment of the present invention.
5 illustrates a display unit when an iris recognition device is applied to an ATM according to an embodiment of the present invention.
6 is a flowchart illustrating a method of performing iris recognition through an iris recognition unit disposed behind a display according to an embodiment of the present invention.
7 illustrates a configuration of an iris recognition device according to another embodiment of the present invention.
8 illustrates a configuration of an iris recognition device that can accommodate a touch input according to another embodiment of the present invention.
9 illustrates a display unit for receiving a fingerprint input according to another embodiment of the present invention.
10 illustrates a display unit when an iris recognition device is applied to an ATM device according to another embodiment of the present invention.
11 is a flowchart illustrating a method of performing iris recognition or fingerprint acquisition according to an embodiment of the present invention.
이하 도면을 참조하여 본 발명의 실시예들을 보다 상세히 설명한다.Embodiments of the present invention will now be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따라 홍채 인식을 수행하는 방법을 나타낸다.1 illustrates a method of performing iris recognition according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 홍채 인식 장치 또는 생체 정보 수집 장치(100)는 디스플레이부(110)와 홍채 인식부(120)로 구성된다. 홍채 인식부(120)는 사용자(200)가 홍채 인식 장치(100)를 바라본 상태에서 홍채 인식을 수행할 수 있다. 사용자의 시선은 디스플레이부(110)을 향하고, 홍채 인식부(120)의 카메라 방향과도 일치한다. As shown in FIG. 1, the iris recognition apparatus or the biometric
후술하는 바와 같이, 홍채 인식부(120)가 디스플레이부(110)의 뒷면에서 홍채 인식을 수행하기 위해서는, 디스플레이부(110)는 투명 디스플레일 수도 있고, 일부분에 투명한 개구부가 형성된 디스플레이부(110)일 수도 있다.As will be described later, in order for the
도 2는 본 발명의 일 실시예에 따른 홍채 인식 장치(100)의 구성을 나타낸다. 도 2에 도시된 바와 같이, 홍채 인식 장치(100)는 디스플레이부(110)와 그 후방에 배치된 홍채 인식부(120)로 구성될 수 있다. 디스플레이부(110)는 투명 디스플레이일 수 있다. 홍채 인식부(120)는 상기 디스플레이부(110)의 전면에 위치한 사용자(200)의 눈에 적외선을 조명하는 적어도 하나의 조명부(123a,123b), 상기 조명부(123a,123b)에 의해 조명된 눈의 이미지을 촬영하는 적어도 하나의 카메라(122a,122b), 및 상기 수집된 눈의 이미지으로부터 홍채 인식을 수행하는 이미지 처리부(121)를 포함한다.2 illustrates a configuration of an
바람직하게, 조명부(123a,123b)와 카메라(122a,122b)는 각각 한 쌍으로 구성될 수 있고, 조명부 중 하나와 카메라 중 하나는 사용자(200)의 두 눈 중 하나의 이미지를 촬영하는데 사용될 수 있다.Preferably, the
조명부(123a,123b)로는 적외선 광원이 사용될 수 있으며, 카메라(122a,122b)로는 적외선 카메라가 사용될 수 있다. 본 실시예에서는 조명부(123a,123b)가 디스플레이부(110)의 후방에 배치된 경우를 설명하지만, 조명부(123a,123b)의 전면부에 위치할 수도 있고, 사용자(200)의 눈을 조명할 수 있는 위치라면 어디든 배치될 수 있다. An infrared light source may be used as the
본 발명의 일 실시예에 따라, 카메라(122a,122b)로부터 사용자(200)의 눈까지의 거리를 측정하기 위한 거리 측정부(124)를 더 포함할 수 있다. 거리 측정부(124)로는 초음파 또는 레이저를 사용한 거리 센서를 사용할 수 있다. According to one embodiment of the invention, the
본 실시예에서는, 카메라(122a,122b)와 조명부(123a,123b)가 각각 2개인 예를 설명하지만 그 수는 변경될 수 있다. 예를 들어, 사용자의 눈 하나 당 2개씩 총 4개의 카메라가 사용될 수도 있고, 하나의 카메라만 사용될 수도 있다. 사용자의 눈 하나당 2개의 카메라가 사용되는 경우는 스테레오 카메라가 되며, 2개의 카메라의 시야각 차이로부터 카메라로부터 사용자까지의 거리를 측정할 수 있다. 따라서, 거리 측정부(124)가 생략될 수 있다. 하나의 카메라만 사용되는 경우는 사용자의 한쪽 눈에 대해서만 또는 양 눈을 번갈아 가며 한 번씩 홍채 인식을 수행하는 경우가 될 것이다. In the present embodiment, an example in which two
디스플레이부(110)에는 사용자에게 필요한 각종 정보들, 예컨대 카메라(122a,122b) 또는 별도의 가시광선 카메라(미도시)에 촬영된 사용자(200)의 이미지를 표시될 수도 있고, 사용자(200)가 홍채 인식부(120)로부터 적절한 거리에 있는지를 표시하는 거리 인디케이터 또는 사용자(200)를 적절한 거리 범위 내로 이동시키기 위한 가이드가 표시될 수도 있다. 홍채 인식 장치(100)가 터치 스크린이 장착된 장치, 예컨대 ATM 기기에 적용되는 경우에는 디스플레이부(110)는 터치 스크린일 수 있고, 터치 스크린 상에 조작 패널이 표시될 수 있다. The
이와 같은 정보를 보기 위해 사용자(200)는 디스플레이부(110)를 바라보게될 것이고, 이는 디스플레이부(110)의 뒷면에 놓인 홍채 인식부(120)의 카메라(122a,122b)를 향하게 될 것이다. 디스플레이부(110)가 터치 스크린인 경우, 홍채 인식 장치(100)가 ATM 기기에 적용되는 경우에는 사용자(200)는 터치 스크린을 조작하기 위해 디스플레이부(110)를 바라볼 것이고, 사용자(200)의 시선은 카메라(122a,122b)를 향하게 될 것이다.In order to view such information, the
도 2에는 설명을 위해 홍채 인식부(120)의 크기가 디스플레이부(110)에 대해 크게 도시되어 있으나, 홍채 인식부(120)의 크기는 소형으로 작게 제작될 수 있으며, 디스플레이부(110)를 바라보는 사용자는 홍채 인식부(120)를 인식하지 못할 수 있다.
In FIG. 2, the size of the
본 발명의 일 실시예에 따라, 디스플레이부(110)에 사용자를 홍채 인식에 적절한 위치 또는 거리 범위 내로 이동시키기 위해 가이드를 표시할 수 있다. According to an embodiment of the present invention, a guide may be displayed on the
도 3을 참조하면, 디스플레이부(110)에는 사용자가 자신의 눈을 위치시킬 적절한 위치를 나타내는 가이드(310)가 표시될 수 있다. 가이드(310)는 도 3에 도시된 바와 같이, 적절한 거리에서 사람의 눈을 커버할 수 있는 직사각형일 수도 있고, 각 눈에 해당하는 2개의 타원형일 수도 있다. 전술한 홍채 인식부(120)의 카메라(122a,122b)는 디스플레이부(110)의 뒷면에서 가이드(310)에 해당하는 위치에 배치될 수 있다.Referring to FIG. 3, the
사용자의 눈이 홍채 인식에 적절한 거리 범위 내에 들어오면, 디스플레이부(110)에 이를 표시할 수 있다. 디스플레이부(110)에 상에 적정 거리에 있다는 메시지를 표시할 수도 있고, 임의의 인디케이터를 표시할 수도 있다. 또한, 가이드(310)의 색깔을 변경할 수도 있다. 예컨대, 사용자가 적정 거리에 있지 않을 때는, 가이드(310)의 테두리를 빨간색으로 표시하다가, 사용자가 적정 거리 범위 내에 들어오면, 가이드(310)의 테두리를 녹색으로 표시할 수 있다. If the user's eyes fall within a distance range suitable for iris recognition, the user's eye may display it. A message indicating that the
본 발명의 일 실시예에 따라, 디스플레이부(110)에는 사용자 자신의 이미지(320)가 표시될 수도 있다. 이 때, 사용자의 이미지는 적외선 카메라(122a,122b)에 의해 촬영된 것일 수도 있고, 별도의 가시광선 카메라에 의해 촬영된 것일 수도 있다.
According to an embodiment of the present invention, the
본 발명의 일 실시예에 따라, 도 4에 도시된 바와 같이, 카메라(122a,122b)에 촬영된 각 눈의 확대 이미지(330a,330b)를 디스플레이부(110)의 일측에 표시할 수 있다. 확대 이미지(330a,330b)를 보면서 사용자는 자신의 눈의 위치가 홍채 인식에 적절한 위치와 거리 범위에 있는지를 확인하여 조정할 수 있다.
According to an embodiment of the present invention, as shown in FIG. 4, magnified
본 발명의 일 실시예에 따른 홍채 인식 장치는 터치 스크린이 장착된 각종 기기들에 적용되어, 터치 스크린을 조작하는 사용자를 인증할 수 있다. 이 때, 사용자는 본인이 인증되고 있는지를 인식할 수도 있고, 모를 수도 있다. The iris recognition apparatus according to an embodiment of the present invention may be applied to various devices equipped with a touch screen to authenticate a user who manipulates the touch screen. At this time, the user may or may not recognize that he or she is authenticated.
도 5를 참조하면, 사용자가 터치 스크린이 장착된 기기, 예컨대 ATM 기기를 사용하여 돈을 인출한다고 가정한다. 도 5에 도시된 바와 같이, 디스플레이부(110)에는 현금을 인출하기 위한 제어 메뉴(340)가 표시될 수 있다. 사용자(200)를 가이드 하기 위한 가이드(310)가 표시될 수도 있고, 사용자 자신의 이미지(320)가 표시될 수도 있다. 디스플레이부(110)에는 사용자가 입력한 인출 금액이나 기타 정보가 표시될 수도 있다. 메뉴(340)에 정보를 입력할 때, 사용자는 메뉴(340)와 표시되는 정보를 번갈아 가면서 볼 것이다. 실시예에 따라서는, 가이드(310) 위치에 사용자가 입력한 인출 금액 등의 정보가 표시되도록 구성할 수도 있다.
Referring to FIG. 5, it is assumed that a user withdraws money using a device equipped with a touch screen, such as an ATM device. As shown in FIG. 5, the
사용자는 현금을 인출하는 동안 제어 메뉴(340)를 바라볼 것이며, 현금 인출이 시작되기 전, 또는 진행되는 중에 터치 스크린인 디스플레이부(110) 뒤에 배치된 카메라(미도시)를 통해 홍채 인식을 수행할 수 있다. 사용자는 홍채 인식이 수행되는지 인식할 수도 있고, 인식하지 못할 수도 있다. 종래의 홍채 인식 기능이 있는 ATM 기기에서는 사용자의 이미지를 촬영하기 위해 제어 메뉴와 다른 위치에 카메라를 배치하였기 때문에, 사용자가 모자나 가발을 쓴 경우에 왜곡된 이미지가 촬영되는 등의 문제가 있었으나, 본 발명에 따르면 사용자의 시선 방향과 카메라 방향의 일치하거나, 또는 거의 차이가 없기 때문에 왜곡되지 않은 이미지를 획득할 수 있다. The user will look at the
한편, 본 발명의 전술한 홍채 인식 장치와 동일한 구성을 사용하여 얼굴 인식 장치를 구성할 수도 있다.Meanwhile, the face recognition device may be configured using the same configuration as the above-described iris recognition device of the present invention.
예를 들어, 홍채 인식부(120)의 카메라(1122a,122b)가 사용자의 얼굴을 촬영하도록 하고, 촬영된 사용자의 얼굴에 대해 공지된 얼굴 인식 알고리즘을 사용하여 얼굴 인식을 수행할 수 있다. 얼굴 인식 알고리즘으로는 아이겐페이스(Eigenfaces) 방법, 피셔페이스(Fisherfaces) 방법, SVM(Support Vector Machine) 방법 등 임의의 공지된 얼굴 인식 알고리즘을 사용할 수 있다. For example, the
이 때, 가이드(310)는 사용자의 얼굴을 커버할 수 있는 직사각형일 수도 있고, 임의의 도형일 수 있다. 가이드(310)는 사용자를 얼굴 인식에 적절한 거리 범위 내로 들어오도록 사용자를 유도할 수 있다. 사용자가 적절한 거리 범위 내에 들어오면, 가이드(310)의 색깔을 변경하여 표시할 수 있다.
In this case, the
도 6은 본 발명의 일 실시예에 따라, 디스플레이 뒤에 배치된 홍채 인식부를 통해 홍채 인식을 수행하는 방법을 나타내는 순서도이다.6 is a flowchart illustrating a method of performing iris recognition through an iris recognition unit disposed behind a display according to an embodiment of the present invention.
단계(S11)에서, 조명부로 디스플레이부의 전방에 있는 사용자의 눈에 적외선 조명을 비춘다. 단계(S12)에서, 상기 디스플레이부에 사용자를 적절한 거리 및 위치로 이동시키기 위한 가이드를 표시한다. 단계(S13)에서, 사용자의 눈이 홍채 인식에 적절한 위치 및 거리 범위 내에 들어오면, 디스플레이부의 후방에 배치된 카메라로 사용자의 눈 이미지를 촬영한다. 단계(S14)에서, 촬영된 눈 이미지에 대해 홍채 인식을 수행한다.
In step S11, the illumination unit illuminates the infrared light in the eyes of the user in front of the display unit. In step S12, a guide for moving the user to an appropriate distance and position is displayed on the display unit. In step S13, when the user's eyes fall within a position and distance range suitable for iris recognition, the user's eye image is captured by a camera disposed behind the display unit. In step S14, iris recognition is performed on the photographed eye image.
한편, 본 발명의 일 실시예에 따라, 전술한 디스플레이부는 불투명 또는 반투명한 디스플레이 장치일 수도 있다. Meanwhile, according to an embodiment of the present invention, the aforementioned display unit may be an opaque or translucent display device.
도 7을 참조하면, 다른 엘리먼트들에 대한 설명은 도 2에 대한 것과 동일하고, 디스플레이부(130)가 불투명하고 디스플레이부(130)의 일부분에 투명한 개구부(132)가 형성되어 있다는 점이 다르다. 홍채 인식부(120)의 카메라(122a,122b)는 개구부(132)를 향하도록 구성되고, 투명한 개구부(132)를 통해 사용자의 눈을 촬영하여 눈 이미지를 획득한다. 불투명한 디스플레이부(130)로는 통상적으로 널리 사용되는 LCD 패널 또는 OLED 패널을 사용할 수 있고, 개구부(132)는 LCD 패널 또는 OLED 패널 제조시에 개구부(132)에 해당하는 부분에 TFT나 컬러 필터 등 패널 구성 요소 공정을 수행하지 않음으로써 형성될 수 있다.
Referring to FIG. 7, the description of the other elements is the same as that of FIG. 2, except that the
본 발명의 다른 실시예에 따라, 홍채 정보 외에 사용자의 지문 정보도 추가적으로 획득할 수 있다. According to another embodiment of the present invention, the fingerprint information of the user may be additionally obtained in addition to the iris information.
도 8을 참조하면, 홍채 인식 장치(110)의 투명 디스플레이부(110) 상에 터치 패널(150)을 형성할 수 있다. 투명 디스플레이부(110)에 지문 입력을 요구하는 메시지를 표시하고, 사용자가 손가락을 대면, 카메라(122a,122b)에 의해 그 손가락의 지문 이미지(152)를 획득할 수 있다. 이미지 처리부(121)는 획득된 지문 이미지에 대해 지문 인증을 수행할 수 있다. Referring to FIG. 8, the
위와 같은 구성에 의해, 지문 인식을 위한 별도의 장비를 추가할 필요없이 디스플레이부(110)의 후방에 배치된 카메라(122a,122b)를 통해 지문 이미지를 획득하여 인증을 수행할 수 있다. 홍채 인식 장치(100)는 홍채 인식과 지문 인증 모두를 수행할 수도 있고, 홍채 인식 또는 지문 인증 중 하나만 수행하도록 구성할 수도 있다. 또한, 홍채 인식 또는 지문 인증과 함께 또는 별도로 전술한 얼굴 인식도 수행할 수 있다. By the above configuration, it is possible to perform authentication by acquiring a fingerprint image through the
도 9를 참조하면, 디스플레이부(130) 상에는 도 4와 마찬가지로, 사용자를 홍채 인식에 적절한 위치 및 거리 범위 내로 유도하기 위한 가이드(310)가 표시될 수 있고, 사용자의 이미지(320)가 표시될 수도 있다. 이에 추가로, 사용자가 지문을 입력할 위치 표시자(350)가 표시될 수 있다. 사용자가 표시자(350)에 지문을 입력하도록 텍스트 메시지를 표시하거나, 스피커를 통해 음성 메시지를 출력할 수도 있다. 사용자가 표시자(350) 상에 지문을 입력하면, 카메라(122a,122b)를 통해 지문 이미지가 획득된다. Referring to FIG. 9, similar to FIG. 4, a
실시예에 따라서는 지문을 입력하기 위한 특정 위치가 지정되지 않고, 디스플레이부(110) 상의 임의의 위치에서 검출된 지문 입력으로부터 지문 이미지를 획득할 수도 있다. 또한, 후술하는 바와 같이, 사용자가 인지하지 못하는 상태에서 사용자의 지문을 획득할 수도 있다.According to an exemplary embodiment, a specific position for inputting a fingerprint is not specified, and a fingerprint image may be obtained from a fingerprint input detected at an arbitrary position on the
도 10을 참조하면, 디스플레이부(110)가 터치 입력이 필요한 장치, 예컨대 ATM 기기에 적용된다고 가정한다. ATM 기기의 디스플레이부(110) 상에는 제어 메뉴(340)가 표시될 수 있고, 가이드(310)도 표시될 수 있다. 사용자가 입력한 인출 금액 등의 정보도 표시될 수 있다. 도 5에서와 마찬가지로, 사용자가 입력한 인출 금액 등의 정보는 가이드(310) 위치에 표시될 수도 있다. 사용자가 인출할 금액을 입력하기 위해 제어 메뉴(340)를 터치하면, 터치된 위치(350)로부터 사용자의 지문 이미지를 획득할 수 있다. 이와 같은 동작은 사용자가 지문이 획득되는지 모르는 상태에서 수행될 수도 있다. 사용자가 여러번 터치한 경우, 획득된 지문 이미지 중 가장 좋은 것을 사용하여 지문 인증을 수행할 수 있다. Referring to FIG. 10, it is assumed that the
도 11은 본 발명의 일 실시예에 따라, 홍채 인식 또는 지문 획득을 수행하는 방법을 나타내는 순서도이다.11 is a flowchart illustrating a method of performing iris recognition or fingerprint acquisition according to an embodiment of the present invention.
단계(S21) 내지 단계(S24)는 디스플레이부의 후방에 배치된 카메라를 사용하여 홍채 인식을 수행하는 단계로서, 도 6의 단계(S11) 내지 단계(S14)와 동일하다. 홍채 인식을 수행한 후에, 단계(S25)에서 사용자에게 지문 입력을 요청한다. 지문 입력 요청은 도 9와 같이 지문을 입력할 위치 표시자(350)를 표시함으로써 수행될 수 있다. 또는 도 10과 같이 터치 메뉴를 표시함으로써 수행될 수 있으며, 이 경우는 사용자가 본인이 지문을 입력하는 것을 인지하지 못할 수도 있다. 또는 사용자에게 디스플레이부(110)를 터치하라는 메시지를 표시할 수도 있다. 단계(S26)에서 입력된 지문 이미지를 획득하고 획득된 지문 이미지에 의해 인증을 수행한다. 지문 인증은 응용분야에 따라서, ATM 기기의 본인 인증일 수도 있고, 출입문 개폐시에 사용되는 사용자 인증일 수도 있다.Steps S21 to S24 are steps of performing iris recognition using a camera disposed behind the display unit, and are the same as steps S11 to S14 of FIG. 6. After performing iris recognition, in step S25, the user is requested to input a fingerprint. The fingerprint input request may be performed by displaying the
전술한 방법에서, 홍채 인식과 지문 인증이 모두 수행될 수도 있으나, 홍채 인식만 단독으로 수행될 수도 있고, 지문 인증만 수행될 수도 있다. 또한, 전술한 방법에서의 단계들의 순서는 실시예에 따라 다양하게 변형될 수 있다. 즉, 지문 인증이 먼저 수행될 수도 있고, 홍채 인식과 지문 인증이 동시에 병렬적으로 수행될 수도 있다. In the above-described method, both iris recognition and fingerprint authentication may be performed, but only iris recognition may be performed alone, or only fingerprint authentication may be performed. In addition, the order of the steps in the above-described method may be variously modified according to the embodiment. That is, fingerprint authentication may be performed first, or iris recognition and fingerprint authentication may be simultaneously performed in parallel.
이상 다양한 실시예들을 통해 본 발명을 설명하였으나, 이들 실시예들에는 다양한 변형이 가해질 수 있으며, 이들 다양한 변형예도 본 발명의 범위에 포함된다. While the present invention has been described through various embodiments, various modifications may be made to these embodiments, and these various modifications are included in the scope of the present invention.
100 : 홍채 인식 장치 110 : 디스플레이부
120 : 홍채 인식부 121 : 이미지 처리부
122a,122b : 적외선 카메라 123a,123b : 적외선 조명부
124 : 거리 측정부 200 : 사용자
310 : 가이드 320 : 사용자 이미지
330a,330b : 눈의 확대 이미지 340 : 터치 제어 메뉴
130 : 디스플레이부 132 : 투명 개구부
150 : 터치 패널 152 : 지문 이미지
350 : 지문 위치 표시자100: iris recognition device 110: display unit
120: iris recognition unit 121: image processing unit
122a, 122b:
124: distance measuring unit 200: user
310: Guide 320: User image
330a, 330b: magnified image of the eye 340: Touch control menu
130: display unit 132: transparent opening
150: touch panel 152: fingerprint image
350: fingerprint location indicator
Claims (20)
상기 디스플레이부의 전면에 위치한 사용자의 눈에 적외선을 조명하는 적어도 하나의 조명부;
상기 디스플레이부의 후방에 배치되고, 상기 조명부에 의해 조명된 눈의 이미지를 촬영하는 적어도 하나의 카메라; 및
상기 수집된 눈의 이미지으로부터 홍채 인식을 수행하는 이미지 처리부;
를 포함하는 생체 정보 수집 장치.A display unit;
At least one lighting unit for illuminating infrared rays to a user's eyes located in front of the display unit;
At least one camera disposed behind the display unit and configured to capture an image of an eye illuminated by the illumination unit; And
An image processor configured to perform iris recognition from the collected eye images;
Biological information collection device comprising a.
상기 디스플레이는 투명 디스플레이인 생체 정보 수집 장치.The method of claim 1,
And the display is a transparent display.
상기 디스플레이에는 상기 눈의 이미지을 촬영하기 위한 투명 개구부가 형성되어 있는 디스플레이인 생체 정보 수집 장치.The method of claim 1,
And a display having a transparent opening for capturing an image of the eye.
상기 조명부 및 상기 카메라는 좌안과 우안에 해당하는 한 쌍으로 구성되는 생체 정보 수집 장치.The method of claim 1,
The illumination unit and the camera is a biometric information collection device consisting of a pair corresponding to the left eye and the right eye.
상기 디스플레이는 사용자의 시선을 유도하기 위한 가이드를 표시하는 생체 정보 수집 장치.The method of claim 1,
And the display displays a guide for guiding a user's gaze.
상기 가이드는 상기 카메라가 향하는 방향에 표시되는 생체 정보 수집 장치.The method of claim 5,
And the guide is displayed in a direction facing the camera.
상기 눈와의 거리를 측정하는 거리 측정부를 더 포함하는 생체 정보 수집 장치.The method of claim 1,
And a distance measuring unit for measuring a distance to the eye.
상기 이미지 처리부는 상기 투명 디스플레이 상에 검출된 지문으로부터 지문 정보를 수집하는 생체 정보 수집 장치.The method of claim 1,
And the image processing unit collects fingerprint information from a fingerprint detected on the transparent display.
상기 투명 디스플레이는 상기 지문 입력을 유도하기 위한 가이드를 표시하는 생체 정보 수집 장치.The method of claim 8,
And the transparent display displays a guide for inducing the fingerprint input.
상기 디스플레이부의 후방에 배치된 카메라에 의해 상기 조명된 눈의 이미지를 촬영하는 단계; 및
상기 촬영된 눈 이미지에 대해 홍채 인식을 수행하는 단계;
를 포함하는 생체 정보 수집 방법.Illuminating infrared rays to a user's eyes located in front of the display unit by an illumination unit;
Capturing an image of the illuminated eye by a camera disposed behind the display unit; And
Performing iris recognition on the photographed eye image;
Biological information collection method comprising a.
상기 디스플레이부는 투명 디스플레이인 생체 정보 수집 방법.The method of claim 10,
And the display unit is a transparent display.
상기 디스플레이부는 상기 눈의 이미지을 촬영하기 위한 투명 개구부가 형성되어 있는 디스플레이인 생체 정보 수집 방법.The method of claim 10,
And the display unit is a display having a transparent opening for capturing an image of the eye.
상기 조명부 및 상기 카메라는 좌안과 우안에 해당하는 한 쌍으로 구성되는 생체 정보 수집 방법The method of claim 10,
The illumination unit and the camera is a biometric information collection method consisting of a pair corresponding to the left eye and the right eye
사용자의 시선을 유도하기 위한 가이드를 표시하는 단계를 더 포함하는 생체 정보 수집 방법.The method of claim 10,
And displaying a guide for guiding a gaze of a user.
상기 가이드는 상기 카메라가 향하는 방향에 표시되는 생체 정보 수집 방법.The method of claim 14,
And the guide is displayed in a direction facing the camera.
상기 눈가 홍채 인식 동작 범위에 위치하는지 여부를 나타내는 거리 인디케이터를 표시하는 단계를 더 포함하는 생체 정보 수집 방법.16. The method of claim 15,
And displaying a distance indicator indicating whether the eye is within a range of an iris recognition operation.
상기 투명 디스플레이 상에 검출된 지문으로부터 지문 정보를 수집하는 단계를 더 포함하는 생체 정보 수집 방법.The method of claim 11,
And collecting fingerprint information from the fingerprint detected on the transparent display.
상기 투명 디스플레이 상에 상기 지문 입력을 유도하기 위한 가이드를 표시하는 단계를 더 포함하는 생체 정보 수집 방법.The method of claim 17,
And displaying a guide for inducing the fingerprint input on the transparent display.
상기 디스플레이부의 전면에 위치한 사용자의 얼굴에 적외선을 조명하는 적어도 하나의 조명부;
상기 디스플레이부의 후방에 배치되고, 상기 조명부에 의해 조명된 얼굴의 이미지를 촬영하는 적어도 하나의 카메라; 및
상기 수집된 얼굴 이미지으로부터 얼굴 인식을 수행하는 이미지 처리부;
를 포함하는 생체 정보 수집 장치.A display unit;
At least one lighting unit for illuminating infrared rays on a face of a user located in front of the display unit;
At least one camera disposed behind the display unit and configured to photograph an image of a face illuminated by the illumination unit; And
An image processor which performs face recognition from the collected face images;
Biological information collection device comprising a.
상기 디스플레이는 투명 디스플레이인 생체 정보 수집 장치.
20. The method of claim 19,
And the display is a transparent display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100097577A KR101231068B1 (en) | 2010-10-07 | 2010-10-07 | An apparatus for collecting biometrics and a method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100097577A KR101231068B1 (en) | 2010-10-07 | 2010-10-07 | An apparatus for collecting biometrics and a method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120035964A true KR20120035964A (en) | 2012-04-17 |
| KR101231068B1 KR101231068B1 (en) | 2013-03-11 |
Family
ID=46137715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100097577A Active KR101231068B1 (en) | 2010-10-07 | 2010-10-07 | An apparatus for collecting biometrics and a method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101231068B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150137411A (en) * | 2014-05-29 | 2015-12-09 | 이순종 | User face recognition apparatus and automatic teller machine using the same |
| KR20160016277A (en) * | 2014-08-04 | 2016-02-15 | 삼성전자주식회사 | iris recognition apparatus and iris recognition method |
| CN105393528A (en) * | 2013-07-22 | 2016-03-09 | 松下电器(美国)知识产权公司 | Information processing device and control method of information processing device |
| CN105975933A (en) * | 2016-05-05 | 2016-09-28 | 上海聚虹光电科技有限公司 | Iris identification system based on transparent screen |
| CN108629249A (en) * | 2017-03-24 | 2018-10-09 | 上海箩箕技术有限公司 | Fingerprint imaging module and electronic equipment |
| US10432602B2 (en) | 2015-06-04 | 2019-10-01 | Samsung Electronics Co., Ltd. | Electronic device for performing personal authentication and method thereof |
| US10806356B2 (en) | 2016-08-26 | 2020-10-20 | Samsung Electronics Co., Ltd. | Electronic device and method for measuring heart rate based on infrared rays sensor using the same |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101856928B1 (en) | 2016-10-05 | 2018-05-15 | (주)코텍 | Operating apparatus and method for self light emitting display device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006309562A (en) * | 2005-04-28 | 2006-11-09 | Hitachi Omron Terminal Solutions Corp | Biometric information registration device |
| US8154582B2 (en) * | 2007-10-19 | 2012-04-10 | Eastman Kodak Company | Display device with capture capabilities |
-
2010
- 2010-10-07 KR KR1020100097577A patent/KR101231068B1/en active Active
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105393528A (en) * | 2013-07-22 | 2016-03-09 | 松下电器(美国)知识产权公司 | Information processing device and control method of information processing device |
| EP3026886A4 (en) * | 2013-07-22 | 2016-07-06 | Panasonic Ip Corp America | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING DEVICE CONTROL METHOD |
| US9998654B2 (en) | 2013-07-22 | 2018-06-12 | Panasonic Intellectual Property Corporation Of America | Information processing device and method for controlling information processing device |
| CN105393528B (en) * | 2013-07-22 | 2018-11-02 | 松下电器(美国)知识产权公司 | Information processing device, method of controlling information processing device, and recording medium |
| KR20150137411A (en) * | 2014-05-29 | 2015-12-09 | 이순종 | User face recognition apparatus and automatic teller machine using the same |
| KR20160016277A (en) * | 2014-08-04 | 2016-02-15 | 삼성전자주식회사 | iris recognition apparatus and iris recognition method |
| US10432602B2 (en) | 2015-06-04 | 2019-10-01 | Samsung Electronics Co., Ltd. | Electronic device for performing personal authentication and method thereof |
| CN105975933A (en) * | 2016-05-05 | 2016-09-28 | 上海聚虹光电科技有限公司 | Iris identification system based on transparent screen |
| US10806356B2 (en) | 2016-08-26 | 2020-10-20 | Samsung Electronics Co., Ltd. | Electronic device and method for measuring heart rate based on infrared rays sensor using the same |
| CN108629249A (en) * | 2017-03-24 | 2018-10-09 | 上海箩箕技术有限公司 | Fingerprint imaging module and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101231068B1 (en) | 2013-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101231068B1 (en) | An apparatus for collecting biometrics and a method thereof | |
| CN100430959C (en) | Identity authentication device based on biological measurement | |
| JP7452571B2 (en) | Biometric authentication device, biometric authentication method and biometric authentication program | |
| JP6873918B2 (en) | Tilt shift iris imaging | |
| JP5958870B2 (en) | Iris image capture device and user recognition device for access control using the same | |
| CN107949863A (en) | Use the authentication device and authentication method of Biont information | |
| JP2004265269A (en) | Personal authentication device | |
| KR102237479B1 (en) | Apparutus for scanning the iris and method thereof | |
| CN105407792A (en) | Method and apparatus for compensating for sub-optimal orientation of an iris imaging apparatus | |
| JP5796523B2 (en) | Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition control program | |
| WO2017189267A1 (en) | Multi-modality biometric identification | |
| CN115942902A (en) | Biometric authentication system, authentication terminal, and authentication method | |
| CN103678971B (en) | User information extracting method and user information extraction element | |
| KR101044079B1 (en) | Apparatus and method for iris recognition for others using wide angle camera | |
| WO2021245823A1 (en) | Information acquisition device, information acquisition method, and recording medium | |
| JP2003187235A (en) | Finger vein recognition device | |
| WO2015070623A1 (en) | Information interaction | |
| CN103616998A (en) | User information acquiring method and user information acquiring device | |
| JP4354067B2 (en) | Iris image input device | |
| KR20090106790A (en) | Iris recognition device and method | |
| JP6165659B2 (en) | Blood vessel imaging device | |
| CN114616585A (en) | Iris authentication apparatus and iris authentication method | |
| CN213844158U (en) | Biological characteristic acquisition and identification system and terminal equipment | |
| JP4680100B2 (en) | Image authentication apparatus, photographing apparatus, and image authentication system | |
| KR100557037B1 (en) | Eye position indicator of iris recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| FPAY | Annual fee payment |
Payment date: 20151224 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20161214 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20171212 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20181219 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20191223 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 12 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 13 |