KR101016420B1 - Non-contact Finger Vein Image Acquisition Device and Portable Mobile Device Having the Same - Google Patents
Non-contact Finger Vein Image Acquisition Device and Portable Mobile Device Having the Same Download PDFInfo
- Publication number
- KR101016420B1 KR101016420B1 KR1020090042007A KR20090042007A KR101016420B1 KR 101016420 B1 KR101016420 B1 KR 101016420B1 KR 1020090042007 A KR1020090042007 A KR 1020090042007A KR 20090042007 A KR20090042007 A KR 20090042007A KR 101016420 B1 KR101016420 B1 KR 101016420B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger vein
- vein image
- camera
- image acquisition
- contact finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Vascular Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
본 발명은 손가락 정맥 영상 취득 장치에 손가락을 접촉하지 않고 손가락 정맥 영상을 취득할 수 있는 소형 장치와 알고리즘에 관한 비접촉식 손가락 정맥 영상 취득 장치를 제공하기 위한 것으로서, 적외선을 발광시키는 하나 이상의 적외선 조명과, 상기 적외선 조명과 근접한 위치에 고정되어 손가락 정맥에 반사(Reflection)되는 적외선을 이용하여 손가락 정맥 영상을 취득하는 카메라를 포함하여 구성되는데 있다.SUMMARY OF THE INVENTION The present invention provides a non-contact finger vein image capturing apparatus relating to a compact apparatus and an algorithm capable of acquiring a finger vein image without touching a finger to a finger vein image capturing apparatus, comprising: one or more infrared lights emitting infrared light; It is configured to include a camera to obtain a finger vein image using the infrared light is fixed to a position close to the infrared illumination (reflection) to the finger vein.
손가락 정맥 인식, 비접촉식, 적외선 조명, HDR(High Dynamic Range) Finger Vein Recognition, Contactless, Infrared Illumination, High Dynamic Range
Description
본 발명은 바이오 인식 중 손가락의 정맥 영상을 이용하여 개인을 식별하기 위한 손가락 정맥 영상 취득 장치에 관한 것으로, 특히 개인 식별을 위한 손가락 정맥 영상을 취득할 때 손가락의 접촉 없이 손가락의 정맥 영상을 취득할 수 있는 비접촉식 손가락 정맥 영상 취득 장치 및 이를 갖는 휴대용 모바일 기기에 관한 것이다.The present invention relates to a finger vein image acquisition device for identifying an individual using a vein image of a finger during bio-recognition, and more particularly, to obtain a vein image of a finger without touching a finger when acquiring a finger vein image for personal identification. A non-contact finger vein image acquisition device and a portable mobile device having the same.
일반적으로 바이오 인식(Biometrics)이란 인간의 생리학적 혹은 행동학적 특징을 이용하여 개인을 인식하거나 인증하는 방법으로써, 대표적인 바이오 인식 기술로는 지문, 얼굴, 홍채, 손가락 정맥, 서명 인식 등이 있다. In general, biometrics is a method of recognizing or authenticating an individual using human physiological or behavioral characteristics. Representative biometric technologies include fingerprint, face, iris, finger vein, and signature recognition.
이러한 바이오 인식 방법 중 손가락 정맥 인식은 손가락 안의 정맥 패턴을 이용하여 개인을 식별하는 기술을 말하며, 인식 성능이 높고 사용자의 거부감이 적으며 인식시간이 빠르다는 장점을 가지고 있다. 인간의 손가락 정맥으로 본인여부를 판별할 수 있다는 개념은 Yanagawa의 연구에 의해 입증되었다. Yanagawa의 연구 에 따르면 각 개인마다 열손가락의 정맥 패턴이 모두 다르며 하나의 손가락 정맥 패턴은 신뢰도가 매우 높은 홍채 패턴과 유사한 자유도로써 개인 인증에 적합하다고 한다. Finger vein recognition in the bio-recognition method refers to a technique for identifying an individual using a vein pattern in the finger, and has the advantages of high recognition performance, low user rejection, and fast recognition time. The concept of human identity with a human finger vein was demonstrated by Yanagawa's research. According to Yanagawa's research, each person's vein pattern of ten fingers is different, and one finger vein pattern is suitable for personal authentication with similar degrees of freedom as the highly reliable iris pattern.
현재 시판되고 있는 기존의 손가락 정맥 인식 시스템에서의 손가락 정맥 영상 취득 장치로는 도 1과 같이 히타치(Hitachi)사의 네트워크 인증용 단말기와, 도 2와 같이 히타치사의 출입통제용 단말기 등이 사용되고 있다.As a finger vein image acquisition device in a conventional finger vein recognition system currently on the market, Hitachi's network authentication terminal as shown in FIG. 1 and Hitachi's access control terminal as shown in FIG. 2 are used.
이러한 기존의 손가락 정맥 영상 취득 장치는 도 1에서 보는 것과 같이, 영상 취득 시, 손가락을 영상 취득 장치에 접촉하거나 손가락을 삽입하는 방식으로 이루어지고 있다. 그러나 이와 같이 접촉식의 경우는 여러 사람이 사용할 때 위생상의 문제가 발생할 수 있으므로 이로 인한 거부감과 장치에 지문 정보가 남게 되므로 인한 불안감을 느낄 수 있다는 문제점이 있다.As shown in FIG. 1, the conventional finger vein image capturing apparatus is configured to contact a finger or insert a finger when capturing an image. However, in the case of the contact type as described above, there may be a problem that the hygiene problem may occur when several people use it, and thus, there may be a feeling of anxiety due to the rejection and fingerprint information left in the device.
또한 도 2에서 보는 것과 같이 기존의 손가락 정맥 영상 취득 장치는 영상 취득 시, 손가락을 영상 취득 장치에 접촉은 물론 손가락을 삽입하는 방식으로 이루어지고 있다. 그러나 이와 같이 삽입식 장치의 경우는 심리적인 두려움을 느낄 수 있다는 문제점이 있다.In addition, as shown in FIG. 2, the conventional finger vein image capturing apparatus is configured to contact a finger with the image capturing apparatus as well as insert a finger during image capturing. However, there is a problem in that the implantable device can feel psychological fear.
그리고 도 1, 도 2와 같은 기존의 손가락 정맥 영상 취득 장치는 손가락 상단에서 적외선 조명을 투과시키고 손가락 하단의 카메라로 영상을 취득하는 구조이므로 장치의 크기가 크며, 또한 길쭉한 손가락에 균일한 조명 조사를 위해 일자형으로 위치한 조명 배열을 사용하고 있어서, 인식을 시도하는 사용자는 조명 배열의 위치에 손가락을 일치시켜야 하므로 손가락 움직임에 대한 자유도가 떨어지는 문제 점이 있다.In addition, the conventional finger vein image capturing apparatus as shown in FIGS. 1 and 2 transmits infrared light from the top of the finger and acquires an image with a camera at the bottom of the finger. In order to use a linear array of light for the purpose, the user who attempts to recognize the problem has a problem that the degree of freedom for finger movement is reduced because the user must match the finger to the position of the lighting array.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 손가락 정맥 영상 취득 장치에 손가락을 접촉하지 않고 손가락 정맥 영상을 취득할 수 있는 소형 장치와 알고리즘에 관한 비접촉식 손가락 정맥 영상 취득 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, and provides a non-contact finger vein image acquisition apparatus for a small device and algorithm capable of acquiring a finger vein image without contacting the finger vein image acquisition apparatus. The purpose is.
본 발명의 다른 목적은 손가락 정맥 영상을 취득하기 위한 소형 카메라와 적외선 조명을 서로 인접하게 합쳐서 손가락 정맥 영상 장치의 소형화와 함께, 인식을 시도하는 사용자의 손가락의 움직임에 대한 자유도를 제공할 수 있는 비접촉식 손가락 정맥 영상 취득 장치를 제공하는데 있다.It is another object of the present invention to combine a miniature camera and infrared light for acquiring a finger vein image adjacent to each other, thereby miniaturizing the finger vein imaging device and providing a degree of freedom for movement of a finger of a user attempting recognition. It is to provide a finger vein image acquisition device.
본 발명의 또 다른 목적은 소형 카메라와 적외선 조명을 서로 인접하게 합쳐서 손가락 정맥 영상 장치를 소형으로의 제작이 가능하여 휴대폰, 스마트폰, PDA등 개인의 휴대용 모바일 기기에 적용이 가능한 비접촉식 손가락 정맥 영상 취득 장치를 갖는 휴대용 모바일 기기를 제공하는데 있다.Still another object of the present invention is to combine a small camera and infrared light adjacent to each other to produce a finger vein imaging device in a compact, non-contact finger vein image acquisition that can be applied to personal portable mobile devices such as mobile phones, smartphones, PDAs It is to provide a portable mobile device having a device.
본 발명의 또 다른 목적은 하이 다이내믹 레이지 이미징(High Dynamic Range Imaging : HDRI) 기술이나 10비트 카메라/ADC 등을 이용하여 혈관영역이 뚜렷해 보이는 영상을 취득할 수 있는 비접촉식 손가락 정맥 영상 취득 장치를 제공하는데 있다.It is still another object of the present invention to provide a non-contact finger vein image capturing apparatus capable of acquiring a clear blood vessel region image using high dynamic range imaging (HDRI) technology or a 10-bit camera / ADC. have.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 비접촉식 손가락 정맥 영상 취득 장치의 특징은 적외선을 발광시키는 하나 이상의 적외선 조명과, 상기 적외선 조명과 근접한 위치에 고정되어 손가락 정맥에 반사(Reflection)되는 적외선을 이용하여 손가락 정맥 영상을 취득하는 카메라를 포함하여 구성되는데 있다.A feature of the non-contact finger vein image capturing apparatus according to the present invention for achieving the above object is one or more infrared light for emitting infrared light, and the infrared light fixed to a position close to the infrared light and reflected on the finger vein (Reflection) It is configured to include a camera to acquire a finger vein image by using.
바람직하게 상기 카메라는 CMOS(Complementary Metal-Oxide Semiconductor) 또는 CCD(Charge-Coupled Device) 센서 기반의 소형 카메라로 구성되는 것을 특징으로 한다.Preferably, the camera is configured as a compact camera based on a complementary metal-oxide semiconductor (CMOS) or charge-coupled device (CCD) sensor.
바람직하게 상기 카메라는 HDRI 기술을 이용하여 손가락 정맥에 반사되는 적외선의 노출과 밝기가 다른 여러 장의 영상을 영상처리 방법으로 하나로 정합하여 영상의 밝기를 고르게 생성한 후, 생성된 영상을 통해 혈관 영역을 뚜렷하게 렌더링하는 것을 특징으로 한다.Preferably, the camera uses HDRI technology to match multiple images of different infrared exposure and brightness reflected by the finger vein into one using an image processing method to uniformly generate the brightness of the image, and then generate the blood vessel region through the generated image. It is characterized by a distinct rendering.
바람직하게 상기 카메라는 손가락 정맥 영상을 표현하는 디지털 영상의 픽셀을 10비트 이상 20비트 이하로 밝기를 표현하는 것을 특징으로 한다.Preferably, the camera is characterized in that the brightness of the pixel of the digital image representing the
바람직하게 상기 비접촉식 손가락 정맥 영상 취득 장치는 외부 전자기기와 전기적으로 연결되어 내부 정보를 전송하는 USB (Universal Serial Bus) 또는 SDIO(Source Digital Input Output) 단자를 더 포함하는 것을 특징으로 한다.Preferably, the non-contact finger vein image capturing apparatus further includes a USB (Universal Serial Bus) or SDIO (Source Digital Input Output) terminal electrically connected to an external electronic device to transmit internal information.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 비접촉식 손가락 정맥 영상 취득 장치를 갖는 휴대용 모바일 기기의 특징은 위와 같은 구조로 구성되는 비접촉식 손가락 정맥 영상 취득 장치를 장착하는데 있다.A feature of a portable mobile device having a non-contact finger vein image acquisition device according to the present invention for achieving the above object is to mount a non-contact finger vein image acquisition device configured as described above.
이상에서 설명한 바와 같은 본 발명에 따른 비접촉식 손가락 정맥 영상 취득 장치 및 이를 갖는 휴대용 모바일 기기는 다음과 같은 효과가 있다.As described above, the non-contact finger vein image capturing apparatus and a portable mobile device having the same have the following effects.
첫째, 비접촉식 손가락 정맥 영상 취득 장치의 구조로써 제안하는 장치를 통해 사용자는 손가락 정맥 인식 시스템에서 손가락을 접촉할 필요 없이 인식을 시도할 수 있어, 손가락 접촉으로 인한 개인의 생체정보 유출에 대한 불안감, 손가락 접촉에 대한 불안감, 거부감, 불쾌감 등을 줄일 수 있다.First, through the proposed device as a non-contact finger vein image acquisition device, the user can attempt to recognize the finger vein recognition system without having to touch the finger. You can reduce anxiety, rejection, and discomfort in your contacts.
둘째, 손가락 정맥 영상을 취득하기 위한 카메라와 적외선 조명이 인접하게 하나로 합쳐져 있는 구조로써, 손가락 정맥 영상 취득 장치의 크기를 소형화 할 수 있다. Second, as a structure in which a camera for acquiring a finger vein image and an infrared light are adjacently merged into one, the size of the finger vein image acquisition device can be reduced.
셋째, 하이 다이내믹 레이지 이미징(High Dynamic Range Imaging : HDRI) 기술이나 10비트 카메라/ADC 등을 이용하여 혈관영역이 뚜렷해 보이는 영상을 취득할 수 있다.Third, high dynamic range imaging (HDRI) technology or a 10-bit camera / ADC can be used to acquire an image that clearly shows blood vessel area.
넷째, 손가락 정맥 영상 취득 장치의 소형화에 따라, 휴대폰, 스마트폰, PDA등 개인의 휴대용 모바일 기기와 노트북, PC등에 적용 할 수 있어서, 이러한 기기들의 데이터 보안에 효과적으로 사용할 수 있다.Fourth, according to the miniaturization of the finger vein image acquisition device, it can be applied to personal portable mobile devices such as mobile phones, smartphones, PDAs, laptops, PCs, etc., and thus can be effectively used for data security of such devices.
다섯째, 최근 수요가 급격히 증가하고 있는 휴대폰, 스마트폰, PDA등 개인의 휴대용 모바일 기기에 적용 가능함에 따라 다양한 응용과 시장성을 확보할 수 있다.Fifth, it is possible to secure various applications and marketability as it can be applied to personal portable mobile devices such as mobile phones, smart phones, PDAs, etc., in which demand is rapidly increasing recently.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments with reference to the accompanying drawings.
본 발명에 따른 비접촉식 손가락 정맥 영상 취득 장치 및 이를 갖는 휴대용 모바일 기기의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.A preferred embodiment of a non-contact finger vein image capturing apparatus and a portable mobile device having the same according to the present invention will be described with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be embodied in various forms, and only the present embodiments are intended to complete the disclosure of the present invention and to those skilled in the art to fully understand the scope of the invention. It is provided to inform you. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiments of the present invention and do not represent all of the technical idea of the present invention, various equivalents that may be substituted for them at the time of the present application It should be understood that there may be water and variations.
도 3 은 본 발명의 실시예에 따른 비접촉식 손가락 정맥 영상 취득 장치의 구조를 나타낸 구성도이다.3 is a block diagram showing the structure of a non-contact finger vein image acquisition apparatus according to an embodiment of the present invention.
도 3과 같이, 비접촉식 손가락 정맥 영상 취득 장치는 적외선을 발광시키는 하나 이상의 적외선 조명(10)과, 상기 적외선 조명(10)과 근접한 위치에 고정되어 피부를 투과하여 손가락 정맥에 흡수된 후 손가락 정맥에 반사(Reflection)되는 적외선을 이용하여 손가락 정맥 영상을 취득하는 카메라(20)로 구성된다.As shown in FIG. 3, the non-contact finger vein image capturing apparatus is fixed to at least one
이때, 상기 카메라(20)는 CMOS(Complementary Metal-Oxide Semiconductor) 또는 CCD(Charge-Coupled Device) 센서 기반의 소형 카메라로 구성된다. 이에 따라 상기 카메라(20)와 적외선 조명(10)을 인접하게 위치시킬 수 있어 소형의 모듈 형태로 제작이 가능하다.In this case, the
이처럼 상기 비접촉식 손가락 정맥 영상 취득 장치는 도 3과 같이 구성되며, 그 사용방법은 도 4와 같다. 즉, 기존의 접촉식 손가락 정맥 영상 취득 장치와 달리 도 3의 구조에서는 인식 시도 시 사용자가 비접촉식 손가락 정맥 영상 취득 장치 상단에 손가락이 닿지 않도록 소정 높이로 위치시킨다. 이때 소정 높이는 최소 적외선 조명(10)에서 발광하는 적외선이 손가락 표면에 투과하여 손가락 정맥에 흡수된 후 반사되어 카메라에서 촬영이 가능한 정도까지의 높이로서, 그 높이가 눈으로 식별이 되지 않을 정도로 카메라(20)와 손가락 사이의 거리가 매우 근접한 높이를 가질 수 있음에 주의하여야 한다. As described above, the non-contact finger vein image capturing apparatus is configured as shown in FIG. 3, and the method of use thereof is as shown in FIG. 4. That is, unlike the conventional touch finger vein image capturing apparatus, the structure of FIG. 3 places the user at a predetermined height so that a finger does not touch the top of the non-contact finger vein image capturing apparatus at the time of the recognition attempt. At this time, the predetermined height is the height to the extent that infrared light emitted by the minimum
그러면, 적외선 조명(10)에서 발광하는 적외선이 상단에 위치하는 손가락으로 조사되고, 카메라(20)는 상기 손가락 쪽으로 조사되는 적외선 중 손가락 정맥에 반사되는 적외선을 촬영하여 손가락 정맥 영상을 취득하게 된다. Then, the infrared light emitted from the
이처럼 상기 비접촉식 손가락 정맥 영상 취득 장치는 손가락을 비접촉 방식을 통해 손가락의 정맥 영상을 취득하고 있어서, 사용자는 손가락 접촉으로 인한 사용자의 지문과 같은 생체정보의 유출을 방지할 수 있고 손가락 접촉에 대한 불쾌감, 불안감, 거부감 등의 문제를 모두 해결할 수 있다.As described above, the non-contact finger vein image capturing apparatus acquires a finger vein image of the finger through a non-contact method, so that the user can prevent the leakage of biometric information such as the fingerprint of the user due to the finger touch, and the discomfort of the finger touch, It can solve all problems such as anxiety and rejection.
그러나 이와 같은 비접촉식으로 이루어지는 손가락 정맥 영상 취득 장치는 기존의 접촉식 손가락 정맥 영상 취득 장치에 비해 취득된 영상에서의 정맥 패턴이 뚜렷하게 관찰되지 않을 수 있다. 왜냐하면, 접촉식으로 이루어지는 손가락 정맥 영상 취득 장치의 경우는 적외선 조명에서 발광되는 적외선을 정해진 위치에서 손가락에 이상적으로 균일하게 조사하는데 반해, 위와 같은 비접촉식으로 이루어지는 손가락 정맥 영상 취득 장치의 경우는 인식시 손가락이 고정되어 있지 못하고 움직임의 자유도가 존재하므로 인해 적외선 조명(10)에서 발광하는 적외선이 이상적인 조사가 불가능하기 때문이다. However, in such a non-contact finger vein image acquisition device, the vein pattern in the acquired image may not be clearly observed as compared to the conventional contact finger vein image acquisition device. In the case of the finger vein image capturing device made of a contact type, the infrared light emitted from the infrared light is irradiated to the finger ideally and uniformly at a predetermined position. This is because the infrared light emitted from the
따라서 기존의 손가락 정맥 영상 취득 장치가 손가락 위에서 적외선을 발광시켜 손가락을 통과한 영상을 카메라에서 취득하는 것과 달리, 도 3과 같이 적외선 조명(10)이 손가락 아래쪽에서 적외선을 발광시키고, 카메라(20)도 역시 상기 적외선 조명(10)과 동일한 손가락 아래쪽에서 적외선이 손가락 정맥에 반사(Reflection)되는 영상을 촬영하므로 인해 혈관 영역이 뚜렷하게 관측되지 않을 수 있다. Accordingly, unlike the conventional finger vein image capturing apparatus emitting infrared light on a finger to acquire an image passing through the finger from the camera, as shown in FIG. 3, the
이러한 혈관 영역의 뚜렷하지 않게 관측되는 문제를 하이 다이내믹 레이지 이미징(High Dynamic Range Imaging : HDRI) 기술을 통해 해결한다. This obscurely observed problem in the vessel region is solved by High Dynamic Range Imaging (HDRI) technology.
상기 하이 다이내믹 레이지 이미징(HDRI)은 컴퓨터 그래픽스에서 실세계의 방대한 양의 조명 정보를 그대로 저장할 수 있는 기술로서, 극도의 사실감 있는 가상물체의 렌더링을 가능하게 하는 방법으로 현재 많은 연구가 진행되고 있다.The high dynamic range imaging (HDRI) is a technology that can store the vast amount of lighting information of the real world in computer graphics as it is, a lot of research is currently being conducted as a way to enable the rendering of extremely realistic virtual objects.
상기 비접촉식 손가락 정맥 영상 취득 장치는 이러한 HDRI 기술을 이용하여 정맥에 반사되는 적외선의 노출과 밝기가 다른 여러 장의 영상을 영상처리 방법으로 하나로 정합하여 영상의 밝기를 고르게 생성한다. 그리고 이렇게 생성된 영상을 통해 혈관 영역을 뚜렷하게 렌더링하여 손가락 정맥 영상의 가시성을 높이게 된다. The non-contact finger vein image capturing apparatus uses the HDRI technology to match several images having different exposure and brightness of infrared rays reflected by the vein into an image processing method to uniformly generate the image brightness. In addition, the generated vein region is clearly rendered through the generated image to increase the visibility of the finger vein image.
또한, 상기 카메라(20)는 손가락 정맥 영상의 뚜렷하게 촬영을 위해 손가락 정맥 영상을 표현하는 디지털 영상의 픽셀을 일반적인 8비트 표현방식이 아닌 10비 트 이상으로 표현하는 높은 밝기해상도(high quantization level)를 가지거나, 또는 이를 위한 ADC(Analog to Digital Converter)를 추가로 구성한다. 이에 따라 상기 카메라(20)는 높은 비트로 밝기를 표현할 수 있어 손가락 정맥 영상에서 혈관과 피부 영역의 밝기 차이를 높일 수 있어 인식을 위한 혈관 추출이 더욱 용이해질 수 있다. In addition, the
따라서 도 3과 같이, 손가락 정맥 영상을 취득하기 위한 카메라(20)와 적외선을 발광하는 적외선 조명(10)을 근접시켜서 손가락 정맥 영상 취득 장치의 크기를 줄이고, 비접촉식으로 손가락 정맥 영상을 취득 가능하게 할 수 있다. 아울러, 하이 다이내믹 레이지 이미징(High Dynamic Range Imaging : HDRI) 영상처리 기술이나 10 비트 카메라 또는 ADC(Analog to Digital Converter) 등을 이용하여 혈관영역이 뚜렷해 보이는 영상을 취득할 수 있다.Therefore, as shown in FIG. 3, the
위에서 설명한 것과 같이 비접촉식 손가락 정맥 영상 취득 장치를 기존의 장치에 비해 소형으로 제작이 가능하기 때문에 도 5와 같이 휴대폰, 스마트폰, PDA등의 휴대용 모바일 기기에 장착하여 적용할 수 있다. 이는 최근 개인의 휴대용 모바일 기기들의 데이터 저장용량이 커지면서 데이터 보안에 대한 문제점이 부각되고 있어, 도 5와 같이 모바일 기기에 상기 비접촉식 손가락 정맥 영상 취득 장치를 적용하게 되면, 이에 따른 데이터 보안에 대한 문제를 개선할 수 있다.As described above, since the non-contact finger vein image capturing device can be manufactured in a smaller size than a conventional device, the contactless finger vein image capturing device can be mounted and applied to a portable mobile device such as a mobile phone, a smart phone, a PDA, and the like. This is a problem of data security as the data storage capacity of the individual portable mobile devices is increasing recently, when applying the non-contact finger vein image acquisition device to the mobile device as shown in Fig. 5, according to the data security problem It can be improved.
이때, 상기 휴대용 모바일 기기에 비접촉식 손가락 정맥 영상 취득 장치를 장착하기 위한 구성은 적외선 조명(10) 및 카메라(20)로 구성된 소형의 비접촉식 손가락 정맥 영상 취득 장치(100)와, 상기 휴대용 모바일 기기 내에 구축된 제어 부, 저장부 및 밧데리 등의 구성요소를 그대로 이용하여 상기 적외선 조명(10)의 적외선 발광 및 카메라의 촬영을 제어하고, 상기 카메라(20)는 하이 다이내믹 레이지 이미징(High Dynamic Range Imaging : HDRI) 영상처리 기술이나 10 비트 카메라 또는 ADC(Analog to Digital Converter) 등을 이용하여 혈관영역을 취득하여 저장부에 저장되도록 구성한다. 참고로, 상기 저장부에는 인식을 위한 사용자의 손가락 정맥 영상 정보를 설정을 통해 미리 저장한다.At this time, the configuration for mounting the non-contact finger vein image acquisition device to the portable mobile device is built in the compact non-contact finger vein
이처럼, 기존의 휴대용 모바일 기기 내에 구성된 구성요소를 그대로 이용하여 추가로 부착된 비접촉식 손가락 정맥 영상 취득 장치(100)를 제어함으로써, 손쉽게 휴대용 모바일 기기로의 적용이 가능하다.As such, by controlling the additionally attached non-contact finger vein
아울러 상기 비접촉식 손가락 정맥 영상 취득 장치는 도 6과 같이 USB (Universal Serial Bus) 또는 SDIO(Source Digital Input Output) 단자(40)와 함께 구성될 수 있다. 이를 통해 USB 또는 SD 단자의 연결을 지원하는 모든 기기에 사용이 가능하다.In addition, the non-contact finger vein image acquisition device may be configured with a USB (Universal Serial Bus) or SDIO (Source Digital Input Output) terminal 40 as shown in FIG. This can be used for all devices that support the connection of USB or SD terminals.
또한, 도 7과 같이 USB 또는 SD 단자(40)를 유선 케이블(50)로 비접촉식 손가락 정맥 영상 취득 장치와 연결되도록 구성하여 장치의 이동성을 확보할 수도 있다. 도 7과 같이 케이블을 통해 USB 또는 SD 단자(40)를 비접촉식 손가락 정맥 영상 취득 장치와 연결되는 구성은 상기 도 6과 같은 형태와 마찬가지로 노트북 또는 개인용 PC등 USB 및 SDIO 인터페이스를 사용하는 기기에 적용할 수 있다.In addition, as shown in FIG. 7, the mobility of the device may be secured by configuring the USB or
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님 을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. Although the technical spirit of the present invention described above has been described in detail in a preferred embodiment, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical idea of the present invention. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
도 1 은 기존의 접촉식 손가락 정맥 영상 취득 장치의 예1 is an example of a conventional contact finger vein image acquisition device
도 2 는 기존의 삽입식 및 접촉식 손가락 정맥 영상 취득 장치의 예2 is an example of a conventional implantable and contact finger vein image acquisition device
도 3 은 본 발명의 실시예에 따른 비접촉식 손가락 정맥 영상 취득 장치의 구조를 나타낸 구성도3 is a block diagram showing the structure of a non-contact finger vein image acquisition apparatus according to an embodiment of the present invention
도 4 는 본 발명의 실시예에 따른 비접촉식 손가락 정맥 영상 취득 장치의 사용 예를 도시한 도면4 is a view showing an example of using a non-contact finger vein image acquisition apparatus according to an embodiment of the present invention
도 5 는 본 발명의 실시예에 따른 비접촉식 손가락 정맥 영상 취득 장치를 휴대용 모바일 기기에 적용한 예를 도시한 도면5 is a diagram illustrating an example in which a non-contact finger vein image capturing apparatus according to an embodiment of the present invention is applied to a portable mobile device.
도 6 은 본 발명의 실시예에 따른 비접촉식 손가락 정맥 영상 취득 장치에 USB 단자가 구성된 예를 도시한 도면6 is a diagram illustrating an example in which a USB terminal is configured in a non-contact finger vein image capturing apparatus according to an embodiment of the present invention.
도 7 은 본 발명의 실시예에 따른 비접촉식 손가락 정맥 영상 취득 장치에 USB 단자 및 유선 케이블이 구성된 예를 도시한 도면7 illustrates an example in which a USB terminal and a wired cable are configured in a non-contact finger vein image capturing apparatus according to an embodiment of the present invention.
*도면의 주요부분에 대한 부호의 설명DESCRIPTION OF THE REFERENCE NUMERALS
10 : 적외선 조명 20 : 카메라10: infrared light 20: camera
30 : 손가락 40 : USB 단자30: finger 40: USB terminal
50 : 유선 케이블50: wired cable
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090042007A KR101016420B1 (en) | 2009-05-14 | 2009-05-14 | Non-contact Finger Vein Image Acquisition Device and Portable Mobile Device Having the Same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090042007A KR101016420B1 (en) | 2009-05-14 | 2009-05-14 | Non-contact Finger Vein Image Acquisition Device and Portable Mobile Device Having the Same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100123021A KR20100123021A (en) | 2010-11-24 |
| KR101016420B1 true KR101016420B1 (en) | 2011-02-21 |
Family
ID=43407745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090042007A Active KR101016420B1 (en) | 2009-05-14 | 2009-05-14 | Non-contact Finger Vein Image Acquisition Device and Portable Mobile Device Having the Same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101016420B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190114590A (en) | 2018-03-30 | 2019-10-10 | 김봉균 | Photographic Apparatus for Vein Image of Ear of Animal |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| US9918023B2 (en) | 2010-04-23 | 2018-03-13 | Flir Systems, Inc. | Segmented focal plane array architecture |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| EP2719167B1 (en) | 2011-06-10 | 2018-08-08 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| CN103828343B (en) | 2011-06-10 | 2017-07-11 | 菲力尔系统公司 | Based on capable image procossing and flexible storage system |
| CA2838992C (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| EP2873058B1 (en) | 2012-07-16 | 2016-12-21 | Flir Systems, Inc. | Methods and systems for suppressing noise in images |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| CN106650711B (en) * | 2017-03-02 | 2023-12-01 | 福建省宜品生物科技有限公司 | Miniaturized finger vein recognition device |
| TWI664950B (en) * | 2018-06-22 | 2019-07-11 | 林世民 | Vein detection device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721373A (en) * | 1993-06-17 | 1995-01-24 | Asahi Optical Co Ltd | Personal identification device |
| KR100843590B1 (en) * | 2006-07-19 | 2008-07-04 | 엠텍비젼 주식회사 | Optical pointing device and portable terminal having same |
| JP2009086797A (en) * | 2007-09-28 | 2009-04-23 | Hitachi Omron Terminal Solutions Corp | Mobile device |
-
2009
- 2009-05-14 KR KR1020090042007A patent/KR101016420B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721373A (en) * | 1993-06-17 | 1995-01-24 | Asahi Optical Co Ltd | Personal identification device |
| KR100843590B1 (en) * | 2006-07-19 | 2008-07-04 | 엠텍비젼 주식회사 | Optical pointing device and portable terminal having same |
| JP2009086797A (en) * | 2007-09-28 | 2009-04-23 | Hitachi Omron Terminal Solutions Corp | Mobile device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190114590A (en) | 2018-03-30 | 2019-10-10 | 김봉균 | Photographic Apparatus for Vein Image of Ear of Animal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100123021A (en) | 2010-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101016420B1 (en) | Non-contact Finger Vein Image Acquisition Device and Portable Mobile Device Having the Same | |
| EP2843510B1 (en) | Method and computer-readable recording medium for recognizing an object using captured images | |
| CN100577102C (en) | biometric input device | |
| US11380138B2 (en) | Device and method for touchless palm print acquisition | |
| US9491171B2 (en) | System and method for vascular mapping authentication | |
| KR101496586B1 (en) | Biometric information image-capturing device, biometric authentication apparatus and manufacturing method of biometric information image-capturing device | |
| EP3118764A1 (en) | A biometric sensor apparatus for authenticating a user, and a user authenticating method | |
| US20050232471A1 (en) | Biometric data card and authentication method | |
| US10657351B2 (en) | Image processing apparatus | |
| CN107437067A (en) | Face liveness detection method and related products | |
| JP7428675B2 (en) | Biometric authentication system, authentication terminal, and authentication method | |
| CN111259858B (en) | Finger vein recognition system, method, device, electronic device and storage medium | |
| Sierro et al. | Contact-less palm/finger vein biometrics | |
| US20210117645A1 (en) | Method and apparatus for biometric identification and electronic device | |
| CN102156858B (en) | A kind of living body finger print recognition device in conjunction with camera and Fingerprint Identification Unit | |
| US12056222B2 (en) | Display device including a fingerprint sensor and a method of driving the same | |
| US8306609B2 (en) | Vein imaging apparatus and thumbnail image creation method | |
| KR20150005094A (en) | Electronic device and method for detection eye region in electronic device | |
| CN114125145B (en) | Method for unlocking display screen, electronic device and storage medium | |
| Lee et al. | A new mobile multimodal biometric device integrating finger vein and fingerprint recognition | |
| CN110741382A (en) | Biometric identification device, method and electronic device | |
| US8368003B2 (en) | Image-capturing module for simplifying optical component and reducing assembly time | |
| EP4116850A1 (en) | Biometric authentication system and electronic device for same | |
| CN107491741A (en) | Iris identification method and mobile terminal | |
| JP2018180660A (en) | Biometric authentication apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20090514 |
|
| PA0201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20090903 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20090514 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20091006 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100120 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100716 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20101115 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20100716 Comment text: Notification of reason for refusal Patent event code: PE06011S01I Patent event date: 20100120 Comment text: Notification of reason for refusal Patent event code: PE06011S01I Patent event date: 20091006 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| PG1501 | Laying open of application | ||
| J201 | Request for trial against refusal decision | ||
| PJ0201 | Trial against decision of rejection |
Patent event date: 20101215 Comment text: Request for Trial against Decision on Refusal Patent event code: PJ02012R01D Patent event date: 20101115 Comment text: Decision to Refuse Application Patent event code: PJ02011S01I Appeal kind category: Appeal against decision to decline refusal Decision date: 20110209 Appeal identifier: 2010101009605 Request date: 20101215 |
|
| AMND | Amendment | ||
| PB0901 | Examination by re-examination before a trial |
Comment text: Amendment to Specification, etc. Patent event date: 20110111 Patent event code: PB09011R02I Comment text: Request for Trial against Decision on Refusal Patent event date: 20101215 Patent event code: PB09011R01I Comment text: Amendment to Specification, etc. Patent event date: 20100519 Patent event code: PB09011R02I Comment text: Amendment to Specification, etc. Patent event date: 20091207 Patent event code: PB09011R02I |
|
| B701 | Decision to grant | ||
| PB0701 | Decision of registration after re-examination before a trial |
Patent event date: 20110209 Comment text: Decision to Grant Registration Patent event code: PB07012S01D Patent event date: 20110119 Comment text: Transfer of Trial File for Re-examination before a Trial Patent event code: PB07011S01I |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20110214 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20110215 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20140217 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140217 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20150130 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150130 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190215 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190215 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210216 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230215 Start annual number: 13 End annual number: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240214 Start annual number: 14 End annual number: 14 |