[go: up one dir, main page]

WO2015102361A1 - 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법 - Google Patents

얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법 Download PDF

Info

Publication number
WO2015102361A1
WO2015102361A1 PCT/KR2014/013022 KR2014013022W WO2015102361A1 WO 2015102361 A1 WO2015102361 A1 WO 2015102361A1 KR 2014013022 W KR2014013022 W KR 2014013022W WO 2015102361 A1 WO2015102361 A1 WO 2015102361A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
image
iris
eye
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/013022
Other languages
English (en)
French (fr)
Inventor
김대훈
최형인
전병진
뒤엔 두엔 응위엔티
최수진
김행문
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iritech Inc
Original Assignee
Iritech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iritech Inc filed Critical Iritech Inc
Priority to CN201480072094.1A priority Critical patent/CN105874473A/zh
Priority to US15/109,435 priority patent/US20160335495A1/en
Priority to JP2016544380A priority patent/JP2017503276A/ja
Publication of WO2015102361A1 publication Critical patent/WO2015102361A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • the present invention relates to an apparatus and method for acquiring iris recognition using facial component distances. More specifically, in order to acquire an iris recognition image, a buffer for capturing and storing a person's image of one or more subjects with a camera, a face component distance calculator for calculating a face component distance from the person image stored in the buffer, and the face.
  • An actual distance estimator for estimating the actual distance between the subject and the camera from the facial component distance calculated by the component distance calculator, and confirming that the subject is in the iris photographing space from the estimated distance, the iris in the actual distance estimator Face component distance including an iris image acquisition unit for acquiring an eye image from a person's image confirmed to be in a shooting space and measuring the quality of the acquired eye image to obtain an iris recognition image satisfying a standard quality Apparatus and Method for Recognizing Iris Using Image The.
  • iris recognition performs authentication or identification by extracting a iris of a subject and comparing it with irises extracted from other images.
  • the most important factor in iris recognition is a sharp iris image while maximizing the convenience of the subject. How can be obtained.
  • the conventional technique which is most commonly used, is to measure the still image by moving the camera directly to a certain distance and stopping at a certain distance. This is impossible without the cooperation of the photographer, and the quality of the iris image acquired varies according to the skill of the photographer. A problem occurred.
  • Another conventional representative technique for overcoming the problems of the technique is a technique for measuring the distance to the subject using a distance measuring sensor, a technique for identifying the position of the eye using a plurality of cameras.
  • Korean Patent Laid-Open Publication Nos. 2002-0086977 and 2002-0073653 which are related to the present invention which automatically measure a distance from a photographed subject using a distance measuring sensor and automatically focus the camera.
  • an infrared spot light type distance measuring pointer is projected onto a subject's face to measure the distance between the subject and the iris recognition camera. The distance is calculated by analyzing the person's image.
  • This method requires additional installation of a device for projecting a spot light and a distance sensor.
  • the cost savings as well as the limited space of electronic devices (such as smart phones) that are being miniaturized in general make it difficult to install additional equipment. There is a limit that is difficult to install.
  • Korean Patent Publication No. 10-2013-0123859 Another prior art associated with the present invention is Korean Patent Publication No. 10-2013-0123859.
  • Korean Patent Laid-Open Publication No. 10-2013-0123859 as described in the text and the problem, the light reflected by an external object is collected using a proximity sensor built into the terminal without adding a separate infrared light to the terminal. It has a proximity sensing unit that measures distance by analyzing light collected later.
  • the iris image is captured by a general digital (color) camera without using infrared light, and the reflected light reflected from the surrounding object (subject) is confined to the iris area to obscure the iris image, which limits the accuracy of iris recognition.
  • the reliability of the distance measurement itself due to the ambient light and reflected light may be a problem.
  • the intelligentization in the terminal such as a smart phone is proceeding very quickly, and also the technical field related to the camera mounted on the terminal such as a smart phone is also developing at a remarkably fast speed.
  • camera modules for smartphones with resolutions of 12M or 16M pixels and transfer rates of more than 30 frames per second have already begun to be used at low cost, and devices using camera modules with higher resolutions and faster frame rates in a short time have been introduced. It is expected to be used universally at very low prices.
  • the problem to be solved by the present invention is to solve the problems of the prior art, the face from the image taken by the camera of the existing device without using the conventional complex distance measuring apparatus and method used to obtain a clear iris image
  • the iris recognition image is obtained using the component distance.
  • Another problem to be solved by the present invention is to obtain the iris recognition image at the position of obtaining the optimal image that is set differently according to the type of the device by estimating the actual distance between the camera and the subject.
  • Another object of the present invention is to obtain an iris recognition image that satisfies a certain quality standard by measuring a quality item by separating an image including an iris region from an image photographed by a camera of an existing device.
  • Another problem to be solved by the present invention is to provide an intuitively recognizable guide or add an actuator to the camera so as to approach the location where the photographic subject can achieve optimal image acquisition without using conventional complicated and difficult methods.
  • the subject is fixed and the camera moves automatically to increase the convenience of the subject.
  • Another problem to be solved by the present invention is to optimize the efficiency of the power and resources of the existing device by acquiring the iris recognition image at the position of obtaining the optimal image.
  • Another problem to be solved by the present invention is to use a face recognition or eye tracking technique used to extract the distance of the facial component without using a conventional method to prevent forgery of the iris recognition image to be obtained.
  • Another problem to be solved by the present invention is to use the image taken on the existing device in addition to the face recognition of the existing device, or to perform the iris recognition using the iris recognition image in order to obtain the iris recognition image This can be easily applied to unlock the device or enhance security.
  • a buffer for photographing and storing a person's image of one or more subjects in order to obtain an iris recognition image
  • a face component distance calculator for calculating a face component distance from the person image stored in the buffer.
  • a real distance estimator for estimating an actual distance between the camera and the camera from the face component distance calculated by the face component distance calculator and confirming that the camera is in the iris shooting space from the estimated distance;
  • a face including an iris image acquisition unit for acquiring an eye image from a person's portrait image confirmed by the government to be in an iris shooting space, and obtaining an iris recognition image that satisfies a standard quality level by measuring the quality of the acquired eye image.
  • Another solution of the present invention is to obtain the actual solution between the camera and the camera from a function obtained through a preliminary experiment and expressing a relationship between the distance between the camera and the face component and stored in a memory or a database of a computer or a terminal. Iris using a face component distance consisting of an actual distance calculating unit for calculating a distance, an iris shooting space checking unit for confirming that the subject is in the iris shooting space from the calculated actual distance between the camera and the camera, and transmitting it to the iris image acquisition unit.
  • An apparatus and method for image acquisition for recognition are provided.
  • Another solution of the present invention is an eye image extraction unit for extracting the left eye and the right eye eye image from the person image stored in the iris photographing space, the separation of the extracted eye image of the left eye and the right eye Eye image storage unit for storing by measuring the quality of the eye image of the stored left eye and the right eye, and by evaluating whether the measured eye image quality meets the standard quality diagram to obtain the satisfied eye image as an iris recognition image
  • An object and method for acquiring an iris recognition image using a face component distance composed of an eye image quality measuring unit is provided.
  • the iris imaging space may be determined by an intuitive guide unit that provides an image guide manipulated to guide a subject to enter the iris imaging space or an actuator control unit that controls an actuator of a camera.
  • the present invention provides an apparatus and method for acquiring iris recognition using a facial component distance configured.
  • Another solution of the present invention is to add the iris recognition unit for performing the iris recognition using the face recognition unit and the iris recognition image to extract the face components when the face component is extracted for measuring the face component distance
  • An apparatus and method for image recognition for iris recognition using a configured face component distance are provided.
  • the present invention is to solve the above-mentioned problems of the prior art, without using the conventional complex distance measuring apparatus and method used to obtain a clear iris image from the image taken by the camera of the existing device from the distance of the facial component By using the iris recognition image is effective.
  • Another effect of the present invention is to obtain the iris recognition image at the position of obtaining the optimal image which is set differently according to the type of device by estimating the actual distance between the camera and the photographed person.
  • Another effect of the present invention is to obtain an iris recognition image that satisfies a certain quality standard by measuring a quality item by separating an image including an iris region from an image photographed by a camera of an existing device.
  • Another effect of the present invention is to provide a guide that can be intuitively recognized without using conventional complicated and difficult methods to approach the position allowing the image to be optimally acquired, or by adding an actuator to the camera. Is fixed and the camera moves automatically to increase the convenience of the subject.
  • Another effect of the present invention is to optimize the efficiency of power and resources of the existing device by acquiring the iris recognition image at the position of obtaining the optimal image.
  • Another effect of the present invention is to use a face recognition or eye tracking technique used to extract the distance of the facial component without using a conventional method to prevent forgery of the iris recognition image to be obtained.
  • Another effect of the present invention is to use the image taken on the existing device in addition to the face recognition of the existing device, or to perform the iris recognition using the iris recognition image to acquire the iris recognition image It can be easily applied to unlock or enhance security.
  • FIG 1 illustrates various examples of distances between facial component elements in accordance with one embodiment of the present invention.
  • FIG. 2 illustrates an example of a distance between a left eye and a right eye that can be variously measured according to a position of a reference point according to an embodiment of the present invention.
  • FIG. 3 is a block diagram schematically illustrating an iris recognition image acquisition apparatus using a face component distance according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of obtaining an iris recognition image using a distance of a face component according to an embodiment of the present invention.
  • FIG. 5 is a block diagram schematically illustrating a face component distance calculator according to an exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of calculating a facial component distance according to an embodiment of the present invention.
  • FIG. 7 is a block diagram schematically illustrating an actual distance estimating unit according to an embodiment of the present invention.
  • FIG. 8 exemplarily illustrates a principle of a pinhole camera model showing a relationship between a facial component distance and an actual distance according to an embodiment of the present invention.
  • FIG. 9 illustrates, by way of example, the principle of obtaining a function representing a relationship between a facial component distance and an actual distance using statistical means (mainly regression analysis) according to an embodiment of the present invention.
  • FIG. 10 is a diagram for easily understanding a relationship between an actual distance between a photographic camera and a camera estimated using a pupil center distance as a facial component distance according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a method of notifying a photographic subject that an iris photographing space has been approached by using an intuitive image guide to a photographic subject according to an exemplary embodiment of the present invention by using a screen of a smartphone.
  • FIG. 12 is a block diagram schematically illustrating an iris image acquisition unit according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method of obtaining an iris recognition image according to an embodiment of the present invention.
  • FIG. 14 illustrates an example of a principle of extracting an eye image from a person image photographed in an iris photographing space according to an embodiment of the present invention.
  • 15 is an illustration for explaining a principle of extracting an eye image from a photographed portrait image when the iris photographing space is larger than the capturing space according to an embodiment of the present invention.
  • FIG. 16 illustrates an example for logically classifying and storing eye images of a left eye and a right eye according to an embodiment of the present invention.
  • 17 illustrates an example for explaining physically dividing and storing the eye images of the left eye and the right eye according to an embodiment of the present invention.
  • a buffer for capturing and storing a person's image of one or more subjects with a camera to obtain an iris recognition image
  • a face component distance calculator for calculating a face component distance from the person image stored in the buffer, and the face configuration
  • An actual distance estimator for estimating the actual distance between the subject and the camera from the face component distance calculated by the element distance calculator, and confirming that the subject is in the iris photographing space from the estimated distance;
  • Eyes left, right
  • eyebrows left, right
  • mouth ears
  • ears chin, cheeks
  • face boundaries depending on the technical configuration (method) used for face detection or face recognition
  • the eyes (left, right), eyebrows (left, right), nose, nose holes (left, right), mouth, ears, jaw, cheeks, and facial boundaries used for face detection and face recognition described above are generally used.
  • the term is used as a face element or a face element, in the present invention, it is defined as a face element element, and the face element distance is obtained from the distance between the respective face element elements defined above. In this case, the distance between the elements of the face is obtained by measuring a pixel distance in a person image photographed by a camera to be described later.
  • FIG 1 illustrates various examples of distances between facial component elements in accordance with one embodiment of the present invention.
  • various facial component elements may be extracted according to a technical configuration (method) used for face detection and face recognition, and various distances between these elements may exist.
  • the distance between the facial component elements extracted by the specific method A will be expressed in the form L (ai, aj) or L (aj, ai) (ai, aj ⁇ ⁇ a1, a2,..., ak ⁇ ).
  • the distance between the extracted elements can be expressed as L (di, dj), and The number of distances between the elements is r (r-1) / 2.
  • the distances between the elements of the facial components are the distance between the left eye and the right eye, the distance between the left eye and the nose, the distance between the left eye and the mouth, the distance between the right eye and the nose, the distance between the right eye and the mouth, and between the nose and the mouth, respectively. There is only one street.
  • facial component elements such as left eye and right eye and nose, left eye and right eye and mouth, left eye and nose and mouth, and right eye and nose and mouth as facial component elements. do. Therefore, the distances between the elements of the face are also as follows.
  • Left eye and right eye and nose distance between left and right eyes, distance between left and nose, distance between right and nose
  • Left eye and right eye and mouth distance between left eye and right eye, distance between left eye and mouth, distance between right eye and mouth
  • Left eye and nose and mouth distance between left eye and nose, distance between left eye and mouth, distance between nose and mouth
  • Right eye, nose and mouth distance between right eye and nose, distance between right eye and mouth, distance between nose and mouth
  • the distance between the face element elements is one as in the example of (T1)
  • the distance between the face element elements can be used as the face element distance, but as shown in the example of (T2), the distance between two or more face element elements is used. If distance exists, one can be selected, two or more distances can be used simultaneously as calculation factors, or two or more distances can be calculated as a multivariate regression function and used as one value.
  • the distance between the elements of the face is L (left eye d1, right eye ( d2)), L (left eye d1, nose d3), and L (right eye d2, nose d3) exist.
  • F is a function that calculates the face component distance from the three measured distances L (d1, d2), L (d1, d3), and L (d2, d3)
  • the face component distance is F (L (d1). , d2), L (d1, d3), and L (d2, d3)).
  • the distance that is most easily measured is selected, or if the measurement is the same, one is arbitrarily selected and used as the facial component distance.
  • the values of F (L (d1, d2), L (d1, d3), L (d2, d3)) are respectively L (d1, d2) and L ( d1, d3) and L (d2, d3) can be in the form of ordered pairs, matrices or vectors, and when the last three measured distances are converted to one value, F (L (d1, d2), L (d1, d3) and L (d2, d3)) values are converted to multivariate regression functions.
  • the distance between the same face component elements described above also depends on the position of the reference point to measure.
  • the reference point refers to a specific position of the face component elements necessary for measuring the distance between the face component elements.
  • the nose can be used as a reference point for various specific positions such as left, right nostrils and nose tip.
  • FIG. 2 is a diagram illustrating a distance between a left eye and a right eye that can be variously measured according to the position of a reference point according to an embodiment of the present invention.
  • InterPupillary distance (IPD, PD) L1
  • ICD, ID L2
  • ICD, ID L2
  • the left eye and the right eye are used as facial component elements which are considered to be the best understanding of the gist of the present invention, and the facial component distance is described as an example of the pupil center distance. Therefore, although the left eye and the right eye are used as the face component elements and the face component distance is the distance between the pupil centers, the descriptions of the other face component elements and the face component distance can be explained in the same way. It should be understood that the same application is possible.
  • FIG. 3 is a block diagram schematically illustrating an iris recognition image acquisition apparatus using a face component distance according to an embodiment of the present invention.
  • the iris recognition image acquisition apparatus using the face component distance captures a part or all of the subject including the subject's face with the camera to acquire the iris recognition image.
  • the element distance calculator 302 estimates the actual distance between the subject and the camera from the face component distance calculated by the element distance calculator 302, and the subject estimates the infrared distance from the estimated distance.
  • an iris photographing space Means for confirming that the person is in the position where the image of the person is photographed (hereinafter referred to as an actual distance estimator; 303), and an iris photographing space by the actual distance estimator 303
  • a cropping image (hereinafter referred to as an 'eye image') of an eye region including an iris is divided into eye images of the left eye and the right eye, and the stored eye image Means for obtaining an eye image (hereinafter referred to as an 'iris recognition image') that satisfies a certain quality standard (hereinafter referred to as 'standard quality diagram') (hereinafter referred to as an 'iris image acquisition unit') 304).
  • a certain quality standard hereinafter referred to as 'standard quality diagram'
  • face recognition may be performed during the process of extracting the face component elements from the face component distance calculator 302, and for this purpose, a face recognizer 305 may be added.
  • iris recognition may be performed during the process of acquiring the iris recognition image by the iris image acquisition unit 304, and for this purpose, an iris recognition unit 306 which will be described later may be added.
  • FIG. 4 is a flowchart illustrating a method of obtaining an iris recognition image using a distance of a face component according to an embodiment of the present invention.
  • the iris recognition image acquisition method consists of the following steps.
  • the camera is in a standby state (hereinafter referred to as a 'sleep mode') and then detects the subject and starts capturing a portrait image, storing the captured portrait image in a buffer (S401), and the person stored in the buffer.
  • a face component distance calculator calculates a face component distance from an image, and an actual distance between the camera and the camera is estimated by the real distance estimator from the calculated face component distances.
  • the iris image obtaining unit obtains the eye image from the person's image and stores the left and right eye images separately.
  • the eye image quality is measured to obtain an iris recognition image that satisfies a reference quality level. It is composed.
  • steps S401 to S405 are described as being sequentially executed. However, this is merely illustrative of the technical spirit of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations will be applicable by changing the order described in Figure 4 or by executing one or more steps of steps S401 to S405 in parallel without departing from the essential characteristics of an embodiment of the present invention. 4 is not limited to the time series order.
  • the camera is not limited to the finished product of the camera, but the entrance-related device such as the door lock or the security device such as the CCTV or the video device such as the camera and the video, the camcorder which has recently been actively researched for introducing or introducing the iris recognition.
  • a camera lens or a camera module of a smart device such as a smartphone, a tablet, a PDA, a PC, a laptop, and the like.
  • the resolution of an image required for iris recognition is referred to the ISO regulation, and the ISO regulation is defined as the number of pixels of the iris diameter based on the VGA resolution image.
  • the picture quality is usually higher than 200 pixels, the normal quality is 170 pixels, and the low quality is 120 pixels. Therefore, the present invention uses a camera having a high-quality pixel as much as possible to obtain the convenience of the photographer while acquiring the eye images of the left eye and the right eye, but this also varies according to the quality of the iris or other additional devices. Since numbers are likely to be applied, it is not necessary to limit them to high quality pixels.
  • the camera may be generally composed of one camera or two or more cameras, and may be variously modified as necessary.
  • an illumination unit may be added and configured.
  • an additional lighting unit to turn on an infrared light in an iris photographing space to be described later should be additionally configured, and a face detection and face recognition method using thermal infrared light. In may not need a separate lighting unit.
  • the infrared light is turned on by means of turning off the visible light illumination and turning on the infrared light.
  • the infrared light is turned on by means of turning off the visible light illumination and turning on the infrared light.
  • it is sufficiently additional in terms of space constraints due to cost or physical size. Since installation is possible, there will be no difficulty in applying.
  • the buffer temporarily stores the singular or plural portrait images taken by the camera, and is mainly linked with the camera and the face component distance calculator.
  • the person image is calculated so as to calculate a face component distance and delete it immediately.
  • the eye image when the subject enters the iris photographing space, the eye image must be acquired from the person image photographed from the camera, and thus stored for a predetermined time without deleting the person image.
  • the configuration of the buffer consists of two buffers in charge of separating the above-described roles, or adding a specific storage space to the buffer, and storing the image taken by the camera in a specific storage space.
  • Various configurations are available to suit the purpose and purpose.
  • FIG. 5 is a block diagram schematically illustrating a face component distance calculator according to an exemplary embodiment of the present invention.
  • the facial component distance calculating unit means for extracting facial component elements from a person image (hereinafter referred to as an element extracting unit) 501, and the element extraction.
  • Means for measuring the distance between the face component elements from the face component elements extracted from the unit (hereinafter referred to as an element distance measuring unit) 502, and the distance between the face component elements measured by the element distance measuring unit.
  • Means for calculating a face component distance from the following (hereinafter referred to as a component distance calculating section) 503.
  • the face recognition unit 504 which performs face authentication and identification is added alone, or the face recognition unit and the fake eye are detected.
  • the eye forgery detection unit 505 can be combined and configured.
  • FIG. 6 is a flowchart illustrating a method of calculating a facial component distance according to an embodiment of the present invention.
  • the method for calculating a facial component distance includes the following steps.
  • steps S601 to S605 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations will be applicable by changing the order described in Figure 6 or by executing one or more steps of steps S601 to S605 in parallel without departing from the essential characteristics of one embodiment of the present invention. 6 is not limited to the time series order.
  • the element extraction unit in the present invention extracts the face component elements using a conventionally known technique used in the face detection and face recognition steps of the face authentication system.
  • Face detection is a preprocessing stage of face recognition, which affects face recognition performance decisively.
  • color-based detection method using color components of HSI color model, color information and motion information are combined to face detection. And a method of detecting a face region using color information and edge information of an image.
  • face recognition includes a geometric feature-based method, a template-based method, a model-based method, a method using a thermal infrared ray or a three-dimensional face image.
  • OpenCV is widely used around the world as open source used for face detection and face recognition.
  • any technique may be used as long as it is consistent with the object and purpose of the present invention to extract the facial component elements from the portrait image, among the conventional techniques described above, and the conventional techniques for face detection and face recognition. Since the technique is already known, more detailed description is omitted.
  • the element extraction unit uses the eye (left and right), eyebrows (left and right), nose, nose hole (left and right), mouth, ear, chin, cheek and face boundary according to the conventional techniques used for face detection and face recognition. All or part of the back is extracted, most of which detect the eye area (left, right).
  • the distance between the extracted elements can be expressed as L (di, dj), and The number of distances between the elements is r (r-1) / 2.
  • the distance between the facial component elements extracted by the element extraction unit After measuring the distance between the facial component elements extracted by the element extraction unit, some or all of the measured distances are used. At this time, the distance between the facial component elements is obtained by measuring the pixel distance between the facial component elements in the portrait image stored in the buffer.
  • the distance between the face elements may be measured in various ways depending on the position of the reference point to measure. For example, even if the same left and right eyes are selected, various distances are measured according to the position of the reference point selected for the distance measurement. It is possible.
  • InterPupillary distance (IPD, PD) L1
  • ICD, ID intercanthal distance
  • ICD, ID intercanthal distance
  • the distances between the elements of the facial components are the distance between the left eye and the right eye, the distance between the left eye and the nose, the distance between the left eye and the mouth, the distance between the right eye and the nose, the distance between the right eye and the mouth, and between the nose and the mouth, respectively. There is only one street.
  • Left eye and right eye and nose distance between left and right eyes, distance between left and nose, distance between right and nose
  • Left eye and right eye and mouth distance between left eye and right eye, distance between left eye and mouth, distance between right eye and mouth
  • Left eye and nose and mouth distance between left eye and nose, distance between left eye and mouth, distance between nose and mouth
  • Right eye, nose and mouth distance between right eye and nose, distance between right eye and mouth, distance between nose and mouth
  • One of the distances between the elements of the facial component measured by the element distance measuring unit is selected or used, or two or more distances are used as the facial component distance. In this case, when two or more distances exist, two or more distances may be used at the same time or two or more distances may be converted into one distance.
  • the distance between the face element elements becomes the face element distance, and even if the distance between the face element elements is two or more, only one face is selected. Can be used as component distance.
  • the distance between the facial component elements is L (left eye d1, right eye d2). ), L (left eye d1, nose d3), and L (right eye d2, nose d3) are three.
  • F is a function that calculates the face component distance from the three measured distances L (d1, d2), L (d1, d3), and L (d2, d3), the face component distance is F (L (d1). , d2), L (d1, d3), and L (d2, d3)).
  • the distance that is most easily measured is selected, or if the measurement is the same, one is arbitrarily selected and used as the facial component distance.
  • the values of F (L (d1, d2), L (d1, d3), L (d2, d3)) are respectively L (d1, d2) and L ( d1, d3) and L (d2, d3) can be in the form of ordered pairs, matrices or vectors, and when the last three measured distances are converted to one value, F (L (d1, d2), L (d1, d3) and L (d2, d3)) values are converted to multivariate regression functions.
  • Verification, Identification, and Recognition terms are used to mean recognition.
  • Verification is used, and in case of one-to-many (1: N) matching, identification is used.
  • Recognition for the recognition of the entire large system, including searching, authentication and identification.
  • the face recognition unit performs face recognition from the person's image stored in the buffer by using the face detection and face recognition techniques used in the element extraction unit described above. In the present invention, even if the face recognition result does not come out correctly, the accuracy can be improved by combining the iris recognition result in the iris recognition unit after obtaining the iris recognition image in the iris image acquisition unit to be described later.
  • the video analysis method technology for detecting the movement of the pupil by analyzing the real-time camera image can be applied to the authenticity of the iris recognition image.
  • the eye forgery detection unit of the above-mentioned conventional technology for detecting a fake face in the field of face recognition and eye tracking technology the present invention for preventing the forged fake image (liveness detection) to be obtained (liveness detection) Any technique may be used as long as it satisfies the purpose and purpose of the application, and may be configured in addition to the face recognition unit.
  • FIG. 7 is a block diagram schematically illustrating an actual distance estimating unit according to an embodiment of the present invention.
  • a relationship between a real distance between a photographic subject and a face component distance obtained from a pre-experimental experiment and stored in a memory or a database of a computer or a terminal and a camera is obtained through a pre-experiment.
  • the iris is obtained from the actual distance between the camera and the camera estimated by the actual distance calculator.
  • Means for confirming the presence in the photographing space hereinafter referred to as the iris photographing space verification unit 702.
  • FIG. 8 illustrates the principle of a pinhole camera model showing a relationship between a facial component distance and an actual distance according to an embodiment of the present invention.
  • Equation (1) Equation (1)
  • the pinhole camera model may be caused by various factors such as the characteristics of the camera (lens focus, lens and angle of view composed of the composite lens) and the difficulty of aligning the lens position with the pinhole hole or the characteristics of the subject (age, etc.). ) Cannot be applied as is.
  • the camera is fixed and the subject moves or the camera remains in motion, and the actual distance between the subject and the camera at various positions and the face component distance are measured, and the measured values are statistical means.
  • Use regression analysis to find a function that represents the relationship between two variables.
  • FIG. 9 illustrates, by way of example, the principle of obtaining a function representing a relationship between a facial component distance and an actual distance using statistical means (primarily regression analysis) according to an embodiment of the present invention.
  • the actual distance (Y variable, dependent variable) and face component distance (X variable, independent variable) between the photographed person and the camera are measured and displayed on the coordinate axis.
  • a function representing the points is obtained through statistical means (mainly regression analysis) from the points indicated in the coordinate axis.
  • the shape of the function is represented by a curve with various solids.
  • this function applies the same function to all users, but when it is necessary to calibrate considering the characteristics of camera and sensor and the age of the photographer (children, the elderly, etc.) After we proceed, we use different functions to estimate the actual distance depending on the user.
  • FIG. 10 is a diagram for easily understanding a relationship between an actual distance between a photographic camera and a camera estimated using a pupil center distance as a facial component distance according to an embodiment of the present invention.
  • the actual distance calculator calculates and estimates the actual distances L1, L2, L3 between the camera and the camera by substituting the pupil center distances d1, d2, d3 into the function obtained above.
  • a sharp image of a subject can be captured in an entrance-related device such as a door lock or a security device such as a CCTV or a video device such as a camera and a video or a camcorder and a smart device such as a smartphone, a tablet, a PDA, a PC or a laptop. It has a location (capture volume). Therefore, it is very likely that the quality of the eye image obtained from the portrait image when the subject enters the capture space is high.
  • the iris photography space can be set larger than the capture space by selecting specific criteria without making the iris photography space exactly the same as the capture space.
  • the capturing space is set in advance for each device, and based on this, the iris capturing space can be set at a certain margin before entering the capturing space or after leaving the capturing space. Therefore, when entering from the iris shooting space, the buffer starts to store the image of the person received from the camera, and when it leaves the iris shooting space, the storage ends.
  • the iris photographing space may be set with a certain time margin before entering the capture space or after leaving the capture space. Therefore, at the time of entering the iris shooting space, the buffer starts to store the image of the person received from the camera, and the storage ends at the time of leaving the iris shooting space.
  • the criterion for setting the arbitrary time and distance may be determined according to the minimum number of person images required for obtaining an iris recognition image, the number of eye images obtained from the person image, or the number of eye images satisfying the reference quality.
  • the capturing space is referred to as the iris capturing space for the sake of unity of language except when the iris capturing space and the capturing space are specially expressed. Shall be.
  • an image guide hereinafter, referred to as an "intuitive guide” or an actuator of the camera, which is manipulated to induce the subject to enter the iris recording space
  • the controlling means hereinafter referred to as an 'actuator controller'
  • the intuition guide unit is mainly used when the camera is still and the subject moves slowly back and forth or when the user moves the device from a mobile device such as a smartphone to enter the iris shooting space.Intuition using the size, sharpness or color of the portrait image
  • the image guide may be configured to be recognized by the photographed person.
  • FIG. 11 is a diagram illustrating a method of notifying a photographic subject that an iris photographing space has been approached by using an intuitive image guide to a photographic subject according to an exemplary embodiment of the present invention by using a screen of a smartphone.
  • an intuitive image guide is provided on the screen of the smartphone as the actual distance between the camera embedded in the smartphone and the photographer changes, and the photographer can intuitively check directly through the screen of the smartphone. have.
  • the iris shooting space provides a blurry image when not in the iris shooting space, and transmits a sharpen image when in the iris shooting space. It can be located in the space to maximize the convenience of the photographer.
  • It also provides an image with a background color that prevents the subject from recognizing the subject, such as white or black, when the subject is not in the iris shooting space, and the color of the image of the subject taken when the subject is in the iris shooting space. By transmitting it as it is, it can be intuitively positioned in the iris shooting space, thereby maximizing the convenience of the subject.
  • Actuator control is mainly used when the subject is still and the whole camera or the camera lens or camera sensor is automatically moved back and forth to enter the iris shooting space.
  • the subject minimizes the movement, stares the eyes or opens the eyes. Induce action.
  • the intuitive image guide used in the intuitive guide unit of the present invention may be used by adding a means for generating an audio signal such as sound or voice, a means for generating a visual signal by an LED, a flash, or a means for generating vibration. have. Even if there is no display such as a mirror or LCD that can transmit an intuitive video guide like a smartphone, it is difficult to apply this description because it can be additionally installed in terms of space constraints due to cost or physical size. There will be no.
  • FIG. 12 is a block diagram schematically illustrating an iris image acquisition unit according to an embodiment of the present invention.
  • the iris image acquisition unit means for extracting the eye image of the left eye and the right eye from the person image taken in the iris imaging space and stored in the buffer (hereinafter referred to as 'eye image extraction' (1201), means for separating and storing the eye image extracted by the eye image extraction unit into the eye image of the left eye and the right eye (hereinafter referred to as 'eye image storage unit') (1202), the eye Means for measuring the quality of the eye images of the left and right eyes stored in the image storage unit, evaluating whether the measured eye image quality satisfies the reference quality diagram, and acquiring the satisfied eye image as an iris recognition image (hereinafter, It is referred to as an 'eye image quality measurement unit' (1203).
  • FIG. 13 is a flowchart illustrating a method of obtaining an iris recognition image according to an embodiment of the present invention.
  • the method for obtaining an iris recognition image according to an embodiment of the present invention is composed of the following steps.
  • the eye image extracting unit photographs in the iris photographing space and extracts the eye images of the left eye and the right eye from the portrait image stored in the buffer (1301), and extracts the eye images of the extracted left eye and the right eye into the eye image storage unit.
  • a step of separately storing 1302 a step of measuring the quality of the stored eye images of the left eye and the right eye by using an eye image quality measuring unit 1303, whether the measured eye image quality satisfies a reference quality diagram
  • steps S1301 to S1304 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 13 or executing one or more steps of steps S1301 to S1304 in parallel without departing from the essential characteristics of an embodiment of the present invention. 13 is not limited to the time series order.
  • an additional lighting unit to turn on the infrared light in the iris shooting space must be additionally configured.
  • a separate lighting unit is used. It may not be necessary.
  • the visible light illumination is used to turn off the visible light and turn on the infrared light in the iris photographing space, or the second is the visible light illumination and the infrared light is visible in the iris photographing space.
  • the filter is attached so that only infrared can be used as a light source.
  • FIG. 14 illustrates an example of a principle of extracting an eye image from a person image photographed in an iris photographing space according to an embodiment of the present invention.
  • the incision shape has a shape of a predetermined figure such as a rectangle, a circle, an ellipse, and the incisions of the left eye and the right eye are simultaneously incised or separated.
  • 15 is an illustration for explaining a principle of extracting an eye image from a photographed portrait image when the iris photographing space is larger than the capturing space according to an embodiment of the present invention.
  • n portrait images from T1 to Tn are automatically acquired at a constant speed per second for a difference of two hours. Done. However, if the time taken to enter and capture the capture space is T1 and the end time is Tn, n-2 person images from T2 to Tn-1 are automatically acquired. Therefore, the child image is not obtained from the person image acquired in T1 and Tn, but the eye image is obtained from n-2 person images from T2 to Tn-1.
  • FIG. 16 illustrates an example for logically dividing and storing eye images of a left eye and a right eye according to an embodiment of the present invention.
  • a physical space for storing an eye image is logically divided into a place for storing an eye image of a left eye and a place for storing an eye image of a right eye, and left in each storage space.
  • 17 illustrates an example for explaining physically dividing and storing the eye images of the left eye and the right eye according to an embodiment of the present invention.
  • the physical space for storing the eye image is separately configured as the eye image storage space of the left eye and the right eye, respectively, to store the eye images of the left eye and the eye images of the right eye in different physical storage spaces. do.
  • the eye images obtained from the same portrait image may have different quality of the left eye image and the right eye image. For example, if the left eye is open and the right eye is closed, even if the same portrait image, the quality of the left eye image and the right eye image are different. Therefore, as shown in FIGS. 16 and 17, the number of eye images acquired from the same number (m) of the person images may be different (the right eye may be m, but the left eye may be n.) Or may be the same). In consideration of this characteristic, the eye image storage unit separately stores the left eye eye image and the right eye eye image.
  • the eye image quality measurement unit separates a plurality of left eye and right eye eye images stored in the eye image storage unit, and the quality of the eye image according to the measurement item (hereinafter referred to as 'characteristic item') (hereinafter referred to as 'item quality degree'). Measure At this time, the item quality diagram is a numerical value.
  • the characteristic item is composed of items (A1-A3) necessary for general image selection irrelevant to the iris characteristic and items related to the iris characteristic (A4-A12).
  • the first includes (A1) sharpness, (A2) contrast ratio, and (A3) noise level.
  • the second is (A4) Capture range of iris area, (A5) Light reflectivity, (A6) Iris position, (A7) Iris sharpness, (A8) Iris contrast ratio, (A9) Iris noise level, (A10) Iris boundary sharpness (A11) Iris boundary contrast ratio, (A12) Iris boundary noise level.
  • various metrics may be added according to the iris characteristics, the above items may be excluded, and the above items are just examples (see Table 1). Table 1 shows the characteristics of the iris.
  • the eye image satisfying the standard quality level is selected as the iris recognition image by comparing the item quality level measured by the eye image quality measuring unit. If there is no one of the left and right eye images that meet the standard quality, then discard the entire eye image of the no-eye and request the acquisition of a new eye image. If not, discard the entire eye image and request to acquire a new eye image. Therefore, a new iris image acquisition request is repeatedly made until a pair of iris recognition images consisting of a left eye and a right eye single eye image satisfying the reference quality diagram are selected.
  • the value of the item quality diagram among the plurality of eye images (hereinafter referred to as 'the overall quality diagram'). Then select the eye image with the highest overall quality.
  • the eye image evaluation process may be performed in real time in the process of obtaining an iris recognition image.
  • the weighted sum of the item quality diagrams which is one of the typical methods of evaluating the general quality diagrams, is measured.
  • the numerical value of the sharpness of the image is a1, the weight thereof is w1, the numerical value of the contrast ratio of the image is a2, the weight thereof is called w2, and the numerical value of the noise level of the image.
  • the weight is w3, the value of the capture range of the iris region is a4, the weight is w4, the value of light reflection is a5, and the weight is w5.
  • the numerical value of the position of the iris is called a6, the weight of the iris is called w6, the value of the iris sharpness is called a7, the weight of this is called w7, and the value of the iris contrast ratio is called a8.
  • the weight for this is called w8, the iris noise level is called a9, the weight for this is called w9, the iris sharpness value is called a10, and the weight for this is called w10.
  • the value of the iris boundary contrast ratio is a11
  • the weight is w11
  • the value of the iris boundary noise level is a12
  • the weight is w12
  • w1 is multiplied by a1
  • w2 is multiplied by a2, multiplied by a3, w3 multiplied by a4, w4 multiplied by a4, w5 multiplied by a5, w6 multiplied by a6, w7 multiplied by a7, w8 multiplied by a8, w9 a9
  • the overall quality level is a value obtained by multiplying each item quality level by a non-negative weight and then adding the results to adjust the weight according to the importance of the characteristic item. Accordingly, the total quality level value is selected among the plurality of eye images in which the item quality level satisfies the reference quality level.
  • the iris recognition unit performs iris recognition using the iris recognition image acquired by the eye image quality measuring unit described above.
  • Conventional technology related to iris recognition is a method of extracting an iris region from an iris recognition image, extracting and encoding iris features from the extracted iris region, and comparing and comparing codes. Extracting the iris region from the iris recognition image includes a circular edge detector method, a Hough transform method, a template matching method, and the like.
  • the expiration date of the original patent of iris recognition owned by Iridian company in the United States has expired, and various softwares using this have been developed.
  • any technique may be used as long as it satisfies the object and purpose of the present invention to extract the iris region from the iris recognition image to enable iris recognition. Since the conventional technology is already known, more detailed descriptions are omitted.
  • Iris recognition is performed using iris recognition images in access-related devices such as door locks, security devices such as CCTVs, video devices such as cameras, videos, camcorders, and smart devices such as smartphones, tablets, PDAs, PCs, and laptops. It can be used to easily unlock the device or make it easier to secure.
  • access-related devices such as door locks, security devices such as CCTVs, video devices such as cameras, videos, camcorders, and smart devices such as smartphones, tablets, PDAs, PCs, and laptops. It can be used to easily unlock the device or make it easier to secure.
  • an iris recognition image acquisition method using a face component distance is performed in the following order (see FIG. 4).
  • the camera is in a standby state (hereinafter referred to as a 'sleep mode') and then detects the subject and starts capturing a portrait image, storing the captured portrait image in a buffer (S401), and the person stored in the buffer.
  • a 'sleep mode' a standby state
  • S401 a buffer
  • the method for calculating the facial component distance according to an embodiment of the present invention proceeds in the following order (see FIG. 6).
  • the method for estimating the actual distance according to an embodiment of the present invention proceeds in the following order.
  • the actual distance between the camera and the camera is calculated from a function representing the relationship between the distance between the camera and the face component and the distance between the camera and the camera. Estimating, and confirming that the subject is in the iris photographing space from the actual distance between the subject and the camera estimated in the step.
  • a method of obtaining an iris recognition image according to an embodiment of the present invention is performed in the following order (see FIG. 13).
  • using the obtained iris recognition image may be further configured to perform the iris recognition to unlock the device or enhance security.
  • all of the components may be selectively operated in combination with one or more.
  • all of the components may be implemented in one independent hardware, each or all of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a.
  • Codes and code segments constituting the computer program may be easily inferred by those skilled in the art.
  • Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention.
  • the storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.
  • a buffer for capturing and storing a person's image of at least one photographed by a camera to obtain an iris recognition image
  • a face component distance calculating unit for calculating a face component distance from the person image stored in the buffer, and the face configuration
  • An actual distance estimator for estimating the actual distance between the subject and the camera from the face component distance calculated by the element distance calculator, and confirming that the subject is in the iris photographing space from the estimated distance
  • a face image including an iris image acquisition unit for acquiring an eye image from a person's image confirmed to be in a space and measuring the quality of the acquired eye image to obtain an iris recognition image that satisfies a standard quality level Image acquisition device for iris recognition using component distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 홍채인식용 이미지를 획득하기 위하여 하나 이상의 피촬영자의 인물이미지를 카메라로 촬영하여 저장하는 버퍼, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 연산하는 얼굴 구성요소거리 연산부, 상기 얼굴 구성요소거리 연산부에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고, 추정한 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 실제거리 추정부, 상기 실제거리 추정부에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 홍채이미지 획득부를 포함하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법에 관한 것이다.

Description

얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
본 발명은 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법에 관한 것이다. 더욱 상세하게는 홍채인식용 이미지를 획득하기 위하여 하나 이상의 피촬영자의 인물이미지를 카메라로 촬영하여 저장하는 버퍼, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 연산하는 얼굴 구성요소거리 연산부, 상기 얼굴 구성요소거리 연산부에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고,추정한 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 실제거리 추정부, 상기 실제거리 추정부에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 홍채이미지 획득부를 포함하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법에 관한 것이다.
일반적으로 홍채인식은 피촬영자의 홍채를 추출하여 다른 영상에서 추출된 홍채와 서로 비교함으로써 인증 또는 신원확인을 수행하는 데, 이러한 홍채 인식에 있어서 가장 중요한 요소는 피촬영자의 편의성을 극대화하면서 선명한 홍채 이미지를 어떻게 획득할 수 있는지 여부이다.
선명한 홍채이미지를 얻기 위해서는 피촬영자의 눈이 홍채인식카메라의 화각 범위 내와 초점이 맞는 거리에 맞도록 위치시켜야 하는 데, 이를 위해서 다양한 방법이시도되어 왔다.
가장 흔히 사용되고 있는 종래의 기술은 피촬영자가 직접 화면을 보고 일정한 거리로 움직여서 정지한 상태로 측정하는 것으로서 피촬영자의 협조없이는 불가능하며, 피촬영자의 숙련도에 따라 획득하는 홍채 이미지의 품질이 달라지는 등의 문제가 발생하였다.
상기 기술의 문제점을 극복하기 위한 또 다른 종래의 대표적인 기술로는 거리 측정 센서를 이용해서 피촬영자와의 거리를 측정하는 기술, 여러 대의 카메라를 이용해서 눈의 위치를 파악하는 기술 등이 있다.
먼저 거리 측정센서를 이용해서 피촬영자와의 거리를 측정하여 자동적으로 카메라 초점을 맞추는 본원 발명과 관련된 종래기술로는 대한민국 공개특허공보 특2002-0086977호, 특2002-0073653호가 있다.
상기 대한민국 공개특허공보 특2002-0086977호, 특2002-0073653호에서는 피촬영자와 홍채인식용 카메라 사이의 거리를 측정하기 위하여 적외선 스폿(spot)광 형태의 거리측정용 포인터를 피촬영자의 얼굴에 투사하여 촬영한 인물이미지를 분석하여 거리를 계산한다. 이러한 방법은 스폿광을 투사하는 장치와 거리 측정센서를 부가적으로 장착해야 하는데, 전반적으로 소형화되고 있는 전자기기(최근의 스마트폰과 같이)의 한정된 공간문제뿐만 아니라 비용절감 문제로 인해 부가장비를 장착하기 힘든 한계가 있다.
또한 2대 이상의 카메라를 이용해서 눈의 위치를 파악하고 홍채 영상을 촬영하는 기술이 있으며, 본원 발명과 관련된 종래기술로는 대한민국 공개특허공보 제10-2006-0081380호가 있다.
상기 대한민국 공개특허공보 제10-2006-0081380호에서는 이동단말기 상에 2대 이상의 카메라를 장착하여 촛점을 맞추고 스테레오 홍채 이미지를 구하는 기술은 상기한 불편함을 해소할 수는 있지만,스테레오카메라 장착에 따른 장치의 부피 및 비용이 증가하는 문제점이 있다. 또한각각의 카메라를 기구적, 전기적으로 구동시켜야 하기 때문에 시스템 구성이 복잡해지는 한계가 있다.
본원발명과 관련된 또 다른 종래기술은대한민국 공개특허공보 제10-2013-0123859호가 있다. 대한민국 공개특허공보 제10-2013-0123859호에서는본문 및 해결과제에서 설명한 바와 같이, 별도의 적외선 조명을 단말에 부가하지 않고 단말에 내장된 근접센서를 이용하여 외부 객체에 의해 반사되는 빛을 수집한 후에 수집되는 빛을 분석하여 거리를 측정하는 근접센싱부를 두고 있다. 하지만, 적외선 조명을 사용하지 않고일반 디지털 (칼라)카메라로 홍채이미지를 촬영을 하여, 주변의 사물(피사체)로부터 반사되는 반사광들이 홍채영역에 맺혀 홍채이미지를 가리게 되어 홍채인식의 정확도를 저하시키는한계가 있다.또한, 주변 조명과 반사광에 의해 거리측정 자체의 신뢰도가 문제가 있을 수 있는 단점이 있다.
게다가 최근에는 기존에는 생각하지 못했던 다양한 기기에 홍채인식을 적용하기 위한 연구가 진행되고 있다. 기존의 CCTV와 같은 보안기기 또는 도어락과 같은 출입관련 기기 이외에 카메라와 비디오, 캠코더 같은 영상기기 및 스마트폰, 태블릿, PDA, PC, 노트북과 같은 스마트 기기 등에서의 홍채인식을 적용하기 위한 연구가 산업계에서도 매우 활발하게 논의되고 있다.
특히 스마트폰과 같은 단말기 등에서의 지능화가 매우 빠르게 진행되고, 또한 스마트폰과 같은 단말기 등에 장착되는 카메라와 관련된 기술분야도눈부시게 매우 빠른 속도로 발전되고 있다. 최근에는 12M 또는 16M 픽셀의 해상도와 초당 30 프레임이상의 전송 속도를 갖는 스마트폰용 카메라 모듈이 저가로 이미 사용되기 시작하고 있으며, 단시일내에 더 높은 해상도와 더 빠른 프레임 전송 속도를 갖는 카메라 모듈들을 사용한 기기들이 매우 낮은 가격으로 보편적으로 사용될 것으로 예상되고 있다.
따라서 앞서 서술한 기존의 기술의 단점을 극복하고, 물리적 공간 및 경제적 비용 문제를 충분히 고려하면서 사용자의 편의성을 증대할 수 있으며, 기존의 CCTV와 같은 보안기기 또는 도어락과 같은 출입관련 기기 이외에 카메라와 비디오, 캠코더 같은 영상기기 및 스마트폰, 태블릿, PDA, PC, 노트북과 같은 다양한 스마트 기기에도 홍채인식을 쉽게 적용할 수 있는 기술적 장치 및 방법에 관한 요구가 증대되고 있는 실정이다.
본 발명이 해결하려는 과제는 상기한 종래기술의 문제점을 해결하기 위한 것으로서, 선명한 홍채 이미지를 획득하기 위해서 사용하는 기존의 복잡한 거리측정 장치 및 방법을 사용하지 않고 기존 기기의 카메라에서 촬영한 이미지로부터 얼굴 구성요소 거리를 이용하여 홍채인식용 이미지를 획득하는데 있다.
본 발명이 해결하려는 또 다른 과제는 카메라와 피촬영자의 실제거리를 추정하여 기기의 종류에 따라 달리 설정되어 있는 최적의 이미지를 획득하는 위치에서 홍채인식용 이미지를 획득하는데 있다.
본 발명이 해결하려는 또 다른 과제는 기존 기기의 카메라에서 촬영한 이미지로부터 홍채영역이 포함된 이미지를 분리하여 품질항목을 측정하여 일정한 품질 기준을 충족하는 홍채인식용 이미지를 획득하는데 있다.
본 발명이 해결하려는 또 다른 과제는피촬영자가 최적의 이미지 획득을 가능하게 하는 위치에 접근하도록 종래의 복잡하고 어려운 방법을 사용하지 않고 직관적으로 인지할 수 있는 가이드를 제공하거나 카메라에 액츄에이터를 부가하여 피촬영자는 고정되고 카메라가 자동으로 움직이게 하여 피촬영자의 편의성을 증대하는데 있다.
본 발명이 해결하려는 또 다른 과제는 최적의 이미지를 획득하는 위치에서 홍채인식용 이미지를 획득함으로써 기존 기기의 전력 및 리소스의 효율성을 최적화하는데 있다.
본 발명이 해결하려는 또 다른 과제는 획득하는 홍채인식용 이미지의 위변조를 방지하기 위해서 종래의 방법을 사용하지 않고 얼굴 구성요소 거리를 추출하는 데 사용하는 얼굴인식이나 아이트래킹 기술을 이용하는 데 있다.
본 발명이 해결하려는 또 다른 과제는 홍채인식용 이미지를 획득하기 위해서 기존의 기기에서 촬영한 이미지를 부가적으로 기존의 기기의 얼굴인식에 사용하거나, 홍채인식용 이미지를 이용하여 홍채인식을 수행하도록 하여 기기의 잠금을 해제하거나 보안을 강화하는데 쉽게 응용할 수 있도록 하는데 있다.
본 발명 과제의 해결수단은 홍채인식용 이미지를 획득하기 위하여 하나 이상의 피촬영자의 인물이미지를 카메라로 촬영하여 저장하는 버퍼, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 연산하는 얼굴 구성요소거리 연산부,상기 얼굴 구성요소거리 연산부에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고, 추정한 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 실제거리 추정부, 상기 실제거리 추정부에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 홍채이미지 획득부를 포함하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 과제의 해결수단은 사전 실험을 통하여 획득하여 컴퓨터 또는 단말기의 메모리 또는 데이터베이스에 저장된 피촬영자와 카메라간의 실제거리와 얼굴 구성요소 거리와의 관계를 나타내는 함수로부터 피촬영자와 카메라간의 실제거리를 연산하는 실제거리 연산부, 상기 연산한 피촬영자와 카메라간의 실제거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하고 홍채이미지 획득부에 전달하는 홍채촬영공간 확인부로 구성된 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 과제의 해결수단은 홍채촬영공간에서 촬영되어버퍼에 저장된 인물이미지로부터 좌측 눈과 우측 눈의 아이이미지를 추출하는 아이이미지 추출부, 상기 추출한 좌측 눈과 우측 눈의 아이이미지를 분리하여 저장하는 아이이미지 저장부, 상기 저장된 좌측 눈과 우측 눈의 아이이미지의 품질을 측정하고, 측정한 아이이미지 품질이 기준품질도를 충족하는지를 평가하여 충족하는 아이이미지를 홍채인식용 이미지로 획득하는아이이미지 품질측정부로 구성된 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 과제의 해결수단은피촬영자가 홍채촬영공간에 진입하는 것을 유도하기 위해 조작된 영상가이드를 제공하는 직관 가이드부또는 카메라의 액츄에이터(actuator)를 제어하는 액츄에이터 제어부를 홍채촬영공간 확인부에 추가하여 구성된 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 과제의 해결수단은 얼굴 구성요소 거리 측정을 위해 얼굴 구성요소를 추출할 때 얼굴인식을 수행하는 얼굴인식부와 홍채인식용 이미지를 이용하여 홍채인식을 수행하는 홍채인식부를 추가하여 구성된 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공하는 데 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로서, 선명한 홍채이미지를 획득하기 위해서 사용하는 기존의 복잡한 거리측정 장치 및 방법을 사용하지 않고 기존 기기의 카메라에서 촬영한 이미지로부터 얼굴 구성요소 거리를 이용하여 홍채인식용 이미지를 획득하는 효과가 있다.
본 발명의 또 다른 효과는 카메라와 피촬영자의 실제거리를 추정하여 기기의 종류에 따라 달리 설정되어 있는 최적의 이미지를 획득하는 위치에서 홍채인식용 이미지를 획득하는데 있다.
본 발명의 또 다른 효과는 기존 기기의 카메라에서 촬영한 이미지로부터 홍채영역이 포함된 이미지를 분리하여 품질항목을 측정하여 일정한 품질 기준을 충족하는 홍채인식용 이미지를 획득하는데 있다.
본 발명의 또 다른 효과는 피촬영자가 최적의 이미지 획득을 가능하게 하는 위치에 접근하도록 종래의 복잡하고 어려운 방법을 사용하지 않고 직관적으로 인지할 수 있는 가이드를 제공하거나 카메라에 액츄에이터를 부가하여 피촬영자는 고정되고 카메라가 자동으로 움직이게 하여 피촬영자의 편의성을 증대하는데 있다.
본 발명의 또 다른 효과는 최적의 이미지를 획득하는 위치에서 홍채인식용 이미지를 획득함으로써 기존 기기의 전력 및 리소스의 효율성을 최적화하는데 있다.
본 발명의 또 다른 효과는 획득하는 홍채인식용 이미지의 위변조를 방지하기 위해서 종래의 방법을 사용하지 않고 얼굴 구성요소 거리를 추출하는 데 사용하는 얼굴인식이나 아이트래킹 기술을 이용하는 데 있다.
본 발명의 또 다른 효과는 홍채인식용 이미지를 획득하기 위해서 기존의 기기에서 촬영한 이미지를 부가적으로 기존의 기기의 얼굴인식에 사용하거나, 홍채인식용 이미지를 이용하여 홍채인식을 수행하도록 하여 기기의 잠금을 해제하거나 보안을 강화하는데 쉽게 응용할 수 있도록 하는데 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 구성요소 원소들 간의 거리의 다양한 예시를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 기준점의 위치에 따라 다양하게 측정가능한 좌측 눈과 우측 눈 사이의 거리를 예시로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치를 간략하게 나타낸 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 이용한 홍채인식용 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 구성요소거리 연산부를 간략하게 나타낸 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 계산하는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 실제거리 추정부를 간략하게 나타낸 블록 구성도이다.
도 8은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리와 실제거리 간의 관계를 나타내는 핀홀카메라 모델(pinhole camera model)의 원리를 예시로 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 통계적인 수단(주로 회귀분석)을 사용하여 얼굴 구성요소 거리와 실제거리 간의 관계를 나타내는 함수를 구하는 원리를 예시로 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리로 동공중심간 거리를 사용하여 추정한 피촬영자와 카메라간의 실제거리와의 관계를 이해하기 쉽게 예시로 도시한 것이다.
도11은 본 발명의 일 실시예에 따른 가이드부가 피촬영자에게 직관 영상가이드를 이용하여 홍채촬영공간에 접근하였음을 알려주는 방법을스마트폰의 화면을 이용한 예시로 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 홍채이미지 획득부를 간략하게 나타낸 블록 구성도이다.
도 13은 본 발명의 일 실시예에 따른 홍채인식용 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시예에 따른 홍채촬영공간에서 촬영한 인물이미지로부터 아이이미지를 추출하는 원리를 예시로 도시한 것이다.
도15는 본 발명의 일 실시예에 따른 홍채촬영공간이 포착공간보다 큰 경우 촬영한 인물이미지로부터 아이이미지를 추출하는 원리를 설명하기 위한 예시이다.
도 16은 본 발명의 일 실시예에 따른 좌측 눈과 우측 눈의 아이이미지를 논리적으로 구분하여 저장하는 것을 설명하기 위한 예시를 도시한 것이다.
도 17은 본 발명의 일 실시예에 따른 좌측 눈과 우측 눈의 아이이미지를 물리적으로 구분하여 저장하는 것을 설명하기 위한 예시를 도시한 것이다.
본 발명은 홍채인식용 이미지를 획득하기 위하여 하나 이상의 피촬영자의 인물이미지를 카메라로 촬영하여 저장하는 버퍼, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 연산하는 얼굴 구성요소거리 연산부,상기 얼굴 구성요소거리 연산부에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고, 추정한 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 실제거리 추정부, 상기 실제거리 추정부에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 홍채이미지 획득부를 포함하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공하는데 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 작용을 설명하며, 도면에 도시되고 설명되는 본 발명의 구성과 작용은 적어도 하나 이상의 실시예로서 설명되는 것이며, 이것에 의해 상기 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. 따라서 본 발명의 일 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법의 핵심 구성 요소에 대하여 다양한 수정 및 변형이 적용가능할 것이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "포함" 또는 "구성"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "포함" 또는 "구성"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명에서는서로 다른 도면에서는 용이한 이해를 위하여 동일한 구성요소인 경우에도 서로 다른 도면 부호를 부여한다.
[실시예]
본 발명의 실시를 위한 구체적인 내용에 대하여 살펴본다.
먼저 본 발명에서의 얼굴 구성요소 원소 및 얼굴 구성요소 거리에 대하여 살펴본다.
일반적으로 예기치 않은 질병이나 사고로 인한 특별한 사유 등이 존재하지 않는 한 일반적인 사람들은 좌측 눈, 우측 눈, 코, 입, 턱 등의 얼굴 부위들을 가지고 있으며, 이러한 특정 얼굴 부위들은얼굴 검출이나 얼굴인식 등에다양하게이용되고 있다.
이러한 얼굴 검출이나 얼굴 인식에 사용되는 기술적 구성(방법)에 따라 눈(좌측, 우측), 눈썹(좌측, 우측), 코, 코구멍(좌측, 우측), 입, 귀, 턱, 볼, 얼굴 경계 등에 해당하는 부분의 일부 또는 전부가 추출되어 사용된다.
상기에서 서술한 얼굴 검출이나 얼굴 인식에 사용하는 눈(좌측, 우측), 눈썹(좌측, 우측), 코, 코구멍(좌측, 우측), 입, 귀, 턱, 볼, 얼굴 경계 등을 일반적으로 얼굴 요소 또는 얼굴 구성요소라는 용어로 사용되고 있으나, 본 발명에서는 얼굴 구성요소 원소라 정의하며, 상기에서 정의한 각각의 얼굴 구성요소 원소들 간의 거리로부터 얼굴 구성요소 거리를 구한다. 이 때 얼굴 구성요소 원소들간의 거리는 후술할 카메라에서 촬영한 인물이미지에서의 픽셀(pixel)거리를 측정하여 구한다.
도1은 본 발명의 일 실시예에 따른 얼굴 구성요소 원소들 간의 거리의 다양한 예시를 도시한 것이다.
도 1에 도시된 바와 같이, 얼굴 검출 및 얼굴 인식에 사용하는 기술적 구성(방법)에 따라 다양한 얼굴 구성요소 원소들이 추출될 수 있으며, 이들 원소들 간의 다양한 거리가 존재할 수 있다.
설명의 편의를 위하여, 상기에서 기술한 얼굴 검출 및 얼굴 인식에 사용된 임의의 방법을 A라고 하고,A라는 방법에 의해 임의의 k개의 얼굴 구성요소 원소들 a1, a2,…, ak가 추출되었다고 가정을 하면,A={a1, a2,…, ak}와 같이 집합의 형태로 표현하기로 한다. 또한 특정 방법 A에 의해 추출한 얼굴 구성요소 원소들 사이의 거리를 L(ai, aj) 또는 L(aj, ai) 형태로 표현하기로 한다(ai, aj∈{a1, a2,…, ak}).
이와 같은 표기하기로 한다면, 특정 방식 B를 통하여 각각m개의 얼굴 구성요소 원소들을 추출했다면 B={b1, b2,…, bm}로 표현할 수 있으며, 특정 방식 C를 통하여 각각n개의 얼굴 구성요소 원소들을 추출했다면 C={c1, c2,…, cn}로 표현가능하다.
또한 특정 방식 D에 의해 추출된 얼굴 구성요소 원소들이 r개 존재한다면(D={d1, d2,…, dr}), 추출한 원소들 사이의 거리는 L(di, dj)이라 표현가능하며, 존재하는 원소들 사이의 거리 개수는 r(r-1)/2개가 된다.
따라서 r(r-1)/2개가 존재하는 얼굴 구성요소 원소들 사이의 거리 중에서 하나를 선택하거나 2개 이상을 각각 개별적으로 사용하거나 다변수 회귀(regression)함수에 의해 변환하여 얼굴 구성요소 거리로 사용한다.
다음은 상기에서 서술한 얼굴 구성요소 원소와 얼굴 구성요소 거리에 대해서 구체적인 예시를 들어 살펴본다.
(T1) D={d1, d2}(r=2), L(d1, d2)만 존재
얼굴 구성요소 원소로 좌측 눈과 우측 눈, 좌측 눈과 코, 좌측 눈과 입, 우측 눈과 코, 우측 눈과 입, 코와 입 등과 같이 2가지 얼굴 부위만을 사용하는 경우를 뜻한다. 따라서 얼굴 구성요소 원소들 사이의 거리는 각각 좌측 눈과 우측 눈 간의 거리, 좌측 눈과 코 간의 거리, 좌측 눈과 입 간의 거리, 우측 눈과 코 간의 거리, 우측 눈과 입 간의 거리, 코와 입 간의 거리로 1개만 존재한다.
(T2) D={d1, d2, d3}(r=3), L(d1, d2), L(d1, d3),L(d2, d3) 존재
얼굴 구성요소 원소로 좌측 눈과 우측 눈과 코, 좌측 눈과 우측 눈과 입, 좌측 눈과 코와 입, 우측 눈과 코와 입 등과 같이 얼굴 구성요소 원소로 3가지 얼굴 부위를 사용할 경우를 뜻한다. 따라서 이 때 얼굴 구성요소 원소들 사이의 거리도 각각 다음과 같이 이루어진다.
· 좌측 눈과 우측 눈과 코: 좌측 눈과 우측 눈 간의 거리, 좌측 눈과 코 간의 거리, 우측 눈과 코 간의 거리
· 좌측 눈과 우측 눈과 입: 좌측 눈과 우측 눈 간의 거리, 좌측 눈과 입 간의 거리, 우측 눈과 입 간의 거리
· 좌측 눈과 코와 입: 좌측 눈과 코 간의 거리, 좌측 눈과 입 간의 거리, 코와 입 간의 거리
· 우측 눈과 코와 입: 우측 눈과 코 간의 거리, 우측 눈과 입 간의 거리, 코와 입 간의 거리
상기 (T1)의 예시처럼 얼굴 구성요소 원소들 간의 거리가 하나일 경우는 얼굴 구성요소 원소들 간의 거리를 얼굴 구성요소 거리로 사용할 수 있지만 (T2)의 예시처럼 2개 이상의 얼굴 구성요소 원소들 간의 거리가 존재할 경우에는 하나를 선택하거나, 2개 이상의 거리를 모두 계산인자로 동시에 사용하거나, 2개 이상의 거리를다변수 회귀(regression)함수로 계산하여 하나의 값으로 사용할 수 있다.
다음은 상기에서 서술한 2개 이상의 거리로 구성된 얼굴 구성요소 거리에 대해서 (T2)의 예시를 들어 구체적으로 살펴본다.
* 설명의 편의를 위하여 (T2)의 예시중 좌측 눈(d1)과 우측 눈(d2)과 코(d3)를 선택하면, 얼굴 구성요소 원소들 간의 거리는 L(좌측 눈(d1), 우측 눈(d2)), L(좌측 눈(d1), 코(d3)), L(우측 눈(d2), 코(d3)) 3개가 존재한다. 이렇게 측정된 L(d1, d2), L(d1, d3), L(d2, d3) 3가지의 거리로부터 얼굴 구성요소 거리로 계산하는 함수를 F라고 하면, 얼굴 구성요소 거리는 F(L(d1, d2), L(d1, d3), L(d2, d3))가 된다.
먼저 측정된 3가지 거리중에서 하나를 사용하는 경우에는 가장 측정하기 용이한 거리를 선택하거나, 측정하기가 동일한 경우에는 임의로 하나를 선택하여 얼굴 구성요소 거리로 사용한다.
또한 측정된 3가지 거리를 단순히 개별적으로 동시에 사용할 경우에는 F(L(d1, d2), L(d1, d3), L(d2, d3)) 값은 각각의 L(d1, d2), L(d1, d3), L(d2, d3)값을 순서쌍이나 행렬 또는 벡터형태로 가질 수 있으며, 마지막으로 측정된 3가지 거리를 하나의 값으로 변환하여 사용할 경우에는 F(L(d1, d2), L(d1, d3), L(d2, d3))값은 다변수 회귀(regression)함수로 변환된 값을 가지게 된다.
또한 상기에서 서술한 동일한 얼굴 구성요소 원소들 간의 거리도 측정하는 기준점의 위치에 따라서 달라진다.기준점은 얼굴 구성요소 원소들 간의 거리를 측정하기 위해 필요한 얼굴 구성요소 원소들의 특정위치를 뜻한다. 예를 들어 코부위는 좌, 우 콧구멍 및 코끝(nose tip) 등 다양한 특정위치를 기준점으로 사용할 수 있다.
도2는 본 발명의 일 실시예에 따른 기준점의 위치에 따라 다양하게 측정가능한 좌측 눈과 우측 눈 사이의 거리를 예시로 도시한 것이다.
도 2에 도시된 바와 같이, 동일한 좌측 눈과 우측 눈을 선택하더라도 거리 측정을 위해서 선정하는 기준점의 위치에 따라서 다양한 거리 측정이 가능하다. 예를 들어 주로 안과 및 안경관련 분야에서 사용되는 동공중심간 거리(InterPupillary distance: IPD, PD)(L(d1, d2)=L1)는 양쪽 눈의 동공 중심을 기준점으로 선정하고 거리를 측정한다. 그리고 성형분야에서 사용되는 내안각(안쪽 눈)간 거리(Intercanthal Distance: ICD, ID)(L(d1, d2)=L2))는 양쪽 눈의 경계면 중에서 코 부위에 가까운 쪽 간의 거리를 측정한다. 이 이외에도 동공 끝점 간의 거리(L(d1, d2)=L3)), 외안각(바깥쪽 눈)간 거리(L(d1, d2)=L4)) 등 기준점의 위치에 따라 다양한 좌측 눈과 우측 눈 사이의 거리가 존재할 수 있다.
다음은 상기 기술한 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치의 기술적 구성에 대하여 살펴본다.
본 발명에서는 발명의 취지를 가장 잘 이해시킬 수 있다고 판단되는 얼굴 구성요소 원소로 좌측 눈과 우측 눈을, 얼굴 구성요소 거리를 동공중심간 거리로 예시를 들어 설명하였다. 따라서 비록 얼굴 구성요소 원소로 좌측 눈과 우측 눈을, 얼굴 구성요소 거리를 동공중심간 거리로 예시로 들더라도, 다른 얼굴 구성요소 원소들과 얼굴 구성요소 거리도 동일한 방법으로 설명이 충분히 설명이 가능하기 때문에 동일한 적용이 가능한 것으로 이해되어야 할 것이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치를 간략하게 나타낸 블록 구성도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치는 홍채인식용 이미지를 획득하기 위하여 피촬영자의 얼굴이 포함된 피촬영자의 일부 또는 전부를 카메라로 촬영한 이미지 또는 카메라에서 피촬영자의 이미지로부터 얼굴영역만 절개하여(cropping) 분리된 이미지(이하 '인물이미지'라 한다)를 임시로 저장하는 수단(이하 '버퍼'라 한다)(301),버퍼(301)에서 저장한 한 개 이상의 인물이미지로부터 얼굴 구성요소 원소들을 추출하고 추출한 원소들 간의 거리로부터 얼굴 구성요소 거리를 계산하는 수단(이하 '얼굴 구성요소거리 연산부'라 한다)(302), 얼굴 구성요소거리 연산부(302)에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고,추정한 거리로부터 피촬영자가 적외선 조명에서 인물이미지를 촬영하는 위치(이하 '홍채촬영공간'이라 한다)에 있음을 확인하는 수단(이하 '실제거리 추정부;라 한다)(303), 실제거리 추정부(303)에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 홍채를 포함하는 눈 영역을 절개한(cropping)이미지(이하 '아이이미지'라 한다)를 좌측 눈과 우측 눈의 아이이미지로 분리하여 저장하고, 저장한아이이미지의 품질을 측정하여 일정한 품질 기준(이하 '기준품질도'라 한다)을 충족하는 아이이미지(이하 '홍채인식용 이미지'라 한다)를 획득하는수단(이하 '홍채이미지 획득부'라 한다)(304)으로 구성된다.
또한 얼굴 구성요소거리 연산부(302)에서 얼굴 구성요소 원소들을 추출하는 과정 중에 얼굴인식을 수행할 수도 있으며, 이를 위하여 후술할 얼굴인식부(305)를 추가하여 구성할 수 있다.
또한 홍채이미지 획득부(304)에서 홍채인식용 이미지를 획득하는 과정 중에 홍채인식을 수행할 수도 있으며, 이를 위하여 후술할 홍채인식부(306)를 추가하여 구성할 수 있다.
다음은 상기에서 서술한 얼굴 구성요소 거리를 이용한 홍채인식용 이미지를 획득하는 방법에 대해서 상세하게 살펴본다.
도 4는 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 이용한 홍채인식용 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홍채인식용 이미지 획득 방법은 다음과 같은 단계로 구성된다.
먼저 카메라가 대기상태(이하 '슬립모드'라 한다)에 있다가 피촬영자를 감지하고 인물이미지를 촬영하기 시작하고, 촬영한 인물이미지를 버퍼에 저장하는 단계(S401)와, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소거리 연산부에서 얼굴 구성요소 거리를 계산하는 단계(S402), 상기 계산된 얼굴 구성요소 거리로부터 실제거리 추정부에서 피촬영자와 카메라 간의 실제 거리를 추정하고피촬영자가 홍채촬영공간에 있음을 확인하는 단계(S403), 상기 단계에서 피촬영자가 홍채촬영공간에 있음을 확인하면 홍채이미지 획득부에서 피촬영자의 인물이미지로부터 아이이미지를 획득하고 좌측 눈과 우측 눈 아이이미지를 분리하여 저장하는 단계(S404), 상기 아이이미지 품질을 측정하여 기준품질도를 충족하는 홍채 인식용 이미지를 획득하는 단계(S405)로 구성된다.
도 4에서는 단계 S401 내지 단계 S405를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S401 내지 단계 S405 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양한 수정 및 변형이 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
다음은 상기에서 기술한 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치의 세부 구성에 대하여 상세하게 살펴본다.
먼저 카메라에 대해서 구체적으로 살펴본다.
본 발명에서 카메라는 단순히 카메라 완제품에 한정되는 것이 아니라 최근에 홍채인식을 도입하거나 도입을 위한 연구가 활발히 진행되고 있는 도어락과 같은 출입관련 기기 또는 CCTV와 같은 보안기기 또는 카메라와 비디오, 캠코더 같은 영상기기 및 스마트폰, 태블릿, PDA, PC, 노트북과 같은 스마트 기기 등의 카메라 렌즈나 카메라 모듈을 포함한다.
일반적으로 홍채인식에 필요한 이미지의 해상도는 ISO의 규정을 참고하며, ISO 규정은 VGA 해상도 이미지(VGA resolution image)를 기준으로 홍채지름의 픽셀(pixel)수로 규정하고 있다. ISO 규격에 따르면 보통은 200 픽셀(pixel) 이상의 경우 고화질이 되고, 170pixel의 경우 보통 그리고 120pixel의 경우가 저화질로 규정하고 있다. 따라서 본 발명에서는 좌측 눈과 우측 눈의 아이이미지를 획득하면서 피촬영자의 편의를 도모할 수 있는 고화질의 화소를 가진 카메라를 가능한 한 사용하지만 이 또한 홍채의 화질이나 다른 부가장치의 특성에 의해서 다양한 화소수를 적용할 가능성이 높기 때문에 반드시 고화질의 화소로 제한할 필요는 없다. 특히 최근에는 12M 또는 16M 픽셀의 해상도와 초당 30 프레임이상의 전송 속도를 갖는 고화질의 카메라 모듈이 디지털 영상기기 및 스마트기기 등에서 사용되고 있어 홍채촬영공간내에서 기준품질도를 충족하는 홍채인식용 이미지를 획득하기에는 충분하다.
또한 상기 카메라는 일반적으로 1개의 카메라 또는 2개 이상의 다수의 카메라가 구성될 수 있으며, 필요에 따라 다양하게 변형하여 구성할 수도 있다.
또한 선명한 홍채 이미지를 획득하기 위해서 기존 기기의 카메라를 최대한 활용하여 인물이미지를 획득하는 본 발명의 목적과 취지에 부합하기 위하여 별도의 특정 카메라를 추가하여 구성하는 것을 최소화한다. 하지만 얼굴 검출 및 얼굴 인식에 사용되는 기술(방법)에 따라 조명부를 부가하여 구성할 수도 있다. 예를 들어 적외선을 사용하지 않고 가시광선을 사용하는 얼굴검출 및 얼굴인식 방법을 사용할 경우에는 후술할 홍채촬영공간에서 적외선 조명을 켜는 조명부를 추가적으로 구성해야 하며, 열적외선을 이용하는 얼굴검출 및 얼굴인식 방법에서는 별도의 조명부가 필요하지 않을 수 있다. 상기 조명부가 필요할 경우에도첫째로 가시광선 조명을 사용하다가 홍채촬영공간에서는 가시광선 조명을 오프(off)하고 적외선 조명을 온(on)하는 수단으로 적외선 조명을 켜는 구성을 사용하거나 둘째로 홍채촬영공간에서 가시광선 조명을 온(on)할 경우에는 조명 앞에 적외선 통과필터가 위치하도록 설계 제작하여 적외선만 통과시키는 수단을 가지는 기술적 구성을 이용하여 비용측면이나 물리적 크기로 인한 공간 제약 측면에서 충분히 부가적으로 설치가 가능하기 때문에 적용하는 데 별 어려움이 없을 것이다.
먼저 버퍼에 대해서 구체적으로 살펴본다.
버퍼는 카메라가 촬영하는 단수 또는 복수의 인물이미지들을 임시로 저장을 하며, 카메라와 얼굴 구성요소거리 연산부와 주로 연동된다.
일반적으로 버퍼의 특성상 저장공간이 많지 않기 때문에 본 발명에서는 피촬영자가 홍채촬영공간에 진입하기 전에는 카메라로부터 촬영한 인물이미지를 얼굴 구성요소 거리만 계산하고 바로 삭제를 하도록 구성된다.
또한 피촬영자가 홍채촬영공간에 진입하면, 카메라로부터 촬영한 인물이미지로부터 아이이미지를 획득해야 하기 때문에 인물이미지를 삭제하지 않고 일정시간동안 저장을 한다.
따라서 본 발명에서는 버퍼의 구성을 상기 서술한 역할을 분리하여 담당하는 2개의 버퍼로 구성하거나 버퍼에다가 특정 저장공간을 추가해서 카메라로부터 촬영한 인물이미지를 저장할 때는 특정 저장공간에 저장하는 등 본 발명의 목적과 취지에 부합한 다양한 구성을 사용할 수 있다.
다음은 얼굴 구성요소거리 연산부에 대해서 구체적으로 살펴본다.
도 5는본 발명의 일 실시예에 따른 얼굴 구성요소거리 연산부를 간략하게 나타낸 블록 구성도이다.
도 5에서 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴 구성요소거리 연산부는 인물이미지로부터 얼굴 구성요소 원소들을 추출하는 수단(이하 '원소 추출부' 라 한다)(501), 상기 원소 추출부에서 추출한 얼굴 구성요소 원소들로부터 얼굴 구성요소 원소들 간의 거리를 측정하는 수단(이하 '원소거리 측정부' 라 한다)(502), 상기 원소거리 측정부에서 측정한 얼굴 구성요소 원소들 간의 거리로부터 얼굴 구성요소 거리를 계산하는 수단(이하 '구성요소거리 연산부' 라 한다)(503)으로 구성된다.
또한 원소 추출부(501)에서 얼굴 구성요소 원소들을 추출하는 과정 중에 얼굴인증 및 식별을 수행하는 얼굴인식부(504)를 단독으로 추가하거나, 얼굴 인식부와 눈위조 여부(fake eye)를 검출하는 눈위조검출부(505)를 조합하여 추가하여 구성할 수 있다.
다음은 상기에서 서술한 얼굴 구성요소거리 연산부에서 얼굴 구성요소 거리를 계산하는 방법에 대해서 상세하게 살펴본다.
도 6은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 계산하는 방법을 설명하기 위한 순서도이다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 계산하는 방법은 다음과 같은 단계로 구성된다.
*먼저 버퍼에 저장된 인물이미지로부터 원소 추출부에서 얼굴 구성요소 원소들을 추출하는 단계(S601), 상기 추출된 얼굴 구성요소 원소들을 이용하여 얼굴인식부에서 얼굴인식의 시행여부를 결정하고 수행하는 단계(S602), 상기 수행된 얼굴인식에서 눈위조 여부를 눈위조검출부에서 검출하고 판별하는 단계(S603), 상기 추출된 얼굴 구성요소 원소들 중에서 거리 측정이 가능한 얼굴 구성요소 원소들이 있는 지 원소거리 측정부에서 확인하고, 얼굴 구성요소 원소들 간의 거리를 측정하는 단계(S604), 상기 측정한 얼굴 구성요소 원소들 간의 거리로부터 구성요소 거리연산부가 얼굴 구성요소 거리를 계산하는 단계(S605)로 구성된다.
도 6에서는 단계 S601 내지 단계 S605를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 단계 S601 내지 단계 S605 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양한 수정 및 변형이 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
다음은 상기에서 서술한 원소 추출부에 대해서 상세하게 살펴본다.
본 발명에서의 원소 추출부는 얼굴 인증 시스템의 얼굴검출, 얼굴인식 단계에서 사용하는 종래에 알려진 기술을 이용하여 얼굴 구성요소 원소들을 추출해낸다.
얼굴검출은 얼굴인식의 전처리 단계로서, 얼굴인식 성능에 결정적으로 영향을 미치며, 현재까지 알려진 바로는 주로 HSI 컬러모델의 색상성분을 이용한 칼라 기반검출방법, 칼라 정보와 움직임정보를 복합적으로 얼굴검출에 이용하는 방법, 그리고 칼라 정보와 영상의 에지정보를 이용하여 얼굴영역을 검출하는 방법 등이 있다.
또한 얼굴 인식은 기하학적 특징 기반(geometric feature-based) 방법, 템플릿 기반(template-based) 방법, 모델 기반(model-based) 방법, 열적외선 또는 3차원 얼굴영상을 이용한 방법 등이 있다.
또한 얼굴검출 및 얼굴인식에 사용되는 오픈소스로서OpenCV 등이 전세계적으로 널리 사용되고 있다.
따라서, 본 발명에서는 상기 서술한 종래의 기술 중에서, 인물이미지로부터 얼굴 구성요소 원소들을 잘 추출해내는 본 발명의 목적과 취지에 부합되는 한 어떤 기술을 사용해도 무방하며, 얼굴검출 및 얼굴인식에대한종래의 기술은이미공지된기술이므로더자세한설명은생략토록한다.
원소 추출부는 얼굴검출이나 얼굴인식에서 사용하는 종래의 기술에 따라 눈(좌측, 우측), 눈썹(좌측, 우측), 코, 코구멍(좌측, 우측), 입, 귀, 턱, 볼, 얼굴 경계 등의 전부 또는 일부를 추출하는데, 대부분 눈 영역(좌측, 우측)을 검출한다.
원소 추출부에서 얼굴 검출 및 얼굴 인식에 사용된 임의의 방법을 A라고 하고,A라는 방법에 의해 임의의 k개의 얼굴 구성요소 원소들 a1, a2,…, ak가 추출되었다고 가정을 하면, A={a1, a2,…, ak}와 같이 집합의 형태로 표현하기로 한다. 또한 특정 방법 A에 의해 추출한 얼굴 구성요소 원소들 사이의 거리를 L(ai, aj) 또는 L(aj, ai) 형태로 표현하기로 한다(A={a1, a2,…, ak}).
이와 같은 표기하기로 한다면, 특정 방식 B를 통하여 각각m개의 얼굴 구성요소 원소들을 추출했다면 B={b1, b2,…, bm}로 표현할 수 있으며, 특정 방식 C를 통하여 각각n개의 얼굴 구성요소 원소들을 추출했다면 C={c1, c2,…, cn}로 표현가능하다.
또한 특정 방식 D에 의해 추출된 얼굴 구성요소 원소들이 r개 존재한다면(D={d1, d2,…, dr}), 추출한 원소들 사이의 거리는 L(di, dj)이라 표현가능하며, 존재하는 원소들 사이의 거리 개수는 r(r-1)/2개가 된다.
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 원소 및 얼굴 구성요소 거리에서 기술한 내용과 동일하므로 생략한다.
다음은 상기에서 서술한 원소거리 측정부에 대해서 상세하게 살펴본다.
원소 추출부에서 추출한 얼굴 구성요소 원소들 간의 거리를 측정한 후, 측정한 거리 중 일부 또는 전부를 사용한다. 이 때 얼굴 구성요소 원소들 간의 거리는 버퍼에 저장되어 있는 인물이미지에서의 얼굴 구성요소 원소들 간의 픽셀(pixel)거리를 측정하여 구한다.
또한 얼굴 구성요소 원소들 간의 거리는 측정하는 기준점의 위치에 따라서 다양하게 측정이 될 수 있는데, 예를 들어 동일한 좌측 눈과 우측 눈을 선택하더라도 거리 측정을 위해서 선정하는 기준점의 위치에 따라서 다양한 거리가 측정가능하다. 예를 들어 주로 안과 및 안경관련 분야에서 사용되는 동공중심간 거리(InterPupillary distance: IPD, PD)(L(d1, d2)=L1)는 양쪽 눈의 동공 중심을 기준점으로 선정하고 거리를 측정한다. 그리고 성형분야에서 사용되는 내안각(안쪽 눈)간 거리(Intercanthal Distance: ICD, ID)(L(d1, d2)=L2))는 양쪽 눈의 경계면 중에서 코 부위에 가까운 쪽 간의 거리를 측정한다. 이 이외에도 동공 끝점 간의 거리(L(d1, d2)=L3)), 외안각(바깥쪽 눈)간 거리(L(d1, d2)=L4)) 등 기준점의 위치에 따라 다양한 좌측 눈과 우측 눈 사이의 거리가 존재할 수 있다.
다음은 상기에서 서술한 얼굴 구성요소 거리에 대해서 구체적인 예시를 들어 살펴본다.
(T1) D={d1, d2}(r=2), L(d1, d2)만 존재
얼굴 구성요소 원소로 좌측 눈과 우측 눈, 좌측 눈과 코, 좌측 눈과 입, 우측 눈과 코, 우측 눈과 입, 코와 입 등과 같이 2가지 얼굴 부위만을 사용하는 경우를 뜻한다. 따라서 얼굴 구성요소 원소들 사이의 거리는 각각 좌측 눈과 우측 눈 간의 거리, 좌측 눈과 코 간의 거리, 좌측 눈과 입 간의 거리, 우측 눈과 코 간의 거리, 우측 눈과 입 간의 거리, 코와 입 간의 거리로 1개만 존재한다.
(T2) D={d1, d2, d3}(r=3), L(d1, d2), L(d1, d3),L(d2, d3) 존재
얼굴 구성요소 원소로 좌측 눈과 우측 눈과 코, 좌측 눈과 우측 눈과 입, 좌측 눈과 코와 입, 우측 눈과 코와 입 등과 같이 얼굴 구성요소로 3가지 얼굴 부위를 사용할 경우를 뜻한다. 따라서 이 때 얼굴 구성요소 원소들 사이의 거리도 각각 다음과 같이 측정한 값으로 이루어진다.
· 좌측 눈과 우측 눈과 코: 좌측 눈과 우측 눈 간의 거리, 좌측 눈과 코 간의 거리, 우측 눈과 코 간의 거리
· 좌측 눈과 우측 눈과 입: 좌측 눈과 우측 눈 간의 거리, 좌측 눈과 입 간의 거리, 우측 눈과 입 간의 거리
· 좌측 눈과 코와 입: 좌측 눈과 코 간의 거리, 좌측 눈과 입 간의 거리, 코와 입 간의 거리
· 우측 눈과 코와 입: 우측 눈과 코 간의 거리, 우측 눈과 입 간의 거리, 코와 입 간의 거리
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 원소 및 얼굴 구성요소 거리에서 기술한 내용과 동일하므로 생략한다.
다음은 상기에서 서술한 구성요소거리 연산부에 대해서 상세하게 살펴본다.
원소거리 측정부에서 측정한 얼굴 구성요소 원소들 간의 거리 중 하나를 선택하여 사용하거나 또는 2개 이상의 거리를 선택하여 얼굴 구성요소 거리로 사용한다. 이 때 2개 이상의 거리가 존재할 경우에는 2개 이상의 거리를 동시에 사용하거나 2개 이상의 거리를 하나의 거리로 변환하여 사용한다.
첫째로 얼굴 구성요소 원소들 사이의 거리가 하나일 경우에는 얼굴 구성요소 원소들 사이의 거리가 곧 얼굴 구성요소 거리가 되며, 또한 얼굴 구성요소 원소들 사이의 거리가 2개 이상이더라도 하나만 선택하여 얼굴 구성요소 거리로 사용할 수 있다.
*둘째로 얼굴 구성요소 원소들 사이의 거리가 2개 이상이며, 선택한 거리도 2개 이상일 경우에는 각각 모두 계산인자로 동시에 사용하거나 다변수 회귀(regression)함수에 의해 변환하여 사용할 수 있다.
다음은 상기에서 서술한 2개 이상의 거리로 구성된 얼굴 구성요소 거리에 대해서 (T2)의 예시를 들어 구체적으로 살펴본다.
설명의 편의를 위하여 (T2)의 예시중 좌측 눈(d1)과 우측 눈(d2)과 코(d3)를 선택하면, 얼굴 구성요소 원소들 간의 거리는 L(좌측 눈(d1), 우측 눈(d2)), L(좌측 눈(d1), 코(d3)), L(우측 눈(d2), 코(d3)) 3개가 존재한다. 이렇게 측정된 L(d1, d2), L(d1, d3), L(d2, d3) 3가지의 거리로부터 얼굴 구성요소 거리로 계산하는 함수를 F라고 하면, 얼굴 구성요소 거리는 F(L(d1, d2), L(d1, d3), L(d2, d3))가 된다.
먼저 측정된 3가지 거리중에서 하나를 사용하는 경우에는 가장 측정하기 용이한 거리를 선택하거나, 측정하기가 동일한 경우에는 임의로 하나를 선택하여 얼굴 구성요소 거리로 사용한다.
또한 측정된 3가지 거리를 단순히 개별적으로 동시에 사용할 경우에는 F(L(d1, d2), L(d1, d3), L(d2, d3)) 값은 각각의 L(d1, d2), L(d1, d3), L(d2, d3)값을 순서쌍이나 행렬 또는 벡터형태로 가질 수 있으며, 마지막으로 측정된 3가지 거리를 하나의 값으로 변환하여 사용할 경우에는 F(L(d1, d2), L(d1, d3), L(d2, d3))값은 다변수 회귀(regression)함수로 변환된 값을 가지게 된다.
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 원소 및 얼굴 구성요소 거리에서 기술한 내용과 동일하므로 생략한다.
다음은 상기에서 서술한 얼굴인식부에 대해서 상세하게 살펴본다.
일반적으로 인식이라는 뜻으로 사용하는 Verification, Identification, Recognition 용어를 사용하는데, 일대일(1:1)매칭의 경우에는 인증(Verification)을 사용하며, 일대다(1:N)매칭의 경우에는 식별(Identification 또는 Searching), 인증과 식별을 포함한 전체 큰 시스템의 인식의 뜻으로는 Recognition을 사용한다.
얼굴인식부는 상기 서술한 원소 추출부에서 사용하는 얼굴검출 및 얼굴인식 기술을 사용하여 버퍼에 저장된 피촬영자의 인물이미지로부터 얼굴인식을 수행한다. 본 발명에서는 얼굴인식 결과가 정확하게 나오지 않더라도 후술할 홍채이미지 획득부에서 홍채인식용 이미지를 획득한 뒤에 홍채인식부에서 홍채인식 결과와 결합시키면 정확도가 향상될 수 있다.
또한 실제로 상기에서 언급한 전세계적으로 얼굴검출 및 얼굴인식에 널리 사용되고 있는 OpenCV와 같은 솔루션 등은 얼굴 구성요소 원소들을 추출하면서 얼굴인식을 동시에 쉽게 수행할 수 있다.
다음은 상기에서 서술한 눈위조검출부에 대해서 상세하게 살펴본다.
일반적으로 홍채인식뿐만 아니라 얼굴인식에서도 위조된 이미지를 획득하는 것을 방지하기 위해 다양한 연구가 진행되어 왔다. 예를 들어 얼굴인식분야에서는 푸리에 스펙트럼을 분석하여 위조 얼굴을 검출하는 방법, 눈 움직임을 이용한 위조 검출 방법, 눈의 깜박거림을 이용한 위조 검출 방법 등이 널리 사용되고 있다.
게다가 최근에는 눈동자의 움직임을 감지하여 시선의 위치를 추적하는 아이트래킹(eye-tracking) 기술이 급속도로 발달하고 있다. 특히 다양한 종래의 기술중에서 실시간 카메라 이미지를 분석하여 동공의 움직임을 검출하는 Video분석 방식 기술은 홍채인식용 이미지의 진위 여부에 적용될 수 있다.
따라서 눈위조 검출부는 상기에서 언급한 종래의 얼굴인식분야에서의 위조 얼굴을 검출하는 기술 및 아이트래킹 기술중에서, 위변조된 홍채인식용 이미지(fake image)가 획득되는 것을 방지하는(liveness detection)본 발명의 목적과 취지에 부합되는 한 어떤 기술을 사용해도 무방하며, 얼굴인식부에 추가하여 구성할 수 있다.
다음은 실제거리 추정부에 대해서 구체적으로 살펴본다.
도 7은 본 발명의 일 실시예에 따른 실제거리 추정부를 간략하게 나타낸 블록 구성도이다.
도 7에서 도시된 바와 같이, 본 발명의 일 실시예에 따른 실제거리 추정부는 사전 실험을 통하여 획득하여 컴퓨터 또는 단말기의 메모리 또는 데이터베이스에 저장된 피촬영자와 카메라간의 실제거리와 얼굴 구성요소 거리와의 관계를 나타내는 함수로부터 피촬영자와 카메라간의 실제거리를 계산하여 추정하는 수단(이하 '실제거리 연산부'라 한다)(701), 상기 실제거리 연산부에서 추정한 피촬영자와 카메라간의 실제거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 수단(이하 '홍채촬영공간 확인부'라 한다)(702)으로 구성된다.
다음은 실제거리 연산부에 대해서 구체적으로 살펴본다.
먼저 얼굴 구성요소 거리와 피촬영자와 카메라간의 실제거리 간의 관계를 나타내는 함수를 구하는 원리에 대해서 살펴본다.
일반적으로 알려진 피촬영자와 카메라간의 실제거리 간의 관계를 나타내는 단순하고 이상적인 원리로 핀홀카메라 모델(pinhole camera model)이 있다.
도8은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리와 실제거리 간의 관계를 나타내는 핀홀카메라 모델(pinhole camera model)의 원리를 예시로 도시한 것이다.
도 8에 도시된 바와 같이, A와 a는 각각 실제 물체의 크기와 영상 내의 물체 크기를, f와 Z는 초점거리와 카메라와 물체사이의 거리를 나타낼 때, 삼각형의 비례식을 통하여 다음과 같은 관계를 찾을 수 있다(수식1).
a = f * (A/Z) ---- (수식1)
따라서, 상기 수식(1)을 Z를 독립변수로 하는 함수로 변환하면 다음과 같은 수식을 구할 수 있다(수식 2)
Z = f*(A/a) ---- (수식2)
따라서 영상 내의 물체 크기(a)에 해당하는 인물이미지에서의 얼굴 구성요소 거리를 구하면, 카메라와 물체사이의 거리(Z)에 해당하는 피촬영자와 카메라간의 실제거리를 상기 수식(2)를 이용하여 구할 수 있다.
하지만 실제로는 상기 도 8에 도시된 2차원 평면이 아니라, 3차원의 공간상에서 영상을 촬영하며, 광축이 센서 중심을 지나도록 하기는 매우 어렵다. 또한 카메라의 특성(렌즈의 초점, 복합렌즈로 구성된 렌즈 및 화각 등)과 렌즈위치를 핀홀구멍에 맞추기 힘든 것 또는 피촬영자의 특성(연령 등)의 다양한 원인에 의해서 상기 핀홀카메라 모델(pinhole camera model)의 원리를 그대로 적용할 수가 없다.
따라서 본 발명에서는 카메라를 고정하고 피촬영자가 움직이거나 또는 피촬영자는 그대로 있고 카메라가 움직이면서,다양한 위치에서의 피촬영자와 카메라간의 실제거리와 얼굴 구성요소 거리를 측정하고, 측정한 값들을 통계적인 수단(주로 회귀분석)을 사용하여 두 변수간의 관계를 나타내는 함수를 구한다.
도9는 본 발명의 일 실시예에 따른 통계적인 수단(주로 회귀분석)을 사용하여 얼굴 구성요소 거리와 실제거리 간의 관계를 나타내는 함수를 구하는 원리를 예시로 도시한 것이다.
도 9에 도시된 바와 같이, 피촬영자와 카메라간의 실제거리(Y변수, 종속변수)와 얼굴 구성요소 거리(X변수, 독립변수)를 측정하여 좌표축에 표시한다. 만약 얼굴 구성요소 거리가 하나일 때는 Y=H(X), 2개 이상일 때는 Y=H(X1, X2,…, Xn)으로 표현할 수 있다. 상기 좌표축에 표시된 점들로부터 통계적인 수단(주로 회귀분석)을 통하여 점들을 대표하는 함수를 구하는데, 2차원에서는 일반적으로 Y=1/(aX+b)의 쌍곡선 모양을 가지나, 이 이외에도 포물선 등 다양한 곡선으로 표현되기도 한다. 2개의 얼굴 구성요소 거리를 가지는 3차원에서는 함수의 모양이 다양한 입체를 가지는 곡선으로 표현된다. 실제로 얼굴 구성요소 거리가 X1, X2,…, Xn로 n개일 때, 피촬영자와 카메라간의 실제거리 Y는 Y=H(X1, X2,…, Xn)로 표현되는 H함수로 나타내지는 다변수 회귀함수(regression function)가 된다.
상기 함수는 일반적으로 하나의 함수를 모든 사용자에게 동일하게 적용하여 사용하지만 카메라 및 센서의 특성과 피촬영자의 연령(어린이, 노인 등)을 고려하여 보정을 할 필요가 있을 경우에는 보정작업(calibration)을 진행한 후에 사용자에 따라 다른 함수를 실제거리 추정에 사용한다.
도 10은 본 발명의 일 실시예에 따른 얼굴 구성요소 거리로 동공중심간 거리를 사용하여 추정한 피촬영자와 카메라간의 실제거리와의 관계를 이해하기 쉽게 예시로 도시한 것이다.
도 10에 도시된 바와 같이, 실제거리 연산부는 상기에서 구한 함수에 동공중심간 거리 d1, d2, d3를 대입하여 피촬영자와 카메라간의 실제거리 L1, L2, L3를 계산하여 추정한다.
다음은 홍채촬영공간확인부에 대해서 구체적으로 살펴본다.
일반적으로 도어락과 같은 출입관련 기기 또는 CCTV와 같은 보안기기 또는 카메라와 비디오, 캠코더 같은 영상기기 및 스마트폰, 태블릿, PDA, PC, 노트북과 같은 스마트 기기 등과 같은 기기에는 피촬영자의 선명한 이미지를 촬영할 수 있는 위치(Capture Volume, 이하 '포착공간'이라 한다)를 가지고 있다. 따라서 피촬영자가 포착공간에 진입했을 때의 인물이미지로부터 획득한 아이이미지의 품질이 높을 가능성이 매우 높다. 하지만 홍채촬영공간을 정확하게 포착공간과 동일하게 하지 않고 특정기준을 선정하여 홍채촬영공간을포착공간보다 크게 설정할 수 있다.
다음은 상기 홍채촬영공간이 포착공간과 다를 경우에 홍채촬영공간을 설정하는 방법에 대해서 살펴본다.
(S1) 거리를 기준으로 설정하는 경우
일반적으로 포착공간은 기기별로 사전에 설정이 되어 있으며, 이를 기준으로 포착공간에 진입하기 이전 시점 또는 포착공간을 벗어나는 시점 이후에 일정한 여유 거리를 두어 홍채촬영공간을 설정할 수 있다. 따라서 홍채촬영공간에서 진입한 경우 버퍼는 카메라로부터 받은 인물이미지를 저장하기 시작하며, 홍채촬영공간을 벗어나면 저장을 종료한다.
(S2) 시간을 기준으로 설정하는 경우
포착공간에 진입하기 이전 시점 또는 포착공간을 벗어나는 시점 이후에 일정한 시간적여유를 두어 홍채촬영공간을 설정할 수 있다. 따라서 홍채촬영공간에서 진입한 시점의 시각에 버퍼는 카메라로부터 받은 인물이미지를 저장하기 시작하며, 홍채촬영공간을 벗어나는 시점의 시각에 저장을 종료한다.
상기 임의의 시간과 거리를 설정하는 기준은 홍채인식용 이미지 획득에 필요한 최소한의 인물이미지 개수 또는 인물이미지로부터 획득되는 아이이미지 개수 또는 기준품질도를 충족하는 아이이미지의 개수에 따라 결정할 수 있다.
자세한 내용은 후술할 아이이미지 추출부에서 언급하기로 하며, 본 발명에서는 홍채촬영공간과 포착공간을 특별하게 구분해서 표현할 경우를 제외하고는 언어의 통일성을 기하기 위해 포착공간을 홍채촬영공간으로 칭하기로 한다.
또한 피촬영자가홍채촬영공간에 진입하는 것을 유도하기 위해 조작된 영상가이드(이하 '직관 영상가이드'라 한다)를 제공하는 수단(이하 '직관 가이드부'라 한다) 또는 카메라의 액츄에이터(actuator)를 제어하는 수단(이하 '액츄에이터 제어부'라 한다)을 홍채촬영공간 확인부에 추가하여 구성할 수 있다.
먼저 직관가이드부는 카메라는 가만히 있고 피촬영자가 천천히 앞뒤로 움직이거나 스마트폰 등과 같은 모바일 기기에서 기기를 움직여 홍채촬영공간에 진입하도록 유도하는 경우에 주로 사용하며, 인물이미지의 크기 또는 선명도 또는 색상을 이용한 직관 영상가이드를 이용하여 피촬영자가 인지할 수 있도록 구성될 수 있다.
도11은 본 발명의 일 실시예에 따른 가이드부가 피촬영자에게 직관 영상가이드를 이용하여 홍채촬영공간에 접근하였음을 알려주는 방법을스마트폰의 화면을 이용한 예시로 도시한 것이다.
도 11에 도시된 바와 같이, 스마트폰에 내장된 카메라와 피촬영자 간의 실제 거리가 변함에 따라 스마트폰의 화면에 직관 영상가이드가 제공되고, 피촬영자는 스마트폰의 화면을 통하여 직관적으로 직접 확인할 수 있다.
좀 더 구체적으로 살펴보면, A위치에서 E위치로 피촬영자가 움직일수록 피촬영자는 카메라에 가까워진다. 카메라와 피촬영자의 거리가 가까워질수록 피촬영자의 인물이미지의 크기를 크게 하고, 카메라와 피촬영자의 거리가 멀어질수록 피촬영자의 인물이미지의 크기를 작게 하면 거리의 원근감에 대한 정보를 직관적으로 줄 수 있다.
또한 피촬영자가 홍채촬영공간에 있음을 알려주기 위해서 홍채촬영공간에 있지 않을 때는 흐릿한 이미지(blurry image)를 제공하고, 홍채촬영공간에 있을 때는 선명한 이미지(sharpen image)를 전송하도록 하여 직관적으로 홍채촬영공간에 위치할 수 있도록 하여 피촬영자의 편의성을 극대화할 수 있다.
또한 피촬영자가 홍채촬영공간에 있지 않을 때는 흰색 또는 검정색과 같은 피촬영자의 모습을 인지할 수 없도록 하는 배경색으로 하는 이미지를 제공하고, 피촬영자가 홍채촬영공간에 있을 때는 촬영된 피촬영자의 이미지 색상 그대로 전송하여 직관적으로 홍채촬영공간에 위치할 수 있도록 하여 피촬영자의 편의성을 극대화할 수 있다.
액츄에이터 제어부는 피촬영자가 가만히 있고 카메라 전체 또는 카메라 렌즈 또는 카메라 센서가 자동으로 앞뒤로 움직여서 홍채촬영공간에 진입하도록 유도하는 경우에 주로 사용하며, 피촬영자가 움직임을 최소화하고 눈을 응시하거나 크게 뜨는 등의 동작을 유도한다.
본 발명에서의 직관 가이드부에서 사용하는 직관 영상가이드에 소리 또는 음성과 같이 청각적 신호를 발생시키는 수단이나 LED, 플래시 등에 의한 시각적 신호를 발생시키는 수단 또는 진동을 생성시키는 수단 등을 부가하여 사용할 수도 있다. 만약 스마트폰과 같이 직관 영상가이드를 전송할 수 있는 거울 또는 LCD 등의 디스플레이 등이 없다고 해도 비용측면이나 물리적 크기로 인한 공간 제약 측면에서 충분히 부가적으로 설치가 가능하기 때문에 본 설명을 적용하는 데 별 어려움이 없을 것이다.
다음은 홍채이미지 획득부에 대해서 구체적으로 살펴본다.
도 12는 본 발명의 일 실시예에 따른 홍채이미지 획득부를 간략하게 나타낸 블록 구성도이다.
도 12에서 도시된 바와 같이, 본 발명의 일 실시예에 따른 홍채이미지 획득부는 홍채촬영공간에서 촬영되어 버퍼에 저장된인물이미지로부터 좌측 눈과 우측 눈의 아이이미지를 추출하는 수단(이하 '아이이미지 추출부' 라 한다)(1201), 상기 아이이미지 추출부에서 추출한 아이이미지를 좌측 눈과 우측 눈의 아이이미지로 분리하여 저장하는 수단(이하 '아이이미지 저장부' 라 한다)(1202), 상기 아이이미지 저장부에 저장되어 있는 좌측 눈과 우측 눈의 아이이미지의 품질을 측정하고, 측정한 아이이미지 품질이 기준품질도를 충족하는지를 평가하여 충족하는 아이이미지를 홍채인식용 이미지로 획득하는수단(이하 '아이이미지 품질측정부' 라 한다)(1203)으로 구성된다.
다음은 상기에서 서술한 홍채촬영공간에서 촬영한 인물이미지로부터 홍채인식용 이미지를 획득하는 방법에 대해서 상세하게 살펴본다.
도 13은 본 발명의 일 실시 예에 따른 홍채인식용 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
도 13에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홍채인식용 이미지를 획득하는 방법은 다음과 같은 단계로 구성된다.
먼저 아이이미지 추출부에서 홍채촬영공간에서 촬영하여 버퍼에 저장된인물이미지로부터 좌측 눈과 우측 눈의 아이이미지를 추출하는 단계(1301), 상기 추출한 좌측 눈과 우측 눈의 아이이미지를 아이이미지 저장부에 분리하여 저장하는 단계(1302), 상기 저장된 좌측 눈과 우측 눈의 아이이미지의 품질을 아이이미지 품질측정부에서 측정하는 단계(1303), 상기측정한 아이이미지 품질이 기준품질도를 충족하는지를아이이미지 품질측정부에서 평가하여 충족하는 아이이미지를 홍채인식용 이미지로 획득하는단계(1304)로 구성된다.
도 13에서는 단계 S1301 내지 단계 S1304를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도13에 기재된 순서를 변경하여 실행하거나 단계 S1301 내지 단계 S1304 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양한 수정 및 변형이 적용 가능할 것이므로, 도 13은 시계열적인 순서로 한정되는 것은 아니다.
다음은 아이이미지 추출부에 대해서 구체적으로 살펴본다.
먼저 홍채촬영공간에서 촬영한 인물이미지로부터 아이이미지를 추출하는 원리에 대해서 살펴보며, 특히 홍채촬영공간이 포착공간과 동일한 경우와 홍채촬영공간이 포착공간보다 큰 경우로 구분하여 아이이미지를 추출하는 원리를 설명한다.
적외선을 사용하지 않고 가시광선을 사용하는 얼굴검출 및 얼굴인식 방법을 사용할 경우에는 홍채촬영공간에서 적외선 조명을 켜는 조명부를 추가적으로 구성해야 하며, 열적외선을 이용하는 얼굴검출 및 얼굴인식 방법에서는 별도의 조명부가 필요하지 않을 수 있다. 상기 광원을 조절하는 방법으로는 첫째로 가시광선 조명을 사용하다가 홍채촬영공간에서는 가시광선 조명을 끄고 적외선 조명을 켜는 방식을 사용하거나 둘째로 가시광선 조명을 사용하고 홍채촬영공간에서는 가시광선 조명에 적외선 필터가 부착되어 적외선만 광원으로 사용하는 방식이 있다.
(R1) 홍채촬영공간이 포착공간과 동일한 경우
도14는 본 발명의 일 실시예에 따른 홍채촬영공간에서 촬영한 인물이미지로부터 아이이미지를 추출하는 원리를 예시로 도시한 것이다.
도 14에서 도시된 바와 같이, 홍채촬영공간(=포착공간)에 피촬영자가 진입할 경우에 촬영한 다수의 피촬영자의 인물이미지를 획득한다. 획득한 다수의 피촬영자의 인물이미지로부터 홍채 영역이 반드시 포함된 눈 영역의 일부 또는 전부를 포함하는 눈 부위 영역을 찾아낸다. 이 때 사용하는 방법은 상기 얼굴 구성요소 거리 연산부의 원소 추출부에서 기술한 내용과 동일하므로 생략한다.홍채를 포함하는 눈 부위 영역을 찾아낸 후에는 인물이미지로부터 절개한다(cropping). 이 때, 절개하는 모양은 사각형, 원, 타원 등의 미리 지정된 도형의 형태를 가지며, 좌측 눈과 우측 눈의 영역을 동시에 절개하거나 분리하여 절개한다.
(R2) 홍채촬영공간이 포착공간보다 큰 경우
홍채촬영공간을 정확하게 포착공간과 동일하게 하지 않고 포착공간에 진입하기 이전 시점 또는 포착공간을 벗어나는 시점 이후에 임의의 시간 또는 거리를 더 부가한 경우를 말하며, 홍채촬영공간에 피촬영자가 진입할 경우에 촬영한 다수의 피촬영자의 인물이미지를 자동으로 획득한다. 하지만 (R1)의 경우와는 다르게 홍채촬영공간이 아닌 포착공간에 진입했을 때 촬영한 다수의 피촬영자의 인물이미지로부터 홍채를 포함하는 눈 부위 영역을 찾아낸 후에는 인물이미지로부터 절개한다(cropping).
도15는 본 발명의 일 실시예에 따른 홍채촬영공간이 포착공간보다 큰 경우 촬영한 인물이미지로부터 아이이미지를 추출하는 원리를 설명하기 위한 예시이다.
도 15에 도시된 바와 같이, 홍채촬영공간에 진입하여 촬영을 시작하는 시간을 T_start, 끝나는 시간을 T_end라고 하면 두 시간의 차이 동안 초당 일정한 속도로 T1에서 Tn까지의 n개의 인물이미지를자동으로 획득하게 된다. 하지만 포착공간에 진입하여 촬영하는 시간을 T1, 끝나는 시간을 Tn이라고 하면, T2에서 Tn-1까지의 n-2개의 인물이미지를 자동으로 획득하게 된다. 따라서 T1과 Tn에서 획득한 인물이미지로부터 아이이미지를 획득하지는 않고, T2에서 Tn-1까지의 n-2개의 인물이미지로부터 아이이미지를 획득한다.
기존에는 홍채인식용 이미지를 획득하기 위한 관련 프로세스 작업을 지속적으로 수행하다보니 도어락과 같은 출입관련 기기 또는 CCTV와 같은 보안기기 또는 카메라와 비디오, 캠코더 같은 영상기기 및 스마트폰, 태블릿, PDA, PC, 노트북과 같은 스마트 기기의 리소스와 배터리 용량이 충분하지 않으면 지속적으로 홍채인식용 이미지를 획득하는 작업을 할 수가 없는 한계가 존재하였다. 특히 최근에 널리 사용되고 있는 스마트폰 등의 소형 기기에서는 리소스 및 배터리 용량이 한계가 있기 때문에 오랜 시간동안 홍채인식용 이미지를 획득하는 작업을 지속할 수가 없다. 따라서 본 발명에서는 상기 리소스와 배터리 용량 한계라는 문제점을 최소화하기 위하여, 포착공간에서 획득한 인물이미지로부터 아이이미지를 획득한다.
다음은 아이이미지 저장부에 대해서 구체적으로 살펴본다.
도 16은본 발명의 일 실시예에 따른 좌측 눈과 우측 눈의 아이이미지를 논리적으로 구분하여 저장하는 것을 설명하기 위한 예시를 도시한 것이다.
도 16에 도시된 바와 같이, 아이이미지를 저장하는 한 개의 물리적 공간을 논 논리적으로 좌측 눈의 아이이미지를 저장하는 곳과 우측 눈의 아이이미지를 저장하는 곳을 구분하여, 각각의 저장공간에 좌측 눈의 아이이미지들과 우측 눈의 아이이미지들을 저장한다.
도 17은 본 발명의 일 실시예에 따른 좌측 눈과 우측 눈의 아이이미지를 물리적으로 구분하여 저장하는 것을 설명하기 위한 예시를 도시한 것이다.
도 17에 도시된 바와 같이, 아이이미지를 저장하는 물리적 공간을 각각 좌측 눈과 우측 눈의 아이이미지 저장 공간으로 따로 구성하여 상이한 물리적 저장공간에 좌측 눈의 아이이미지들과 우측 눈의 아이이미지들을 저장한다.
동일한 인물이미지로부터 획득한 아이이미지라도 좌측 눈 아이이미지와 우측 눈 아이이미지의 품질이 다를 수가 있다. 예를 들어 동일한 인물이미지라도 좌측 눈은 뜨고 있고 우측 눈은 감고 있으면,좌측 눈 아이이미지와 우측 눈 아이이미지의 품질이 다를 수 밖에 없다. 따라서 상기 도 16, 17에 도시된 바와 같이 동일한 개수(m개)의 인물이미지로부터 획득한 아이이미지 개수가 다를 수도 있다(우측 눈은 m개이지만, 좌측 눈은 n개가 될 수 있다. 또한 그 반대로 될 수도 있으며, 동일할 수도 있다). 이러한 특성을 고려하여 아이이미지 저장부는 좌측 눈 아이이미지와 우측 눈 아이이미지를 분리하여 저장한다.
다음은 아이이미지 품질측정부에 대해서 구체적으로 살펴본다.
아이이미지 품질측정부는 아이이미지 저장부에 저장된 다수의 좌측 눈과 우측 눈 아이이미지를 분리하여, 측정항목(이하 '특성항목'이라 한다)에 따라 아이이미지의 품질(이하 '항목품질도'라 한다)을 측정한다. 이 때 항목품질도는 모두 수치로 표현된 값이다.
다음은 앞서 서술한 특성 항목에 대해서 상세하게 살펴본다. 특성 항목은 홍채 특성과 상관없는 일반적인 이미지 선택에 필요한 항목(A1-A3)과 홍채 특성과 관련 있는 항목(A4-A12)으로 구성되어 있다.
첫번째는 (A1)선명도(sharpness), (A2)명암비(contrast ratio), (A3)노이즈레벨(noise level)등이 있다. 두번째는 (A4)홍채 영역의 캡쳐 범위, (A5)빛반사정도, (A6)홍채의 위치, (A7)홍채 선명도, (A8)홍채 명암비, (A9)홍채 노이즈 정도, (A10)홍채 경계 선명도, (A11)홍채 경계 명암비, (A12)홍채 경계 노이즈 정도 등이 있다. 이외에도 홍채 특성에 따라 다양한 측정항목이 부가될수도 있고, 상기 항목이 제외될 수도 있으며, 상기 항목들은 예시일 뿐이다(표 1 참조). 표 1은 홍채의 특성항목을 나타낸 것이다.
표 1
Figure PCTKR2014013022-appb-T000001
상기 아이이미지 품질측정부에서 측정한 항목품질도를 기준품질도와 비교하여 기준품질도를 충족하는 아이이미지를 홍채인식용 이미지로 선택한다. 만약 분리하여 측정한 좌측 눈과 우측 눈의 아이이미지 중에서 기준품질도를 충족하는 아이이미지가 둘 중에서 하나가없는 경우는 없는 쪽 눈의 아이이미지의 전체를 버리고 새로운 아이이미지 획득을 요청하고, 둘 다 없는 경우에는 전체 아이이미지를 버리고, 새로운 아이이미지획득을 요청한다. 따라서 기준품질도를 충족하는 좌측 눈과 우측 눈 단수의 아이이미지로 구성된 한 쌍의 홍채인식용 이미지가 선택될 때까지 반복해서 새로운 아이이미지 획득을 요청하게 된다.
만약 각각의 기준품질도를 충족하는 분리하여 측정한 좌측 눈과 우측 눈의 아이이미지가 하나가 아닌 다수가 있을 경우에는 다수의 아이이미지 중에서 항목품질도를 평가한 값(이하 '종합품질도'라 한다)을 계산하여, 그 중에서 가장 높은 종합품질도를 가진 아이이미지를 선택한다. 이러한 아이이미지 평가 과정은 홍채인식용 이미지 획득 과정에서 실시간으로 수행될 수 있다. 본 발명에서는 대표적인 종합품질도를 평가하는 방법의 하나인 항목품질도를 가중 합산하여 측정한다.
상기 종합품질도는 이미지의 선명도의수치 값을 a1이라 하고, 이에 대한 가중치를 w1이라하며, 이미지의 명암비의수치 값을 a2이라 하고, 이에 대한 가중치를 w2이라 하며, 이미지의 노이즈레벨의수치 값을 a3이라 하고, 이에 대한 가중치를 w3이라 하며, 홍채 영역의 캡쳐 범위의수치 값을 a4이라 하고, 이에 대한 가중치를 w4라 하며, 빛반사정도의수치 값을 a5라 하고, 이에 대한 가중치를 w5이라 하며, 홍채의 위치의수치 값을 a6이라 하고, 이에 대한 가중치를 w6이라 하며, 홍채 선명도의수치 값을 a7이라 하고, 이에 대한 가중치를 w7이라 하며, 홍채 명암비의수치 값을 a8이라 하고, 이에 대한 가중치를 w8이라 하며, 홍채 노이즈 정도의수치 값을 a9라 하고, 이에 대한 가중치를 w9이라 하며, 홍채 선명도의수치 값을 a10이라 하고, 이에 대한 가중치를 w10이라 하며, 홍채 경계 명암비의수치 값을 a11이라 하고, 이에 대한 가중치를 w11이라 하며, 홍채 경계 노이즈 정도의수치 값을 a12라고 하고, 이에 대한 가중치를 w12라고 할 때, w1에 a1을 곱한 값, w2에 a2를 곱한 값, w3에 a3을 곱한 값, w4에 a4를 곱한 값, w5에 a5을 곱한 값, w6에 a6을 곱한 값, w7에 a7를 곱한 값, w8에 a8을 곱한 값, w9에 a9를 곱한 값, w10에 a10을 곱한 값, w11에 a11을 곱한 값, w11에 a12를 곱한 값 모두를 더한 값이며, 이는 수식(3)과 같다.
종합품질도 = w1*a1 + w2* a2 + w3* a3 + w4* a4 + w5* a5 + w6* a6 + w7* a7+ w8* a8 + w9* a9+ w10* a10 + w11* a11 + w12* a12
---- (수식3)
상기 종합품질도는 각 항목품질도에 음이 아닌 가중치를 곱한 후 그 결과를 합하여 얻은 값으로 특성항목의 중요도에 따라서 가중치를 조절할 수 있다. 따라서 항목품질도가 기준품질도를 충족하는 다수의 아이이미지 중에서 상기 종합품질도 값이 최대인 것을 선택한다.
다음은 상기에서 서술한 홍채인식부에 대해서 상세하게 살펴본다.
홍채인식부는 상기 서술한 아이이미지 품질측정부에서 획득한 홍채인식용 이미지를 이용하여 홍채인식을 수행한다. 홍채인식과 관련된 종래의 기술은 홍채인식용 이미지로부터 홍채영역을 추출하고, 추출한 홍채영역으로부터 홍채특징을 추출하여 코드화 하고, 코드를 비교하여 인증 및 식별을 하는 방식이다. 홍채인식용 이미지로부터 홍채영역을 추출하는 방법으로는 원형에지 검출기 방법, 허프 변환(Hough transform) 방법, 템플릿 정합 방법 등이 있다. 최근에 들어서미국의 Iridian회사가 가지고 있던 홍채인식의원천특허의 유효기간이 만료가 되어이를 이용한 다양한 소프트웨어가 개발되고 있다.
따라서, 본 발명에서는 상기 서술한 종래의 기술 중에서, 홍채인식용 이미지로부터 홍채영역을 잘 추출해내어 홍채인식을 가능케 하는 본 발명의 목적과 취지에 부합되는 한 어떤 기술을 사용해도 무방하며, 홍채인식에대한종래의 기술은이미공지된기술이므로더자세한설명은생략토록한다.
도어락과 같은 출입관련 기기 또는 CCTV와 같은 보안기기 또는 카메라와 비디오, 캠코더 같은 영상기기 및 스마트폰, 태블릿, PDA, PC, 노트북과 같은 스마트 기기에서 홍채인식용 이미지를 이용하여 홍채인식을 수행하도록 하여 기기의 잠금을 해제하거나 보안을 강화하는데 쉽게 응용할 수 있도록 하는데 사용할 수 있을 것이다.
다음은 상기 기술한 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법의 기술적 구성에 대하여 살펴본다.
본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법은 다음과 같은 순서로 진행한다(도 4참조).
먼저 카메라가 대기상태(이하 '슬립모드'라 한다)에 있다가 피촬영자를 감지하고 인물이미지를 촬영하기 시작하고, 촬영한 인물이미지를 버퍼에 저장하는 단계(S401)와, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 계산하는 단계(S402), 상기 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고피촬영자가 홍채촬영공간에 있음을 확인하는 단계(S403), 상기 단계에서 피촬영자가 홍채촬영공간에 있음을 확인하면 피촬영자의 인물이미지로부터 아이이미지를 획득하고 좌측 눈과 우측 눈 아이이미지를 분리하여 저장하는 단계(S404), 상기 아이이미지 품질을 측정하여 기준품질도를 충족하는 홍채 인식용 이미지를 획득하는 단계(S405)로 구성된다.
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 기술한 내용과 동일하므로 생략한다.
다음은 상기에서 서술한 본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 계산하는 방법에 대해서 살펴본다.
본 발명의 일 실시예에 따른 얼굴 구성요소 거리를 계산하는 방법은 다음과 같은 순서로 진행한다(도 6참조).
먼저 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 원소들을 추출하는 단계(S601), 상기 추출된 얼굴 구성요소 원소들을 이용하여 얼굴인식의 시행여부를 결정하고 수행하는 단계(S602), 상기 수행된 얼굴인식에서 눈위조 여부를 검출하고 판별하는 단계(S603), 상기 추출된 얼굴 구성요소 원소들 중에서 거리 측정이 가능한 얼굴 구성요소 원소들이 있는 지 확인하고, 얼굴 구성요소 원소들 간의 거리를 측정하는 단계(S604), 상기 측정한 얼굴 구성요소 원소들 간의 거리로부터 얼굴 구성요소 거리를 계산하는 단계(S605)로 구성된다.
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 기술한 내용과 동일하므로 생략한다.
다음은 상기에서 서술한 본 발명의 일 실시예에 따른 실제 거리를 추정하는 방법에 대해서 살펴본다.
본 발명의 일 실시예에 따른 실제 거리를 추정하는 방법은 다음과 같은 순서로 진행한다.
사전 실험을 통하여 획득하여 컴퓨터 또는 스마트폰을 포함하는 각종 단말기의 메모리 또는 데이터베이스에 저장된 피촬영자와 카메라간의 실제 거리와 얼굴 구성요소 거리와의 관계를 나타내는 함수로부터 피촬영자와 카메라간의 실제 거리를 계산하여 추정하는 단계, 상기 단계에서 추정한 피촬영자와 카메라간의 실제 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 단계로 구성된다.
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 기술한 내용과 동일하므로 생략한다.
다음은 상기에서 서술한 본 발명의 일 실시예에 따른 홍채인식용 이미지를 획득하는 방법에 대해서 살펴본다.
본 발명의 일 실시예에 따른 홍채인식용 이미지를 획득하는 방법은 다음과 같은 순서로 진행한다(도 13참조).
먼저 홍채촬영공간에서 촬영하여 버퍼에 저장된인물이미지로부터 좌측 눈과 우측 눈의 아이이미지를 추출하는 단계(1301), 상기 추출한 좌측 눈과 우측 눈의 아이이미지를 분리하여 저장하는 단계(1302), 상기 저장된 좌측 눈과 우측 눈의 아이이미지의 품질을 측정하는 단계(1303), 상기측정한 아이이미지 품질이 기준품질도를 충족하는지를 평가하여 충족하는 아이이미지를 홍채인식용 이미지로 획득하는 단계(1304)로 구성된다.
또한 상기 획득한 홍채인식용 이미지를 이용하여 기기의 잠금을 해제하거나 보안을 강화하는데 홍채인식을 수행하는 단계를 추가적으로 구성할 수 있다.
이에 대한 자세한 기술적 구성에 대해서는 본 발명의 명세서 앞부분 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 기술한 내용과 동일하므로 생략한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다.
즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.
그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 한다.
본 발명은 홍채인식용 이미지를 획득하기 위하여 하나 이상의 피촬영자의 인물이미지를 카메라로 촬영하여 저장하는 버퍼, 상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 연산하는 얼굴 구성요소거리 연산부, 상기 얼굴 구성요소거리 연산부에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고, 추정한 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 실제거리 추정부, 상기 실제거리 추정부에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 홍채이미지 획득부를 포함하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법을 제공할 수 있으므로 산업상 이용가능성이 매우 높다.

Claims (58)

  1. 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치에 있어서,
    홍채인식용 이미지를 획득하기 위하여 하나 이상의 피촬영자의 인물이미지를 카메라로 촬영하여 저장하는 버퍼;
    상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 계산하는 얼굴 구성요소거리 연산부;
    상기 얼굴 구성요소거리 연산부에서 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고, 추정한 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 실제거리 추정부; 및
    상기 실제거리 추정부에서 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 홍채이미지 획득부를 포함하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  2. 청구항 1에 있어서,
    상기 인물이미지는 피촬영자의 얼굴이 포함된 피촬영자의 일부나 전부를 촬영한 이미지 또는 피촬영자의 이미지로부터 얼굴 영역만 절개하여(cropping) 분리된 이미지임을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  3. 청구항 1에 있어서,
    상기 얼굴 구성요소 거리 연산부는
    버퍼에 저장된 인물이미지로부터 얼굴 구성요소 원소들을 추출하는 원소 추출부;
    상기 추출된 얼굴 구성요소 원소들 중에서 거리 측정이 가능한 얼굴 구성요소 원소들이 있는지 확인하고, 거리 측정이 가능한 얼굴 구성요소 원소들 간의 거리를 측정하는 원소거리 측정부; 및
    상기 측정한 얼굴 구성요소 원소들 간의 거리로부터 얼굴 구성요소 거리를 계산하는 구성요소거리 연산부로 구성됨을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  4. 청구항 3에 있어서,
    상기 원소 추출부는,
    얼굴 구성요소 원소들로 눈(좌측, 우측), 눈썹(좌측, 우측), 코, 코구멍(좌측, 우측), 입, 귀, 턱, 볼, 얼굴 경계 중 하나 이상을 선택하여 일부 또는 전부를 사용함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  5. 청구항 3에 있어서,
    상기 원소거리 측정부는,
    상기 원소 추출부에서 추출된 얼굴 구성요소 원소들 간의 거리를 측정한 후, 측정이 가능한 거리 중 일부 또는 전부를 사용함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  6. 청구항 5에 있어서,
    상기 얼굴 구성요소 원소들 간의 거리는 카메라에서 촬영한 인물이미지에서의 얼굴 구성요소 원소들 간의 픽셀(pixel)거리를 측정하여 구하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  7. 청구항 5에 있어서,
    상기 얼굴 구성요소 원소들 간의 거리는 측정하는 기준점의 위치에 달리하여 측정함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  8. 청구항 5에 있어서,
    상기 얼굴 구성요소 원소들 간의 거리 중에서 좌측 눈과 우측 눈 사이의 거리는 동공 중심 간 거리, 내안각(안쪽 눈)간 거리, 동공 끝점 간 거리, 외안각(바깥쪽 눈)간 거리 중에서 하나 이상을 기준점으로 선택하여 사용함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  9. 청구항 3에 있어서,
    상기 구성요소거리 연산부는,
    상기 원소거리 측정부에서 측정이 가능한 얼굴 구성요소 원소들 간의 거리의 개수에 따라 얼굴 구성요소 거리의 계산을 달리하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  10. 청구항 9에 있어서,
    상기 얼굴 구성요소 거리의 계산은 얼굴 구성요소 원소들 간의 거리가 2개 이상일 경우에는 하나를 선택하거나, 2개 이상의 거리를 모두 계산인자로 동시에 사용하거나, 2개 이상의 거리를 하나의 값으로 변환하여 얼굴 구성요소 거리로 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  11. 청구항 10에 있어서,
    상기 얼굴 구성요소 원소들 간의 거리가 2개 이상일 때 하나를 선택하는 경우에는 가장 측정하기 용이한 거리를 선택하거나, 측정하기가 동일한 경우에는 임의로 하나를 선택하여 얼굴 구성요소 거리로 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  12. 청구항 10에 있어서,
    상기 얼굴 구성요소 원소들 간의 거리가 2개 이상일 때 모두 계산인자로 동시에 사용하는 경우에는 순서쌍이나 행렬 또는 벡터형태로 표현하여 얼굴 구성요소 거리로 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  13. 청구항 10에 있어서,
    상기 얼굴 구성요소 원소들 간의 거리가 2개 이상일 때 2개 이상의 거리를 하나의 거리로 계산하여 사용하는 경우에는 다변수 회귀(regression)함수로 하나의 값으로 계산된 거리를 얼굴 구성요소 거리로 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  14. 청구항 1에 있어서,
    상기 실제거리 추정부는,
    컴퓨터 또는 단말기의 메모리 또는 데이터베이스에 저장된 피촬영자와 카메라간의 실제 거리와 얼굴 구성요소 거리와의 관계를 나타내는 함수로부터 피촬영자와 카메라간의 실제 거리를 계산하여 추정하는 실제거리 연산부; 및
    상기 추정한 피촬영자와 카메라간의 실제 거리로부터 피촬영자가 홍채촬영공간에 있음을 확인하는 홍채촬영공간 확인부로 구성됨을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  15. 청구항 14에 있어서,
    상기 함수는 피촬영자와 카메라간의 실제 거리를 변동시켜서 얻은 피촬영자와 카메라간의 실제 거리 및 얼굴 구성요소 거리와의 관계를 통계적인 수단을 이용하여 구하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  16. 청구항 15에 있어서,
    상기 함수를 구하기 위해서 사용하는 통계적인 수단은 얼굴 구성요소 거리를 독립변수로 하고 피촬영자와 카메라간의 실제거리를 종속변수로 사용하는 회귀분석을 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  17. 청구항 14에 있어서,
    상기 함수는 하나의 함수를 모든 사용자에게 동일하게 사용하거나 보정작업을 수행하여 사용자에 따라 다르게 사용하도록 구성됨을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  18. 청구항 17에 있어서,
    상기 보정작업은 카메라 및 센서의 특성 또는 피촬영자의 연령을 고려하여 보정하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  19. 청구항 1 또는 청구항 14 중 어느 한 항에 있어서,
    상기 홍채촬영공간은 포착공간에 진입하기 이전 시점 또는 포착공간을 벗어나는 시점 이후에 일정한 거리를 부가하여 포착공간보다 크게 설정하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  20. 청구항 1 또는 청구항 14 중 어느 한 항에 있어서,
    상기 홍채촬영공간은 포착공간에 진입하기 이전 시점의 시각 또는 포착공간을 벗어나는 시점 이후의 시각에 일정한 시간을 부가하여 포착공간보다 크게 설정하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  21. 청구항 19에 있어서,
    상기 임의의 시점과 거리를 설정하는 기준은 홍채인식용 이미지 획득에 필요한 최소한의 인물이미지 개수 또는 인물이미지로부터 획득되는 아이이미지 개수 또는 기준품질도를 충족하는 아이이미지의 개수에 따라 정해지는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  22. 청구항 14에 있어서,
    상기 홍채촬영공간 확인부는,
    피촬영자가 홍채촬영공간에 위치할 수 있도록 하기 위해 직관 영상가이드를 제공하는 직관 영상가이드부를 추가하여 구성하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  23. 청구항 22에 있어서,
    상기 직관 영상가이드는 인물이미지의 크기, 선명도 및 색상 중에서 하나 이상을 이용한 영상을 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  24. 청구항 23에 있어서,
    상기 인물이미지의 크기를 이용한 영상으로 카메라와 피촬영자의 거리가 가까워질수록 인물이미지의 크기를 크게 하여 제공하고, 카메라와 피촬영자의 거리가 멀어질수록 인물이미지의 크기를 작게 하여 제공하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  25. 청구항 23에 있어서,
    상기 인물이미지의 선명도를 이용한 영상으로 피촬영자가 홍채촬영공간에 있지 않을 때는 흐릿한 이미지(blurry image)를 제공하고, 피촬영자가 홍채촬영공간에 있을 때는 선명한 이미지(sharpen image)를 제공하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  26. 청구항 23에 있어서,
    상기 인물이미지의 색상을 이용한 영상으로 피촬영자가 홍채촬영공간에 있지 않을 때는 피촬영자의 모습을 인지할 수 없도록 하는 배경색으로 인물이미지를 제공하고, 피촬영자가 홍채촬영공간에 있을 때는 촬영된 피촬영자의 인물이미지 색상 그대로 제공하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  27. 청구항 22에 있어서,
    상기 직관 영상가이드에 소리 또는 음성과 같이 청각적 신호를 발생시키는 수단, LED, 플래시에 의한 시각적 신호를 발생시키는 수단 및 진동을 생성시키는 수단 중에서 하나 이상을 선택하여 부가하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  28. 청구항 14에 있어서,
    상기 홍채촬영공간 확인부는,
    피촬영자가 고정된 상태에서 홍채촬영공간에 위치할 수 있도록 하기 위해 카메라 전체 또는 카메라 렌즈 또는 카메라 센서를 앞뒤로 움직여 인물이미지를 촬영하는 구성으로 이루어지는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  29. 청구항 1에 있어서,
    상기 홍채이미지 획득부는,
    홍채촬영공간에서 촬영되어 버퍼에 저장된 인물이미지로부터 좌측 눈과 우측 눈의 아이이미지를 추출하는 아이이미지 추출부;
    상기 아이이미지 추출부로부터 추출한 아이이미지를 좌측 눈과 우측 눈의 아이이미지로 분리하여 저장하는아이이미지 저장부; 및
    상기 아이이미지 저장부에 저장되어 있는 좌측 눈과 우측 눈의 아이이미지의 품질을 측정하고, 측정한 아이이미지 품질이 기준품질도를 충족하는지를 평가하여 충족하는 아이이미지를 홍채인식용 이미지로 획득하는 아이이미지 품질측정부로 구성됨을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  30. 청구항 29에 있어서,
    상기 아이이미지 추출부는,
    홍채촬영공간이 포착공간(capture volume)과 동일한 경우에는 홍채촬영공간에서 촬영된 피촬영자의 인물이미지로부터 눈 부위 영역을 절개하여, 절개한(cropping) 인물이미지를 아이이미지로 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  31. 청구항 29에 있어서,
    상기 아이이미지 추출부는,
    홍채촬영공간이 포착공간(capture volume)보다 큰 경우에는 포착공간에서 촬영된 피촬영자의 인물이미지로부터 눈 부위 영역을 동시에 절개하거나 분리하여 절개하여, 절개한(cropping) 인물이미지를 아이이미지로 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  32. 청구항 30 또는 청구항 31에 있어서,
    상기 눈 부위 영역은 홍채 영역이 반드시 포함된 눈 영역의 일부 또는 전부를 포함하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  33. 청구항 30 또는 청구항 31에 있어서,
    상기 눈 부위 영역을 사각형, 원, 타원 중에서 미리 지정된 도형으로 절개하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  34. 청구항 30 또는 청구항 31에 있어서,
    상기 홍채촬영공간에서 피촬영자에게 알리지 않고 자동적으로 일정한 속도로 다수의 인물이미지를 촬영하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  35. 청구항 30 또는 청구항 31에 있어서,
    상기 아이이미지를 획득하는 공간을 포착공간으로만 한정시켜 전력 및 리소스의 효율성을 최적화하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  36. 청구항 29에 있어서,
    상기 아이이미지 저장부는,
    좌측 눈과 우측 눈의 아이이미지를 논리적으로 또는 물리적으로 분리하여 저장하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  37. 청구항 36에 있어서,
    상기 논리적으로 분리하여 저장하는 것은 아이이미지를 저장하는 한 개의 물리적 공간을 논리적으로 좌측 눈과 우측 눈의 아이이미지 저장 공간으로 구분하여 저장하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  38. 청구항 36에 있어서,
    상기 물리적으로 분리하여 저장하는 것은 아이이미지를 저장하는 물리적 공간을 각각 좌측 눈과 우측 눈의 아이이미지 저장 공간으로 따로 구성하여 저장하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  39. 청구항 29에 있어서,
    상기 아이이미지 품질측정부는,
    좌측 눈과 우측 눈의 아이이미지를 분리하여 품질을 측정하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  40. 청구항 29에 있어서,
    품질을 측정하는 항목은 홍채 특성과 상관없는 일반적인 이미지 선택에 필요한 품질항목과 홍채 특성과 관련 있는 품질항목으로 구성됨을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  41. 청구항 40에 있어서,
    상기 홍채 특성과 상관없는 일반적인 이미지 선택에 필요한 품질항목은 선명도, 명암비, 노이즈레벨 중 하나 이상을 선택 포함하며, 홍채 특성과 관련 있는 품질항목은 홍채 영역의 캡쳐 범위, 빛반사정도, 홍채의 위치, 홍채 선명도, 홍채 명암비, 홍채 노이즈 정도, 홍채 경계 선명도, 홍채 경계 명암비, 홍채 경계 노이즈 정도 중 하나 이상을 선택 사용하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  42. 청구항 29에 있어서,
    상기 아이이미지 품질측정부는,
    분리하여 품질을 측정한 좌측 눈과 우측 눈의 아이이미지중에서 기준품질도를 충족하는 단수의 좌측 눈과 우측 눈 아이이미지로 구성된 한 쌍의 홍채인식용 이미지를 선택하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  43. 청구항 42에 있어서,
    홍채인식용 이미지 획득 장치는 기준품질도를 충족하는 단수의 좌측 눈과 우측 눈 아이이미지 중 하나가 없을 경우에는 없는 쪽 눈의 아이이미지 전체를 버리고 새로운 아이이미지의 획득을 요청하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  44. 청구항 42에 있어서,
    기준품질도를 충족하는 단수의 좌측 눈과 우측 눈 아이이미지 둘 다 없을 경우에는 전체 아이이미지를 버리고, 새로운 아이이미지의 획득을 요청하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  45. 청구항 42에 있어서,
    기준품질도를 충족하는 좌측 눈과 우측 눈 아이이미지가 다수 개 존재할 경우에는 이들 중 종합품질도가 가장 높은 아이이미지를 선택하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  46. 청구항 45에 있어서,
    상기 종합품질도는 하기 수식(3)으로 결정되는 가중합산을 통해서 측정되는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
    { 종합품질도 = w1*a1 + w2* a2 + w3* a3 + w4* a4 + w5* a5 + w6* a6 + w7* a7+ w8* a8 + w9* a9+ w10* a10 + w11* a11 + w12* a12 ---- (수식1)
    이 때, 종합품질도는 이미지의 선명도의수치 값을 a1이라 하고, 이에 대한 가중치를 w1이라하며, 이미지의 명암비의수치 값을 a2이라 하고, 이에 대한 가중치를 w2이라 하며, 이미지의 노이즈레벨의수치 값을 a3이라 하고, 이에 대한 가중치를 w3이라 하며, 홍채 영역의 캡쳐 범위의수치 값을 a4이라 하고, 이에 대한 가중치를 w4라 하며, 빛반사정도의수치 값을 a5라 하고, 이에 대한 가중치를 w5이라 하며, 홍채의 위치의수치 값을 a6이라 하고, 이에 대한 가중치를 w6이라 하며, 홍채 선명도의수치 값을 a7이라 하고, 이에 대한 가중치를 w7이라 하며, 홍채 명암비의수치 값을 a8이라 하고, 이에 대한 가중치를 w8이라 하며, 홍채 노이즈 정도의수치 값을 a9라 하고, 이에 대한 가중치를 w9이라 하며, 홍채 선명도의수치 값을 a10이라 하고, 이에 대한 가중치를 w10이라 하며, 홍채 경계 명암비의수치 값을 a11이라 하고, 이에 대한 가중치를 w11이라 하며, 홍채 경계 노이즈 정도의수치 값을 a12라고 하고, 이에 대한 가중치를 w12라고 할 때, w1에 a1을 곱한 값, w2에 a2를 곱한 값, w3에 a3을 곱한 값, w4에 a4를 곱한 값, w5에 a5을 곱한 값, w6에 a6을 곱한 값, w7에 a7를 곱한 값, w8에 a8을 곱한 값, w9에 a9를 곱한 값, w10에 a10을 곱한 값, w11에 a11을 곱한 값, w11에 a12를 곱한 값 모두를 더한 값}
  47. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 얼굴 구성요소 거리를 계산하는 과정 중에 얼굴인식부를 추가하여 얼굴인식을 수행하는 것을 특징으로 하는얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  48. 청구항1 또는 청구항 3에 있어서,
    홍채인식용 이미지 획득 장치는 얼굴인식분야에서의 위조 얼굴을 검출하는 기술 및 아이트래킹 기술로 위변조된 인물이미지 획득을 방지하기 위한 눈위조 검출부를 더 부가함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  49. 청구항 29, 청구항 42 및 청구항 45 중 어느 한 항에 있어서,
    상기 획득한 홍채인식용 이미지로 기기의 잠금을 해제하거나 보안을 강화하는데 홍채인식을 수행하는 홍채인식부를 추가하여 구성하는 것을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  50. 청구항 1 내지 청구항 18 중 어느 한 항에 있어서,
    홍채인식용 이미지 획득 장치는 홍채촬영공간에서 가시광선 조명을 오프(off)하고 적외선 조명을 온(on)하는 수단 또는 가시광선 조명을 온(on)할 경우에 조명 앞에 적외선 통과필터가 위치하도록 구성하여 적외선만 통과시키는 수단을 구비한 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치.
  51. 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법에 있어서,
    먼저 카메라가 대기상태에 있다가 피촬영자를 감지하고 인물이미지를 촬영하기 시작하고, 촬영한 인물이미지를 버퍼에 저장하는 단계;
    상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 계산하는 단계;
    상기 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고 피촬영자가 홍채촬영공간에 있음을 확인하는 단계; 및
    상기 홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 단계를 포함함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  52. 청구항 51에 있어서,
    상기 버퍼에 저장된 인물이미지로부터 얼굴 구성요소 거리를 계산하는 단계는
    버퍼에 저장된 인물이미지로부터 얼굴 구성요소 원소들을 추출하는 단계;
    상기 추출된 얼굴 구성요소 원소들 중에서 거리 측정이 가능한 얼굴 구성요소 원소들이 있는 지 확인하고, 얼굴 구성요소 원소들 간의 거리를 측정하는 단계; 및
    상기 측정한 얼굴 구성요소 원소들 간의 거리로부터 얼굴 구성요소 거리를 계산하는 단계를 포함함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  53. 청구항 52에 있어서,
    상기 추출된 얼굴 구성요소 원소들을 이용하여 얼굴인식의 시행여부를 결정하고 수행하는 단계를 더 포함함을 특징으로 하는얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  54. 청구항 53에 있어서,
    상기 얼굴인식의 시행여부를 결정하고 수행하는 단계에서 눈위조 검출부를 이용하여 눈위조 여부를 검출하고 판별하는 단계를 더 포함함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  55. 청구항 51에 있어서,
    상기 계산된 얼굴 구성요소 거리로부터 피촬영자와 카메라 간의 실제 거리를 추정하고 피촬영자가 홍채촬영공간에 있음을 확인하는 단계는
    메모리 또는 데이터베이스에 저장된 피촬영자와 카메라간의 실제 거리와 얼굴 구성요소 거리와의 관계를 나타내는 함수로부터 피촬영자와 카메라간의 실제 거리를 계산하여 추정하는 단계; 및
    상기 단계에서 추정한 피촬영자와 카메라간의 실제 거리로부터 피촬영자가 홍채촬영공간에 있음을 판단하는 단계를 포함함을 특징으로 하는얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  56. 청구항 51에 있어서,
    홍채촬영공간에 있음을 확인한 피촬영자의 인물이미지로부터 아이이미지를 획득하고, 획득한 아이이미지의 품질을 측정하여 기준품질도를 충족하는 홍채인식용 이미지를 획득하는 단계는
    홍채촬영공간에서 촬영하여 버퍼에 저장된 인물이미지로부터 좌측 눈과 우측 눈의 아이이미지를 추출하는 단계;
    상기 추출한 좌측 눈과 우측 눈의 아이이미지를 분리하여 저장하는 단계;
    상기 저장된 좌측 눈과 우측 눈의 아이이미지의 품질을 측정하는 단계; 및
    상기측정한 아이이미지 품질이 기준품질도를 충족하는지를 평가하여 충족하는 아이이미지를 홍채인식용 이미지로 획득하는단계를 포함하는 것을 특징으로 하는얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  57. 청구항 56에 있어서,
    상기 획득한 홍채인식용 이미지로 기기의 잠금을 해제하거나 보안을 강화하는데 홍채인식을 수행하는 단계를 더 포함함을 특징으로 하는 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법.
  58. 청구항 51 내지 청구항 57 중 어느 한 항의 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법을 수행하기 위하여 컴퓨터 또는 단말기에 탑재되어 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 방법의 각 단계를 실행하기 위한 프로그램을 기록한 컴퓨터 또는 단말기에서 읽을 수 있는 기록매체.
PCT/KR2014/013022 2014-01-02 2014-12-30 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법 Ceased WO2015102361A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480072094.1A CN105874473A (zh) 2014-01-02 2014-12-30 利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法
US15/109,435 US20160335495A1 (en) 2014-01-02 2014-12-30 Apparatus and method for acquiring image for iris recognition using distance of facial feature
JP2016544380A JP2017503276A (ja) 2014-01-02 2014-12-30 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0000160 2014-01-02
KR1020140000160A KR101569268B1 (ko) 2014-01-02 2014-01-02 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015102361A1 true WO2015102361A1 (ko) 2015-07-09

Family

ID=53493644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/013022 Ceased WO2015102361A1 (ko) 2014-01-02 2014-12-30 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법

Country Status (5)

Country Link
US (1) US20160335495A1 (ko)
JP (1) JP2017503276A (ko)
KR (1) KR101569268B1 (ko)
CN (1) CN105874473A (ko)
WO (1) WO2015102361A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022281A (zh) * 2016-05-27 2016-10-12 广州帕克西软件开发有限公司 一种面部数据测量方法及系统
WO2018038429A1 (en) 2016-08-23 2018-03-01 Samsung Electronics Co., Ltd. Electronic device including iris recognition sensor and method of operating the same
EP4095744A4 (en) * 2020-02-20 2024-02-21 Eyecool Shenzen Technology Co., Ltd. METHOD AND APPARATUS FOR AUTOMATIC IRIS CAPTURE, COMPUTER READABLE STORAGE MEDIUM AND COMPUTER DEVICE

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559017B1 (ko) 2007-09-24 2023-07-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US11165963B2 (en) 2011-06-05 2021-11-02 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
KR102305997B1 (ko) * 2014-11-17 2021-09-28 엘지이노텍 주식회사 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
KR101782086B1 (ko) * 2015-10-01 2017-09-26 장헌영 이동단말 제어장치 및 방법
KR102388249B1 (ko) 2015-11-27 2022-04-20 엘지이노텍 주식회사 일반 촬영 및 적외선 촬영 겸용 카메라 모듈
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN114693289A (zh) 2016-06-11 2022-07-01 苹果公司 用于交易的用户界面
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
KR102458241B1 (ko) * 2016-12-13 2022-10-24 삼성전자주식회사 사용자 인식 장치 및 방법
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
WO2018123413A1 (ja) * 2016-12-27 2018-07-05 シャープ株式会社 画像処理装置、画像印刷装置、撮像装置、および画像処理プログラム
KR20180080758A (ko) * 2017-01-05 2018-07-13 주식회사 아이리시스 하나 이상의 생체 정보를 처리하는 회로 모듈 및 이를 포함하는 생체 정보 처리 장치
CN108197617A (zh) * 2017-02-24 2018-06-22 张家口浩扬科技有限公司 一种图像输出反馈的装置
CN106778713B (zh) * 2017-03-01 2023-09-22 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
KR102329765B1 (ko) * 2017-03-27 2021-11-23 삼성전자주식회사 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
US10607096B2 (en) * 2017-04-04 2020-03-31 Princeton Identity, Inc. Z-dimension user feedback biometric system
CN108694354A (zh) * 2017-04-10 2018-10-23 上海聚虹光电科技有限公司 一种虹膜采集装置采集人脸图像的应用方法
US10430644B2 (en) 2017-06-06 2019-10-01 Global Bionic Optics Ltd. Blended iris and facial biometric system
US20180374099A1 (en) * 2017-06-22 2018-12-27 Google Inc. Biometric analysis of users to determine user locations
CN109117692B (zh) * 2017-06-23 2024-03-29 深圳荆虹科技有限公司 一种虹膜识别装置、系统及方法
CN107390853B (zh) * 2017-06-26 2020-11-06 Oppo广东移动通信有限公司 电子装置
DE102017114497A1 (de) * 2017-06-29 2019-01-03 Bundesdruckerei Gmbh Vorrichtung zum Korrigieren eines Gesichtsbildes einer Person
CN107491302A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 终端控制方法及装置
CN107609471A (zh) * 2017-08-02 2018-01-19 深圳元见智能科技有限公司 一种人脸活体检测方法
KR102434703B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 생체 이미지 처리 방법 및 이를 포함한 장치
CN112507307B (zh) 2017-09-09 2025-04-08 苹果公司 生物识别认证的实现
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102013920B1 (ko) * 2017-09-28 2019-08-23 주식회사 다날 시력 검사가 가능한 단말 장치 및 그 동작 방법
WO2019084133A1 (en) * 2017-10-25 2019-05-02 Sensormatic Electronics, LLC FRICTION-FREE ACCESS CONTROL SYSTEM USING SATELLITE CAMERAS FOR FACIAL RECOGNITION
KR102540918B1 (ko) * 2017-12-14 2023-06-07 현대자동차주식회사 차량의 사용자 영상 처리 장치 및 그 방법
JP2019132019A (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
CN108376252B (zh) * 2018-02-27 2020-01-10 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
EP3564748A4 (en) 2018-02-27 2020-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CONTROL METHOD AND APPARATUS, TERMINAL, COMPUTER DEVICE, AND STORAGE MEDIUM
WO2019174436A1 (zh) 2018-03-12 2019-09-19 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108509867B (zh) * 2018-03-12 2020-06-05 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108394378B (zh) * 2018-03-29 2020-08-14 荣成名骏户外休闲用品股份有限公司 汽车开关门感应装置的自动控制方法
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN109002796B (zh) 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
KR102241483B1 (ko) * 2018-07-17 2021-04-19 성균관대학교산학협력단 사용자 인식방법 및 병적징후 예측방법
KR102520199B1 (ko) 2018-07-23 2023-04-11 삼성전자주식회사 전자 장치 및 그 제어 방법.
US11074675B2 (en) * 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
WO2020179898A1 (ja) * 2019-03-07 2020-09-10 日本電気株式会社 撮影装置、撮影方法、プログラムを記憶する記憶媒体
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
CN110113528B (zh) 2019-04-26 2021-05-07 维沃移动通信有限公司 一种参数获取方法及终端设备
JP7134364B2 (ja) * 2019-09-05 2022-09-09 三菱電機株式会社 体格判定装置および体格判定方法
US20230084265A1 (en) * 2020-02-21 2023-03-16 Nec Corporation Biometric authentication apparatus, biometric authentication method, and computer-readable medium storing program therefor
CN113358231B (zh) * 2020-03-06 2023-09-01 杭州海康威视数字技术股份有限公司 红外测温方法、装置及设备
KR102194511B1 (ko) * 2020-03-30 2020-12-24 에스큐아이소프트 주식회사 대표 영상프레임 결정시스템 및 이를 이용한 방법
CN111634255A (zh) * 2020-06-05 2020-09-08 北京汽车集团越野车有限公司 一种解锁系统、汽车及解锁方法
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
CN114765661B (zh) * 2020-12-30 2022-12-27 杭州海康威视数字技术股份有限公司 一种虹膜识别方法、装置及设备
EP4264460B1 (en) 2021-01-25 2025-12-24 Apple Inc. Implementation of biometric authentication
CN112926464B (zh) * 2021-03-01 2023-08-29 创新奇智(重庆)科技有限公司 一种人脸活体检测方法以及装置
JP7521682B2 (ja) 2021-03-03 2024-07-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US12210603B2 (en) 2021-03-04 2025-01-28 Apple Inc. User interface for enrolling a biometric feature
CN113132632B (zh) * 2021-04-06 2022-08-19 蚂蚁胜信(上海)信息技术有限公司 一种针对宠物的辅助拍摄方法和装置
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations
WO2023277589A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
JP7513239B2 (ja) 2021-06-30 2024-07-09 サイロスコープ インコーポレイテッド 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
KR102477694B1 (ko) * 2022-06-29 2022-12-14 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277548A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
US12147565B2 (en) * 2021-07-07 2024-11-19 Nec Corporation Image processing apparatus, image processing method and recording medium
CN113762077B (zh) * 2021-07-19 2024-02-02 沈阳工业大学 基于双分级映射的多生物特征虹膜模板保护方法
IT202100032711A1 (it) * 2021-12-27 2023-06-27 Luxottica Group S P A Metodo di stima della distanza interpupillare.
CN115100731B (zh) * 2022-08-10 2023-03-31 北京万里红科技有限公司 一种质量评价模型训练方法、装置、电子设备及存储介质
KR102877647B1 (ko) * 2025-02-10 2025-10-29 주식회사 누리랩 딥페이크 생성물 탐지 방법 및 이를 수행하는 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060096867A (ko) * 2005-03-04 2006-09-13 채영도 홍채인식을 위한 비교영역 설정 및 사용자 인증정보 생성방법 및 그 장치
KR20100069028A (ko) * 2008-12-16 2010-06-24 아이리텍 잉크 홍채인식을 위한 고품질 아이이미지의 획득장치 및 방법
KR101202448B1 (ko) * 2011-08-12 2012-11-16 한국기초과학지원연구원 홍채 인식 장치 및 홍채 인식 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543409A (zh) * 2008-10-24 2009-09-30 南京大学 远距离虹膜识别装置
CN201522734U (zh) * 2009-05-21 2010-07-07 上海安威士智能科技有限公司 虹膜识别门禁
CN102855476A (zh) * 2011-06-27 2013-01-02 王晓鹏 单图像传感器自适应双眼虹膜同步采集系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060096867A (ko) * 2005-03-04 2006-09-13 채영도 홍채인식을 위한 비교영역 설정 및 사용자 인증정보 생성방법 및 그 장치
KR20100069028A (ko) * 2008-12-16 2010-06-24 아이리텍 잉크 홍채인식을 위한 고품질 아이이미지의 획득장치 및 방법
KR101202448B1 (ko) * 2011-08-12 2012-11-16 한국기초과학지원연구원 홍채 인식 장치 및 홍채 인식 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022281A (zh) * 2016-05-27 2016-10-12 广州帕克西软件开发有限公司 一种面部数据测量方法及系统
WO2018038429A1 (en) 2016-08-23 2018-03-01 Samsung Electronics Co., Ltd. Electronic device including iris recognition sensor and method of operating the same
EP3479556A4 (en) * 2016-08-23 2019-08-07 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE WITH IRIS DETECTION SENSOR AND METHOD FOR OPERATING THEREOF
EP4095744A4 (en) * 2020-02-20 2024-02-21 Eyecool Shenzen Technology Co., Ltd. METHOD AND APPARATUS FOR AUTOMATIC IRIS CAPTURE, COMPUTER READABLE STORAGE MEDIUM AND COMPUTER DEVICE
US12400471B2 (en) 2020-02-20 2025-08-26 Eyecool Shenzhen Technology Co., Ltd. Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device

Also Published As

Publication number Publication date
KR101569268B1 (ko) 2015-11-13
KR20150080728A (ko) 2015-07-10
JP2017503276A (ja) 2017-01-26
CN105874473A (zh) 2016-08-17
US20160335495A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
WO2015102361A1 (ko) 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2017014415A1 (en) Image capturing apparatus and method of operating the same
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
WO2016032292A1 (en) Photographing method and electronic device
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2015105347A1 (en) Wearable display apparatus
WO2018199542A1 (ko) 전자 장치 및 전자 장치의 영상 표시 방법
US20090174805A1 (en) Digital camera focusing using stored object recognition
WO2016208849A1 (ko) 디지털 촬영 장치 및 그 동작 방법
WO2019107981A1 (en) Electronic device recognizing text in image
WO2020235852A1 (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
WO2017185316A1 (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
WO2013009020A2 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
CN102542254A (zh) 图像处理装置及图像处理方法
WO2017099314A1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
EP3440593A1 (en) Method and apparatus for iris recognition
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2020116983A1 (en) Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
EP3092523A1 (en) Wearable display apparatus
WO2021210807A1 (ko) 멀티 카메라를 포함하는 전자 장치 및 촬영 방법
WO2022030838A1 (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14876127

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15109435

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016544380

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14876127

Country of ref document: EP

Kind code of ref document: A1