KR102743183B1

KR102743183B1 - Data augmentation device and method for fingerprint liveness detection

Info

Publication number: KR102743183B1
Application number: KR1020220049657A
Authority: KR
Inventors: 장한얼; 민지민
Original assignee: 국립한밭대학교 산학협력단
Priority date: 2022-04-21
Filing date: 2022-04-21
Publication date: 2024-12-17
Anticipated expiration: 2042-04-21
Also published as: KR20230150109A

Abstract

본 발명은 지문 활성 탐지를 위한 데이터 증강 장치 및 방법에 관한 것으로서, 더욱 상세하게는 복제한 지문으로 지문 인식기 기반의 개인 인증 시스템을 무력화시키는 문제를 해결하기 위해 데이터 증강 방법을 활용하여 강인한 지문 활성 탐지 모델을 개발하는 방법을 제공하는 지문 활성 탐지를 위한 데이터 증강 장치 및 방법에 관한 것이다.The present invention relates to a data augmentation device and method for fingerprint activity detection, and more particularly, to a data augmentation device and method for fingerprint activity detection that provides a method for developing a robust fingerprint activity detection model by utilizing a data augmentation method to solve the problem of neutralizing a fingerprint recognition-based personal authentication system with a cloned fingerprint.

Description

{Data augmentation device and method for fingerprint liveness detection}

생체 인식은 생리적 또는 행동적 특성에 따라 사람을 자동으로 식별하는 기능이다. Biometrics is the ability to automatically identify people based on their physiological or behavioral characteristics.

개인을 식별하기 위해 사용되는 다양한 생체 인식은 지문, 음성 인쇄, 망막 이미지, DNA 등을 포함할 수 있다. Various biometrics used to identify individuals may include fingerprints, voice prints, retinal images, DNA, etc.

생체 인식에는 많은 잠재적인 용도가 있다. Biometrics has many potential applications.

예를 들어, 생체 인식 식별은 현금 자동 입출금기와 함께 사용하기 위해 PIN(개인 식별 번호)을 대신하는 데 사용될 수 있다.For example, biometric identification could be used to replace a PIN (personal identification number) for use with automated teller machines.

그러나, 종래 생체 인식은 사용자의 지문 정보가 복제될 수 있는 등의 가능성이 있거나, 지문 입력 환경(예: 손가락이 젖어 있거나 이물질이 묻어 있는 환경)에 따라 오류가 발생할 수 있어, 사용이 다소 제한적인 문제가 있었다. However, conventional biometric authentication has had some limitations in its use, as there is a possibility that the user's fingerprint information can be copied, or errors can occur depending on the fingerprint input environment (e.g., an environment where the fingers are wet or contaminated with foreign substances).

현재 일반적으로 지문 인식기에서 스캔한 지문 이미지들은 스캔 환경에 따라서 노이즈 추가, 밝기 변화, 크기 변형, 회전, 이동 등의 왜곡이 가해질 수 있다.Currently, fingerprint images scanned by fingerprint recognition devices may be subject to distortion such as added noise, changes in brightness, size deformation, rotation, and movement depending on the scanning environment.

이러한 왜곡이 추가되면 실제 지문과 복제 지문을 판별하는 지문 활성 탐지 기법의 탐지율이 하락할 수 있다. The addition of these distortions can reduce the detection rates of fingerprint liveness detection techniques that distinguish real from cloned fingerprints.

따라서, 지문 스캔 환경에서 발생할 수 있는 다양한 이미지를 데이터 증강 방법으로 생성하고 이를 활용하여 강인한 지문 활성 탐지 모델을 개발할 필요성이 대두되고 있으며, 이를 해결할 경우에 복제한 지문으로 지문 인식기 기반의 개인 인증 시스템을 무력화시키는 심각한 재산상 피해를 방지할 수 있는 기술을 제공하고자 하는 것이다.Therefore, there is an increasing need to generate various images that may occur in a fingerprint scanning environment using a data augmentation method and to develop a robust fingerprint activity detection model by utilizing the same. In addition, if this is resolved, the technology is intended to prevent serious property damage caused by disabling a fingerprint recognition-based personal authentication system with a cloned fingerprint.

대한민국공개특허공보 제10-2021-0085974호Republic of Korea Patent Publication No. 10-2021-0085974

따라서, 본 발명은 상기 종래의 문제점을 해소하기 위해 안출된 것으로,Therefore, the present invention has been devised to solve the above-mentioned conventional problems.

본 발명의 목적은 지문 스캔 환경에서 발생할 수 있는 다양한 이미지를 데이터 증강 방법으로 생성하고 이를 활용하여 강인한 지문 활성 탐지 모델을 제공하고자 한다.The purpose of the present invention is to generate various images that may occur in a fingerprint scanning environment using a data augmentation method and to provide a robust fingerprint activity detection model by utilizing the same.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 지문 활성 탐지를 위한 데이터 증강 장치는,In order to achieve the problem that the present invention is intended to solve, a data augmentation device for fingerprint activity detection according to one embodiment of the present invention is

실제 지문 이미지와 복제 지문 이미지를 저장하고 있는 지문이미지저장부(100)와,A fingerprint image storage unit (100) that stores actual fingerprint images and cloned fingerprint images,

상기 지문이미지저장부에 저장된 실제 지문 이미지와 복제 지문 이미지를 획득하기 위한 지문이미지획득부(200)와,A fingerprint image acquisition unit (200) for acquiring an actual fingerprint image and a duplicate fingerprint image stored in the above fingerprint image storage unit,

실제 지문 스캔 과정에서 발생할 수 있는 왜곡 함수를 정의하고, 이를 이용하여 데이터를 증강시킨 후, 왜곡된 이미지를 생성하기 위한 왜곡이미지생성부(300)와,A distortion image generation unit (300) that defines a distortion function that may occur during an actual fingerprint scanning process, uses this to augment data, and then generates a distorted image;

상기 증강된 데이터 셋을 이용하여 지문 활성 탐지 모델을 학습하기 위한 지문활성탐지모델학습부(400)를 포함하여 구성됨으로써, 본 발명의 과제를 해결하게 된다.The present invention solves the problem by including a fingerprint activity detection model learning unit (400) for learning a fingerprint activity detection model using the above-mentioned augmented data set.

본 발명에 따른 지문 활성 탐지를 위한 데이터 증강 장치 및 방법을 통해, Through the data augmentation device and method for fingerprint activity detection according to the present invention,

복제한 지문으로 지문 인식기 기반의 개인 인증 시스템을 무력화시키는 문제를 해결할 수 있어 강력한 보안 수단으로 활용할 수 있는 효과를 제공하게 된다.It provides the effect of being able to be used as a powerful security measure by solving the problem of disabling fingerprint recognition-based personal authentication systems with cloned fingerprints.

도 1은 본 발명의 일실시예에 따른 지문 활성 탐지를 위한 데이터 증강 장치의 구성도이다.
도 2는 본 발명의 일실시예에 따른 지문 활성 탐지를 위한 데이터 증강 방법의 흐름도이다.
도 3은 본 발명의 일실시예에 따른 지문 활성 탐지를 위한 데이터 증강 장치의 왜곡이미지생성부(300)에서 Gaussian Noise 처리 예시 결과 화면 이미지이며, 도 4는 Salt and pepper Noise가 삽입된 화면 이미지이며, 도 5는 스케일링 적용 화면 이미지이며, 도 6은 이동 적용 화면 이미지이며, 도 7은 회전 적용 화면 이미지이다.FIG. 1 is a configuration diagram of a data augmentation device for fingerprint activity detection according to one embodiment of the present invention.
FIG. 2 is a flowchart of a data augmentation method for fingerprint activity detection according to one embodiment of the present invention.
FIG. 3 is an example screen image of a result of Gaussian Noise processing in a distorted image generation unit (300) of a data augmentation device for fingerprint activity detection according to one embodiment of the present invention, FIG. 4 is a screen image with Salt and Pepper Noise inserted, FIG. 5 is a screen image with scaling applied, FIG. 6 is a screen image with movement applied, and FIG. 7 is a screen image with rotation applied.

본 발명의 과제를 해결하기 위하여 바람직한 실시예에 따른 지문 활성 탐지를 위한 데이터 증강 장치는,In order to solve the problem of the present invention, a data augmentation device for fingerprint activity detection according to a preferred embodiment is provided.

상기 증강된 데이터 셋을 이용하여 지문 활성 탐지 모델을 학습하기 위한 지문활성탐지모델학습부(400)를 포함하여 구성되는 것을 특징으로 한다.It is characterized by comprising a fingerprint activity detection model learning unit (400) for learning a fingerprint activity detection model using the above-mentioned augmented data set.

이때, 부가적인 양상에 따라, 본 발명인 지문 활성 탐지를 위한 데이터 증강 장치는,At this time, according to an additional aspect, the data augmentation device for fingerprint activity detection of the present invention,

지문 활성 탐지 대상 이미지를 획득하기 위한 지문활성탐지대상이미지획득부(500)와,A fingerprint activity detection target image acquisition unit (500) for acquiring a fingerprint activity detection target image,

상기 획득된 지문 활성 탐지 대상 이미지를 상기 학습한 지문 활성 탐지 모델에 적용시켜 추론하는 지문활성탐지대상이미지추론부(600)를 더 포함하는 것을 특징으로 한다.It is characterized by further including a fingerprint activity detection target image inference unit (600) that applies the acquired fingerprint activity detection target image to the learned fingerprint activity detection model and makes inference.

이때, 상기 왜곡 함수는,At this time, the distortion function is,

노이즈 추가, 밝기 변화, 크기 변형, 회전, 이동 중 적어도 어느 하나 이상의 왜곡 함수인 것을 특징으로 한다.It is characterized by at least one distortion function among noise addition, brightness change, scale transformation, rotation, and translation.

한편, 본 발명인 지문 활성 탐지를 위한 데이터 증강 방법은,Meanwhile, the data augmentation method for fingerprint activity detection according to the present invention is

지문이미지획득부(200)가 지문이미지저장부(100)에 저장된 실제 지문 이미지와 복제 지문 이미지를 획득하기 위한 지문이미지획득단계(S100)와,A fingerprint image acquisition step (S100) for acquiring an actual fingerprint image and a duplicate fingerprint image stored in a fingerprint image storage unit (100) by a fingerprint image acquisition unit (200),

왜곡이미지생성부(300)가 실제 지문 스캔 과정에서 발생할 수 있는 왜곡 함수를 정의하고, 이를 이용하여 데이터를 증강시킨 후, 왜곡된 이미지를 생성하기 위한 왜곡이미지생성단계(S200)와,The distortion image generation unit (300) defines a distortion function that may occur during an actual fingerprint scanning process, uses this to augment data, and then creates a distorted image in a distortion image generation step (S200).

지문활성탐지모델학습부(400)가 상기 증강된 데이터 셋을 이용하여 지문 활성 탐지 모델을 학습하기 위한 지문활성탐지모델학습단계(S300)와,The fingerprint activity detection model learning unit (400) uses the above-mentioned augmented data set to learn a fingerprint activity detection model, and a fingerprint activity detection model learning step (S300),

지문활성탐지대상이미지획득부(500)가 지문 활성 탐지 대상 이미지를 획득하기 위한 지문활성탐지대상이미지획득단계(S400)와,A fingerprint activity detection target image acquisition unit (500) comprises a fingerprint activity detection target image acquisition step (S400) for acquiring a fingerprint activity detection target image,

지문활성탐지대상이미지추론부(600)가 상기 획득된 지문 활성 탐지 대상 이미지를 상기 학습한 지문 활성 탐지 모델에 적용시켜 추론하는 지문활성탐지대상이미지추론단계(500)를 포함하는 것을 특징으로 한다.It is characterized in that the fingerprint activity detection target image inference unit (600) includes a fingerprint activity detection target image inference step (500) that applies the acquired fingerprint activity detection target image to the learned fingerprint activity detection model and infers it.

이하, 본 발명에 의한 지문 활성 탐지를 위한 데이터 증강 장치 및 방법의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, a data augmentation device and method for fingerprint activity detection according to the present invention will be described in detail through embodiments.

도 1은 본 발명의 일실시예에 따른 지문 활성 탐지를 위한 데이터 증강 장치의 구성도이다.FIG. 1 is a configuration diagram of a data augmentation device for fingerprint activity detection according to one embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명인 지문 활성 탐지를 위한 데이터 증강 장치(1000)는 크게, 지문이미지저장부(100), 지문이미지획득부(200), 왜곡이미지생성부(300), 지문활성탐지모델학습부(400)를 포함하여 구성하게 된다.As illustrated in Fig. 1, the data augmentation device (1000) for fingerprint activity detection according to the present invention is largely composed of a fingerprint image storage unit (100), a fingerprint image acquisition unit (200), a distorted image generation unit (300), and a fingerprint activity detection model learning unit (400).

상기와 같은 구성을 통해, 본 발명은 추가적인 센서 없이 지문 인식기에서 획득한 이미지만으로 지문 활성 탐지를 수행할 수 있는 장점을 제공하게 된다.Through the above configuration, the present invention provides the advantage of being able to perform fingerprint activity detection using only an image acquired from a fingerprint recognition device without an additional sensor.

상기한 지문 활성 탐지란, 활성(실제) 지문과 비활성(복제) 지문을 탐지하는 기술을 의미하며, 본 발명에서는 복제한 지문으로 지문 인식기 기반의 개인 인증 시스템을 무력화시키는 문제를 해결하기 위해 데이터 증강 방법을 활용하여 강인한 지문 활성 탐지 모델을 개발하고자 하는 것이다.The above-mentioned fingerprint activity detection refers to a technology for detecting active (real) fingerprints and inactive (cloned) fingerprints, and the present invention aims to develop a robust fingerprint activity detection model by utilizing a data augmentation method in order to solve the problem of neutralizing a fingerprint recognition-based personal authentication system with a cloned fingerprint.

구체적으로 설명하자면, 상기 지문이미지저장부(100)는 실제 지문 이미지와 복제 지문 이미지를 저장하고 있게 된다.To explain specifically, the fingerprint image storage unit (100) stores an actual fingerprint image and a cloned fingerprint image.

이때, 상기 지문이미지획득부(200)는 지문이미지저장부에 저장된 실제 지문 이미지와 복제 지문 이미지를 획득하기 위한 기능을 수행하게 된다.At this time, the fingerprint image acquisition unit (200) performs a function to acquire an actual fingerprint image and a cloned fingerprint image stored in the fingerprint image storage unit.

이후, 상기 왜곡이미지생성부(300)는 실제 지문 스캔 과정에서 발생할 수 있는 왜곡 함수를 정의하고, 이를 이용하여 데이터를 증강시킨 후, 왜곡된 이미지를 생성하기 위한 기능을 수행하게 된다.Thereafter, the above-mentioned distortion image generation unit (300) defines a distortion function that may occur during an actual fingerprint scanning process, uses this to augment data, and then performs a function to generate a distorted image.

상기한 왜곡 함수는,The above distortion function is,

이때, 바람직하게, 상기 왜곡이미지생성부(300)는,At this time, preferably, the distortion image generating unit (300)

원본 이미지에 가우시안 노이즈를 추가하기 위한 제1노이즈추가모듈;A first noise addition module for adding Gaussian noise to the original image;

원본 이미지에 점 형태 노이즈를 추가하기 위한 제2노이즈추가모듈;A second noise addition module for adding point-shaped noise to the original image;

원본 이미지의 크기를 변화시키기 위한 스케일링모듈;Scaling module to change the size of the original image;

원본 이미지에서 객체를 어느 한 위치에서 다른 위치로 이동시키기 위한 이동모듈;A translation module for moving objects from one location to another in the original image;

원본 이미지를 회전시키기 위한 회전모듈;을 포함하여 구성되는 것을 특징으로 한다.It is characterized by comprising a rotation module for rotating an original image.

구체적으로 도면을 참조하여 하기와 같이 설명하도록 하겠다.I will explain this in detail with reference to the drawings as follows.

즉, 도 3에 도시한 바와 같이, 제1노이즈추가모듈은 원본 이미지에 가우시안 노이즈를 추가하기 위한 기능을 수행하게 되며, 왼쪽의 원본 이미지가 가우시안 노이즈가 추가되게 되면 오른쪽의 이미지와 같이 노이즈가 추가되게 되는 것이다.That is, as illustrated in Fig. 3, the first noise addition module performs a function to add Gaussian noise to the original image, and when Gaussian noise is added to the original image on the left, noise is added as in the image on the right.

(수식) (formula)

상기와 같은 수식을 이용하여 원본 이미지에 가우시안 노이즈를 추가하게 되는 것이다.Using the above formula, Gaussian noise is added to the original image.

구체적으로, Gaussian Noise는 보통 이미지의 압축, 전송 등의 과정에서 일어난다. Specifically, Gaussian Noise usually occurs during image compression and transmission processes.

이미지가 압축되면서 이미지 크기가 줄어들게 되고, 이후에 다시 복구하는 과정에서 여러 가지 원인으로 인해 원래의 픽셀값이 아닌 오차가 들어간 값으로 변형될 때 Gaussian Noise가 발생한다.When an image is compressed, its size is reduced, and during the subsequent restoration process, Gaussian Noise occurs when the original pixel values are transformed into values with errors due to various reasons.

상기 수식의 Gaussian Distribution를 따라서 Gaussian Noise가 생성된다.Gaussian Noise is generated according to the Gaussian Distribution of the above formula.

또한, 도 4에 도시한 바와 같이, 제2노이즈추가모듈은 원본 이미지에 점 형태 노이즈를 추가하기 위한 기능을 수행하게 되며, 왼쪽의 원본 이미지가 Salt and pepper noise가 추가되게 되면, 오른쪽의 이미지와 같이 노이즈가 추가되게 되는 것이다.In addition, as illustrated in Fig. 4, the second noise addition module performs a function to add point-shaped noise to the original image, and when salt and pepper noise is added to the original image on the left, noise is added as in the image on the right.

상기한 Salt and pepper noise는 점 형태 노이즈의 한 종류이며, 이 노이즈가 발생한 이미지에는 특정 픽셀값이 변경되고, 무작위적인 희고 검은 점 형태가 나타난다. The above-mentioned salt and pepper noise is a type of point-shaped noise, and in images where this noise occurs, specific pixel values change and random white and black dot shapes appear.

또한, 도 5에 도시한 바와 같이, 스케일링모듈은 원본 이미지의 크기를 변화시키기 위한 기능을 수행하게 되는데, 도 5의 좌측 상단이 원본 이미지이고, 우측 상단은 사이즈를 줄이는 scaling 적용 이미지이고, 하단은 사이즈를 두배 늘리는 scaling 적용 이미지이다.In addition, as shown in Fig. 5, the scaling module performs a function to change the size of the original image. The upper left of Fig. 5 is the original image, the upper right is the image with scaling applied to reduce the size, and the lower is the image with scaling applied to double the size.

상기한 이미지 scaling은 이미지의 사이즈를 변화시킨다. The image scaling described above changes the size of the image.

이미지 사이즈가 변하면 픽셀 사이의 값을 결정해야 하는데, 그때 사용하는 방법이 Interpolation method(보간법)이다. When the image size changes, the values between pixels must be determined, and the method used at that time is the Interpolation method.

변형할 사이즈와 보간법을 설정하면 도 5와 같이, 원본 이미지 크기를 변화시킨다. When you set the size to transform and the interpolation method, the original image size is changed, as shown in Figure 5.

또한, 도 6에 도시한 바와 같이, 이동모듈은 원본 이미지에서 객체를 어느 한 위치에서 다른 위치로 이동시키기 위한 기능을 수행하게 되는데, 왼쪽은 원본 이미지이며, 오른쪽으로 갈수록 원본 이미지를 이동시킨 후 원본 크기를 절삭한 것이다.In addition, as illustrated in Fig. 6, the movement module performs a function to move an object from one location to another in the original image. The left side is the original image, and as you go to the right side, the original image is moved and then cropped to its original size.

이미지 translation(이동)은 이미지에서 객체를 한 위치에서 다른 위치로 이동하는 방법이다. Image translation is a method of moving an object from one location to another in an image.

Translation 시에는 이미지 데이터를 보존하거나, 변환 후 이미지의 일부를 흰색 또는 검은색으로 남기는 증대 방식이 바람직하다.When translating, it is desirable to preserve the image data or to augment it by leaving part of the image in white or black after conversion.

Translation은 X방향, Y방향으로 동작할 수 있고, X와 Y방향으로 동시에 동작할 수도 있다. Translation can operate in the X direction, the Y direction, or in both the X and Y directions simultaneously.

다양한 방향의 translation은 데이터의 위치 편향을 방지하는데 매우 유용하다. Translation in different directions is very useful for preventing positional bias in data.

도 6의 이미지는 다양하게 translation이 적용된 사례이다.The image in Figure 6 is an example of various translations applied.

또한, 도 7에 도시한 바와 같이, 회전모듈은 원본 이미지를 회전시키기 위한 기능을 제공하게 되는데, 이미지 Rotation은 고전적인 기하학적 이미지 증대 방식이다. Additionally, as illustrated in Fig. 7, the rotation module provides a function for rotating the original image, and image rotation is a classic geometric image augmentation method.

Rotation은 1 ~ 359 사이의 각에 의하여 왼쪽 또는 오른쪽으로 회전 방정식을 기반으로 이미지를 회전시키는 것으로 수행된다. Rotation is performed by rotating the image left or right based on the rotation equation by an angle between 1 and 359.

도 7은 동일한 원본 이미지로 생성한 회전 각도가 다른 이미지들을 나타낸 것이다.Figure 7 shows images with different rotation angles generated from the same original image.

이때, 상기 지문활성탐지모델학습부(400)는 상기 증강된 데이터 셋을 이용하여 지문 활성 탐지 모델을 학습하기 위한 기능을 수행하게 된다.At this time, the fingerprint activity detection model learning unit (400) performs a function for learning a fingerprint activity detection model using the augmented data set.

즉, 왜곡이미지생성부(300)에서 생성한 왜곡 이미지들을 포함하는 증강된 데이터 셋을 획득하여 지문 활성 탐지 모델을 통해 학습하게 되는 것이다.That is, an augmented data set including distorted images generated by the distorted image generation unit (300) is acquired and learned through a fingerprint activity detection model.

이후, 지문활성탐지대상이미지획득부(500)는 지문 활성 탐지 대상 이미지를 획득하게 된다.Thereafter, the fingerprint activity detection target image acquisition unit (500) acquires the fingerprint activity detection target image.

즉, 지문 활성 탐지 대상 이미지를 획득한 후, 지문활성탐지대상이미지추론부(600)를 통해 상기 획득된 지문 활성 탐지 대상 이미지를 상기 학습한 지문 활성 탐지 모델에 적용시켜 추론하게 되는 것이다.That is, after obtaining a fingerprint activity detection target image, the acquired fingerprint activity detection target image is applied to the learned fingerprint activity detection model through the fingerprint activity detection target image inference unit (600) to infer the obtained fingerprint activity detection target image.

상기한 추론하는 기술은 일반적으로 당업자들에게 알려진 기술이므로 상세한 설명을 생략하여도 그 의미를 충분히 이해할 수 있음은 자명한 사실이다.It is self-evident that the above-mentioned inference technique is a technique generally known to those skilled in the art, so its meaning can be sufficiently understood even without a detailed description.

한편, 도 2에 도시한 바와 같이, 본 발명인 지문 활성 탐지를 위한 데이터 증강 방법은,Meanwhile, as shown in Fig. 2, the data augmentation method for fingerprint activity detection of the present invention is

왜곡이미지생성부(300)가 실제 지문 스캔 과정에서 발생할 수 있는 왜곡 함수를 정의하고, 이를 이용하여 데이터를 증강시킨 후, 왜곡된 이미지를 생성하기 위한 왜곡이미지생성단계(S200)와,The distortion image generation unit (300) defines a distortion function that may occur during an actual fingerprint scanning process, uses this to augment data, and then generates a distorted image in a distortion image generation step (S200).

구체적으로 설명하자면, 상기 지문이미지획득부(200)가 지문이미지저장부(100)에 저장된 실제 지문 이미지와 복제 지문 이미지를 획득(S100)하게 된다.To explain specifically, the fingerprint image acquisition unit (200) acquires (S100) the actual fingerprint image and the cloned fingerprint image stored in the fingerprint image storage unit (100).

이후, 왜곡이미지생성부(300)가 실제 지문 스캔 과정에서 발생할 수 있는 왜곡 함수를 정의하고, 이를 이용하여 데이터를 증강시킨 후, 왜곡된 이미지를 생성(S200)하여 데이터를 증강시키게 된다.Thereafter, the distortion image generation unit (300) defines a distortion function that may occur during an actual fingerprint scanning process, uses this to augment data, and then generates a distorted image (S200) to augment the data.

이후, 학습을 위하여, 지문활성탐지모델학습부(400)가 상기 증강된 데이터 셋을 이용하여 지문 활성 탐지 모델을 학습(S300)하게 되는 것이다.Thereafter, for learning, the fingerprint activity detection model learning unit (400) learns the fingerprint activity detection model using the augmented data set (S300).

따라서, 학습이 종료된 후, 실제 적용하게 되는데, 이러한 경우에 지문활성탐지대상이미지획득부(500)가 지문 활성 탐지 대상 이미지를 획득(S400)하게 될 경우에, 지문활성탐지대상이미지추론부(600)가 상기 획득된 지문 활성 탐지 대상 이미지를 상기 학습한 지문 활성 탐지 모델에 적용시켜 추론(500)하게 되는 것이다.Accordingly, after learning is completed, actual application is performed. In this case, when the fingerprint activity detection target image acquisition unit (500) acquires the fingerprint activity detection target image (S400), the fingerprint activity detection target image inference unit (600) applies the acquired fingerprint activity detection target image to the learned fingerprint activity detection model to infer (500).

좀 더 구체적으로 설명하자면, 일반적으로 지문 인식기에서 스캔한 지문 이미지들은 같은 지문이지만, 촬영 환경 변화에 따라서 다양한 왜곡이 가해진 지문 이미지가 생성된다. To explain more specifically, fingerprint images scanned by a fingerprint recognition device are generally the same fingerprint, but fingerprint images with various distortions are created depending on changes in the shooting environment.

다양한 왜곡은 지문 활성 탐지기의 성능을 저해하기 때문에 이러한 왜곡에 강인한 지문 활성 탐지기 개발이 필요하다.Since various distortions degrade the performance of fingerprint activity detectors, there is a need to develop fingerprint activity detectors that are robust to such distortions.

따라서, 본 발명에서는 왜곡이미지생성부(300)를 이용하여 실제 지문 스캔 과정에서 발생할 수 있는 다양한 왜곡을 함수로 정의하고 이를 이용하여 데이터를 증강시킨다. Therefore, in the present invention, various distortions that may occur during an actual fingerprint scanning process are defined as functions using a distortion image generation unit (300), and data is augmented using this.

이때, 지문활성탐지모델학습부(400)가 증강한 데이터셋을 활용하여 지문 활성 탐지 모델을 학습함으로써, 다양한 왜곡에 대해 강인한 지문 활성 탐지를 수행할 수 있도록 하는 것이다.At this time, the fingerprint activity detection model learning unit (400) learns the fingerprint activity detection model by utilizing the augmented data set, thereby enabling fingerprint activity detection that is robust to various distortions.

특히, 본 발명에서 고려할 왜곡 함수는 노이즈 추가, 밝기 변화, 크기 변형, 회전, 이동 등이 있다. In particular, distortion functions to be considered in the present invention include noise addition, brightness change, size transformation, rotation, and translation.

실제 지문 스캔 환경을 고려하면 먼지, 이물질 등이 유입될 수 있고 이는 노이즈 추가 함수로 모델링할 수 있다. Considering the actual fingerprint scanning environment, dust, foreign substances, etc. may be introduced, and this can be modeled as a noise addition function.

지문 스캔 시 주변 밝기가 변화할 수 있기 때문에 밝기 변화 함수에 대한 강인성 확보도 필요하고, 지문 스캔 위치는 항상 정렬되어 있지 않기 때문에 지문 활성 탐지기는 크기 변형, 회전, 이동에 대해서 강인해야 한다.Since the ambient brightness may change during a fingerprint scan, robustness to brightness change functions is also required, and since the fingerprint scan location is not always aligned, the fingerprint activity detector must be robust to scale, rotation, and translation.

이를 해결하기 위하여, 상기한 왜곡이미지생성부(300)를 구성하게 되는 것이다.To solve this problem, the above-mentioned distorted image generation unit (300) is configured.

본 발명을 통해, 복제한 지문으로 지문 인식기 기반의 개인 인증 시스템을 무력화시키는 문제를 해결할 수 있어 강력한 보안 수단으로 활용할 수 있는 효과를 제공하게 된다.Through the present invention, the problem of disabling a fingerprint recognition-based personal authentication system using a cloned fingerprint can be solved, thereby providing the effect of being utilized as a powerful security measure.

상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. Those skilled in the art will understand that the present invention can be implemented in other specific forms without changing the technical idea or essential features of the present invention. Therefore, it should be understood that the embodiments described above are illustrative in all respects and are not limiting.

100 : 지문이미지저장부
200 : 지문이미지획득부
300 : 왜곡이미지생성부
400 : 지문활성탐지모델학습부
500 : 지문활성탐지대상이미지획득부
600 : 지문활성탐지대상이미지추론부100: Fingerprint image storage
200: Fingerprint image acquisition section
300: Distortion image generation unit
400: Fingerprint activity detection model learning section
500: Fingerprint activity detection target image acquisition unit
600: Fingerprint activity detection target image inference unit

Claims

In a data augmentation device for fingerprint activity detection,
A fingerprint image storage unit (100) that stores actual fingerprint images and cloned fingerprint images,
A fingerprint image acquisition unit (200) for acquiring an actual fingerprint image and a duplicate fingerprint image stored in the above fingerprint image storage unit,
A distortion image generation unit (300) for defining a distortion function that may occur during an actual fingerprint scanning process, augmenting data, and generating a distorted image,
A fingerprint activity detection model learning unit (400) for learning a fingerprint activity detection model using the above-mentioned augmented data set,
A fingerprint activity detection target image acquisition unit (500) for acquiring a fingerprint activity detection target image,
It is characterized by comprising a fingerprint activity detection target image inference unit (600) that applies the acquired fingerprint activity detection target image to the learned fingerprint activity detection model and infers it.
The above distortion function is,
characterized by at least one distortion function among noise addition, brightness change, scale transformation, rotation, and translation,
The above distortion image generation unit (300) is
A first noise addition module for adding Gaussian noise to the original image;
A second noise addition module for adding point-shaped noise to the original image;
Scaling module to change the size of the original image;
A translation module for moving objects from one location to another in the original image;
A data augmentation device for fingerprint activity detection, characterized in that it comprises a rotation module for rotating an original image.

delete