KR20160119932A

KR20160119932A - 품질 측정 기반의 얼굴 인식 방법 및 장치

Info

Publication number: KR20160119932A
Application number: KR1020150048592A
Authority: KR
Inventors: 노용만; 이승호; 김형일; 조인제; 이주현
Original assignee: 한국과학기술원; 주식회사 테라클
Priority date: 2015-04-06
Filing date: 2015-04-06
Publication date: 2016-10-17
Also published as: WO2016163755A1

Abstract

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법 및 장치는, 입력된 비디오 영상으로부터 얼굴 영상을 검출하고, 검출된 얼굴 영상에 대해 품질을 측정하여 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하며, 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우에 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 이용하여 얼굴 인식을 수행하는 것을 특징으로 한다.

Description

품질 측정 기반의 얼굴 인식 방법 및 장치{METHOD AND APPARATUS FOR FACE RECOGNITION BASED QUALITY ASSESSMENT}

본 발명은 얼굴 인식 방법 및 장치에 관한 것이다.

얼굴 인식 기술은 환경이 잘 통제되지 않은 실제 환경에서 적용되었을 때 여전히 많은 어려움이 있는 것으로 알려져 있다. 이러한 실제 환경에서는 저 해상도의 얼굴 영상 획득, 조명의 변화, 얼굴 포즈의 변화, 정렬 문제 등과 같은 문제점이 존재하게 되고, 실제 환경에 적용되었을 때 얼굴 인식 성능을 매우 저하시키는 요소로 알려져 있다. 이러한 환경에서의 얼굴 인식에 관한 연구가 요구되고 있다. 특히 출입 통제 시스템에서의 얼굴 영상은 비디오 형태로 획득되게 되는데, 이때 매 프레임마다 얼굴 영상을 처리 및 인식하는 것은 성능과 시간 효율성 측면에서도 바람직하지 못하다. 따라서, 자동 출입 통제 시스템을 위하여 효율적인 얼굴 인식뿐만 아니라 강인한 얼굴 인식을 수행하기 위한 대안이 요구되고 있다.

본 발명은 얼굴 영상 품질 측정에 기반한 효율적인 얼굴 인식 방법 및 장치를 제공한다.

본 발명은 얼굴 포즈 및 정렬에 관한 품질을 측정하는 효율적인 방법 및 장치를 제공한다.

본 발명은 얼굴 영상의 블러에 관한 품질을 측정하는 효율적인 방법 및 장치를 제공한다.

본 발명은 얼굴 영상의 밝기에 관한 품질을 측정하는 효율적인 방법 및 장치를 제공한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법은, 입력된 비디오 영상으로부터 얼굴 영상을 검출하고, 상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하며, 상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우에 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는 품질 측정의 우선 순위에 따라 상기 얼굴 포즈 및 정렬에 관한 품질, 상기 검출된 얼굴 영상의 블러에 관한 품질 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 순차적 또는 계층적으로 측정하여 수행되는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는 훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 방법에 있어서, 상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치는, 입력된 비디오 영상으로부터 얼굴 영상을 검출하는 전처리부, 상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 얼굴 영상 선택부, 상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부 및 상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 분류부를 포함하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 얼굴 영상 선택부는, 상기 얼굴 포즈 및 정렬에 관한 품질을 측정하는 포즈/정렬 측정부, 상기 검출된 얼굴 영상의 블러에 관한 품질을 측정하는 블러 측정부 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질을 측정하는 밝기 측정부 중 적어도 하나를 포함하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 포즈/정렬 측정부는, 훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타내는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 블러 측정부는, 상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 밝기 측정부는, 상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도인 것을 특징으로 한다.

본 발명에 따른 품질 측정 기반의 얼굴 인식 장치에 있어서, 상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 한다.

본 발명에 의하면, cascaded 구조의 품질 측정 프레임워크를 가지고 얼굴 영상의 품질을 효율적으로 측정할 수 있다.

본 발명에 의하면, 얼굴 영상 품질 측정에 기반하여 얼굴 인식의 정확성을 향상시킬 수 있다.

본 발명에 의하면, 좋은 품질을 갖는 얼굴 영상에 대해서 얼굴 인식을 수행되기 때문에 시스템의 강인성 및 효율성을 향상시킬 수 있다.

본 발명에 의하면, 얼굴 인식 시스템이 적용되는 환경 또는 상황에 따라 flexible하게 임계치를 조절함으로써, 보안 강도를 적응적으로 조절할 수 있다.

도 1은 본 발명이 적용되는 일실시예로서, 얼굴 영상의 품질 측정에 기반한 얼굴 인식 장치(100)를 개략적으로 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 얼굴 인식 장치(100)에서 품질 측정에 기반한 얼굴 인식(face recognition)을 수행하는 방법을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 포즈/정렬 측정부(132)에서 얼굴 영상의 포즈 및 정렬에 관한 품질을 측정하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 블러 측정부(134)에서 얼굴 영상의 블러에 관한 품질을 측정하는 방법을 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 밝기 측정부(136)에서 얼굴 영상의 밝기에 관한 품질을 측정하는 방법을 도시한 것이다.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 일실시예로서, 얼굴 영상의 품질 측정에 기반한 얼굴 인식 장치(100)를 개략적으로 도시한 것이다.

본 발명의 얼굴 인식 장치(100)는 입력된 비디오 영상에서 얼굴 영상을 검출하고, 검출된 얼굴 영상에 대해서 소정의 품질 측정에 기반하여 얼굴 인식(face recognition)을 수행할 수 있다.

도 1을 참조하면, 얼굴 인식 장치(100)는 전처리부(110), 얼굴 클러스터 처리부(120), 얼굴 영상 선택부(130), 얼굴 특징 추출부(140) 및 분류부(150)를 포함할 수 있다.

전처리부(110)는 입력된 비디오 영상에 대해서 전처리(Pre-processing)를 수행하고, 비디오 영상 내의 얼굴 영상을 검출할 수 있다. 상기 전처리에서는 입력된 비디오 영상에 대한 노이즈 제거 또는 히스토그램 평활화(equalization) 중 적어도 하나를 수행할 수 있다. 또한, 입력된 비디오 영상에는 복수의 얼굴 영상이 포함될 수 있으며, 이 경우 전처리부(110)는 상기 검출 과정을 통해 비디오 영상에 포함된 얼굴 영상의 개수를 산출할 수 있고, 비디오 영상에 포함된 각각의 얼굴 영상을 식별하기 위한 식별 정보를 산출할 수도 있다. 여기서, 식별 정보라 함은 검출된 얼굴 영상의 위치 또는 크기에 관한 정보를 의미할 수 있다.

얼굴 클러스터 처리부(120)는 상기 전처리부(110)에서 검출된 얼굴 영상 내의 얼굴 및/또는 얼굴에 포함된 특정 영역(예를 들어, 눈, 코, 귀, 입, 이마 등)을 수평 라인 또는 수직 라인에 맞춰 정렬할 수 있다.

예를 들어, 상기 식별 정보에 기반하여 얼굴 영상 내의 눈 영역을 검출하고, 눈이 수평을 이루도록 정렬을 수행할 수 있다. 이때, 눈의 수평을 맞추기 위해서 어파인 변환(affine transform)이 이용될 수 있다. 또는, 얼굴 영상 내의 얼굴을 소정의 각도만큼 회전하거나, 상기 얼굴에 포함된 특정 영역을 수평 또는 수직 라인에 맞춰서 정렬함으로써 얼굴을 정렬시킬 수도 있다.

얼굴 영상 선택부(130)는 검출된 얼굴 영상에 대해 소정의 품질을 측정하여 해당 얼굴 영상이 얼굴 인식(face recognition)을 위해 이용 가능한 영상(이하, 얼굴 인식 영상이라 한다.)인지를 결정할 수 있다. 상기 소정의 품질은 얼굴 인식과 관련된 품질로서, 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함할 수 있다.

상기 소정의 품질 측정을 위해 얼굴 영상 선택부(130)는 포즈/정렬 측정부(132), 블러 측정부(134) 및 밝기 측정부(136)를 포함할 수 있다.

포즈/정렬 측정부(132)는 검출된 얼굴 영상의 얼굴 포즈 및 정렬에 관한 품질을 측정할 수 있다. 예를 들어, 포즈/정렬 측정부(132)는 얼굴이 정면인지 여부와 얼굴의 정렬 상태(well-aligned 여부)를 측정할 수 있다. 이는 정면의 그리고 정렬이 맞는 얼굴 영상일수록 작은 에러를 가지고 훈련 얼굴 영상(training face image)으로부터 복원이 가능하기 때문이다. 따라서, 검출된 얼굴 영상이 정면의 그리고 정렬이 맞는 영상인 것으로 확인된 경우, 해당 얼굴 영상은 얼굴 인식 영상으로 이용될 수 있다. 상기 훈련 얼굴 영상은 정면의 그리고 정렬이 맞는 후보 얼굴 영상의 집합을 의미하며, 이는 얼굴 인식을 위해 데이터 베이스(DB)에 기-저장된 것일 수 있다.

블러 측정부(134)는 포즈/정렬 측정부(132)에 의해서 얼굴 인식 영상으로 결정된 얼굴 영상에 대해서 블러를 측정할 수 있다. 예를 들어, 시간 도메인 상의 얼굴 영상을 주파수 도메인으로 변환하고, 저주파 성분과 고주파 성분에 대한 분석을 통해 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단할 수 있다. 만일, 해당 얼굴 영상이 고주파 영역에 비해 저주파 영역에서 상대적으로 많은 정보 또는 데이터를 가지고 있는 것으로 확인된 경우, 해당 얼굴 영상은 블러드 영상으로 볼 수 있다. 따라서, 검출된 얼굴 영상이 블러드 영상이 아닌 것으로 판단되는 경우에 해당 얼굴 영상은 얼굴 인식 영상으로 이용될 수 있다.

밝기 측정부(136)는 블러 측정부(134)에 의해서 얼굴 인식 영상으로 결정된 얼굴 영상에 대해서 얼굴 영상의 히스토그램 분석을 통해 얼굴의 밝기와 관련된 품질을 측정할 수 있다. 밝기의 측면에서 볼 때, 얼굴 인식이 되지 않는 얼굴은 너무 밝거나 너무 어두운 얼굴 영상이며, 이 영상들의 히스토그램은 어느 한쪽으로 편중되어 있다. 따라서, 레퍼런스 히스토그램(예를 들어, 고르게 분포된 히스토그램)과 해당 얼굴 영상의 히스토그램 간의 유사도에 기초하여 밝기에 관한 품질을 측정할 수 있다. 검출된 얼굴 영상의 히스토그램이 레퍼런스 히스토그램과 유사한 경우, 해당 얼굴 영상은 얼굴 인식 영상으로 결정될 수 있다.

상기 얼굴 영상 선택부(130)에서는 얼굴 포즈 및 정렬에 관한 품질, 얼굴 영상의 블러에 관한 품질 그리고 얼굴 영상의 밝기에 관한 품질을 순차적으로 측정하는 것을 도시하고 있으나, 이는 당업자에게 자명한 범위 내에서 품질을 측정하는 우선 순위는 변경될 수 있다. 또한, 얼굴 영상 선택부(130)에서는 얼굴 포즈 및 정렬, 얼굴 영상의 블러, 얼굴 영상의 밝기에 관한 품질 측정을 순차적으로 수행하여 얼굴 인식의 정확성을 향상시킬 수도 있고, 보안 수준 또는 얼굴 인식 영상을 결정하기 위한 처리 속도 등을 고려하여 상술한 복수의 품질 측정 중 적어도 하나에 대한 품질 측정을 선택적으로 수행할 수도 있음은 물론이다.

얼굴 특징 추출부(140)는 얼굴 영상 선택부(130)에 의해서 결정된 얼굴 영상에 대해서 얼굴 특징 정보를 추출할 수 있다. 여기서, 얼굴 특징 정보는 얼굴에 포함된 특정 영역에 관한 위치 및/또는 크기 정보, 해당 특정 영역이 얼굴에서 차지하는 비율 정보 또는 특정 영역의 뎁스 정보(depth information) 중 적어도 하나를 포함할 수 있다.

분류부(150)는 상기 추출된 얼굴 특징 정보 및 기-설정된 분류 알고리즘을 이용하여 얼굴 인식을 수행할 수 있다. 예를 들어, 얼굴 영상 내의 얼굴이 기-등록된 얼굴에 매핑되는지 여부 및/또는 해당 얼굴에 대응하는 개인 정보를 출력할 수 있다. 여기서, 개인 정보는 성명, 주민등록번호, ID 등을 포함할 수 있다.

도 2는 본 발명이 적용되는 일실시예로서, 얼굴 인식 장치(100)에서 품질 측정에 기반한 얼굴 인식(face recognition)을 수행하는 방법을 도시한 것이다.

도 2를 참조하면, 입력된 비디오 영상으로부터 얼굴 영상을 검출할 수 있다(S200).

구체적으로, 입력된 비디오 영상에 대해서 노이즈 제거 또는 히스토그램 평활화 등과 같은 전처리(Pre-processing)를 수행하고, 비디오 영상에 포함된 얼굴 영상을 검출할 수 있다. 비디오 영상에 복수의 얼굴 영상이 포함된 경우, 얼굴 영상의 개수, 각 얼굴 영상을 식별하기 위한 식별 정보를 산출할 수도 있으며, 이는 도 1에서 살펴본 바와 같다.

또한, 얼굴 영상을 검출하는 과정에서 해당 얼굴 영상의 얼굴 및/또는 얼굴에 포함된 특정 영역(예를 들어, 눈 입 등)이 기울어져 있거나 틀어져 있는 경우가 발생할 수 있다. 이러한 경우에는 얼굴 및/또는 얼굴에 포함된 특정 영역을 수평 또는 수직 라인에 맞춰서 정렬하거나, 소정의 각도로 회전하는 과정이 수반될 수도 있다.

도 2를 참조하면, 검출된 얼굴 영상에 대해 품질을 측정하여 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정할 수 있다(S210).

구체적으로, 상기 품질은 검출된 얼굴 영상에 대해서 얼굴 포즈 및 정렬에 관한 품질, 얼굴 영상의 블러에 관한 품질 또는 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 포함할 수 있다.

또한, 품질 측정의 우선 순위에 따라 상기 복수의 품질을 순차적 또는 계층적으로 측정하여 검출된 얼굴 영상이 얼굴 인식 영상인지를 결정할 수도 있다. 여기서, 품질 측정의 우선 순위는 상기 복수의 품질을 측정하는 순서를 나타내는 것으로서, 이는 기-설정된 것일 수도 있고, 사용자 또는 보안 강도(security strength) 등 외부 요소에 의해 가변적으로 결정될 수도 있다. 본 명세서에서는 얼굴 포즈 및 정렬에 관한 품질, 얼굴 영상의 블러에 관한 품질, 얼굴 영상의 밝기에 관한 품질의 우선 순위로 순차적으로 품질을 측정하는 것을 기재하고 있으나, 이에 한정되지 아니하며 당업자에게 자명한 범위 내에서 우선 순위는 변경될 수 있음은 물론이다. 상술한 복수의 품질에 대한 측정 방법에 대해서는 도 3 내지 도 5를 참조하여 자세히 살펴 보도록 한다.

S210 단계에서 검출된 얼굴 영상이 얼굴 인식 영상인 것으로 결정된 경우, 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출할 수 있다(S220).

상기, 얼굴 특징 정보는 얼굴에 포함된 특정 영역에 관한 위치 및/또는 크기 정보, 해당 특정 영역이 얼굴에서 차지하는 비율 정보 또는 특정 영역의 뎁스 정보(depth information) 중 적어도 하나를 포함할 수 있다.

S220 단계에서 추출된 얼굴 특징 정보를 이용하여 얼굴 인식(face recognition)을 수행할 수 있다(S230).

구체적으로, 상기 얼굴 특징 정보에 기초하여 검출된 얼굴 영상 내의 얼굴이 기-등록된 얼굴에 매핑되는지 여부를 확인할 수 있고, 해당 얼굴에 대응하는 개인 정보를 출력할 수도 있다.

반면, S210 단계에서 검출된 얼굴 영상이 얼굴 인식 영상이 아닌 것으로 결정된 경우, 검출된 얼굴 영상에 대해 얼굴 인식이 수행되지 아니하도록 제어할 수 있다. 예를 들어, 검출된 얼굴 영상을 얼굴 특징부(140)로 전송하지 아니하거나, 검출된 얼굴 영상이 얼굴 인식 영상이 아님을 나타내는 별도의 식별자를 시그날링할 수도 있다.

도 3은 본 발명이 적용되는 일실시예로서, 포즈/정렬 측정부(132)에서 얼굴 영상의 포즈 및 정렬에 관한 품질을 측정하는 방법을 도시한 것이다.

도 3을 참조하면, 훈련 얼굴 영상(training face image)을 이용하여 검출된 얼굴 영상을 재구성(reconstruct)할 수 있다(S300).

구체적으로, 재구성된 얼굴 영상에 대해 관련 훈련 얼굴 영상이 기여하는 정도를 나타내는 기여 계수를 산출할 수 있다. 여기서, 기여 계수는 검출된 얼굴 영상과 재구성된 얼굴 영상 간의 차이에 기반하여 최적의 계수로 결정될 수 있다. 예를 들어, 상기 기여 계수는 다음 수학식 1과 같이 산출될 수 있다.

상기 수학식 1에서 fj는 검출된 얼굴 영상을 의미하고, A는 훈련 얼굴 영상을 의미하며, xj는 훈련 얼굴 영상에 기반한 얼굴 영상의 재구성에서 훈련 얼굴 영상에 적용되는 계수를 의미할 수 있다. 수학식 1에서 첫 번째 항은 검출된 얼굴 영상과 재구성된 얼굴 영상 간의 차이 또는 에러를 나타내고, 두 번째 항은 정규화(regularization)에 관한 항으로서, λ는 첫 번째 항과 두 번째 항의 최적화 비율을 조절하는 정규화 파라미터에 해당할 수 있다.

상기 산출된 기여 계수(xj*)를 훈련 얼굴 영상(A)에 적용하여 검출된 얼굴 영상을 재구성할 수 있다.

도 3을 참조하면, S300 단계에서 재구성된 얼굴 영상과 검출된 얼굴 영상 간의 오차(d1)를 산출할 수 있다(S310).

구체적으로, 검출된 얼굴 영상과 재구성된 얼굴 영상 간의 유클리디언 거리에 의해 얼굴 포즈 및 정렬에 관한 오차(d1)가 측정될 수 있다. 예를 들어, 상기 오차(d1)은 다음 수학식 2와 같이 유도될 수 있다.

S310 단계에서 산출된 오차(d1)와 제1 임계치(τ1)를 비교하여 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정할 수 있다(S320).

만일, 재구성된 얼굴 영상과 입력된 얼굴 영상 간의 차이가 제1 임계치(τ1)보다 작다면, 이는 포즈 및 정렬 상태가 좋은 얼굴 영상으로 볼 수 있다. 반대로 재구성된 얼굴 영상과 입력된 얼굴 영상 간의 차이가 제1 임계치(τ1)보다 크다면, 이는 포즈 및 정렬의 변화가 심한 얼굴로 볼 수 있다.

따라서, 오차(d1)와 제1 임계치(τ1) 간의 비교 결과에 기초하여 검출된 얼굴 영상이 얼굴 인식을 위해 이용 가능한 영상에 해당하는지를 결정할 수 있다. 예를 들어, 오차(d1)가 제1 임계치(τ1)보다 작은 경우, 검출된 얼굴 영상은 정면의 그리고 정렬된 얼굴 영상에 해당하므로 이는 얼굴 인식 영상으로 선택될 수 있다.

반면, 오차(d1)가 제1 임계치(τ1)보다 큰 경우, 검출된 얼굴 영상은 정면이 아니거나 정렬되지 아니한 얼굴 영상에 해당하므로 이는 얼굴 인식 영상으로 선택되지 않을 수 있다.

상기 제1 임계치는 얼굴 포즈 및 정렬에 관한 품질을 측정하기 위해 이용되는 임계치로서, 이는 기-설정된 것일 수도 있고, 사용자 또는 보안 강도 등 외부 요소에 따라 가변적으로 결정될 수도 있다.

도 4는 본 발명이 적용되는 일실시예로서, 블러 측정부(134)에서 얼굴 영상의 블러에 관한 품질을 측정하는 방법을 도시한 것이다.

도 4를 참조하면, 검출된 얼굴 영상을 주파수 도메인으로 변환할 수 있다(S400). 예를 들어, 시간 도메인의 얼굴 영상에 대해 이산 푸리에 변환(Discrete Fourier Transform)을 수행하여 주파수 도메인의 얼굴 영상으로 변환할 수 있다.

상기 주파수 도메인 상의 크기 스펙트럼(magnitude spectrum)을 이용하여 누적 분포 함수(cumulative distribution function)를 생성할 수 있다(S410).

S410 단계에서 생성된 누적 분포 함수의 첨도 값(kurtosis, d2)와 제2 임계치(τ2) 간의 비교에 기초하여 검출된 얼굴 영상이 얼굴 인식 영상인지 또는 블러드(blurred) 영상인지를 결정할 수 있다(S420).

예를 들어, 누적 분포 함수의 첨도 값(d2)이 제2 임계치(τ2)보다 큰 경우, 검출된 얼굴 영상은 블러드(blurred) 영상으로 볼 수 있다. 이 경우, 검출된 얼굴 영상은 얼굴 인식 영상으로 이용되지 않도록 제한될 수 있다.

반면, 누적 분포 함수의 첨도 값(d2)이 제2 임계치(τ2)보다 작은 경우, 검출된 얼굴 영상에는 블러가 존재하지 않는 것으로 볼 수 있으므로 해당 얼굴 영상을 얼굴 인식 영상으로 선택할 수 있다.

상기 첨도 값(d2)은 도수 분포의 집중도를 나타내는 것으로서, 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도로 이용될 수 있다. 또한, 상기 제2 임계치(τ2)는 얼굴 영상의 블러에 관한 품질을 측정하기 위해 이용되는 임계치로서, 마찬가지로 기-설정된 것일 수도 있고, 사용자 또는 보안 강도 등 외부 요소에 따라 가변적으로 결정될 수도 있다.

도 5는 본 발명이 적용되는 일실시예로서, 밝기 측정부(136)에서 얼굴 영상의 밝기에 관한 품질을 측정하는 방법을 도시한 것이다.

도 5를 참조하면, 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(d3)를 산출할 수 있다(S500).

구체적으로, 레퍼런스 히스토그램과 검출된 얼굴 영상의 히스토그램 간의 유사도(closeness)를 산출할 수 있다. 여기서, 레퍼런스 히스토그램은 uniform하게 분포된 히스토그램을 의미할 수 있다. 예를 들어, 상기 유사도(d3)는 다음 수학식 3과 같이 유도될 수 있다.

상기 수학식 3에서 hj는 검출된 얼굴 영상의 히스토그램을 의미하고, href는 레퍼런스 히스토그램을 의미한다.

도 5를 참조하면, 산출된 유사도(d3)와 제3 임계치(τ3) 간의 비교에 기초하여 검출된 얼굴 영상이 얼굴 인식 영상인지를 결정할 수 있다(S510).

예를 들어, 상기 유사도(d3)가 제3 임계치(τ3)보다 큰 경우, 검출된 얼굴 영상은 밝기 품질이 좋지 않은 영상으로 볼 수 있다. 따라서, 이러한 경우 검출된 얼굴 영상은 얼굴 인식 영상으로 이용되지 않도록 제한될 수 있다.

반면, 상기 유사도(d3)가 제3 임계치(τ3)보다 작은 경우, 검출된 얼굴 영상은 얼굴 인식에 좋은 밝기를 가진 영상으로 볼 수 있는바, 해당 얼굴 영상을 얼굴 인식 영상으로 선택할 수 있다.

상기 제3 임계치(τ3)는 얼굴 영상의 밝기에 관한 품질을 측정하기 위해 이용되는 임계치로서, 마찬가지로 기-설정된 것일 수도 있고, 사용자 또는 보안 강도 등 외부 요소에 따라 가변적으로 결정될 수도 있다.

Claims

입력된 비디오 영상으로부터 얼굴 영상을 검출하는 단계;
상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 단계;여기서, 상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하고, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미함,
상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 단계; 및
상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제1항에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,
품질 측정의 우선 순위에 따라 상기 얼굴 포즈 및 정렬에 관한 품질, 상기 검출된 얼굴 영상의 블러에 관한 품질 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질 중 적어도 하나를 순차적 또는 계층적으로 측정하여 수행되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제2항에 있어서, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,
훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하는 단계;여기서, 상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타냄,
상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하는 단계; 및
상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제3항에 있어서,
상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제3항에 있어서,
상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,
상기 검출된 얼굴 영상을 주파수 도메인으로 변환하는 단계;
상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하는 단계; 및
상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 단계를 더 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제5항에 있어서,
상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제5항에 있어서,
상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제5항에 있어서,
상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 얼굴 인식 영상인지 여부를 결정하는 단계는,
상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하는 단계;여기서, 상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도임, 및
상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하는 단계를 더 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
제8항에 있어서,
상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 방법.
입력된 비디오 영상으로부터 얼굴 영상을 검출하는 전처리부;
상기 검출된 얼굴 영상에 대해 품질을 측정하여 상기 검출된 얼굴 영상이 얼굴 인식 영상인지 여부를 결정하는 얼굴 영상 선택부;
상기 검출된 얼굴 영상이 얼굴 인식 영상으로 결정된 경우, 상기 검출된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부; 및
상기 추출된 얼굴 특징 정보를 이용하여 상기 얼굴 인식을 수행하는 분류부를 포함하되,
상기 품질은 얼굴 포즈(Pose) 및 정렬(Alignment)에 관한 품질, 얼굴 영상의 블러(Blur)에 관한 품질 또는 얼굴 영상의 밝기(Brightness)에 관한 품질 중 적어도 하나를 포함하고, 상기 얼굴 인식 영상은 얼굴 인식(face recognition)을 위해 이용 가능한 영상을 의미하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제10항에 있어서, 상기 얼굴 영상 선택부는,
상기 얼굴 포즈 및 정렬에 관한 품질을 측정하는 포즈/정렬 측정부, 상기 검출된 얼굴 영상의 블러에 관한 품질을 측정하는 블러 측정부 또는 상기 검출된 얼굴 영상의 밝기에 관한 품질을 측정하는 밝기 측정부 중 적어도 하나를 포함하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제11항에 있어서, 상기 포즈/정렬 측정부는,
훈련 얼굴 영상(training face image)과 기여 계수를 이용하여 상기 검출된 얼굴 영상을 재구성하고, 상기 재구성된 얼굴 영상과 상기 검출된 얼굴 영상 간의 오차를 산출하며, 상기 오차와 제1 임계치를 비교하여 상기 검출된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 결정하되,
상기 기여 계수는 상기 재구성된 얼굴 영상에 대해 상기 훈련 얼굴 영상이 기여하는 정도를 나타내는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제12항에 있어서,
상기 오차가 상기 제1 임계치보다 작은 경우에 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제12항에 있어서,
상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 결정된 경우, 상기 블러 측정부는,
상기 검출된 얼굴 영상을 주파수 도메인으로 변환하고, 상기 주파수 도메인의 크기 스펙트럼을 이용하여 누적 분포 함수를 생성하며, 상기 생성된 누적 분포 함수의 첨도 값과 제2 임계치 간의 비교에 기초하여 상기 선택된 얼굴 영상이 상기 얼굴 인식 영상인지 여부를 재결정하는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제14항에 있어서,
상기 누적 분포 함수의 첨도 값이 상기 제2 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 재결정되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제14항에 있어서,
상기 첨도 값은 상기 검출된 얼굴 영상이 블러드(blurred) 영상인지 여부를 판단하기 위한 척도인 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제14항에 있어서,
상기 검출된 얼굴 영상이 상기 얼굴 인식 영상으로 재결정된 경우, 상기 밝기 측정부는,
상기 검출된 얼굴 영상의 히스토그램 분석을 통해 밝기에 관한 유사도(closeness)를 산출하고, 상기 산출된 유사도와 제3 임계치 간의 비교에 기초하여 상기 검출된 얼굴 영상을 상기 얼굴 인식 영상으로 선택하되,
상기 유사도는 레퍼런스 히스토그램과 상기 검출된 얼굴 영상의 히스토그램 간의 유사도인 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.
제17항에 있어서,
상기 유사도가 상기 제3 임계치보다 작은 경우, 상기 검출된 얼굴 영상은 상기 얼굴 인식 영상으로 선택되는 것을 특징으로 하는 품질 측정 기반의 얼굴 인식 장치.