KR100816607B1

KR100816607B1 - 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체

Info

Publication number: KR100816607B1
Application number: KR1020067007592A
Authority: KR
Inventors: 마사히꼬 하마나까
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2003-10-21
Filing date: 2004-10-21
Publication date: 2008-03-24
Anticipated expiration: 2024-10-21
Also published as: EP2479726B1; WO2005038716A1; US7715619B2; CN1871622B; AU2004282790A1; EP2479726B9; EP1677250A4; CN1871622A; JPWO2005038716A1; EP1677250A1; EP1677250B9; EP2479726A1; EP1677250B1; KR20060058147A; US20070031001A1; JP4556873B2

Abstract

물체의 3차원 데이터를 입력하는 3차원 데이터 입력 수단(10)과, 적어도 1개의 물체의 참조 화상을 기억하는 참조 화상 기억부(30)와, 물체의 자세의 후보인 자세 후보를 생성하는 자세 후보 결정 수단(20)과, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성하는 비교 화상 생성 수단(40)과, 참조 화상과 비교 화상의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 화상 대조 수단(55)을 구비한다. 이에 의해, 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조나 검색을 할 수 있다. 또한, 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 소수밖에 존재하지 않는 경우에도, 고정밀도로 대조나 검색을 할 수 있다.

3차원 데이터, 3차원 물체 모델, 참조 화상, 자세 후보, 비교 화상, 거리치, 유사도

Description

화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체{IMAGE COLLATION SYSTEM AND IMAGE COLLATION METHOD}

본 발명은, 화상 대조 시스템, 화상 대조 방법 및 화상 대조용 프로그램에 관한 것으로, 특히, 물체의 3차원 모델을 사전에 등록할 수 없고, 시스템 내의 데이터베이스나 네트워크에 있는 각 물체의 참조 화상이 1매 내지 소수밖에 존재하지 않고, 또한, 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도 고정밀도로 대조·검색을 할 수 있는 화상 대조 시스템, 화상 대조 방법 및 화상 대조용 프로그램에 관한 것이다.

도 25는 종래의 화상 대조 시스템을 도시하는 블록도이다. 이 종래의 화상 대조 시스템은, 화상 입력 수단(115)과, 화상 변환 수단(117)과, 화상 대조 수단(157)과, 참조 화상 기억부(130)와, 표준 3차원 물체 모델 기억부(135)로 구성되어 있다.

참조 화상 기억부(130)에는, 물체를 촬영한 참조 화상이 미리 기억되어 있다. 표준 3차원 물체 모델 기억부(135)에는, 표준적인 3차원 물체 모델이 미리 기억되어 있다. 화상 변환 수단(117)은 화상 입력 수단(115)으로부터 입력된 입력 화상과 참조 화상 기억부(130)로부터 얻어지는 각 참조 화상의 공통되는 부분 영역 에 관해서, 표준 3차원 물체 모델 기억부(135)로부터 얻어지는 3차원 물체 모델을 이용하여, 자세 조건을 동일하게 하도록 해당 입력 화상과 해당 참조 화상의 양방 또는 어느 하나를 변환하여 부분 화상을 생성한다.

부분 영역이란, 예를 들면, 눈·코·입과 같은 특징적인 부분으로, 미리 각 화상과 3차원 물체 모델에 대하여 특징점을 지정해 놓는 것에 의해 대응을 취할 수 있다. 화상 대조 수단(157)은 화상 변환 수단(117)으로부터 변환된 입력 화상과 각 참조 화상의 부분 화상을 비교하여, 각각 평균 유사도를 계산하고, 각 물체에서 가장 유사도가 큰 참조 화상을 선출한다(예를 들면, 일본 특개 2000-322577호 공보(특허 문헌1)를 참조).

도 26은 다른 종래의 화상 대조 시스템을 도시하는 블록도이다. 이 종래의 화상 대조 시스템은, 화상 입력 수단(115)과, 조명 변동 보정 수단(122)과, 화상 변환 수단(118)과, 화상 대조 수단(158)과, 참조 화상 기억부(130)와, 표준 3차원 물체 모델 기억부(135)로 구성되어 있다.

참조 화상 기억부(130)에는, 물체를 촬영한 참조 화상이 미리 기억되어 있다. 표준 3차원 물체 모델 기억부(135)에는, 표준적인 3차원 물체 모델이 미리 기억되어 있다. 조명 변동 보정 수단(122)은, 표준 3차원 물체 모델 기억부(135)로부터 얻어지는 3차원 물체 모델을 이용하여, 화상 입력 수단(115)으로부터 입력된 입력 화상의 조명 조건(표면 반사율)을 추정한다. 화상 변환 수단(118)은 참조 화상의 조명 조건에 맞도록 3차원 물체 모델을 이용하여 입력 화상을 변환한 화상을 생성한다. 화상 대조 수단(158)은 화상 변환 수단(118)으로부터 변환된 입력 화상 과 각 참조 화상을 비교하여, 각각 유사도를 계산하고, 각 물체에서 가장 유사도가 큰 참조 화상을 선출한다(예를 들면, 일본 특개 2002--024830호 공보(특허 문헌2)를 참조).

도 27은 또 다른 종래의 화상 대조 시스템을 도시하는 블록도이다. 이 종래의 화상 대조 시스템은, 화상 입력 수단(115)과, 참조 3차원 물체 모델 기억부(137)와, 자세 추정·대조 수단(150)으로 구성되어 있다. 자세 추정·대조 수단(150)은, 자세 후보 결정 수단(120)과, 비교 화상 생성 수단(140)과, 화상 대조 수단(155)을 포함하고 있다.

참조 3차원 물체 모델 기억부(137)에는, 물체를 계측하여 생성한 참조 3차원 물체 모델이 미리 기억되어 있다. 자세 추정·대조 수단(150)은, 화상 입력 수단(115)으로부터 얻어지는 입력 화상과, 참조 3차원 물체 모델 기억부(137)로부터 얻어지는 참조 3차원 물체 모델의 최소 거리치(혹은 최대 유사도)를 구하고, 해당 최소 거리치가 가장 작은 모델을 선출한다.

보다 구체적으로는, 자세 후보 결정 수단(120)은 적어도 1개의 자세 후보를 생성한다. 다음으로, 비교 화상 생성 수단(140)은, 자세 후보에 따라서 참조 3차원 물체 모델을 2차원의 화상에 사영하면서 입력 화상에 가까운 비교 화상을 생성한다. 화상 대조 수단(155)은, 해당 비교 화상과 해당 입력 화상의 거리치를 구하고, 각 모델에 대하여 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 입력 화상과 참조 3차원 물체 모델의 최소 거리치를 구한다. 또한, 화상 대조 수단(155)은 해당 최소 거리치가 가장 작은 모델을 선출한다(예를 들면, 일본 특개 2003-058896호 공보(특허 문헌3)를 참조).

〈발명의 개시〉

〈발명이 해결하고자 하는 과제〉

특허 문헌1, 2의 화상 대조 시스템에서는, 입력 화상과 참조 화상의 자세나 조명 조건이 상이하면, 충분히 정밀도 좋게 대조할 수 없었다.

그 이유는, 특허 문헌1에서는, 각각의 화상에 대하여 자세를 추정하여 자세 조건을 맞추도록 화상 변환하고 있지만, 화상에 대하여 정확하게 자세를 추정하는 것은 어렵기 때문에, 정확하게 화상을 맞출 수 없기 때문이다. 또한, 관측하는 물체의 3차원 형상과는 상이한 표준적인 3차원 물체 모델을 이용하여 화상 변환하고 있기 때문에, 형상이 복잡하거나 자세 조건이 크게 다른 경우에 화상 변환에 의한 왜곡이 커지기 때문이다.

또한, 특허 문헌2에서는, 관측하는 물체의 3차원 형상과는 상이한 표준적인 3차원 물체 모델을 이용하여 조명 조건을 추정하여 화상 변환하고 있기 때문에, 대략적으로는 보정할 수 있어도 세부에서는 잘못된 보정을 하고 있는 경우가 있기 때문이다.

또한, 특허 문헌3의 시스템에서는, 각 물체의 3차원 물체 모델이 미리 등록되어 있거나, 참조 화상이 적은 경우에는, 대조할 수 없었다.

그 이유는, 특허 문헌3의 기술은, 미리 3차원 물체 모델을 등록하여 입력 화상과 대조하기 때문이다. 또한, 미리 3차원 물체 모델을 등록하기 위해서는, 대조하기 이전에 각 물체를 3차원 형상 계측 장치에서 계측해 놓아야 하지만, 통상 이 계측이 곤란한 경우가 많다. 또한, 복수의 화상으로부터 3차원 물체 모델을 생성하는 것도 가능하지만, 참조 화상이 적으면 3차원 물체 모델을 생성하는 것이 곤란하기 때문이었다.

〈과제를 해결하기 위한 수단〉

본 발명은, 상기 종래의 문제점을 감안하여 이루어진 것으로, 그 목적은, 각 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도의 대조나 검색을 가능하게 하는 것에 있다.

또한, 본 발명의 다른 목적은, 각 물체의 3차원 물체 모델이 미리 얻어지지 않는 경우에도, 고정밀도의 대조나 검색을 가능하게 하는 것에 있다.

또한, 본 발명의 다른 목적은, 각 물체의 참조 화상이 1매 내지 소수밖에 존재하지 않는 경우에도, 고정밀도의 대조나 검색을 가능하게 하는 것에 있다.

이러한 목적을 달성하기 위해서, 본 발명에 따른 화상 대조 시스템은, 물체의 3차원 데이터를 입력하는 입력 수단과, 적어도 1개의 물체의 참조 화상을 기억하는 참조 화상 기억 수단과, 물체의 자세의 후보인 자세 후보를 생성하는 자세 후보 생성 수단과, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성하는 비교 화상 생성 수단과, 참조 화상과 비교 화상의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 화상 대조 수단을 구비하는 것을 특징으로 한다.

또한, 본 발명에 따른 화상 대조 방법은, 물체의 3차원 데이터를 입력하는 스텝과, 물체의 자세의 후보인 자세 후보를 생성하는 스텝과, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성하는 스텝과, 참조 화상과 비교 화상의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 스텝을 구비하는 것을 특징으로 한다.

또한, 본 발명에 따른 화상 대조용 프로그램은, 물체의 3차원 데이터를 입력하는 수순과, 물체의 자세의 후보인 자세 후보를 생성하는 수순과, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성하는 수순과, 참조 화상과 비교 화상의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 수순을 컴퓨터에 실행시키는 것을 특징으로 한다.

〈발명의 효과〉

본 발명의 제1 효과는, 각 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조나 검색을 할 수 있는 것이다. 그 이유는, 물체의 3차원 데이터를 계측하고, 각 참조 화상의 자세나 조명 등의 촬영 조건에 맞는 비교 화상을 생성하여, 해당 비교 화상과 참조 화상을 비교함으로써 대조하기 때문이다.

또한, 제2 효과는, 각 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 소수밖에 존재하지 않는 경우에도, 고정밀도로 대조나 검색을 할 수 있는 것이다. 그 이유는, 대조 시에 물체의 3차원 데이터를 계측하고, 미리 존재하는 참조 화상에 맞는 비교 화상을 생성하여, 해당 비교 화상과 참조 화상을 비교함으로써 대조하기 때문이다.

도 1은 본 발명에 따른 화상 대조 시스템의 제1 실시예의 구성을 도시하는 블록도.

도 2는 제1 실시예의 화상 대조 수단의 구성을 도시하는 블록도.

도 3은 제1 실시예의 1대1 대조에서의 동작을 도시하는 흐름도.

도 4는 제1 실시예의 1대N 대조에서의 동작을 도시하는 흐름도.

도 5는 제1 실시예의 참조 화상의 구체예를 도시하는 도면.

도 6은 제1 실시예의 3차원 데이터의 구체예를 도시하는 도면.

도 7은 제1 실시예의 비교 화상의 구체예를 도시하는 도면.

도 8은 본 발명의 제2 실시예의 구성을 도시하는 블록도.

도 9는 제2 실시예의 1대N 대조에서의 동작을 도시하는 흐름도.

도 10은 본 발명의 제3 실시예의 구성을 도시하는 블록도.

도 11은 제3 실시예의 화상 대조 수단의 구성을 도시하는 블록도.

도 12는 제3 실시예의 1대N 대조에서의 동작을 도시하는 흐름도.

도 13은 제3 실시예의 표준 3차원 기준점의 구체예를 도시하는 도면.

도 14는 제3 실시예의 표준 3차원 가중 계수의 구체예를 도시하는 도면.

도 15는 제3 실시예의 참조 가중 계수의 구체예를 도시하는 도면.

도 16은 제3 실시예의 입력 3차원 기준점의 구체예를 도시하는 도면.

도 17은 제3 실시예의 2차원 가중 계수의 구체예를 도시하는 도면.

도 18은 본 발명의 제4 실시예의 구성을 도시하는 블록도.

도 19는 제4 실시예의 동작을 도시하는 흐름도.

도 20은 제4 실시예의 동작을 도시하는 흐름도.

도 21은 제4 실시예의 대표 3차원 물체 모델의 구체예를 도시하는 도면.

도 22는 본 발명의 제5 실시예의 구성을 도시하는 블록도.

도 23은 제5 실시예의 동작을 도시하는 흐름도.

도 24는 제5 실시예의 대표 화상의 구체예를 도시하는 도면.

도 25는 종래예의 화상 대조 시스템을 도시하는 블록도.

도 26은 다른 종래예의 화상 대조 시스템을 도시하는 블록도.

도 27은 또 다른 종래예의 화상 대조 시스템을 도시하는 블록도.

〈발명을 실시하기 위한 최량의 형태〉

이하, 도면을 참조하여, 본 발명의 실시예에 대하여 상세히 설명한다.

(제1 실시예)

도 1은 본 발명에 따른 화상 대조 시스템의 제1 실시예를 도시하는 블록도이다. 도 1에 있어서, 부호 10은 물체의 3차원 데이터를 입력하는 3차원 데이터 입력 수단, 부호 30은 참조 화상 기억부, 부호 50은 자세 추정·대조 수단이다. 자세 추정·대조 수단(50)은, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(55)을 포함하고 있다.

이들 수단은 각각 개략적으로 다음과 같이 동작한다. 우선, 참조 화상 기억부(30)에는, 적어도 1개의 물체를 각각 촬영한 참조 화상이 미리 기억되어 있다. 참조 화상의 자세나 조명 등의 촬영 조건은 한정되지 않는다. 또한, 참조 화상 기억부(30)는, 시스템 내에 있어도 되고, 시스템 밖에 있어서 네트워크로 접속하여 사용해도 된다.

3차원 데이터 입력 수단(10)은 대조할 물체(또는 검색할 물체 등)의 3차원 데이터를 입력한다. 3차원 데이터는, 예를 들면, 일본 특개 2001-12925호 공보에 기재된 3차원 형상 측정 장치를 이용하거나, 혹은 일본 특개평 9-91436호 공보에 기재된 다수의 카메라로 촬영된 복수 화상으로부터 3차원 형상을 복원하는 장치를 이용함으로써 생성할 수 있다.

자세 추정·대조 수단(50)은, 3차원 데이터 입력 수단(10)으로부터 입력된 3차원 데이터와, 참조 화상 기억부(30)로부터 얻어지는 참조 화상의 최소 거리치(혹은 최대 유사도)를 구한다. 보다 구체적으로는, 자세 후보 결정 수단(20)은 적어도 1개의 물체의 자세의 후보인 자세 후보를 생성한다(물체의 자세는 물체의 위치와 방향으로 나타냄). 비교 화상 생성 수단(40)은, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성한다.

화상 대조 수단(55)은, 도 2에 도시하는 연산부(55a)와, 선출부(55b)와, 대조부(55c)를 포함하고 있다. 화상 대조 수단(55)은, 연산부(55a)에서 해당 비교 화상과 해당 참조 화상의 거리치를 구하고, 선출부(55b)에서 각 참조 화상에 대하여 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상의 최소 거리치를 구한다. 또한, 1개의 물체(참조 화상)와의 대조 처리(1대1 대조)인 경우에는, 대조부(55c)에서 해당 최소 거리치와 임계치를 비교하여 동일 물체인지의 여부를 판정한다. 즉, 대조부(55c)는 최소 거리치가 임계치 이하이면 동일 물체, 임계치 초과인 경우에는 동일 물체가 아니라고 판정한다. 또한, 복수의 물체로부터 입력 3차원 데이터에 가장 가까운 물체(참조 화상)를 검색하는 처리(1대N 대조)인 경우에는, 대조부(55c)에서 해당 최소 거리치가 가장 작은 참조 화상을 선출한다. 또한, 비교 화상과 참조 화상의 유사도를 이용하여 판정하는 경우에는, 유사도가 임계치 이상인 경우에 동일 물체라고 판정하고, 임계치 미만인 경우에는 동일 물체가 아니라고 판정한다.

다음으로, 도 1 및 도 3의 플로우차트를 참조하여 본 실시예의 1대1 대조인 경우의 전체 동작에 대하여 상세히 설명한다. 여기서, 입력 3차원 데이터와 참조 화상 R_k를 대조하는 경우에 대해 설명한다.

도 3에 있어서, 우선, 3차원 데이터 입력 수단(10)에 의해 3차원 데이터를 입력한다(스텝 100). 다음으로, 자세 후보 결정 수단(20)에 있어서 자세 후보군 {e_j}를 결정한다(스텝 110). 다음으로, 비교 화상 생성 수단(40)은 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상 R_k에 가까운 비교 화상을 생성한다(스텝 120). 화상 대조 수단(55)은 해당 비교 화상과 해당 참조 화상의 거리치를 구한다(스텝 130). 또한, 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 140).

여기서, 미리 결정한 자세 후보군 중에서 거리치가 가장 작은 자세 후보를 선택한다고 했지만, 자세 후보 결정 수단(20)으로 되돌아가 순차적으로 자세 후보를 변동시키면서, 거리치가 가장 작은 자세 후보를 탐색해도 된다. 다음으로, 자 세 추정·대조 수단(50)은 최소 거리치와 임계치를 비교하여 동일 물체인지의 여부를 판정한다(스텝 155).

다음으로, 도 1 및 도 4의 플로우차트를 참조하여 본 실시예의 1대N 대조인 경우의 전체 동작에 대하여 상세히 설명한다. 도 4에 있어서, 우선, 3차원 데이터 입력 수단(10)에 의해 3차원 데이터를 입력한다(스텝 100). 다음으로, 자세 추정·대조 수단(50)은 처음에 참조 화상의 화상 번호를 k=1로 한다(스텝 150). 그 후, 스텝 110∼140의 처리를 행하지만, 이것은, 도 3의 스텝 110∼140과 동일한 처리이다.

다음으로, 자세 추정·대조 수단(50)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M(참조 화상의 수)의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 110으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상의 최소 거리치를 계산한다. 마지막으로, 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

다음으로, 구체적인 예를 이용하여 본 실시예의 동작을 더욱 상세하게 설명한다. 또한, 여기서는 대조 대상으로서 인물의 얼굴을 예로 들어 설명하지만, 본 발명은 다른 물체의 대조에도 적용할 수 있는 것은 물론이다. 우선, 도 5에 도시한 바와 같이 참조 화상 기억부(30)에는, 물체 k의 참조 화상 R_k(r)이 기억되어 있다(r은 화소 또는 특징의 인덱스). 여기서, 각 화상의 자세 조건은 동일하다고는 한정하지 않는다(조명 조건에 관한 차이는 도시하지 않음). 또한, 참조 화상은 각 물체마다 1매씩 저장되어 있지만, 복수매씩 저장되어 있어도 된다.

여기서, 1대N 대조인 경우에 대하여 설명한다. 우선, 3차원 데이터 입력 수단(10)으로부터 도 6에 도시하는 바와 같은 3차원 데이터가 입력되었다고 한다(도 4의 스텝 100). 3차원 데이터는 도 6에 도시한 바와 같이 물체 표면의 3차원 공간(x, y, z) 내에서의 형상 P_Q(x, y, z)와 텍스쳐 T_Q(R, G, B)를 정보로 하여 가지고 있다. Q는 물체 표면 상의 점의 인덱스를 나타내며, 예를 들면, 물체의 무게 중심을 중심으로 한 구체에 물체 표면 상의 점을 무게 중심으로부터 사영한 점 Q(s, t)의 좌표에 대응하고 있다. 대조의 효율화를 위해서, 미리 3차원 데이터로부터 다양한 조명 조건에 의한 학습용 CG 화상을 컴퓨터 그래픽에 의해 생성하여, 해당 학습용 CG 화상을 주성분 분석함으로써 기저 화상군을 구해 놓는다.

다음으로, 자세 추정·대조 수단(50)은 처음에 참조 화상의 화상 번호를 k=1로 한다(스텝 150). 다음으로, 자세 후보 결정 수단(20)에서 자세 후보군 {e_j}를 결정한다(스텝 110). 자세 후보군은 참조 화상에 관계없이 미리 설정해 놓아도 되지만, 예를 들면, 참조 화상 및 3차원 데이터로부터 눈·코·입 등의 기준점을 수동 또는 자동으로 추출하고, 일본 특개 2001-283229호 공보에 기재된 물체의 위치 및 방향을 계산하는 방법을 이용함으로써, 대략의 자세를 추정하여, 해당 자세의 근변에서 자세 후보군을 생성할 수도 있다. 또한, 입력된 3차원 데이터를 이용하는 것이 아니라, 미리 준비한 대표 3차원 데이터(모델)를 사용하여 참조 화상과 대 조함으로써, 미리 대략의 자세를 추정하여 기억해 놓아도 된다.

다음으로, 비교 화상 생성 수단(40)은 자세 후보 e_j에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상 R_k의 조명 조건에 가까운 비교 화상 G_kj(r)을 생성한다(스텝 120). 여기서, 참조 화상의 조명 조건에 가까운 비교 화상을 생성하기 위해서는, 미리 구해 놓은 기저 화상군을 각 자세 후보에 기초하여 좌표 변환하고, 해당 좌표 변환한 기저 화상의 선형 합이 해당 입력 화상에 가까워지도록 선형 합의 계수를 최소 제곱법에 의해 구함으로써 실현할 수 있다. 참조 화상 R₁에 대하여 생성한 비교 화상의 예를 도 7에 도시한다(농담 정보는 도시하지 않음).

다음으로, 화상 대조 수단(55)은 해당 비교 화상과 해당 참조 화상의 거리치를 구한다(스텝 130). 예를 들면, 유클리드 거리를 이용하는 경우에는,

D_kj=Σ_r{R_k(r)-G_kj(r)}²

에 의해 계산할 수 있다. 유사도 S_kj를 이용하는 경우에는, 예를 들면,

S_kj=exp(-D_kj)

에 의해 계산할 수 있다. 이 때, 자세 추정·대조 수단(50)은 거리치가 가장 작은 비교 화상을 선출함으로써 최적의 자세를 추정함과 함께, 3차원 데이터와 참조 화상 R_k의 최소 거리치 D_k를,

최소 거리치 D_k=min_jD_kj

에 의해 구한다(스텝 140). 도 7의 경우, 예를 들면, G₁₁이 선출된다.

다음으로, 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행한다(스텝 152). 이 때, 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 110으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상의 최소 거리치를 계산한다. 마지막으로, 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153). 도 6의 3차원 데이터의 경우에는, 예를 들면, 참조 화상 R_k에 대한 최소 거리치가 {20, 50, 25}로 구해졌다고 하면, 도 5의 참조 화상 R₁이 최소 거리치가 가장 작은 참조 화상으로서 선출된다.

또한, 본 실시예에서는, 비교 화상과 참조 화상의 거리치를 구한다고 했지만, 거리치 대신에 유사도를 이용해도 된다. 유사도는 일례로서 전술한 바와 같은 계산 방법으로 구할 수 있다. 유사도를 이용하는 경우에는, 최대 유사도가 가장 큰 참조 화상을 대조 결과로 한다.

이것은, 이하의 모든 실시예에 있어서 마찬가지이다.

본 실시예에서는, 물체의 3차원 데이터를 계측하고, 자세 및 조명 조건을 보정하면서 3차원 데이터와 참조 화상을 대조한다고 하는 구성이기 때문에, 각 물체의 참조 화상이 자세 및 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조·검색을 할 수 있다. 또한, 대조 시에 물체의 3차원 데이터를 계측하고, 3차원 데이터와 참조 화상을 대조한다고 하는 구성이기 때문에, 각 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 수매밖에 존재하지 않는 경우에도, 고정밀도로 대조·검색을 할 수 있다.

(제2 실시예)

도 8은 본 발명의 제2 실시예를 도시하는 블록도이다. 도 8에서는 도 1과 동일 부분은 동일 부호를 붙이고 있다. 본 실시예에서는, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 추정·대조 수단(51)과, 참조 보정 계수 기억부(65)로 구성되어 있다. 자세 추정·대조 수단(51)은, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(55)과, 스코어 보정 수단(60)을 포함하고 있다. 도 1과의 차이는, 스코어 보정 수단(60), 참조 보정 계수 기억부(65)가 추가되어 있는 점이다.

이들 수단은 각각 개략적으로 다음과 같이 동작한다. 우선, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(55)은, 도 1에 도시하는 제1 실시예의 것과 동일한 처리를 행한다.

또한, 참조 보정 계수 기억부(65)에는, 참조 화상에 대응하여 대조 스코어(거리치나 유사도)를 보정하기 위한 계수가 미리 기억되어 있다. 자세 추정·대조 수단(51)은, 3차원 데이터 입력 수단(10)으로부터 입력된 3차원 데이터와, 참조 화상 기억부(30)로부터 얻어지는 참조 화상의 최소 거리치(혹은 최대 유사도)를 구하 고, 또한 참조 보정 계수 기억부(65)로부터 얻어지는 보정 계수를 이용하여 해당 최소 거리치를 보정한다.

보다 구체적으로는, 자세 후보 결정 수단(20)은 적어도 1개의 자세 후보를 생성한다. 비교 화상 생성 수단(40)은, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성한다. 화상 대조 수단(55)은 해당 비교 화상과 해당 참조 화상의 거리치를 구하고, 각 참조 화상에 대하여 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상의 최소 거리치를 구한다.

스코어 보정 수단(60)은 참조 화상에 대응한 보정 계수를 이용하여, 해당 최소 거리치를 보정한다. 또한, 1개의 물체(참조 화상)와의 대조 처리(1대1 대조)의 경우에는, 해당 보정된 최소 거리와 임계치를 비교하여, 동일 물체인지의 여부를 판정한다. 또한, 복수의 물체로부터 입력 3차원 데이터에 가장 가까운 물체(참조 화상)를 검색하는 처리(1대N 대조)의 경우에는, 해당 보정된 최소 거리치가 가장 작은 참조 화상을 선출한다.

다음으로, 도 8 및 도 9의 플로우차트를 참조하여 본 실시예의 1대N 대조인 경우의 전체 동작에 대하여 상세히 설명한다.

도 9에 있어서, 우선, 3차원 데이터 입력 수단(10)에 의해 3차원 데이터를 입력한다(스텝 100). 다음으로, 자세 추정·대조 수단(51)은 처음에 참조 화상의 화상 번호를 k=1로 한다(스텝 150). 또한, 제1 실시예와 마찬가지의 처리에 의해 자세 후보 결정 수단(20), 비교 화상 생성 수단(40), 화상 대조 수단(55)은, 최적 의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 110∼140).

다음으로, 스코어 보정 수단(60)은 참조 화상 R_k에 대응한 보정 계수를 이용하여, 해당 최소 거리치를 보정한다(스텝 160). 다음으로, 자세 추정·대조 수단(51)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 110으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상의 최소 거리치를 계산하고, 그 참조 화상에 대응하는 보정 계수를 이용하여 최소 거리치의 보정을 행한다. 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 보정된 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

또한, 1대1 대조인 경우에는, 제1 실시예와 마찬가지로 도 9의 스텝 100, 110, 120, 130, 140, 160의 처리를 행하고, 그 후, 도 3의 스텝 155의 처리를 행한다. 도 3의 스텝 155에서는, 전술한 바와 같이 거리치와 임계치를 비교하여 동일 물체인지의 여부를 판정한다.

다음으로, 구체적인 예를 이용하여 본 실시예의 동작을 더욱 상세히 설명한다. 우선, 제1 실시예의 설명과 마찬가지로 참조 화상 기억부(30)에는, 도 5에 도시하는 바와 같은 참조 화상 R_k( r)이 기억되어 있다. 또한, 참조 보정 계수 기억부(65)에는, 표 1에 나타내는 바와 같은 보정 계수가 기억되어 있다. 보정 계수 A_k는, 예를 들면, 제1 실시예의 화상 대조 시스템에 의해, 미리 준비한 대표 3차원 데이터(대표적인 3차원 물체 모델) C_h(h=1, …, H)와 참조 화상 R_k의 최소 거리치 D_k ^h를 구하고, 이 최소 거리치의 평균치 E_k=Σ_hD_k ^h/H(또는 최소 거리치가 작은 상위 후보에 관한 평균치)를 이용하여, A_k=A/E_k(A는 미리 설정된 상수)에 의해 구한다. 예를 들면, A=20으로 하고, 각 참조 화상에 대한 최소 거리치의 평균치 E_k가 {50, 40, 20}으로 된 경우에는, 보정 계수 A_k는 표 1과 같이 된다. 이것은, 예를 들면, 참조 화상 R₁은 촬영 조건이 나빠 평균적으로 거리치가 커지는 경향이 있음을 나타내고 있다.

화상 번호	보정 계수
1	0.4
2	0.5
3	1.0

여기서, 3차원 데이터 입력 수단(10)에 의해 도 6에 도시하는 바와 같은 3차원 데이터를 입력하였다고 한다(도 9의 스텝 100). 자세 추정·대조 수단(51)은 처음에 참조 화상의 화상 번호를 k=1로 한다(스텝 150). 다음으로, 제1 실시예와 동일한 처리에 의해 자세 후보 결정 수단(20), 비교 화상 생성 수단(40), 화상 대조 수단(55)은, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 110∼140).

다음으로, 스코어 보정 수단(60)은 참조 화상 R_k에 대응한 보정 계수를 이용하여, 해당 최소 거리치를 보정한다(스텝 160). 예를 들면, 보정 계수 A_k를 이용하여, 최소 거리치 D_k는 D_k'=A_kD_k에 의해 보정할 수 있다. 또한, 자세 추정·대조 수단(51)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행한다(스텝 152). 이 때, 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 110으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상의 최소 거리치를 계산하고, 또한, 마찬가지로 참조 화상에 대응하는 보정 계수를 이용하여 얻어진 최소 거리치의 보정을 행한다. 마지막으로, 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 보정된 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153). 예를 들면, 참조 화상 R_k에 대한 최소 거리치가 {40, 60, 25}로 구해졌다고 하고, 표 1에 나타내는 보정 계수를 이용하면, 보정된 최소 거리치는 {16, 30, 25}로 되고, 참조 화상 R₁이 최소 거리치가 가장 작은 참조 화상으로서 선출된다.

본 실시예에서는, 물체의 3차원 데이터를 계측하고, 자세나 조명 조건을 보정하면서 3차원 데이터와 참조 화상을 대조한다고 하는 구성이기 때문에, 각 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조·검색을 할 수 있다. 또한, 대조 시에 물체의 3차원 데이터를 계측하고, 3차원 데이터와 참조 화상을 대조한다고 하는 구성이기 때문에, 각 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 수매밖에 존재하지 않는 경우에도, 고정밀도로 대조·검색을 할 수 있다. 또한, 참조 화상의 촬영 조건에 기인하는 대조 스코어 변동을 보정하여 대조하기 때문에, 각 참조 화상의 촬영 조건이 상이하거나 화질이 나쁜 참조 화상이 존재하는 경우에도, 고정밀도로 대조·검색을 할 수 있다.

또한, 제2 실시예에서는, 보정 계수 A_k를 기억하고, 거리치에 보정 계수 A_k를 곱하여 보정했지만, 이것에 한하는 것은 아니다. 예를 들면, 대표 3차원 모델 C_h와 참조 화상 R_k의 최소 거리치 D_k ^h를 모두 기억해 놓아도 되고, 또한 분포 함수를 가정하여 그 함수 파라미터를 기억해 놓아도 된다. 예를 들면, 정규 분포를 가정한 경우, 평균치 E_k와 표준편차 σ_k를 기억하고, 분포를 표준 정규 분포로 정규화하도록 D_k'=(D_k-E_k)/σ_k에 의해 보정할 수도 있다.

(제3 실시예)

도 10은 본 발명의 제3 실시예를 도시하는 블록도이다. 도 10에서는 도 1과 동일 부분은 동일 부호를 붙이고 있다. 본 실시예에서는, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 추정·대조 수단(52)과, 3차원 기준점 추출 수단(12)과, 표준 3차원 기준점 기억부(72)와, 표준 3차원 가중 계수 기억부(75)와, 참조 가중 계수 기억부(77)로 구성되어 있다. 자세 추정·대조 수단(52)은, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(56)과, 입력 가중 계수 변환 수단(70)을 포함하고 있다.

이들 수단은 각각 개략적으로 다음과 같이 동작한다. 우선, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)은, 제1 실시예의 것과 마찬가지의 처리를 행한다.

표준 3차원 기준점 기억부(72)에는, 표준 3차원 물체 모델에 대응한 표준 3차원 기준점이 기억되어 있다. 표준 3차원 가중 계수 기억부(75)에는, 표준 3차원 가중 계수가 기억되어 있다. 참조 가중 계수 기억부(77)에는, 참조 화상에 대응한 가중 계수가 기억되어 있다.

3차원 기준점 추출 수단(12)은, 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터에 대하여, 수동 또는 자동적으로 3차원 기준점을 추출한다.

자세 추정·대조 수단(52)은, 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터와, 참조 화상 기억부(30)로부터 얻어지는 참조 화상의 최소 거리치(혹은 최대 유사도)를, 입력 가중 계수 변환 수단(70)으로부터 얻어지는 입력 데이터에 대응한 가중 계수나, 참조 가중 계수 기억부(77)로부터 얻어지는 참조 화상에 대응한 가중 계수를 사용하여 구한다.

보다 구체적으로는, 자세 후보 결정 수단(20)은 적어도 1개의 자세 후보를 생성한다. 비교 화상 생성 수단(40)은 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 생성한다. 입력 가중 계수 변환 수단(70)은 표준 3차원 기준점 기억부(72)로부터 얻어지는 표준 3차원 기준점과 3차원 기준점 추출 수단(12)으로부터 얻어지는 3차원 데이터의 3차원 기준점을 이용하여, 표준 3차원 가중 계수 기억부(75)로부터 얻어지는 표준 3차원 가중 계수와 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터와의 좌표의 대응을 구하고, 또한 자세 후보 결정 수단(20)으로부터 얻어지는 자세 후보에 따라서 표준 3차원 가중 계수를 2차원의 가중 계수로 변환한다.

화상 대조 수단(56)은, 도 11에 도시하는 연산부(56a)와, 선출부(56b)와, 대조부(56c)를 포함하고 있다. 화상 대조 수단(56)은, 연산부(56a)에서 해당 비교 화상과 해당 참조 화상의 거리치를, 입력 가중 계수 변환 수단(70)으로부터 얻어지는 입력 3차원 데이터에 대응한 가중 계수나, 참조 가중 계수 기억부(77)로부터 얻어지는 참조 화상에 대응한 가중 계수를 사용하여 구하고, 선출부(56b)에서 각 참조 화상에 대하여, 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상의 최소 거리치를 구한다. 또한, 1개의 물체(참조 화상)와의 대조 처리(1대1 대조)인 경우에는, 대조부(56c)에서 해당 최소 거리와 임계치를 비교하여 동일 물체인지의 여부를 판정한다. 또한, 복수의 물체로부터 입력 3차원 데이터에 가장 가까운 물체(참조 화상)를 검색하는 처리(1대N 대조)인 경우에는, 대조부(56c)에서 해당 최소 거리치가 가장 작은 참조 화상을 선출한다.

다음으로, 도 10 및 도 12의 플로우차트를 참조하여 본 실시예의 1대N 대조인 경우의 전체 동작에 대하여 상세히 설명한다.

도 12에 있어서, 우선, 3차원 데이터 입력 수단(10)에 의해 3차원 데이터를 입력한다(스텝 100). 다음으로, 3차원 기준점 추출 수단(12)은 3차원 데이터에 대하여 수동 또는 자동적으로 3차원 기준점을 추출한다(스텝 170). 다음으로, 자세 추정·대조 수단(52)은 처음에 참조 화상의 화상 번호를 k=1로 한다(스텝 150). 자세 후보 결정 수단(20)에 있어서 자세 후보군 {e_j}를 결정한다(스텝 110).

다음으로, 비교 화상 생성 수단(40)은 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상 R_k에 가까운 비교 화상을 생성한다(스텝 120). 다음으로, 입력 가중 계수 변환 수단(70)은 표준 3차원 기준점과 3차원 데이터의 3차원 기준점을 이용하여, 표준 3차원 가중 계수와 3차원 데이터의 좌표의 대응을 구하고, 자세 후보에 따라서 표준 3차원 가중 계수를 2차원의 가중 계수로 변환한다(스텝 180).

다음으로, 화상 대조 수단(56)은 해당 비교 화상과 해당 참조 화상의 거리치를, 입력 가중 계수 변환 수단(70)으로부터 얻어지는 입력 3차원 데이터에 대응한 가중 계수나, 참조 가중 계수 기억부(77)로부터 얻어지는 참조 화상에 대응한 가중 계수를 사용하여 구하고(스텝 131), 또한, 각 참조 화상에 대하여 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상의 최소 거리치를 구한다(스텝 140). 또한, 자세 추정·대조 수단(52)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 110으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상의 최소 거리치를 계산한다. 마지막으로, 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

또한, 1대1 대조인 경우에는, 제1 실시예와 마찬가지로 도 12의 스텝 100, 170, 110, 120, 180, 131, 140의 처리를 행하고, 그 후, 도 3의 스텝 155의 처리를 행한다. 도 3의 스텝 155에서는, 전술한 바와 같이 거리치와 임계치를 비교하여 동일 물체인지의 여부를 판정한다.

다음으로, 구체적인 예를 이용하여 본 실시예의 동작을 더욱 상세히 설명한다. 우선, 제1 실시예의 설명과 마찬가지로 참조 화상 기억부(30)에는, 도 5에 도시하는 바와 같은 참조 화상 R_k(r)이 기억되어 있다. 또한, 표준 3차원 기준점 기억부(72)에는, 도 13에 도시하는 바와 같은 표준 3차원 물체 모델에 대응한 표준 3차원 기준점 N_i ⁰(i는 기준점의 인덱스)이 기억되어 있다. 3차원 기준점이란, 위치 정렬을 행하기 위한 점으로, 도 13의 예에서는, 예를 들면, 왼쪽 눈 가운데점, 오른쪽 눈 가운데점, 코 꼭지점, 왼쪽 입 각점, 오른쪽 입 각점의 5점을 도시하고 있다.

3차원 기준점은, 미리 수동으로 설정해도 되지만, 예를 들면, 2002년 9월, FIT(정보 과학 기술 포럼) 2002, I-100, 199페이지∼200페이지, 마루가메 등, 「형상 정보와 색 정보를 병용한 얼굴 3차원 데이터로부터의 특징 부위의 추출」에 기재된 얼굴 특징 추출 방법을 이용하여 자동적으로 설정해도 된다. 표준 3차원 기준점은 미리 준비한 학습용 3차원 물체 모델의 3차원 기준점의 각 점의 평균 좌표, 또는 학습용 3차원 물체 모델을 평균한 표준 3차원 물체 모델로부터 구한 3차원 기준점에 의해 구할 수 있다.

또한, 표준 3차원 가중 계수 기억부(75)에는, 도 14에 도시하는 바와 같은 표준 3차원 가중 계수 V_Q ⁰이 기억되어 있다. 여기서, 도 14의 예에서는, 예를 들면, 검은 영역이 V_Q ⁰=1, 흰 영역이 V_Q ⁰=0, 사선으로 나타내는 영역은 0<V_Q ⁰<1의 값을 갖는다고 한다. 표준 3차원 가중 계수는 미리 준비한 학습용 3차원 물체 모델의 3차원 가중 계수를 이용하여, 각 학습용 3차원 물체 모델의 3차원 기준점이 표준 3차원 기준점에 일치하도록 3차원 가중 계수의 위치 정렬을 행하고 나서 평균함으로써 구할 수 있다.

기준점 이외의 각 점의 위치 정렬은, 기준점의 대응을 내삽 또는 외삽하여 결정함으로써, 3차원 가중 계수의 좌표치 {s, t}와 표준 3차원 가중 계수의 좌표치 {s₀, t₀}의 변환식 s₀=Hs(s, t), t₀=Ht(s, t)를 설정할 수 있다. 학습용 3차원 물체 모델의 3차원 가중 계수는 학습용 3차원 물체 모델의 물체를 여러 가지 조건으로 촬영한 학습용 화상을 이용하여 미리 학습할 수 있다. 구체적으로는, 제1 실시예의 화상 대조 시스템을 사용하여, 학습용 3차원 물체 모델을 입력의 3차원 데이터로 하고, 학습용 화상을 참조 화상으로 하여 최적 자세를 구했을 때의 3차원 데이터로부터 생성된 비교 화상과 참조 화상의 각 화소의 오차를 구한다.

가중 계수는 대조에서의 화소의 중요도를 나타내는 양으로, 예를 들면, 평균 오차가 작은 화소는 가중치를 크게 설정할 수 있다. 3차원 가중 계수는 상기 비교 화상과 3차원 물체 모델의 화소의 대응에 기초하여 비교 화상과 참조 화상의 각 화소의 오차를 3차원 물체 모델 상에서 평균하여 평균 오차를 구함으로써 설정할 수 있다.

또한, 참조 가중 계수 기억부(77)에는, 도 15에 도시하는 바와 같은 참조 화상에 대응한 가중 계수 U_k(r)이 기억되어 있다. 도 15의 예에서는, 예를 들면, 검은 영역이 U_k(r)=1, 흰 영역이 U_k(r)=0, 사선으로 나타내는 영역은 0<U_k(r)<1의 값을 갖는다고 한다. 참조 화상에 대응한 가중 계수는, 예를 들면, 얼굴 영역 이외의 영역의 가중치를 0으로 설정하거나, 휘도치가 큰 영역이나 작은 영역의 가중치를 작게 설정하는 등으로 하여, 미리 수동 또는 자동적으로 설정해 놓는다.

여기서, 3차원 데이터 입력 수단(10)으로부터 도 6에 도시하는 바와 같은 3차원 데이터가 입력되었다고 한다(도 12의 스텝 100). 3차원 기준점 추출 수단(12)은 3차원 데이터에 대하여 수동 또는 자동적으로 3차원 기준점을 추출한다(스텝 170). 도 6의 3차원 데이터에 대하여 추출한 3차원 기준점의 예를 도 16에 도시한다.

다음으로, 자세 추정·대조 수단(52)은 처음에 참조 화상의 화상 번호를 k=1로 한다(스텝 150). 자세 후보 결정 수단(20)에 있어서 자세 후보군 {e_j}를 결정한다(스텝 110). 다음으로, 비교 화상 생성 수단(40)은, 자세 후보에 따라서 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상 R_k에 가까운 비교 화상 G_kj(r)을 생성한다(스텝 120). 참조 화상 R₁에 대하여 생성한 비교 화상의 예를 도 7에 도시한다.

다음으로, 입력 가중 계수 변환 수단(70)은 표준 3차원 기준점과 3차원 데이터의 3차원 기준점을 이용하여, 표준 3차원 가중 계수와 3차원 데이터의 좌표의 대응을 구하고, 자세 후보에 따라서 표준 3차원 가중 계수 V_Q ⁰을 2차원의 가중 계수 W_kj(r)로 변환한다(스텝 180). 도 7의 비교 화상에 대응하여 생성된 2차원의 가중 계수의 예를 도 17에 도시한다.

다음으로, 화상 대조 수단(56)은 해당 비교 화상과 해당 참조 화상의 거리치 D_kj'를, 입력 가중 계수 변환 수단(70)으로부터 얻어지는 입력 데이터에 대응한 가중 계수 W_kj(r)이나, 참조 가중 계수 기억부(77)로부터 얻어지는 참조 화상에 대응한 가중 계수 U_k(r)을 사용하여 구하고(스텝 131), 또한 각 참조 화상에 대하여 거리치가 가장 작은 비교 화상을 선출함으로써, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상의 최소 거리치를 구한다(스텝 140).

예를 들면, 가중치 부여된 유클리드 거리를 이용하는 경우에는,

D_kj'=Σ_rW_kj(r)U_k(r){R_k(r)-G_kj(r)}²

에 의해 계산한다. 여기서, 가중 계수 W_kj(r), U_k(r)은, 어느 하나만 사용해도 된다. 다음으로, 자세 추정·대조 수단(52)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 110으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상의 최소 거리치를 계산한다. 마지막으로, 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

본 실시예에서는, 물체의 3차원 데이터를 계측하고, 자세나 조명 조건을 보정하면서 3차원 데이터와 참조 화상을 대조하기 때문에, 각 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조 및 검색을 할 수 있다. 또한, 대조 시에 물체의 3차원 데이터를 계측하고, 3차원 데이터와 참조 화상을 대조하기 때문에, 각 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 수매밖에 존재하지 않는 경우에도, 고정밀도로 대조 및 검색을 할 수 있다. 또한, 부위에 의한 가중 계수를 사용한 가중치 대조에 의해 화상 대조한다고 하는 구성이기 때문에, 더욱 고정밀도의 대조 및 검색을 할 수 있다.

또한, 제3 실시예에서는, 표준 3차원 가중 계수(및 표준 3차원 기준점)는 1개로 설명했지만, 복수 있더라도 된다. 이 때, 각 참조 화상에 대응하여 어느 표준 3차원 가중 계수를 이용할지의 정보를 미리 기억해 놓는다. 또한, 표준 3차원 가중 계수는, 학습용 3차원 물체 모델로부터 생성된 비교 화상과 학습용 화상의 화소의 오차 평균에 의해 구한다고 했지만, 이것에 한하는 것은 아니다. 또한, 자세 추정에 있어서 가중 계수를 사용하여, 가중치 거리를 계산한다고 설명했지만, 자세 추정에 있어서는 가중 계수를 이용하지 않는 거리 계산을 사용하여, 최적 자세를 구하고 나서 재차 가중치 부여된 거리를 계산해도 된다.

(제4 실시예)

도 18은 본 발명의 제4 실시예를 도시하는 블록도이다. 도 18에서는 제1 실시예의 도 1과 동일 부분은 동일 부호를 붙이고 있다. 본 실시예에서는, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 추정·대조 수단(53)과, 대표 3차원 물체 모델 기억부(36)와, 3차원 대조 수단(80)과, 그룹 기억부(85)와, 참조 화상 선출 수단(82)으로 구성되어 있다. 또한, 자세 추정·대조 수단(53)은, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(55)을 포함하고 있다.

또한, 대표 3차원 물체 모델 기억부(36)에는, 미리 준비된 대표적인 3차원 물체 모델이 기억되어 있다. 그룹 기억부(85)에는, 대표 3차원 물체 모델과 참조 화상의 관련 정보(대표 3차원 물체 모델과 참조 화상을 대응시키는 정보)가 미리 기억되어 있다.

3차원 대조 수단(80)은 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터와, 대표 3차원 물체 모델 기억부(36)로부터 얻어지는 각 대표 3차원 물체 모델의 대조를 행하여, 가장 유사한 대표 3차원 물체 모델을 선택한다. 참조 화상 선출 수단(82)은, 그룹 기억부(85)로부터 얻어지는 관련 정보로부터, 3차원 대조 수단(80)으로부터 얻어지는 선택된 대표 3차원 물체 모델에 대응하는 참조 화상군을 선출한다.

자세 추정·대조 수단(53)은, 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터와, 참조 화상 기억부(30)로부터 얻어지는 참조 화상의 최소 거리치(혹은 최대 유사도)를 구하고, 해당 최소 거리치가 가장 작은 참조 화상을 선출한다. 여기서, 대상으로 하는 참조 화상은 참조 화상 선출 수단(82)으로부터 얻어지는 참조 화상군으로 한다.

다음으로, 도 18, 도 19 및 도 20의 플로우차트를 참조하여 본 실시예의 전체 동작에 대하여 상세히 설명한다. 우선, 3차원 데이터 입력 수단(10)에 의해 3차원 데이터를 입력한다(도 19의 스텝 100). 다음으로, 3차원 대조 수단(80)은 처음에 대표 3차원 물체 모델의 모델 번호를 h=1로 한다(스텝 210). 다음으로, 3차원 대조 수단(80)은 3차원 데이터와 각 대표 3차원 물체 모델 C_h의 유사도 S_h를 구한다(스텝 220). 다음으로, 모델 번호 h를 1 증가시키고(스텝 211), 모델 번호 h와 모델수 H의 비교를 행하여(스텝 212), 모델 번호 h가 모델수 H 이하인 경우에는, 스텝 210으로 되돌아가 마찬가지의 처리를 행하여, 다음의 대표 3차원 물체 모델과의 유사도를 계산한다.

스텝 212에서 모든 대표 3차원 물체 모델과의 대조가 끝났으면, 유사도가 가장 큰 모델 C_h를 선택한다(스텝 221). 다음으로, 참조 화상 선출 수단(82)은 그룹 기억부(85)로부터 얻어지는 관련 정보로부터, 선택된 대표 3차원 물체 모델에 대응하는 참조 화상군을 선출한다(스텝 230). 또한, 도 19의 스텝 230은 도 20의 스텝 150으로 계속되고 있다.

다음으로, 자세 추정·대조 수단(53)은 처음에 참조 화상의 화상 번호를 k=1로 한다(도 20의 스텝 150). 다음으로, 참조 화상 R_k가 선출된 참조 화상군 L에 포함되는지 여부를 판단하여(스텝 240), 참조 화상 R_k가 선출된 참조 화상군에 포함되는 경우에는, 다음의 스텝 110으로 진행하고, 포함되지 않는 경우에는, 스텝 151로 진행한다.

스텝 110으로 진행한 경우에는, 제1 실시예와 동일한 처리에 의해 자세 후보 결정 수단(20), 비교 화상 생성 수단(40), 화상 대조 수단(55)은, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 110∼140). 다음으로, 자세 추정·대조 수단(53)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 240으로 되돌아가 마찬가지의 처리를 행한다. 마지막으로, 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k 를 대조 결과로 한다(스텝 153).

다음으로, 구체적인 예를 이용하여 본 실시예의 동작을 더욱 상세히 설명한다. 우선, 제1 실시예의 설명과 마찬가지로 참조 화상 기억부(30)에는, 도 5에 도시하는 바와 같은 참조 화상 R_k(r)이 기억되어 있다. 또한, 대표 3차원 물체 모델 기억부(36)에는, 도 21에 도시하는 바와 같은 대표 3차원 물체 모델 C_h가 기억되어 있다. 그룹 기억부(85)에는, 표 2에 나타내는 바와 같은 대표 3차원 물체 모델에 대응하여, 해당 대표 3차원 물체 모델을 사용하여 참조 화상을 대조했을 때의 상위 후보(참조 화상군)의 화상 번호가 기억되어 있다. 이것은, 각 대표 3차원 물체 모델 C_h를 제1 실시예의 화상 대조 시스템의 입력으로 했을 때의 대조 결과가, 예를 들면, 표 3과 같이 된 경우, 거리치 40 이하의 참조 화상 후보를 남기면, 표 2와 같은 리스트가 얻어진다.

모델 번호	참조 화상 번호
1	2
2	1, 3

모델 번호	참조 화상 번호:거리치
1	2:20 1:50 3:60
2	1:25 3:30 2:70

여기서, 3차원 데이터 입력 수단(10)으로부터 도 6에 도시하는 바와 같은 3차원 데이터가 입력되었다고 한다(도 19의 스텝 100). 3차원 대조 수단(80)은 처음에 대표 3차원 물체 모델의 모델 번호를 h=1로 한다(스텝 210). 다음으로, 3차원 데이터와 각 대표 3차원 물체 모델 C_h의 유사도 S_h를 구한다(스텝 220). 이 3차원 데이터끼리를 대조하는 수단으로서는, 예를 들면, 일본 특개평 4-119475호 공보에 기재된 3차원 형상 식별 장치 등의 기존의 기술을 이용할 수 있다.

다음으로, 모델 번호 h를 1 증가시키고(스텝 211), 모델 번호 h와 모델수 H의 비교를 행하여(스텝 212), 모델 번호 h가 모델수 H 이하인 경우에는, 스텝 210으로 되돌아가 마찬가지의 처리를 행하여, 다음의 대표 3차원 물체 모델과의 유사도를 계산한다. 스텝 212에서 모든 대표 3차원 물체 모델과의 대조가 끝났으면, 유사도가 가장 큰 모델 C_h를 선택한다(스텝 221).

예를 들면, 모델 C_h와의 유사도가 {0.7, 0.9}로 되었다고 하면, 모델 C₂가 선택된다. 다음으로, 참조 화상 선출 수단(82)은 표 2에 나타내는 그룹 기억부(85)로부터 얻어지는 리스트로부터, 선택된 대표 3차원 물체 모델 C₂에 대응하는 참조 화상군 {R₁, R₃}을 선출한다(스텝 230). 이 후, 도 20의 처리로 이행한다.

자세 추정·대조 수단(53)은 처음에 참조 화상의 화상 번호를 k=1로 한다(도 20의 스텝 150). 다음으로, 참조 화상 R_k가 선출된 참조 화상군 L에 포함되는지 여부를 판단하여(스텝 240), 참조 화상 R_k가 선출된 참조 화상군에 포함되는 경우에는, 다음의 스텝 110으로 진행하고, 포함되지 않는 경우에는 스텝 151로 진행한다.

여기서는, R₁, R₃의 경우에는 스텝 110으로 진행하고, R₂의 경우에는 스텝 151로 진행한다. 스텝 110으로 진행한 경우에는, 제1 실시예와 마찬가지의 처리를 행함으로써 자세 후보 결정 수단(20), 비교 화상 생성 수단(40), 화상 대조 수단(55)은, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 110∼140). 다음으로, 자세 추정·대조 수단(53)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 H 이하인 경우에는, 스텝 240으로 되돌아가 마찬가지의 처리를 행한다. 여기서는, R₁, R₃의 경우에는 최소 거리치가 계산된다. 마지막으로, 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

본 실시예에서는, 물체의 3차원 데이터를 계측하고, 자세나 조명 조건을 보정하면서 3차원 데이터와 참조 화상을 대조하기 때문에, 각 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조 및 검색을 할 수 있다. 또한, 대조 시에 물체의 3차원 데이터를 계측하고, 3차원 데이터와 참조 화상을 대조하기 때문에, 각 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 수매밖에 존재하지 않는 경우에도, 고정밀도로 대조 및 검색을 할 수 있다. 또한, 대표 3차원 물체 모델과의 대조에 의해 참조 화상을 선출하도록 구성되어 있기 때문에, 고속의 검색을 할 수 있다.

또한, 제4 실시예에서는, 선택하는 대표 3차원 물체 모델은 1개로 설명했지만, 복수 선택해도 된다. 이 경우, 각 대표 3차원 물체 모델에 대응하는 참조 화상군의 합병 집합을 참조 화상군으로 한다.

(제5 실시예)

도 22는 본 발명의 제5 실시예의 구성을 도시하는 블록도이다. 도 22에서는 도 1이나 도 18과 동일 부분은 동일 부호를 붙이고 있다. 본 실시예에서는, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 추정·대조 수단(53)과, 대표 화상 기억부(31)와, 제2 자세 추정·대조 수단(대표 화상 선택 수단)(54)과, 그룹 기억부(86)와, 참조 화상 선출 수단(82)으로 구성되어 있다. 자세 추정·대조 수단(50, 53)은, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(55)을 포함하고 있다.

이들의 수단은 각각 개략적으로 다음과 같이 동작한다. 우선, 3차원 데이터 입력 수단(10)과, 참조 화상 기억부(30)와, 자세 후보 결정 수단(20)과, 비교 화상 생성 수단(40)과, 화상 대조 수단(55)은, 도 1에 도시하는 제1 실시예의 것과 동일한 처리를 행한다.

또한, 대표 화상 기억부(31)에는, 미리 준비된 대표적인 화상이 기억되어 있다. 이것은, 참조 화상 기억부(30)에서의 참조 화상의 일부이어도 되고, 해당 참조 화상의 평균 등에 의해 생성된 새로운 화상이어도 된다. 또한, 참조 화상 기억부(30)에서의 참조 화상의 일부인 경우에는, 화상 번호만을 기억하고, 참조 화상 기억부(30)에서의 참조 화상을 참조하도록 해도 된다.

그룹 기억부(86)에는, 대표 화상과 참조 화상의 관련 정보(대표 화상과 참조 화상을 대응시키는 정보)가 미리 기억되어 있다. 제2 자세 추정·대조 수단(54)은 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터와, 대표 화상 기억부(31)로부터 얻어지는 각 대표 화상의 대조를 행하여, 가장 유사한 대표 화상을 선택한다. 참조 화상 선출 수단(82)은 그룹 기억부(86)로부터 얻어지는 관련 정보로부터, 제2 자세 추정·대조 수단(54)으로부터 얻어지는 선택된 대표 화상에 대응하는 참조 화상군을 선출한다.

자세 추정·대조 수단(53)은 3차원 데이터 입력 수단(10)으로부터 얻어지는 3차원 데이터와, 참조 화상 기억부(30)로부터 얻어지는 참조 화상의 최소 거리치(혹은 최대 유사도)를 구하고, 해당 최소 거리치가 가장 작은 참조 화상을 선출한다. 여기서, 대상으로 하는 참조 화상은 참조 화상 선출 수단(82)으로부터 얻어지는 참조 화상군으로 한다.

다음으로, 도 22, 도 23 및 도 20의 플로우차트를 참조하여 본 실시예의 전체 동작에 대하여 상세히 설명한다. 우선, 도 23에 도시한 바와 같이 3차원 데이터 입력 수단(10)에 의해 3차원 데이터를 입력한다(도 23의 스텝 100). 제2 자세 추정·대조 수단(54)은 처음에 대표 화상의 화상 번호를 h=1로 한다(스텝 215). 다음으로, 3차원 데이터와 각 대표 화상 R'_h의 유사도 S_h를 구한다(스텝 225).

다음으로, 화상 번호 h를 1 증가시키고(스텝 211), 화상 번호 h와 화상수 H의 비교를 행하여(스텝 217), 화상 번호 h가 화상수 H 이하인 경우에는, 스텝 225로 되돌아가 마찬가지의 처리를 행하여, 다음의 대표 화상과의 유사도를 계산한다. 스텝 217에서 모든 대표 화상과의 대조가 끝났으면, 유사도가 가장 큰 대표 화상 R'_h를 선택한다(스텝 226). 다음으로, 참조 화상 선출 수단(82)은 그룹 기억부(86)로부터 얻어지는 관련 정보로부터, 선택된 대표 화상에 대응하는 참조 화상군을 선출한다(스텝 235). 도 23의 스텝 235는 도 20의 스텝 150으로 계속되고 있다.

자세 추정·대조 수단(53)은 처음에 참조 화상의 화상 번호를 k=1로 한다(도 20의 스텝 150). 다음으로, 참조 화상 R_k가 선출된 참조 화상군에 포함되는지 여부를 판단하여(스텝 240), 참조 화상 R_k가 선출된 참조 화상군에 포함되는 경우에는, 다음의 스텝 110으로 진행하고, 포함되지 않는 경우에는 스텝 151로 진행한다.

스텝 110으로 진행한 경우에는, 제1 실시예와 동일한 처리에 의해 자세 후보 결정 수단(20), 비교 화상 생성 수단(40), 화상 대조 수단(55)은, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 110∼140). 다음으로, 자세 추정·대조 수단(53)은, 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 H 이하인 경우에는, 스텝 240으로 되돌아가 마찬가지의 처리를 행하여, 다음의 참조 화상과의 최소 거리치를 구한다. 마지막으로, 스텝 152에서 화상수 k가 화상수 M 이상으로 된 경우에는, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

다음으로, 구체적인 예를 이용하여 본 실시예의 동작을 더욱 상세히 설명한다. 우선, 제1 실시예의 설명과 마찬가지로 참조 화상 기억부(30)에는, 도 5에 도시하는 바와 같은 참조 화상 R_k(r)이 기억되어 있다. 또한, 대표 화상 기억부(31)에는, 도 24에 도시하는 바와 같은 대표 화상 R'_h가 기억되어 있다. 그룹 기억부(86)에는, 표 4에 나타내는 바와 같은 대표 화상에 대응하여 해당 대표 화상을 사용하여 참조 화상을 대조했을 때의 상위 후보(참조 화상군)의 화상 번호가 기억되어 있다. 이 대조에는, 전술한 특허 문헌1, 2 등에 기재된 기존의 화상 대조 시스템을 이용할 수 있다.

화상 번호	참조 화상 번호
1	2
2	1, 3

여기서, 3차원 데이터 입력 수단(10)으로부터 도 6에 도시하는 바와 같은 3차원 데이터가 입력되었다고 한다(도 23의 스텝 100). 제2 자세 추정·대조 수단(54)은 처음에 대표 화상의 화상 번호를 h=1로 한다(스텝 215). 다음으로, 3차원 데이터와 각 대표 화상 R'_h의 유사도 S_h를 구한다(스텝 225). 다음으로, 화상 번호 h를 1 증가시키고(스텝 211), 화상 번호 h와 화상수 H의 비교를 행하여(스텝 217), 화상 번호 h가 화상수 H 이하인 경우에는, 스텝 215로 되돌아가 마찬가지의 처리를 행하여, 다음의 대표 화상과의 유사도를 계산한다.

스텝 217에서 모든 대표 화상과의 대조가 끝났으면, 유사도가 가장 큰 대표 화상 R'_h를 선택한다(스텝 226). 예를 들면, 대표 화상 R'_h와의 유사도가 {0.7, 0.9}로 되었다고 하면, 대표 화상 R'₂가 선택된다. 다음으로, 참조 화상 선출 수단(82)은 표 4에 나타내는 그룹 기억부(86)로부터 얻어지는 리스트로부터, 선택된 대표 화상 R'₂에 대응하는 참조 화상군 {R₁, R₃}을 선출한다(스텝 235). 이 후, 도 20의 처리를 행한다.

여기서는, R₁, R₃의 경우에는 스텝 110으로 진행하고, R₂의 경우에는 스텝 151로 진행한다. 스텝 110으로 진행한 경우에는, 제1 실시예와 동일한 처리에 의해 자세 후보 결정 수단(20), 비교 화상 생성 수단(40), 화상 대조 수단(55)은, 최적의 자세를 추정함과 함께 3차원 데이터와 참조 화상 R_k의 최소 거리치를 구한다(스텝 110∼스텝 140). 다음으로, 자세 추정·대조 수단(53)은 화상 번호 k를 1 증가시키고(스텝 151), 화상 번호 k와 화상수 M의 비교를 행하여(스텝 152), 화상 번호 k가 화상수 M 이하인 경우에는, 스텝 240으로 되돌아가 마찬가지의 처리를 행한다. 여기서는, R₁, R₃의 경우에 최소 거리치가 계산된다. 마지막으로, 스텝 152에서 화상 번호 k가 화상수 M 이상으로 되면, 최소 거리치가 가장 작은 참조 화상 R_k를 대조 결과로 한다(스텝 153).

또한, 제5 실시예에서는, 선택하는 대표 화상은 1개로 했지만, 복수 선택해도 된다. 이 경우, 각 대표 화상에 대응하는 참조 화상군의 합병 집합을 참조 화상군으로 한다.

본 실시예에서는, 물체의 3차원 데이터를 계측하고, 자세나 조명 조건을 보정하면서 3차원 데이터와 참조 화상을 대조하기 때문에, 각 물체의 참조 화상이 자세나 조명 등 상이한 조건으로 촬영되어 있는 경우에도, 고정밀도로 대조 및 검색을 할 수 있다. 또한, 대조 시에 물체의 3차원 데이터를 계측하고, 3차원 데이터와 참조 화상을 대조하기 때문에, 각 물체의 3차원 물체 모델이 미리 얻어지지 않았거나, 참조 화상이 1매 내지 수매밖에 존재하지 않는 경우에도, 고정밀도로 대조 및 검색을 할 수 있다. 또한, 대표 화상과의 대조에 의해 참조 화상을 선출하기 때문에, 고속의 검색을 할 수 있다.

또한, 제1∼제5 실시예에서는, 3차원 데이터(모델)는 물체 표면의 3차원 공간(x, y, z) 내에서의 형상과 텍스쳐를 정보로 하여 가지고 있다고 했지만, 동등한 정보가 얻어지면 이것에 한하는 것은 아니다. 예를 들면, 임의의 방향으로부터의 물체 표면에의 거리를 화상으로서 표현한 거리 화상과 해당 방향으로부터 촬영한 텍스쳐 화상 등이어도 된다.

여기서, 본 발명의 화상 대조 시스템은, 구성 요소인 각 수단의 기능을 하드웨어적으로 실현할 수 있는 것은 물론, 상기 제1∼제5 실시예의 각 수단의 기능을 실행하는 화상 대조 프로그램(어플리케이션)을 컴퓨터 처리 장치의 메모리에 로드하여 컴퓨터 처리 장치를 제어함으로써 실현할 수 있다. 이 화상 대조 프로그램은 자기 디스크, 반도체 메모리, 그 밖의 기록 매체에 저장하고, 그 기록 매체로부터 컴퓨터 처리 장치에 로드하여, 컴퓨터 처리 장치의 동작을 제어함으로써 전술한 각 기능을 실현한다.

본 발명은, 데이터베이스로부터 사람의 얼굴 등의 물체의 화상을 검색하는 화상 대조 시스템이나, 화상 대조 시스템을 컴퓨터에서 실현하기 위한 프로그램이라고 하는 용도로 적용할 수 있다.

또한, 네트워크나 인터넷 상에 존재하는 사람의 얼굴 등의 물체의 화상을 검색한다고 하는 용도로도 적용 가능하다. 또한, 신분 증명 사진 등의 화상과 그것을 보유하는 인물이 동일 인물인지를 판정한다고 하는 용도에도 적합하게 사용하는 것이 가능하다.

Claims

물체의 3차원 데이터를 입력하는 3차원 데이터 입력 수단과,

적어도 1개의 물체의 참조 화상을 기억하는 참조 화상 기억 수단과,

상기 물체의 자세의 후보인 자세 후보를 적어도 1개 생성하는 자세 후보 결정 수단과,

상기 자세 후보에 따라서 상기 3차원 데이터를 2차원의 화상에 사영하면서 상기 참조 화상에 가까운 비교 화상을 적어도 1개 생성하는 비교 화상 생성 수단과,

상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 화상 대조 수단

을 구비하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

상기 화상 대조 수단은,

상기 참조 화상과 상기 비교 화상 간의 상기 거리치 및 상기 유사도 중 어느 한쪽을 연산하는 연산 수단과,

거리치가 가장 작은 최소 거리치 및 유사도가 가장 큰 최대 유사도 중 어느 한쪽을 선출하는 선출 수단과,

상기 최소 거리치와 임계치의 비교 결과, 및 상기 최대 유사도와 임계치의 비교 결과 중 어느 한쪽에 기초하여 대조를 행하는 대조 수단

을 구비하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

상기 비교 화상 생성 수단은, 참조 화상마다 참조 화상에 가까운 비교 화상을 생성하고,

상기 화상 대조 수단은,

참조 화상마다 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 연산 수단과,

참조 화상마다 거리치가 가장 작은 최소 거리치 및 유사도가 가장 큰 최대 유사도 중 어느 한쪽을 선출하는 선출 수단과,

상기 최소 거리치 중 가장 작은 최소 거리치의 참조 화상, 및 상기 최대 유사도 중 가장 큰 최대 유사도의 참조 화상 중 어느 한쪽을 대조 결과로 하는 대조 수단

을 구비하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

상기 참조 화상에 대응하는 보정 계수를 기억하는 참조 보정 계수 기억 수단과,

상기 보정 계수를 이용하여 상기 최소 거리치 및 상기 최대 유사도 중 어느 한쪽을 보정하는 보정 수단

을 더 구비하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

상기 참조 화상에 대응하는 가중 계수를 기억하는 참조 가중 계수 기억 수단

을 더 구비하고,

상기 화상 대조 수단은, 상기 참조 화상에 대응하는 가중 계수를 이용하여, 상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 연산 수단

을 구비하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

표준 3차원 물체 모델에 대응하는 표준 3차원 기준점을 기억하는 표준 3차원 기준점 기억 수단과,

표준 3차원 가중 계수를 기억하는 표준 3차원 가중 계수 기억 수단과,

입력된 상기 3차원 데이터로부터 3차원 기준점을 추출하는 3차원 기준점 추출 수단과,

표준 3차원 기준점과 상기 3차원 데이터의 상기 3차원 기준점을 이용하여 상기 표준 3차원 가중 계수와 상기 3차원 데이터의 좌표의 대응을 구하고, 상기 자세 후보에 따라서 상기 표준 3차원 가중 계수를 2차원의 가중 계수로 변환하는 입력 가중 계수 수단

을 더 구비하고,

상기 화상 대조 수단은, 변환된 상기 2차원의 가중 계수를 이용하여 상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 연산 수단을 구비하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

상기 3차원 물체 모델 중 대표적인 3차원 물체 모델을 대표 3차원 물체 모델로서 기억하는 대표 3차원 물체 모델 기억 수단과,

상기 대표 3차원 물체 모델과 참조 화상의 관련 정보를 기억하는 그룹 기억 수단과,

입력된 상기 3차원 데이터와 상기 대표 3차원 물체 모델의 대조를 행하여, 상기 3차원 데이터에 유사한 대표 3차원 물체 모델을 선택하는 3차원 대조 수단과,

상기 관련 정보를 참조하여, 선택된 상기 대표 3차원 물체 모델에 대응하는 참조 화상을 선출하는 참조 화상 선출 수단

을 더 구비하고,

상기 화상 대조 수단은, 선출된 상기 참조 화상과, 입력된 상기 3차원 데이터와의 대조를 행하는 것을 특징으로 하는 화상 대조 시스템.
제1항에 있어서,

화상 중 대표적인 화상을 대표 화상으로서 기억하는 대표 화상 기억 수단과,

상기 대표 화상과 참조 화상의 관련 정보를 기억하는 그룹 기억 수단과,

입력된 상기 3차원 데이터와 상기 대표 화상의 대조를 행하여, 상기 3차원 데이터에 유사한 대표 화상을 선택하는 대표 화상 선택 수단과,

상기 관련 정보를 참조하여, 선택된 상기 대표 화상에 대응하는 참조 화상을 선출하는 참조 화상 선출 수단

을 더 구비하고,

상기 화상 대조 수단은, 선출된 상기 참조 화상과, 입력된 상기 3차원 데이터와의 대조를 행하는 것을 특징으로 하는 화상 대조 시스템.
제4항에 있어서,

상기 보정 계수는, 대표적인 3차원 물체 모델과 상기 참조 화상 간의 거리치 및 유사도 중 어느 한쪽에 기초하여 결정되는 것을 특징으로 하는 화상 대조 시스템.
물체의 3차원 데이터를 입력하는 스텝과,

상기 물체의 자세의 후보인 자세 후보를 적어도 1개 생성하는 스텝과,

상기 자세 후보에 따라서 상기 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 적어도 1개 생성하는 스텝과,

상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 스텝

을 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

상기 대조를 행하는 스텝은,

상기 참조 화상과 상기 비교 화상 간의 상기 거리치 및 상기 유사도 중 어느 한쪽을 연산하는 스텝과,

거리치가 가장 작은 최소 거리치 및 유사도가 가장 큰 최대 유사도 중 어느 한쪽을 선출하는 스텝과,

상기 최소 거리치와 임계치의 비교 결과, 및 상기 최대 유사도와 임계치의 비교 결과 중 어느 한쪽에 기초하여 대조를 행하는 스텝

을 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

상기 비교 화상을 생성하는 스텝은, 참조 화상마다 참조 화상에 가까운 비교 화상을 생성하는 스텝

을 구비하고,

상기 대조를 행하는 스텝은,

참조 화상마다 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 스텝과,

참조 화상마다 거리치가 가장 작은 최소 거리치 및 유사도가 가장 큰 최대 유사도 중 어느 한쪽을 선출하는 스텝과,

상기 최소 거리치 중 가장 작은 최소 거리치의 참조 화상, 및 상기 최대 유사도 중 가장 큰 최대 유사도의 참조 화상 중 어느 한쪽을 대조 결과로 하는 스텝

을 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

상기 참조 화상에 대응하는 보정 계수를 이용하여 상기 최소 거리치 및 상기 최대 유사도 중 어느 한쪽을 보정하는 스텝

을 더 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

상기 대조를 행하는 스텝은, 상기 참조 화상에 대응하는 가중 계수를 이용하여, 상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 스텝

을 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

입력된 상기 3차원 데이터로부터 3차원 기준점을 추출하는 스텝과,

표준 3차원 물체 모델에 대응하는 표준 3차원 기준점과 상기 3차원 데이터의 3차원 기준점을 이용하여 표준 3차원 가중 계수와 상기 3차원 데이터의 좌표의 대응을 구하고, 상기 자세 후보에 따라서 상기 표준 3차원 가중 계수를 2차원의 가중 계수로 변환하는 스텝

을 더 구비하고,

상기 대조를 행하는 스텝은, 변환된 상기 2차원의 가중 계수를 이용하여 상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 스텝을 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

입력된 상기 3차원 데이터와 상기 3차원 물체 모델 중 대표적인 3차원 물체 모델인 대표 3차원 물체 모델의 대조를 행하여, 상기 3차원 데이터에 유사한 대표 3차원 물체 모델을 선택하는 스텝과,

상기 대표 3차원 물체 모델과 참조 화상 간의 관련을 나타내는 정보를 참조하여, 선택된 상기 대표 3차원 물체 모델에 대응하는 참조 화상을 선출하는 스텝

을 더 구비하고,

상기 대조를 행하는 스텝은, 선출된 상기 참조 화상과, 입력된 상기 3차원 데이터와의 대조를 행하는 스텝을 구비하는 것을 특징으로 하는 화상 대조 방법.
제10항에 있어서,

입력된 상기 3차원 데이터와 화상 중 대표적인 화상인 대표 화상의 대조를 행하여, 상기 3차원 데이터에 유사한 대표 화상을 선택하는 스텝과,

상기 대표 화상과 참조 화상 간의 관련을 나타내는 정보를 참조하여, 선택된 상기 대표 화상에 대응하는 참조 화상을 선출하는 스텝

을 더 구비하고,

상기 대조를 행하는 스텝은, 선출된 상기 참조 화상과, 입력된 상기 3차원 데이터와의 대조를 행하는 스텝을 구비하는 것을 특징으로 하는 화상 대조 방법.
제13항에 있어서,

대표적인 3차원 물체 모델과 상기 참조 화상 간의 거리치 및 유사도 중 어느 한쪽에 기초하여 상기 보정 계수를 결정하는 스텝

을 더 구비하는 것을 특징으로 하는 화상 대조 방법.
물체의 3차원 데이터를 입력하는 수순과,

상기 물체의 자세의 후보인 자세 후보를 적어도 1개 생성하는 수순과,

상기 자세 후보에 따라서 상기 3차원 데이터를 2차원의 화상에 사영하면서 참조 화상에 가까운 비교 화상을 적어도 1개 생성하는 수순과,

상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽에 기초하여 대조를 행하는 수순

을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

상기 대조를 행하는 수순에서,

상기 참조 화상과 상기 비교 화상 간의 상기 거리치 및 상기 유사도 중 어느 한쪽을 연산하는 수순과,

거리치가 가장 작은 최소 거리치 및 유사도가 가장 큰 최대 유사도 중 어느 한쪽을 선출하는 수순과,

상기 최소 거리치와 임계치의 비교 결과, 및 상기 최대 유사도와 임계치의 비교 결과 중 어느 한쪽에 기초하여 대조를 행하는 수순

을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

상기 비교 화상을 생성하는 수순에서, 참조 화상마다 참조 화상에 가까운 비교 화상을 생성하는 수순

을 컴퓨터에 실행시키고,

상기 대조를 행하는 수순에서,

참조 화상마다 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 수순과,

참조 화상마다 거리치가 가장 작은 최소 거리치 및 유사도가 가장 큰 최대 유사도 중 어느 한쪽을 선출하는 수순과,

상기 최소 거리치 중 가장 작은 최소 거리치의 참조 화상, 및 상기 최대 유사도 중 가장 큰 최대 유사도의 참조 화상 중 어느 한쪽을 대조 결과로 하는 수순

을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

상기 참조 화상에 대응하는 보정 계수를 이용하여 상기 최소 거리치 및 상기 최대 유사도 중 어느 한쪽을 보정하는 수순

을 컴퓨터에 더 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

상기 대조를 행하는 수순에서, 상기 참조 화상에 대응하는 가중 계수를 이용하여, 상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 수순

을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

입력된 상기 3차원 데이터로부터 3차원 기준점을 추출하는 수순과,

표준 3차원 물체 모델에 대응하는 표준 3차원 기준점과 상기 3차원 데이터의 3차원 기준점을 이용하여 표준 3차원 가중 계수와 상기 3차원 데이터의 좌표의 대응을 구하고, 상기 자세 후보에 따라서 상기 표준 3차원 가중 계수를 2차원의 가중 계수로 변환하는 수순

을 컴퓨터에 더 실행시키고,

상기 대조를 행하는 수순 중에서, 변환된 상기 2차원의 가중 계수를 이용하여 상기 참조 화상과 상기 비교 화상 간의 거리치 및 유사도 중 어느 한쪽을 연산하는 수순을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

입력된 상기 3차원 데이터와 상기 3차원 물체 모델 중 대표적인 3차원 물체 모델인 대표 3차원 물체 모델의 대조를 행하여, 상기 3차원 데이터에 유사한 대표 3차원 물체 모델을 선택하는 수순과,

상기 대표 3차원 물체 모델과 참조 화상 간의 관련을 나타내는 정보를 참조하여, 선택된 상기 대표 3차원 물체 모델에 대응하는 참조 화상을 선출하는 수순

을 컴퓨터에 더 실행시키고,

상기 대조를 행하는 수순에서, 선출된 상기 참조 화상과, 입력된 상기 3차원 데이터와의 대조를 행하는 수순을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제19항에 있어서,

입력된 상기 3차원 데이터와 화상 중 대표적인 화상인 대표 화상의 대조를 행하여, 상기 3차원 데이터에 유사한 대표 화상을 선택하는 수순과,

상기 대표 화상과 참조 화상 간의 관련을 나타내는 정보를 참조하여, 선택된 상기 대표 화상에 대응하는 참조 화상을 선출하는 수순

을 컴퓨터에 더 실행시키고,

상기 대조를 행하는 수순에서, 선출된 상기 참조 화상과, 입력된 상기 3차원 데이터와의 대조를 행하는 수순을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제22항에 있어서,

대표적인 3차원 물체 모델과 상기 참조 화상 간의 거리치 및 유사도 중 어느 한쪽에 기초하여 상기 보정 계수를 결정하는 수순

을 컴퓨터에 더 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.