KR20090055803A

KR20090055803A - 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법

Info

Publication number: KR20090055803A
Application number: KR1020070122629A
Authority: KR
Inventors: 호요성; 이은경; 김성열
Original assignee: 광주과학기술원
Priority date: 2007-11-29
Filing date: 2007-11-29
Publication date: 2009-06-03
Also published as: US20100309292A1; WO2009069958A3; WO2009069958A2

Abstract

다시점 깊이맵 생성 방법 및 장치, 그리고 다시점 영상에서의 변이값 생성 방법이 개시된다. 본 발명에 따른 다시점 깊이맵 생성 방법은 (a) 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 단계; (b) 깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 단계; (c) 상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 단계; (d) 상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 단계; 및 (e) 상기 구해진 변이값을 이용하여 다시점 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면, 보다 빠른 시간에 다시점 깊이맵을 생성할 수 있으며, 일반적인 스테레오 매칭을 이용하여 생성되는 다시점 깊이맵보다 품질 면에서 향상된 다시점 깊이맵을 생성할 수 있다.

다시점 깊이맵, 스테레오 매칭, 다시점 카메라, 깊이 카메라

Description

다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의 변이값 생성 방법{Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image}

본 발명은 다시점 깊이맵 생성 방법 및 장치, 그리고 다시점 영상에서의 변이값 생성 방법에 관한 것으로, 보다 상세하게는 깊이 카메라에 의해 획득된 깊이 정보를 이용하여 보다 빠른 시간에 고품질의 다시점 깊이맵을 생성할 수 있는 다시점 깊이맵 생성 방법 및 장치, 그리고 다시점 영상에서의 변이값 생성 방법에 관한 것이다.

피사체로부터 3차원 정보를 획득하는 방법은 크게 능동적 방법과 수동적 방법으로 구분할 수 있다. 능동적 방법은 3차원 스캐너를 이용한 방법, 구조화된 광선 패턴을 이용한 방법, 깊이 카메라 등의 능동적인 방법 등이 있다. 이 경우 실시간으로 3차원 정보를 비교적 정확하게 획득할 수 있지만, 장비가 고가이고 깊이 카메라를 제외하고는 동적 객체나 장면의 모델링이 불가능하다는 문제가 있었다.

수동적인 방법으로는 양안식 스테레오 영상을 이용하는 스테레오 매칭(Stereo Matching) 방법과 실루엣 기반 방법, 부피 기반 모델링 방법인 복셀 컬 러링 방법(Voxel Coloring), 카메라 이동에 의해 촬영된 여러 시점의 정적 객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추정 방법(Shape from Motion), 음영 정보를 이용한 모양 추정 방법(Shape from Shading) 등이 있다.

특히, 스테레오 매칭 방법은 스테레오 영상으로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 영상으로부터 3차원 영상을 얻기 위해 이용된다. 스테레오 영상은 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 영상, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 영상을 의미한다.

일반적으로 2차원 영상으로부터 3차원 영상을 생성하기 위해서는 2차원 영상의 수직, 수평의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 영상의 변이 정보를 필요로 하는데, 스테레오 매칭은 이러한 변이를 얻기 위해 사용되는 기술이다. 예를 들어 스테레오 영상이 두 대의 좌,우 카메라에 의해 촬영된 좌,우 영상라면, 좌,우 영상 중에 하나를 기준 영상으로, 다른 하나를 탐색 영상으로 정한다. 이러한 경우에 공간상의 동일한 한 점에 대한 기준 영상과 탐색 영상 간의 거리, 즉 좌표의 차이를 변이라고 하는데, 스테레오 매칭 기술을 이용하여 변이를 얻는다.

이러한 수동적 방법은 여러 시점의 광학 카메라로부터 얻어진 영상을 이용하여 3차원 정보를 생성하는 것으로 능동적 방법에 비하여 저가의 비용으로 3차원 정보를 얻을 수 있고, 해상도가 높은 장점이 있다. 그러나 3차원 정보를 계산하는 데 걸리는 시간이 오래 걸리고, 영상의 특성 즉 조명 조건의 변화, 텍스처, 차폐 영역 의 존재로 인하여 깊이 정보의 정확도가 능동적 방법에 비하여 낮은 단점이 있다.

본 발명이 이루고자 하는 기술적 과제는 보다 빠른 시간에 다시점 깊이맵을 생성할 수 있으며, 일반적인 스테레오 매칭을 이용하여 생성되는 다시점 깊이맵보다 품질 면에서 향상된 다시점 깊이맵을 생성할 수 있는 다시점 깊이맵 생성 방법 및 장치를 제공하는 데 있다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 깊이맵 생성 방법은, (a) 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 단계; (b) 깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 단계; (c) 상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 단계; (d) 상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 단계; 및 (e) 상기 구해진 변이값을 이용하여 다시점 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 (b) 단계는, 상기 획득된 깊이 정보로부터 상기 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 추정하고, 상기 추정된 변이값에 따라 상기 좌표를 구할 수 있다. 이때, 상기 변이값은 다음 수학식을 이용하여 추정될 수 있다. 다음 수학식에서 d_x는 상기 변이값, f는 상기 복수 개의 카메라 중 해당 카메라의 초점 거리, B는 상기 해당 카메라와 상기 깊이 카메라의 간격, 그리고 Z는 상기 깊이 정보를 의미한다.

.

또한, 상기 (d) 단계는, (d1) 상기 깊이 카메라에 의해 획득된 영상에서의 상기 동일한 점에 대한 좌표에 대응하는 일정 크기의 윈도우를 설정하는 단계; (d2) 상기 일정 크기의 윈도우에 포함된 화소들과 상기 소정 영역에서의 동일한 크기의 윈도우에 포함된 화소들 간의 유사도를 구하는 단계; 및 (d3) 상기 소정 영역에서 상기 유사도가 가장 큰 윈도우에 대응하는 화소의 좌표를 이용하여 상기 변이값을 구하는 단계를 포함할 수 있다.

또한, 상기 소정 영역은 상기 추정된 좌표를 중심으로 상기 추정된 좌표에 소정 값을 가감한 좌표에 따라 정해지는 영역일 수 있다.

또한, 상기 깊이 카메라와 상기 복수 개의 카메라가 해상도가 같은 경우, 상기 깊이 카메라는 상기 복수 개의 카메라의 배열 가운데에 두 카메라 사이에 배치될 수 있다.

또한, 상기 깊이 카메라와 상기 복수 개의 카메라가 해상도가 다른 경우, 상기 깊이 카메라는 상기 복수 개의 카메라의 배열 가운데에 위치하는 카메라와 인접하게 배치될 수 있다.

또한, 상기 다시점 깊이맵 생성 방법은 (b2) 상기 깊이 카메라에 의해 획득 된 영상 및 깊이 정보를 상기 깊이 카메라와 인접한 상기 카메라에 대응하는 영상 및 깊이 정보로 변환하는 단계를 더 포함하고, 상기 (c) 단계는, 상기 변환된 깊이 정보를 이용하여 상기 좌표를 추정할 수 있다. 이때, 상기 (b2) 단계는, 상기 깊이 카메라와, 상기 깊이 카메라에 인접한 상기 카메라의 내부 및 외부 파라미터를 이용하여 상기 대응하는 영상 및 깊이 정보로 변환할 수 있다.

상기 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 영상에서의 변이값 생성 방법은, (a) 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 단계; (b) 깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 단계; (c) 상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 단계; 및 (d) 상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 단계를 포함하는 것을 특징으로 한다.

상기 또 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 깊이맵 생성 장치는, 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 제1 영상 획득부; 깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 제2 영상 획득부; 상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 좌표 추정부; 및 상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 변이값 생성부; 및 상기 생성된 변이값을 이용하여 다시점 깊이맵을 생성하는 깊이맵 생성부를 포함하는 것을 특징으로 한다.

여기서, 상기 좌표 추정부는, 상기 획득된 깊이 정보로부터 상기 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 추정하고, 상기 추정된 변이값에 따라 상기 좌표를 구할 수 있다.

또한, 상기 변이값 생성부는, 상기 깊이 카메라에 의해 획득된 영상에서의 상기 동일한 점에 대한 좌표에 대응하는 윈도우에 포함된 화소들과, 상기 소정 영역에서의 윈도우에 포함된 화소들 간의 유사도에 따라서, 상기 유사도가 가장 큰 상기 소정 영역에서의 윈도우에 대응하는 화소의 좌표를 이용하여 상기 변이값을 구할 수 있다.

또한, 상기 다시점 깊이맵 생성 장치는 상기 깊이 카메라에 의해 획득된 영상 및 깊이 정보를 상기 깊이 카메라와 인접한 상기 카메라에 대응하는 영상 및 깊이 정보로 변환하는 영상 변환부를 더 포함하고, 상기 좌표 추정부는 상기 변환된 깊이 정보를 이용하여 상기 좌표를 추정할 수 있다. 이때, 상기 영상 변환부는, 상기 깊이 카메라와, 상기 깊이 카메라에 인접한 상기 카메라의 내부 및 외부 파라미 터를 이용하여 상기 대응하는 영상 및 깊이 정보로 변환할 수 있다.

상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 다시점 깊이맵 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상술한 본 발명에 의하면, 보다 빠른 시간에 다시점 깊이맵을 생성할 수 있으며, 일반적인 스테레오 매칭을 이용하여 생성되는 다시점 깊이맵보다 품질 면에서 향상된 다시점 깊이맵을 생성할 수 있다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 다시점 깊이맵 생성 장치의 블록도이다. 도 1을 참조하면, 본 실시예에 따른 다시점 깊이맵 생성 장치는 제1 영상 획득부(110), 제2 영상 획득부(120), 좌표 추정부(130), 변이값 생성부(141), 깊이맵 생성부(150)를 포함하여 이루어진다.

제1 영상 획득부(110)는 복수 개의 카메라들(111-1 내지 111-n)을 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득한다. 도 1에 도시된 바와 같이, 제1 영상 획득부(110)는 복수 개의 카메라들(111-1 내지 111-n), 동기화부(112) 및 제1 영상 저장부(113)를 포함한다. 복수 개의 카메라들(111-1 내지 111-n) 각각과 촬영 대상이 이루는 시점(viewpoint)은 카메라의 위치에 따라 서로 다르며, 이와 같이 서로 다른 시점을 갖는 복수 개의 영상들을 다시점 영상이라 한다. 제 1 영상 획득부(110)를 통해 얻어진 다시점 영상은 그 영상을 이루는 2차원상의 픽셀별 색상 정보를 포함하지만, 3차원 상의 깊이 정보는 포함하지 않는다.

동기화부(112)는 연속적인 동기화 신호를 생성하여, 복수 개의 카메라들(111-1 내지 111-n)과 후술하는 깊이 카메라(121) 사이의 동기(synchronization) 를 제어한다. 제1 영상 저장부(113)는 복수 개의 카메라들(111-1 내지 111-n)에 의해 획득되는 다시점 영상을 저장한다.

제2 영상 획득부(120)는 깊이 카메라(121)를 이용하여 하나의 영상과 3차원 상의 깊이 정보를 획득한다. 도 1에 도시된 바와 같이 제2 영상 획득부(120)는 깊이 카메라(121), 제2 영상 저장부(122) 및 깊이 정보 저장부(123)를 포함한다. 여기에서 깊이 카메라(121)는 레이저나 적외선을 객체나 대상 영역에 비추고, 되돌아 오는 광선을 취득하여 깊이 정보를 실시간으로 얻을 수 있는 장치로서, 촬영 대상으로부터 색상에 대한 영상을 획득하는 색상 카메라(미도시)와, 적외선을 통해 깊이 정보를 센싱하는 깊이 센서(미도시)를 구비한다. 따라서 깊이 카메라(121)는 2차원 상의 픽셀별 색상 정보를 포함하는 하나의 영상과 깊이 정보를 얻는다. 이하에서는 깊이 카메라(121)에 의해 획득된 영상을 제1 영상 획득부(110)에서 얻어진 복수 개의 영상들과 구별하기 위하여 제2 영상이라 부르기로 한다. 깊이 카메라(121)를 통해 획득된 제2 영상은 제2 영상 저장부(122)에 저장되고, 깊이 정보는 깊이 정보 저장부(123)에 저장된다. 깊이 카메라(121)를 통해 획득된 깊이 정보에도 물리적 잡음과 왜곡은 존재할 수 있다. 이러한 물리적 잡음과 왜곡은 소정의 전처리를 통해 완화될 수 있다. 전처리와 관련된 논문으로는 김승만 외 3인의 "Depth video enhancement of haptic interaction using a smooth surface reconstruction"이 있다.

좌표 추정부(130)는 제2 영상과 깊이 정보를 이용하여 공간 상의 동일한 점에 대한 다시점 영상에서의, 즉 제1 영상 획득부(110)에 의해 획득된 복수 개의 영 상들 각각에서의 좌표를 추정한다. 다시 말하면, 제2 영상의 임의의 점에 대하여 복수 개의 카메라들(111-1 내지 111-n)에 의해 얻어진 영상들 각각에서의 그 점에 해당하는 좌표를 추정한다. 이하에서는 좌표 추정부(130)에 의해 추정된 상기 좌표를 편의상 초기 좌표값이라 부르기로 한다.

도 2는 좌표 추정부(130)에 의해 각 영상에서 초기 좌표값이 추정된 결과를 설명하기 위한 도면이다. 도 2를 참조하면, 상단에 깊이 카메라(121)에서 획득된 깊이 정보가 나타나 있는 깊이맵과 색상 영상이 도시되어 있으며, 하단에 제1 영상 획득부(110)의 각 카메라에서 획득된 색상 영상이 도시되어 있다. 그리고, 깊이 카메라(121)에 의해 획득된 색상 영상의 한 점(붉은색)에 상응하는 각 카메라에서의 초기 좌표값들이 각각 (100, 100), (110, 100), …, (150, 100)으로 추정된 결과가 나타나 있다.

좌표 추정부(130)가 초기 좌표값을 추정하는 방법의 일 실시예로는, 공간 상의 동일한 점에 대한 다시점 영상에서의 변이값(이하, 초기 변이값)을 추정하고, 이 초기 변이값에 따라 초기 좌표값을 구할 수 있다. 초기 변이값은 다음 수학식을 이용하여 추정될 수 있다.

여기서, d_x는 초기 변이값, f는 대상 카메라의 초점 거리, B는 기준 카메라(깊이 카메라)와 대상 카메라의 간격(베이스라인 길이), Z는 거리 단위로 주어지는 깊이 정보이다. 변이값은 공간 상의 동일한 점에 대한 두 영상에서의 좌표값의 차이이므로, 초기 좌표값은 해당하는 점의 기준 카메라(깊이 카메라)에서의 좌표에 초기 변이값을 더함으로써 구해진다.

다시 도 1을 참조하면, 변이값 생성부(140)는 좌표 추정부(130)에서 추정된 초기 좌표값 주변의 소정 영역을 탐색함으로써 공간 상의 동일한 점에 대한 다시점 영상, 즉 복수 개의 영상들 각각에서의 변이값을 구한다. 좌표 추정부(130)에서 얻어지는 초기 좌표값 또는 초기 변이값은 깊이 카메라(121)에 의해 얻어진 영상과 깊이 정보에 근거하여 추정된 값으로써 실제의 값과는 유사하나, 정확한 값이 되지는 못한다. 따라서 변이값 생성부(140)는 추정된 초기 좌표값을 근거로, 주변의 소정 영역을 탐색함으로써 정확한 최종의 변이값을 구한다.

도 1에 도시된 바와 같이, 변이값 생성부(140)는, 윈도우 설정부(141), 영역 탐색부(142) 및 변이값 계산부(143)를 포함한다. 도 3은 변이값 생성부(140)에 의해 상기 최종의 변이값이 구해지는 과정을 설명하기 위한 도면이다. 이하에서 도 3을 함께 참조하여 설명한다.

윈도우 설정부(141)는 도 3의 (a)에 도시된 바와 같이, 깊이 카메라(121)에 의해 얻어진 제2 영상의 임의의 점에 대하여 상기 점을 중심으로 하는 일정 크기의 윈도우를 설정한다. 영역 탐색부(142)는 도 3의 (b)에 도시된 바와 같이 다시점 영상을 구성하는 영상들 각각에 대하여 좌표 추정부(130)에서 추정된 초기 좌표값 주변의 소정 영역을 탐색 영역으로 설정한다. 여기서, 탐색 영역은 예를 들어 추정된 초기 좌표값을 중심으로, 초기 좌표값에 소정 값이 가감된 각 좌표값 사이로 설정 될 수 있다. 도 3의 (b)를 참조하면, 가감되는 소정 값을 5로 하여, 초기 좌표값이 100인 경우 좌표값 95에서 105 사이, 초기 좌표값이 110인 경우 좌표값 110에서 115 사이로 설정되는 모습이 나타나 있다. 그리고 이 탐색 영역 내에서 제2 영상에 설정된 윈도우와 동일한 크기의 윈도우를 설정하고 이를 이동시켜 가면서 각 윈도우에 포함된 화소들과 제2 영상에 설정된 윈도우에 포함된 화소들과의 유사도를 비교한다. 여기서, 유사도는 예를 들어 각 윈도우 내의 화소들과 제2 영상의 색상 차이값의 합을 비교하여 구할 수 있다. 그리고 이 유사도가 가장 큰 윈도우, 즉 색상 차이값의 합이 가장 작은 위치의 중심 화소 좌표를 상응점의 최종 좌표로서 구한다. 도 3의 (c)를 참조하면, 상응점의 최종 좌표로서, 각 영상에 대하여 103과 107이 구해진 결과가 나타나 있다.

변이값 계산부(143)는 제2 영상의 임의의 점의 좌표와 상기 구해진 상응점의 좌표의 차이를 최종 변이값으로 결정한다.

여기서, 탐색 영역은 예를 들어 추정된 초기 좌표값을 중심으로, 초기 좌표값에 소정 값이 가감된 각 좌표값 사이로 설정될 수 있다. 도 3의 (b)를 참조하면, 가감되는 소정 값을 5로 하여, 초기 좌표값이 100인 경우 좌표값 95에서 105 사이, 초기 좌표값이 110인 경우 좌표값 110에서 115 사이로 설정되는 모습이 나타나 있다.

다시 도 1을 참조하면, 깊이맵 생성부(150)는 변이값 생성부(141)에서 생성된 각 영상에서의 변이값을 이용하여 다시점 깊이맵을 생성한다. 생성된 변이값을 d_x라고 하면, 깊이값 Z는 다음 수학식을 이용하여 구할 수 있다.

여기서, f는 대상 카메라의 초점 거리, b는 기준 카메라(깊이 카메라)와 대상 카메라의 간격(베이스라인 길이)을 의미한다.

도 4a는 본 발명의 일 실시예에 따라 제1 영상 획득부(110)에 포함되는 다시점 카메라, 즉 복수 개의 카메라들과 제2 영상 획득부(120)에 포함되는 깊이 카메라가 배치된 예를 나타내는 도면이다. 다시점 카메라와 깊이 카메라의 해상도가 같은 경우에 도 1에 도시된 바와 같이, 다시점 카메라와 깊이 카메라가 일렬로 배열되고, 깊이 카메라는 다시점 카메라의 배열 가운데에 두 카메라 사이에 배치되는 것이 바람직하다. 다시점 카메라와 깊이 카메라의 해상도가 같은 경우는 예를 들면, 다시점 카메라와 깊이 카메라 모두 해상도가 SD급이거나, 모두 HD급, 또는 모두 UD급인 경우를 들 수 있다.

도 5는 본 발명의 다른 실시예에 따른 깊이맵 생성 장치의 블록도로서, 다시점 카메라와 깊이 카메라의 해상도가 다른 경우에 적용된다. 다시점 카메라와 깊이 카메라의 해상도가 다른 경우는 예를 들면 해상도가 각각 HD, SD급이거나 UD, SD급, 또는 UD, HD급인 경우를 들 수 있다. 본 실시예의 경우에 깊이 카메라와 다시점 카메라의 배치는 도 4a에서와 같이 함께 일렬로 배치되지 않고, 깊이 카메라가 복수 개의 카메라의 배열 가운데에 위치하는 카메라와 인접하게 배치되는 것이 바 람직하다. 도 4b는 본 발명의 다른 실시예에 따라 제1 영상 획득부(110)에 포함되는 다시점 카메라, 즉 복수 개의 카메라들(111-1 내지 111-n)과 제2 영상 획득부(120)에 포함되는 깊이 카메라(121)가 배치된 예를 나타내는 도면이다. 도 4b를 참조하면, 제1 영상 획득부(110)에 포함되는 복수 개의 카메라들이 일렬로 배열되어 있고, 가운데의 카메라와 인접한 위치, 예를 들면 가운데 카메라의 하단에 깊이 카메라가 놓여질 수 있다. 또한, 깊이 카메라는 가운데 카메라의 상단에 놓여질 수도 있음은 물론이다.

도 1과 비교할 때 도 5에서 새로 추가된 구성 요소인 영상 변환부(160)를 제외한 다른 구성 요소들은 도 1에 관하여 설명된 내용과 동일하므로, 그 설명은 생략하기로 한다. 본 실시예에서, 깊이 카메라(121)의 해상도가 복수 개의 카메라들(111-1 내지 111-n)과 다르므로 깊이 카메라에 의해 획득된 깊이 정보를 직접 이용하여 좌표를 추정할 수 없다. 따라서 영상 변환부(160)는 깊이 카메라(121)에 의해 획득된 영상 및 깊이 정보를 깊이 카메라(121)와 인접한 카메라에 대응하는 영상 및 깊이 정보로 변환한다. 여기서, 편의상 깊이 카메라(121)와 인접한 카메라를 '인접 카메라'라고 표현하기로 한다. 변환 결과 깊이 카메라(121)에 의해 획득된 영상과 인접 카메라에 의해 획득된 영상은 서로 매칭되며, 따라서 인접 카메라의 자리에 깊이 카메라가 존재했더라면 얻어졌을 영상과 깊이 정보가 얻어지게 된다. 이러한 변환은 획득된 영상을 깊이 카메라와 인접 카메라의 해상도 차이를 고려하여 스케일링(scaling)하고, 스케일링된 영상을 깊이 카메라(121)와, 인접 카메라의 내부 및 외부 파라미터를 이용하여 워핑(warping)에 의해 수행할 수 있다.

도 6은 워핑에 의해, 깊이 카메라(121)에 의해 획득된 영상 및 깊이 정보가 인접 카메라에 대응하는 영상 및 깊이 정보로 변환되는 과정을 나타낸 개념도이다. 카메라는 일반적으로 카메라 고유의 특성인 내부 파라미터와 외부 파라미터를 가지고 있다. 내부 파라미터는 카메라의 초점거리와 이미지 중점 좌표값을 의미하고, 외부 파라미터는 타 카메라에 대한 자신의 이동(translation)과 회전(rotation)을 의미한다.

내부 파라미터와 외부 파라미터에 따른 카메라의 기반 행렬 P_n은 다음 수학식에 의해 구해진다.

여기서, 우변의 첫 번째 행렬은 내부 파라미터로 이루어지는 행렬이고, 두 번째 행렬은 외부 파라미터로 이루어지는 행렬이다.

도 6에 도시된 바와 같이 공간 상의 동일한 점에 대한 기준 카메라(깊이 카메라와 대상 카메라(인접 카메라)에서의 좌표/깊이값을 각각 p₁(x₁,y₁,z₁), p₂(x₂,y₂,z₂)라 하면, 대상 카메라에서의 좌표값은 다음 수학식을 이용하여 구할 수 있다.

즉, 기준 카메라의 좌표/깊이값에 기준 카메라의 기반 행렬의 역행렬과 대상 카메라의 기반 행렬을 곱하게 되면 대상 카메라에서의 좌표값과 깊이값을 구할 수 있다. 따라서 인접 카메라에 대응하는 영상 및 깊이 정보가 얻어지게 된다.

본 실시예서 좌표값 추정부(130)는 영상 변환부(160)에서 변화된 영상 및 깊이 정보를 이용하여 도 1에 관하여 설명된 내용과 마찬가지로 공간 상의 동일한 점에 대한 다시점 영상에서의, 즉 제1 영상 획득부(110)에 의해 획득된 복수 개의 영상들 각각에서의 좌표를 추정한다. 또한, 윈도우 설정부(141)에서 윈도우를 설정하는 기준이 되는 영상은 물론 영상 변환부(160)에 의해 변환된 영상이 된다.

도 7은 본 발명의 일 실시예에 따른 다시점 깊이맵 생성 방법의 흐름도로써 깊이 카메라와 다시점 카메라의 해상도가 동일한 경우의 흐름도이다. 도 8a은 본 실시예에 따라 다시점 깊이맵을 생성하는 방법을 나타낸 개념도이다. 본 실시예에 따른 다시점 깊이맵 생성 방법은 도 1에 관하여 설명된 다시점 깊이맵 생성 장치에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1에 관하여 기술된 내용은 본 실시예에 따른 다시점 깊이맵 생성 방법에도 적용된다.

다시점 깊이맵 생성 장치는 710단계에서 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하고, 720단계에서 깊이 카메라를 이용하여 하나의 영상과 깊이 정보를 획득한다.

그리고 730단계에서, 다시점 깊이맵 생성 장치는 상기 720단계에서 획득된 깊이 정보를 이용하여 공간 상의 동일한 점에 대하여 상기 710단계에서 획득된 복수 개의 영상들 각각에서의 초기 좌표값을 추정한다.

740단계에서 다시점 깊이맵 생성 장치는 상기 730단계에서 추정된 초기 좌표값 주변의 소정 영역을 탐색함으로써 710단계에서 획득된 복수 개의 영상들 각각에서의 최종 변이값을 구한다.

750단계에서 다시점 깊이맵 생성 장치는 740단계에서 구해진 최종 변이값을 이용하여 다시점 깊이맵을 생성한다.

도 9는 본 발명의 일 실시예에 따라 도 7의 740단계, 즉 최종 변이값을 구하는 방법을 보다 상세히 나타낸 흐름도이다. 본 실시예에 따른 방법은 도 1에 관하여 설명된 다시점 깊이맵 생성 장치의 변이값 생성부(140)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1의 변이값 생성부(140)에 관하여 기술된 내용은 본 실시예에 따라 최종 변이값을 구하는 방법에도 적용된다.

910단계에서, 깊이 카메라에 의해 획득된 영상에서의 임의의 점에 대한 좌표에 대응하는 일정 크기의 윈도우를 설정한다.

920단계에서, 상기 910단계에서 설정된 윈도우에 포함된 화소들과 초기 좌표값 주변의 소정 영역에서 동일한 크기의 윈도우에 포함된 화소들 간의 유사도를 구한다.

930단계에서, 초기 좌표값 주변의 소정 영역의 각 윈도우 중 유사도가 가장 큰 윈도우에 대응하는 화소의 좌표값을 최종 좌표값으로 구하고, 최종 좌표값을 이 용하여 최종 변이값을 구한다.

도 10은 본 발명의 다른 실시예에 따른 다시점 깊이맵 생성 방법의 흐름도로써 깊이 카메라와 다시점 카메라의 해상도가 다른 경우의 흐름도이다. 도 8b는 본 실시예에 따라 다시점 깊이맵을 생성하는 방법을 나타낸 개념도이다. 본 실시예에 따른 다시점 깊이맵 생성 방법은 도 6에 관하여 설명된 다시점 깊이맵 생성 장치에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 6에 관하여 기술된 내용은 본 실시예에 따른 다시점 깊이맵 생성 방법에도 적용된다.

한편, 도 10에서 1010단계, 1020단계, 1040단계 및 1050단계는 도 7에서 설명된 710단계, 720단계, 740단계 및 750단계와 동일하므로 설명은 생략하기로 한다.

1020단계 다음, 1025단계에서 다시점 깊이맵 생성 장치는 깊이 카메라에 의해 획득된 영상 및 깊이 정보를 깊이 카메라와 인접한 카메라에 대응하는 영상 및 깊이 정보로 변환한다.

1030단계에서 다시점 깊이맵 생성 장치는 상기 1025단계에서 변환된 깊이 정보를 이용하여 공간 상의 동일한 점에 대한 복수 개의 영상들 각각에서의 좌표를 추정한다.

또한, 본 실시예에서 상기된 1040단계의 구체적인 실시예는 도 9에 나타난 바와 실질적으로 동일하며, 다만 상기된 910단계에서 윈도우가 설정되는 기준 영상이 깊이 카메라에 의해 획득된 영상이 아니라, 상기된 1025단계에서 변환된 영상에서 윈도우가 설정된다.

상술한 본 발명에 의하면, 공간 상의 동일한 점에 대하여 추정된 초기 좌표값을 기준으로 하는 소정 영역만을 탐색하여 변이값을 구하기 때문에 보다 빠른 시간에 다시점 깊이맵을 생성할 수 있다. 또한, 초기 좌표값은 깊이 카메라를 통하여 얻어진 정확한 깊이 정보를 이용하여 추정된 값이므로 일반적인 스테레오 매칭을 이용하여 생성되는 다시점 깊이맵보다 품질면에서 향상된 다시점 깊이맵을 생성할 수 있다. 또한, 깊이 카메라와 다시점 카메라의 해상도가 다른 경우에 깊이 카메라와 인접한 카메라에 대응하는 영상 및 깊이 정보로 변환하고, 이 변환된 깊이 정보와 영상에 따라서 초기 좌표값을 추정함으로써 깊이 카메라와 다시점 카메라의 해상도가 다르더라도, 다시점 카메라와 같은 해상도를 가지는 다시점 깊이맵을 생성할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관 점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 다시점 깊이맵 생성 장치의 블록도이다.

도 2는 좌표 추정부에 의해 각 영상에서 초기 좌표값이 추정된 결과를 설명하기 위한 도면이다.

도 3은 변이값 생성부에 의해 상기 최종의 변이값이 구해지는 과정을 설명하기 위한 도면이다.

도 4a는 본 발명의 일 실시예에 따라 제1 영상 획득부에 포함되는 다시점 카메라와 제2 영상 획득부에 포함되는 깊이 카메라가 배치된 예를 나타내는 도면이다.

도 4b는 본 발명의 다른 실시예에 따라 제1 영상 획득부에 포함되는 다시점 카메라와 제2 영상 획득부에 포함되는 깊이 카메라가 배치된 예를 나타내는 도면이다.

도 5는 본 발명의 다른 실시예에 따른 깊이맵 생성 장치의 블록도이다.

도 6은 기준 카메라의 영상 및 깊이 정보가 대상 카메라에 대응하는 영상 및 깊이 정보로 변환되는 과정을 나타내는 개념도이다.

도 7은 본 발명의 일 실시예에 따른 다시점 깊이맵 생성 방법의 흐름도이다.

도 8a은 도 7의 실시예에 따라 다시점 깊이맵을 생성하는 방법을 나타낸 개념도이다.

도 8b는 도 10의 실시예에 따라 다시점 깊이맵을 생성하는 방법을 나타낸 개념도이다.

도 9는 본 발명의 일 실시예에 따라 도 7의 740단계, 즉 최종 변이값을 구하는 방법을 보다 상세히 나타낸 흐름도이다.

도 10은 본 발명의 다른 실시예에 따른 다시점 깊이맵 생성 방법의 흐름도이다.

Claims

(a) 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 단계;

(b) 깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 단계;

(c) 상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 단계;

(d) 상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 단계; 및

(e) 상기 구해진 변이값을 이용하여 다시점 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제1항에 있어서,

상기 (b) 단계는, 상기 획득된 깊이 정보로부터 상기 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 추정하고, 상기 추정된 변이값에 따라 상기 좌표를 구하는 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제2항에 있어서,

상기 변이값은 다음 수학식을 이용하여 추정되는 것을 특징으로 하는 다시점 깊이맵 생성 방법.

.

여기서, d_x는 상기 변이값, f는 상기 복수 개의 카메라 중 해당 카메라의 초점 거리, B는 상기 해당 카메라와 상기 깊이 카메라의 간격, 그리고 Z는 상기 깊이 정보를 의미한다.
제1항에 있어서, 상기 (d) 단계는,

(d1) 상기 깊이 카메라에 의해 획득된 영상에서의 상기 동일한 점에 대한 좌표에 대응하는 일정 크기의 윈도우를 설정하는 단계;

(d2) 상기 일정 크기의 윈도우에 포함된 화소들과 상기 소정 영역에서의 동일한 크기의 윈도우에 포함된 화소들 간의 유사도를 구하는 단계; 및

(d3) 상기 소정 영역에서 상기 유사도가 가장 큰 윈도우에 대응하는 화소의 좌표를 이용하여 상기 변이값을 구하는 단계를 포함하는 것을 특징을 하는 다시점 깊이맵 생성 방법.
제1항에 있어서,

상기 소정 영역은 상기 추정된 좌표를 중심으로 상기 추정된 좌표에 소정 값을 가감한 좌표에 따라 정해지는 영역인 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제1항에 있어서,

상기 깊이 카메라와 상기 복수 개의 카메라가 해상도가 같은 경우, 상기 깊이 카메라는 상기 복수 개의 카메라의 배열 가운데에 두 카메라 사이에 배치되는 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제1항에 있어서,

상기 깊이 카메라와 상기 복수 개의 카메라가 해상도가 다른 경우, 상기 깊이 카메라는 상기 복수 개의 카메라의 배열 가운데에 위치하는 카메라와 인접하게 배치되는 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제7항에 있어서,

(b2) 상기 깊이 카메라에 의해 획득된 영상 및 깊이 정보를 상기 깊이 카메라에 인접한 상기 카메라에 대응하는 영상 및 깊이 정보로 변환하는 단계를 더 포함하고,

상기 (c) 단계는, 상기 변환된 깊이 정보를 이용하여 상기 좌표를 추정하는 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제8항에 있어서,

상기 (b2) 단계는, 상기 깊이 카메라와, 상기 깊이 카메라에 인접한 상기 카메라의 내부 및 외부 파라미터를 이용하여 상기 대응하는 영상 및 깊이 정보로 변 환하는 것을 특징으로 하는 다시점 깊이맵 생성 방법.
제1항 내지 제10항 중 어느 한 항에 기재된 다시점 깊이맵 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
(a) 복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 단계;

(b) 깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 단계;

(c) 상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 단계; 및

(d) 상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 단계를 포함하는 것을 특징으로 하는 다시점 영상에서의 변이값 생성 방법.
복수 개의 카메라를 이용하여 복수 개의 영상들로 구성되는 다시점 영상을 획득하는 제1 영상 획득부;

깊이 카메라를 이용하여 영상과 깊이 정보를 획득하는 제2 영상 획득부;

상기 획득된 깊이 정보를 이용하여, 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 좌표를 추정하는 좌표 추정부; 및

상기 추정된 좌표 주변의 소정 영역을 탐색함으로써 상기 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 구하는 변이값 생성부; 및

상기 생성된 변이값을 이용하여 다시점 깊이맵을 생성하는 깊이맵 생성부를 포함하는 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제12항에 있어서,

상기 좌표 추정부는, 상기 획득된 깊이 정보로부터 상기 공간 상의 동일한 점에 대한 상기 복수 개의 영상들 각각에서의 변이값을 추정하고, 상기 추정된 변이값에 따라 상기 좌표를 구하는 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제13항에 있어서,

상기 변이값은 다음 수학식을 이용하여 추정되는 것을 특징으로 하는 다시점 깊이맵 생성 장치.

.

여기서, d_x는 상기 변이값, f는 상기 복수 개의 카메라 중 해당 카메라의 초점 거리, B는 상기 해당 카메라와 상기 깊이 카메라의 간격, 그리고 Z는 상기 깊이 정보를 의미한다.
제12항에 있어서,

상기 변이값 생성부는, 상기 깊이 카메라에 의해 획득된 영상에서의 상기 동 일한 점에 대한 좌표에 대응하는 윈도우에 포함된 화소들과, 상기 소정 영역에서의 윈도우에 포함된 화소들 간의 유사도에 따라서, 상기 유사도가 가장 큰 상기 소정 영역에서의 윈도우에 대응하는 화소의 좌표를 이용하여 상기 변이값을 구하는 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제12항에 있어서,

상기 소정 영역은 상기 추정된 좌표를 중심으로 상기 추정된 좌표에 소정 값을 가감한 좌표에 따라 정해지는 영역인 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제12항에 있어서,

상기 깊이 카메라와 상기 복수 개의 카메라가 해상도가 같은 경우, 상기 깊이 카메라는 상기 복수 개의 카메라의 배열 가운데에 두 카메라 사이에 배치되는 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제12항에 있어서,

상기 깊이 카메라와 상기 복수 개의 카메라가 해상도가 다른 경우, 상기 깊이 카메라는 상기 복수 개의 카메라의 배열 가운데에 위치하는 카메라와 인접하게 배치되는 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제18항에 있어서,

상기 깊이 카메라에 의해 획득된 영상 및 깊이 정보를 상기 깊이 카메라와 인접한 상기 카메라에 대응하는 영상 및 깊이 정보로 변환하는 영상 변환부를 더 포함하고,

상기 좌표 추정부는 상기 변환된 깊이 정보를 이용하여 상기 좌표를 추정하는 것을 특징으로 하는 다시점 깊이맵 생성 장치.
제19항에 있어서,

상기 영상 변환부는, 상기 깊이 카메라와, 상기 깊이 카메라에 인접한 상기 카메라의 내부 및 외부 파라미터를 이용하여 상기 대응하는 영상 및 깊이 정보로 변환하는 것을 특징으로 하는 다시점 깊이맵 생성 장치.