KR101181199B1 - 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 - Google Patents

Abstract

배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체를 공개한다. 본 발명은 이미지 시퀀스를 기반으로 하는 지형 지오메트리를 이용하여 초기 메쉬가 생성되는 초기 메쉬 생성 단계, 투영 맵이 생성되고, 생성된 상기 투영 맵을 이용하여 상기 초기 메쉬의 오류 영역이 판별되고, 판별된 상기 오류 영역에 대한 벡터 맵이 생성되어 상기 초기 메쉬의 오류가 수정된 수정 메쉬가 생성되는 지오메트리 오류 수정 단계, 및 상기 수정 메쉬를 이용하여 입체 영상이 생성되는 입체 변환 단계를 구비한다. 따라서 메쉬를 기반으로 입체 영상을 생성하므로, 지오메트리가 복잡할 지라도 지형 형상을 고정할 수 있으며, 깊이 맵의 시간 일관성을 가질 수 있고, 메쉬 편집이 용이하며, 지형에서 이음매 없이 새로운 요소를 추가하기에 적합하여, 입체 영상을 보는 관람객이 빨리 피로해지지 않도록 할 수 있다.

Description

배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체{Stereoscopic image generation method of background terrain scenes, system using the same and recording medium for the same}

본 발명은 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체에 관한 것으로, 특히 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체에 관한 것이다.

3차원(이하 3D) 디스플레이 기술의 발전에 따라 3D 입체 이미지에 대한 수요가 급격히 증가하고 있다. 특히 최근 출시된 영화의 대부분은 3D 입체로 제작되고 있다. 일반적으로 입체 효과는 서로 다른 레이어(layer)에 각각 다른 깊이를 지정하여 실제와 유사한 영상을 관객에게 제공할 수 있다.

영화에서 이용되는 다양한 배경은 대부분 하늘에서 비행기나 헬리콥터를 이용하여 캡처된다. 그러나 비행기나 헬리콥터에서 입체 카메라 장비(stereo camera rig)로 배경과 같은 장면(scenes)을 촬영하는 것은 극히 어렵다. 입체 복원은 카메라의 정확한 교정을 요구하며, 이 교정은 매우 민감한 작업이다. 따라서 헬리콥터와 같은 엔진의 진동 환경에서는 카메라들의 정렬이 용이하지 않으므로, 이러한 교정 작업이 더욱 어렵다. 이에 입체 이미지를 만들기 위한 대안으로 하나의 카메라로 배경이 되는 지형 장면을 촬영하고, 촬영된 지형을 3D로 변환하는 방법이 현재 주로 이용되고 있다.

2차원(이하 2D) 영상에서 3D 영상으로의 변환은 두 가지 다른 접근 방법이 있다. 하나는 이미지 기반의 접근 방법이고, 다른 하나는 지오메트리(geometry) 기반의 접근 방법이다. 일반적으로 지형 장면에서 2D를 3D로 변환할 때는 지오메트리 기반의 접근 방식이 이미지 기반의 접근 방식보다 더 적합하다. 이미지 기반의 접근 방식은 지형 이외의 다른 객체와의 합성에 적합하지 않고, 깊이 정보를 수정하기 어렵다는 문제가 있다. 지오메트리 기반 접근 방식의 주요 장점 중 하나는 영상에 시간 일관성이 쉽게 적용된다는 것이고, 따라서 지형 지오메트리를 사용하여 내부 객체(inter-object) 깊이에 대한 정확한 데이터를 제공한다.

이미지를 사용하여 지형 지오메트리 만드는 방법에 대한 몇 가지 기존 방법이 있지만, 대부분은 객체를 합성하기 위한 지형 적용에 주된 목적이 있다. 따라서 이러한 방법은 가상 캐릭터가 배치 될 수 있는 평탄한(smooth) 표면을 재현하는 것을 목적으로 하고, 평탄하고 관리가 용이한 지오메트리가 주는 이득을 위해 작은 오류는 무시했다. 그러나 지형 지오메트리에서 작은 오류는 가상 이미지의 생성에 큰 영향을 미친다. 만일 영화에 이런 오류가 오래 지속되면 관객의 시각적 피로를 야기할 수 있다. 따라서 이 오류를 최소화하기 위해 지형 지오메트리를 개량해야 한다.

깊이 정보는 내부 객체 깊이와 내적 객체(inner-object) 깊이의 두 가지 유형으로 구분될 수 있다. 내부 객체 깊이는 장면(scene)에서 두 객체 사이의 상대적인 깊이를 나타내며, 내부 객체 깊이에서 오류는 두드러진 시각적 인위성(visual artifacts)을 만들어낼 수 있으므로, 객체들의 경계에서 특히 중요하게 된다. 내적 객체는 단일 개체 영역 내에서 깊이 변화를 의미한다. 많은 2D에서 3D변환 알고리즘은 내부 객체를 재현하지만 소위 카드 보드 효과(Card board effect)에서 자주 발생하는 내적 객체 깊이는 무시한다. 내부 객체 깊이의 수작업(manual) 재현은 장면 객체를 로토-스코핑(roto-scoping)하여 쉽게 이룰 수 있으며, 2D에서 3D 변환 시에 일반적으로 행해지고 있다. 그러나 내적 객체 깊이는 정확한 깊이를 얻기 어렵다. 큰 지형이 있는 장면에서, 지형은 종종 평탄하게 변화한다. 따라서 지오메트리를 재현하기 위해서 내적 객체 깊이를 주로 사용한다.

본 발명의 목적은 배경 지형 장면의 입체 이미지 생성 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 배경 지형 장면의 입체 이미지 생성 방법은 이미지 시퀀스를 기반으로 하는 지형 지오메트리를 이용하여 초기 메쉬가 생성되는 초기 메쉬 생성 단계, 투영 맵이 생성되고, 생성된 상기 투영 맵을 이용하여 상기 초기 메쉬의 오류 영역이 판별되고, 판별된 상기 오류 영역에 대한 벡터 맵이 생성되어 상기 초기 메쉬의 오류가 수정된 수정 메쉬가 생성되는 지오메트리 오류 수정 단계, 및 상기 수정 메쉬를 이용하여 입체 영상이 생성되는 입체 변환 단계를 구비한다.

상기 목적을 달성하기 위한 초기 메쉬 생성 단계는 방사형 기본 함수 기법을 사용하여 상기 초기 메쉬를 생성하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 지오메트리 오류 수정 단계는 상기 투영 맵을 이용하여 상기 초기 메쉬의 복수개의 특징점이 추출되는 특징점 추출 단계, 상기 복수개의 특징점 중 슬라이딩하는 특징점이 상기 초기 메쉬의 오류 영역으로 판별되고, 상기 오류 영역이 수정되도록 상기 슬라이딩하는 특징점을 고정하기 위한 복수개의 벡터가 생성되어 상기 벡터 맵이 생성되는 벡터 맵 생성 단계, 및 상기 벡터 맵을 이용하여 상기 수정 메쉬가 생성되는 메쉬 수정 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 특징점 추출 단계는 상기 이미지 시퀀스의 각 프레임에 대한 상기 초기 메쉬에 상기 이미지 시퀀스를 투영하여 텍스처 맵이 생성되는 텍스처 맵 생성 단계, 상기 초기 메쉬에서 각 프레임에 대해 보이는 영역과 보이지 않는 영역이 나타나도록 광 추적 기법을 사용하여 가시성 맵이 생성되는 가시성 맵 생성 단계, 상기 텍스처 맵과 상기 가시성 맵이 합성되어 상기 투영 맵이 생성되는 투영 맵 생성 단계, 및 상기 투영 맵에 대해 SIFT가 적용되어 상기 복수개의 특징점이 추출되는 SIFT 적용 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 벡터 맵 생성 단계는 상기 가시성 맵에 의해 상기 초기 메쉬의 비가시 영역이 판별되면, 상기 비가시영역 및 상기 비가시영역 주변의 상기 특징점이 배제되는 특징점 배제 단계, 상기 복수개의 특징점 중 상기 배제된 특징점을 제외한 나머지 특징점 각각이 움직이는지 여부가 판별되는 특징점 판별 단계, 상기 특징점 판별 단계에서 판별된 움직이는 특징점 각각이 배치되어야 하는 위치가 판별되는 위치 판별 단계, 상기 판별된 위치에 상기 움직이는 특징점 각각이 고정되도록 상기 특징점을 이동시키기 위한 복수개의 벡터가 생성되어 벡터 맵이 생성되는 벡터 생성 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 위치 판별 단계는 삼각 측량 방법을 통해 배치되어야 하는 위치가 판별되는 것을 특징으로 한다.

상기 목적을 달성하기 위한 입체 변환 단계는 상기 수정 메쉬를 사용하여 깊이-맵을 만든 후 입체 이미지를 생성하는 입체 이미지 생성 단계, 및 움직이는 객체를 기준으로 하여 최종 깊이 맵을 생성하고, 생성된 최종 깊이 맵을 기초로 입체 이미지 상의 객체의 깊이를 조절하는 객체 깊이 이동 단계를 구비하는 것을 특징으로 한다.

따라서, 본 발명의 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체는 메쉬를 기반으로 입체 영상을 생성하므로, 지오메트리가 복잡할 지라도 지형 형상을 고정할 수 있으며, 깊이 맵의 시간 일관성을 가질 수 있고, 메쉬 편집이 용이하며, 지형에서 이음매 없이 새로운 요소를 추가하기에 적합하여, 입체 영상을 보는 관람객이 빨리 피로해지지 않도록 할 수 있다.

도 1은 본 발명의 일예에 따른 지형 지오메트리를 이용하는 입체 이미지 생성 방법을 나타내는 도면이다.
도 2는 도 1의 지오메트리 오류 수정 단계를 상세하게 나타내는 도면이다.
도 3은 텍스처 맵과 가시성 맵을 합성하여 투영 맵을 생성하는 방법의 일예를 나타내는 도면이다.
도 4는 초기 메쉬의 텍스처 맵을 이용하여 오류 영역을 찾는 방법의 일예를 설명하기 위한 도면이다.
도 5는 삼각 측량법의 일예를 나타내는 도면이다.
도 6은 도 1의 입체 변환 단계를 나타내는 도면이다.
도 7은 본 발명의 지형 지오메트리의 자동 입체 변환 방법에 따라 영상이 입체 이미지로 변화되는 전체 과정에 대한 실시예를 나타내는 도면이다.
도 8 및 도 9는 본 발명에 따라 입체 변환된 영상을 나타내는 도면이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명의 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체는 지오메트리를 사용하여 내적 객체 깊이 정보 및 내부 객체 깊이 정보 양쪽을 획득할 수 있으므로, 지형 풍경 이미지의 시퀀스에서 정확한 3D 지오메트리 모델을 재구성할 수 있도록 한다.

도 1은 본 발명의 일예에 따른 지형 지오메트리를 이용하는 입체 이미지 생성 방법을 나타내는 도면이다. 도 1을 참고하면, 본 발명에 따른 지형 지오메트리를 이용하는 입체 이미지 생성 방법은 초기 메쉬 생성 단계(S100), 지오메트리 오류 수정 단계(S200) 및 입체 변환 단계(S300)를 구비한다.

초기 메쉬 생성 단계(S100)는 지형 지오메트리를 생성하기 위한 초기 메쉬(initial mesh)를 생성한다. 초기 메쉬를 생성하는 방법은 여러 가지가 있으나, 본 발명에서는 일예로 이미지 시퀀스(image sequence)를 기반으로 하는 지형 지오메트리를 사용하여 초기 메쉬를 생성한다. 지형 지오메트리를 사용하여 초기 메쉬를 생성하는 방법은 방사형 기본 함수(Radial Basis Function : RBF) 기법을 사용한다. 방사형 기본 함수 방식은 주변 지점으로부터 높이가 판별되므로, 평탄한 2변량(bivariate) 지형 높이를 찾기 위한 적절한 방법으로 빈 공간을 메우므로, 평탄한 메쉬를 만들 수 있습니다. 따라서 평탄한 지형 지오메트리를 만들 수 있다. 그러나 이 메쉬는 오차를 내포하고 있으므로 2D에서 3D로의 변환 시에 정확한 입체를 생성하기 어렵게 한다. 그러므로 이 메쉬를 사용하여 입체 이미지를 만드는 경우, 해석 깊이와 실제 깊이 사이에 차이가 발생하여, 영상을 보는 관객을 쉽게 피로하게 만든다. 따라서 2D에서 3D로의 변환을 위해서는 초기 메쉬를 교정해야한다.

지오메트리 오류 수정 단계(S200)는 초기 메쉬를 수정하는 단계로서, 본 발명에서는 투영 맵(projection map)을 이용하여 메쉬의 오류를 교정한다. 초기 메쉬 상의 오류를 교정하기 위해서는 먼저 초기 메쉬 상에 존재하는 오류 영역을 판별하는 작업이 선행되어야 한다. 투영 맵은 오류 영역을 판별하기 위하여 사용되는 맵으로서 초기 메쉬 및 이미지 시퀀스를 사용하여 생성할 수 있다. 투영 맵은 정확히는 초기 메쉬의 텍스처 맵(texture map)이다. 투영 맵 상에서 특정 메쉬에 대한 텍스처가 고정되어 움직이지 않는다면, 해당 메쉬는 올바른 영역의 메쉬인 것을 나타내며, 텍스처가 슬라이딩(sliding)하고 있다면, 그 메쉬는 잘못된 영역의 메쉬인 것을 나타낸다. 따라서 본 발명에서는 슬라이딩하는 텍스처의 정보를 사용하여 이 영역들을 교정한다.

입체 변환 단계(S300)는 수정된 메쉬를 기초로 3D 입체 이미지를 생성하는 단계이다. 입체 변환 단계(S300)에서는 깊이 맵을 생성하고, 합성될 객체의 깊이를 조절하는 작업을 수행한다.

도 2는 도 1의 지오메트리 오류 수정 단계를 상세하게 나타내는 도면이다. 도 2를 참고하면, 메쉬 수정 단계(S200)는 특징점 추출 단계(S210), 벡터 맵 생성 단계(S220) 및 메쉬 수정 단계(S230)를 구비한다.

특징점 추출 단계(S210)는 먼저 상기한 슬라이딩하는 텍스처를 가지는 메쉬의 특정 부분을 지정하기 위하여 각 프레임에 대한 메쉬의 투영 맵을 생성한다. 이때, 투영맵은 텍스처 맵과 가시성 맵(visibility map)을 합성하여 생성할 수 있다.

도 3은 텍스처 맵과 가시성 맵을 합성하여 투영 맵을 생성하는 방법의 일예를 나타내는 도면이다.

먼저 텍스처 맵(Tmap)은 각 프레임에 대한 메쉬 상의 이미지 시퀀스를 투영함에 의해 생성된다. 그리고 메쉬는 정사각형 메쉬로부터 생성되므로, 텍스처 맵(Tmap)은 탑 뷰(top view)부터 메쉬를 렌더링(rendering)함에 의해 용이하게 획득될 수 있다.

Ti에서의 x, y 는 텍스처 맵의 좌표값을 의미하고, M에서의 x,z는 삼차원 좌표를 의미하며, X의 경우 값이 동일하고 의미 또한 동일하기에 x로 모두 표기한 것이며, y, z의 경우 값은 같지만 텍스처 맵에서는 y좌표의 값이며 초기 메쉬에서는 z좌표의 값이므로 다르게 표기하도록 한다.

수학식 1은 텍스처 맵(Tmap)을 생성하는 방법을 나타낸다. 수학식 1에서 i는 프레임 번호이다. 그리고 Ti는 i번째 프레임의 텍스처 맵을 나타내며, M은 초기 메쉬를 나타내며, Ti에서의 x, y 는 텍스처 맵의 좌표값을 의미하고, M에서의 x,z는 삼차원 좌표를 의미하며, X의 경우 값과 의미 또한 동일하므로 x로 모두 표기하고, y, z의 경우 값은 같지만 텍스처 맵에서는 y좌표의 값이며 초기 메쉬에서는 z좌표의 값이므로 다르게 표기하도록 한다. 또한 Ii는 i번째 프레임의 이미지를 나타내며, Ci는 i번째 프레임의 카메라 위치를 나타낸다.

한편 가시성 맵(Vmap)은 메쉬에서 각 프레임에 대해 보이는 영역(가시 영역)과 보이지 않는 영역(비가시영역)을 나타낼 수 있도록 생성되어야 한다. 가시성 맵(Vmap)은 광 추적(raytrace) 기법을 사용하여 용이하게 생성할 수 있다. 그리고 가시성 맵(Vmap) 또한 텍스처 맵(Tmap)과 마찬가지로 탑 뷰로부터 렌더링 된다.

수학식 2는 가시성 맵(Vmap)을 생성하는 방법을 나타내며, 수학식 1에서 설명한 바와 같이, i는 프레임 번호이고, Vi(x,y)는 i 프레임에 대한 가시맵이고, x, y는 가시맵의 좌표값이고, y와 z는 동일하다. 가시성 맵(Vmap)은 수학식 2에 나타난 바와 같이 i번째 프레임의 카메라 위치(Ci)로부터 초기 메쉬(M)가 보이는 영역인지, 보이지 않는 영역인지를 표현한다. 각 프레임에 대해서, 도 3에 도시된 바와 같이 가시성 맵(Vmap)을 알파 채널(alpha channel)로 사용하고 텍스처 맵(Tmap)을 그들에 적용함에 의해 투영 맵(Pmap) 이미지를 획득할 수 있다.

수학식 3은 투영 맵(Pmap)을 생성하는 방법을 나타낸다. 수학식 3에서 TV_i(x,y)는 i 프레임에 대한 투영 맵이고, x, y는 가시맵의 좌표값이며, 투영 맵(Pmap)(TV_i)은 수학식 1에 의해 획득한 텍스처 맵(Tmap)과 수학식 2에 의해 획득한 가시성 맵(Vmap)을 합성하여 획득할 수 있음을 알 수 있다.

수학식 3에 따라 투영 맵이 생성되면, SIFT를 통해 투영 맵 상의 특징점을 획득할 수 있습니다. SIFT는 영상 내에서 어떤 특성의 불변한 특징(예를 들면, 스케일, 표정) 및 부분적으로 불변하는 특징(예를 들면, 밝기값)을 이용해서 판별(Detection) 또는 인식(Recognition)을 하는 기술이다. 즉 SIFT는 특정 객체에 대해서 그 객체를 가장 잘 표현할 수 있는 정보를 추출하는 알고리즘이다. 여기서 특정 객체를 가장 잘 표현하는 정보란 그 객체의 위치가 변하거나 방향이나 크기나 변해도 똑같이 나타나는 정보이다.

그리고 본 발명에서 SIFT를 통해 획득되는 투영 맵 상의 특징점은 메쉬를 교정하기 위한 기준으로 사용된다. 그러나 SIFT를 통해 투영 맵 상의 특징점을 획득할 때, 비가시영역 또는 그 부근에 위치하는 특징점은 오류를 일으키기 쉬우므로 배제한다. 그러면, 높은 우선권의 특징점들과 낮은 우선권의 프레임들의 쌍을 위해서만 나타나는 특징점들만이 계속적으로 남는다. 그리고 본 발명에서는 메쉬를 교정하기 위하여 높은 우선순위 포인트를 사용할 것이다.

도 4는 초기 메쉬의 텍스처 맵을 이용하여 오류 영역을 찾는 방법의 일예를 설명하기 위한 도면이다.

상기한 바와 같이 특징 점은 움직이는 특징점과 움직이지 않는 특징점이 있다. 움직이지 않는 특징점은 메쉬의 일부가 올바다는 것을 의미하는 반면, 움직이는 특징점은 메쉬가 실제 지형과 다르다는 것을 의미한다.

도 4에서, (a)는 특징점 고정되는 올바른 영역의 메쉬를 나타내며, (b)는 특징점이 움직이는(슬라이딩)하는 오류 영역의 메쉬를 나타낸다. 도 4에서 Cs는 프레임에 대한 카메라의 시작 위치를 나타내며, Ce는 프레임에 대한 카메라의 종료 위치를 나타낸다. 도 4의 (a) 및 (b)를 참조하면, 도 4(a)에서는 카메라의 시작 위치(Cs)에서나 카메라의 종료 위치(Ce) 모두에서 카메라가 지적하는 포인트가 동일하다. 그러나 도 4(b)에서는 카메라의 시작 위치(Cs)와 카메라의 종료 위치(Ce)에서 카메라가 지적하는 포인트가 서로 다르다. 즉 특징점이 슬라이딩하고 있음을 나타내고, 따라서 메쉬가 실제 지형과 다르다는 것을 의미한다.

그러므로 본 발명에서는 슬라이딩하는 특징점이 없도록 메쉬를 고정함에 의해 보다 정확한 교정된 메쉬를 획득할 수 있도록 한다.

도 2의 벡터 맵 생성 단계(S210)에서는 슬라이딩하는 특징점이 없도록 메쉬를 고정하기 위한 벡터 맵(vactor map)을 생성한다.

벡터 맵을 생성하기 위해서는 먼저 특징점의 움직임을 관찰하여 메쉬가 고정되어야하는 정확한 위치를 찾아야 한다. 어떤 지오메트리 오류가 있는 영역에서 감지된 특징점은 상기한 바와 같이 움직임(슬라이딩)을 갖는다. 만일 특징점의 움직임이 카메라의 움직임과 같은 방향이면, 메쉬 상에서 해당 영역은 실제로 카메라에 더 가깝다는 것을 의미한다. 반면, 특징점의 움직임이 카메라의 움직임과 반대 방향이면, 메쉬의 해당 영역은 카메라로부터 더 멀다는 것을 의미한다.

도 5는 삼각 측량법의 일예를 나타내는 도면이다.

본 발명에서는 메쉬의 정확한 위치를 찾기 위하여 도 3에 도시된 바와 같이 삼각 측량 방법을 사용한다. 도 3에서 Fs과 Fe는 각각 해당 프레임에 대한 메쉬 표면을 통한 특성 경로의 시작 및 종료 위치이다. 그리고 카메라의 시작 위치(Cs)와 카메라의 종료 위치(Ce)는 각각 특징점의 시작 위치(Fs)와 특징점의 종료 위치(Fe)에 대한 카메라 위치에 해당한다. 삼각 측량 방법을 사용하면, i번째 프레임에 대한 특징점이 실제로 있어야 하는 위치를 계산 할 수 있다.

그리고 i번째 프레임에 대한 특징점의 시작 위치(Fs)를 Fis로, i번째 프레임에 대한 특징점의 종료 위치(Fe)를 Fie로, i번째 프레임에 대한 카메라의 시작 위치(Cs)와 카메라의 종료 위치(Ce)를 각각 Cis와 Cie로 표현할 수 있다.

3D 상에서 i번째 프레임에 대한 카메라의 시작 위치(Cis)와 특징점의 시작 위치(Fis)를 잇는 라인과 i번째 프레임에 대한 카메라의 종료 위치(Cie)와 특징점의 종료 위치(Fie)를 잇는 라인에서 두 라인이 교차하는 위치(Pi1,2) 또는 가장 가까운 위치(Pi1, Pi2)는 수학식 4에 나타난 바와 같이, 카메라의 시작 위치(Cis)와 특징점의 시작 위치(Fis)를 잇는 라인에 대한 벡터(A)와 카메라의 종료 위치(Cie)와 특징점의 종료 위치(Fie)를 잇는 라인에 대한 벡터(B)의 내적으로 계산 될 수 있다.

i번째 프레임에 대한 특징점의 시작 위치(Fis)로부터 i번째 프레임에 대한 특징점의 종료 위치(Fie)까지 모든 포인트가 올바른 위치로 이동해야 하므로, 모든 특징점을 올바른 위치로 이동하는 벡터를 생성할 수 있다. 특징점 및 카메라 위치 정보가 정확한 경우, 두 라인은 하나의 평면상에 놓이게 된다. 그러나 오류로 인하여 이 라인은 보통 하나의 평면상에 놓이지 않는다. 이 오류는 두 라인 사이의 거리로서 계산할 수 있다. 본 발명에서는 오류를 일반화하여, 수학식 5와 같이 상기 계산된 벡터에 적용한다.

(여기서, ei = Pi2 -Pi1 가 i번째 특징점에 대한 오차율이고, EM이 모든 오차율의 최대값이라 가정할 때 Ei = ei/EM이며, Vi는 i번째 특징점의 초기 이동 벡터로, i번째 특징점에서 Pi2 와 Pi1의 중간점을 잇는 벡터이고, Vmi는 i번째 특징점의 보정된 이동 벡터임)

모든 움직이는 특성점에서 벡터(Vmi)가 계산되면, 벡터 맵이 생성된다.

그리고 벡터 맵이 생성되면, 벡터 맵을 기초로 하여, 메쉬 수정 단계(S230)를 수행한다. 메쉬 수정 단계(S230)에서는 특징점이 없는 빈 영역을 추가로 고려한다. 메쉬를 최적화하기 위해서는 메쉬 수정 단계(S230)에서도 가능한 많은 표면의 지형 디테일이 보존 될 것이 요구된다. 벡터 맵을 기초로 메쉬를 수정할 때, 벡터의 방향으로 메쉬를 적용하면, 특징점에 대응하는 메쉬 주변을 왜곡(distort)할 수 있다. 벡터 맵은 지면(ground) 필드와 높이 필드로 구분되고, 높이(height) 필드로 구성된 지형 지오메트리는 수정 및 사용이 용이하다. 그리고 벡터 맵의 X와 Z 요소가 전파되어야 한다. 높이 필드는 라플라시안 연산(Laplacian operator)을 사용하여 최적화될 수 있다. 본 발명에서는 라플라시안 연산에 두 가지 팩터(factor)에 대한 제약을 적용한다. 두 가지 팩터 중 하나는 벡터 맵에서 생성되는 것이고, 다른 하나는 우선순위가 높은 특징점이다. 수학식 6은 높이 필드를 최적화하기 위한 라플라시안 연산을 나타낸다.

수학식 6에서, x_p, y_p, z_p는 벡터의 시작 위치, x_m, y_m, z_m는 벡터, H는 메쉬의 높이를 찾는 함수, E는 최소화 시켜야 하는 에너지 함수, M'은 수정된 메쉬, n은 메쉬의 버텍스 개수,

는 초기 메쉬의 i번째 버텍스에서의 라플라시안 연산 값, L은 라플라시안 연산,

는 수정된 메쉬에서의 i번째 버텍스,

는 벡터 맵에 따라 구해지는 i번째 버텍스의 수정 목표점, 그리고 Y는 수정 목표점의 높이 값을 의미한다. 만일 더 디테일한 메쉬가 필요한 경우, 상호작용이 가능하도록 특정 영역의 해상도를 증가하고, 높이 필드에 라플라스 연산을 적용하여 획득할 수 있다.

메쉬 수정 단계(S230)를 수행되어 도 1의 지오메트리 오류 수정 단계(S200)를 완료되면, 입체 변환 단계(S300)가 수행되어야 한다.

도 6은 도 1의 입체 변환 단계를 나타내는 도면이다. 도 6에 도시된 바와 같이 본 발명에서 입체 변환 단계(S300)는 입체 이미지 생성 단계(S310)와 객체 깊이 이동 단계(S320)를 구비한다.

입체 이미지 생성 단계(S310)는 메쉬를 사용하여 입체 이미지를 생성하는 단계로서, 입체를 생성하기 위한 방법으로는 2가지가 있다. 하나는 투영에 의해 생성되는 메쉬의 텍스처를 사용하는 다른 카메라로부터 관측하는 것이다. 이 방법은 물리적으로 정확하고, 구멍 메움(hole-filling)이 요구되지 않고, 컴퓨터 그래픽(Computer Graphic : CG)로 특정 영역에 객체를 합성하고자 할 때 이득을 갖는 반면 입체 이미지를 편집 또는 수정하기 어렵다는 문제가 있다.

다른 방법은 메쉬를 사용하여 깊이-맵(depth map)을 만든 후 입체 이미지를 생성하는 것입니다. 깊이-맵(depth map)을 만든 후 입체 이미지를 생성하는 방법 은 편집 및 수정이 용이하다. 본 발명에서는 일예로 깊이-맵을 이용하여 입체 이미지를 생성하는 것으로 설명한다.

객체 깊이 이동 단계(S320)는 움직이는 객체를 기준으로 하여 최종 깊이 맵을 생성하고, 생성된 최종 깊이 맵을 기초로 입체 이미지 상의 객체의 깊이를 조절하는 단계이다.

지형 지오메트리의 내적 깊이 정보는 포괄적인 깊이의 표준이 될 수 있으며, 움직이는 객체에서 로토-스코핑을 사용할 필요가 있다. 입체로의 변환 시에 내적 객체 깊이와 내부 객체 깊이 사이에 차이가 있을 수 있다. 그러나 이러한 차이는 해당 영역을 활용하여 조정될 수 있다. 그리고 움직이고 있는 객체는 객체가 위치하는 영역의 깊이에 대한 표준이 될 수 있다. 따라서 본 발명에서는 움직이고 있는 객체를 기준으로 최종 깊이 맵을 생성하고, 최종 깊이 맵을 기초로 입체 이미지 상의 객체 깊이를 조절한다.

도 7은 본 발명의 지형 지오메트리의 자동 입체 변환 방법에 따라 영상이 입체 이미지로 변화되는 전체 과정에 대한 실시예를 나타내는 도면이다.

도 7에서 (a)는 오리지널 이미지를 나타내고, (b)는 초기 메쉬를 나타내며, (c)는 메쉬로부터 추출된 깊이 맵을 도시하였다. 그리고 (d)는 추적되는 움직이는 객체를 나타내었으며, (e)는 객체를 로토 스코핑 함에 의해 생성되는 최종 깊이 정보이다. (f)는 최종적으로 생성되는 입체 이미지를 나타낸다.

도 8 및 도 9는 본 발명에 따라 입체 변환된 영상을 나타내는 도면이다.

도 8 및 도 9에 도시된 바와 같이, 본 발명에 따른 지형 지오메트리의 자동 입체 영상 변환 방법은 합성을 위한 지형 장면의 입체 이미지 또는 3D 메쉬를 생성할 수 있다. 메쉬는 지오메트리가 복잡할 지라도 지형 형상을 고정할 수 있다. 입체 변환을 위한 메쉬 기반 접근 방법은 여러 가지 이득이 있다. 먼저 메쉬 기반 입체 변환 방법은 생성된 깊이 맵의 시간 일관성을 갖는다. 그리고 종래의 이미지 기반 입체 변환 방법은 카메라가 전방 또는 후방으로만 움직일 때, 입체 이미지를 생성하지 못하는 문제를 가지며, 프레임 마다 교정이 필요한 반면, 메쉬 기반 입체 변환 방법은 한 번의 교정이 모든 프레임의 깊이 맵에 자동으로 반영될 수 있다. 또한 메쉬 편집이 용이하며, 지형에서 이음매 없이 새로운 요소를 추가하기에 적합하다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (15)

1. 이미지 시퀀스를 기반으로 하는 지형 지오메트리를 이용하여 초기 메쉬가 생성되는 초기 메쉬 생성 단계;
   투영 맵이 생성되고, 생성된 상기 투영 맵을 이용하여 상기 초기 메쉬의 오류 영역이 판별되고, 판별된 상기 오류 영역에 대한 벡터 맵이 생성되어 상기 초기 메쉬의 오류가 수정된 수정 메쉬가 생성되는 지오메트리 오류 수정 단계; 및
   상기 수정 메쉬를 이용하여 입체 영상이 생성되는 입체 변환 단계를 구비하는 배경 지형 장면의 입체 이미지 생성 방법.
   
2. 제 1항에 있어서, 상기 초기 메쉬 생성 단계는
   방사형 기본 함수 기법을 사용하여 상기 초기 메쉬를 생성하는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
3. 제 1항에 있어서, 상기 지오메트리 오류 수정 단계는
   상기 투영 맵을 이용하여 상기 초기 메쉬의 복수개의 특징점이 추출되는 특징점 추출 단계;
   상기 복수개의 특징점 중 슬라이딩하는 특징점이 상기 초기 메쉬의 오류 영역으로 판별되고, 상기 오류 영역이 수정되도록 상기 슬라이딩하는 특징점을 고정하기 위한 복수개의 벡터가 생성되어 상기 벡터 맵이 생성되는 벡터 맵 생성 단계; 및
   상기 벡터 맵을 이용하여 상기 수정 메쉬가 생성되는 메쉬 수정 단계를 구비하는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
4. 제 3항에 있어서, 상기 특징점 추출 단계는
   상기 이미지 시퀀스의 각 프레임에 대한 상기 초기 메쉬에 상기 이미지 시퀀스를 투영하여 텍스처 맵이 생성되는 텍스처 맵 생성 단계;
   상기 초기 메쉬에서 각 프레임에 대해 보이는 영역과 보이지 않는 영역이 나타나도록 광 추적 기법을 사용하여 가시성 맵이 생성되는 가시성 맵 생성 단계;
   상기 텍스처 맵과 상기 가시성 맵이 합성되어 상기 투영 맵이 생성되는 투영 맵 생성 단계; 및
   상기 투영 맵에 대해 SIFT가 적용되어 상기 복수개의 특징점이 추출되는 SIFT 적용 단계를 구비하는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
5. 제 4항에 있어서, 상기 텍스처 맵 생성 단계는
   수학식
   

   

   
   (여기서, i는 프레임 번호이고, T_i는 i번째 프레임의 텍스처 맵이고, M은 초기 메쉬이고, Ti에서의 x, y 는 텍스처 맵의 좌표값이고, M에서의 x,z는 삼차원 좌표이고, X의 경우 값과 의미 또한 동일하므로 x로 모두 표기하고, y, z의 경우 값은 같지만 텍스처 맵에서는 y좌표의 값이며 초기 메쉬에서는 z좌표의 값이므로 다르게 표기하며, Ii는 i번째 프레임의 이미지를 나타내며, Ci는 i번째 프레임의 카메라 위치를 의미함)
   에 의해 생성되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
6. 제 5항에 있어서, 상기 가시성 맵 생성 단계는
   수학식
   

   

   
   (여기서, V_i(x,y)는 i 프레임에 대한 가시맵이고, x, y는 가시맵의 좌표값)에 의해 생성되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
7. 제 6항에 있어서, 상기 투영 맵 생성 단계는
   상기 가시성 맵을 알파 채널로서 사용하여,
   수학식
   

   

   
   (여기서, TV_i(x,y)는 i 프레임에 대한 투영 맵, x, y는 가시맵의 좌표값)에 의해 생성되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
8. 제 7항에 있어서, 상기 벡터 맵 생성 단계는
   상기 가시성 맵에 의해 상기 초기 메쉬의 비가시 영역이 판별되면, 상기 비가시영역 및 상기 비가시영역 주변의 상기 특징점이 배제되는 특징점 배제 단계;
   상기 복수개의 특징점 중 상기 배제된 특징점을 제외한 나머지 특징점 각각이 움직이는지 여부가 판별되는 특징점 판별 단계;
   상기 특징점 판별 단계에서 판별된 움직이는 특징점 각각이 배치되어야 하는 위치가 판별되는 위치 판별 단계;
   상기 판별된 위치에 상기 움직이는 특징점 각각이 고정되도록 상기 특징점을 이동시키기 위한 복수개의 벡터가 생성되어 벡터 맵이 생성되는 벡터 생성 단계를 구비하는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
9. 제 8항에 있어서, 상기 위치 판별 단계는
   삼각 측량 방법을 통해 배치되어야 하는 위치가 판별되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
   
10. 제 9항에 있어서, 상기 움직이는 특징점 각각이 배치되어야 하는 위치는
    수학식
    

    

    
    

    

    
    

    

    
    

    

    
    (여기서, Fis 및 Fie는 각각 i번째 프레임에 대한 특징점의 시작 위치 및 종료 위치, Cs 및 Ce는 각각 카메라의 시작 위치 및 카메라의 종료 위치, Pi1 및 Pi2는 각각 Cs와 Fis를 잇는 라인과 Ce와 Fie를 잇는 라인이 교차하거나 가장 가까이 배치되는 위치)에 의해 계산되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
    
11. 제 10항에 있어서, 상기 벡터 맵은
    상기 움직이는 특징점 모두에 대해 각각
    수학식
    

    

    
    (여기서, ei = Pi2 -Pi1 가 i번째 특징점에 대한 오차율이고, EM이 모든 오차율의 최대값이라 가정할 때 Ei = ei/EM이며, Vi는 i번째 특징점의 초기 이동 벡터로, i번째 특징점에서 Pi2 와 Pi1의 중간점을 잇는 벡터이고, Vmi는 i번째 특징점의 보정된 이동 벡터임)에 의해 계산되는 복수개의 벡터가 도시되어 생성되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
    
12. 제 11항에 있어서, 상기 메쉬 수정 단계는
    상기 벡터 맵에 수학식
    

    

    
    (여기서, x_p, y_p, z_p는 벡터의 시작 위치, x_m, y_m, z_m는 벡터, H는 메쉬의 높이를 찾는 함수, E는 최소화 시켜야 하는 에너지 함수, M'은 수정된 메쉬, n은 메쉬의 버텍스 개수,

    

    는 초기 메쉬의 i번째 버텍스에서의 라플라시안 연산 값, L은 라플라시안 연산,

    

    는 수정된 메쉬에서의 i번째 버텍스,

    

    는 벡터 맵에 따라 구해지는 i번째 버텍스의 수정 목표점, 그리고 Y는 수정 목표점의 높이 값을 의미함)에 따른 라플라시안 연산이 적용되는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
    
13. 제 12항에 있어서, 상기 입체 변환 단계는
    상기 수정 메쉬를 사용하여 깊이-맵을 만든 후 입체 이미지를 생성하는 입체 이미지 생성 단계; 및
    움직이는 객체를 기준으로 하여 최종 깊이 맵을 생성하고, 생성된 최종 깊이 맵을 기초로 입체 이미지 상의 객체의 깊이를 조절하는 객체 깊이 이동 단계를 구비하는 것을 특징으로 하는 배경 지형 장면의 입체 이미지 생성 방법.
    
14. 제 1 내지 제 12항 중 어느 한 항에 있어서, 배경 지형 장면의 입체 이미지 생성 방법을 구현하기 위한 컴퓨터에서 실행가능한 프로그램 명령어가 기록된 기록매체.
    
15. 제 1 내지 제 12항 중 어느 한 항에 있어서, 배경 지형 장면의 입체 이미지 생성 방법에 의해 입체 이미지를 생성하는 프로그램 명령어를 실행하는 컴퓨터 시스템.

Images