KR101818778B1

KR101818778B1 - 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법

Info

Publication number: KR101818778B1
Application number: KR1020120029962A
Authority: KR
Inventors: 기명석; 조용주; 임성용; 차지훈; 백승권; 이용주; 김진웅; 김성대; 김욱중; 유지성; 황성수
Original assignee: 한국전자통신연구원; 한국과학기술원
Priority date: 2012-03-23
Filing date: 2012-03-23
Publication date: 2018-01-16
Anticipated expiration: 2032-03-23
Also published as: US9185288B2; KR20130107840A; US20130250045A1

Abstract

본 발명은 실감 파노라마 영상 생성을 위한 3D 데이터 포맷 생성/소비 장치 및 방법에 관한 것으로서, 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 영상 전처리부, 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 영상정보 구조화부, 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 3D 데이터 포맷 DB부, 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 실감영상 생성부, 및 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다.

Description

실감 파노라마 영상 생성을 위한 3Ｄ 데이터 포맷 생성／소비 장치 및 방법{APPARATUS AND METHOD OF GENERATING AND CONSUMING 3D DATA FORMAT FOR GENERATION OF REALIZED PANORAMA IMAGE}

본 발명은 복수의 카메라를 이용하여 촬영한 영상들을 이용하여 파노라마 영상을 생성함에 있어 단순한 파노라마 영상 이외에도, 양안식이나 자유시점과 같은 실감효과를 제공하는 실감 파노라마 생성을 위해, 획득된 다시점 영상들과 이를 이용하여 추출한 3D 정보를 하나의 데이터 포맷으로 구조화 하는 방법, 이러한 데이터 포맷을 이용하여 자유롭게 다양한 실감 파노라마 영상을 생성하기 위한 방법에 관한 것이다.

특수한 광학 렌즈/미러 또는 복수개의 카메라를 통해 영상을 촬영하고, 이를 합성하는 파노라마 영상은 일반적인 영상 미디어에 비해 훨씬 넓은 시야각을 제공할 수 있다는 장점이 있다.

그러나 파노라마 영상은 촬영 방법의 제약성 때문에 줌 인/아웃이나 특정 물체에 포커싱을 맞추는 등의 촬영 기법이 어려워 생성된 영상이 단조로워지기 쉽다는 약점도 존재한다.

이러한 파노라마 영상의 약점은 현재 3D, UHD 등 다양한 실감 고화질 미디어들이 등장하고 있는 상황에서 단순히 넓은 시야각을 제공한다는 것만으로는 사용자에게 큰 만족감을 제공하지 못할 수 있다. 따라서, 이미 수년 전부터 파노라마 영상 분야에서는 양안식(stereoscopic) 파노라마나 영상 모델링을 통해 사용자의 시점 변화에 따라 영상을 생성해 주어 실감을 느끼게 해주는 자유시점 파노라마 기술 등 다양한 파노라마 실감기술이 개발되고 있다.

그러나 양안식 파노라마의 경우 일반적인 파노라마 영상과 같이 좌 영상과 우 영상을 각각 스티칭하는 방식으로는 영상간에 시차 오류가 발생하게 되어, 완벽한 양안식 파노라마 영상을 생성하기 어렵다는 문제가 발생한다.

또한 이미지 기반 혹은 영상 모델링을 이용한 자유시점 파노라마 기술은 그 복잡성으로 인해 아직까지 실제 서비스에 응용되기에는 무리가 따른다.

상기 기술한 양안식 파노라마와 자유시점 파노라마는 기실 서로 다른 기술처럼 보이나 두 기술 모두 완벽한 실감 표현을 위해서는 영상의 깊이(depth)값이나 그에 따른 텍스처 정보, 영상 분할(segmentation)정보 등의 활용이 요구된다. 그러나 현재 이러한 영상 정보들은 각각 특정 어플리케이션에 맞게 추출되고 변형되기 때문에 그 사용이 제한적이고 서로 호환을 갖지 못하는 한계를 지니고 있다.

만약 멀티뷰 영상을 통해 획득된 영상 정보들을 구조화하고 이를 운용 결합 한다면 하나의 데이터 포맷으로 양안식 파노라마는 물론 자유시점 파노라마를 자유롭게 구현할 수 있을 뿐만 아니라 둘의 결합을 통해 양안식 자유시점 파노라마 또한 가능케 할 수 있을 것이다.

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치는 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 영상 전처리부, 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 영상정보 구조화부, 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 3D 데이터 포맷 DB부, 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 실감영상 생성부, 및 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다.

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 단계, 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 단계, 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 단계, 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 단계, 및 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다.

본 발명의 일실시예에 따르면, 복수의 카메라를 통해 촬영된 영상들의 깊이 값과 텍스쳐 정보, 객체/영역 정보, 위치 정보 등을 추출하여 이를 구조화된 3D 데이터 포맷으로 구축하고, 특정 어플리케이션에 한정하지 않고, 추출된 데이터들을 결합 운용하여 기존의 양안식 파노라마 생성 시 발생하는 문제점을 해결한 진보된 양안식 파노라마 및 자유시점 파노라마 영상 모두를 지원하는 실감 파노라마 영상을 구성하는 장치 및 방법을 제공할 수 있다.

본 발명의 일실시예에 따르면, 구조화된 3D 데이터 포맷을 이용하여 일반적인 파노라마 영상, 양안식 파노라마, 자유시점 파노라마 영상을 자유롭게 생성 및 조합할 수 있다.

본 발명의 일실시예에 따르면, 기존 양안식 파노라마 생성시 발생하는 시차 오류 및 파노라마 영상의 디지털 줌 기능을 보완할 수 있다.

도 1은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치를 설명하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 멀티뷰 영상의 3D 데이터 포맷 구조화를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 레이어 실린더 wrapping을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 영상 줌 보간의 실시예를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 적응형 줌을 설명하는 실시예이다.
도 6은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법을 설명하는 흐름도이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치(100)를 설명하는 블록도이다.

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치(100)는 영상 전처리부(110), 영상정보 구조화부(120), 3D 데이터 포맷 DB부(130), 실감영상 생성부(140), 및 실감영상 렌더링부(150)를 포함할 수 있다.

본 발명의 일실시예에 따른 영상 전처리부(110)는 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출한다.

일례로, 본 발명의 일실시예에 따른 영상 전처리부(110)는 캘리브레이션을 수행하여 상기 복수의 카메라 각각의 3D 위치 관계를 확인할 수 있다. 또한, 본 발명의 일실시예에 따른 영상 전처리부(110)는 상기 확인된 3D 위치 관계에 기초하여 상기 촬영된 영상들간의 매칭 포인트를 찾을 수 있다.

본 발명의 일실시예에 따른 영상정보 구조화부(120)는 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화할 수 있다.

본 발명의 일실시예에 따른 영상정보 구조화부(120)는 객체 및 영역 중에서 적어도 하나를 상기 깊이값에 따라 분리하고 이를 복수의 실린더에 랩핑(wrapping)할 수 있다.

이때, 본 발명의 일실시예에 따른 영상정보 구조화부(120)는 분리하려는 상기 깊이값의 단계 및 상기 객체 및 상기 영역의 단계 수에 따라 상기 실린더의 개수를 결정할 수 있다.

본 발명의 일실시예에 따른 3D 데이터 포맷 DB부(130)는 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장할 수 있다.

본 발명의 일실시예에 따른 실감영상 생성부(140)는 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성할 수 있다.

일례로, 본 발명의 일실시예에 따른 실감영상 생성부(140)는 좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 상기 레이어 실린더가 생성된 후 상기 DB에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 및 텍스쳐 정보 중에서 적어도 하나의 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping하여 상기 실감 파노라마를 생성할 수 있다.

다른 일례로, 본 발명의 일실시예에 따른 실감영상 생성부(140)는 좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 생성된 각각의 실린더의 레이어에 상기 촬영된 영상간의 3D 데이터 포맷을 이용하여 기본 시점에 따른 파노라마 영상을 합성하고 각각의 실린더에 랩핑하여 상기 실감 파노라마를 생성할 수도 있다.

본 발명의 일실시예에 따른 실감영상 렌더링부(150)는 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다. 일례로, 실감영상 렌더링부(150)는 기본 영상과 시점 변환 영상을 보간(interpolation)하여 상기 생성된 실감 파노라마를 렌더링할 수 있다.

다시 말해, 복수의 카메라를 이용해 촬영된 영상들을 3D 데이터 포맷으로 구조화하는 일예는 다음과 같다. 먼저 촬영된 복수의 영상들은 영상 전처리부(110)에서 캘리브레이션 등의 처리 과정을 통해 각 카메라 간의 3D 위치 관계를 파악하고, 영상처리를 통해 영상내의 객체 및 영역을 인지하고 각 카메라로부터의 깊이값 및 텍스쳐 값을 추출한다.

이때 객체 또는 영역별로 추출된 깊이값 및 텍스쳐값 그리고 기타 부가 정보는 영상정보 구조화부(120)를 통해 도 2와 같은 구조로 3D 데이터 포맷 DB부(130)에 저장된다.

도 2는 본 발명의 일실시예에 따른 멀티영상(210)의 3D 데이터 포맷 구조화를 설명하는 도면이다.

본 발명의 일실시예에 따른 영상정보 구조화부(120)는 멀티영상(210)을 구성하는 영상 기하학 정보(220), 객체1(220)의 정보, 객체2(230)의 정보, 및 배경정보(240)를 3D 데이터 포맷 DB부(130)에 저장할 수 있다.

이때, 객체1(220)의 정보 및 객체2(230)의 정보는 각각 객체 기하학 정보, Depth 정보, 및 Texture 정보를 포함할 수 있다.

상기와 같이 구조화된 데이터를 이용하여 실감 파노라마 영상을 생성하는 일 예는 아래와 같으며 본 발명에서는 발명 편의성을 위해 실린더 형태를 예로 제시 하였으나 특허 청구에서는 특정 형태의 wrapping 형태를 제한하지 않는다.

도 3은 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 레이어 실린더 wrapping을 설명하는 도면이다.

복수의 카메라를 이용하여 촬영된 영상(310)을 실린더 형태의 파노라마 형태로 구현할 때 고전적인 파노라마 영상 생성 방법은 하나의 실린더에 모든 영상 정보를 wrapping한다.

그러나 본 발명의 실감 파노라마는 객체 및 영역을 깊이값에 따라 분리하고 이를 복수의 실린더(320, 330, 340)에 wrapping 하는 형태를 갖게된다.

이때 실린더의 개수는 사용자가 분리하고자 하는 깊이값의 단계 또는 객체 및 영역의 단계 수에 따라 결정될 수 있고, 도 3에서는 3개의 실시예로 표현된다.

이와 같은 방식으로 단일 실린더를 사용하지 않고 깊이값에 따른 레이어 실린더를 사용할 경우 각각의 실린더 단위로 조작 가능하기 때문에 양안식 실감처리, 자유시점 실감처리, 영상 줌 등에 유용하게 활용할 수 있다.

도 4는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 영상 줌 보간의 실시예를 설명하는 도면이다.

앞서 기술한 바와 같이 현재 양안식 파노라마를 생성하는 방법은 구조화된 카메라 rig 시스템 또는 단일 카메라를 회전시켜 출력된 영상들을 합성하여 양안식 파노라마 영상을 생성 하거나, 양안 카메라가 한 쌍으로 구성된 여러 개의 카메라 쌍들을 이용하여 영상을 획득하고, 획득한 좌영상 우영상을 각각 따로 스티칭하여 좌/우 파노라마를 얻는 방식을 사용하고 있다.

그러나 구조화된 카메라 rig 또는 단일 카메라를 회전시켜 양안식 파노라마 영상을 생성하는 방법은 동영상에 적용하기에는 적합하지 않아 이미지에 한정되고 있으며 여러 대의 양안식 카메라를 이용한 양안식 파노라마 생성 방법은 좌우 영상의 기하학적 형태, 그리고 사용자의 시청 시점을 고려하지 않을 경우 앞서 기술한 바와 같이 시차 오류가 발생하게 된다.

이러한 문제점을 해결하기 위해 깊이값과 텍스쳐값 및 기타 부가 정보를 이용하여 양안식 파노라마 영상을 생성하는 방법은 다음과 같다.

복수의 영상으로부터 추출된 구조화된 3D 데이터 포맷을 이용하기 위해 실감영상 생성부는 먼저 생성 대상이 되는 좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화 한다.

이때 실린더의 레이어의 개수는 추출된 객체 또는 영역의 깊이값 레벨 또는 사용자의 선택에 의해 달라질 수 있으며, 레이어의 수가 증가 할수록 실감효과를 증대 시키거나 정교하게 영상을 생성할 수 있다. 레이어 실린더가 생성된 후 실감영상 생성부는 3D 데이터 포맷 DB부에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 텍스쳐 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping 과정을 수행한다.

이러한 방식의 양안식 파노라마는 하나의 실린더에 모든 영상 정보를 맵핑하는 형태가 아닌 영상내의 객체 또는 영역들의 촛점거리(focal length)와 기하학적인 위치정보에 따라 객체 단위로 자신의 깊이값에 맞는 실린더에 wrapping 되기 때문에 단순한 좌우 영상의 파노라마 스티칭에서 발생하는 시차 오류를 문제를 해결 할 수 있다.

또한 사용자는 완성된 양안식 파노라마 영상의 disparity 값을 조정하고자 하는 경우 각각의 실린더 단위로 조작 가능하기 때문에 자유롭게 양안식 파노라마 영상을 수정할 수 있다.

또 다른 응용으로 구성한 3D 데이터 포맷을 이용하여 자유시점 파노라마를 생성하는 일예는 다음과 같다.

실감영상 생성부는 앞서 서술한 양안식 파노라마와 마찬가지로 분석된 멀티뷰 영상의 깊이값과 객체/영역 단위의 정보에 의해 레이어 실린더를 생성한다. 그 후 실감영상 생성부는 생성된 각각의 실린더의 레이어에 멀티뷰 영상들의 3D 데이터 포맷을 이용하여 기본 시점에 따른 파노라마 영상을 합성하고 각각의 실린더에 wrapping 한다. 영상 합성 시 실감영상 생성부는 멀티뷰 영상의 깊이값 및 텍스쳐값, 위치정보 등을 이용하여 사용자가 도 4와 같이 시선의 위치가 도면부호 410에서 420으로 바뀌는 경우에 대한 영상도 합성하여 저장하고 사용자가 시선을 바꿀 경우 실감영상 렌더링부는 기존 기본 영상과 시점 변환 영상간의 보간(interpolation)을 통해 사용자에게 실감효과를 제공할 수 있다.

도 5는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 적응형 줌을 설명하는 실시예이다.

또한 기존의 파노라마 영상에서는 사용자의 영상 줌 인/아웃 동작의 경우에 단순한 디지털 확대와 축소만이 가능하여 화질 열화를 극복할 수 없었으나, 본 발명에서와 같이, 구조화된 3D 데이터 포맷을 사용할 경우 사용자가 파노라마 영상(510)에 대해서 줌을 시도한다면 실감영상 렌더링부는 저장되어 있는 객체 및 영역 정보와 영상 깊이값(Depth map), 텍스쳐 값(Texture info)을 이용하여 단순한 디지털 확대가 아닌 영상 객체의 깊이값과 텍스쳐 분석을 통하여 객체의 형태를 고려한 줌 인/아웃 기능을 제공하여, 확대 영상(520)을 생성하여 기존의 파노라마 영상의 줌 인/아웃의 약점을 보완할 수 있다.

도 6은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법을 설명하는 흐름도이다.

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출할 수 있다(단계 601).

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화할 수 있다(단계 602).

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장할 수 있다(단계 603).

다음으로, 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성할 수 있다(단계 604).

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 생성된 실감 파노라마를 렌더링 처리할 수 있다(단계 605).

본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 3D 데이터 포맷 생성/소비 장치
110: 영상 전처리부
120: 영상정보 구조화부
130: 3D 데이터 포맷 DB부
140: 실감영상 생성부
150: 실감영상 렌더링부

Claims

복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 영상 전처리부;
상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 영상정보 구조화부;
상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 3D 데이터 포맷 DB부;
상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 실감영상 생성부; 및
상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부
를 포함하고,
상기 실감영상 생성부는,
좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 상기 레이어 실린더가 생성된 후 상기 DB에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 및 텍스쳐 정보 중에서 적어도 하나의 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping하여 상기 실감 파노라마를 생성하는 3D 데이터 포맷 생성/소비 장치.
제1항에 있어서,
상기 영상 전처리부는,
캘리브레이션을 수행하여 상기 복수의 카메라 각각의 3D 위치 관계를 확인하고, 상기 확인된 3D 위치 관계에 기초하여 상기 촬영된 영상들간의 매칭 포인트를 찾는 3D 데이터 포맷 생성/소비 장치.
제1항에 있어서,
상기 영상정보 구조화부는,
객체 및 영역 중에서 적어도 하나를 상기 깊이값에 따라 분리하고 이를 복수의 실린더에 랩핑(wrapping)하는 3D 데이터 포맷 생성/소비 장치.
제3항에 있어서,
상기 영상정보 구조화부는,
분리하려는 상기 깊이값의 단계 및 상기 객체 및 상기 영역의 단계 수에 따라 상기 실린더의 개수를 결정하는 3D 데이터 포맷 생성/소비 장치.
삭제
제1항에 있어서,
상기 실감영상 생성부는,
좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 생성된 각각의 실린더의 레이어에 상기 촬영된 영상간의 3D 데이터 포맷을 이용하여 기본 시점에 따른 파노라마 영상을 합성하고 각각의 실린더에 랩핑하여 상기 실감 파노라마를 생성하는 3D 데이터 포맷 생성/소비 장치.
제1항에 있어서,
상기 렌더링부는,
기본 영상과 시점 변환 영상을 보간(interpolation)하여 상기 생성된 실감 파노라마를 렌더링하는 3D 데이터 포맷 생성/소비 장치.
복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 단계;
상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 단계;
상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 단계;
상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 단계; 및
상기 생성된 실감 파노라마를 렌더링 처리하는 단계
를 포함하고,
상기 실감 파노라마를 생성하는 단계는,
좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하는 단계; 및
상기 레이어 실린더가 생성된 후 상기 DB에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 및 텍스쳐 정보 중에서 적어도 하나의 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping하여 상기 실감 파노라마를 생성하는 단계
를 포함하는 3D 데이터 포맷 생성/소비 방법.
삭제