KR20080047673A - 입체영상 변환 장치 및 그 방법 - Google Patents

Abstract

본 발명은 입체영상 변환 장치 및 그 방법에 관한 것으로, 본 발명의 입체영상 변환 장치는, RGB 프레임을 입력받는 프레임 입력부와, RGB 프레임을 휘도 프레임으로 변환하는 휘도 변환부와, 휘도 프레임을 표준화 휘도 프레임으로 변환하는 휘도 표준화부와, 표준화 휘도 프레임을 소정 개수의 영역으로 분할하여 각 영역 내에 포함된 픽셀의 휘도 값이 현재 영역과 전·후 영역에 설정된 표준 휘도 값에 부합한다면 픽셀의 휘도 값을 그대로 적용하고, 부합하지 않는다면 현재 영역에 설정된 표준 휘도 값으로 적용하여 수직블록 프레임을 생성하는 수직블록 매핑부와, 표준화 휘도 프레임을 n×m 블록으로 구분하여 각 블록 내에 동일한 휘도 값을 갖는 픽셀들이 동일한 깊이 값을 갖도록 설정하여 수직블록 프레임으로부터 깊이지도를 생성하는 깊이지도 생성부와, 깊이지도의 깊이 값을 참조한 시차처리를 통해 RGB 프레임으로부터 좌·우 시차 프레임을 생성하는 시차 생성부를 구성한다.

본 발명에 따르면, 2차원 영상을 깊이 감을 갖는 3차원 입체영상으로 변환할 수 있다. 이는 복수의 2차원 영상을 요구하는 종래의 입체영상 구현 기술과는 차별된다.

입체영상, 수직블록 매핑, 깊이지도, 시차

Description

입체영상 변환 장치 및 그 방법{APPARATUS FOR TRANSFORMING 3D IMAGE AND THE METHOD THEREFOR}

도 1은 본 발명의 입체영상 변환 장치에 대한 구성도,

도 2는 본 발명의 휘도 프레임 변환을 보인 예시도,

도 3은 본 발명의 휘도 범위와 5단계의 표준 휘도 값과의 관계를 보인 예시도,

도 4a는 본 발명의 RGB 프레임과 휘도 프레임의 히스토그램 변화를 보인 예시도,

도 4b는 본 발명의 표준화 휘도 프레임을 보인 예시도,

도 4c는 본 발명의 표준화 휘도 프레임 내의 객체들을 보인 예시도,

도 5a는 본 발명의 수직블록 영역과 수직위치 기준 값을 보인 예시도,

도 5b는 본 발명의 수직블록 영역 간에 참조되는 표준 휘도 값을 보인 예시도,

도 6은 본 발명의 수직블록 매핑을 보인 예시도,

도 7a는 본 발명의 표준화 휘도 프레임에 대한 n×m 블록을 보인 예시도,

도 7b는 본 발명의 깊이지도를 보인 예시도,

도 7c는 표준화 휘도 프레임의 각 블록과 인접한 블록의 경계 픽셀들의 비교 를 보인 예시도,

도 8은 깊이지도의 임펄스 노이즈 제거 개념을 보인 예시도,

도 9는 본 발명의 깊이지도에 따른 좌·우 시차 프레임 생성을 보인 예시도,

도 10은 본 발명의 입체영상 변환 개념을 보인 예시도,

도 11은 본 발명의 입체영상 변환 과정을 보인 순서도.

** 도면의 주요 부분에 대한 부호의 설명 **

100: 본 발명의 입체영상 변환 장치

110: 프레임 입력부 120: 휘도 변환부

130: 휘도 표준화부 140: 수직블록 매핑부

150: 깊이지도 생성부 160: 노이즈 제거부

170: 시차 생성부 180: 프레임 출력부

본 발명은 2차원 영상을 3차원 입체영상으로 실시간 변환할 수 있는 장치 및 그 방법에 관한 기술이다.

종래 입체영상 관련 기술을 살펴보면, 입체전용 카메라 또는 다수의 카메라를 이용하여 촬영한 2차원 영상들을 소정의 영상 처리를 통해 3차원 입체영상으로 구현하는 방식이다. 이러한 입체영상 구현 기술은 적어도 하나 이상의 2차원 영상, 즉 복수의 프레임이 요구되며, 따라서 많은 시간과 비용이 소요 된다. 더욱이 동영상과 같은 일반적인 2차원 영상에 대해서는 입체영상 구현이 불가하다.

전술한 문제점을 해결하기 위해 창안된 본 발명의 목적은 2차원 영상을 3차원 입체영상으로 용이하게 변환할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

도 1은 본 발명의 입체영상 변환 장치에 대한 구성도로서, 입체영상 변환 장치(100)는, 프레임 입력부(110), 휘도 변환부(120), 휘도 표준화부(130), 수직블록 매핑부(140), 깊이지도 생성부(150), 노이즈 제거부(160), 시차 생성부(170) 및 프레임 출력부(180)를 포함한다.

프레임 입력부(110)는 RGB 프레임(frame)을 입력받는다. 입력된 프레임들은 프레임 메모리(FM: Frame Memory)에 저장된다.

휘도 변환부(120)는 도 2에 예시된 바와 같이 RGB 형태의 프레임(이하, RGB 프레임)을 휘도(Y: brightness) 프레임으로 변환하여 상기 프레임 메모리(FM)에 임 시 저장한다. 여기서 휘도(Y)는 영상의 계조 값(gray level)으로서 0~255 범위의 값(이하, 휘도 범위)을 갖는다.

휘도 표준화부(130)는 상기 휘도 범위에 대해 나뉜 소정 단계의 표준 휘도 값(Y_std)을 참조하여 상기 휘도 프레임의 각 픽셀(pixel)을 표준화한다. 본 실시예에서 표준 휘도 값은 총 5단계로 설정된다. 예를 들어, 휘도 프레임의 픽셀이 0~50의 휘도 값이라면 0, 51~101이라면 51, 102~152라면 102, 153~203이라면 153으로, 그리고 204~255라면 204로 표준화된다. 도 3은 휘도 범위와 5단계의 표준 휘도 값과의 관계를 예시하고 있다. 상기 휘도 프레임은 휘도 표준화부(130)를 통해 도 4a와 같은 히스토그램(histogram) 상의 변화를 갖게 되고, 도 4b와 같이 표준화 휘도 프레임으로 변환된다. 이와 같이 휘도 프레임의 표준화에 의해 도 4c에 보인바와 같이 동일 휘도 값(표준 휘도 값)을 갖는 픽셀들의 영역이 다수 생성되며 이들 영역각각은 객체(object)로 식별·구분된다.

일반적으로 영상(프레임)의 구도(composition)는 매우 다양하여 정형화하기 용이치 않다. 따라서 본 발명은 다음과 같은 조건을 상정한다.

1. 영상 내의 수직위치가 낮은 객체(또는 물체) : 근거리 객체

2. 영상 내의 수직위치가 높은 객체 : 원거리 객체(예: 배경, 전경)

이러한 두 가지 조건은 다음의 수직블록 매핑(mapping)에 대한 기술적 근간이 된다.

한편, 수직블록 매핑부(140)는 상기 표준화 휘도 프레임을 소정 개수의 영 역(region, 블록 개념으로 이해될 수 있다)으로 나누어 각 영역 내에 포함된 픽셀의 휘도 값이 현재 영역과 전·후 영역에 설정된 표준 휘도 값에 부합한다면 상기 픽셀의 휘도 값 그대로 설정하고, 만약 부합하지 않는다면 상기 해당 영역에 설정된 표준 휘도 값으로 설정하여, 수직블록 프레임을 생성한다.

본 실시예에서 표준화 휘도 프레임은 도 5a와 같이 5개의 영역으로 나뉘며, 각 영역에는 위로부터 아래로 전술한 표준 휘도 값(Y_std)이 참조된다(도 5b 참조). 만약 프레임의 해상도가 640×480의 크기를 갖는다면, 수직 크기(수직 라인 개수)를 나타내는 480이 5개로 분할된다. 이때 각 영역을 식별하기 위한 수직위치 기준 값은 도 5a에서 보는 바와 같이 96, 192, 288, 384가 된다.

한편, 첨부도면 도 6은 수직블록 프레임을 예시하고 있다. 상기한 수직블록 매핑이 적용되면 표준화 휘도 프레임의 일부 객체(또는 그 형태 정보)가 누락될 수 있다. 위 도면에서 수직블록 프레임의 4, 5 영역(Region4, Region5)이 그 대표적인 예이다. 따라서 누락된 객체의 형태 정보 복원이 필요하며 이는 다음의 깊이지도 생성부(150)에서 구현된다.

깊이지도 생성부(150)는 상기 표준화 휘도 프레임을 도 7a 및 도 7b와 같이 n×m 블록으로 구분하여 각 블록 내에서 동일한 휘도 값을 갖는 픽셀들이 동일한 깊이(depth) 값을 갖도록 설정하여 상기 수직블록 프레임으로부터 깊이지도(depth map)를 생성한다. 도 7c에 예시한 바와 같이 각 블록과 인접한 블록의 경계 픽셀들을 비교하여 동일한 휘도 값을 가지는 픽셀들이 동일한 깊이 값을 갖도록 설정된 다. 본 실시예에서 n×m은 5×8(수직×수평)로 설정되며, 깊이 값은 전술한 표준 휘도 값으로 이해할 수 있다. 즉, 앞서 상정한 두 조건(1, 2)과 같이 휘도가 높을수록 근거리로, 반대인 경우 원거리로 표현되도록 하는 것이다.

깊이지도 생성부(150)의 특징은 하기에서 설명될 좌·우 시차 프레임을 위한 깊이지도(depth map)를 생성하되, 수직블록 매핑에 의해 누락된 객체 또는 그 형태 정보를 복원하는데 있다. 객체 복원은 각 블록과 인접한 블록의 경계 픽셀들을 비교하는 과정에 의해 구현된다.

상기한 바와 같이 생성된 깊이지도(depth map)는 임펄스 노이즈(impulse noise)를 포함할 수 있다. 임펄스 노이즈란 깊이지도를 구성하는 픽셀의 깊이 값(휘 도 값)이 그 픽셀의 주변 8 픽셀의 깊이 값과 다른 것을 의미한다.

따라서 노이즈 제거부(160)는 도 8에 예시한 바와 같이 3×3 마스크로 상기 깊이지도를 스캐닝(scanning, sliding windowing)하면서 타겟 픽셀(target pixel)과 주변 8 픽셀의 깊이 값이 상이할 경우 이를 노이즈로 가정하여 상기 타겟 픽셀을 주변 픽셀의 깊이 값으로 변경한다.

임펄스 노이즈가 제거된 깊이지도는 앞서 언급한 좌·우 시차 프레임 구현을 위한 참조자가 된다. 시차(parallax)는 물체(객체)가 화면보다 전방으로 돌출되어 보이게 되는 양시차(positive parallax), 물체가 화면상에 보이게 되는 영시차(zero parallax), 물체가 화면보다 후방으로 들어가 보이게 되는 음시차(negative parallax) 이렇게 세 가지로 구성된다.

시차 생성부(170)는 깊이지도의 깊이 값을 참조하여 RGB 프레임을 시차 처 리(parallax processing)하여 좌·우 시차 프레임을 생성한다. 시차 처리에 대한 세부적인 예는 첨부도면 도 9와 같다. 도 9를 참조하면, 깊이지도의 픽셀은 총 5단계의 깊이 값을 가지고 있다. 이 깊이 값은 휘도 값과 같으며 휘도가 높을수록 근거리를 나타냄은 전술한 바와 같다.

좌 시차 프레임만을 예로 들어 설명하면, 깊이지도의 3단계 깊이 값을 갖는 픽셀과 이에 대응하는 좌 시차 프레임의 픽셀은 동일 위치로 설정되며, 2단계 깊이 값을 갖는 픽셀에 대응하는 좌 시차 프레임의 픽셀은 우측으로 1픽셀 이동된다. 또한 1단계 깊이 값을 갖는 픽셀에 대응하는 좌시차 프레임의 픽셀은 2픽셀 이동된다. 한편, 4단계와 5단계 깊이 값을 갖는 픽셀은 각각 좌측으로 1픽셀, 2픽셀 이동된다. 우 시차 프레임은 상기한 좌 시차 프레임을 미러링(mirroring)한 것으로 이해할 수 있다. 시차 처리에 대한 상세 기술 사항에 대해서는 공지된 다수의 논문 내지는 특허문헌들을 통해 참조할 수 있을 것이다.

프레임 출력부(180)는 상기 좌·우 시차 프레임을 3D 고글(goggle) 등의 장치(이하, 3차원 출력장치)에 출력하는 기능을 수행한다. 주지된 바와 같이 3D 고글은 좌·우안에 대접하는 LCD패널을 구비하여 좌·우 프레임(영상)을 출력하는 장치이다.

전술한 본 발명의 입체영상 변환 개념은 도 10으로 도식화될 수 있다. 도 10과 같이 원영상(RGB 프레임)으로부터 깊이지도(depth map)를 생성하고, 생성된 깊이지도를 기반으로 좌·우 시차 프레임이 출력되면 입체영상이 구현된다. 이 입체영상은 총 5단계의 깊이 감(depth1, depth2, …, depth5)이 표현되며, 깊이 감은 상기한 깊이 값에 의해 달성된다.

이하, 도 11을 참조하여 본 발명의 입체영상 변환 과정에 대해 기술한다.

우선 입력된 RGB 프레임을 휘도(Y) 프레임으로 변환한다(S101). 상기한 5단계의 표준 휘도 값을 참조하여 휘도 프레임의 각 픽셀의 휘도 값을 표준화함으로써 표준화 휘도 프레임을 생성한다(S103).

생성된 표준화 휘도 프레임을 소정 개수(5개)의 수직블록으로 구분하여(S105), 각 영역 내에 포함된 픽셀의 휘도 값이 해당 영역의 전·후 영역에 설정된 표준 휘도 값에 부합한다면 상기 픽셀의 휘도 값을 그대로 적용하고, 부합하지 않는다면 상기 해당 영역에 설정된 표준 휘도 값으로 적용하여 수직블록 프레임을 생성한다(S107, S109, S111).

뒤미처, 상기 표준화 휘도 프레임을 n×m 블록으로 구분하여, 각 블록 내에서 동일한 휘도 값을 갖는 픽셀들이 동일한 깊이 값을 갖도록 설정하여 상기 수직블록 프레임으로부터 깊이지도(depth map)를 생성한다(S113). 언급한 바와 같이 본 과정은 수직블록 매핑에 의해 누락된 객체 또는 그 형태 정보가 복원되며, 상기 깊이 값은 표준 휘도 값과 동일한 범위의 값으로 설정된다.

타겟 픽셀과 주변 8 픽셀의 깊이 값이 다를 경우 상기 타겟 픽셀의 깊이 값을 주변 픽셀들의 깊이 값으로 변경하는 3×3 마스크 스캐닝을 통해 상기 생성된 깊이지도의 임펄스 노이즈를 제거한다(S115).

S115 과정을 거친 깊이지도를 이용하여 RGB프레임에 대한 좌·우 시차 프레임을 생성한다(S117).

본 발명에 따르면 2차원 영상을 깊이 감을 갖는 3차원 입체영상으로 변환할 수 있다. 이는 복수의 2차원 영상을 요구하는 종래의 입체영상 구현 기술과는 차별되며, 실시간 처리 가능한 하드웨어로도 구현될 수 있다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

Claims (10)

1. RGB 프레임을 입력받는 프레임 입력부;

   상기 RGB 프레임을 휘도 프레임으로 변환하는 휘도 변환부;

   상기 휘도 프레임을 표준화 휘도 프레임으로 변환하는 휘도 표준화부;

   상기 표준화 휘도 프레임을 소정 개수의 영역으로 분할하여 각 영역 내에 포함된 픽셀의 휘도 값이 현재 영역과 전·후 영역에 설정된 표준 휘도 값에 부합한다면 상기 픽셀의 휘도 값을 그대로 적용하고, 부합하지 않는다면 현재 영역에 설정된 표준 휘도 값으로 적용하여 수직블록 프레임을 생성하는 수직블록 매핑부;

   상기 표준화 휘도 프레임을 n×m 블록으로 구분하여 각 블록 내에 동일한 휘도 값을 갖는 픽셀들이 동일한 깊이 값을 갖도록 설정하여 상기 수직블록 프레임으로부터 깊이지도를 생성하는 깊이지도 생성부; 및

   상기 깊이지도의 깊이 값을 참조한 시차처리를 통해 상기 RGB 프레임으로부터 좌·우 시차 프레임을 생성하는 시차 생성부; 를 포함하여 2차원 영상으로부터 3차원 입체영상으로 변환하는 것을 특징으로 하는 입체영상 변환 장치.
2. 청구항 1에 있어서,

   3×3 마스크로 상기 깊이지도를 스캐닝하여 타겟 픽셀의 깊이 값이 주변 픽셀들의 깊이 값과 상이할 경우, 상기 타겟 픽셀의 깊이 값을 주변 픽셀의 깊이 값 으로 변경하는 노이즈 제거부; 를 더 포함하는 것을 특징으로 하는 입체영상 변환 장치.
3. 청구항 1에 있어서,

   휘도 표준화부는 상기 휘도 프레임을 5단계의 표준 휘도 값(Y_std)으로 표준화하는 것을 특징으로 하는 입체영상 변환 장치.
4. 청구항 1에 있어서,

   상기 깊이지도 생성부는 상기 표준화 휘도 프레임을 5×8 블록으로 구분하는 것을 특징으로 하는 입체영상 변환 장치.
5. 청구항 3에 있어서,

   상기 표준 휘도 값은 그 값이 높을수록 근거리의 객체를 나타내는 것을 특징으로 입체영상 변환 장치.
6. 청구항 1에 있어서,

   상기 생성된 좌·우 시차 프레임을 3차원 출력장치에 출력하는 출력부; 를 더 포함하는 것을 특징으로 하는 입체영상 변환 장치.
7. 청구항 1에 있어서,

   상기 깊이 값은 상기 표준 휘도 값인 것을 특징으로 하는 입체영상 변환 장치.
8. 청구항 1에 있어서,

   상기 수직블록 매핑부는 상기 표준화 휘도 프레임을 5개의 영역으로 분할하는 것을 특징으로 하는 입체영상 변환 장치.
9. 2차원 영상을 3차원 입체영상으로 변환하는 방법에 있어서,

   입력된 RGB 프레임을 휘도 프레임으로 변환하는 제 1 과정;

   소정 단계의 표준 휘도 값을 참조하여 상기 휘도 프레임을 표준화 휘도 프레임으로 변환하는 제 2 과정;

   상기 표준화 휘도 프레임을 소정 개수의 영역으로 분할하여 각 영역 내에 포 함된 픽셀의 휘도 값이 현재 영역과 전·후 영역에 설정된 표준 휘도 값에 부합한다면 상기 픽셀의 휘도 값을 그대로 적용하고, 부합하지 않는다면 현재 영역에 설정된 표준 휘도 값으로 적용하여 수직블록 프레임을 생성하는 제 3 과정;

   상기 표준화 휘도 프레임을 n×m 블록으로 구분하여 각 블록 내에 동일한 휘도 값을 갖는 픽셀들이 동일한 깊이 값을 갖도록 설정하여 상기 수직블록 프레임으로부터 깊이지도를 생성하는 제 4 과정;

   상기 깊이지도의 깊이 값을 참조한 시차처리를 이용하여 상기 RGB 프레임으로부터 좌·우 시차 프레임을 생성하는 제 5 과정; 을 포함하여 2차원 영상으로부터 3차원 입체영상으로 변환하는 것을 특징으로 하는 입체영상 변환 방법.
10. 청구항 9에 있어서,

    상기 제 5 과정 이전에,

    상기 깊이지도를 3×3 마스크로 스캐닝하여 타겟 픽셀의 깊이 값이 주변 픽셀들의 깊이 값과 상이할 경우, 상기 타겟 픽셀의 깊이 값을 주변 픽셀의 깊이 값으로 변경하는 과정; 을 더 포함하는 것을 특징으로 하는 입체영상 변환 방법.

Images