KR20070111763A

KR20070111763A - 3차원 모니터에서 영상왜곡을 보상하는 방법

Info

Publication number: KR20070111763A
Application number: KR1020060044956A
Authority: KR
Inventors: 나종범; 이윤구
Original assignee: 한국과학기술원
Priority date: 2006-05-19
Filing date: 2006-05-19
Publication date: 2007-11-22
Also published as: US20070268589A1

Abstract

본 발명은 렌즈 방식의 3차원 LCD 모니터에서 렌즈의 비균일성과 정렬에러를 검출하고, 그 검출된 에러로 인하여 발생하는 영상의 왜곡현상을 최소화하며 사용자의 위치를 고려하여 최적의 3차원 영상을 합성하는 방법에 관한 것이다.

이에, 본 발명은 N개의 원래의 뷰 영상들과 3차원으로 합성된 멀티뷰 영상 사이의 관계를 나타내는 대응표에 영상 왜곡을 보상하는 보상 대응표를 추가하는 것을 특징으로 하는 방법이다. 따라서 본 발명은 3차원 모니터에서 렌즈의 잘못된 정렬에러 혹은 비균일성을 검출하는 방법에 있어서, 의도적으로 만들어진 테스트 영상들을 이용하여 3차원 모니터에서 렌즈의 정렬에러나 불균일성을 예측하며, 관찰자의 눈으로부터 원래 관측되어야 할 서브픽셀의 영상 인덱스와 실제로 관측된 영상 픽셀의 영상 인덱스의 차이를 계산함으로써 렌즈의 정렬에러 혹은 불균일성을 검출하는 방법을 제시한다. 또한, 사용자의 위치에 따른 영상 왜곡을 보상하는 방법에 있어서 최적의 위치에 존재하는 관측자가 관측되어야 할 서브픽셀과 실제 사용자가 위치한 장소에서 관측된 서브픽셀의 인덱스 차이를 계산함으로써 사용자의 거리를 보상하는 방법을 제시한다.

3차원, 정렬에러, 불균일성, 왜곡보상, 테스트 영상, 스테레오 영상

Description

3차원 모니터에서 영상왜곡을 보상하는 방법{A 3D image multiplexing scheme compensating for lens alignment errors and viewing location change in 3D monitor}

도 1은 종래 렌즈 방식의 렌티큘러 디스플레이 방식을 나타낸 도면이다.

도 2는 종래 렌티큘러 디스플레이 방식의 작동원리를 나타낸 도면이다.

도 3은 종래 기울어진 렌즈 방식의 렌티큘러 디스플레이 방식을 나타낸 도면이다.

도 4는 관찰자의 위치에 따라 관측되는 지점의 변화 및 이에 따른 보상을 나타낸 도면이다.

도 5는 렌즈의 비균일성과 정렬에러로 인한 변화 및 이에 따른 보상을 나타낸 도면이다.

본 발명은 렌즈 방식의 3차원 LCD 모니터 혹은 렌티큘러 디스플레이(lenticular display)에서 렌즈의 피치(pitch)의 불균일한(inhomogeneous) 특성과 렌즈의 정렬로 인하여 발생하는 영상의 왜곡현상을 줄이는 방법에 관한 것이다. 추가적으로 사용자의 위치에 따라 발생하는 영상의 왜곡을 보상해 준다.

도 1과 같이 렌티큘러 디스플레이는 렌즈를 이용하여 LCD 패널 위에 위치한 픽셀들의 빛을 굴절시킨다. 그 결과 관찰자의 눈의 위치에 따라 다른 픽셀(pixel)이 보이는 현상이 생기게 된다. 따라서 좌안과 우안으로 들어오는 영상은 서로 다르게 된다. 인간은 좌안과 우안에 들어오는 영상의 양안시차(disparity)를 통하여 물체를 3차원으로 인식하기 때문에 이러한 디스플레이 장치를 이용하여 인간이 3차원을 느끼도록 하는 것이 가능하다.

도 2는 도 1을 수평방향으로 자른 단면을 나타낸 도면이다.

왼쪽 눈은 8번째 뷰잉존 (viewing zone)의 영역을 관찰하게 되며, 오른쪽 눈은 5번째 뷰잉존의 영역을 관찰하기 때문에 관찰자의 두 눈은 서로 다른 픽셀 값을 보게 된다. 도 2와 같이 눈은 N개의 뷰잉존 중 한 곳에 위치하게 되므로 눈의 위치에 따라 N개의 다른 영상이 관찰될 수 있다. 이러한 시스템을N 뷰 렌티큘러 디스플레이 시스템 (N view lenticular display system)이라 한다.

렌티큘러 디스플레이 장치는 실린더 형태의 렌즈를 LCD 패널 위에 붙임으로써 만들 수가 있다(도 1 참조). 그런데, 관찰되는 3차원 영상의 가로방향과 세로방향의 해상도가 크게 달라지기 때문에 도 3과 같이 실린더 형태의 렌즈를 기울여서 LCD 패널 위에 붙이는 기울인 렌티큘러 디스플레이(slanted lenticular display)가 개발되었다.

LCD 패널 위의 R, G, B의 각각의 서브픽셀들의 가로 방향의 크기는 매우 작은 크기(약 0.1mm이하)이다. 그런데 실린더 형태의 렌즈는 도 3과 같이 LCD 패널 위에 정확히 정렬되어 붙여야 하기 때문에 정밀한 정확도를 요구한다. 따라서 LCD 패널 위에 실린더 형태의 렌즈를 붙이는 것은 상당히 어려우며 정렬에러를 피하기 어렵다. 그러나 작은 정렬에러라도 발생한다면 영상의 왜곡을 야기하기 때문에 이러한 정렬 에러는 렌티큘러 디스플레이 장치의 영상 화질을 저하시키는 문제점이 발생된다.

렌즈를 이용한 3차원 디스플레이에서 렌즈의 정렬 에러는 의도적인 에러가 아니기 때문에 정렬에러를 측정하여 알고 있더라도 LCD 패널에 붙인 렌즈를 다시 정확히 붙여 에러가 줄어들기를 보장하기는 어렵다. 즉, 하드웨어적인 접근 방법으로는 각각의 디스플레이 장치마다 개별적으로 정확하게 렌즈를 정렬시키기는 것은 쉽지 않다. 또한, 렌즈의 피치가 상당히 작기 때문에 전체적으로 피치가 균일한 렌즈는 가격이 비싸지며 제조하는 것이 쉽지 않다. 그러나 불균일한 렌즈를 사용할 경우에는 영상의 왜곡이 발생하게 된다. 이하에서는 렌즈의 정렬에러와 불균일한 문제를 외부적인 문제라 하겠다.

렌즈를 이용한 3차원 디스플레이는 제한된 영역에서만 3차원 영상을 보여준다. 만약 사용자가 이러한 영역을 벗어날 경우에는 관측된 영상에는 왜곡현상이 발생하게 된다. 이러한 관찰 가능한 영역은 디스플레이 장치에 붙여질 렌즈가 디자인 될 때 정해지는 값으로 한번 정해지면 바꿀 수 없는 고정된 값이 된다. 이하에서는 사용자의 위치에 따른 문제를 내부적인 문제라 하겠다.

따라서 본 발명에서는 신호처리 기법에 기반한 소프트웨어적인 방법으로 위 의 문제들로 인하여 발생한 영상의 왜곡을 보상하는 알고리즘을 제공하는데 목적이 있다.

상기한 목적을 달성하기 위한 기술적 사상으로서 본 발명은

1) 상기의 문제를 해결하기 위하여 영상 왜곡을 보상하는 방법에 있어서,

N개의 원래의 뷰 영상들 (original view images)과 3차원으로 합성된 멀티뷰 영상 (multi-view image)사이의 관계를 나타내는 대응표 (mapping table)에 상기의 문제들로 인하여 발생하는 영상 왜곡을 보상하는 보상 대응표 추가하는 것을 특징으로 하는 방법을 제공한다.

2) 3차원 모니터에서 렌즈의 잘못된 정렬에러와 불균일한 렌즈의 특성을 파악하는 방법에 있어서,

의도적으로 만들어진 테스트 영상들을 이용하여 3차원 모니터에서 렌즈의 정렬에러와 불균일성을 예측하며, 관찰자의 눈으로부터 원래 관측되어야 할 서브픽셀의 영상 인덱스와 실제로 관측된 영상 픽셀의 영상 인덱스의 차이를 계산함으로써 렌즈의 정렬에러와 불균일성을 검출하는 것을 특징으로 하는 방법을 제공한다.

3) 사용자의 위치에 따른 영상 왜곡을 보상하는 방법에 있어서

최적의 위치에 존재하는 관측자가 관측되어야 할 서브픽셀과 실제 사용자가 위치한 장소에서 관측된 서브픽셀의 인덱스 차이를 계산함으로써 사용자의 거리를 보상하는 것을 특징으로 하는 방법을 제공한다.

이하, 첨부된 도면을 참조하여 본 발명에 대한 바람직한 실시 예를 보다 구 체적으로 설명하기로 한다.

T _O를 본래의 대응표(original mapping table)라고 하면, 상기의 문제들을 해결하는 최종 대응표 (final mapping table) T _F표는 수학식 1과 같다.

T _F = T _O + T _E + T _I

여기서, T _E는 렌즈의 정렬에러와 비균일성으로 인하여 발생하는 문제를 보상하는 항이며 T _I는 사용자의 위치를 고려하는 항이다.

그리고 T _F, T _E, T _I, T _O는 M×N크기의 행렬이며 M과 N은 LCD 패널의 해상도이다. T _E는 주어진 디스플레이 장치에 대해 상수 값이지만 T _I는 관측자의 위치에 따라 변화하는 값이다. 여기서 테이블의 모든 값은 부동소수점의 정확도를 가진다.

T _I를 예측하는 방법을 구체적으로 설명하면 다음과 같다.

본래 대응표의 뷰 색인과 관측자가 위치한 장소에서 실제로 관측되는 서브픽셀의 뷰 색인 사이의 부적절성을 보상하기 위해 T _I를 정의한다.

T _I를 예측하기 위해 실제로 관측되는 위치와 최적의 관측거리에서 관측되는 위치 사이의 거리인 d를 계산한다.

예를 들어, 도 4에서 사용자 A₅가 5번째 뷰잉 존에 위치한다고 가정하자. 이 때 A₅는 2번째 렌즈를 관측할 때, 7번 픽셀을 관측해야 한다.

그러나, 최적의 위치에 존재하지 않기 때문에 사용자 A₅는 6번 서브픽셀을 관측하게 되고 거리 d만큼 에러가 발생하게 된다. d값은 수학식 2와 같이 유도가 가능하다.

여기서, f는 렌즈의 초점거리이며, L_D는 눈과 렌즈 사이의 세로방향 거리이다. 또한, L_H는 관측하는 렌즈의 중심에서 5번째 뷰잉 존까지의 가로거리이다. n_r은 렌즈의 굴절률이다.

d값은 대응표에서 뷰 색인의 이동 혹은 변화로 이해할 수 있다.

예를 들어 눈 A₅로부터 관측된 지점은 2번째 렌즈에서 왼쪽으로 1픽셀 어긋났다. 이 문제를 해결하기 위해 보상 대응표의 생성시 이를 고려한다. 연속된 서브픽셀의 뷰 색인 차는 9 뷰 시스템에서 2이기 때문에 1픽셀의 이동은 두 개의 뷰잉 존 이동에 해당하다.

따라서 해당하는 서브픽셀의 T _I 값은 도 4에서와 같이 2로 설정하면 된다. 일반적으로 T _I에서 (m, n)위치의 각 서브픽셀에서의 d값은 d(m, m)로 표현되며 수학 식 3으로 정의된다.

, (mod 9)

여기서, (m, n)은 LCD 패널상에서 서브픽셀의 위치이며 P_L은 서브픽셀의 가로방향의 길이다. T _I의 모든 값은 하나의 행에서만 구하면 된다.

T _E를 예측하는 방법을 구체적으로 설명하면 다음과 같다.

렌즈의 불균일성과 정렬에러로 인하여 발생하는LCD 픽셀과 렌즈 사이의 미스매치 (mismatch) 문제를 해결하기 위해서 T _E를 제안한다.

도 5는 T _O, T _E, T _F사이의 관계를 나타낸다.

도면에서 5번째 뷰잉 존에 위치한 관찰자는 7번째 뷰 영상으로부터 샘플 된 서브픽셀을 본다. 따라서 해당 서브픽셀의 T _E값은 -2로 보정되어야 한다.

즉, LCD 픽셀과 렌즈 사이의 정확한 위치관계를 안다면 T _E는 예측 가능하다.

렌즈의 정렬에러와 불균일성을 예측하기 위해서 9개의 3차원 패턴 영상을 사용한다. i번째 뷰 영상은 흰색으로 설정하고 나머지는 검정색으로 설정한 뒤, 이를 본래의 대응표를 이용하여 멀티플렉싱(multiplexing)하여 i번째 3차원 패턴영상을 생성한다. 각각의 3차원 패턴영상은 5번째 뷰잉 존에서 관측한다.

여기서 내부적인 문제로 인한 영상왜곡을 피하기 위하여 디스플레이 장치로 부터 충분히 먼 거리에서 영상을 얻어야 한다.

만약 외부적인 문제가 없다면 5번째 패턴영상만 흰색이며 다른 영상은 검정색이 된다. 이 경우 T _E의 모든 값은 0으로 설정한다. 그렇지 않을 경우 캡쳐된 패턴 영상으로부터 T _E값을 계산한다.

만약 i번째 캡쳐된 패턴영상에서 (n, m)위치가 흰색이라면 5번째 뷰잉 존에 위치한 관측자는 (n, m)위치에서 i번째 뷰 영상으로부터 샘플 된 서브픽셀을 관측하게 된다. 따라서, (n, m)에서의 T _E값은 도 5과 같이 (5-i)가 되어야 한다.

이와 같이 본 발명에 의한 렌즈 방식의 3차원 모니터에서 비균일한 렌즈의 정렬에러로 인한 영상 왜곡 및 사용자의 위치에 따른 영상 보상방법을 사용하면 다음과 같은 이점이 있다.

첫째, 정확한 정렬 정렬에러와 비균일성을 파악함으로써, 미세한 에러로 물리적으로 보정이 어려운 정렬 에러는 발명한 방법을 이용하여 영상의 왜곡 현상을 줄이는 것이 가능하다.

둘째, 제한된 공간에서만 최적의 3차원 영상을 제공해주는 렌티큘러 시스템의 한계를 벗어나 사용자의 위치를 고려한 시스템을 만드는 것이 가능하다.

Claims

3차원 모니터에서 비균일한 렌즈의 잘못된 정렬에러를 검출하고 사용자의 위치를 반영하여 영상왜곡을 보상하는 방법에 있어서,

N개의 원래의 뷰 영상들과 3차원으로 합성된 멀티뷰 영상사이의 관계를 나타내는 매핑 테이블을 만드는 단계;

3차원 모니터에서 렌즈의 잘못된 정렬에러 혹은 비균일성을 검출하는 매핑 테이블을 만드는 단계;

사용자의 위치에 따른 영상 왜곡을 보상하는 매핑 테이블을 만드는 단계로 구성되는 것을 특징으로 하는 3차원 모니터에서 영상왜곡을 보상하는 방법.
청구항 1에 있어서,

상기 3차원 모니터에서 렌즈의 잘못된 정렬에러 혹은 비균일성을 검출하는 매핑 테이블을 만드는 단계에서

테스트 영상들을 이용하여 3차원 모니터에서 렌즈의 정렬에러나 불균일성을 예측하며, 관찰자의 눈으로부터 원래 관측되어야 할 서브픽셀의 영상 인덱스와 실제로 관측된 영상 픽셀의 영상 인덱스의 차이를 계산함으로써 렌즈의 정렬에러 혹은 불균일성을 검출하는 것을 특징으로 하는 3차원 모니터에서 영상왜곡을 보상하는 방법.
청구항 2에 있어서,

상기 3차원 모니터에서 렌즈의 정렬에러나 불균일성을 예측시 렌즈의 정렬에러나 불균일성이 있는 경우 각각의 뷰잉존에서 관찰되는 영상의 내부에 복수의 뷰 영상이 표시되는 것을 특징으로 하는 3차원 모니터에서 영상왜곡을 보상하는 방법.
청구항 1에 있어서,

상기 사용자의 위치에 따른 영상 왜곡을 보상하는 매핑 테이블을 만드는 단계에서

최적의 위치에 존재하는 관측자가 관측되어야 할 서브픽셀과 실제 사용자가 위치한 장소에서 관측된 서브픽셀의 인덱스 차이를 계산함으로써 사용자의 거리를 보상하는 것을 특징으로 하는 3차원 모니터에서 영상왜곡을 보상하는 방법.
청구항 4에 있어서,

상기 사용자의 거리를 보상하는 것은 수학식 4를 이용하는 것을 특징으로하는 3차원 모니터에서 영상왜곡을 보상하는 방법.

(여기서, f는 렌즈의 초점거리, L_D는 눈과 렌즈 사이의 세로방향 거리, L_H는 관측하 는 렌즈의 중심에서 5번째 뷰잉 존까지의 가로거리, n_r은 렌즈의 굴절률이다.)
렌티큘러 디스플레이 장치에 수학식 5를 사용하여 영상왜곡을 보상하는 3차원 영상합성 기기.

T _F = T _O + T _E + T _I

(여기서, T _O를 본래의 대응표, T _F는 최종 대응표, T _E는 렌즈의 정렬에러와 비균일성으로 인하여 발생하는 문제를 보상하는 항, T _I는 사용자의 위치를 고려하는 항이다.)