KR101817436B1

KR101817436B1 - 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법

Info

Publication number: KR101817436B1
Application number: KR1020160098360A
Authority: KR
Inventors: 김시호; 이상호
Original assignee: 연세대학교 산학협력단
Priority date: 2016-08-02
Filing date: 2016-08-02
Publication date: 2018-02-21
Anticipated expiration: 2036-08-02

Abstract

안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법이 제공된다. 본 발명의 일 실시예에 따른 영상 표시 장치는 안구 전위(EOG) 센서로부터 수신되는 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준점으로 사용자의 동공의 위치를 계산하고, 상기 계산된 동공의 위치에 기초하여 상기 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치(P_HMD)를 계산하는 투영 위치 계산부, 상기 계산된 위치를 이용하여 가상 공간상에서의 상기 타겟 오브젝트의 위치 정보를 획득하는 타겟 오브젝트 위치 획득부 및 상기 획득된 타겟 오브젝트의 위치 정보를 이용하여 상기 타겟 오브젝트에 대한 피사계 심도를 계산하고, 3차원 영상의 스테레오 카메라가 바라보는 각도와 상기 스테레오 카메라의 IPD(Inter Pupillary Distance)를 보정하는 보정부를 포함하는 것을 특징으로 한다.

Description

안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법{APPARATUS AND METHOD FOR DISPLAYING CONTENTS USING ELECTROOCULOGRAM SENSORS}

본 발명은 영상 표시 장치 및 제어 방법에 관한 것으로서, 더욱 상세하게는 안구 전위 센서를 이용하여 머리 또는 얼굴부에 착용하는 영상 표시 장치와 이의 제어 방법에 관한 것이다.

Head/Helmet Mounted Display(이하, ‘HMD’라 칭함) 또는 Head Worn Display(이하 ‘HWD’라 칭함)와 같이 사람의 머리 또는 얼굴부에 착용하는 영상 표시 장치가 최근 큰 인기를 끌고 있다.

그러나 이러한 영상 표시 장치를 사용 시 어지럼증과 같은 시뮬레이터 질병(simulator sickness) 또는 피로감(simulator fatigue) 등이 발생할 수 있는데, 이는 스테레오 3차원 영상에서 눈으로 보이는 입체감과 거리감이 실제와 부정합되어 발생되는 것이다.

이와 같은 문제를 해소하기 위해서, 사용자의 눈이 대상 물체에 초점을 맞출 때 두 눈의 수렴각인 컨버전스(convergence)와, 대상 물체에 초점을 맞추기 위한 눈의 수정체(렌즈)의 초점 거리 보정인 어코모데이션(accommodation)의 정합이 필요하다.

그리고, 상기 컨버전스와 어코모데이션의 정합을 위해서는 사용자가 영상에서 어디를 보고 있는지에 대한 정보가 필요하므로 아이 트랙킹(eye tracking)이 필요하게 된다.

그러나, 종래의 아이 트랙킹 방식은 사용자의 눈동자를 계속 추적해야 하므로 적외선 동공 추적 카메라나 카메라 분석 모듈을 장착한 센서 등 추가적인 구성 요소가 필요하고, 영상으로부터 눈동자의 바라보는 위치와 각도를 찾아내야 하는 알고리즘이 복잡해지는 등의 문제가 있다.

일 예로서, 도 1을 참조하여 종래의 적외선 소자를 이용한 아이 트래킹 방식을 설명하도록 한다.

도 1은 고글 형태를 갖는 착용형 시선 추적 장치 및 방법(등록특허공보 제10-09749743호)에 관한 것으로서, 사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈(100)과, 상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 사용자의 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출하는 영상 처리 모듈(200)을 개시하고 있다.

그러나 도 1에 개시된 종래 기술은 전방 영상을 촬영하는 제 1 카메라(110)와, 사용자 눈으로 적외선을 조명하는 적외선 조명부(120)와, 사용자 눈으로 조명된 적외선이 굴절되도록 반사하는 적외선 반사 거울(130)과, 상기 적외선 반사 거울(130)을 통해 반사된 적외선을 기반으로 사용자 눈 영상을 획득하는 제 2 카메라(140)를 필수 구성 요소로 하며, 이 구성 요소들을 통해 동공의 중심 좌표를 획득하고 시선 위치를 계산 시 지역 이진화 과정과 복수의 사상 행렬을 계산하고 결합하는 등 알고리즘이 복잡한 문제가 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 안구 전위(Electro OculoGraphy; EOG) 센서를 이용하는 아이 트랙킹 기법을 제안하고 이를 HMD 또는 HWD와 같이 사람의 머리 또는 얼굴부에 착용하는 영상 표시 장치에 적용하여 시뮬레이터 질병 또는 피로감을 감소시키는 방안을 제공하고자 한다.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 표시 장치는 안구 전위(EOG) 센서로부터 수신되는 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준점으로 사용자의 동공의 위치를 계산하고, 상기 계산된 동공의 위치에 기초하여 상기 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치(P_HMD)를 계산하는 투영 위치 계산부, 상기 계산된 위치를 이용하여 가상 공간상에서의 상기 타겟 오브젝트의 위치 정보를 획득하는 타겟 오브젝트 위치 획득부 및 상기 획득된 타겟 오브젝트의 위치 정보를 이용하여 상기 타겟 오브젝트에 대한 피사계 심도를 계산하고, 3차원 영상의 스테레오 카메라가 바라보는 각도와 상기 스테레오 카메라의 IPD(Inter Pupillary Distance)를 보정하는 보정부를 포함하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 표시 장치가 영상을 제어하는 방법은 (a) 안구 전위(EOG) 센서로부터 수신되는 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준점으로 사용자의 동공의 위치를 계산하는 단계, (b) 상기 계산된 동공의 위치에 기초하여 상기 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치(P_HMD)를 계산하는 단계, (c) 가상 공간상에서 상기 계산된 위치를 이용하여 상기 타겟 오브젝트의 위치 정보를 획득하는 단계 및 (d) 상기 획득된 타겟 오브젝트의 위치 정보를 이용하여 상기 타겟 오브젝트에 대한 피사계 심도를 계산하고, 3차원 영상의 스테레오 카메라가 바라보는 각도와 상기 스테레오 카메라의 IPD(Inter Pupillary Distance)를 보정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 종래 기술 보다 간단한 방법으로 HMD 또는 HWD와 같이 사람의 머리 또는 얼굴부에 착용하는 영상 표시 장치 이용 시 발생하는 시뮬레이터 질병 또는 피로감을 감소시킬 수 있다.

또한, 적외선 동공 추적 카메라나 카메라 분석 모듈을 장착한 센서 등을 이용하는 종래 기술에 비해 저렴하게 HMD 또는 HWD와 같은 영상 표시 장치를 구현할 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 종래의 적외선 소자를 이용한 아이 트래킹 방식을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 표시 장치의 구성을 도시한 도면이다.
도 3은 안구 전위 센서의 동작 원리를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 표시 장치가 고려하는 눈의 수정체의 초점(accomodation) 거리 보정과 양쪽 눈의 수렴(convergence) 각도 보정을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 피사계 심도의 계산 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 양쪽 눈의 수렴(convergence) 각도 보정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 눈의 수정체의 초점(accomodation) 거리 보정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 표시 장치의 제어 과정을 도시한 흐름도이다.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 영상 표시 장치의 구성을 도시한 도면이고, 도 3은 안구 전위 센서(EOG)의 동작 원리를 도시한 도면이다.

본 발명의 일 실시예에 따른 영상 표시 장치(100)는 스마트 폰과 같은 휴대용 단말기를 포함할 수 있으며, 안구 전위 센서(ElectroOculoGram; EOG)를 포함하는 HMD 또는 HWD에 탑재될 수 있다.

이하, HMD 또는 HWD와 같이 사람의 머리 또는 얼굴부에 착용하는 영상 표시 장치를 설명의 편의 상 ‘HMD’로 통칭하도록 한다.

물론, 상기 통칭하는 HMD는 Head/Helmet Mounted Display와 Head Worn Display만으로 한정되는 것은 아니며, 사람의 머리 또는 얼굴부에 착용되어 가상 현실(VR), 증강 현실(AR), 3차원 콘텐츠 등을 제공할 수 있는 영상 표시 장치라면 상기 통칭되는 HMD에 모두 포함될 수 있다.

참고로 실시예에 따라서 영상 표시 장치(100)는 HMD 자체를 의미할 수도 있다. 즉, HMD에 안구 전위 센서는 물론 상기 휴대용 단말기의 역할을 하는 장치가 일체형으로 형성될 수도 있다.

이하, 영상 표시 장치(100)는 스마트 폰과 같은 휴대용 단말기이며, 안구 전위 센서를 포함하는 HMD에 탑재되어 3차원 영상을 제공하는 실시예를 설명하도록 한다.

영상 표시 장치(100)는 안구 전위 신호 수신부(110), 투영 위치 계산부(120), 타겟 오브젝트 위치 획득부(130), 보정부(140), 제어부(150) 및 메모리(160)를 포함할 수 있으며, 보정부(140)는 피사계 심도 보정부(141), 카메라 각도 보정부(142) 및 카메라 IPD 보정부(143)를 포함할 수 있다.

각 구성 요소를 설명하면, 안구 전위 신호 수신부(110)는 HMD의 안구 전위 센서로부터 사용자의 안구 전위 신호를 수신할 수 있다.

이를 위해 안구 전위 신호 수신부(110)는 HMD의 안구 전위 센서와 근거리 통신망 등으로 연결될 수 있다.

여기서 안구 전위 센서는 glass 형태로서 HMD에서 사용자의 눈 주위에 밀착되도록 복수개가 배치될 수 있으며, 사용자가 눈을 움직일 때 발생하는 안구 전위 신호 ? 안구 운동 시 안구 주변 근육의 전기적인 활동에 의해 발생되는 신호 ? 를 좌측 눈과 우측 눈에 대해서 각각 획득할 수 있다.

참고로, 이하에서 좌측 눈과 우측 눈을 별도로 언급하지 않더라도 이하의 내용은 좌측 눈과 우측 눈에 모두 적용될 수 있다.

이하, 도 3을 참조하여 안구 전위 센서의 동작 원리에 대해서 설명하도록 한다.

도 3의 (a)는 눈동자의 움직임에 따라서 기준 전극에 대한 전위의 변화 측정이 가능함을 보여주는 것으로서, 기준 전극과 감지 전극을 눈 주위에 부착한 경우, 사용자의 눈동자가 상 방향 또는 하 방향으로 움직임에 따라서 전위차(망막(retina)은 음의 전위이고 동공(cornea)은 음의 전위임)가 변화함을 알 수 있다.

또한, 도 3의 (b)는 눈동자가 움직이는 각도에 따른 전기 정보의 수신 예를 도시한 도면이다.

도 3의 (b)에 도시된 바와 같이, 눈동자의 움직이는 방향이 0이면 비교기(comparator)의 출력 신호는 변화가 없으나, 눈동자가 우측 방향(θ₁)으로 움직이는 경우 양의 펄스가 출력되고, 눈동자가 좌측 방향(θ₂)으로 움직이는 경우 음의 펄스가 출력됨을 볼 수 있다.

도 3의 (a)와 (b)를 참조하여 설명한 바와 같이, 눈동자가 움직이는 경우 그 움직이는 방향(각도)에 따라서 전위차가 발생하게 되며, 안구 전위 센서는 이러한 전위차를 감지하여 안구 전위 신호를 제공하며, 안구 전위 신호 수신부(110)는 HMD의 안구 전위 센서로부터 눈동자의 움직임에 따른 안구 전위 신호를 수신할 수 있다.

한편, 투영 위치 계산부(120)는 안구 전위 신호 수신부(110)를 통해 수신되는 안구 전위 센서의 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준점으로 사용자의 동공의 위치를 계산할 수 있다.

여기서 ‘망막을 기준점’으로 하기 위한 망막의 위치(중심점)는 미리 정해질 수 있으며, 본 발명의 일 실시예에서는 모든 사용자의 망막의 위치는 동일한 것으로 가정한다.

투영 위치 계산부(120)는 망막의 위치를 원점(O)으로 하고 동공의 위치(P_EYE)를 방향으로 하는 벡터(

)를 이용하여, 사용자가 응시하고 있는 타겟 오브젝트가 영상 표시 장치(100)의 스크린상에 투영되는 위치 P_HMD = (x, y, z)를 계산할 수 있다. 여기서 z = 0일 수 있다.

여기서 ‘P_HMD’는 사용자의 시야각(Field of View; FoV)의 범위 내에서 타겟 오브젝트가 스크린상에 존재할 수 있는 위치(좌표)로서 두 눈의 수렴에 대한 차이(discrepancy of eye-convergence)를 제로 변위로 만들기 위해 사용될 수 있다.

즉, 두 눈의 수렴에 대한 차이는 입체감을 발생시키는 원인이 되기도 하지만 어지러움을 발생시키는 원인이 되기도 하므로, P_HMD를 이용하여 두 눈의 수렴에 대한 차이를 제로 변위로 만들고, 가상 공간상에서 입체감이 느껴지는 타겟 오브젝트에 대해서는 스크린의 뒤쪽인 가상 공간으로 그 위치를 설정하는 것이다.

P_HMD의 구체적 계산 방법은 아래와 같다.

상기

는 동공의 위치인 P_EYE와 망막의 위치인 원점 O의 차이로 나타낼 수 있으며, 여기에 스케일 계수 S를 곱하여 아래의 [수학식 1]과 같이 상기 O와 P_HMD의 벡터를 구할 수 있다.

여기서 ‘스케일 계수 S’는 사용자의 눈에 인접하는 렌즈와 영상 표시 장치(100)의 스크린 사이의 거리에 따라서 미리 정해지는 값이다.

만일, 영상 표시 장치(100)가 스크린이 내장된 일체형 장치인 경우 상기 스케일 계수 S는 고정된 값이 될 수 있으나, 본 발명의 실시예와 같이 휴대용 단말기의 화면이 상기 스크린의 역할을 수행하는 경우에는 휴대용 단말기의 종류에 따라서 스케일 계수 S가 정해질 수 있다.

결국, P_HMD는

에 스케일 계수 S를 곱한

의 값을 P_HMD의 좌표 값으로 사용할 수 있다.

한편, 타겟 오브젝트 위치 획득부(130)는 상기 계산된 P_HMD를 이용하여 P_HMD에 대응하는 가상 공간에서의 타겟 오브젝트 위치, 즉, 타겟 오브젝트의 3차원 좌표를 획득할 수 있다.

여기서 타겟 오브젝트 위치 획득부(130)는 광선 방사(Ray-Casting) 기법을 통해 가상 공간에서의 타겟 오브젝트 위치를 획득할 수 있으며, 이때 상기 P_HMD가 파라미터로 사용될 수 있다.

광성 방사 기법은 빛을 발사해서 보이는지 안보이는지를 판단하는 것으로서, 스크린의 한 픽셀 지점, 즉, P_HMD를 통과하는 시선 방향(line of sight)의 한 지점을 3차원 좌표(x, y, z)로 계산할 수 있다.

3차원 좌표 (x, y, z)는 광선 방사 함수를 통해 계산이 가능하며, 빛의 경로를 추적하는 기하-광학 기법에 기초할 수 있다.

상기 광선 방사 기법은 공지된 기술이므로 본 발명에서 상세한 설명은 생략하도록 한다.

한편, 피사계 심도 보정부(141)는 P_HMD로부터 타겟 오브젝트의 3차원 좌표 (x, y, z)까지의 거리인 초점 거리(focal length)를 계산하고, 이 초점 거리에 기초하여 타겟 오브젝트에 대한 피사계 심도(Depth of Field; DoF)를 보정할 수 있다.

여기서 ‘피사계 심도’는 눈의 초점이 맞는 것으로 인식되는 범위로서, 피사계 심도 보정부(141)는 좌측 눈과 우측 눈에 대해 각각 계산된 가상 공간에서의 타겟 오브젝트 위치의 차이를 피사계 심도로 정할 수 있다.

만일, 타겟 오브젝트가 원거리에서 근거리로 이동하는 경우, 초점 거리가 변하게 되고, 초점 거리의 변화에 따라서 피사계 심도 또한 보정될 수 있다.

피사계 심도 보정부(141)의 피사계 심도 계산 방법에 대해서는 도 5를 참조하여 후술하도록 한다.

또한, 피사계 심도 보정부(141)는 계산된 피사계 심도로부터 일정 거리 이상 이격된 오브젝트 또는 배경에 대해서 블러링 처리를 할 수 있다.

즉, 타겟 오브젝트의 심도를 벗어나는 영역에 대해서는 블러링 처리를 하여 실제 영상을 보는 것과 유사하게 3차원 영상을 제공함으로써, 3차원 영상을 시청하는 사용자가 느끼는 어지러움을 감소시킬 수 있다.

한편, 카메라 각도 보정부(142)는 3차원 영상의 스테레오 카메라가 3차원 영상 내에서 현재 바라보고 있는 각도를, 상기 타겟 오브젝트 위치를 바라보는 각도(convergence)로 실시간 보정할 수 있다.

여기서 ‘3차원 영상의 스테레오 카메라(이하, ‘스테레오 카메라’라 칭함)’는 물리적 카메라가 아닌 가상의 카메라로서, 스테레오 카메라를 통해 현재 3차원 영상이 촬영되어 사용자에게 보여지는 것으로 가정하는 것이다.

즉, 사용자는 스테레오 카메라의 시선으로 촬영된 3차원 영상을 감상하는 것이다.

따라서, 3차원 영상 내에서 스테레오 카메라의 위치는 미리 정해진 값으로 획득될 수 있으며, 타겟 오브젝트의 위치가 정해진다면 스테레오 카메라의 위치로부터 타겟 오브젝트까지의 거리와 스테레오 카메라가 타겟 오브젝트를 바라보는 각도 등이 계산될 수 있다.

여기서 ‘타겟 오브젝트까지의 거리(이하, ‘타겟 오브젝트 거리’라 칭함)’는 스테레오 카메라의 두 렌즈의 중심을 잇는 선분과 타겟 오브젝트 간 최단 거리이며, 타겟 오브젝트 거리는 피사계 심도 보정부(141)에서 계산된 타겟 오브젝트의 초점 거리에 비례하여 증감할 수 있다.

카메라 각도 보정부(142)는 타겟 오브젝트의 위치가 변경 시, 변경 전과 후의 타겟 오브젝트 거리 및 변경 전 스테레오 카메라의 각도를 이용하여, 스테레오 카메라가 타겟 오브젝트를 바라보는 각도를 보정할 수 있다.

카메라 각도 보정부(142)의 카메라 각도 보정에 대해서는 도 6a 및 도 6b를 참조하여 후술하도록 한다.

또한, 카메라 IPD 보정부(143)는 스테레오 카메라가 위치하는 지점, 즉 IPD(Inter-Pupillary Distance; IPD, 이하 ‘IPD’라 칭함)를 보정(accommodation)할 수 있다.

여기서 스테레오 카메라의 IPD 조절은 타겟 오브젝트의 위치가 변경될 때, 스테레오 카메라로부터 변경 전 타겟 오브젝트 거리와 변경 후 타겟 오브젝트 거리, 그리고 변경 전의 IPD에 기초하여 새롭게 보정할 IPD를 계산할 수 있다.

이때 카메라 IPD 보정부(143)는 타겟 오브젝트가 피사계 심도를 벗어나지 않도록 보정하여 초점의 효과를 극대화할 수 있다.

카메라 IPD 보정부(143)의 IPD 보정에 대해서는 도 7을 참조하여 후술하도록 한다.

한편, 제어부(150)는 영상 처리 장치(100)의 상기 구성 요소들, 예를 들어 안구 전위 신호 수신부(110), 투영 위치 계산부(120), 타겟 오브젝트 위치 획득부(130), 보정부(140), 그리고 보정부(140)에 포함되는 피사계 심도 보정부(141), 카메라 각도 보정부(142), 카메라 IPD 보정부(143) 및 메모리(160) 등을 제어할 수 있다.

한편, 메모리(160)는 영상 표시 장치(100)가 전술한 동작들을 수행하기 위해 필요한 다양한 알고리즘과 그 과정에서 파생된 다양한 데이터 등을 저장할 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 표시 장치가 고려하는 눈의 수정체의 초점(accomodation) 거리 보정과 양쪽 눈의 수렴(convergence) 각도 보정을 설명하는 도면이다.

눈의 수정체의 초점(accomodation)에 따르면, 대상물체의 거리에 따른 수정체 초점과 각막을 통해 피사체 심도가 보정될 수 있다.

도 4의 (a)에서, 근거리 타겟(near target)에 대한 초점(420)만 포커싱되는 경우 원거리 타겟(far target)에 대한 초점(410)은 동공 내에서 포커싱되지 않고 블러링된다.

한편, 원거리 타겟(far target)에 대한 초점(430)만 포커싱되는 경우 근거리 타겟(near target)에 대한 초점(440)은 동공 내에서 포커싱되지 않고 블러링된다.

또한, 양쪽 눈의 수렴(convergence) 각도에 따르면, 눈의 회전 이동을 통해 특정 오브젝트에 대해서만 초점이 포커싱되고 다른 오브젝트에 대해서는 블러링될 수 있다.

본 발명은 눈의 수정체의 초점과 양쪽 눈의 수렴의 일치를 통해 스테레오 3차원 디스플레이에서 어지럼증과 같은 사용자 불쾌감 또는 눈의 피로도를 완화시킬 수 있다.

도 5는 본 발명의 일 실시예에 따른 피사계 심도의 계산 방법을 설명하기 위한 도면이다.

피사계 심도를 ‘d’라고 하면, 영상 표시 장치(100)는 아래와 같은 방법으로 피사계 심도를 계산할 수 있다.

영상 표시 장치(100)는 사용자의 안구에서 망막의 위치인 원점(O)에서부터 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치인 P_HMD까지의 벡터(

)를 좌측 눈과 우측 눈에 대하여 각각 계산한다(S501).

여기서,

는 망막의 위치를 원점(O)으로 하고 동공의 위치(P_EYE)를 방향으로 하는 벡터(

)에 스케일 계수 S를 곱한 결과이며, 스케일 계수 S는 사용자의 눈에 인접하는 렌즈와 스크린 사이의 거리에 따라서 미리 정해지는 값이다.

P_HMD는

에 스케일 계수 S를 곱한

의 값을 P_HMD의 좌표 값으로 사용할 수 있다.

S501 후, 영상 표시 장치(100)는 좌측 눈과 우측 눈 각각에 대하여 계산된 벡터(

), 즉, P_HMD에 기초하여, 가상 공간상에서 상기 벡터(

)에 상응하는 타겟 오브젝트의 위치, 즉, 가상 공간상에서 타겟 오브젝트의 3차원 좌표를 계산한다(S502).

S502 후, 영상 표시 장치(100)는 좌측 눈에 대한 타겟 오브젝트의 3차원 좌표와 우측 눈에 대한 타겟 오브젝트의 3차원 좌표간 차이(거리)를 피사계 심도 ‘d’로 정한다(S503).

도 6a및 도 6b는 본 발명의 일 실시예에 따른 양쪽 눈의 수렴(convergence) 각도 보정을 설명하기 위한 도면이다.

도 6a에서, Eye_Left는 3차원 영상의 스테레오 카메라 중 왼쪽 카메라를 의미하고, Eye_Right는 3차원 영상의 스테레오 카메라 중 오른쪽 카메라를 의미한다.

스테레오 카메라가 3차원 영상에서 현재 바라보고 있는 대상을 제1 타겟 오브젝트(P₁)라 하고, 전술한 P_HMD를 이용하여 획득한 사용자가 바라보는 새로운 대상을 제2 타겟 오브젝트(P₂)라 하면, 영상 표시 장치(100)는 스테레오 카메라가 바라보는 각도를 제1 타겟 오브젝트(P₁)를 향하는 방향에서 제2 타겟 오브젝트(P₂)를 향하는 방향으로 보정할 수 있다.

도 6a를 참조하면, 제1 타겟 오브젝트(P₁)는 IPD의 축 상에서 θ만큼 회전하는 방향에 위치하며, 제2 타겟 오브젝트(P₂)는 θ_L2, 즉 θ에서 θ_L1을 차감한 만큼의 방향에 위치한다.

각 경우에서 스테레오 카메라가 대상을 바라보는 각도(눈의 수렴 각도)인 θ, θ_L1 및 θ_L2는 아래의 [수학식 2]에 의해서 계산될 수 있다.

여기서, d₁은 IPD의 중심점으로부터 제1 타겟 오브젝트까지의 거리이고, d₂는 IPD의 중심점으로부터 제2 타겟 오브젝트까지의 거리이다.

즉, 영상 표시 장치(100)는 타겟 오브젝트의 거리에 따라서 스테레오 카메라가 바라보는 각도를 실시간으로 보정할 수 있다.

한편, 도 6b는 스테레오 카메라의 각도를 보정하는 실시예를 설명하는 도면으로서, 스테레오 카메라의 각도를 보정하기 전과 보정한 후의 스테레오 카메라와 타겟 오브젝트간의 관계를 나타낸 것이다.

도 6b에 도시된 바와 같이, 스테레오 카메라의 각도을 보정하기 전에는 양안 차에 의한 미스 매치가 발생하였지만, 스테레오 카메라의 각도를 보정한 후에는 양안 차에 의한 미스 매치가 해소되었음을 볼 수 있다.

도 7은 본 발명의 일 실시예에 따른 눈의 수정체의 초점(accomodation) 거리 보정을 설명하기 위한 도면이다.

도 7은 타겟 오브젝트의 거리가 변경됨에 따라서 스테레오 카메라의 IPD를 조절하는 실시예이다.

변경 전 지점에 위치하는 제1 타겟 오브젝트에 대한 IPD₁은 변경 후 지점에 위치하는 제2 타겟 오브젝트를 위해 IPD₂로 변경될 수 있다.

구체적으로, 변경된 IPD인 IPD₂는 아래 [수학식 3]을 통해 계산될 수 있다.

여기서, Dist_eye2obj1은 스테레오 카메라의 중심과 제1 타겟 오브젝트간 최단 거리이며, Dist_eye2obj2는 스테레오 카메라의 중심과 제2 타겟 오브젝트간 최단 거리를 의미한다.

영상 표시 장치(100)는 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 타겟 오브젝트 거리(Dist_eye2obj1)와 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 타겟 오브젝트 거리(Dist_eye2obj2)를 계산할 수 있다.

여기서, 제1 타겟 오브젝트 거리와 제2 타겟 오브젝트 거리는 각 타겟 오브젝트의 초점 거리에 비례하여 증감할 수 있다.

참고로, 타겟 오브젝트의 위치 값은 전술한 방법을 통해 계산될 수 있으며, 3차원 영상의 스테레오 카메라의 위치 또한 이미 정해진 값이므로, 상기 Dist_eye2obj1과 Dist_eye2obj2는 쉽게 계산될 수 있다.

이후 영상 표시 장치(100)는 제1 타겟 오브젝트 거리(Dist_eye2obj1) 및 제2 타겟 오브젝트 거리(Dist_eye2obj2)의 비율을 계산하고, 상기 계산 결과를 스테레오 카메라의 현재 IPD인 제1 IPD에 반영하여, 보정을 위한 새로운 IPD인 제2 IPD(IPD_new)를 계산하고, 계산된 제2 IPD에 따라서 스테레오 카메라의 위치를 보정할 수 있다.

참고로, 영상 표시 장치(100)는 타겟 오브젝트와 스테레오 카메라 사이의 거리가 피사계 심도를 벗어나지 않도록 스테레오 카메라의 IPD를 조절할 수 있다.

여기서, 사용자의 왼쪽 눈과 오른쪽 눈의 동공간 거리가 동일하다고 가정하면, 보정을 위한 새로운 동공간 거리(IPD_new)는 타겟 오브젝트로부터 스테레오 카메라까지의 거리에 의해서 계산될 수 있다.

타겟 오브젝트로부터 스테레오 카메라까지의 거리가 계산되면, 왼쪽 카메라의 위치는 아래 [수학식 4]에 의해서 계산될 수 있다.

이와 유사하게, 오른쪽 카메라의 위치는 아래 [수학식 5]에 의해서 계산될 수 있다.

여기서. ‘sellion’은 사용자가 HMD를 착용했을 때 스테레오 카메라의 사이에 있는 코의 시작점인 코안장점(sellion)을 의미한다.

즉, 상기 [수학식 4] 및 [수학식 5]에서 왼쪽 카메라와 오른쪽 카메라의 각 위치는 코의 시작점을 반영할 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 표시 장치의 제어 과정을 도시한 흐름도이다.

영상 표시 장치(100)는 안구 전위 센서로부터 안구 전위 신호를 수신하고, 수신된 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준으로 동공의 위치(PEYE)를 계산한다(S801).

S801 후, 영상 표시 장치(100)는 상기 망막의 위치인 원점과 동공의 위치에 기초한 벡터(

)를 이용하여 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치인 P_HMD를 계산한다(S802).

여기서, P_HMD를 계산하는 방법은 [수학식 1]을 참조하여 설명한바 있으므로 생략하도록 한다.

S802 후, 영상 표시 장치(100)는 계산된 P_HMD를 이용하여 각 눈에 대한 가상 공간에서의 타겟 오브젝트 위치(3차원 좌표)를 획득한다(S803).

여기서, 가상 공간에서의 타겟 오브젝트 위치는 광선 방사(Ray-Casting) 기법을 이용하여 획득할 수 있으며, 이때, 각 눈에 대한 P_HMD값이 파라미터로 사용될 수 있다.

S803 후, 영상 표시 장치(100)는 타겟 오브젝트에 대한 초점 거리를 계산하고, 계산된 초점 거리에 기초하여 피사계 심도를 보정한다(S804).

참고로, 피사계 심도는 S803에서 계산된 좌측 눈에 대한 가상 공간에서의 타겟 오브젝트 위치와 우측 눈에 대한 가상 공간에서의 타겟 오브젝트 위치의 차로 계산될 수 있다.

S804 후, 영상 표시 장치(100)는 3차원 영상의 스테레오 카메라가 현재 바라보고 있는 각도를 상기 S803에서 계산된 타겟 오브젝트를 바라보는 각도로 3차원 영상 내에서 보정한다(S805).

S805 후, 영상 표시 장치(100)는 스테레오 카메라의 현재 IPD와 타겟 오브젝트의 거리 변화에 기초하여, 보정을 위한 새로운 IPD를 계산하고, 스테레오 카메라의 현재 IPD를 새로운 IPD로 보정한다(S806).

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 영상 표시 장치
110 : 안구 전위 신호 수신부
120 : 투영 위치 계산부
130 : 타겟 오브젝트 위치 획득부
140 : 보정부
141 : 피사계 심도 보정부
142 : 카메라 각도 보정부
143 : 카메라 IPD 보정부
150 : 제어부
160 : 메모리

Claims

영상 표시 장치에 있어서,
안구 전위(EOG) 센서로부터 수신되는 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준점으로 사용자의 동공의 위치를 계산하고, 상기 계산된 동공의 위치에 기초하여 상기 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치(P_HMD)를 계산하는 투영 위치 계산부;
상기 계산된 위치를 이용하여 가상 공간상에서의 상기 타겟 오브젝트의 위치 정보를 획득하는 타겟 오브젝트 위치 획득부; 및
상기 획득된 타겟 오브젝트의 위치 정보를 이용하여 상기 타겟 오브젝트에 대한 피사계 심도를 계산하고, 3차원 영상의 스테레오 카메라가 바라보는 각도와 상기 스테레오 카메라의 IPD(Inter Pupillary Distance)를 보정하는 보정부
를 포함하되,
상기 투영 위치 계산부는
상기 망막과 동공의 위치로 나타내는 벡터에 스케일 계수 S를 곱한 결과 값을 상기 투영되는 위치(P_HMD)의 값으로 사용하되,
상기 스케일 계수는
사용자의 눈에 인접하는 렌즈와 상기 스크린 사이의 거리에 따라서 미리 정해지는 것을 특징으로 하는 영상 표시 장치.
삭제
제1 항에 있어서,
상기 보정부는
상기 상기 타겟 오브젝트에 대한 초점 거리와 피사계 심도를 계산하는 피사계 심도 보정부;
상기 스테레오 카메라가 상기 3차원 영상 내에서 현재 바라보고 있는 각도를 상기 타겟 오브젝트를 바라보는 각도로 보정하는 카메라 각도 보정부; 및
상기 스테레오 카메라와 상기 타겟 오브젝트간 변경되는 거리에 기초하여 상기 스테레오 카메라의 IPD를 보정하는 카메라 IPD 보정부
를 포함하되,
상기 각도 보정과 IPD 보정은 상기 계산된 피사계 심도를 반영하여 수행되는 것을 특징으로 하는 영상 표시 장치.
제3 항에 있어서,
상기 피사계 심도 보정부는
상기 사용자의 좌측 눈과 우측 눈에 대해 각각 획득된 상기 타겟 오브젝트의 위치 차이를 상기 피사계 심도로 계산하는 것을 특징으로 하는 영상 표시 장치.
제4 항에 있어서,
상기 피사계 심도 보정부는
상기 계산된 피사계 심도를 벗어나는 오브젝트나 배경을 블러링 처리하는 것을 특징으로 하는 영상 표시 장치.
제3 항에 있어서,
상기 카메라 각도 보정부는
상기 스테레오 카메라가 현재 바라보고 있는 각도 및 상기 스테레오 카메라와 타겟 오브젝트 사이의 거리를 이용하여 상기 타겟 오브젝트를 바라보는 각도를 계산하는 것을 특징으로 하는 영상 표시 장치.
제3 항에 있어서,
상기 카메라 IPD 보정부는
상기 스테레오 카메라로부터 제1 타겟 오브젝트 - 거리 변경 전 지점에 위치함 - 까지의 제1 타겟 오브젝트 거리와 상기 스테레오 카메라로부터 제2 타겟 오브젝트 - 거리 변경 후 지점에 위치함 - 까지의 제2 타겟 오브젝트 거리를 계산하고,
상기 스테레오 카메라의 현재 IPD인 제1 IPD에 상기 제1 타겟 오브젝트 거리 및 제2 타겟 오브젝트 거리의 비율을 반영하여 제2 IPD를 계산하며,
상기 스테레오 카메라의 제1 IPD를 상기 계산된 제2 IPD로 보정하는 것을 특징으로 하는 영상 표시 장치.
영상 표시 장치가 영상을 제어하는 방법에 있어서,
(a) 안구 전위(EOG) 센서로부터 수신되는 안구 전위 신호를 이용하여 음의 전위를 가지는 망막을 기준점으로 사용자의 동공의 위치를 계산하는 단계;
(b) 상기 계산된 동공의 위치에 기초하여 상기 사용자가 응시하고 있는 타겟 오브젝트가 스크린상에 투영되는 위치(P_HMD)를 계산하는 단계;
(c) 가상 공간상에서 상기 계산된 위치를 이용하여 상기 타겟 오브젝트의 위치 정보를 획득하는 단계; 및
(d) 상기 획득된 타겟 오브젝트의 위치 정보를 이용하여 상기 타겟 오브젝트에 대한 피사계 심도를 계산하고, 3차원 영상의 스테레오 카메라가 바라보는 각도와 상기 스테레오 카메라의 IPD(Inter Pupillary Distance)를 보정하는 단계
를 포함하되,
상기 (b) 단계는
상기 망막과 동공의 위치로 나타내는 벡터에 스케일 계수 S를 곱한 결과 값을 상기 투영되는 위치(P_HMD)의 값으로 사용하되,
상기 스케일 계수는
사용자의 눈에 인접하는 렌즈와 상기 스크린 사이의 거리에 따라서 미리 정해지는 것을 특징으로 하는 영상 제어 방법.
삭제
제8 항에 있어서,
상기 (d) 단계는
상기 상기 타겟 오브젝트에 대한 초점 거리와 피사계 심도를 계산하는 단계;
상기 스테레오 카메라가 상기 3차원 영상 내에서 현재 바라보고 있는 각도를 상기 타겟 오브젝트를 바라보는 각도로 보정하는 단계; 및
상기 스테레오 카메라와 상기 타겟 오브젝트간 변경되는 거리에 기초하여 상기 스테레오 카메라의 IPD를 보정하는 단계
를 포함하되,
상기 각도 보정과 IPD 보정은 상기 계산된 피사계 심도를 반영하여 수행되는 것을 특징으로 하는 영상 제어 방법.
제10 항에 있어서,
상기 (d) 단계의 피사계 심도를 계산하는 단계는
상기 사용자의 좌측 눈과 우측 눈에 대해 각각 획득된 상기 타겟 오브젝트의 위치 차이를 상기 피사계 심도로 계산하는 것을 특징으로 하는 영상 제어 방법.
제10 항에 있어서,
상기 (d) 단계의 각도를 보정하는 단계는
상기 스테레오 카메라가 현재 바라보고 있는 각도 및 상기 스테레오 카메라와 타겟 오브젝트 사이의 거리를 이용하여 상기 타겟 오브젝트를 바라보는 각도를 계산하는 것을 특징으로 하는 영상 제어 방법.
제10 항에 있어서,
상기 (d) 단계의 IPD를 보정하는 단계는
상기 스테레오 카메라로부터 제1 타겟 오브젝트 - 거리 변경 전 지점에 위치함 - 까지의 제1 타겟 오브젝트 거리와 상기 스테레오 카메라로부터 제2 타겟 오브젝트 - 거리 변경 후 지점에 위치함 - 까지의 제2 타겟 오브젝트 거리를 계산하고,
상기 스테레오 카메라의 현재 IPD인 제1 IPD에 상기 제1 타겟 오브젝트 거리 및 제2 타겟 오브젝트 거리의 비율을 반영하여 제2 IPD를 계산하며,
상기 스테레오 카메라의 제1 IPD를 상기 계산된 제2 IPD로 보정하는 것을 특징으로 하는 영상 제어 방법.
제8 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.