WO2019209013A1

WO2019209013A1 - 확장현실 영상처리 방법 및 이를 위한 장치

Info

Publication number: WO2019209013A1
Application number: PCT/KR2019/004917
Authority: WO
Inventors: 박승민; 박준서; 곽남훈
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-04-23
Filing date: 2019-04-23
Publication date: 2019-10-31
Anticipated expiration: 2020-10-23
Also published as: KR20190123039A

Abstract

확장현실 영상처리 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하고, 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하고, 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한다.

Description

확장현실 영상처리 방법 및 이를 위한 장치

본 발명은 확장현실 영상처리 방법 및 이를 위한 장치(METHOD FOR PROCESSING IMAGE OF EXTENDED REALITY AND APPARATUS THEREOF)에 관한 것으로, 더욱 상세하게는 사용자의 시선에 대응하는 영역별로 상이한 해상도를 적용하여 영상을 처리함으로써 보다 향상된 화질의 확장현실 영상 서비스를 제공할 수 있는 기술에 관한 것이다.

본 발명은 2018년 4월 23일 출원된 한국특허출원 제10-2018-0046708호의 출원일의 이익을 주장하며, 그 내용 전부는 본 명세서에 포함된다.

확장현실(Extended Reality, XR)은 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당한다. 현재 증강현실과 확장현실은 별개의 경험이지만 두 기술은 많은 제반 기술 요소를 공유하고 있고, 이런 기술들이 궁극적으로 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 혁신적인 확장현실 기술을 제공하게 된다.

이러한 확장현실 기반의 컨텐츠 확산이 지연되고 있는 주요 이유 중 하나는 컨텐츠의 디스플레이 품질이 비-인터랙티브(non-interactive) 디스플레이의 고정 뷰(fixed view)의 컨텐츠에 비해 떨어진다는 것이다. 즉, 소비자가 경험하는 현재 확장현실 기술의 스크린 컨텐츠 품질은 고정 뷰 방식의 컨텐츠에 비해 열악한 상황이다.

고정 뷰 방식의 컨텐츠에 관해서는 UHD 해상도나 HDR 등의 차세대 컨텐츠를 위한 산업 제안(industry recommendation)들이 정의된 데 반하여, 확장현실 컨텐츠는 픽쳐 해상도(picture resolution), 불충분한 프레임 레이트(frame rate) 및 플리커링(flickering)과 같은 기본적인 이슈들에 의해 제약받고 있다.

또한, 현재 확장현실 컨텐츠의 품질은 해상도에 의한 제약을 받고 있다. 즉, 사용자들은 적어도 2K의 HD 해상도에 익숙해져 있으므로 확장현실 컨텐츠에서도 보다 나은 품질(immersed quality)의 해상도를 기대한다.

본 발명의 목적은 확장현실 컨텐츠의 해상도 및 품질을 향상시키는 것이다.

또한, 본 발명의 목적은 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지하는 것이다.

또한, 본 발명의 목적은 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 많은 자원을 소비하지 않고 효율적으로 서비스를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 확장현실 영상처리 방법은, 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하는 단계; 상기 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하는 단계; 및 상기 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행하는 단계를 포함한다.

이 때, 제2 영역은 복수개의 영역들로 구분되고, 상기 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다.

이 때, 확장현실 영상처리 방법은 상기 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 상기 제1 영역 및 상기 제2 영역을 재설정하는 단계를 더 포함할 수 있다.

이 때, 시선의 방향을 기준으로 하는 시야각을 기반으로 상기 제1 영역 및 상기 제2 영역에 대한 범위를 설정할 수 있다.

이 때, 시야각은 수평 시야각 및 수직 시야각 중 적어도 하나에 상응할 수 있다.

이 때, 확장현실 영상처리 방법은 상기 기준 해상도 영상 처리를 수행한 결과와 상기 저해상도 영상 처리를 수행한 결과를 결합하여 상기 사용자에게 디스플레이하는 단계를 더 포함할 수 있다.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제1 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제1 평균 해상도보다 높을 수 있다.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제2 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제2 평균 해상도보다 높을 수 있다.

이 때, 제2 영역에 대한 시야각이 상기 제1 영역에 대한 시야각보다 클 수 있다.

이 때, 시선의 방향이 변화하면, 상기 시선의 방향이 변화하는 속도가 느린 경우의 범위가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 범위보다 넓을 수 있다.

또한, 본 발명의 일실시예에 따른 확장현실 영상처리 장치는, 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하고, 상기 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하고, 상기 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행하는 프로세서; 및 상기 제1 평균 해상도 및 상기 제2 평균 해상도를 저장하는 메모리를 포함한다.

이 때, 프로세서는 상기 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 상기 제1 영역 및 상기 제2 영역을 재설정하는 단계를 더 포함할 수 있다.

이 때, 프로세서는 상기 기준 해상도 영상 처리를 수행한 결과와 상기 저해상도 영상 처리를 수행한 결과를 결합하여 상기 사용자에게 디스플레이하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 확장현실 컨텐츠의 해상도 및 품질을 향상시킬 수 있다.

또한, 본 발명은 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지할 수 있다.

또한, 본 발명은 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 많은 자원을 소비하지 않고 효율적으로 서비스를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 확장현실 영상처리 시스템을 나타낸 도면이다.

도 2는 본 발명의 일실시예에 따른 확장현실 영상처리 방법을 나타낸 동작흐름도이다.

도 3은 본 발명에 따른 제1 영역과 제2 영역의 일예를 나타낸 도면이다.

도 4는 본 발명에 따른 제2 영역을 복수개의 영역들로 분할하는 일 예를 나타낸 도면이다.

도 5 내지 도 6은 본 발명에 따른 시야각의 일 예를 나타낸 도면이다.

도 7 내지 도 8은 본 발명에 따른 범위와 시선의 방향 변화 속도간 관계 그래프의 일 예를 나타낸 도면이다.

도 9 내지 도 10은 본 발명에 따른 평균 해상도와 시선의 방향 변화 속도간 관계 그래프의 일 예를 나타낸 도면이다.

도 11은 본 발명에 따른 HMD(Head Mounted Display)의 구성의 일 예를 나타낸 블록도이다.

도 12는 본 발명의 일실시예에 따른 확장현실 영상처리 장치를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1을 참조하면, 본 발명의 일실시예에 따른 확장현실 영상처리 시스템은 본 발명에 따른 확장현실(Extended Reality, XR) 영상처리 장치를 포함하거나 확장현실 영상처리 장치의 일종인 HMD(Head Mounted Display)를 착용한 사용자(101)의 시선 방향(110, 120, 130)에 따른 제1 영역(111)과 제2 영역(112)을 설정하여 확장현실 서비스를 제공할 수 있다.

먼저, 확장현실(Extended Reality, XR)이란, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당하는 것으로, 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 제공될 수 있다. 이러한 확장현실 기술은 제조, 헬스케어, 교육, 소매 등에 이르기까지 다양한 산업과 일상적인 소비자 경험을 변화시키는데 적용될 수 있다. 예를 들어, 확장현실 기술에 따르면 스마트폰, 모바일 AR 헤드셋 그리고 AR 글래스가 하나의 XR 글래스로 통합됨으로써 XR 글래스로 AR과 VR 모두를 사용할 수 있다. 다른 예를 들어, 평소에는 투명한 안경이지만 별도의 기능이 필요한 상황에서는 안경의 렌즈가 불투명해지면서 VR모드로 전환되도록 확장현실 기술이 적용될 수도 있다.

도 1에 도시된 HMD(100)는 사용자가 착용할 수 있는 형태의 확장현실 영상처리 장치에 상응하는 것으로, 도 1에 도시된 형태에 한정되지 않는다.

이 때, 본 발명에서 의미하는 확장현실 영상처리 장치는 도 1에 도시된 HMD(100) 자체를 의미할 수도 있고, 또는 HMD(100)의 내부에서 확장현실 서비스를 제공하기 위해 확장현실 영상처리를 수행하는 일부 요소를 의미할 수도 있다.

도 1에서는 설명의 편의를 위해 HMD(100)의 내부에 본 발명에 따른 확장현실 영상처리 장치가 구비된 것을 예시로 하여 설명하도록 한다.

먼저, 사용자(101)가 HMD(100)를 착용한 뒤 전원을 공급하면, 확장현실 영상처리 장치를 통해 사용자(101)의 시선의 방향을 감지할 수 있다.

이 때, 시선 방향(110, 120, 130)은 의미그대로 사용자(101)가 바라보는 방향을 의미하는 것으로, 사용자의 시선을 감지할 수 있는 다양한 센서들을 기반으로 감지될 수 있다. 예를 들어, 방향 센서, 자이로 센서 및 안구 감지 센서 등을 이용하여 사용자가 바라보고 있는 시선의 방향을 감지할 수 있다.

만약, 사용자(101)의 시선 방향이 110에 해당하는 경우, 본 발명에 따른 확장현실 영상처리 장치는 시선 방향(110)에 대응하는 제1 영역(111)에 대하여 기준 해상도 영상 처리를 수행할 수 있다.

또한, 본 발명에 따른 확장현실 영상처리 장치는 제1 영역(111)을 둘러싸는 제2 영역(112)에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행할 수 있다.

즉, 사용자(101)의 시선 방향(110)에 대응하는 제1 영역(111)의 평균 해상도를 시선 방향(110)의 주변 영역인 제1 영역(112)의 평균 해상도보다 높게 함으로써 사용자(101)가 체감하는 확장현실 컨텐츠의 품질을 향상시킬 수 있다.

이 때, 기준 해상도 영상 처리는 제1 영역 전체에 대해 제1 해상도를 적용하는 것일 수 있고, 저해상도 영상 처리는 제2 영역 전체에 대해 제1 해상도보다 낮은 제2 해상도를 적용하는 것일 수 있다.

이 때, 도 1에 도시하지는 아니하였으나, 제2 영역(112)은 복수개의 영역들로 구분되고, 제1 영역(111)의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다.

따라서, 저해상도 영상 처리는 제2 영역을 복수개의 세부 영역들로 나누고, 세부 영역들에 서로 다른 해상도를 적용할 수도 있다.

또한, 기준 해상도 영상 처리도 제1 영역을 복수개의 세부 영역들로 나누고, 세부 영역들에 서로 다른 해상도를 적용할 수도 있다.

이 때, 사용자(101)의 시선 방향을 기준으로 하는 시야각을 기반으로 제1 영역 및 제2 영역에 대한 범위를 설정할 수 있다.

이 때, 제2 영역에 대한 시야각이 제1 영역에 대한 시야각보다 클 수 있다.

또한, 본 발명에 따른 확장현실 영상처리 장치는 사용자(101)의 시선의 방향이 시선 변화 방향(140)에 따라 변화하면, 변화된 시선의 방향을 기준으로 제1 영역 및 제2 영역을 재설정할 수 있다.

예를 들어, 도 1에 도시된 것처럼, 사용자(101)의 시선의 방향이 시선 방향(110)에서 시작해서 시선 방향(130)으로 변화한다고 가정할 수 있다. 이 때, 제1 영역과 제2 영역도 각각 시선 방향(110)에서 시선 방향(130)에 대응하도록 재설정될 수 있다.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제1 평균 해상도가 시선의 방향이 변화하는 속도가 빠른 경우의 제1 평균 해상도보다 높을 수 있다.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제2 평균 해상도가 시선의 방향이 변화하는 속도가 빠른 경우의 제2 평균 해상도보다 높을 수 있다.

예를 들어, 사용자(101)의 시선의 방향이 변화하는 속도가 빠를수록 사용자(101)가 확장현실 영상의 일부분을 보려고 하는 것이 아니라 단순히 두리번거리거나 시선 방향을 변경하는 것으로 판단할 수 있다. 따라서, 이러한 경우에 불필요한 고화질 영상처리를 통해 부하가 발생하지 않도록 처리함으로써 보다 효율적으로 확장현실 서비스를 제공할 수 있다.

또한, 본 발명에 따른 확장현실 영상처리 장치는 사용자(101)의 시선의 방향이 변화하면, 시선의 방향이 변화하는 속도가 느린 경우의 제1 영역 및 제2 영역의 범위가 시선의 방향이 변화하는 속도가 빠른 경우의 제1 영역 및 제2 영역의 범위보다 넓을 수 있다.

또한, 본 발명에 따른 확장현실 영상처리 장치는 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합하여 사용자(101)에게 디스플레이할 수 있다. 즉, 제1 영역에 대한 영상처리 결과와 제2 영역에 대한 영상처리 결과를 결합하여 사용자(101)에게 디스플레이해줄 수 있다.

따라서, 확장현실 영상처리 장치는 별도의 디스플레이 모듈을 구비하거나 또는 HMD(100)에 구비된 디스플레이 모듈로 결합된 영상처리 결과를 제공하여 디스플레이해줄 수도 있다.

이와 같은 확장현실 영상처리 시스템은 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 불필요한 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지할 수 있다.

또한, 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 불필요하게 많은 자원을 소비하지 않고 효율적으로 서비스를 제공할 수도 있다.

도 2를 참조하면, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지한다(S210).

이 때, 본 발명에 따른 확장현실 기반의 영상처리 장치는 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 포괄하는 확장현실 영상을 디스플레이해주는 장치에 해당하는 것으로, 360도에 상응하는 입체적 확장현실 영상을 디스플레이 할 수 있다.

즉, 확장현실(Extended Reality, XR)이란, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당하는 것으로, 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 제공될 수 있다. 이러한 확장현실 기술은 제조, 헬스케어, 교육, 소매 등에 이르기까지 다양한 산업과 일상적인 소비자 경험을 변화시키는데 적용될 수 있다. 예를 들어, 확장현실 기술에 따르면 스마트폰, 모바일 AR 헤드셋 그리고 AR 글래스가 하나의 XR 글래스로 통합됨으로써 XR 글래스로 AR과 VR 모두를 사용할 수 있다. 다른 예를 들어, 평소에는 투명한 안경이지만 별도의 기능이 필요한 상황에서는 안경의 렌즈가 불투명해지면서 VR모드로 전환되도록 확장현실 기술이 적용될 수도 있다.

따라서, 사용자는 확장현실 기반의 영상처리 장치를 착용한 채로 360도를 회전하거나, 이동하면서 확장현실 공간을 체험할 수 있는데, 확장현실 기반의 영상처리 장치는 이러한 사용자의 시선의 방향을 감지하여 시선의 방향에 상응하는 확장현실 영상을 디스플레이 할 수 있다.

이 때, 시선의 방향은 사용자의 시야(Field of View)의 중심 좌표에 상응할 수 있다. 즉, 사용자의 두 눈으로 보이는 전체 시야에서 중심이 되는 지점을 기준으로 시선의 방향을 감지할 수 있다.

이 때, 방향 센서 또는 자이로 센서 등을 기반으로 사용자의 시선의 방향을 감지할 수 있다. 예를 들어, 방향 센서 및 자이로 센서는 본 발명에 따른 확장현실 기반의 영상처리 장치의 내부에서 직접 연결되어 시선의 방향을 감지하거나 또는 확장현실 기반의 영상처리 장치의 외부에서 시선의 방향을 감지하고 유무선 통신을 기반으로 관련 정보를 확장현실 기반의 영상처리 장치에게 제공할 수도 있다.

이 때, 방향 센서나 자이로 센서는 확장현실 기반의 영상처리 장치가 동작하는 동안 지속적으로 동작하면서 시선의 방향을 감지할 수 있다.

이 때, 사용자의 동공을 감지하여 사용자의 시선의 방향을 감지할 수도 있다. 예를 들어, 본 발명에 따른 확장현실 기반의 영상처리 장치에 구비된 동공 감지 센서를 이용하여 사용자의 동공을 감지함으로써 사용자의 시선의 방향을 감지할 수도 있다.

이 때, 사용자의 시선의 방향을 감지하는 방식은 특정한 방식에 한정되지 않고, 시스템의 효율성, 센서의 적합성 등 다양한 측면을 고려하여 선택될 수 있다.

또한, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행한다(S220).

이 때, 제1 영역은 사용자의 시야에 들어오는 확장현실 공간의 영역들 중에서 사용자가 초점을 맞추어 보고 있는 영역에 해당할 수 있다. 즉, 제1 영역의 화상 수준 또는 화상 품질은 사용자가 확장현실 서비스의 화상 품질을 판단하는 기준이 될 수도 있다.

이 때, 기준 해상도 영상 처리는, 확장현실 영상의 전체 영역 중 제1 영역을 제외한 나머지 영역에 대한 영상 처리보다 높은 해상도로 영상 처리를 수행하는 것일 수 있다.

예를 들어, 360도에 상응하는 확장현실 공간의 전체 영역에 대한 기본적인 영상 처리 시 HD급의 해상도로 영상 처리를 수행한다고 가정할 수 있다. 이 때, 제1 영역에 대해 기준 해상도 영상 처리를 수행할 때에는 이보다 높은 2K, 4K 또는 8K 등의 고해상도에 상응하는 영상처리를 수행할 수 있다. 즉, 확장현실 공간의 전체적인 영상은 1K로 디스플레이 되더라도 사용자가 현재 보고있는 제1 영역은 2K, 4K 또는 8K 등의 고해상도로 디스플레이되기 때문에 사용자는 전체 영상에 대한 영상처리 수준과 관계없이 고화질의 확장현실 서비스를 체험할 수 있다.

이 때, 360도에 상응하는 확장현실 공간의 전체 영역을 고화질로 영상처리 하여 디스플레이할 수도 있지만, 전체 영역을 고화질의 영상으로 제공하기 위해서는 영상 처리시 부하가 크기 때문에 일반적으로 소형에 해당하는 착용형 장치에는 적합하지 않을 수 있다.

따라서, 본 발명에서는 확장현실 공간에 해당하는 전체 영역들 중 사용자의 시선의 방향에 대응하는 영역에 대해서만 고화질 영상처리를 수행함으로써 고화질의 확장현실 서비스를 제공하되, 영상처리 시 부하는 크지 않은 확장현실 영상처리 기술을 제공하고자 한다.

또한, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 제1 영역을 둘러싸는 제2 영역에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한다(S230).

이 때, 기준 해상도 영상 처리는 제1 영역 전체에 대해 제1 해상도를 적용하는 것일 수 있고, 저해상도 영상 처리는 제2 영역 전체에 제1 해상도보다 낮은 제2 해상도를 적용하는 것일 수 있다. 예를 들어, 제1 해상도가 4K 수준이라고 가정한다면, 제2 해상도는 1K 수준에 상응할 수 있다.

이 때, 제2 영역은 360도에 상응하는 확장현실 공간의 전체 영역 중 제1 영역을 둘러싸고 있는 일부 영역에 해당할 수 있다. 즉, 사용자의 시선의 방향이 제1 영역을 향하고 있을 경우, 사용자의 시야에 포함되는 영역일 수 있다.

예를 들어, 도 3에 도시된 영역들 중 310이 제1 영역이라고 가정한다면, 이를 둘러싸는 형태로 제2 영역(320)이 설정될 수 있다.

이 때, 저해상도 영상 처리는 제2 영역을 복수개의 세부 영역들로 나누고, 세부 영역들에 서로 다른 해상도를 적용할 수도 있다.

이 때, 제2 영역은 복수개의 영역들로 구분되고, 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다.

예를 들어, 도 4를 참조하면, 제1 영역(410)을 둘러싸고 있는 제2 영역이 3개의 분할된 제2 영역(420, 430, 440)으로 구분된 것을 알 수 있다. 이 때, 제1 영역(410)의 중심에 가장 가까운 분할된 제2 영역(420)의 평균 해상도는 나머지 분할된 제2 영역들(430, 440)보다 높을 수 있다.

또한, 제1 영역(410)의 중심에서 가장 먼 분할된 제2 영역(440)의 평균 해상도는 나머지 분할된 제2 영역들(420, 430)보다 낮을 수 있다.

즉, 사용자의 시선의 방향과 가까울수록 고화질의 확장현실 영상을 제공함으로써 사용자에게 높은 화질의 확장현실 영상 서비스를 체험할 수 있도록 할 수 있다.

예를 들어, 제1 영역(410)의 해상도가 8K라고 가정한다면, 제1 영역(410)의 중심에 가장 가까운 분할된 제2 영역(420)의 해상도는 4K, 분할된 제2 영역(430)의 해상도는 2K, 마지막으로 제1 영역(410)의 중심에서 가장 먼 분할된 제2 영역(440)의 해상도는 1K에 상응하게 영상처리 됨으로써 영역간 해상도 변화에 위화감이 없도록 설정할 수도 있다.

이 때, 제1 영역은 복수개의 영역들로 구분되고, 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다.

이 때, 시선의 방향을 기준으로 하는 시야각을 기반으로 제1 영역 및 제2 영역에 대한 범위를 설정할 수 있다.

예를 들어, 도 5를 참조하면, 제1 영역(510)의 좌우범위는 사용자의 시선 방향(530)을 기준으로 제1 수평 시야각(511)에 상응하는 만큼에 해당할 수 있다.

이 때, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제1 영역 좌우범위가 달라질 수도 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제1 수평 시야각(511)이 변경될 수도 있다.

또한, 제2 영역(520)의 좌우범위는 사용자의 시선 방향(530)을 기준으로 제2 수평 시야각(512)에 상응하는 만큼에 해당할 수 있다.

이 때, 사용자의 시선 방향(530)은 제1 영역(510)이나 제2 영역(520)에 동일하게 적용되므로, 제1 수평 시야각(511)과 제2 수평 시야각(512)의 차이에 따라 영역 간 비율이 달라질 수도 있다.

이 때, 제2 수평 시야각(512)도 제1 수평 시야각(511)과 마찬가지로, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제2 영역 좌우범위가 달라질 수 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제2 수평 시야각(512)이 변경될 수도 있다.

다른 예를 들어, 도 6을 참조하면, 제1 영역(610)의 상하범위는 사용자의 시선 방향(630)을 기준으로 제1 수직 시야각(611)에 상응하는 만큼에 해당할 수 있다.

이 때, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제1 영역 상하범위가 달라질 수도 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제1 수직 시야각(611)이 변경될 수도 있다.

또한, 제2 영역(620)의 상하범위는 사용자의 시선 방향(630)을 기준으로 제2 수직 시야각(612)에 상응하는 만큼에 해당할 수 있다.

이 때, 사용자의 시선 방향(630)은 제1 영역(610)이나 제2 영역(620)에 동일하게 적용되므로, 제1 수직 시야각(611)과 제2 수직 시야각(612)의 차이에 따라 영역 간 비율이 달라질 수도 있다.

이 때, 제2 수직 시야각(612)도 제1 수직 시야각(611)과 마찬가지로, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제2 영역 상하범위가 달라질 수 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제2 수직 시야각(612)이 변경될 수도 있다.

*이 때, 시선의 방향이 변화하면, 시선의 방향이 변화하는 속도가 느린 경우의 범위가 시선의 방향이 변화하는 속도가 빠른 경우의 범위보다 넓을 수 있다.

예를 들어, 시선의 방향이 변화하는 속도와 제1 영역 및 제2 영역의 범위 간의 관계는 도 7에 도시된 것과 같은 반비례 관계일 수 있다. 즉, 시선의 방향이 변화하는 속도가 빠를수록 제1 영역 및 제2 영역의 범위가 좁아질 수 있다.

이 때, 시선의 방향이 변화하는 속도 빠른 경우, 사용자가 확장현실 영상을 체험하려는 의도가 아니라 단순히 두리번거리거나 고개를 돌리는 등의 단순한 동작때문인 것으로 판단할 수 있다. 따라서, 이러한 경우에는 넓은 범위에 대한 확장현실 영상처리를 수행할 필요가 없으므로 제1 영역 및 제2 영역의 범위를 좁혀서 디스플레이해줄 수 있다.

다른 예를 들어, 시선의 방향이 변화하는 속도와 제1 영역 및 제2 영역의 범위 간 관계는 도 8에 도시된 것과 같은 반비례 관계에 상응할 수도 있다.

즉, 시선의 방향이 변화하는 속도와 제1 영역 및 제2 영역의 범위 간의 관계는 반비례 관계에 해당하되, 특정 반비례 함수에 한정되지 않을 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 제1 영역 및 제2 영역을 재설정한다.

예를 들어, 도 1에 도시된 사용자(101)의 시선의 방향이 좌측에 상응하는 110에서 시작하여 우측에 상응하는 130으로 변화하는 것으로 가정할 수 있다. 이 때, 제1 영역과 제2 영역은 시선 방향(110)에 대응하게 설정되었다가, 시선의 방향이 변화함에 따라 시선 방향(130)에 대응하게 재설정될 수 있다.

이 때, 재설정된 제1 영역은 기준 해상도 영상 처리될 수 있고, 재설정된 제2 영역은 저해상도 영상 처리될 수 있다.

예를 들어, 시선의 방향이 변화하는 속도와 제1 평균 해상도 또는 제2 평균 해상도 간의 관계는 도 9에 도시된 것과 같은 반비례 관계일 수 있다. 즉, 시선의 방향이 변화하는 속도가 빠를수록 제1 평균 해상도 또는 제2 평균 해상도가 낮아질 수 있다.

이 때, 시선의 방향이 변화하는 속도 빠른 경우, 사용자가 확장현실 영상을 체험하려는 의도가 아니라 단순히 두리번거리거나 고개를 돌리는 등의 단순한 동작때문인 것으로 판단할 수 있다. 따라서, 이러한 경우에는 고해상도의 영상 처리를 수행할 필요가 없으므로 제1 평균 해상도 또는 제2 평균 해상도를 낮추어 영상 처리를 수행할 수 있다.

다른 예를 들어, 시선의 방향이 변화하는 속도와 제1 평균 해상도 또는 제2 평균 해상도 간 관계는 도 10에 도시된 것과 같은 반비례 관계에 상응할 수도 있다.

즉, 시선의 방향이 변화하는 속도와 제1 평균 해상도 또는 제2 평균 해상도 간의 관계는 반비례 관계에 해당하되, 특정 반비례 함수에 한정되지 않을 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합하여 사용자에게 디스플레이한다.

예를 들어, 확장현실 기반의 영상처리 장치 내부에 구비된 디스플레이 모듈을 이용하여 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합한 확장현실 영상을 디스플레이해줄 수 있다.

다른 예를 들어, 확장현실 기반의 영상처리 장치의 외부에 위치하되, 영상처리 장치와 연결된 별도의 디스플레이 장치 또는 디스플레이 모듈을 통해 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합한 확장현실 영상을 디스플레이해줄 수도 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 확장현실 영상처리를 위해 필요한 정보를 송수신할 수 있다. 특히, 방향 센서 또는 가속도 센서로부터 시선의 방향에 대한 정보를 수신하거나, 디스플레이 모듈로 처리된 확장현실 영상 데이터를 제공할 수도 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 확장현실 영상처리를 위한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.

이와 같은 확장현실 영상처리 방법을 통해 확장현실 컨텐츠의 해상도 및 품질을 향상시킬 수 있다.

또한, 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지할 수 있다.

또한, 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 많은 자원을 소비하지 않고 효율적으로 서비스를 제공할 수 있다.

도 11을 참조하면, 본 발명에 따른 HMD(1100), 즉 착용형 디스플레이 장치는 실제로 확장현실 영상을 사용자에게 디스플레이해주는 디스플레이 모듈(1110), 본 발명에 따른 확장현실 영상처리 장치(1120) 및 사용자의 시선의 방향을 감지할 수 있는 센서 모듈(1130)을 포함할 수 있다.

먼저, 사용자가 HMD(1100)를 착용한 뒤 전원을 실행하면, 센서 모듈(1130)이 사용자의 시선의 방향을 감지하여 확장현실 영상처리 장치(1120)에게 제공할 수 있다.

이 때, 확장현실 영상처리 장치(1120)는 사용자의 시선의 방향을 기반으로 본 발명에 따른 제1 영역과 제2 영역을 설정할 수 있다.

즉, 이 때, 시선의 방향을 기준으로 하는 시야각을 기반으로 제1 영역 및 제2 영역에 대한 범위를 설정할 수 있다.

이 후, 확장현실 영상처리 장치(1120)가 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하고, 제1 영역을 둘러싸는 제2 영역에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한 뒤, 영상 처리 결과를 결합하여 디스플레이 모듈(1110)로 전달하면, 디스플레이 모듈(1110)이 HMD(1100)를 착용한 사용자에게 확장현실 영상을 디스플레이해줄 수 있다.

만약, HMD(1100)를 착용한 사용자의 시선의 방향이 변화하는 경우, 센서 모듈(1130)에서 이를 감지하여 변경된 사용자의 시선의 방향과 시선의 방향이 변화하는 속도를 확장현실 영상처리 장치(1120)에게 제공해줄 수 있다.

이 때, 확장현실 영상처리 장치(1120)는 시선의 방향이 변화하는 속도를 고려한 제1 평균 해상도에 상응하게 기준 해상도 영상 처리를 수행하고, 시선의 방향이 변화하는 속도를 고려한 제2 평균 해상도에 상응하게 저해상도 영상 처리를 수행할 수 있다.

이 때, 도 11에서는 HMD(1100)의 내부에 본 발명의 일실시예에 따른 확장현실 영상처리 장치(1120)가 포함된 형태로 표현하였으나, 이는 일실시예에 해당할 뿐 이러한 형태에 한정되지 않는다. 즉, 본 발명에 따른 확장현실 영상처리 장치 자체에서 디스플레이와 센싱을 수행할 수도 있다.

도 12를 참조하면, 본 발명의 일실시예에 따른 확장현실 영상처리 장치는 통신부(1210), 프로세서(1220) 및 메모리(1230)를 포함한다.

통신부(1210)는 확장현실 영상처리를 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(1210)는 방향 센서 또는 가속도 센서로부터 시선의 방향에 관련된 정보를 요청하여 수신하거나, 디스플레이 모듈로 처리된 확장현실 영상 데이터를 제공할 수도 있다.

프로세서(1220)는 확장현실 영상처리 장치를 착용한 사용자의 시선의 방향을 감지한다.

따라서, 사용자는 확장현실 영상처리 장치를 착용한 채로 360도를 회전하거나, 이동하면서 확장현실 공간을 체험할 수 있는데, 확장현실 영상처리 장치는 이러한 사용자의 시선의 방향을 감지하여 시선의 방향에 상응하는 확장현실 영상을 디스플레이 할 수 있다.

이 때, 방향 센서 또는 자이로 센서 등을 기반으로 사용자의 시선의 방향을 감지할 수 있다. 예를 들어, 방향 센서 및 자이로 센서는 본 발명에 따른 확장현실 영상처리 장치의 내부에서 직접 연결되어 시선의 방향을 감지하거나 또는 확장현실 영상처리 장치의 외부에서 시선의 방향을 감지하고 유무선 통신을 기반으로 관련 정보를 확장현실 기반의 영상처리 장치에게 제공할 수도 있다.

이 때, 방향 센서나 자이로 센서는 확장현실 영상처리 장치가 동작하는 동안 지속적으로 동작하면서 시선의 방향을 감지할 수 있다.

이 때, 사용자의 동공을 감지하여 사용자의 시선의 방향을 감지할 수도 있다. 예를 들어, 본 발명에 따른 확장현실 영상처리 장치에 구비된 동공 감지 센서를 이용하여 사용자의 동공을 감지함으로써 사용자의 시선의 방향을 감지할 수도 있다.

또한, 프로세서(1220)는 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행한다.

또한, 프로세서(1220)는 제1 영역을 둘러싸는 제2 영역에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한다.

*다른 예를 들어, 도 6을 참조하면, 제1 영역(610)의 상하범위는 사용자의 시선 방향(630)을 기준으로 제1 수직 시야각(611)에 상응하는 만큼에 해당할 수 있다.

또한, 프로세서(1220)는 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 제1 영역 및 제2 영역을 재설정한다.

또한, 프로세서(1220)는 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합하여 사용자에게 디스플레이한다.

메모리(1230)는 제1 평균 해상도 및 제2 평균 해상도를 저장한다.

또한, 메모리(1230)는 상술한 바와 같이 본 발명의 실시예에 따른 확장현실 영상처리를 위한 기능을 지원할 수 있다. 이 때, 메모리(1230)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 확장현실 영상처리 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 확장현실 영상처리 장치를 이용함으로써 확장현실 컨텐츠의 해상도 및 품질을 향상시킬 수 있다.

이상에서와 같이 본 발명에 따른 확장현실 영상처리 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims

확장현실(EXTENDED REALITY) 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하는 단계;

상기 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하는 단계; 및

상기 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행하는 단계

를 포함하는 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 1에 있어서,

상기 제2 영역은 복수개의 영역들로 구분되고, 상기 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아지는 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 1에 있어서,

상기 확장현실 영상처리 방법은

상기 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 상기 제1 영역 및 상기 제2 영역을 재설정하는 단계를 더 포함하는 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 1에 있어서,

상기 시선의 방향을 기준으로 하는 시야각을 기반으로 상기 제1 영역 및 상기 제2 영역에 대한 범위를 설정하는 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 4에 있어서,

상기 시야각은

수평 시야각 및 수직 시야각 중 적어도 하나에 상응하는 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 1에 있어서,

상기 확장현실 영상처리 방법은

상기 기준 해상도 영상 처리를 수행한 결과와 상기 저해상도 영상 처리를 수행한 결과를 결합하여 상기 사용자에게 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 3에 있어서,

상기 시선의 방향이 변화하는 속도가 느린 경우의 제1 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제1 평균 해상도보다 높은 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 3에 있어서,

상기 시선의 방향이 변화하는 속도가 느린 경우의 제2 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제2 평균 해상도보다 높은 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 4에 있어서,

상기 제2 영역에 대한 시야각이 상기 제1 영역에 대한 시야각보다 큰 것을 특징으로 하는 확장현실 영상처리 방법.
청구항 4에 있어서,

상기 시선의 방향이 변화하면, 상기 시선의 방향이 변화하는 속도가 느린 경우의 범위가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 범위보다 넓은 것을 특징으로 하는 확장현실 영상처리 방법.
확장현실(EXTENDED REALITY) 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하고, 상기 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하고, 상기 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행하는 프로세서; 및

상기 제1 평균 해상도 및 상기 제2 평균 해상도를 저장하는 메모리

를 포함하는 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 11에 있어서,

상기 제2 영역은 복수개의 영역들로 구분되고, 상기 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아지는 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 12에 있어서,

상기 프로세서는

상기 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 상기 제1 영역 및 상기 제2 영역을 재설정하는 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 11에 있어서,

상기 시선의 방향을 기준으로 하는 시야각을 기반으로 상기 제1 영역 및 상기 제2 영역에 대한 범위를 설정하는 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 14에 있어서,

상기 시야각은

수평 시야각 및 수직 시야각 중 적어도 하나에 상응하는 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 11에 있어서,

상기 프로세서는

상기 기준 해상도 영상 처리를 수행한 결과와 상기 저해상도 영상 처리를 수행한 결과를 결합하여 상기 사용자에게 디스플레이하는 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 13에 있어서,

상기 시선의 방향이 변화하는 속도가 느린 경우의 제1 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제1 평균 해상도보다 높은 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 13에 있어서,

상기 시선의 방향이 변화하는 속도가 느린 경우의 제2 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제2 평균 해상도보다 높은 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 14에 있어서,

상기 제2 영역에 대한 시야각이 상기 제1 영역에 대한 시야각보다 큰 것을 특징으로 하는 확장현실 영상처리 장치.
청구항 14에 있어서,

상기 시선의 방향이 변화하면, 상기 시선의 방향이 변화하는 속도가 느린 경우의 범위가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 범위보다 넓은 것을 특징으로 하는 확장현실 영상처리 장치.