KR20130139280A

KR20130139280A - 증강 현실 디스플레이를 위한 자동 가변 가상 초점

Info

Publication number: KR20130139280A
Application number: KR1020137011956A
Authority: KR
Inventors: 아비 바-지브; 존 루이스
Original assignee: 마이크로소프트 코포레이션
Priority date: 2010-11-08
Filing date: 2011-10-31
Publication date: 2013-12-20
Anticipated expiration: 2031-10-31
Also published as: EP2638693A4; IL225995A; TW201224516A; US9588341B2; HK1172098A1; AR083807A1; US20120113092A1; KR101912958B1; US20160161740A1; CN102566049B; ES2713521T3; IL225995A0; CN102566049A; JP5913346B2; CA2815372A1; EP2638693B1; CA2815372C; EP2638693A1; JP2014505381A; WO2012064546A1

Abstract

본 기술은 사용자가 보는 때에 초점이 맞는 것으로 가상 객체를 표시하기 위한 증강 현실 디스플레이 시스템을 제공한다. 일 실시형태에서, 사용자의 초점 영역이 추적되고, 사용자 초점 영역 내의 가상 객체가 초점 영역에 있는 것으로 보이도록 표시된다. 사용자가 가상 객체들 사이에서 초점을 변경하면서, 이들은 물리적 환경의 실제 객체가 그렇듯이 초점의 안팎으로 자연스럽게 움직이는 것으로 보인다. 증강 현실 디스플레이 시스템의 마이크로디스플레이 조립체의 광 경로에서 광 처리 요소의 초점 영역을 변경함으로써 가상 객체 이미지에 대한 초점의 변화가 유발된다. 일부 실시형태에서, 마이크로디스플레이 조립체의 광 경로에서 요소를 조정함으로써 초점 영역의 범위가 스윕 레이트에 걸쳐 스윕된다.

Description

증강 현실 디스플레이를 위한 자동 가변 가상 초점{AUTOMATIC VARIABLE VIRTUAL FOCUS FOR AUGMENTED REALITY DISPLAYS}

증강 현실(augmented reality)은 가상 이미지가 현실 세계의 물리적 환경과 혼합될 수 있도록 하는 기술이다. 통상, 시스루(see through) 근안 디스플레이가 사용자에 의해 착용되어 가상 및 실제 객체의 혼합 이미지를 본다. 근안(near-eye) 디스플레이는 보통 고정 거리에서 가상 이미지에 초점을 맞추기 위해 광학과 입체시(stereopsis)의 조합을 이용한다. 그러나, 가상 물체가 고정 거리에 있고 사용자의 위치가 변하면, 사용자가 가상 물체를 자연적인 시야로 보는 경우와 같이 가상 물체가 사용자에게 초점 안팎으로 움직이지 않는다.

본 기술은 혼합 현실 또는 증강 현실 디스플레이를 위해 가변 초점을 달성하기 위한 실시형태를 제공한다. 사용자는 시스루 디스플레이 장치를 통해 장면을 본다. 장면은, 사용자가 디스플레이 장치의 투명 또는 시스루 렌즈를 통해 자신의 눈으로 직접 보는 물리적 환경 내의 하나 이상의 실제 객체를 포함한다. 하나 이상의 가상 객체는 디스플레이 장치에 의해 사용자의 눈 위치 중 적어도 하나로 투사된다. 그러므로, 실제 장면의 디스플레이가 가상 객체로 증강된다.

일 실시형태에서, 본 기술은 디스플레이 장치에 의해 투사되는 가상 객체의 초점 거리를 변경하도록 한다. 3차원 시야가 사용자에 대해 결정되고, 사용자의 시야 내의 하나 이상의 가상 객체의 3차원 위치도 결정된다. 사용자의 현재의 3차원 초점 영역이 시야 내에서 결정된다. 사용자의 현재 초점 영역 내의 하나 이상의 가상 객체가 그들의 위치에 기초하여 식별된다.

디스플레이에서 사용자의 현재 초점 영역에 가상 객체를 표시하기 위해, 가상 객체는 현재 초점 영역에서 이미지의 영역으로 이동된다. 일 실시형태에서, 이는 시스루 디스플레이 장치의 마이크로디스플레이 조립체의 초점 영역을 변경함으로써 이루어진다. 마이크로디스플레이 조립체는 광 경로를 따라 정렬된 마이크로디스플레이 유닛, 반사 요소 및 적어도 하나의 광학 요소뿐만 아니라 가변 가상 초점 조정기와 같은 요소를 포함할 수 있다. 마이크로디스플레이 유닛은 디스플레이를 위한 이미지를 생성하고, 이미지의 광은, 적어도 하나의 광 요소, 예를 들어 시준 렌즈(collimating lens)를 통해 반사 요소까지 광 경로를 따라 이동한다.

일 실시형태에서, 조정기는 마이크로디스플레이 조립체 중 적어도 2개의 요소 사이의 광 경로를 따라 변위를 변경하여 이미지 내 가상 객체의 초점 영역을 변경한다. 다른 실시형태에서, 희망 초점 영역을 획득하기 위해 광 요소의 초점 거리가 조정될 수 있다. 예를 들어, 적어도 하나의 복굴절 렌즈(birefringent lens)의 편광이 변경될 수 있거나, 또는 유체 또는 액체 렌즈의 곡률 반경이 조정될 수 있다.

일 실시형태에서, 사용자 초점 영역 밖이지만 사용자 시야 내의 가상 객체에, 사용자 초점 영역으로부터의 거리의 함수로 인공 시야 깊이 기술이 적용될 수 있다.

본 기술은 가변 가상 초점 조정기를 포함하는 마이크로디스플레이 조립체를 포함하는 시스루 디스플레이 유닛을 포함하는 가상 객체의 가변 초점을 제공하기 위한 증강 현실 시스템을 또한 제공한다. 제어 회로는 가변 가상 초점 조정기를 제어하기 위한 드라이버를 포함한다. 일 실시형태에서, 시스템은 가변 가상 초점 조정기가 상이한 초점 영역을 통해 마이크로디스플레이 조립체를 스윕(sweep)하는 타이밍을 제어하기 위한 제어 회로 내 타이밍 발생기를 더 포함한다. 대부분의 실시형태에서, 스윕의 레이트(rate)는, 사람의 시간적 이미지 융합(temporal image fusion)이 상이한 초점 영역에서 생성된 이미지가 동시에 존재하는 것으로 나타나게 하기에 충분히 빠르게 설정된다. 상이한 초점 영역에서 생성된 이미지의 디스플레이를 보는 사용자는, 가상 물체가 물리적 환경 내의 실제 객체인 것처럼 자연스럽게 가상 물체가 초점이 맞거나 맞지 않는 것으로 볼 것이다.

본 기술은 증강 현실 디스플레이에서 상이한 초점 영역에서 가상 객체를 생성하기 위한 방법을 또한 제공한다. 시스루 디스플레이 장치를 이용하여 실제 및 가상 객체를 포함하는 장면을 보는 사용자에 대해 3차원 시야가 결정된다. 사용자의 시야 내 하나 이상의 가상 객체에 대해 3차원 초점 영역이 식별된다. 마이크로디스플레이 조립체는 다수의 초점 영역을 통해 스윕하도록 조정된다. 사용자가 현재 보고 있는 초점 영역과 가상 객체를 포함하는 영역을 포함시키기 위해 초점 영역이 선택될 수 있다. 각각의 초점 영역에 대해 이미지가 생성된다.

일 예에서, 이들 이미지 각각은, 사람의 시간적 이미지 융합이 이미지가 사람의 눈에 동시에 존재하는 것으로 나타나게 하기에 충분히 빠른 레이트로 사용자에게 표시될 수 있다. 다른 예에서, 상이한 초점 영역에서 생성된 가상 이미지의 인-포커스(in-focus) 부분들의 혼합 이미지가 표시된다.

본 개요는 아래의 상세한 설명에서 더 설명되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요한 특징을 식별하려는 것이 아니고, 청구된 주제의 범위를 결정하는 수단으로 이용되려는 것도 아니다.

도 1은 가상 객체의 가변 초점을 제공하기 위한 시스템의 일 실시형태의 예시적인 컴포넌트를 도시하는 블록도이다.
도 2a는 헤드 마운티드(head mounted) 디스플레이 유닛의 일 실시형태의 일부의 상면도이다.
도 2b는 헤드 마운티드 디스플레이 유닛의 다른 실시형태의 일부의 상면도이다.
도 3a는 근안 디스플레이의 마이크로디스플레이 조립체의 부분으로 사용하기 위한 회전가능 렌즈 시스템의 예이다.
도 3b1과 3b2는 상이한 곡률 반경을 나타내고, 디스플레이 조립체의 부분으로 사용하기 위한 유체 렌즈의 예이다.
도 3c는 근안 디스플레이의 마이크로디스플레이 조립체의 부분으로 사용하기 위한 복굴절 렌즈 시스템의 예이다.
도 3d는 마이크로디스플레이 조립체의 부분으로 사용하기 위한 삽입가능 렌즈 시스템의 예이다.
도 4는 헤드 마운티드 디스플레이 유닛의 컴포넌트의 일 실시형태의 블록도이다.
도 5는 헤드 마운티드 디스플레이 유닛과 연관된 처리 유닛의 컴포넌트의 일 실시형태의 블록도이다.
도 6은 헤드 마운티드 디스플레이 유닛과 함께 사용되는 허브 컴퓨팅 시스템의 컴포넌트의 일 실시형태의 블록도이다.
도 7은 여기 설명되는 허브 컴퓨팅 시스템을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 일 실시형태의 블록도이다.
도 8은 사용자에 대해 초점이 맞도록 가상 내용의 초점을 변경시킬 수 있는 다수 사용자 시스템을 도시하는 블록도이다.
도 9는 사용자가 보는 때에 초점이 맞도록 가상 객체를 표시하기 위한 프로세스의 일 실시형태를 도시하는 흐름도이다.
도 10은 공간의 모델을 생성하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 11은 모델을 객체로 분할(segmenting)하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 12는 객체를 식별하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 13은 시스루 디스플레이를 보는 사용자가 보는 때에 초점이 맞도록 가상 객체를 표시하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 14는 사용자 및/또는 헤드 마운티드 디스플레이 유닛의 위치와 방향을 추적하는 허브에 대한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 15는 눈의 위치를 추적하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 16은 사용자의 시야를 결정하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 17a는 조립체의 적어도 하나의 렌즈를 변위함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 17b는 조립체의 적어도 하나의 렌즈의 편광을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 17c는 조립체의 적어도 하나의 유체 렌즈의 곡률 반경을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 18a는 증강 현실 디스플레이에서 상이한 초점 영역에 가상 객체 이미지를 생성하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 18b는 증강 현실 디스플레이에서 상이한 초점 영역에 가상 객체 이미지를 생성하기 위한 프로세스의 다른 실시형태를 설명하는 흐름도이다.
도 19a와 19b는 증강 현실 디스플레이에 다초점 가상 객체를 표시하는 상이한 방법들의 예를 개략적으로 도시한다.

본 기술은 증강 현실 디스플레이의 혼합 현실에 대해 가변 초점을 달성하기 위한 실시형태를 제공한다. 일 실시형태에서, 시스템은 증강 현실에 대한 근안(near-eye) 디스플레이로서 시스루 디스플레이 장치 및 시스루 디스플레이 장치와 통신하는 처리 유닛을 포함한다. 후술하는 실시형태에서, 시스루 디스플레이는 안경 세트 내에 있으나, 다른 HMD 형태 및 근안 디스플레이 홀더도 사용될 수 있다.

시스루 디스플레이로 보이는 장면 내의 실제 객체를 실제로 직접 보기 위해 사용자의 자연시(natural sight)가 사용된다. 소프트웨어, 예를 들어, 게임 애플리케이션을 실행하는 맥락에 기초하여, 시스템은 시스루 디스플레이 장치를 착용하고 있는 사람이 디스플레이를 통해 실제 세계를 보고 있는 동안, 그 사람이 볼 수 있는 디스플레이 상에 가상 이미지를 투사할 수 있다.

사용자가 보는 물리적 환경을 스캔하여, 스캔된 환경의 3차원 모델이 구축될 수 있는 데이터를 제공하기 위해 하나 이상의 센서가 사용된다. 모델은 실제 객체들로 분할(segment)되고, 후술하는 바와 같이, 가상 객체 이미지의 위치로 증강된다.

또한, 가상 이미지를 어디에 투사할지를 결정하기 위해 사용자의 두부의 위치와 방향 및 눈 위치를 검출하도록 다양한 센서가 사용된다. 시스템은 자동으로 사용자가 어디를 보고 있는지를 추적하여 시스템은 시스루 디스플레이 장치의 디스플레이를 통해 사용자의 시야를 알 수 있다. 사용자는 깊이 카메라, 및 깊이 센서, 이미지 센서, 관성 센서, 눈 위치 센서 등을 포함하는 다양한 센서 중 여하한 것을 이용하여 추적될 수 있다. 사용자의 시야 외에, 시스템은 또한 사용자가 시야 내 어떤 위치에 초점을 맞추고 있는지 또는 어떤 위치를 보고 있는지를 결정하는데, 이는 사용자 초점 영역이라고 종종 지칭된다.

일부 실시형태에서, 사용자 초점 영역은 패넘 융합 영역(Panum's fusional area)이라고 알려진 부피인데, 이 부피 내에서 사람의 눈이 물체를 단일 비전으로 본다. 사람은 양안시(binocular vision) 또는 입체시(stereoptic vision)를 갖는다. 각각의 눈은 상이한 시점으로부터의 이미지를 산출한다. 패넘 융합 영역이라는 작은 부피 내에서만, 사람이 물체를 단일한 시야로 본다. 이것이 객체가 초점이 맞았다고 말할 때 보통 의미하는 바이다. 이 영역 밖에서, 객체는 흐리게 보이거나 심지어 이중 이미지로 보일 수 있다. 패넘 융합 영역의 중심 내에 사용자 눈의 초점을 포함하는 호롭터(Horopter)가 있다. 사용자가 공간 내의 지점(이하, 초점)에 초점을 맞추는 때에, 그 초점은 곡선 상에 위치된다. 공간 내의 이 곡선 상의 객체는 중심와(fovea) 내 눈의 망막(retinas) 위에 떨어진다. 곡선은 가끔 수평 호롭터라고 지칭된다. 초점 위에서 눈으로부터 먼 쪽으로, 그리고 곡선 상의 초점 아래에서 눈을 향하여 구부러지는 곡선을 통과하는 선인 수직 호롭터도 존재한다. 이하 사용되는 호롭터라는 용어는 그 수직 및 수평 성분 모두를 지칭한다.

시스템이 사용자의 시야와 사용자 초점 영역을 알게 되면, 시스템은 시스루 디스플레이 장치의 디스플레이에 의해 하나 이상의 가상 객체 이미지가 어디에 투사되어야 하는지 알아낼 수 있다. 투사된 디스플레이 내 선택된 초점 영역 위치에서 가상 객체의 디스플레이를 생성하는 것은, 시스루 디스플레이 장치의 마이크로디스플레이 조립체 내의 광 경로 길이를 조정함으로써 수행될 수 있다.

왼쪽과 오른쪽 마이크로디스플레이 상에 배치된 이미지를 시프트(shift)함으로써 패럴랙스가 생성된다. 가상 객체에 대한 패럴랙스의 양을 설정함으로써, 왼쪽 눈 디스플레이에 의해 생성된 가상 객체로의 시선이 오른쪽 눈 디스플레이에 대한 대응 시선과 교차하는 거리에 의해 그 가상 거리가 암시된다(imply). 종래의 디스플레이는 이 패럴랙스가 암시하는 거리를 설정할 수 있다. 패럴랙스와 독립적으로, 디스플레이를 빠져나가는 파면(wave front)의 곡률에 의해 암시되는 거리도 존재한다. 곡률 반경은 단순히 객체 상의 지점까지의 거리이다. 근처의 객체는 강하게 구부러진 파면을 갖는데, 그에 의한 곡률 반경이 작기 때문이다. 먼 객체는 훨씬 편평한 파면을 갖는데, 곡률 반경이 그에 맞추어 크기 때문이다. 아주 먼 객체들의 극한에서 파면은 편평하게 된다. 종래의 헤드 마운티드 디스플레이는 고정된 파면 곡률을 갖는데, 이들은 장면 내용에 기초하여 변할 수 있는 광 요소를 갖지 않기 때문이다.

사용자의 위치가 가상 객체의 현재 위치로부터 더 먼 위치로 변하는 경우에, 왼쪽과 오른쪽 마이크로디스플레이 상에 적당한 이미지를 배치함으로써 가상 객체에 대한 패럴랙스와 스케일이 변할 수 있다. 사용자의 새로운 위치에 대한 패넘 융합 영역과 호롭터가 정의될 수 있다. 종래의 디스플레이는 가상 객체를 패넘 융합 영역으로 가져오기 위해 파형 곡률 반경을 조정할 수 없다. 후술하는 기술은 파면 곡률을, 스케일과 패럴랙스에 의해 설정된 다른 단서(cue)와도 일치하고 가상 객체를 패넘 융합 영역으로 가져오는 거리로 설정할 수 있다. 이러한 방식으로 이미지가 자연스럽고 현실적으로 나타난다. 사용자가 위치가 고정되고 가상 객체가 장면 내의 자연 객체에 대해 가까이 또는 멀리 이동하는 경우에 동일한 논의가 적용된다.

마이크로디스플레이 조립체는 광 처리 요소와 가변 초점 조정기를 포함한다. 일부 광 처리 요소의 예는 마이크로디스플레이 유닛, 하나 이상의 광 요소, 예를 들어 렌즈 시스템의 렌즈, 및 반사 요소, 예를 들어 반사 표면이나 부분적 반사 표면이다. 마이크로디스플레이 유닛은 광원을 포함하고 가상 객체의 이미지를 생성한다. 마이크로디스플레이 유닛은 하나 이상의 광 요소 및 반사 요소와 광학적으로 정렬된다. 광 정렬은 하나 이상의 광축을 포함하는 광 경로 또는 광축을 따를 수 있다. 이미지 광은 시준될 수 있고 하나 이상의 광 요소에 의해 반사 요소로 지향될 수 있다. 부분적 반사 요소로부터 반사된 광은 일 실시형태에서 사용자의 눈 위치로 지향될 수 있다. 표면이 부분적으로 반사하기 때문에, 자연 장면으로부터의 광이 그 표면을 통과하여 보일 수 있도록 할 수도 있다. 다른 실시형태에서, 반사 요소에 의해 반사된 마이크로디스플레이 유닛으로부터의 광은 사용자가 보기 위한 이미지를 투사하는 다른 광 요소로 이동하고, 또한 자연 광이 보일 수 있도록 한다. 가변 초점 조정기는 마이크로디스플레이 조립체의 광 경로 내 하나 이상의 광 처리 요소 사이의 변위 또는 마이크로디스플레이 조립체 내 요소의 광 전력을 변경한다. 렌즈의 광 전력은 그 초점 길이에 반비례, 예를 들어, 1/초점 길이로 정의되어 하나의 변화가 다른 쪽에 영향을 준다. 변경은, 변경된 변위 또는 광 전력으로 마이크로디스플레이 조립체에 의해 생성된 이미지에 대해 초점이 맞는 시야 내 영역의 변화를 초래한다. 아래의 실시형태에 대해 논의되는 바와 같이, 각 눈에 대해 마이크로디스플레이 조립체가 있을 수 있다. 마이크로디스플레이 조립체는 그 각각의 눈의 시점을 위한 처리를 수행한다.

일 예에서, 인공 블러와 같은 인공 시야 깊이(aritificial depth of field) 기술이 시야 내 초점 영역 밖의 여하한 가상 물체에 초점 영역으로부터의 거리에 비례하여 적용된다. 다른 실시형태에서, 조정기는, 각 초점 영역 내의 가상 객체를 표시하는 동안 레이트 또는 빈도로 초점 영역의 범위에 대응하는 초점 길이 범위에 걸쳐 스윕(sweep)한다. 이 레이트 또는 빈도는 디스플레이 장치에 대한 프레임 레이트와 같거나 빠를 수 있다. 일 실시형태에서, 상이한 초점 영역에서 생성되는 가상 객체 이미지는 레이어링 된 이미지로 표시되고, 디스플레이의 레이트는 이미지가 동시에 존재하는 것으로 보이기에 충분할 정도로 빠르거나 신속하다. 다른 실시형태에서, 상이한 초점 영역에서 생성된 이미지의 인-포커스(in-focus) 부분의 혼합(composite) 이미지가 표시된다. 사용자가 그 또는 그녀의 현재 초점을 다른 초점 영역으로 변경함에 따라, 상이한 초점 영역 내의 가상 객체가 자연 시야에서 볼 때와 같이 초첨이 맞거나 맞지 않게 된다.

그러면, 가상 이미지를 사이징(sizing) 및 지향(orienting)하고 사이징/지향된 이미지를 시스루 디스플레이 상에 렌더링함으로써 이미지가 렌더링된다.

도 1은 가상 객체의 가변 초점을 제공하기 위한 시스템(10)의 일 실시형태의 예시적인 컴포넌트를 도시하는 블록도이다. 시스템(10)은 선(6)을 통해 처리 유닛(4)과 통신하는 헤드 마운티드 디스플레이 장치(2)로서 시스루 디스플레이 장치를 포함한다. 다른 실시형태에서, 헤드 마운티드 디스플레이 장치(2)는 유선 통신을 통해 처리 유닛(4)과 통신한다. 일 실시형태에서 프레임(115)이 시스템의 요소를 제자리에 유지하기 위한 지지와 전기 접속을 위한 통로를 제공하는 안경의 형태인 헤드 마운티드 디스플레이(2)는 사용자의 두부에 착용되어 사용자가 디스플레이를 통해 볼 수 있고 그에 의해 사용자의 전면에 공간의 실제 직접 뷰를 가질 수 있다. "실제 및 직접 뷰"라는 용어의 사용은 객체의 생성된 이미지 표시를 보는 것이 아니라 사람의 눈으로 직접 실제 세계 객체를 보는 기능을 지칭한다. 예를 들어, 방에서 유리를 통해 보는 것은 사용자가 방의 실제 직접 뷰를 가질 수 있게 하는 반면, 방의 비디오를 텔레비전 상에서 보는 것은 방의 실제 직접 뷰가 아니다. 헤드 마운티드 디스플레이 장치(2)의 더 상세한 사항은 아래에 제공된다.

일 실시형태에서, 처리 유닛(4)은 사용자의 손목에 착용되고 헤드 마운티드 디스플레이 장치(2)를 동작시키는데 사용되는 처리 능력의 대부분을 포함한다. 처리 유닛(4)은 하나 이상의 허브 컴퓨팅 시스템(12)에 무선으로 (예를 들어, 와이파이(WiFi), 블루투스(Bluetooth), 적외선 또는 기타 무선 통신 수단) 통신한다.

허브 컴퓨팅 시스템(12)은 컴퓨터, 게임 시스템 또는 콘솔 등일 수 있다. 예시적인 실시형태에 따르면, 허브 컴퓨팅 시스템(12)은, 허브 컴퓨팅 시스템(12)이 게임 애플리케이션, 비-게임 애플리케이션 등과 같은 애플리케이션을 실행하는데 사용될 수 있도록, 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트를 포함할 수 있다. 일 실시형태에서, 허브 컴퓨팅 시스템(12)은 여기 설명된 프로세스를 수행하기 위한 프로세서 판독가능 저장 장치 상에 저장된 명령을 실행할 수 있는 표준화된 프로세서, 특화된 프로세서, 마이크로프로세서 등과 같은 프로세서를 포함할 수 있다.

허브 컴퓨팅 시스템(12)은 캡처 장치(20A와 20B)와 같은 하나 이상의 캡처 장치를 더 포함한다. 다른 실시형태에서, 2개 이상 또는 그 미만의 캡처 장치가 사용될 수 있다. 일 예시적 실시형태에서, 캡처 장치(20A와 20B)는 서로 다른 방향을 지향하여 방의 다른 부분을 캡처한다. 2개 캡처 장치의 시야는 약간 중첩되어서 허브 컴퓨팅 시스템(12)이 캡처 장치의 시야가 서로 어떻게 관련되는지 이해할 수 있는 것이 바람직할 수 있다. 이러한 방식으로, 다수의 캡처 장치가 전체 방(또는 기타 공간)을 보는데 사용될 수 있다. 다르게는, 시간에 걸쳐 캡처 장치에 의해 전체 관련 공간이 보이도록 캡처 장치가 동작 중에 패닝(pan) 될 수 있는 경우 하나의 캡처 장치가 사용될 수 있다.

캡처 장치(20A와 20B)는 예를 들어 하나 이상의 사용자와 주변 공간을 시각적으로 모니터링하는 카메라일 수 있어서, 애플리케이션 내에서 하나 이상의 제어 또는 동작을 수행하거나 및/또는 아바타나 스크린 상의 캐릭터를 동작시키기(animate) 위해 하나 이상의 사용자에 의해 수행되는 제츠처 및/또는 움직임뿐만 아니라 주변 공간의 구조가 캡처, 분석 및 추적될 수 있다.

허브 컴퓨팅 시스템(12)은 게임 또는 애플리케이션 비주얼을 제공할 수 있는 텔레비전, 모니터, 고화질(high-definition) 텔레비전(HDTV) 등과 같은 시청각 장치(16)에 접속될 수 있다. 예를 들어, 허브 컴퓨팅 시스템(12)은 게임 애플리케이션, 비-게임 애플리케인 등과 연관된 시청각 신호를 제공할 수 있는 그래픽 카드와 같은 비디오 어댑터 및/또는 사운드 카드와 같은 오디오 어댑터를 포함할 수 있다. 시청각 장치(16)는 허브 컴퓨팅 시스템(12)으로부터 시청각 신호를 수신할 수 있고, 그 후, 시청각 신호와 연관된 게임 또는 애플리케이션 비주얼 및/또는 오디오를 출력할 수 있다. 일 실시형태에 따르면, 시청각 장치(16)는, 예를 들어, S-Video 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 컴포넌트 비디오 케이블(component video cable), RCA 케이블 등을 통해 허브 컴퓨팅 시스템(12)에 접속될 수 있다. 일 예에서, 시청각 장치(16)는 내부 스피커를 포함한다. 다른 실시형태에서, 오디오 장치(16), 별개 스테레오 또는 허브 컴퓨팅 시스템(12)이 외부 스피커(22)에 접속된다.

캡처 장치(20A와 20B)와 함께 허브 컴퓨팅 장치(10)는 사람 (및 기타 유형의) 타겟을 인식, 분석 및/또는 추적하는데 사용될 수 있다. 예를 들어, 헤드 마운티드 디스플레이 장치(2)를 착용하고 있는 사용자는 캡처 장치(20A와 20B)를 이용하여 추적될 수 있어서, 아바타나 스크린 상의 캐릭터를 동작시키기 위해 사용자의 제스처 및/또는 움직임이 포착될 수 있거나 및/또는 허브 컴퓨팅 시스템(12)에 의해 실행되고 있는 애플리케이션에 영향을 주기 위해 사용될 수 있는 제어로 해석될 수 있다.

도 2a는, 템플(temple, 102)과 노즈 브릿지(nose bridge, 104)를 포함하는 프레임의 부분을 포함하는, 헤드 마운티드 디스플레이 장치(2)의 일부의 상면도를 도시한다. 헤드 마운티드 디스플레이 장치(2)의 우측면만이 도시된다. 후술하는 바와 같이, 노즈 브릿지(104)에 소리를 녹음하고 그 오디오 데이터를 처리 유닛(4)에 전송하기 위한 마이크로폰(110)이 내장된다. 헤드 마운티드 디스플레이 장치(2)의 전면에는 비디오 및 정지 이미지를 캡처할 수 있는 물리적 환경을 바라보는 비디오 카메라(113)가 있다. 이들 이미지는 후술하는 바와 같이 처리 유닛(4)에 전송된다.

헤드 마운티드 디스플레이 장치(2)의 프레임(115)의 일부는 디스플레이(하나 이상의 광 요소를 포함)를 둘러쌀 것이다. 헤드 마운티드 디스플레이 장치(2)의 컴포넌트를 보이기 위해, 디스플레이를 둘러싸는 프레임(115)의 부분은 도시되지 않는다. 디스플레이는 광 가이드 광 요소(112), 불투명 필터(114), 시스루 렌즈(116) 및 시스루 렌즈(118)를 포함한다. 일 실시형태에서, 불투명 필터(114)는 시스루 렌즈(116) 뒤에서 이와 정렬되고, 광 가이드 광 요소(112)는 불투명 필터(114) 뒤에서 이와 정렬되며, 시스루 렌즈(118)는 광 가이드 광 요소(112) 뒤에서 이와 정렬된다. 시스루 렌즈(116 및 118)는 안경에서 사용되는 표준 렌즈이고, 여하한 처방 (처방 없음을 포함)에 따라 만들어질 수 있다. 일 실시형태에서, 시스루 렌즈(116 및 118)는 가변 처방 렌즈로 대체될 수 있다. 일부 실시형태에, 헤드 마운티드 디스플레이 장치(2)는 하나의 시스루 렌즈만을 포함하거나 시스루 렌즈를 포함하지 않을 것이다. 다른 대안에서, 처방 렌즈가 광가이드 광 요소(112)안으로 갈 수 있다. 불투명 필터(114)는 가상 이미지의 대비를 강화하기 위해 자연 광을 (픽셀단위로 또는 균일하게) 걸러낸다(filter out). 광가이드 광 요소(112)는 눈으로 인공 광을 체널링(channel)한다. 불투명 필터(114)와 광가이드 광 요소(112)의 더 자세한 사항은 아래에 제공된다.

템플(102)의 안에 또는 템플(102)에 설치되는 것은, 하나 이상의 광 요소 예를 들어 렌즈 시스템(122)을 통해 이미지를, 본 실시형태에서 광가이드 광 요소(112)로 이미지를 안내하는 반사 표면(124)인 반사 요소로 투사하는 마이크로디스플레이(120)를 하나 이상의 실시형태에서 포함하는 이미지 소스이다. 마이크로디스플레이(120)를 구현하기 위해 사용될 수 있는 상이한 이미지 생성 기술이 존재한다. 예를 들어, 마이크로디스플레이(120)는 광원이 백색광으로 조명되는 광학적으로 활성인 물질에 의해 변조되는 투과성 투사 기술(transmissive projection technology)을 이용하여 구현될 수 있다. 이들 기술은 보통 강력한 백라이트와 높은 광학 에너지 밀도를 갖는 LCD 유형 디스플레이를 이용하여 구현된다. 마이크로디스플레이(120)는 또한, 외부 광이 광학적으로 활성인 물질에 의해 반사되고 변조되는 반사 기술을 이용하여 구현될 수 있다. 조명은 기술에 따라 백색 소스 또는 RGB 소스에 의해 전면 조명(forward lit)된다. DLP(digital light processing), LCOS(liquid crystal on silicon) 및 퀄컴(Qualcomm, Inc.)의 미라졸(Mirasol®) 디스플레이 기술이, 모든 에너지가 변조된 구조로부터 반사되어 나가므로 효율적이고 여기에 설명된 시스템에서 사용될 수 있는 반사 기술의 모든 예이다. 또한, 마이크로디스플레이(120)는 광이 디스플레이에 의해 생성되는 방사 기술을 이용하여 구현될 수 있다. 예를 들어, 마이크로비전(Microvision, Inc.)의 피코프(PicoP™) 엔진은 마이크로 미러 스티어링(steering)으로 레이저 시그널을 투과성 요소로 동작하는 작은 스크린에 발산하거나 눈으로 직접 쏘아진다(예를 들어, 레이저).

도시된 실시형태에서, 마이크로디스플레이(120)는 시스루 디스플레이로 이미지를 전달하기 위한 광 처리 요소를 포함하는 마이크로디스플레이 조립체(173)의 일부이다. 본 예의 마이크로디스플레이 조립체는 미이크로디스플레이(120), 렌즈 시스템(122)에 포함된 하나 이상의 광 요소 및 반사 표면(124)을 포함한다. 렌즈 시스템(122)은 단일 렌즈 또는 복수의 렌즈를 포함할 수 있다. 렌즈 시스템(122), 마이크로디스플레이 유닛(120)과 반사 표면(124)(예를 들어, 거울 또는 기타 표면)은 광 경로를 따라 정렬되는데, 이 예에서는 광 축(133)을 따라 정렬된다. 이미지 광은 시준되고 렌즈 시스템(122)에 의해 반사 표면(124)으로 지향될 수 있다.

마이크로디스플레이 조립체(173)는 광 경로(133)를 따라 렌즈 시스템(122)과 마이크로디스플레이 유닛(120) 사이의 변위(displacement) 또는 렌즈 시스템(122)과 반사 표면(124) 사이의 변위 또는 양자 모두를 제어하는 가변 가상 초점 조정기(135)를 더 포함한다. 마이크로디스플레이 조립체의 광 처리 요소들 사이의 상이한 변위는, 가상 객체가 투사될 수 있는 사용자의 3차원 시야 내의 상이한 초점 영역에 대응한다. 이 예에서, 변위 변화는 이 예에서 렌즈 시스템(122)과 마이크로디스플레이(120)과 같은 적어도 하나의 광 처리 요소를 지지하는 외장(armatuer)(137) 내에서 안내된다. 외장(137)은 선택된 변위 또는 선택된 광 전력을 달성하기 위해 요소의 물리적 움직임 동안 광 경로(133)를 따르는 정렬을 안정화하는 것을 돕는다. 변위 범위는 통상 수 밀리미터(mm) 정도이다. 일 예에서, 범위는 1-2mm이다.

일 예에서, 조정기(135)는 압전(piezoelectric) 모터와 같은 액추에이터일 수 있다. 액추에이터를 위한 다른 기술이 사용될 수도 있고 그러한 기술의 일부 예는 코일과 영구 자석으로 형성된 음성 코일, 자기변형(magnetostriction) 요소 및 전기 변형(electrostriction) 요소이다.

광가이드 광 요소(112)는 헤드 마운티드 디스플레이 장치(2)를 착용하고 있는 사용자의 눈(140)으로 마이크로디스플레이(120)로부터 광을 전송한다. 광가이드 광 요소(112)는 또한, 화살표(142)로 도시된 바와 같이, 헤드 마운티드 디스플레이 장치(2)의 앞으로부터의 광이 광가이드 광 요소(112)를 통해 눈(140)으로 전송될 수 있도록 하고, 그에 의해 사용자가 마이크로디스플레이(120)로부터 가상 이미지를 수신하는 것에 더해 헤드 마운티드 디스플레이 장치(2) 앞의 공간의 실제 직접 뷰를 가질 수 있도록 한다. 그러므로, 광가이드 광 요소(112)의 벽은 시스루이다. 광가이드 광 요소(112)는 제1 반사 표면(124)을 포함한다. 마이크로디스플레이(120)로부터의 광은 렌즈 시스템(122)을 통과하고 반사 표면(124)에 입사하게 된다. 반사 표면(124)은 마이크로디스플레이(120)로부터의 입사 광을 반사하여, 광이 내면 반사(internal reflection)에 의해 광가이드 광 요소(112)를 포함하는 기판인 플래이너(plnaer) 내에 갇힌다. 기판의 표면에서의 수회 반사 후에, 갇힌 광 파는 선택적 반사 표면(126)의 어레이에 도달한다. 도면이 혼잡해지지 않도록 5개 표면 중 하나 만이 126으로 라벨링된다. 반사 표면(126)은 기판 밖의 이들 반사 표면으로의 광파 입사를 사용자의 눈(140)으로 결합한다. 상이한 광선이 이동하여 상이한 각도로 기판의 내부에서 반사되면서, 상이한 광선은 상이한 각도로 다양한 반사 표면(126)에 부딪힐 것이다. 그러므로, 상이한 광선이 반사 표면 중 상이한 반사 표면에 의해 기판으로부터 반사될 것이다. 어떤 표면(126)에 의해 기판으로부터 어떤 광선이 반사될지의 선택은 기판(126)의 적당한 각도를 선택함으로써 이루어진다. 광가이드 광 요소의 더 상세한 사항은, 그 전체가 여기에 참조로 포함되는 미국 특허 출원 공보 2008/0285140, 시리얼 번호 12/214,366인 2008.11.20. 공개된 "Substrate-Guided Optical Devices"에서 찾아볼 수 있다. 일 실시형태에서, 각각의 눈은 그 자신의 광가이드 광 요소(112)를 가질 것이다. 헤드 마운티드 디스플레이 장치가 2개의 광 가이드 광 요소를 갖는 때에, 각각의 눈은 양 눈에 동일한 이미지를 표시하거나 2개의 눈에 상이한 이미지를 표시할 수 있는 그 자신의 마이크로디스플레이(120)를 가질 수 있다. 다른 실시형태에서, 양 눈으로 광을 반사하는 하나의 광가이드 광 요소가 있을 수 있다.

광 가이드 광 요소(1120)와 정렬되는 불투명 필터(114)는, 균일하게 또는 픽셀 단위로, 선택적으로 자연 광을 광가이드 광 요소(112)를 통과하지 못하게 차단한다. 일 실시형태에서, 불투명 필터는 시스루 LCD 패널, 전자크롬(electrochromic) 필름 또는 불투명 필터로 기능할 수 있는 유사한 장치일 수 있다. 이러한 시스루 LCD 패널은 종래의 LCD로부터 다양한 기판 층, 백라이트 및 디퓨저(diffuser)를 제거함으로써 얻어질 수 있다. LCD 패널은 광이 액정을 통과할 수 있도록 하는 하나 이상의 광 투과 LCD 칩을 포함할 수 있다. 이러한 칩은 예를 들어 LCD 프로젝터에서 사용된다.

불투명 필터(114)는 조밀한 픽셀의 격자(grid)를 포함할 수 있는데, 여기서 각각의 픽셀의 광 투과율(transmissivity)이 최소와 최대 투과율 사이에서 개별적으로 제어가능하다. 0-100%의 투과율 범위가 이상적이지만, 더 제한된 범위도 수용가능하다. 예로서, 2개 이하의 편광(polarizing) 필터를 갖는 흑백 LCD 패널이 LCD의 해상도까지 픽셀 당 약 50% 내지 90%의 불투명 범위를 제공하기에 충분하다. 50%의 최소에서, 렌즈는 약간 엷은 외양을 가질 것인데, 이는 견딜 수 있다. 100% 투과율은 완전히 투명한 렌즈를 나타낸다. "알파" 스케일은 0-100%로 정의될 수 있는데, 여기서 0%는 광이 통과하지 못하게 하고 100%는 모든 광이 통과할 수 있게 한다. 알파의 값은 후술하는 불투명 필터 제어 회로(224)에 의해 각 픽셀에 대해 설정될 수 있다.

불투명 필터의 더 상세한 사항은, 발명자가 Jason Flaks, Avi Bar-Zev, Jeffrey Margolis, Chris Miles, Alex Kipman, Andrew Fuller 및 Bob Crocco인, 2010.9.21. 출원된 미국 특허 출원 12/887.426, "Opacity Filter For See-Through Mounted Display," 및 2010.10.15. 출원된 미국 특허 출원 12/905,952 "Fusing Virtual Content Into Real Content"에서 제공되는데, 두 출원은 모두 그 전체가 여기에 참조로 포함된다.

헤드 마운티드 디스플레이 장치(2)는 사용자의 눈의 위치를 추적하기 위한 시스템도 포함한다. 후술하는 바와 같이, 시스템은 사용자의 위치와 방향을 추적하여 시스템이 사용자의 시야를 결정할 수 있다. 그러나, 사람은 그 앞에 있는 모든 것을 인식하지는 않는다. 대신, 사람의 눈은 환경의 부분집합을 향한다. 그러므로, 일 실시형태에서, 시스템은 사용자의 시야의 측정을 교정하기 위해 사용자의 눈의 위치를 추적하는 기술을 포함할 것이다. 예를 들어, 헤드 마운티드 디스플레이 장치(2)는 눈 추적 조립체(134)(도 2a 참조)를 포함하는데, 이는 눈 추적 조명 장치(134A)와 눈 추적 카메라(134B)(도 4 참조)를 포함할 것이다. 일 실시형태에서, 눈 추적 조명 소스(134A)는 하나 이상의 적외선(IR) 에미터를 포함하는데, 이는 눈을 향해 적외선 광을 발산한다. 눈 추적 카메라(134B)는 반사된 IR 광을 감지하는 하나 이상의 카메라를 포함한다.

안구의 위치는 각막의 반사를 검출하는 알려진 이미징 기술에 의해 식별될 수 있다. 예를 들어, 여기에 참조로 포함되는 Ophir 등의 2008.7.22. 발행된 미국 특허 7,401 ,920, "Head Mounted Eye Tracking and Display System"을 참조하라. 이러한 기술은 추적 카메라에 대한 눈 중심의 위치를 위치결정할 수 있다. 일반적으로, 눈 추적은 안와(eye socket) 내 안구의 위치를 결정하기 위해 눈의 이미지를 획득하고 컴퓨터 비전 기술을 이용하는 것을 포함한다. 일 실시형태에서, 눈은 일반적으로 같이 움직이므로 하나의 눈 위치만을 추적하는 것으로 충분하다. 그러나 각 눈을 별도로 추적하는 것도 가능하다.

일 실시형태에서, 시스템은 4개의 적외선(IR) LED와 4개의 광 검출기를 정사각형 배열로 사용하여 헤드 마운티드 디스플레이 장치(20)의 렌즈의 각 코더에 하나의 IR LED와 IR 광 검출기가 존재한다. LED로부터의 광은 눈에서 반사된다. 4개의 IR 광 검출기 각각에서 검출된 적외선 광의 양은 안구 방향을 결정한다. 즉, 눈의 검은 부분에 대한 흰 부분의 양이 그 특정 광 검출기에 대해 눈에서 반사되는 광의 양을 결정할 것이다. 그러므로 광 검출기는 눈의 흰부분 또는 검은부분의 양의 측정을 가질 것이다. 4개의 샘플로부터, 시스템은 눈의 방향을 결정할 수 있다.

다른 대안은 상술한 바와 같이 4개의 적외선 LED를 사용하지만 헤드 마운티드 디스플레이 장치(2)의 렌즈 측에 하나의 적외선 이미징 장치만을 사용하는 것이다. 이미징 장치가 안경 프레임으로부터 보이는 눈의 75%까지 이미징할 수 있도록 이미지 장치는 작은 거울 및/또는 렌즈(어안)을 사용할 것이다. 이미징 장치는 그 후 상술한 것과 유사하게 이미지를 감지하고 컴퓨터 비전을 이용하여 이미지를 찾을 것이다. 그러므로, 도 2a가 하나의 IR 에미터를 갖는 하나의 조립체를 도시하지만, 도 2a의 구조는 4개의 IR 트랜스미터 및/또는 4개의 IR 센서를 갖도록 조정될 수 있다. 4개 트랜스미터 및/또는 4개의 IR 센서보다 많거나 적은 것이 사용될 수도 있다.

눈의 방향을 추적하기 위한 다른 실시형태는 전하 추적에 기반한다. 이 개념은 망막(retina)이 측정가능한 양의 전하를 운반하고 각막이 음의 전하를 갖는다는 관찰에 기초한다. 사용자의 귀(이어폰(130) 근처)에 의해 센서가 설치되어 눈이 움직이는 동안 전위를 검출하고 실시간으로 눈이 무엇을 하는지를 효과적으로 읽어낸다. 눈을 추적하기 위한 다른 실시형태도 사용될 수 있다.

제어 회로(136)는 헤드 마운티드 디스플레이 장치(2)의 다른 컴포넌트를 지지하는 다양한 전자부품을 제공한다. 제어 회로(136)의 더 상세한 사항은 도 4에 대해 아래에서 제공된다. 이어폰(130), 관성 센서(132) 및 온도 센서(138)가 내부에 있거나ㄴ 템플(102)에 설치된다. 일 실시형태에서 관성 센서(132)는 3축 자기미터(magnetometer)(132A), 3축 자이로(132B) 및 3축 가속도계(132C)를 포함한다(도 4 참조). 관성 센서는 헤드 마운티드 디스플레이 장치(2)의 위치, 방향, 갑작스런 가속을 감지하기 위한 것이다.

도 2a는 헤드 마운티드 디스플레이(2)의 절반만을 도시한다. 전체 헤드 마운티드 디스플레이 장치는 다른 세트의 시스루 렌즈, 다른 불투명 필터, 다른 광가이드 광 요소, 다른 마이크로디스플레이(120), 다른 렌즈 시스템(132), 방 대면 카메라(113), 눈 추적 조립체(134), 이어폰(130) 및 온도 센서(138)를 포함할 것이다.

도 2b는 헤드 마운티드 디스플레이 유닛의 다른 실시형태의 부분의 상면도이다. 프레임(115)는 그 안에서 지지되는 광 요소의 배열을 노출하기 위해 점선으로 도시된다. 이 실시형태에서, 반사 요소(124a)로부터의 광은 광 경로(133)를 따라 이동하는 가상 이미지 뷰를 자연 또는 실제 직접 뷰(142)와 결합하는 부분적 반사 요소(124b)로 지향시킨다. 자연 뷰(142)는 불투명 필터(114)에 의해 영향받을 수 있다. 뷰의 결합은 광가이드 광 요소(112)와 같은 다른 광 요소가 아니라 사용자의 눈(140)으로 지향된다. 이 실시형태에서, 프레임(115)은, 그 광 처리 요소(122와 120), 가변 초점 조정기(135) 및 외관(137)을 포함하는 마이크로디스플레이 조립체(173)와 같은 시스템의 요소에 대한 지지로서 편리한 안경 프레임을 제공한다. 이 예에서, 각 눈에 대한 눈 추적 카메라(134r, 134l)는 브릿지(104) 상에 위치된다. 다른 실시형태에서, 안경 프레임 외의 다른 지지 구조가 사용될 수 있다. 이러한 구조의 예는 바이저(visor)이다.

전술한 바와 같이, 마이크로디스플레이 조립체(173)의 광 처리 요소의 구성은 이미지에서 가상 객체가 나타나는 초점 거리 또는 초점 영역을 생성한다. 구성을 변경하는 것은 가상 객체 이미지에 대한 초점 영역을 변경한다. 광 처리 요서에 의해 결정된 초점 영역은 수식 1/S₁ + 1/S₂ = 1/f에 기초하여 결정되고 변경될 수 있다. 심볼 f는 마이크로디스플레이 조립체(173) 내 렌즈 시스템(122)과 같은 렌즈의 초점 거리를 나타낸다. 렌즈 시스템(122)은 전면 절점(front nodal point)과 후면 절점(rear nodal point)을 갖는다. 광선이 광축에 대해 주어진 각으로 둘 중 하나의 절점으로 지향되면, 광선은 광 축에 대해 동일한 각으로 다른 절점에서 나타날 것이다. 일 예에서, 렌즈 시스템(122)의 후면 절점은 렌즈 시스템(122)과 도 2a의 반사 요소(124) 또는 도 2b의 반사 요소(124a) 사이에 있을 것이다. 후면 절점으로부터 반사 요소(124, 124a)까지의 거리는 S₂라고 표시될 수 있다. 전면 절점은 사용자의 물리적 공간의 3차원 모델에서 마이크로디스플레이(120)에 의해 생성되는 가상 이미지의 타겟 위치와 렌즈 시스템(122) 사이에 있을 것이다. (모델 생성에 대한 세부사항에 대해서는 아래의 도 10-12의 논의를 참조하라.) 전면 절점으로부터 가상 이미지의 타겟 위치까지의 거리는 S₁으로 표시될 수 있다.

렌즈의 초점 거리가 고정되면, S₁과 S₂는 상이한 깊이에서 가상 객체에 초점을 맞추기 위해 변화된다. 예를 들어, 초기 위치는 무한대로 설정된 S₁과 렌즈 시스템(122)의 초점 거리와 동일한 S₂를 가질 수 있다. 렌즈 시스템(122)이 10mm의 초점 거리를 갖는다고 가정하고, 가상 객체가 사용자의 시야로 약 1피트 또는 30cm에 배치되어야 하는 예를 고려하자. S₁은 이제 30cm 또는 300mm이고, f는 10mm이고, S₂는 초점 거리의 초기 위치, 10mm로 현재 설정되는데, 이는 렌즈 시스템(122)의 후면 절점이 반사 요소(124, 124a)로부터 10mm임을 의미한다. 렌즈(122)와 반사 요소(124, 124a) 사이의 새로운 거리 또는 새로운 변위가 1/300 + 1/S₂ = 1/10 (모든 단위는 mm)에 기초하여 결정된다. 결과는 S₂에 대해 약 10.3mm이다.

일 예에서, 처리 유닛(4)은 초점 거리 f를 고정시키고 S₁과 S₂에 대한 변위 값을 계산할 수 있고, 가변 가상 초점 조정기(135)가 예를 들어 광 경로(133)를 따라 렌즈 시스템(122)을 움직이도록 제어 회로(136)가 가변 조정기 드라이버(237)가 구동 신호를 전송하게 하도록 할 수 있다. 일부 예에서, 조정기(135)는 외관(137) 내의 하나 이상의 광 요소(122)를 움직일 수 있다. 다른 예에서, 외관은 광 처리 요소 주위의 영역에 그루브 또는 공간을 가질 수 있어서 광 처리 요소를 움직이지 않고, 요소, 예를 들어 마이크로디스플레이(120) 위에서 슬라이드한다. 하나 이상의 광 요소(122)와 같은 외관 내의 다른 요소가 부착되어 움직이는 외관(237)과 같이 슬라이드하거나 움직인다. 다른 실시형태에서, 마이크로디스플레이 유닛(120) 또는 반사 요소(124, 124a) 또는 양자 모두는 렌즈 시스템(122)을 움직이는 대신에, 또는 그에 추가하여 이동될 수 있다.

다른 실시형태에서, 렌즈 시스템(122) 내의 적어도 하나의 렌즈의 초점 거리는 광 경로(133)를 따르는 변위의 변화화 함께 또는 그 대신에 변화될 수 있다. 마이크로디스플레이 조립체의 일부 실시형태는 도 3a 내지 3d에 도시된다. 도시된 렌즈의 구체적인 개수는 예에 불과하다. 동일한 원리로 동작하는 다른 수 및 구성의 렌즈가 사용될 수 있다.

도 3a는 근안 디스플레이의 마이크로디스플레이 조립체의 일부로서 사용되는 회전가능 렌즈 시스템의 예이다. 렌즈(122a 내지 122d)의 각각은 상이한 초점 거리를 갖고 가변 가상 초점 조정기(135)에 의해 회전가능한 디스크 지지부(160) 내에서 지지된다. 처리 유닛(4)은 초점 영역을 결정하고 그 초점 영역을 획득하기 위해 초점 거리 렌즈 중 하나를 선택한다. 도 3에 대해 도시된 바와 같이, 제어 회로(136)의 가변 조정기 드라이버(237)는 디스크를 회전하기 위해 가변 가상 초점 조정기(135)로 적어도 하나의 제어 신호를 보내고, 그래서 선택된 렌즈가 조립체의 광 경로(133)에서 정렬된다.

도 3b1과 도 3b2는 Hongwen 등의 Tunable-focus liquid lens controlled using a servo motor (OPTICS EXPRESS, 4 2006.9., Vol. 14, No. 18, pp. 8031 -8036)에 나타난 바와 같은 상이한 곡률 반경을 나타내는 유체 렌즈의 예이다. 유체 렌즈는 마이크로디스플레이 어셈블리의 일부로서 사용될 수 있다. 렌즈의 초점 거리는 곡률 반경을 변경시킴으로써 변화될 수 있다. 곡률 반경 R과 초점 거리 f의 관계는 f = R/ n_liquid - 1로 주어진다. 렌즈의 액체 또는 유체의 반사계수는 n_liquid이다.

이 실시형태는, 그 일부로 또는 그에 접속된 가요성 외부막(152), 일 예에서 고무막을 갖는 고리형 밀봉링과 같은 지지부(137)를 포함한다. 외부막(153)은 액체(156)의 저장소와 접촉한다. 렌즈막(150)은, 저장소(156)로부터 액체를 수용하고 저장소(156)로 액체를 방출할 수 있는 액체 렌즈 셀(158)의 가요성 측을 형성하거나 그 위에 놓인다. 언급된 예에서, 가요성 렌즈막은 폴리메틸실로세인(PDMS) 탄성중합체(elestomeric) 막과 같은 탄성막이다. 액체 셀 뒤의 유리 플레이트(154)는 지지를 제공한다. 가변 가상 초점 조정기(135)는 도 3b2에 도시된 바와 같이 가요성 외부 막(152)을 밀고 도 3b1에서와 같이 막(152)을 릴리즈하도록 제어되어 저장소(156) 내의 물의 부피가 액체 렌즈(158) 안 또는 밖으로 가게 하고, 그에 의해 액체 부피의 변화에 기인하여 탄성막(150)을 볼록하게 하거나 탄성막(150)을 릴리즈한다. 액체의 부피의 변화는 렌즈막(150)의 곡률 반경의 변화를 유발하고 그에 의해 액체 렌즈(158)의 초점 거리의 변화를 유발한다. 곡률 반경과 부피 변화 △V 사이의 관계는 다음과 같이 표현될 수 있다:

여기서, r_o은 렌즈 개구의 반경이다.

도 3c는 근안 디스플레이의 마이크로디스플레이 조립체의 일부로서 사용되는 복굴절 렌즈 시스템의 예이다. 복굴절 물질은 이방성이거나 방향적으로 의존적이다. 광을 예시적인 구조로서의 광선으로 설명하면, 복굴절 렌즈는 광을 보통의 광선과 특이한(extraordinary) 광선으로 분리한다(decompose). 이방성의 단일 축 또는 광축에 대해, 상이한 반사 계수, 및 그에 따라 상이한 초점 거리가, 축에 평행한 것과 수직인 것 2개의 편광에 대해 존재할 수 있다. 도 3c의 예에서, 렌즈(122a와 122b)는 화살표에 의해 표시된 바와 같이 상이한 편광으로 복굴절 물질로 만들어진 렌즈이다. 이 2개의 렌즈의 예에서, 4개의 상이한 반사 계수 또는 초점 거리가 선택을 위해 사전결정될 수 있다. 각각의 상이한 초점 거리가 처리 유닛(4)에 의한 선택을 위해 상이한 초점 영역과 연관될 수 있다. 편광 조합은, 도 3c에 도시되는 바와 같이 렌즈(122a와 122b)에 대한 수직 편광, 도 3c에 도시된 것에 반대로 수직인 편광일 수 있는데, 2개의 렌즈는 같은 방향으로 동일한 편광을 갖고, 2개의 렌즈는 편광의 다른 방향으로 동일한 편광을 갖는다. 가변 가상 초점 조정기는 일 실시형태에서 선택된 편광을 가져오도록 각각의 렌즈에 전압을 인가할 수 있다. 다른 실시형태에서, 렌즈의 편광을 변화시키기 위해 물리적 스트레스가 인가될 수 있다.

도 3d는 마이크로디스플레이 조립체의 일부로서 사용하기 위한 삽입가능 렌즈 시스템의 일예이다. 이 실시형태에서, 다수의 렌즈(122) 각각은 외관(137)에 부착된 개별 암(arm)(123)에 부착된다. 각각의 암(123)은 가변 가상 초점 조정기(135)의 제어 하에서 마이크로디스플레이 조립체의 광 경로(133)에서의 변위 위치에서 그의 하나 이상의 광 요소(122), 예를 들어 렌즈 또는 렌즈 시스템(122)을 움직인다. 예를 들어, 프리셋(preset) 초점 영역에 대해 사전결정된 변위가 사용되는 경우, 각각의 렌즈(122)는 그 이웃으로부터 특정 거리, 예를 들어 0.1 밀리미터(mm) 떨어지도록 설정될 수 있다. 비균일적 이격(spacing) 및 조정가능 변위도 사용될 수 있다.

렌즈의 초점 거리를 조정하는 상기 예의 각각에서, 광 경로(133)를 따르는 변위도 수행될 수 있다.

다시 위에서 언급한 바와 같이, 마이크로디스플레이 조립체의 각각은 그의 각각의 눈의 시점에 대해 처리를 수행하므로 가상 이미지는 사용자 초점 영역, 예를 들어, 사람에 있어 단일 비전 영역인 패넘 융합 영역에서 나타난다.

도 4는 헤드 마운티드 디스플레이 장치(2)의 다양한 컴포넌트를 도시하는 블록도이다. 도 5는 처리 유닛(4)의 다양한 컴포넌트를 설명하는 블록도이다. 그 컴포넌트가 도 4에 도시된 헤드 마운티드 디스플레이 장치(12)는 실제 세계의 사용자 뷰와 초점이 맞는 가상 이미지를 제공하는데 사용된다. 또한, 도 4의 헤드 마운티드 디스플레이 장치 컴포넌트는 다양한 조건을 추적하는 많은 센서를 포함한다. 헤드 마운티드 디스플레이 장치는 처리 유닛(4)으로부터 가상 이미지에 대한 명령을 수신할 것이고, 처리 유닛(4)에 다시 센서 정보를 제공할 것이다. 그 컴포넌트가 도 5에 도시된 처리 유닛(4)은 헤드 마운티드 디스플레이 장치(3) 및 허브 컴퓨팅 장치(12)(도 1 참조)로부터 센서 정보를 수신할 것이다. 그 정보에 기초하여, 처리 유닛(4)은 어디에 그리고 언제 사용자에게 초점이 맞은 가상 이미지를 제공하고 도 4의 헤드 마운티드 디스플레이 장치로 그에 따라 명령을 전송할지를 결정할 것이다.

도 4의 컴포넌트 중 일부(예를 들어, 물리적 환경 대면 카메라(113), 눈 추적 카메라(134B), 가변 가상 초점 조정기(135), 마이크로디스플레이(120), 불투명 필터(114), 눈 추적 조명(134A), 이어폰(130) 및 온도 센서(138))는, 각각의 그들 장치가 하나는 헤드 마운티드 디스플레이 장치(2)의 왼쪽과 오른쪽에 2개 존재함을 나타내기 위해, 음영으로 도시됨을 유의하라. 도 4는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(214)(예를 들어, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플래이 포매터(formatter)(222), 타이밍 발생기(226), 디스플레이 출력 인터페이스(228), 및 디스플레이 입력 인터페이스(230)를 포함한다. 일 실시형태에서, 제어 회로(220)의 모든 컴포넌트가 전용 라인 또는 하나 이상의 버스를 통해 서로 통신한다. 다른 실시형태에서, 제어 회로(200)의 프로세서 각각은 프로세서(210)와 통신한다. 카메라 인터페이스(216)는 2개의 물리적 환경 대면 카메라(113)에 인터페이스를 제공하고 물리적 환경 대면 카메라로부터 수신된 이미지를 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로디스플레이(120)를 구동할 것이다. 디스플레이 포매터(222)는 마이크로디스플레이(120) 상에 표시되고 있는 가상 이미지에 대한 정보를 불투명 제어 회로(224)에 제공하는데, 이는 불투명 필터(114)를 제어한다. 타이밍 발생기(226)는 시스템을 위한 타이밍 데이터를 제공하는데 사용된다. 디스플레이 출력(228)은 물리적 환경 대면 카메라(113)로부터 처리 유닛(4)으로 이미지를 제공하기 위한 버퍼이다. 디스플레이 입력(230)은 마이크로디스플레이(120) 상에 표시될 가상 이미지와 같은 이미지를 수신하는 버퍼이다. 디스플레이 출력(228)과 디스플레이 입력(230)은 처리 유닛(4)으로의 인터페이스인 대역(band) 인터페이스(232)와 통신한다.

전력 관리 회로(202)는 전압 조정기(regulator)(234), 눈 추적 조명 드라이버(236), 가변 조정기 드라이버(237), 오디오 DAC 및 앰프(238), 마이크로폰 프리앰프 및 오디오 ADC(240), 온도 센서 인터페이스(242) 및 클록 발생기를 포함한다. 전압 조정기(234)는 대역 인터페이스(232)를 통해 처리 유닛(4)으로부터 전력을 수신하고 그 전력을 헤드 마운티드 디스플레이 장치(2)의 다른 컴포넌트에 제공한다. 눈 추적 조명 드라이버(236)는 상술한 바와 같이 눈 추적 조명(134A)에 대한 IR 광원을 제공한다. 가변 조정기 드라이버(237)는 제어 신호, 예를 들어, 구동 전류 또는 구동 전압을 조정기(135)에 제공하여 처리 유닛(4) 또는 허브 컴퓨터(12) 또는 앙자 모두에서 실행되는 소프트웨어에 의해 계산되는 초점 영역에 대한 변위를 달성하기 위해 마이크로디스플레이 조립체의 하나 이상의 요소를 움직인다. 변위의 범위를 스윕하고 그에 따라 초점 영역의 범위를 스윕하는 실시형태에서, 가변 조정기 드라이버(237)는 타이밍 발생기(226)로부터, 또는 다르게는, 클록 발생기(244)로부터 타이밍 신호를 수신하여 프로그램된 레이트 또는 빈도로 동작한다. 오디오 DAC와 앰프(238)는 이어폰(130)으로부터 오디오 정보를 수신한다. 마이크로폰 프리앰프와 오디오 ADC(240)는 마이크로폰을 위한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)를 위한 인터페이스이다. 전력 관리 유닛(202)은 또한 전력을 제공하고 3축 자기미터(132A), 3축 자이로(132B) 및 3축 가속도계(132C)로부터 다시 데이터를 받는다.

도 5는 처리 유닛(4)의 다양한 컴포넌트를 설명하는 블록도이다. 도 5는 전력 관리 회로(306)과 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 중앙 처리 유닛(320), 그래픽 처리 유닛(322), 캐시(324), RAM(326), 메모리(330)(예를 들어, D-RAM)와 통신하는 메모리 제어(328), 플래시 메모리(334) (또는 기타 비휘발성 저장소)와 통신하는 플래시 메모리 제어기(332), 헤드 마운티드 디스플레이 장치(2)와 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 통신하는 디스플레이 출력 버퍼(336), 헤드 마운티드 디스플레이 장치(2)와 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 통신하는 디스플레이 입력 버퍼(338), 마이크로폰에 접속하기 위한 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 장치(346)로 접속하기 위한 PCI 고속(express) 인터페이스 및 USB 포트(들)(348)을 포함한다. 일 실시형태에서, 무선 통신 컴포넌트(346)는 Wi-Fi 가능한 통신 장치, 블루투스 통신 장치, 적외선 통신 장치 등을 포함할 수 있다. USB 포트는 처리 유닛(4)을 충전할 뿐만 아니라 처리 유닛(4)에 데이터나 소프트웨어를 로딩하기 위해 허브 컴퓨팅 장치(12)로 처리 유닛(4)을 도킹하기 위해 사용될 수 있다. 일 실시형태에서, CPU(320)와 GPU(322)는 사용자의 뷰에 가상 이미지를 어디에, 언제 그리고 어떻게 삽입할지를 결정하기 위한 주요 일꾼(workhorse)이다. 상세사항은 아래에 제공된다.

전력 관리 회로(306)는 클록 발생기(360), 아날로그-디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 헤드 마운티드 디스플레이 전원(376) 및 (처리 유닛(4)의 손목 밴드에 위치된) 온도 센서(374)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류 전류-직류 전류 변환기(362)가 AC 전원을 수신하고 시스템을 위한 DC 전원을 생성하기 위해 충전 잭(370)에 접속된다. 전압 조정기(366)는 시스템에 전원을 공급하기 위해 배터리(368)와 통신한다. 배터리 충전(364)는 충전 잭(370)으로부터 전력을 수신하면 (전압 조정기(366))를 통해 배터리(368)를 충전하는데 사용된다. HMD 전력 인터페이스(376)는 헤드 마운티드 디스플레이 장치(2)에 전력을 제공한다.

상술한 시스템은 사용자의 시야에 가상 이미지를 삽입하도록 구성될 것이어서 가상 이미지가 사용자에게 자연스럽게 초점이 맞거나 안 맞는 것으로 나타난다. 다양한 실시형태에서, 가상 이미지는 이미지가 삽입되는 환경에 기초하여 적당한 방향, 크기 및 모양에 맞도록 조정될 것이다. 일 실시형태에서, 헤드 마운티드 디스플레이 장치(2), 처리 유닛(4) 및 허브 컴퓨팅 장치(12)는 함께 동작하는데 이는 각각의 장치가 가상 이미지를 어디에, 언제, 어떻게 삽입할지를 결정하기 위한 데이터를 획득하는데 사용되는 센서의 부분집합을 포함하기 때문이다. 일 실시형태에서, 가상 이미지를 어디에, 어떻게 언제 삽입할지를 결정하는 계산은 허브 컴퓨팅 장치(12)에 의해 수행된다. 다른 실시형태에서, 이들 계산은 처리 유닛(4)에 의해 수행된다. 다른 실시형태에서 계산의 일부는 허브 컴퓨팅 장치(12)에 의해 수행되는 반면 다른 계산은 처리 유닛(4)에 의해 수행된다. 다른 실시형태에서, 계산은 헤드 마운티드 디스플레이 장치(2)에 의해 수행될 수 있다.

일 예시적 실시형태에서, 허브 컴퓨팅 장치(12)는 사용자가 있는 환경의 모델을 생성하고 그 환경 내의 다양한 움직이는 객체를 추적할 것이다. 또한, 허브 컴퓨팅 장치(12)는 헤드 마운티드 디스플레이 장치(2)의 위치와 방향을 추적함으로써 헤드 마운티드 디스플레이 장치(2)의 시야를 추적한다. 모델 및 추적 정보는 허브 컴퓨팅 장치(12)로부터 처리 유닛(4)에 제공된다. 헤드 마운티드 디스플레이 장치(2)에 의해 획득된 센서 정보는 처리 유닛(4)으로 전송된다. 처리 유닛(4)은 그 후 헤드 마운티드 디스플레이 장치(2)로부터 수신하는 추가의 센서 정보를 이용하여 사용자의 시야를 교정하고 가상 이미지를 어떻게, 어디에 그리고 언제 삽입할지에 대한 명령을 헤드 마운티드 디스플레이 장치(2)에 제공한다.

도 6은 캡처 장치와 함께 허브 컴퓨팅 시스템(12)의 예시적인 실시형태를 도시한다. 일 실시형태에서, 캡처 장치(20A와 20B)는 동일한 구조이고, 따라서, 도 6은 캡처 장치(20A)만 도시한다.

예시적인 실시형태에 따르면, 캡처 장치(20A)는, 예를 들어 비행시간(time-of-flight), 구조화된 광, 스테레오 이미지 등을 포함하는 여하한 적당한 기술을 통해 깊이 값을 포함할 수 있는 깊이 이미지를 포함하는 깊이 정보로 비디오를 캡처하도록 구성될 수 있다. 일 실시형태에 따르면, 캡처 장치(20A)는 깊이 정보를, 깊이 카메라의 시선을 따라 깊이 카메라로부터 연장하는 Z 축에 수직일 수 있는 "Z 레이어" 또는 레이어들로 조직할 수 있다.

도 6에 도시된 바와 같이, 캡처 장치(20A_는 카메라 컴포넌트(423)를 포함할 수 있다. 예시적인 실시형태에 따르면, 카메라 컴포넌트(423)는 장면의 깊이 이미지를 캡처할 수 있는 깊이 카메라이거나 이를 포함할 수 있다. 깊이 이미지는, 캡처된 장면의 2차원(2-D) 픽셀 영역을 포함할 수 있는데, 여기서 2-D 픽셀 영역 내 각 픽셀이, 예를 들어, 센티미터, 밀리미터 등으로 카메라로부터 캡처된 장면 내 객체의 거리와 같은 깊이 값을 나타낼 수 있다.

카메라 컴포넌트(23)는 장면의 깊이 이미지를 포착하는데 사용될 수 있는 RGB(시각 이미지) 카메라(428), 적외선(IR) 광 컴포넌트(425) 및 3차원(3-D) 카메라(426)를 포함할 수 있다. 예를 들어, 비행시간 분석에서, 캡처 장치(20A)의 IR 광 컴포넌트(425)는 장면으로 적외선 광을 발산할 수 있고 그 후 예를 들어 3-D 카메라(326) 및/또는 RGB 카메라(428)를 이용하여 장면 내 하나 이상의 타겟과 객체의 표면으로부터 후면산란된(backscattered) 광을 검출하기 위해 센서(일부 실시형태에서, 미도시된 센서를 포함)를 사용할 수 있다. 일부 실시형태에서, 인출 광 펄스와 대응하는 인입 광 펄스 사이의 시간이 측정되고 장면 내 타겟이나 객체 상의 특정 위치까지의 캡처 장치(20A)로부터의 물리적 거리를 결정하기 위해 사용될 수 있도록 펄스 적외선 광이 사용될 수 있다. 또한, 다른 예시적 실시형태에서, 위상 이동(phase shift)를 결정하기 위해 인출 광파의 위상이 인입 광파의 위상과 비교될 수 있다. 그러면 위상 이동은 캡처 장치로부터 타겟이나 객체 상의 특정 위치까지의 물리적 거리를 결정하기 위해 사용될 수 있다.

다른 예시적인 실시형태에 따르면, 예를 들어, 셔터 광 펄스 이미징(shutteredd light pulse imaging)을 포함하는 다양한 기술을 통해 시간에 걸쳐 반사 광 빔의 강도를 분석함으로써 캡처 장치(20A)로부터 타겟이나 객체 상의 특정위치까지의 물리적 거리를 간접적으로 결정하기 위해 비행시간 분석이 사용될 수 있다.

다른 예시적인 실시형태에서, 캡처 장치(20A)는 깊이 정보를 캡처하기 위해 구조화된 광을 사용할 수 있다. 이러한 분석에서, 패터닝된 광(즉, 격자 패턴, 띠 패턴 또는 다른 패턴과 같은 알려진 패턴으로 표시된 광)이, 예를 들어, IR 광 컴포넌트(424)를 통해 장면에 투사될 수 있다. 장면 내의 하나 이상의 타겟이나 객체의 표면에 부딪히면, 패턴은 응답으로 변형(deformed)될 수 있다. 이러한 패턴의 변형은, 예를 들어, 3-D 카메라(426) 및/또는 RGB 카메라(428) (및/또는 다른 센서)에 의해 캡처될 수 있고, 그 후 캡처 장치로부터 타겟이나 객체의 특정 위치까지의 물리적 거리를 결정하기 위해 분석될 수 있다. 일부 구현에서, IR 광 컴포넌트(425)는 카메라(425와 426)로부터 변위되어서 카메라(425와 426)으로부터의 거리를 결정하기 위해 삼각법이 이용될 수 있다. 일부 구현에서, 캡처 장치(20A)는 IR 광을 감지하기 위한 전용 IR 센서나 IR 필터를 갖는 센서를 포함할 것이다.

다른 실시형태에 따르면, 캡처 장치(20A)는, 깊이 정보를 생성하기 위해 분석될 수 있는 시각 스테레오 데이터를 얻기 위해 상이한 각도에서 장면을 바라볼 수 있는 2 이상의 물리적으로 분리된 카메라를 포함할 수 있다. 다른 유형의 깊이 이미지 센서도 깊이 이미지를 생성하기 위해 사용될 수 있다.

캡처 장치(20A)는 마이크로폰(430)을 더 포함할 수 있는데, 이는 소리를 수신하고 이를 전기 신호를 변환할 수 있는 트랜스듀서나 센서를 포함한다. 마이크로폰(430)은 허브 컴퓨팅 시스템(12)에 의해 제공될 수도 있는 오디오 신호를 수신하는데 사용될 수 있다.

예시적 실시형태에서, 캡처 장치(20A)는 이미지 카메라 컴포넌트(4230와 통신할 수 있는 프로세서(432)를 더 포함할 수 있다. 프로세서(432)는, 예를 들어, 깊이 이미지를 수신하고, 적당한 데이터 포맷(예를 들어, 프레임)을 생성하고 허브 컴퓨팅 시스템(12)으로 데이터를 전송하기 위한 명령을 포함하는 명령을 실행할 수 있는 표준화된 프로세서, 특화된 프로세서, 마이크로프로세서 등을 포함할 수 있다.

캡처 장치(20A)는 프로세서(432)에 의해 실행되는 명령, 3-D 카메라 및/또는 RGB 카메라에 의해 캡처된 이미지 또는 이미지의 프레임, 또는 여하한 기타 적당한 정보, 이미지 등을 저장할 수 있는 메모리(434)를 더 포함할 수 있다. 예시적인 실시형태에 따르면, 메모리(434)는 RAM(random access memory), ROM(read only memeory), 캐시, 플래시 메모리, 하드 디스크 또는 기타 적당한 저장 컴포넌트를 포함할 수 있다. 도 6에 도시된 바와 같이, 일 실시형태에서, 메모리(434)는 이미지 캡처 컴포넌트(423) 및 프로세서(432)와 통신하는 별도의 컴포넌트일 수 있다. 다른 실시형태에 따르면, 메모리(434)는 프로세서(432) 및/또는 이미지 캡처 컴포넌트(422)로 통합될 수 있다.

캡처 장치(20A와 20B)는 통신 링크(436)를 통해 허브 컴퓨팅 시스템(12)과 통신한다. 통신 링크(436)는, 예를 들어, USB 접속, 파이어와이어(Firewire) 접속, 이더넷 케이블 접속 등을 포함하는 유선 접속 및/또는 무선 802.1 1 b, g, a, 또는 n 접속과 같은 무선 접속일 수 있다. 일 실시형태에 따르면, 허브 컴퓨팅 시스템(12)은 통신 링크(436)를 통해 예를 들어 장면을 언제 캡처할지를 결정하는데 사용될 수 있는 캡처 장치(20A)에 클록을 제공할 수 있다. 또한, 캡처 장치(20A)는 예를 들어 3-D 카메라(426) 및/또는 RGB 카메라(428)에 의해 캡처된 시각(예를 들어, RGB) 이미지와 깊이 정보를 통신 링크(436)를 통해 허브 컴퓨팅 시스템(12)으로 제공한다. 일 실시형태에서, 깊이 이미지와 시각 이미지는 초당 30프레임으로 전송된다; 그러나, 다른 프레임 레이트가 사용될 수 있다. 허브 컴퓨팅 시스템(12)은 그 후, 예를 들어, 게임 또는 워드 프로세서와 같은 애플리케이션을 제어하거나 및/또는 아바타나 스크린상의 캐릭터를 동작시키기 위해 모델, 깊이 정보 및 캡처된 이미지를 생성 및 사용할 수 있다.

허브 컴퓨팅 시스템(12)은 깊이 이미지 처리 및 골격(skeletal) 추적 모듈(450)을 포함하는데, 이는 캡처 장치(20A)의 깊이 카메라 기능에 의해 검출가능한 하나 이상의 사람을 추적하기 위해 깊이 이미지를 이용한다. 깊이 이미지 처리 및 골격 추적 모듈(450)은 애플리케이션(452)에 추적 정보를 제공하는데, 애플리케이션은 비디오 게임, 생산성 애플리케이션, 통신 애플리케이션 또는 기타 소프트웨어 애플리케이션 등일 수 있다. 오디오 데이터 및 시각 이미지 데이터도 애플리케이션(452)과 깊이 이미지 처리 및 골격 추적 모듈(450)로 제공된다. 애플리케이션(452)은 추적 정보, 오디오 데이터 및 시각 이미지 데이터를 인식기(recognizer) 엔진(454)에 제공한다. 다른 실시형태에서, 인식기 엔진(454)은 깊이 이미지 처리 및 골격 추적 모듈(450)로부터 직접 추적 정보를 수신하고 캡처 장치(20A와 20B)로부터 직접 오디오 데이터와 시각 이미지 데이터를 수신한다.

인식기 엔진(454)은 캡처 장치(20A와 20B)에 의해 검출가능한 여하한 사람이나 객체에 의해 수행될 수 있는 제스처, 동작 또는 조건에 관한 정보를 각각 포함하는 필터(460, 462, 464, 466)의 집합과 연관된다. 예를 들어, 캡처 장치(20A)로부터의 데이터는 필터(460, 462, 464, 466)에 의해 처리되어 사용자 또는 사용자 그룹이 하나 이상의 제스처나 기타 동작을 수행한 때를 식별할 수 있다. 그들 제스처는 애플리케이션의 다양한 제어, 객체 또는 조건과 연관될 수 있다. 그러므로, 객체(사람 포함)의 움직임을 해석 및 추적하기 위해 허브 컴퓨팅 시스템(12)은 필터와 함께 인식기 엔진(454)을 이용할 수 있다.

캡처 장치(20A와 20B)는 RGB 이미지(또는 다른 포맷이나 색 공간의 시각 이미지)와 깊이 이미지를 허브 컴퓨팅 시스템(12)에 제공한다. 깊이 이미지는 복수의 관찰된 픽셀일 수 있는데, 여기서 각각의 관찰된 픽셀이 관찰된 깊이 값을 갖는다. 예를 들어, 깊이 이미지는 캡처된 장면의 2차원(2-D) 픽셀 영역을 포함할 수 있는데, 여기서 2-D 픽셀 영역 내 각각의 픽셀은 캡처 장치로부터 캡처된 장면 내 객체의 거리와 같은 깊이 값을 가질 수 있다. 허브 컴퓨팅 시스템(12)은 사용자나 객체의 움직임을 추적하기 위해 RGB 이미지와 깊이 이미지를 사용할 것이다. 예를 들어, 시스템은 깊이 이미지를 이용하여 사람의 골격을 추적할 것이다. 깊이 이미지를 이용하여 사람의 골격을 추적하는데 사용될 수 있는 많은 방법이 있다. 깊이 이미지를 이용하여 골격을 추적하는 한 가지 적당한 예는, 그 전체가 여기에 참조로 포함되는, Craig 등의 2009.10.21. 출원된 미국 특허 출원 12/603,437 "Pose Tracking Pipeline"(이하, '437 출원)에 제공된다. '437 출원의 프로세스는 깊이 이미지를 획득하는 것, 데이터를 다운 샘플링 하는 것, 고분산 잡음 있는(noisy) 데이터를 제거 및/또는 평활화(smmothing)하는 것, 배경을 식별 및 제거하는 것, 그리고 전경(foreground) 픽셀의 각각을 몸의 상이한 부분에 할당하는 것을 포함한다. 이들 단계에 기초하여, 시스템은 모델을 데이터에 맞추고 골격을 생성할 것이다. 골격은 관절의 세트와 관절 사이의 접속을 포함할 것이다. 다른 추적 방법도 사용될 수 있다. 적당한 추적 기술은 다음의 4개의 미국 특허 출원에도 개시되는데, 이들 모두는 그 전체가 여기에 참조로 포함된다:

2009.5.29. 출원 미국 특허 출원 12/475,308 "Device for Identifying and Tracking Multiple Humans Over Time,"; 2010.1.29. 출원 미국 특허 출원 12/696,282 "Visual Based Identity Tracking,"; 2009.12.18. 출원 미국 특허 출원 12/641,788 "Motion Detection Using Depth Images,"; 및 2009.10.7. 출원 미국 특허 출원 12/575,388 "Human Tracking System."

인식기 엔진(454)은 제스처나 동작을 결정하기 위해 다수의 필터(460, 462, 464, 466)를 포함한다. 필터는 제스처, 동작 또는 조건을 정의하는 정보와 함께 그 제스처, 동작 또는 조건에 대한 파라미터나 메타데이터를 포함한다. 예를 들어, 한 손이 몸의 뒤쪽에서 몸의 앞으로 지나가는 동작을 포함하는 던지기는, 그 움직임이 깊이 카메라에 의해 캡처되는 바와 같이, 사용자의 한 손이 몸의 뒤쪽에서 몸의 앞으로 지나가는 움직임을 나타내는 정보를 포함하는 제스처로 구현될 수 있다. 그러면, 그 제스처에 대해 파라미터가 설정될 수 있다. 제스처가 던지기이면, 파라미터는 손이 도달하여야 하는 문턱 속도, 손이 이동하는 거리(절대 거리 또는 전체로서 사용자의 크기에 대한 것) 및 제스처가 발생하였다는 인식기 엔진에 의한 신뢰도 레이팅일 수 있다. 제스처에 대한 이들 파라미터는 애플리케이션 사이에서, 단일 애플리케이션의 맥락 사이에서, 또는 하나의 애플리케이션의 하나의 맥락에서 시간에 걸쳐 변할 수 있다.

필더는 모듈러(modular) 또는 상호교체가능한(interchangeable) 것일 수 있다. 일 실시형태에서, 필터는 다수의 입력(이들 입력 각각은 유형을 가짐) 및 다수의 출력(이들 출력 각각은 유형을 가짐)을 갖는다. 제1 필터는, 인식기 엔진 아키텍처의 여하한 다른 측면을 변경함이 없이 제1 필터와 동일한 개수와 유형의 입력과 출력을 갖는 제2 필터로 대체될 수 있다. 예를 들어, 입력으로서 골격 데이터를 취하고 필터와 연관된 제스처가 일어나고 있다는 신뢰도와 스티어링 각도를 출력하는, 구동을 위한 제1 필터가 있을 수 있다. 이 제1 구동 필터를 제2 구동 필터로 대체하고 싶은 경우- 아마 제2 구동 필터가 더 효율적이고 더 적은 처리 자원을 요구하기 때문일 것이다-, 제2 필터가 그들 동일한 입력과 출력-골격 데이터 유형의 하나의 입력과, 신뢰도 유형과 각도 유형의 2개의 출력-을 갖는 이상 제2 필터로 제1 필터를 단순히 대체하여 그렇게 할 수 있다.

필터는 파라미터를 가질 필요는 없다. 예를 들어, 사용자의 키를 반환하는 "사용자 키" 필터는 조정될 수 있는 여하한 파리미터도 허용하지 않을 수 있다. 다른 "사용자 키" 필터는 조정 가능한 파라미터-사용자의 키를 결정하는데 사용자의 신발, 머리모양, 머리 의상 및 자세를 고려할지 여부에 관한 것 등-를 가질 수 있다.

필터로의 입력은 사용자의 관절 위치에 관한 관절 데이터, 관절에서 만나는 뼈에 의해 형성된 각도, 장면으로부터의 RGB 색 데이터, 및 사용자의 방향의 변화율과 같은 것을 포함할 수 있다. 필터로부터의 출력은 주어진 제스처가 이루어지고 있다는 신뢰도, 제스저 움직임이 이루어지는 속도, 및 제스처 움직임이 이루어지는 시간과 같은 것을 포함할 수 있다.

인식기 엔진(454)은 필터에 기능성을 제공하는 기본 인식기 엔진을 가질 수 있다. 일 실시형태에서, 인식기 엔진(454)이 구현하는 기능성은 인식된 제스처와 기타 입력을 추적하는 인풋-오버-타임(input-over-time) 아카이브, 히든 마르코프 모델(Hidden Markov Model) 구현(여기서 모델링된 시스템은 미지의 파라미터를 갖는 마르코프 프로세스-현재 상태가 미래 상태를 결정하기 위해 필요한 여하한 과거 상태 정보를 포함(encapsulate)하여, 이 목적을 위해서는 다른 과거 상태 정보가 유지될 필요가 없는 것-라고 가정되고 숨겨진 파라미터들은 관측가능한 데이터로부터 결정됨) 뿐만 아니라 기타 제스처 인식의 특정 인스턴스를 해결하기 위한 다른 기능성을 포함한다.

필터(460, 462, 464, 466)는 인식기 엔진(454)의 위에서 로딩되고 구현되며, 모든 필터(460, 462, 464, 466)로 인식기 엔진(454)에 의해 제공되는 서비스를 이용할 수 있다. 일 실시형태에서, 인식기 엔진(454)은 여하한 필터(460, 462, 464, 466)의 요건을 만족하는지 여부를 판단하기 위해 데이터를 수신한다. 입력을 파싱하는 것과 같은 이들 제공된 서비스는 각각의 필터(460, 462, 464, 466)가 아니라 인식기 엔진(454)에 의해 한번 제공되므로, 이러한 서비스는 소정 시간 기간에 대해 필터당 한번이 아니라 그 기간 내에 한번의 처리만이 필요하고, 그래서 제스처를 결정하는데 사용되는 처리가 감소된다.

애플리케이션(452)은 인식기 엔진(454)에게 제공된 필터(460, 462, 464, 466)를 사용할 수 있거나, 인식기 엔진(454)으로 연결되는 그 자신의 필터를 제공할 수 있다. 일 실시형태에서, 모든 필터는 이 플러그인 특성을 가능하게 하기 위한 공통 인터페이스를 갖는다. 또한, 모든 필터는 파라미터를 이용할 수 있어서, 전체 필터 시스템을 디버깅하고 조정하는데 아래의 단일한 제스처 도구가 이용될 수 있다.

인식기 엔진(454)에 대한 추가의 정보는 그 전체가 여기에 참조로 포함되는 2009.4.13 출원된 미국 특허 출원 12/422,661 "Gesture Recognizer System Architecture"에서 찾을 수 있다. 제스처 인식에 대한 추가의 정보는 2009.2.23. 출원 미국 특허 출원 12/391,150 "Standard Gestures," 및 2009.5.29. 출원 미국 특허 출원 12/474,655 "Gesture Tool"에서 찾아볼 수 있는데, 이들 모두는 그 전체가 여기에 참조로 포함된다.

도 7은 허브 컴퓨팅 시스템(12)을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 예시적인 실시형태를 도시한다. 도 7에 도시된 바와 같이, 멀티미디어 콘솔(500)은 레벨 1 캐시(502), 레벨 2 캐시(504) 및 플래시 ROM(Read Only Memory)(506)을 갖는 중앙 처리 유닛(CPU)(501)를 갖는다. 레벨 1 캐시(502)와 레벨 2 캐시(504)는 일시적으로 데이터를 저장하고 그에 따라 메모리 액세스 사이클의 수를 감소시켜, 그에 의해 처리 속도와 스루풋을 개선한다. 하나 보다 많은 코어를 갖는, 따라서, 추가의 레벨 1 및 레벨 2 캐시(502와 504)를 갖는 CPU(501)가 제공될 수 있다. 플래시 ROM(506)은 멀티미디어 콘솔(500)의 전원이 켜질 때 부팅 프로세스의 초기 페이즈 동안 로딩되는 실행가능 코드를 저장할 수 있다.

그래픽 처리 유닛(GPU)(508) 및 비디오 인코더/비디오 코덱(코더/디코더)(514)는 고속 및 고 해상도 그래픽 처리를 위한 비디오 처리 파이프라인을 형성한다. 데이터는 버스를 통해 그래픽 처리 유닛(508)으로부터 비디오 인코더/비디오 코덱(514)으로 운반된다. 비디오 처리 파이프라인은 텔레비전이나 다른 디스플레이로의 송신을 위해 데이터를 A/V(오디오/비디오) 포트(540)로 출력한다. 메모리 제어기(510)는 RAM(Random Access Memory)과 같은, 그러나 이에 제한되지 않는 다양한 유형의 메모리(512)로의 프로세서 액세스를 용이하게 하기 위해 GPU(508)에 접속된다.

멀티미디어 콘솔(500)은, 바람직하게는 모듈(518) 상에서 구현되는, I/O 제어기(520), 시스템 관리 제어기(522), 오디오 처리 유닛(523), 네트워크 인터페이스 제어기(524), 제1 USB 호스트 제어기(526), 제2 USB 제어기(528) 및 전면 패널 I/O 서브어셈블리(530)를 포함한다. USB 제어기(526과 528)는 주변 제어기((542(1)-542(2))), 무선 어댑터(548) 및 외부 메모리 장치(546)(예를 들어, 플래시 메모리, 외부 CD/DVD ROM 드라이버, 제거가능(removable) 매체 등)을 위한 호스트로서 기능한다. 네트워크 인터페이스(524) 및/또는 무선 어댑터(548)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)로의 액세스를 제공하고, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 다양한 유선이나 무선 어댑터 컴포넌트의 광범위한 것 중 여하한 것일 수 있다.

시스템 메모리(543)는 부팅 프로세스 동안 로딩되는 애플리케이션 데이터를 저장하기 위해 제공된다. 미디어 드라이브(544)가 제공되고, DVD/CD 드라이브, 블루-레이 드라이브, 하드 디스크 드라이브 또는 기타 제거가능 미디어 드라이브 등을 포함할 수 있다. 미디어 드라이브(144)는 멀티미디어 콘솔(500)의 내부 또는 외부에 있을 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(500)에 의한 실행, 재생 등을 위해 미디어 드라이브(544)를 통해 액세스될 수 있다. 미디어 드라이브(544)는 직렬 ATA 버스 또는 기타 고속 접속(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(520)에 접속된다.

시스템 관리 제어기(522)는 멀티미디어 콘솔(500)의 가용성을 확보하는 것과 관련된 다양한 서비스 기능을 제공한다. 오디오 처리 유닛(523)과 오디오 코덱(532)은 고충실도(high fidelity) 및 스테레오 처리를 갖는 대응하는 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 오디오 처리 유닛(523)과 오디오 코덱(532) 사이에서 통신 링크를 통해 운반된다. 오디오 처리 파이프라인은 오디오 기능을 갖는 외부 오디오 사용자나 장치에 의한 재생을 위해 A/V 포트(540)로 데이터를 출력한다.

전면 패널 I/O 서브어셈블리(530)는 전원 버튼(550)과 꺼냄 버튼(552) 뿐만 아니라 여하한 LED(발광 다이오드)나 기타 멀티미디어 콘솔(100)의 외면에 노출된 표시자의 기능을 지원한다. 시스템 전원 모듈(536)은 멀티미디어 콘솔(100)의 컴포넌트에 전원을 제공한다. 팬(538)은 멀티미디어 콘솔(500) 내의 회로를 냉각한다.

CPU(501), GPU(508), 메모리 제어기(510) 및 다양한 기타 멀티미디어 콘솔(500) 내의 컴포넌트는, 다양한 버스 아키텍처 중 여하한 것을 이용하는 직렬 및 병렬 버스, 메모리 버스, 주변 버스, 및 프로세서나 로컬 버스를 포함하는 하나 이상의 버스를 통해 상호접속된다. 예로서, 이러한 아키텍처는 PCI(Peripheral Component Interconnects) 버스, PCI-Express 버스 등을 포함할 수 있다.

멀티미디어 콘솔(500)의 전원이 켜지는 때에, 애플리케이션 데이터는 시스템 메모리(543)로부터 메모리(512) 및/또는 캐시(502, 504)로 로딩되고 CPI(501) 상에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(500) 상에서 사용가능한 상이한 미디어 유형을 탐색하는 때에 일관적인 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제시할 수 있다. 동작에 있어, 애플리케이션 및/또는 미디어 드라이브(544)에 포함된 미디어는 멀티미디어 콘솔(500)에 추가의 기능성을 제공하기 위해 미디어 드라이브(544)로부터 론칭 또는 재생될 수 있다.

멀티미디어 콘솔(500)은 단순히 시스템을 텔레비전이나 기타 디스플레이에 접속함으로써 독립 시스템으로 동작될 수 있다. 이 독립 모드에서, 멀티미디어 콘솔(500)은 하나 이상의 사용자가 시스템과 상호작용하거나, 영화를 보거나, 음악을 들을 수 있게 한다. 그러나, 네트워크 인터페이스(524)나 무선 어댑터(548)을 통해 사용가능하게 된 브로드밴드 접속의 통합으로, 멀티미디어 콘솔(500)은 더 큰 네트워크 커뮤니티의 참가자로서 더 동작될 수 있다. 또한, 멀티미디어 콘솔(500)은 무선 어댑터(548)를 통해 처리 유닛과 통신할 수 있다.

멀티미디어 콘솔(500)의 전원이 켜지는 때에, 하드웨어 자원의 설정된 양은 멀티미디어 콘솔 운영 체제에 의한 시스템 사용을 위해 유보된다. 이들 자원은 메모리, CPU 및 GPU 사이클, 네트워크 대역폭 등의 유보를 포함할 수 있다. 이들 자원이 시스템 부팅 시간에 유보되기 때문에, 유보된 자원은 애플리케이션의 관점에서는 존재하지 않는다. 특히, 메모리 유보는 바람직하게는 론치 커널, 동시 시스템 애플리케이션 및 드라이버를 포함하도록 충분히 크다. CPU 유보는 바람직하게는 일정하여, 유보된 CPU 사용이 시스템 애플리케이션에 의해 사용되지 않으면 유휴 스레드(thread)가 사용되지 않는 사이클을 소비할 것이다.

GPU 유보에 관련하여, 시스템 애플리케이션에 의해 생성된 가벼운 메시지(예를 들어, 팝업)은 팝업을 오버레이로 렌더링하기 위해 스케줄 코드로의 GPU 인터럽트를 이용하여 표시된다. 오버레이를 위해 필요한 메모리의 양은 오버레이 영역 크기에 의존하고, 오버레이는 바람직하게는 스크린 해상도에 스케일링된다. 완전한 사용자 인터페이스가 동시 시스템 애플리케이션에 의해 사용되는 경우, 애플리케이션 해상도와 독립적인 해상도를 사용하는 것이 바람직하다. 주파수를 변화시키고 TV 재동기화를 유발할 필요가 없도록 이 해상도를 설정하는데 스케일러가 사용될 수 있다.

멀티미디어 콘솔(500)이 부팅되고 시스템 자원이 유보된 후에, 동시 시스템 애플리케이션이 시스템 기능성을 제공하기 위해 실행된다. 시스템 기능성은 상술한 유보된 시스템 자원 내에서 실행되는 시스템 애플리케이션의 세트 내에 포함된다. 운영 체제 커널은 시스템 애플리케이션 스레드인 스레드를 게임 애플리케이션 스레드에 대해 식별한다. 애플리케이션에 일관적인 시스템 자원 뷰를 제공하기 위해 시스템 애플리케이션은 바람직하게는 사전결정된 시간과 인터벌로 CPU(50) 상에서 실행되도록 스케줄된다. 스케줄링은 콘솔에서 실행되는 게임 애플리케이션에 대한 캐시 붕괴(disruption)를 최소화하는 것이다.

동시 시스템 애플리케이션이 오디오를 필요로 하는 경우, 시간 민감성 때문에 오디오 처리가 게임 애플리케이션에 비동기적으로 스케줄된다. 멀티미디어 콘솔 애플리케이션 관리자(후술)는 시스템 애플리케이션이 활성인 때에 게임 애플리케이션 오디오 레벨(예를 들어, 묵음(mute), 약음(attenuate))을 제어한다.

선택적인 입력 장치(예를 들어, 제어기 542(1)) 및 542(2))는 게임 애플리케이션과 시스템 애플리케이션에 의해 공유된다. 입력 장치는 유보된 자원이 아니지고, 각각이 장치의 초점을 갖도록 시스템 애플리케이션과 게임 애플리케이션 사이에서 전환되는 것이다. 애플리케이션 관리자는 바람직하게는 게임 애플리케이션의 지식을 알지 못하고 입력 스트림의 전환을 제어하고 드라이버는 초점 전환에 대한 상태 정보를 유지한다. 캡처 장치(20A와 20B)는 USB 제어기(526)나 기타 인터페이스를 통해 콘솔(500)에 대한 추가의 입력 장치를 정의할 수 있다. 다른 실시형태에서, 허브 컴퓨팅 시스템(12)은 다른 하드웨어 아키텍처를 이용하여 구현될 수 있다. 하나의 하드웨어 아키텍처가 요구되지 않는다.

도 4, 5, 6 및 7에 도시된 예시적 컴퓨터 시스템은 컴퓨터 판독가능 저장 매체의 예를 포함한다. 이러한 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈이나 기타 데이터와 같은 정보의 저장을 위한 여하한 방법이나 기술로 구현되는 휘발성 및 비휘발성, 제거가능 및 비제거가능 매체를 포함할 수 있다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk)나 기타 광 디스크 저장소, 메모리 스틱이나 카드, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 기타 자기 저장 장치, 또는 희망 정보를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 여하한 기타 매체를 포함하지만 이에 제한되지 않는다. 도면 내 컴퓨터 판독가능 매체의 일부 예는 도 4의 메모리(214), 도 5의 플래시 메모리(334), 메모리(330), RAM(326) 및 캐시(324), 도 6의 메모리(434), ROM(506), 캐시(502, 504), 메모리(512), 시스템 메모리(543), 메모리 유닛(546) 및 미디어 드라이브(544)를 포함한다.

도 1은 하나의 허브 컴퓨팅 장치(12)(허브라고 지칭함)와 통신하는 하나의 헤드 마운티드 디스플레이 장치(2)와 처리 유닛(4)(전체적으로 이동 디스플레이 장치라고 지칭함)를 도시한다. 다른 실시형태에서, 다수의 이동 디스플레이 장치가 단일의 허브와 통신할 수 있다. 이동 디스플레이 장치 각각은 상술한 바와 같이 무선 통신을 이용하여 허브와 통신할 것이다. 이러한 실시형태에서, 모든 이동 디스플레이 장치에게 유용한 많은 정보가 허브에서 계산 및 저장되고 이동 디스플레이 장치 각각으로 전송되는 것이 고려된다. 예를 들어, 허브는 환경의 모델을 생성하고 허브와 통신하는 모든 이동 디스플레이에게 그 모델을 제공한다. 또한, 허브는 이동 디스플레이 장치와 방안의 움직이는 객체의 위치와 방향을 추적하고, 그 후 이동 디스플레이 장치 각각에 그 정보를 전달할 수 있다.

다른 실시형태에서, 사용자에 대해 초점이 맞는 가상 컨텐츠의 초점을 변화시킬 수 있는 다수-사용자 시스템은 다수의 허브를 가질 수 있는데, 각각의 허브는 하나 이상의 이동 디스플레이 장치를 포함한다. 허브는 인터넷(또는 기타 네트워크)를 통해 또는 직접 서로 통신할 수 있다. 예를 들어, 도 8은 허브(560, 562 및 564)를 도시한다. 허브(560)는 허브(562)와 직접 통신한다. 허브(560)는 인터넷을 통해 허브(564)와 통신한다. 허브(560)는 이동 디스플레이 장치(570, 572, ..., 574)와 통신하였다. 허브(562)는 이동 디스플레이 장치(578, 580,..., 582)와 통신한다. 허브(564)는 이동 디스플레이 장치(584, 586,..., 588)와 통신한다. 각각의 이동 디스플레이 장치는 상술한 바와 같이 무선 통신을 통해 그들 각각의 허브와 통신한다. 이들 허브가 공통 환경에 있는 경우, 허브 각각은 환경의 모델의 일부를 제공할 수 있거나, 하나의 허브가 다른 허브를 위한 모델을 생성할 수 있다. 각각의 허브는 움직이는 객체의 부분집합을 추적하고 그 정보를 다른 허브와 공유하는데, 이는 다시 적당한 이동 디스플레이 장치와 정보를 공유할 것이다. 이동 디스플레이 장치를 위한 센서 정보는 그들 각각의 허브에 제공되고 그 후 다른 이동 디스플레이 장치와의 최종 공유를 위해 다른 허브에 공유된다. 그러므로, 허브 사이에 공유되는 정보는 골격 추적, 모델에 대한 정보, 애플리케이션의 다양한 상태 및 기타 추적을 포함할 수 있다. 허브와 그들 각각의 이동 디스플레이 장치 사이에서 통신되는 정보는 움직이는 객체의 추적 정보, 세계 모델에 대한 상태 및 물리 갱신, 지오메트리 및 텍스처 정보, 비디오 및 오디오, 그리고 기타 여기 설명된 동작을 수행하기 위해 사용되는 정보를 포함한다.

도 9는 사용자가 볼 때 가상 객체를 초점이 맞게 표시하기 위한 상술한 컴포넌트에 의해 수행되는 프로세스의 일 실시형태를 설명하는 흐름도이다. 단계 602에서, 시스템이 구성된다. 예를 들어, 애플리케이션(예를 들어, 도 6의 애플리케이션(452))은 특정 가상 이미지(가상 객체를 나타냄)가 지정된 위치에서 장면의 3차원 모델로 삽입되어야 함을 나타내도록 시스템을 구성할 수 있다. 빈 방을 가상 현실로 바꾸기 위해 빈 방이 가상 객체로 채워지는 예를 고려하자. 다른 예에서, 허브 컴퓨팅 시스템(12) 상에서 실행되는 애플리케이션은 특정 가상 이미지(가상 객체를 나타냄)가 비디오 게임이나 기타 프로세스의 일부로서 장면에 삽입되어야 함을 나타낼 것이다.

단계 604에서, 시스템은 헤드 마운티드 디스플레이 장치(2)가 위치되는 공간의 부피(volumetric) 모델을 생성할 것이다. 일 실시형태에서, 예를 들어, 허브 컴퓨팅 장치(12)는 헤드 마운티드 디스플레이 장치(2)가 위치되는 환경이나 공간의 3차원 모델을 생성하기 위해 하나 이상의 깊이 카메라로부터의 깊이 이미지를 사용할 것이다. 단계 606에서, 그 모델은 하나 이상의 객체로 분할된다. 예를 들어, 허브 컴퓨팅 장치(12)가 방의 3차원 모델을 생성하면, 그 방은 그 안에 다수의 객체를 가질 확률이 높다. 방에 있을 수 있는 객체의 예는, 사람, 의자, 테이블, 소파(couch) 등을 포함한다. 단계606는 서로 구별되는 객체를 결정하는 단계를 포함한다. 단계 608에서, 시스템은 객체를 식별할 것이다. 예를 들어, 허브 컴퓨팅 장치(12)는 특정 객체가 테이블이고 다른 객체가 의자임을 식별할 수 있다. 단계 610에서, 시스템은 사용자가 보는 때에 초점이 맞도록 가상 객체를 표시할 것이다. 가상 객체는, 그것이 시스루 렌즈, 예를 들어 116, 118을 통해 실제로 직접 보이는 실제 객체인 것처럼 초점이 맞게 나타난다. 즉, 시스템은 사용자가 헤드 마운티드 디스플레이 장치(2)를 통해 보는 동안 사용자가 보고 있는 초점 깊이에서 사용자의 시야에 가상 이미지를 표시한다. 그러므로, 가상 이미지는 디스플레이를 통해 물리적 환경의 적어도 일부를 실제로 직접 볼 수 있도록 하는 디스플레이 장치 상에 그 실제 세계 위치에서 나타날 것이다. 가상 객체는 정지 객체 또는 움직이는 객체일 수 있다. 단계 612에서, 헤드 마운티드 디스플레이 장치(2)의 사용자는 헤드 마운티드 디스플레이 장치(2)에 표시되고 있는 가상 객체에 기초하여 허브 컴퓨팅 시스템(12) (또는 다른 컴퓨팅 장치)에서 실행되는 애플리케이션과 상호작용할 것이다. 각 단계 604-610는 아래에 더 상세하기 설명될 것이다.

도 10은 공간의 3차원 모델을 생성하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 10의 프로세스는 도 9의 단계 604의 일 예시적 구현이다. 단계 640에서, 허브 컴퓨팅 시스템(12)은 헤드 마운티드 디스플레이 장치(2)가 있는 공간의 다수의 시점에 대한 하나 이상의 깊이 이미지를 수신한다. 예를 들어, 허브 컴퓨팅 장치(12)는 다수의 깊이 카메라로부터 깊이 이미지를 획득하거나, 모델이 구축될 공간의 전체 보기를 허용하는 렌즈를 갖는 깊이 카메라를 이용하거나 카메라를 상이한 방향으로 향하게 함으로써 동일한 카메라로부터 다수의 깊이 이미지를 획득할 수 있다. 단계 642에서, 다양한 깊이 이미지로부터의 깊이 데이터는 공통 좌표계에 기초하여 결합된다. 예를 들어, 이 시스템이 깊이 이미지를 다수의 카메라로부터 수신하면, 시스템은 공통 좌표계를 갖도록 2개의 이미지를 상관시킬 것이다(예를 들어, 이미지 정렬). 단계 644에서, 공간의 부피(volumetric) 설명이 깊이 데이터를 이용하여 생성된다. 단계 646에서, 시스템은 방에서 움직이는 사람과 같은 움직이는 객체를 검출 및 추적할 것이다. 사람 추적에 대한 세부사항은 앞에서 설명되었다. 단계 648에서, 공간의 부피 설명이 움직이는 객체의 추적에 기초하여 갱신된다. 단계 646와 648은 움직이는 객체를 고려하여 모델이 계속하여 갱신되도록 시스템의 동작 동안에 계속하여 수행될 수 있다. 다른 실시형태에서, 모델은 정지 객체에 대한 정보만을 포함할 것이고 움직이는 객체는 별도로 추적된다.

도 11은 공간의 모델을 객체로 분할하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 11의 프로세서는 도 9의 단계 606의 일 예시적인 구현이다. 도 11의 단계 680에서, 시스템은 상술한 바와 같이 하나 이상의 깊이 카메라로부터 하나 이상의 깊이 이미지를 수신할 것이다. 다르게는, 시스템은 이미 수신한 하나 이상의 깊이 이미지에 액세스할 수 있다. 단계 682에서, 시스템은 하나 이상의 시각 이미지를 상술한 카메라로부터 수신할 것이다. 다르게는, 시스템은 이미 수신한 하나 이상의 시각 이미지에 액세스할 것이다. 단계 684에서, 허브 컴퓨팅 시스템은 깊이 이미지 및/또는 시각 이미지에 기초하여 하나 이상의 사람을 검출할 것이다. 예를 들어, 시스템은 하나 이상의 골격을 인식할 것이다. 단계 686에서, 허브 컴퓨팅 장치는 깊이 이미지 및/또는 시각 이미지에 기초하여 모델 내의 에지를 검출할 것이다. 단계 688에서, 허브 컴퓨팅 장치는 서로 구별되는 객체를 식별하기 위해 검출된 에지를 이용할 것이다. 예를 들어, 에지는 객체 사이의 경계라고 가정한다. 단계 690에서, 도 10의 프로세스를 이용하여 생성된 모델은 모델의 어떤 부분이 상이한 객체와 연관되는지를 보여주기 위해 갱신될 것이다.

도 12는 객체를 식별하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 12의 프로세스는 도 9의 단계 608의 일 예시적 구현이다. 단계 710에서, 허브 컴퓨팅 장치(12)는 식별된 사람을 사용자 정체(identity)에 매칭할 것이다. 예를 들어, 시스템은 객체의 검출된 이미지에 매칭될 수 있는 시각적 이미지를 갖는 사용자 프로파일을 가질 수 있다. 다르게는, 사용자 프로파일은 깊이 이미지나 시각 이미지에 기초하여 매칭될 수 있는 사람의 특성을 설명할 수 있다. 다른 실시형태에서, 사용자는 시스템에 로그인할 수 있고 허브 컴퓨팅 장치(12)는 특정 사용자를 식별하고 여기에 설명된 상호작용 동안에 그 사용자를 추적하기 위해 로그인 프로세스를 이용할 수 있다. 단계 712에서, 허브 컴퓨팅 장치(12)는 모양의 데이터베이스에 액세스할 것이다. 단계 714에서, 허브 컴퓨팅 장치는 데이터베이스 내 모양에 가능한 많은 모델 내 객체를 매칭할 것이다. 단계 716에서, 매칭되지 않은 모양은 강조되고 (예를 들어, 모니터(16)를 사용하여) 사용자에게 표시될 것이다. 단계 718에서, 허브 컴퓨팅 장치(12)는 강조된 모양 각각 (또는 그 부분집합)을 식별하는 사용자 입력을 수신할 것이다. 예를 들어, 사용자는 식별되지 않은 각각의 모양이 무엇인지 나타내기 위해 키보드, 마우스, 음성(speech) 입력 또는 기타 유형의 입력을 이용할 수 있다. 단계 720에서, 모양의 데이터베이스는 단계 718의 사용자 입력에 기초하여 갱신된다. 단계 722에서, 단계 604에서 생성되고 단계 606에서 갱신된 환경의 모델은 객체 각각에 대한 메타데이터를 부가함으로써 더 갱신된다. 메타데이터는 객체를 식별한다. 예를 들어 메타데이터는 특정 객체가 둥글고 반짝이는 테이블, 사람(John Doe), 녹색 가죽 소파 등임을 나타낼 수 있다.

도 13은 사용자가 시스루 디스플레이를 통해 보는 때에 가상 객체를 초점이 맞는 것으로 표시하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 13의 프로세스는 도 9의 단계 610의 일 예시적 구현이다. 도 13의 단계 950에서, 시스템은 사용자의 시야를 결정한다. 즉, 시스템은 사용자가 환경 또는 공간의 어떤 부분을 보고 있는지를 결정한다. 일 실시형태에서, 이는 허브 컴퓨팅 장치(12), 처리 유닛(4) 및 헤드 마운티드 디스플레이 장치(2)를 이용한 협업이다. 일 예시적 구현에서, 허브 컴퓨팅 장치(12)는 헤드 마운티드 디스플레이 장치(2)의 위치와 방향에 대한 사전 결정을 제공하기 위해 사용자와 헤드 마운티드 디스플레이 장치(2)를 추적한다. 헤드 마운티드 디스플레이 장치(2) 상의 센서가 결정된 방향을 교정하는데 사용될 것이다. 예를 들어, 상술한 관성 센서(34)가 헤드 마운티드 디스플레이 장치(2)의 방향을 교정하는데 사용될 수 있다. 또한, 사용자가 구체적으로 보고 있는 곳, 다르게는 시야 내 사용자 초점 영역 또는 깊이 초점으로 알려진 곳에 대응하는 초기에 결정된 시야의 부분집합을 식별하는데 상술한 눈 추적 프로세스가 사용될 수 있다. 세부 내용은 도 14, 15 및 16에 대해 후술할 것이다.

가상 객체의 유형 및 사용자 시야 내 그 위치는 디폴트 파라미터, 사용자 입력 또는 양자의 결합에 기초하여 애플리케이션(452)에 의해 결정된다. 예를 들어, 사용자는 그가 애플리케이션(452)을 실행하고 있는 방의 커피 테이블의 실제 세계 객체가 바위(boulder)처럼 보이도록 선택하였을 수 있다. 가상 바위의 타겟 위치는 3차원 모델 내 커피 테이블의 위치에 관련될 것이다. 다른 예에서, 가상 돌고래가 방을 헤엄치도록 사용자에 의해 선택될 수 있다. 가상적으로 방 주변의 돌고래의 움직임은 돌고래에 대한 타겟 위치가 각 디스플레이 프레임에서 갱신되는 돌고래 객체의 궤적에 의해 구현될 수 있다. 사용자가 바위를 바라보는 경우에도, 일반적으로 사용자의 초점 영역과 시야의 안팎으로 돌고래가 들어오가 나갈 수 있을 것이다. 사용자가 그 또는 그녀의 눈이나 머리를 움직임에 따라, 사용자 시야와 현재 초점 영역은 이들 움직임으로 또한 갱신되고 있다. 하나 이상의 가상 객체는 여하한 주어진 시간에 사용자 초점 영역과 사용자 시야에 위치될 수 있다.

위의 단계 950에서 시야를 결정한 후에, 시스템은 단계 952에서 사용자의 현재 시야에 가상 객체의 여하한 타겟 위치가 있는지 여부를 결정한다. 허브 컴퓨팅 장치(12)나 처리 유닛(4)과 같은 하나 이상의 컴퓨터 시스템에서 실행되는 소프트웨어는 시야 내 타겟 위치를 식별할 것이다. 일 실시형태에서, 허브 컴퓨팅 장치(12)는 처리 유닛(4)에 모델을 제공할 것이다. 단계 952의 일부로서, 처리 유닛(4)은 사용자의 시야 내에 여하한 가상 객체의 타겟 위치가 존재하는지 여부를 결정하기 위해 환경의 모델과 사용자의 위치 및 방향에 대한 지식을 이용할 것이다.

사용자의 현재 시야 내에 가상 객체가 없으면, 단계 966의 처리는 단계 950에서 사용자의 시야를 결정 및 갱신하는 것으로 돌아간다.

사용자의 시야 내에 타겟 위치를 갖는 적어도 하나의 가상 객체가 있으면, 단계 954에서, 처리 유닛(4)에서 실행되는 소프트웨어와 같은 시스템은 사용자의 시야 내에서 사용자의 현재 초점 영역을 결정한다. 도 15와 16에서 더 논의하는 바와 같이, 각 눈에 대한 눈 추적 카메라(134)에 의해 캡처되는 데이터에 기초한 눈 추적 처리는 사용자의 현재 초점 영역을 제공할 수 있다. 예를 들어, 안구 사이의 컨버전스(convergence)는 사용자의 얼굴 위치를 나타내는 데이터와 함께 초점 곡선, 호롭터 상의 초점으로 삼각측량(triangulate)하는데 사용될 수 있고, 그로부터 초점 영역, 패넘 융합 영역이 계산될 수 있다. 패넘 융합 영역은 사람의 눈에 의해 사용되는 양안 입체시(binocular stereopsis)에 대한 단일 비전의 영역이다.

단계 956에서, 허브 컴퓨팅 시스템(12), 처리 유닛(4) 또는 양자 모두에서 실행되는 소프트웨어는 모델 내 가상 객체의 타겟 위치에 기초하여 사용자 시야 내의 어떤 가상 객체가 현재 사용자 초점 영역에 있는지를 식별한다.

단계 958에서, 처리 유닛(4)은 사용자의 뷰로 삽입될 이미지에 대한 가상 객체를 스케일(scale) 및 지향(orient)할 것이다. 가상 이미지의 스케일과 지향은 시야 내 타겟의 위치와 모델에 기초한 가상 객체의 알려진 모양에 기초할 것이다.

단계 960에서, 처리 유닛(4), 제어 회로(136) 또는 양자 모두는 마이크로디스플레이 조립체의 초점 영역을 변경함으로써 현재 사용자 초점 영역에 각각의 식별된 가상 객체를 배치하기 위해 처리를 공유한다. 단계 962에서, 인공 시야 깊이 기술이 타겟 위치가 사용자의 시야 내에 있지만 사용자의 현재 초점 영역 밖에 있는 가상 객체에, 현재 초점 영역으로부터의 거리의 함수로서 적용된다. 인공 시야 깊이 기술의 일 예는 인공 블러 기술이다.

인공 블러는 초점 영역으로부터의 거리의 함수로서 초점이 맞지 않는 객체를 시뮬레이션하기 위해 시야 깊이 셰이더(shader)나 기타 가우스 블러 필터(Gaussian blur filteR)를 적용함으로서 달성될 수 있다. 이 기술은 전체적어로 또는 부분적으로 허브 컴퓨터(12), 처리 유닛(4) 또는 양자 모두에서 실행되는 소프트웨어에 의해 수행될 수 있다. 설명의 편의를 위해, 처리 유닛(4)을 참조할 것이다. 가상 객체의 타겟 위치의 부분으로서의 깊이 값으로부터, 이미지 내 객체의 초점 거리가 처리 유닛(4)에 의해 결정되는데, 처리 유닛(4)은 광가이드 광 요소(112)를 감싸는 것과 같은 디스플레이 요소(112) 상의 어떤 픽셀이 이미지 내 가상 객체로 매핑될지를 또한 결정한다. 초점 거리에 기초하여, 하나 이상의 가중 가우스 블러 필터가 적용되어, 초점 또는 이미지의 고정점으로부터 더 먼 픽셀에 적용되는 변환이 더 많은 블러 효과를 받도록 가우스 함수로 이미지를 컨볼루션함으로써(convolve), 적어도 2차원을 커버한다. 일 실시형태에서, 가우스 블러 필터는 고주파 정보를 제거하는 로패스 필터로 동작한다.

단계 964에서, 사용자 시야 내 가상 객체를 포함하는 가상 이미지가 표시된다. 일 예에서, 처리 유닛(4)은 사용자 시야 내 가상 객체를 포함하는 가상 이미지의 마이크로디스플레이(120) 상의 표시를 위해 제어 회로(136)의 디스플레이 드라이버(220)에 명령을 전송한다. 그러면 렌즈 시스템(122)은 마이크로디스플레이(120)로부터 수신된 가상 이미지를 사용자가 보도록 반사 표면(124)으로, 그리고 사용자의 눈을 향해 또는 광가이드 광 요소(112)로 투사한다. 일 구현에서, 헤드 마운티드 디스플레이 장치에서 사용자가 보고 있는 디스플레이(예를 들어, 광가이드 광 요소(112))는 픽셀로 나누어진다. 단계 964는 어떤 픽셀이 타겟 위치에 대응하는지를 판정하는 단계를 포함할 수 있고, 그들 픽셀은 단계 964에서 가상 이미지를 표시할 것이다. 불투명 필터(114)는 비현실적인 시각 효과를 방지하기 위해 사용될 수 있다. 예를 들어, 불투명 필터(114)는 배경 가상 객체가 전경 가상 객체를 통해 보이지 않도록 광가이드 광 요소(112) 내 픽셀로의 광을 수정할 수 있다. 처리는 단계 950으로 돌아가고 이 현실 디스플레이 시스템에서 다시 사용자 시야를 결정한다. 도 13의 처리 단계들은, 사용자 시야와 사용자 초점 영역이 사용자가 그 또는 그녀의 머리를 움직임에 따라 갱신되고 그에 따라 가상 객체가 사람에 대해 초점 안팎으로 자연스럽게 움직이는 것으로 표시될 수 있도록 시스템의 동작 동안 계속하여 수행될 수 있다.

도 16은 사용자의 시야를 결정하는 프로세스의 일 실시형태를 설명하는 흐름도인데, 이는 도 13의 단계 950의 예시적 구현이다. 도 16의 프로세스는 허브 컴퓨팅 장치(12)와 상술한 눈 추적 기술로부터의 정보에 의존한다. 도 14는 도 16의 프로세스에서 사용되는 추적 정보를 제공하기 위해 허브 컴퓨팅 시스템에 의해 수행되는 프로세스의 일 실시형태를 설명하는 흐름도이다. 도 15는 도 16의 눈 추적을 위한 프로세스의 일 실시형태를 설명하는 흐름도인데, 그 결과가 도 16의 프로세스에 의해 사용된다.

도 14의 단계 810에서, 허브 컴퓨팅 장치(12)는 사용자의 위치를 추적할 것이다. 예를 들어, 허브 컴퓨팅 장치(12)는 (예를 들어, 골격 추적을 이용하여) 사용자를 추적하기 위해 하나 이상의 깊이 이미지와 하나 이상의 시각 이미지를 사용할 것이다. 하나 이상의 깊이 이미지와 하나 이상의 시각 이미지는 단계 812에서 헤드 마운티드 디스플레이 장치(2)의 방향과 헤드 마운티드 디스플레이 장치(2)의 위치를 결정하는데 사용될 수 있다. 단계 814에서, 사용자와 헤드 마운티드 디스플레이 장치(2)의 위치와 방향은 허브 컴퓨팅 장치(12)로부터 처리 유닛(4)으로 전송된다. 단계 816에서, 위치와 방향 정보는 처리 유닛(4)에서 수신된다. 도 14의 처리 단계들은 사용자가 계속적으로 추적되도록 시스템의 동작 동안 계속적으로 수행될 수 있다.

도 15는 상술한 기술을 이용하여 눈을 추적하는 일 실시형태를 설명하는 흐름도이다. 단계 860에서, 눈이 조명된다. 예를 들어, 눈은 눈 추적 조명(144A)으로부터의 적외선 광을 이용하여 조명될 수 있다. 단계 862에서, 눈으로부터의 반사가 하나 이상의 눈 추적 카메라(134B)를 이용하여 검출된다. 단계 864에서, 반사 데이터가 헤드 마운티드 디스플레이 장치(2)로부터 처리 유닛(4)으로 전송된다. 단계 866에서, 처리 유닛(4)은 상술한 바와 같이 반사 데이터에 기초하여 눈의 위치를 결정할 것이다. 단계 878에서, 처리 유닛(4)은 반사 데이터에 기초하여 사용자의 눈이 보고 있는 초점 깊이 위치 또는 초점 영역을 또한 결정할 것이다. 단계 15의 처리 단계들은 사용자의 눈이 계속 추적되어 현재 사용자 초점 영역을 추적하기 위한 데이터를 제공하도록 시스템의 동작 동안 계속하여 수행될 수 있다.

도 16은 시야를 결정하는 프로세스(예를 들어, 도 13의 단계 950)의 일 실시형태를 설명하는 흐름도이다. 단계 902에서, 처리 유닛(4)은 허브로부터 수신된 최근 위치 및 방향 정보에 액세스할 것이다. 도 14의 프로세스는 단계 814로부터 단계 810으로의 화살표에 의해 도시된 바와 같이 연속적으로 수행될 수 있고, 따라서, 처리 유닛(4)은 허브 컴퓨팅 장치(12)로부터 갱신된 위치 및 방향 정보를 주기적으로 수신할 것이다. 그러나, 처리 유닛(4)은 허브 컴퓨팅 장치(12)로부터의 갱신된 정보를 수신하는 것보다 더 자주 가상 이미지를 그릴 필요가 있을 것이다. 그러므로, 처리 유닛(4)은 허브 컴퓨팅 장치(12)로부터의 샘플들 사이에서 방향에 대한 업데이트를 제공하기 위해 로컬로(예를 들어, 헤드 마운티드 장치(2)로부터) 감지된 정보에 의존할 필요가 있을 것이다. 단계 904에서, 처리 유닛(4)은 3축 자이로(132B)로부터의 데이터에 액세스할 것이다. 단계 906에서, 처리 유닛(4)은 3축 가속도계(132C)로부터의 데이터에 액세스할 것이다. 단계 908에서, 처리 유닛(4)은 3축 자기미터(132A)로부터의 데이터에 액세스할 것이다. 단계 910에서, 처리 유닛(4)은 자이로, 가속도계 및 자기미터로부터의 데이터로 허브 컴퓨팅 장치(12)로부터의 위치 및 방향 데이터를 교정(또는 달리 갱신)할 것이다. 단계 912에서, 처리 유닛(4)은 헤드 마운티드 디스플레이 장치로부터의 위치와 정보에 기초하여 잠재적 시야를 결정할 것이다.

단계 914에서, 처리 유닛(4)은 최근 눈 위치 정보에 액세스할 것이다. 단계 916에서, 처리 유닛(4)은 사용자가 보고 있는 모델의 부분을 눈 위치에 기초하여 잠재적 시야의 부분집합으로 결정할 것이다. 예를 들어, 사용자는 벽을 보고 있을 수 있고, 그러므로, 헤드 마운티드 디스플레이에 대한 시야는 벽을 따르는 여하한 위치를 포함할 수 있다. 그러나, 사용자의 눈이 오른쪽을 향하면, 단계 916은 사용자의 시야가 사용자가 벽의 오른쪽 부분만이라고 결정할 것이다. 단계 916의 결정에서, 처리 유닛(4)은 헤드 마운티드 디스플레이(2)를 통한 사용자의 시야를 결정하였다. 처리 유닛(4)은 시야 내 가상 객체의 타겟 위치를 식별할 수 있다. 단계 918에서, 처리 유닛(4)은 눈 위치에 기초하여 모델의 부분으로써 현재 사용자 초점 영역을 결정한다. 처리 유닛(4)은 현재 사용자 초점 영역 내에 있는 가상 객체의 모델에서 타겟 위치를 식별할 수 있다. 도 16의 처리 단계들은 사용자의 시야와 초점 영역이 사용자가 그 또는 그녀의 머리를 움직임에 따라 계속하여 갱신되고 그에 따라 가상 객체가 사람에 대해 초점 안팎으로 자연스럽게 움직이는 것으로 표시될 수 있도록 시스템의 동작 동안 계속하여 수행될 수 있다.

도 17a는 조립체의 적어도 하나의 렌즈를 변위함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 이 실시형태는 도 13의 단계 960을 구현하는데 사용될 수 있다. 설명의 맥락에서, 도 2a와 2b에 관해 전술한 마이크로디스플레이 조립체가 참조된다. 마이크로디스플레이 조립체는 렌즈 시스템(122)과 광 경로(133)에서 정렬된 마이크로디스플레이 유닛(120)을 포함하는데, 렌즈 시스템(122)은 마이크로디스플레이 유닛(120)으로부터 반사 요소(124) 또는 반사 요소(124a, 124b)로, 그리고 사용자의 눈이나 다른 광 요소(112)로 이미지 광을 시준한다. 마이크로디스플레이 조립체는 또한 선택 또는 결정된 초점 영역을 획득하기 위해 광 처리 요소 중 하나를 물리적으로 움직이기 위한 가변 가상 초점 조정기(135)를 포함한다.

도 3a-3d의 논의 전에, 마이크로디스플레이 조립체 변위와 초점 거리가 식1/S₁ + 1/S₂ = 1/f에 의해 관련된다. 단계 980에서, 처리 유닛(4)은 렌즈 시스템(122)의 전면 절점과 가상 객체의 타겟 위치 사이의 변위 값 S₁을 결정한다. 또한, 단계 982에서, 처리 유닛(4)은 위 식에 기초하여 렌즈 시스템의 초점 거리 f에 대한 반사 요소(124, 124a)와 렌즈 시스템의 후면 절점 사이의 변위 값 S₂을 결정한다. 처리 유닛(4)은 단계 984에서 제어 회로(136)의 프로세서가, 결정된 변위 값 S1과 S2를 생성하기 위해 렌즈 시스템의 적어도 하나의 렌즈를 물리적으로 움직이도록 가변 조정기 드라이버(237)가 가변 가상 초점 조정기(135)에 적어도 하나의 구동 신호를 인가하게 하도록 한다. 도 2a와 2b에 도시된 마이크로디스플레이 조립체 외에, 다른 구현은 도 3d의 삽입가능 렌즈 시스템 예를 이용하는 마이크로디스플레이 조립체이다. 움직임은, 배치되는 경우 렌즈에 대한 암(123)을 해제하고 광 경로(133)에서 렌즈를 잠그도록 결정된 변위로 렌즈에 대한 암(123)을 움직이는 것이다.

도 17b는 조립체의 적어도 하나의 렌즈의 편광을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 이 실시형태는 도 13의 단계 960을 구현하는데 사용될 수 있고, 도 3c에 도시된 것과 같은 마이크로디스플레이 조립체의 실시형태와 사용하기에 적당하다. 이 실시형태에서, 렌즈 시스템은 마이크로디스플레이(120)와 반사 요소(124(도 2a), 124a(도 2b)) 사이의 광 경로에 적어도 하나의 복굴절 렌즈를 포함한다. 단계 986에서, 처리 유닛(4)은 가상 객체의 타겟 위치와 식 1/S₁ + 1 /S₂ = 1/f에 기초하여 S₁에 대한 변위 값을 선택한다. 단계 988에서, 가변 조정기 드라이버(237)는 적어도 하나의 구동 신호를 인가하여, 선택된 S₁ 값을 생성하도록 복룰절 렌즈의 초점 거리 f를 변경하기 위해 가변 초점 조정기(135)가 적어도 하나의 복굴절 렌즈의 편광을 변경하도록 한다. 각각의 복굴절 렌즈가 2개의 편광 축에 대응하는 2개의 별개의 초점 거리를 갖고, 2개의 이러한 렌즈의 조합은 4개의 별개의 초점 거리의 선택을 부여한다. 그러므로, 소프트웨어의 제어 하에서, 처리 유닛(4) 또는 제어 회로(136)의 프로세서(210)는 f의 값에 근사하기 위한 최근 가용 초점 거리를 선택한다. 각각의 복굴절 렌즈의 부가에 대해, 별개의 초점 거리의 수는 배가된다.

도 17c는 조립체의 적어도 하나의 유체 렌즈의 곡률 반경을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 이 실시형태는 도 13의 단계 960를 구현하는데 사용될 수 있고 도 3b1과 3b2에 도시된 것과 같이 렌즈 시스템(122)에서 적어도 하나의 유체 렌즈를 사용하는 마이크로디스플레이 조립체의 실시형태와 사용하기에 적합하다. 단계 990에서, 처리 유닛(4)은 가상 객체의 타겟 위치와 식 1/S₁ + 1/S₂ = 1/f에 기초하여 S₁에 대한 변위값을 선택한다. 단계 992에서, 가변 조정기 드라이버(237)는 적어도 하나의 구동 신호를 인가하여, 가변 초점 조정기(135)가 유체 렌즈의 유체의 부피 변경을 유발하도록 하여, 선택된 S₁ 값을 생성하기 위해 그 초점 값 f을 변경하도록 곡률 반경의 변경을 유발한다.

도 13의 실시형태에서 언급한 바와 같이, 사용자에 시야에 있지만 사용자의 초점 영역에 있지 않은 가상 객체에 대해, 인공 블러 기술이 적용될 수 있다. 다른 실시형태에서, 상이한 초점 영역에서 이미지의 시리즈가 생성될 수 있다. 초점 또는 초점 영역의 범위에 걸쳐 움직이고 각각의 초점 영역에서 이미지를 표시함으로써, 사용자는 상이한 초점 영역 이미지의 레이어로 구성된 이미지를 보게 될 수 있다. 사용자가 그 또는 그녀의 초점을 재조정하는 때에, 사용자는 그들 영역 중 하나에 머무를 것이고, 나머지 영역의 가상 객체는 자연스럽게 흐려질 것이다. 초점 영역의 범위에서 스윕하는 것은 사전결정된 레이트 또는 빈도로 이루어질 수 있다. 이는, 사람의 시간적 이미지 융합이 그들이 모두 동시에 존재하는 것으로 보이게 하기에 충분히 빠르게 이루어진다. 렌저링 부하가 현저히 증가될 수 있지만, 인공 블러와 같은 인공 시야 깊이 기술의 필요성이 감소될 것이다.

초점 영역의 범위에 걸친 이동은 일 실시형태에서 마이크로디스플레이 조립체의 광 처리 요소들 사이의 변위나 조립체 내의 광 처리 요소의 광 전력을 소정 속도 레이트로 변경함으로써 구현될 수 있다. 이 속도 레이트는 적어도 초당 30 프레임(fps)의 프레임 레이트 정도일 수 있지만, 일부 실시형태에서 60, 120 또는 180Hz와 같은 더 높은 속도 레이트일 수 있다. 상이한 초점 영역에서 이미지를 제공하는 높은 속도 레이트에서 광축을 따라 변위되는 렌즈는 가끔 진동 렌즈 또는 발진(oscillating) 렌즈라고 지칭된다. 일부 예에서, 렌즈 시스템(122)이나 이미지 소스(120)이 아니라 이미지 영역, 예를 들어 반사 표면(124, 124a)이 움직이지만, 원리는 동일하다.

도 18a는 도 9의 단계 910를 구현하는데 사용될 수 있는 증강 현실 디스플레이에서 상이한 초점 영역에서 가상 객체 이미지를 생성하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 도 18a의 단계 1002에서, 허브 컴퓨팅 장치(12) 또는 처리 유닛(4)이나 양자 모두는 소프트웨어의 제어 하에서 도 13의 단계 950에서와 같이 사용자의 시야를 결정하고, 단계 1004에서 단계 952에서와 같이 사용자의 현재 시야 내에 가상 객체의 타겟 위치가 있는지 여부를 결정한다. 단계 966과 유사하게, 사용자의 현재 시야 내에 가상 객체가 없으면, 단계 1006의 처리는 단계 1002에서 사용자의 시야를 결정 및 갱신하는 것으로 돌아간다.

단계 958과 유사하게, 처리 유닛(4)은 단계 1012에서 사용자의 뷰로 삽입될 이미지에 대한 가상 객체를 스케일 및 지향할 것이다. 가상 이미지의 스케일과 지향은 시야 내 타겟의 위치와 모델에 기초한 가상 객체의 알려진 모양에 기초할 것이다.

단계 1016에서, 제어 회로의 타이밍 발생기(226)나 클록 발생기(244)에 의해 스윕 레이트 기간이 시작된다. 단계 1018에서, 스윕 기간 동안 범위 내 다수의 초점 영역을 통과하도록 카운터가 초기화된다. 일부 예에서, 초점 영역은 사전결정된다. 단계 1022에서, 스윕 기간의 각각의 시간스텝에서, 마이크로디스플레이 조립체의 요소의 초점 영역이 조정되고, 그 스윕시간 또는 시간단계에서 사용자에게 각각의 초점 영역에 대하여 이미지가 표시된다. 단계 1024에서 카운터를 증가시켜 다음 초점 영역이 선택되고, 단계 1020 내지 1024의 처리가 카운터가 범위 스윕이 종료되었음을 나타낼 때까지 반복된다. 단계 1028에서 스윕 기간이 종료된다. 다른 예에서, 디스플레이에 대한 프레임의 종료는 스윕 범위에 걸친 스윕을 인터럽트하고, 다음 프레임으로 다른 스윕이 시작한다.

일 실시형태에서, 초점 영역의 부분집합을 렌더링하고 어떤 초점 영역이 렌더링을 위해 선택되는지를 최적화하기 위해 사용자 초점 영역의 추적을 사용함으로써 렌더링 부하가 감소될 수 있다. 다른 예에서, 눈 추적 데이터는 사용자가 보고 있는 초점 위치의 깊이를 결정하는데 충분한 정확성을 제공하지 않는다. 추론 로직(inference logic)이 사용자가 초점을 맞추는 객체를 추론할 수 있다. 일단 객체가 초점 객체로 선택되면, 현재 장면의 3차원 모델 또는 매핑이 초점 객체까지의 거리를 결정하는데 사용될 수 있다.

도 18b는 도 9의 단계 910을 구현하는데 사용될 수 있는, 증강 현실 디스플레이를 보는 사용자가 보는 때에 가상 객체를 초점에 맞게 표시하는 프로세스의 다른 실시형태를 도시한다. 도 18b는 증강 현실 디스플레이에서 상이한 초점 영역에 가상 객체 이미지를 생성하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 도 18b의 단계 1002에서, 허브 컴퓨팅 장치(12) 또는 처리 유닛(4) 또는 양자 모두는 소프트웨어의 제어 하에서 도 13의 단계 950에서와 같이 사용자의 시야를 결정하고, 단계 1004에서 단계 952에서와 같이 사용자의 현재 시야에 가상 객체의 타겟 위치가 존재하는지 여부를 결정한다. 단계 966과 유사하게, 사용자의 현재 시야 내에 가상 객체가 없으면, 단계 1006의 처리는 단계 1002에서 사용자의 시야를 결정 및 갱신하는 것으로 돌아간다.

사용자의 현재 시야 내에 타겟 위치를 갖는 적어도 하나의 가상 객체가 있으면, 단계 954에서와 유사하게, 단계 1008에서, 처리 유닛(4)에서 실행되는 소프트웨어와 같은 시스템이 사용자의 시야 내에서 사용자의 현재 초점 영역을 결정하고, 단계 956에서와 유사하게, 허브 컴퓨터 시스템(12), 처리 유닛(4) 또는 양자 모두에서 실행되는 소프트웨어가 단계 1010에서 모델 내 가상 객체의 타겟 위치에 기초하여 사용자 시야 내의 어떤 가상 객체가 현재 사용자 초점 영역에 있는지를 식별한다. 단계 958에서와 유사하게, 처리 유닛(4)은 단계 1012에서 사용자의 뷰로 삽입될 이미지에 대한 가상 객체를 스케일 및 지향할 것이다. 가상 이미지의 스케일과 지향은 시야 내 타겟의 위치와 모델에 기초한 가상 객체의 알려진 모양에 기초할 것이다.

단계 1014에서, 처리 유닛(4)은 현재 사용자 초점 영역을 포함하는 초점 영역의 범위를 선택한다. 처리 유닛(4)은 실행 애플리케이션 예를 들어 452의 맥락과 같은 기준에 기초하여 초점 영역의 범위를 선택할 수 있다. 애플리케이션은 사전결정된 움직인 궤적과 그들의 등장을 트리거하는 이벤트와 함께 가상 객체의 선택을 이용할 수 있다. 객체의 모델이 객체의 움직임으로 갱신되면서, 처리 유닛(4)은 도 10의 논의와 같이 이들 업데이트를 수신한다. 업데이트 사이에서, 처리 유닛(4)은 그 시점에 그 또는 그녀가 어떤 가상 객체에 초점을 맞추고 있을 것인지를 결정하기 위해 사용자의 두부의 위치와 방향에 대한 센서 데이터를 이용할 수 있다. 장면의 3차원 모델에 기초하여 처리 유닛(4)은 가상 객체의 궤적이 움직일 다수의 초점 영역을 선택할 수 있다. 그러므로, 하나의 예시적 기준은 가상 객체가 위치되는 각각의 초점 영역을 포함시키는 것이다. 또한, 사전결정된 시간 프레임에 움직이는 가상 객체의 궤적이 존재할 초점 영역도 선택될 수 있다. 사전결정된 시간 프레임은 일 예에서 가상 객체의 정확한 위치를 나타내는 모델 데이터의 다음 갱신까지 일 수 있다.

초점 영역의 범위에 걸쳐 스윕하기 위한 시작 초점 영역 지점은 사용자 시야에서 사용자의 눈으로부터 무한대에 가장 가까운 지점일 수 있다. 그러나 다른 시작 위치가 사용될 수 있지만, 무한대에서 시작하는 것은 불투명 필터(114)의 적용을 단순화할 수 있다. 단계 1016에서, 스윕 레이트 기간은 제어 회로의 타이밍 발생기(226)나 클록 발생기(244)에 의해 시작된다. 단계 1018에서, 스윕 기간 동안 범위 내 다수의 초점 영역을 통과하도록 카운터가 초기화된다. 일부 예에서, 초점 영역은 사전결정된다. 단계 1022에서, 스윕 기간의 각각의 시간스텝에서, 마이크로디스플레이 조립체의 요소의 초점 영역이 조정되고, 그 스윕시간 또는 시간단계에서 사용자에게 각각의 초점 영역에 대하여 이미지가 표시된다. 단계 1024에서 카운터를 증가시켜 다음 초점 영역이 선택되고, 단계 1020 내지 1024의 처리가 카운터가 범위 스윕이 종료되었음을 나타낼 때까지 반복된다. 단계 1028에서 스윕 기간이 종료된다. 다른 예에서, 디스플레이에 대한 프레임의 종료는 스윕 범위에 걸친 스윕을 인터럽트하고, 다음 프레임으로 다른 스윕이 시작한다.

도 19a와 19b는 증강 현실 디스플레이에서 다초점 가상 객체를 표시하는 다른 방법의 개략적인 예를 도시한다. 도 19a에서, 4개의 이미지(1050a 내지 1050d)의 예는 마이크로디스플레이 조립체의 광 경로(133))에서 상이한 변위로 생성되는 상이한 초점 영역에서 생성되고, 모든 이미지는 광가이드 광 요소(112) 상에서의 표시를 위해 전송된다. 도 19b에서, 처리 유닛(4)은 그 초점 또는 이미지 영역에서 초점이 맞는 각각의 이미지의 섹션 또는 부분이 디스플레이(112) 상에서의 표시를 위한 혼합 이미지(1055)에 포함되도록 한다. 일 예에서 초점이 맞는 각각의 이미지의 섹션과 부분은, 그것이 생성된 때에 이미지 내에 가상 객체가 위치된 부분일 수 있다.

구조적 특징 및/또는 방법적 동작에 특유한 언어로 주제가 설명되었지만, 첨부된 청구범위에 정의된 주제는 상술한 구체적 특성이나 동작에 반드시 제한되는 것은 아님을 이해하여야 한다. 오히려, 상술한 구체적 특징과 동작은 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims

가상 객체의 가변 초점을 제공하는 증강 현실 디스플레이(augmented reality display)를 생성하는 방법으로서,
근안(near-eye) 디스플레이 장치를 이용하여 증강 현실 디스플레이 이미지에서 하나 이상의 가상 객체와 하나 이상의 실제 객체를 포함하는 장면을 보는 사용자의 3차원 시야를 결정하는 단계와,
상기 사용자의 상기 시야 내의 하나 이상의 가상 객체의 3차원 위치를 식별하는 단계와,
상기 시야 내의 상기 사용자의 3차원 현재 초점 영역을 결정하는 단계와,
상기 하나 이상의 가상 객체 중 어떤 것이 상기 사용자의 상기 현재 초점 영역에 있는지를 식별하는 단계와,
상기 근안 디스플레이 장치의 마이크로디스플레이 조립체의 상기 초점 영역을 조정함으로써 상기 증강 현실 디스플레이 이미지에서 상기 사용자의 상기 현재 초점 영역에 상기 하나 이상의 가상 객체를 배치하는 단계와,
적어도 하나의 가상 객체를 포함하는 이미지를 표시하는 단계를 포함하는
증강 현실 디스플레이 생성 방법.
제 1 항에 있어서,
상기 현재 초점 영역으로부터의 거리의 함수로서, 상기 사용자의 상기 시야 내에 있지만 상기 사용자의 상기 초점 영역 밖에 있는 가상 객체에 적어도 하나의 인공 시야 깊이(artificial depth of field) 기술을 적용하는 단계를 더 포함하는
증강 현실 디스플레이 생성 방법.
제 1 항에 있어서,
상기 근안 디스플레이 장치의 마이크로디스플레이 조립체의 상기 초점 영역을 조정함으로써 상기 증강 디스플레이 이미지에서 상기 사용자의 상기 현재 초점 영역에 상기 하나 이상의 가상 객체를 배치하는 상기 단계는 상기 마이크로디스플레이 조립체의 광 경로에서 변위(displacement)를 조정하는 단계를 포함하는
증강 현실 디스플레이 생성 방법.
제 3 항에 있어서,
상기 마이크로디스플레이 조립체는 상기 광 경로에서 반사 요소에 정렬되는 마이크로디스플레이 유닛과 적어도 하나의 광 요소를 포함하고,
상기 마이크로디스플레이 조립체의 상기 광 경로에서 변위를 조정하는 상기 단계는
마이크로디스플레이와 반사 요소 사이의 광 경로에 배치되는 적어도 하나의 광 요소의 전면 절점(front nodal point)과 적어도 하나의 가상 객체의 타겟 위치 사이의 변위 값 S₁을 결정하는 단계와,
식 1/S₁ + 1/S₂ = 1/f에 기초하여 적어도 하나의 렌즈의 초점 길이 f에 대한 상기 적어도 하나의 광 요소의 후면 절점과 상기 반사 요소 사이의 변위 값 S₂를 결정하는 단계와,
상기 결정된 변위 값 S₁과 S₂를 생성하기 위해 상기 적어도 하나의 광 요소를 움직이는 단계
를 더 포함하는
증강 현실 디스플레이 생성 방법.
가상 객체의 가변 초점을 제공하는 증강 현실 시스템으로서,
시스루(see-through) 디스플레이 유닛으로서,
상기 시스루 디스플레이 유닛의 표시를 위해 이미지를 생성하기 위한 마이크로디스플레이 조립체-상기 마이크로디스플레이 조립체는 반사 요소, 적어도 하나의 광 요소, 마이크로디스플레이 유닛 및 가변 가상 초점 조정기(adjuster)를 포함하고, 상기 적어도 하나의 광 요소와 상기 마이크로디스플레이 유닛은 광 경로에서 상기 반사 요소와 정렬되고, 상기 가변 가상 조정기는 사용자의 현재 초점 영역에 하나 이상의 가상 객체를 배치하기 위해 상기 마이크로디스플레이 조립체의 상기 초점 영역을 변경함-과,
상기 마이크로디스플레이 조립체에 통신가능하게 결합된 프로세서를 포함하는 제어 회로-상기 제어 회로는 상기 가변 가상 조정기를 제어하기 위한 드라이버를 포함하고, 상기 프로세서는 소프트웨어의 제어 하에서 현재 사용자 초점 영역에 적어도 하나의 가상 객체를 포함하도록 상기 마이크로디스플레이 유닛에게 지시(direct)함-과,
적어도 하나의 눈 위치로 지향되는 3차원 가상 이미지를 투사하기 위해 상기 마이크로디스플레이 조립체에 광학적으로(optically) 결합되는 디스플레이를 포함하는
시스루 디스플레이 유닛을 포함하는
증강 현실 시스템.
제 5 항에 있어서,
상기 마이크로디스플레이 조립체의 적어도 하나의 요소를 지지하는 외관(armature)을 더 포함하되, 상기 외관은 상기 가변 가상 조정기의 제어하에 있는
증강 현실 시스템.
제 5 항에 있어서,
상기 제어 회로는 상기 가변 가상 조정기를 제어하는 상기 드라이버에 레이트(rate)를 제공하기 위한 타이밍 발생기를 더 포함하고,
상기 가변 가상 조정기는 상기 마이크로디스플레이 조립체의 상기 광 경로에서 변위의 범위에 걸쳐 상기 레이트로 스위핑(sweeping)하고-상기 변위의 범위는 초점 영역의 범위에 대응함-,
상기 초점 영역의 범위는 상기 현재 사용자 초점 영역을 포함하고,
상기 프로세서는, 소프트웨어의 제어 하에서 상기 조정기가 그 초점 영역에 대해 상기 변위에 있는 때에 상기 범위의 상기 초점 영역 중 하나에 위치되는 것으로 식별된 임의의 가상 객체를 포함하는 이미지를 생성하도록 상기 마이크로디스플레이 유닛에게 지시하는
증강 현실 시스템.
제 5 항에 있어서,
상기 제어 회로는 상기 가변 가상 조정기를 제어하는 상기 드라이버에 레이트를 제공하기 위한 타이밍 발생기를 더 포함하고,
상기 가변 가상 조정기는, 상기 광 경로에서 상기 적어도 하나의 광 요소의 상기 초점 거리를 변경하기 위해 상기 마이크로디스플레이 조립체의 상기 광 경로에서 상기 적어도 하나의 광 요소의 편광 값의 범위에 걸쳐 상기 레이트로 스위핑하고, 상기 편광 값의 범위는 초점 영역의 범위에 대응하며,
상기 초점 영역의 범위는 상기 현재 사용자 초점 영역을 포함하고,
상기 프로세서는, 소프트웨어의 제어 하에서 상기 조정기가 그 초점 영역에 대해 상기 편광에 있는 때에 상기 범위의 상기 초점 영역 중 하나에 위치되는 것으로 식별된 임의의 가상 객체를 포함하는 이미지를 생성하도록 상기 마이크로디스플레이 유닛에게 지시하는
증강 현실 시스템.
제 5 항에 있어서,
상기 제어 회로는 상기 가변 가상 조정기를 제어하는 상기 드라이버에 레이트를 제공하기 위한 타이밍 발생기를 더 포함하고,
상기 광 경로 내의 상기 적어도 하나의 광 요소는 유체 렌즈를 포함하고,
상기 가변 가상 조정기는, 상기 적어도 하나의 유체 렌즈의 상기 초점 거리를 변경하기 위해 상기 마이크로디스플레이 조립체의 상기 광 경로에서 상기 적어도 하나의 유체 렌즈의 곡률 반경 값의 범위에 걸쳐 상기 레이트로 스위핑하고, 상기 곡률 반경 값의 범위는 초점 영역의 범위에 대응하며,
상기 초점 영역의 범위는 상기 현재 사용자 초점 영역을 포함하고,
상기 프로세서는, 소프트웨어의 제어 하에서 상기 조정기가 그 초점 영역에 대해 상기 곡률 반경에 있는 때에 상기 범위의 상기 초점 영역 중 하나에 위치되는 것으로 식별된 임의의 가상 객체를 포함하는 이미지를 생성하도록 상기 마이크로디스플레이 유닛에게 지시하는
증강 현실 시스템.
제 7 항에 있어서,
상기 마이크로디스플레이는 상기 변위의 범위에 의해 생성되는 상이한 이미지들의 인-포커스(in-focus) 부분을 포함하는 혼합 이미지를 생성하고,
상기 디스플레이는 상기 적어도 하나의 눈 위치에 상기 혼합 이미지를 투사하는
증강 현실 시스템.