RU2665289C1 - Система отображения реальной или виртуальной сцены и способ ее функционирования - Google Patents
Система отображения реальной или виртуальной сцены и способ ее функционирования Download PDFInfo
- Publication number
- RU2665289C1 RU2665289C1 RU2017129073A RU2017129073A RU2665289C1 RU 2665289 C1 RU2665289 C1 RU 2665289C1 RU 2017129073 A RU2017129073 A RU 2017129073A RU 2017129073 A RU2017129073 A RU 2017129073A RU 2665289 C1 RU2665289 C1 RU 2665289C1
- Authority
- RU
- Russia
- Prior art keywords
- scene
- display
- mobile device
- spatial light
- light modulator
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/0126—Opto-optical modulation, i.e. control of one light beam by another light beam, not otherwise provided for in this subclass
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2300/00—Aspects of the constitution of display devices
- G09G2300/02—Composition of display devices
- G09G2300/023—Display panel composed of stacked panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Nonlinear Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Изобретение относится к области формирования изображения. Технический результат заключается в формировании изображения высокого качества и устранении конфликтов вергенции и аккомодации. Система отображения реальной или виртуальной сцены, содержащая корпус, в котором размещены мобильное устройство с дисплеем, пространственный модулятор света, расположенный перед дисплеем мобильного устройства, по меньшей мере один процессор, соединенный с мобильным устройством и пространственным модулятором света, и оптическое линзовое устройство, расположенное после пространственного модулятора света и перед глазами пользователя. 2 н. и 10 з.п. ф-лы, 9 ил.
Description
Область техники, к которой относится изобретение
Настоящее изобретение в целом относится к области техники формирования изображений, а в частности - к системе отображения реальной или виртуальной сцены, способной формировать трехмерные (3D) изображения сцены с высокой четкостью, при этом исключая так называемый конфликт вергенции и аккомадации (vergence-accommodation conflict), и к способу функционирования этой системы отображения.
Настоящее изобретение может быть применено в тех случаях, когда необходимо обеспечить погружение пользователя в виртуальную реальность для выполнения разных задач, таких как 3D-моделирование, навигация, проектирование, развлечения и т.д. Настоящее изобретение может быть также реализовано в разных, устанавливаемых на головах устройствах, таких как очки или шлемы виртуальной реальности, которые в настоящее время популярны в игровой и образовательной индустриях.
Уровень техники
Этот раздел не предназначен для предоставления ключевых идей настоящего изобретения, а также какого-либо его ограничения. Единственное предназначение этого раздела состоит в том, чтобы предоставить читателю краткое описание решений из уровня техники, принадлежащих той же области техники, что и настоящее изобретение, и недостатков таких решений из уровня техники, чтобы читатель смог сформировать четкое представление о том, почему настоящее изобретение имеет важное значение.
В последние годы технология виртуальной реальности получила значительное развитие и стала использоваться в различных сферах социальной жизни общества (включая традиционные и разрекламированные применения в индустрии игр и развлечений). Однако, для того чтобы сделать технологию виртуальной реальности повсеместной и обеспечить ее долгосрочное применение, необходимо создавать для пользователей визуально комфортное взаимодействие с виртуальным миром.
Современные дисплеи виртуальной реальности поддерживают некоторые ключевые аспекты человеческого зрения, такие как двигательный параллакс, бинокулярную диспаратность, окклюзию и вергенцию. В то же время аспекты фокусировки (аккомадации) человеческих глаз на виртуальных объектах не поддерживаются такими дисплеями. Это является причиной возникновения так называемого конфликта вергенции и аккомадации. Он возникает из-за того, что зрительная система человека во время просмотра 3D-изображений вынуждена поддерживать постоянным фокусное расстояние хрусталиков глаз с тем, чтобы фокусироваться на дисплее или показываемом на нем изображении, созданном линзой (в случае, если речь идет о шлеме виртуальной реальности), в то время как она должна менять фокусное расстояние хрусталиков в зависимости от «расстояния» до виртуального объекта, на который в данный момент переводит взгляд пользователь. Другими словами, конфликт вергенции и аккомадации происходит из-за того, что виртуальные объекты кажутся находящимися на различном «расстоянии», тогда как на самом деле лежат в плоскости экрана дисплея. Такое несоответствие визуального ряда и действительности приводит к зрительному дискомфорту, быстрой утомляемости и головным болям.
В настоящее время разрабатывается технология дисплеев светового поля, которая направлена на устранение этого негативного эффекта за счет передачи глазам света, идентичного тому, который они получают в аналогичных условиях в реальной жизни.
Один пример такого дисплея раскрыт в US 20140063077. В частности, в указанном документе описано дисплейное устройство, которое включает в себя один или более пространственно адресуемых светоослабляющих слоев и контроллер, который выполнен с возможностью осуществления вычислений, необходимых для управления устройством и обеспечения разреженных низко-затратных (с точки зрения памяти) представлений светового поля, использующего взвешенное неотрицательное тензорное разложение (NTF) для решения проблемы оптимизации. Однако, такое разложение NTF требует много вычислительных ресурсов. Более того, известное устройство не является мобильным, и его нельзя монтировать на голову.
Другим примером является техническое решение, предложенное F. Huang, K. Chen, G. Wetzstein в их статье, озаглавленной «The Light-Field Stereoscope: Immersive Computer Graphics via Factored Near-Eye Light Field Displays with Focus Cuesʺ, (ACM SIGGRAPH, Transactions on Graphics 33, 5, 2015). В этой статье описан первый переносимый дисплей виртуальной реальности, поддерживающий высокое разрешение изображения, а также возможность фокусировки глаза на виртуальных объектах, т.е. возможность устранения конфликта вергенции и аккомодации. Световое поле представляется каждому глазу, что обеспечивает более естественный просмотр, нежели традиционные окологлазные дисплеи. В предложенном дисплее применяется одноранговое разложение светового поля для обеспечения возможности естественной или почти естественной фокусировки глаз. При этом не требуются дорогостоящие средства слежения за взглядом или отображения изображений с временным мультиплексированием. Однако, авторы статьи используют неотрицательное матричное разложение (NMF), которое является довольно дорогим с точки зрения вычислительных ресурсов.
Таким образом, существует потребность в системе отображения, способной формировать изображения высокого разрешения и устранять конфликт вергенции и аккомодации. Желательно, чтобы такую систему отображения можно было устанавливать на голову, тем самым делая возможным ее применение в приложениях виртуальной реальности.
Раскрытие изобретения
Задача настоящего изобретения состоит в устранении или смягчении вышеупомянутых недостатков, свойственных решениям, известным из уровня техники.
Согласно первому аспекту настоящего изобретения, предложена система отображения реальной или виртуальной сцены, содержащая корпус, в котором размещены мобильное устройство с дисплеем, пространственный модулятор света, расположенный перед дисплеем мобильного устройства, по меньшей мере один процессор, соединенный с мобильным устройством и пространственным модулятором света, и оптическое линзовое устройство, расположенное после пространственного модулятора света и перед глазами пользователя. Дисплей мобильного устройства имеет пиксели, выполненные с возможностью испускания лучей света, характеризующих упомянутую реальную или виртуальную сцену. Пространственный модулятор света имеет пиксельную структуру с настраиваемой окрашенной прозрачностью, выполненную с возможностью пропускания испускаемых лучей света. Упомянутый по меньшей мере один процессор выполнен с возможностью:
(a) получения набора видов упомянутой сцены, причем каждый вид упомянутой сцены характеризуется определенным углом просмотра упомянутой сцены;
(б) формирования матрицы видов в соответствии с геометрическими параметрами системы;
(в) формирования настроечной матрицы, представляющей собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов;
(г) настройки значений интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настройки значений прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре упомянутой сцены.
В одном варианте осуществления дисплей мобильного устройства является жидкокристаллическим дисплеем или органическим светодиодным дисплеем.
В одном варианте осуществления пространственный модулятор света содержит слой жидких кристаллов и по меньшей мере один поляризатор.
В одном варианте осуществления мобильное устройство представляет собой одно из следующего: мобильный или сотовый телефон, планшетный компьютер, портативный цифровой плеер.
В одном варианте осуществления система дополнительно содержит средство крепления, выполненное с возможностью фиксации системы на голове пользователя. В другом варианте осуществления корпус системы выполнен в виде шлема или очков виртуальной реальности.
В одном варианте осуществления упомянутый по меньшей мере один процессор выполнен с возможностью использования взвешенного итеративного метода одноранговой невязки (WRRI) для упомянутого подбора компонент вектор-столбца и вектор-строки.
В одном варианте осуществления упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью
вычисления и использования весовой матрицы при применении метода WRRI, чтобы избежать в дальнейшем искажений на изображении. При этом упомянутый по меньшей мере один процессор выполнен с возможностью вычисления весовой матрицы и формирования матрицы видов с учетом геометрических параметров системы, таких как расстояние между дисплеем мобильного устройства и пространственным модулятором света.
В одном варианте осуществления упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью осуществления предварительной обработки каждого вида упомянутой сцены, направленной на улучшение четкости деталей на этом виде, путем:
- сегментации заданного изображения на перекрывающиеся блоки, состоящие из групп пикселей дисплея мобильного устройства;
- для каждого блока:
- преобразования цвета каждого пикселя в цветовую модель YUV («Y» - компонент яркости, «U» и «V» - цветоразностные компоненты);
- выделения для каждого пикселя только компонент яркости Y;
- объединения компонент яркости Y всех пикселей в канал яркости Y;
- применения преобразования Фурье в отношении канала яркости для получения спектра Фурье;
- применения оконной функции Гаусса для сглаживания спектра на его границах;
- поиска деталей и усиления их в спектре Фурье, используя анализ согласованности фаз; и
- осуществления обратного преобразования Фурье для получения нового канала яркости Y';
- объединения всех обработанных таким образом блоков, при этом вновь применяя оконную функцию Гаусса для обеспечения бесшовного наложения блоков;
- объединения для каждого пикселя нового компонента Y' с первоначальными компонентами U и V в цветовую модель Y'UV; и
- преобразования цветовой модели Y'UV в цветовую модель RGB и получения заданного вида упомянутой сцены в цветовой модели RGB.
В одном варианте осуществления набор видов упомянутой сцены заранее получен с помощью пленоптической камеры и сохранен в памяти мобильного устройства или передан в мобильное устройство по сети, чтобы в дальнейшем использоваться в качестве входных данных для упомянутого по меньшей мере одного контроллера. При этом упомянутый по меньшей мере один процессор выполнен с возможностью доступа к памяти мобильного устройства для извлечения набора видов упомянутой сцены для осуществления последующих операций (б)-(г).
В другом варианте осуществления упомянутый по меньшей мере один процессор выполнен с возможностью получения набора видов упомянутой сцены с использованием программы рендеринга.
Согласно второму аспекту настоящего изобретения, предложен способ функционирования вышеупомянутой системы отображения реальной или виртуальной сцены. Предложенный способ реализуется следующим образом:
(a) получают посредством упомянутого по меньшей мере одного процессора набор видов требуемой реальной или виртуальной сцены, причем каждый вид сцены характеризуется определенным углом просмотра сцены;
(б) формируют матрицу видов в соответствии с геометрическими параметрами системы;
(в) формируют настроечную матрицу, представляющую собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов;
(г) настраивают значения интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настраивают значения прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре заданного изображения.
Другие признаки и преимущества настоящего изобретения станут очевидными после прочтения следующего далее описания и просмотра сопроводительных чертежей.
Краткое описание чертежей
Сущность настоящего изобретения поясняется ниже со ссылкой на сопроводительные чертежи, на которых:
Фиг. 1 иллюстрирует аппроксимацию светового поля массивом разных видов конкретной сцены, полученных с разных точек просмотра посредством массива камер;
Фиг. 2 иллюстрирует поэлементный вид системы 1 отображения в соответствии с настоящим изобретением;
Фиг. 3а-3б иллюстрируют варианты осуществления пространственного модулятора света в зависимости от типа дисплея мобильного устройства;
Фиг. 4 иллюстрирует вариант осуществления системы отображения согласно настоящему изобретению с ремнем для крепления на голову;
Фиг. 5 - блок-схема этапов способа функционирования системы отображения согласно настоящему изобретению;
Фиг. 6 поясняет двупараметрическое представление светового поля Левоя и Ханрахана;
Фиг. 7 поясняет способ вычисления весовой матрицы с учетом геометрических параметров системы (расстояние между дисплеем мобильного устройства и пространственным модулятором света, фокусное расстояние линзы, расстояние от линзы до дисплея и модулятора);
Фиг. 8 показывает формирование матрицы видов с использованием барицентрических координат.
Осуществление изобретения
Различные варианты осуществления настоящего изобретения описаны далее подробнее со ссылкой на сопроводительные чертежи. Однако, настоящее изобретение может быть реализовано во многих других формах и не должно пониматься как ограниченное какой-либо конкретной структурой или функцией, представленной в нижеследующем описании. Напротив, эти варианты осуществления предоставлены для того, чтобы сделать описание настоящего изобретения подробным и полным. Исходя из настоящего описания, специалистам в данной области техники будет очевидно, что объем настоящего изобретения охватывает любой вариант осуществления настоящего изобретения, который раскрыт в данном документе, вне зависимости от того, реализован ли этот вариант осуществления независимо или совместно с любым другим вариантом осуществления настоящего изобретения. Например, способ или система, раскрытая в данном документе, может быть реализована на практике с использованием любого числа вариантов осуществления, указанных в данном документе. Кроме того, должно быть понятно, что любой вариант осуществления настоящего изобретения может быть реализован с использованием одного или более элементов, перечисленных в приложенной формуле изобретения.
Слово «примерный» используется в данном документе в значении «используемый в качестве примера или иллюстрации». Любой вариант осуществления, описанный здесь как «примерный», необязательно должен восприниматься как предпочтительный или имеющий преимущество над другими вариантами осуществления.
Используемый в данном документе термин «световое поле» означает векторную функцию, описывающую количество света, проходящего в любом направлении через любую точку в пространстве. Другими словами, световое поле представляет собой пространственное распределение световых потоков от наблюдаемого изображения или сцены. Световое поле характеризуется в каждой его точке определенными величиной и направлением переноса лучистой энергии. Следует также отметить, что на практике световое поле конкретной сцены (реальной либо виртуальной) может быть аппроксимировано массивом разных видов этой сцены, полученных с разных точек просмотра посредством массива камер или микролинз, содержащихся в пленоптической камере, и, по этой причине, слега сдвинутых относительно друг друга (см. Фиг. 1).
На Фиг. 2 показана в разобранном виде система 1 отображения реальной или виртуальной сцены в соответствии с примерным вариантом осуществления настоящего изобретения. Как проиллюстрировано, система 1 отображения содержит мобильное устройство 2, пространственный модулятор 3 света, оптическую линзу 4.
Хотя в этом примере мобильное устройство 2 показано в виде мобильного или сотового телефона, специалистам в данной области техники должно быть понятно, что вместо такого телефона может быть использован переносной компьютер, планшетный компьютер, портативный цифровой плеер или т.п. Кроме того, выбранное изображение игровых костей также не должно рассматриваться как какое-либо ограничение настоящего изобретения, которое с той же пользой и преимуществом может быть использовано в отношении других более сложных изображений, содержащих объекты и/или субъекты разного вида и разных форм. Дисплей мобильного устройства 2 может быть реализован в виде органического светодиодного (OLED) дисплея либо в виде жидкокристаллического дисплея, либо любого другого дисплея, имеющего пиксельную структуру.
Пространственный модулятор 3 света расположен перед дисплеем мобильного устройства 2 и имеет пиксельную структуру с регулируемой переменной прозрачностью. Возможны следующие варианты осуществления пространственного модулятора 3 света:
(1) В одном варианте осуществления, схематически показанном на Фиг. 3а, в качестве дисплея мобильного устройства 2 используется жидкокристаллический дисплей 7, который, как известно из данной области техники (см., например, Мухин И.А., Развитие жидкокристаллических мониторов, BROADCASTING Телевидение и радиовещание: 1 часть - № 2(46) март 2005. С. 55-56; 2 часть - № 4(48) июнь-июль 2005. С. 71-73), состоит из средства задней подсветки и пары поляризаторов П1 и П2, между которыми заключен слой жидких кристаллов ЖК1. В этом случае в качестве пространственного модулятора 3 света используется комбинация слоя жидких кристаллов ЖК2 и поляризатора П3 на стороне, обращенной к пользователю. Это отличается от традиционной схемы, при которой пространственный модулятор света реализуется с помощью первого поляризатора между дисплеем и слоем жидких кристаллов, самого слоя жидких кристаллов и второго поляризатора после слоя жидких кристаллов. Таким образом, удается добиться снижения общих размеров системы 1 отображения (не показана на Фиг. 3а) (за счет уменьшения числа поляризаторов, используемых в составе пространственного модулятора 3 света).
(2) В другом варианте осуществления, схематически показанном на Фиг. 3б, в качестве дисплея мобильного устройства 3 используется органический светодиодный (OLED) дисплей 8. В этом случае в качестве пространственного модулятора 3 света используется упомянутая выше стандартная схема: первый поляризатор П4 - слой жидких кристаллов ЖК - второй поляризатор П5.
Как показано на Фиг. 2, оптическая линза 4 расположена после пространственного модулятора 3 света и перед соответствующим глазом пользователя системы 1 отображения. Аналогичная оптическая линза также расположена перед другим глазом пользователя. Совокупность этих линз образуется оптическое линзовое устройство.
Значения прозрачности пикселей пространственного модулятора 3 света, а также значения интенсивностей пикселей дисплея мобильного устройства 2 настраиваются посредством управляющих сигналов, подаваемых с процессора или контроллера (не показан), дополнительно входящего в состав системы 1 отображения. Эта настройка будет подробно описана ниже при описании способа функционирования системы 1 отображения.
Вышеописанные конструктивные элементы системы 1 отображения, в частности, мобильное устройство 2 и пространственный модулятор 3 света, показанные на Фиг. 2, заключены в корпусе или кожухе 5 (см. Фиг. 4), выполненном из любого подходящего материала, такого как пластик, композитный материал и т.д. При этом для обеспечения возможности крепления системы 1 отображения на голове пользователя может применяться специальное средство крепления, реализованное, например, в виде кожаного ремня 6, который присоединен к корпусу или кожуху 5. В другом варианте осуществления корпус или кожух может быть сам выполнен в виде очков или шлема виртуальной реальности.
Далее будет подробно описана работа системы 1 отображения, в частности, пояснены операции, выполняемые упомянутым процессором или контроллером, со ссылкой на Фиг. 5.
Сначала упомянутый процессор или контроллер принимает набор видов реальной или виртуальной сцены (этап Э1), например, игральных костей, показанных на Фиг. 2. Каждый вид сцены характеризуется определенным углом просмотра сцены, как было пояснено выше со ссылкой на Фиг. 1. Набор видов сцены можно формировать заранее с помощью пленоптической камеры, такой, например, как Lytro Illum, а затем сохранять в памяти мобильного устройства 2. В таком случае упомянутый процессор или контроллер может быть выполнен с возможностью доступа к памяти мобильного устройства 2 для извлечения набора видов упомянутой сцены для осуществления последующей обработки. В другом варианте осуществления упомянутый процессор или контроллер может сам выполнять формирование набора видов сцены с использованием программы рендеринга. Такие программы широко известны в данной области техники и включают в себя, например, программу LightPack, разработанную в Стэнфордском Университете (см. - http://graphics.stanford.edu/software/lightpack/).
Далее, на этапе Э2, упомянутый процессор или контроллер формирует матрицу видов в соответствии с геометрическими параметрами системы (расстояние между дисплеем мобильного устройства и пространственным модулятором света, фокусное расстояние линзы, расстояние от линзы до дисплея и модулятора).
При формировании матрицы видов предпочтительно следовать двупараметрическому представлению светового поля, предложенному Левоем и Ханраханом в 1996 г. (SIGGRAPH 1996). Обозначим световое поле в этом представлении как L(x, y, u, v) - см. Фиг. 6 (на которой показаны две плоскости светового поля xy и uv). Простое геометрическое рассмотрение (см. Фиг. 7) показывает, что целочисленные координаты (отсчитываемые от угла дисплея или модулятора) точек пересечения луча с изображениями дисплея и модулятора и их виртуальными образами вычисляются следующим образом:
|
|
(1) | |
|
|
(2) |
Здесь k=1, 2, где 1 и 2 соответствуют модулятору и дисплею, соответственно, «+» и «-» в «±» также соответствуют модулятору и дисплею, соответственно, M 1,2 - коэффициенты увеличения виртуального образа модулятора и дисплея, p 1,2 - размеры пикселя модулятора и дисплея, соответственно, W и H - физические ширина и высота изображения вида в плоскости xy светового поля (положение ее и расстояния d k подбираются так, чтобы достигнуть наилучшего качества изображения), d СП - расстояние от плоскости зрачка до плоскости светового поля, скобки «
» означают взятие целочисленной части числа.
Задача факторизации светового поля состоит в том, чтобы разложить L(x, y, u, v) в произведение прозрачности модулятора t(x 1, y 1) и яркости дисплея l(x 2, y 2) - т.е. получить
|
|
(3) |
где x 1,2, y 1,2 выражаются через x,y,u,v посредством уравнений (1), (2).
Такая тензорная факторизация сложна, поэтому авторы настоящего изобретения решили свести ее к более простой задаче - матричной факторизации. Для этого векторизуем t и l в вектора a и b следующим образом:
где
где 
- ширина изображений модулятора и дисплея, соответственно (k=1, 2), измеренная числом пикселей по оси 
.
Значение светового поля L(x, y, u, v) помещается в элемент матрицы видов 
, так что уравнение (3) теперь может быть записано в виде
После этого упомянутый процессор или контроллер приступает к формированию настроечной матрицы, представляющей собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов (этап Э3). Другими словами, элемент (i, j) настроечной матрицы получается при прохождении луча света через j-ый пиксель дисплея мобильного устройства 2 и через i-ый пиксель пространственного модулятора 3 света (см. поясняющие формулы ниже). Если обозначить матрицу видов как Т, а вектора, характеризующие прозрачность и яркость - как a и b, соответственно, тогда вышеупомянутая близость матриц означает, что Т ≈ abT (где надстрочный символ «Т» означает транспонирование). Такую задачу оптимизации можно решать различными способами, однако авторы настоящего изобретения пришли к выводу, что наилучшим способом является взвешенный итеративный метод одноранговой невязки (WRRI) (см. следующие документы уровня техники: HO, N.-D., Nonnegative Matrix Factorization Algorithms and Applications, PhD thesis, Universit´e catholique de Louvain, 2008; и HEIDE et al., Cascaded displays: spatiotemporal superresolution using offset pixel layers, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2014, Volume 33, Issue 4, July 2014). Т.к. количество видов ограничено, необходимо ограничить число элементов, участвующих в минимизации, для этого вводится весовая матрица W так, чтобы Т ≈ WabT, причем матрица W имеет весовые коэффициенты там, куда были «уложены» виды сцены, и нули в остальных местах. Задача оптимизации продолжается до тех пор, пока не будут найдены такие компоненты векторов a и b, при которых достигается наилучшая близость матрицы видов и настроечной матрицы. Суть задачи оптимизации в следующем:
где 
- L2-норма, так что 
, а 
- поэлементное умножение, которое продолжается до тех пор, пока не будут найдены такие компоненты векторов a и b, при которых достигается наилучшая близость матрицы видов и настроечной матрицы.
В тех случаях, когда имеется совпадение центров пикселей дисплея мобильного устройства 2 и пространственного модулятора 3 света, в те элементы матрицы W, которые соответствуют видам (т.е. имеют те i, j, где уложены T ij из видов), помещаются единицы, в остальные элементы помещаются нули. Когда такого совпадения нет, то матрицу T и W следует формировать с использованием барицентрических координат, чтобы избежать в дальнейшем искажений на видах сцены. Пример такого формирования показан на Фиг. 8, на которой, λ и μ - координаты обозначенной крестиком точки (центра пикселя) в плоскости пространственного модулятора 3 света. w00, w01, w10, и w11 - величины, которые распределяются между четырьмя элементами, характеризующимися координатами 
, 
, 
. Сумма w00, w01, w10, и w11 равна 1, так что можно сказать, что единичный вес распределяется между четырьмя соседними элементами. При формировании матрицы видов в этом подходе необходимо соответствующие значения пикселя повторить четыре раза в четырех соответствующих элементах.
Следует заметить, что возможен альтернативный подход. При формировании матрицы видов значения светового поля распределяются с соответствующими весами между четырьмя элементами, характеризующимися координатами , , в соответствии с барицентрическими координатами. В этом случае весовая матрица W будет содержать единицы в элементах, соответствующих ненулевым элементам матрицы видов T, и нули во всех остальных элементах.
Как только компоненты векторов a и b найдены, упомянутый процессор или контроллер осуществляет настройку значений интенсивности l пикселей дисплея мобильного устройства 2 в соответствии с компонентами векторa b и настройку значений прозрачности t пикселей пространственного модулятора 3 света в соответствии с компонентами вектора a (этап Э4) - см. формулы (4) и (5), показывающие связь между a, b и t, l выше. Это позволяет достичь (приближенно) такого светового поля от сцены, которое бы пользователь наблюдал в действительности, т.е. обеспечивается 3D-эффект при просмотре сцены.
В одном варианте осуществления упомянутый процессор или контроллер выполнен с дополнительной возможностью осуществления предварительной обработки каждого вида сцены перед тем, как осуществлять этапы Э2-Э4. Эта обработка направлена на улучшение деталей на видах сцены и заключается в следующем. Заданный вид сцены (детали на котором требуется усилить) сегментируется на перекрывающиеся блоки, состоящие из групп пикселей дисплея мобильного устройства 2. Далее для каждого блока выполняют следующие действия:
- преобразуют цвет каждого пикселя в цветовую модель YUV («Y» - компонент яркости, «U» и «V» - цветоразностные компоненты);
- выделяют для каждого пикселя только компонент яркости Y;
- объединяют компонент яркости Y всех пикселей в канал яркости Y;
- применяют преобразование Фурье в отношении канала яркости для получения спектра Фурье;
- применяют оконную функцию Гаусса для сглаживания спектра на его границах;
- осуществляют поиск деталей и усиливают их в спектре Фурье, используя анализ согласованности фаз; и
- осуществляют обратное преобразование Фурье для получения нового канала яркости Y'.
Суть упомянутого выше анализа согласованности фаз заключается в следующем. Как известно, значения в спектре Фурье - это комплексные числа. Они характеризуются модулем и аргументом (фазой). Другими словами, их можно представить как 2-мерные векторы с длиной, равной модулю, и направлением, равным фазе. Поиск деталей заключается в выделении именно таких векторов, направленных в одну сторону (с некоторым разбросом), а усиление деталей заключается в увеличении длины найденных векторов (увеличении величины модуля).
После перечисленных выше действий объединяют все обработанные таким образом блоки, при этом вновь применяя оконную функцию Гаусса для обеспечения бесшовного наложения блоков. Далее объединяют для каждого пикселя новый компонент Y' с первоначальными компонентами U и V в цветовую модель Y'UV и преобразуют цветовую модель Y'UV в цветовую модель RGB для получения заданного вида сцены в цветовой модели RGB.
Дополнительные аспекты изобретения станут очевидными после рассмотрения чертежей и представленного описания вариантов осуществления настоящего изобретения. Специалисту в данной области техники будет понятно, что возможны другие варианты осуществления настоящего изобретения, и что некоторые элементы настоящего изобретения могут быть изменены в ряде аспектов, не отступая от идеи изобретения. Таким образом, чертежи и описание должны рассматриваться в качестве иллюстрации, а не ограничения. В приложенной формуле изобретения упоминание элементов в единственном числе не исключает наличия множества таких элементов, если в явном виде не указано иное.
Claims (35)
1. Система отображения реальной или виртуальной сцены, содержащая корпус, в котором размещены мобильное устройство с дисплеем, пространственный модулятор света, расположенный перед дисплеем мобильного устройства, по меньшей мере один процессор, соединенный с мобильным устройством и пространственным модулятором света, и оптическое линзовое устройство, расположенное после пространственного модулятора света и перед глазами пользователя, при этом:
- дисплей мобильного устройства имеет пиксели, выполненные с возможностью испускания лучей света, характеризующих упомянутую реальную или виртуальную сцену;
- пространственный модулятор света имеет пиксельную структуру с настраиваемой окрашенной прозрачностью, выполненную с возможностью пропускания испускаемых лучей света, причём пиксельная структура содержит по меньшей мере один поляризатор на стороне, обращённой к пользователю;
- упомянутый по меньшей мере один процессор выполнен с возможностью:
(a) получения набора видов упомянутой сцены, причем каждый вид упомянутой сцены характеризуется определенным углом просмотра упомянутой сцены;
(б) формирования матрицы видов в соответствии с геометрическими параметрами системы;
(в) формирования настроечной матрицы, представляющей собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов;
(г) настройки значений интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настройки значений прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре упомянутой сцены.
2. Система по п. 1, в которой дисплей мобильного устройства является жидкокристаллическим дисплеем или органическим светодиодным дисплеем.
3. Система по п. 1, в которой пространственный модулятор света дополнительно содержит слой жидких кристаллов.
4. Система по п. 1, в которой мобильное устройство представляет собой одно из следующего: мобильный или сотовый телефон, планшетный компьютер, портативный цифровой плеер.
5. Система по п. 1, дополнительно содержащая средство крепления, выполненное с возможностью фиксации системы на голове пользователя.
6. Система по п. 1, в которой корпус выполнен в виде шлема или очков виртуальной реальности.
7. Система по п. 1, в которой упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью использования взвешенного итеративного метода одноранговой невязки (WRRI) для упомянутого подбора компонент вектор-столбца и вектор-строки.
8. Система по п. 7, в которой упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью:
- вычисления и использования весовой матрицы при применении метода WRRI, чтобы избежать в дальнейшем искажений на изображении.
9. Система по п. 1, в которой упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью осуществления предварительной обработки каждого вида упомянутой сцены, направленной на улучшение четкости деталей на этом виде, путем:
- сегментации заданного вида упомянутой сцены на перекрывающиеся блоки, состоящие из групп пикселей дисплея мобильного устройства;
- для каждого блока:
- преобразования цвета каждого пикселя в цветовую модель YUV, где «Y» - компонент яркости, «U» и «V» - цветоразностные компоненты;
- выделения для каждого пикселя только компонент яркости Y;
- объединения компонент яркости Y всех пикселей в канал яркости Y;
- применения преобразования Фурье в отношении канала яркости для получения спектра Фурье;
- применения оконной функции Гаусса для сглаживания спектра на его границах;
- поиска деталей и усиления их в спектре Фурье, используя анализ согласованности фаз; и
- осуществления обратного преобразования Фурье для получения нового канала яркости Y';
- объединения всех обработанных таким образом блоков, при этом вновь применяя оконную функцию Гаусса для обеспечения бесшовного наложения блоков;
- объединения для каждого пикселя нового компонента Y' с первоначальными компонентами U и V в цветовую модель Y'UV; и
- преобразования цветовой модели Y'UV в цветовую модель RGB и получения заданного вида упомянутой сцены в цветовой модели RGB.
10. Система по п. 1, в которой набор видов упомянутой сцены заранее получен с помощью пленоптической камеры и сохранен в памяти мобильного устройства, при этом упомянутый по меньшей мере один процессор выполнен с возможностью доступа к памяти мобильного устройства для извлечения набора видов упомянутой сцены для осуществления последующих операций (б)-(г).
11. Система по п. 1, в которой упомянутый по меньшей мере один процессор выполнен с возможностью получения набора видов упомянутой сцены с использованием программы рендеринга.
12. Способ функционирования системы отображения реальной или виртуальной сцены по любому из пп. 1-12, содержащий этапы, на которых:
(a) получают посредством упомянутого по меньшей мере одного процессора набор видов требуемой реальной сцены, причем каждый вид сцены характеризуется определенным углом просмотра сцены;
(б) формируют матрицу видов в соответствии с геометрическими параметрами системы;
(в) формируют настроечную матрицу, представляющую собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов (г), настраивают значения интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настраивают значения прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре упомянутой сцены.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017129073A RU2665289C1 (ru) | 2017-08-15 | 2017-08-15 | Система отображения реальной или виртуальной сцены и способ ее функционирования |
| KR1020180077317A KR102561264B1 (ko) | 2017-08-15 | 2018-07-03 | 현실 혹은 가상 장면을 디스플레이하는 시스템 및 그 방법 |
| EP18845492.0A EP3615988B1 (en) | 2017-08-15 | 2018-08-09 | System and method for displaying real or virtual scene |
| US16/059,668 US10585286B2 (en) | 2017-08-15 | 2018-08-09 | System and method for displaying real or virtual scene |
| PCT/KR2018/009072 WO2019035600A1 (en) | 2017-08-15 | 2018-08-09 | SYSTEM AND METHOD FOR REAL OR VIRTUAL SCENE DISPLAY |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017129073A RU2665289C1 (ru) | 2017-08-15 | 2017-08-15 | Система отображения реальной или виртуальной сцены и способ ее функционирования |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2665289C1 true RU2665289C1 (ru) | 2018-08-28 |
Family
ID=63459676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017129073A RU2665289C1 (ru) | 2017-08-15 | 2017-08-15 | Система отображения реальной или виртуальной сцены и способ ее функционирования |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3615988B1 (ru) |
| KR (1) | KR102561264B1 (ru) |
| RU (1) | RU2665289C1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2724445C1 (ru) * | 2019-08-23 | 2020-06-23 | Самсунг Электроникс Ко., Лтд. | Устройство и способ отслеживания положения глаза |
| US11698676B2 (en) | 2019-08-23 | 2023-07-11 | Samsung Electronics Co., Ltd. | Method and electronic device for eye-tracking |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111193880B (zh) * | 2020-01-13 | 2022-05-24 | 刘元哲 | 一种图像传感器、光学滤波器及图像传感器亮度调整方法 |
| CN115826245A (zh) * | 2020-08-26 | 2023-03-21 | 宁波舜宇光电信息有限公司 | 增强现实设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120212400A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
| US20150310789A1 (en) * | 2014-03-18 | 2015-10-29 | Nvidia Corporation | Superresolution display using cascaded panels |
| US20160209658A1 (en) * | 2014-05-30 | 2016-07-21 | Sony Computer Entertainment America Llc | Head Mounted Device (HMD) System Having Interface With Mobile Computing Device for Rendering Virtual Reality Content |
| RU2632257C2 (ru) * | 2013-06-12 | 2017-10-03 | Сейко Эпсон Корпорейшн | Закрепляемое на голове устройство отображения и способ управления закрепляемым на голове устройством отображения |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7280704B2 (en) * | 1997-11-13 | 2007-10-09 | The Schepens Eye Research Institute, Inc. | Wide-band image enhancement |
| US9146403B2 (en) * | 2010-12-01 | 2015-09-29 | Massachusetts Institute Of Technology | Content-adaptive parallax barriers for automultiscopic display |
| US9087471B2 (en) * | 2011-11-04 | 2015-07-21 | Google Inc. | Adaptive brightness control of head mounted display |
| CN107924057B (zh) * | 2015-07-03 | 2020-12-22 | 依视路国际公司 | 用于增强现实的方法和系统 |
| WO2017134629A1 (en) * | 2016-02-05 | 2017-08-10 | Jens Kristian Poulsen | Adaptive transparent display system and method for adaptive optical shielding |
-
2017
- 2017-08-15 RU RU2017129073A patent/RU2665289C1/ru active
-
2018
- 2018-07-03 KR KR1020180077317A patent/KR102561264B1/ko active Active
- 2018-08-09 EP EP18845492.0A patent/EP3615988B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120212400A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
| RU2632257C2 (ru) * | 2013-06-12 | 2017-10-03 | Сейко Эпсон Корпорейшн | Закрепляемое на голове устройство отображения и способ управления закрепляемым на голове устройством отображения |
| US20150310789A1 (en) * | 2014-03-18 | 2015-10-29 | Nvidia Corporation | Superresolution display using cascaded panels |
| US20160209658A1 (en) * | 2014-05-30 | 2016-07-21 | Sony Computer Entertainment America Llc | Head Mounted Device (HMD) System Having Interface With Mobile Computing Device for Rendering Virtual Reality Content |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2724445C1 (ru) * | 2019-08-23 | 2020-06-23 | Самсунг Электроникс Ко., Лтд. | Устройство и способ отслеживания положения глаза |
| US11698676B2 (en) | 2019-08-23 | 2023-07-11 | Samsung Electronics Co., Ltd. | Method and electronic device for eye-tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190018604A (ko) | 2019-02-25 |
| EP3615988A4 (en) | 2020-05-06 |
| EP3615988B1 (en) | 2023-06-28 |
| EP3615988A1 (en) | 2020-03-04 |
| KR102561264B1 (ko) | 2023-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12028502B2 (en) | Three dimensional glasses free light field display using eye location | |
| Huang et al. | The light field stereoscope. | |
| JP7415931B2 (ja) | 画像周辺領域内のリアルタイム圧縮による画像表示制御 | |
| US9858721B2 (en) | Methods, systems, and computer readable media for generating an augmented scene display | |
| Balram et al. | Light‐field imaging and display systems | |
| RU2665289C1 (ru) | Система отображения реальной или виртуальной сцены и способ ее функционирования | |
| US20180184066A1 (en) | Light field retargeting for multi-panel display | |
| US10585286B2 (en) | System and method for displaying real or virtual scene | |
| Matsubara et al. | Light field display simulation for light field quality assessment | |
| Zhang et al. | Unified mathematical model for multilayer-multiframe compressive light field displays using LCDs | |
| Javidi et al. | Breakthroughs in photonics 2014: recent advances in 3-D integral imaging sensing and display | |
| Başak et al. | Wide field-of-view dual-focal-plane augmented reality display | |
| Cao et al. | Load-balancing multi-LCD light field display | |
| Chang et al. | Towards occlusion-aware multifocal displays | |
| Zabels et al. | Integrated head-mounted display system based on a multi-planar architecture | |
| Ebner et al. | Off-axis layered displays: Hybrid direct-view/near-eye mixed reality with focus cues | |
| Zhong et al. | Correction of color deviation in multi-layer light field displays | |
| Wang et al. | An Introduction to Immersive Display Technologies | |
| Wetzstein et al. | Factored displays: Improving resolution, dynamic range, color reproduction, and light field characteristics with advanced signal processing | |
| Hua | Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality | |
| Hua | Optical methods for enabling focus cues in head-mounted displays for virtual and augmented reality | |
| Lee et al. | Color and brightness uniformity compensation of a multi-projection 3D display | |
| Liu et al. | Efficient DIBR method based on depth offset mapping for 3D image rendering | |
| Hua et al. | Light field displays | |
| Zhang et al. | Integration of real-time 3D image acquisition and multiview 3D display |