[go: up one dir, main page]

CN106817511A - 一种用于跟踪式自由立体显示器的图像补偿方法 - Google Patents

一种用于跟踪式自由立体显示器的图像补偿方法 Download PDF

Info

Publication number
CN106817511A
CN106817511A CN201710045234.1A CN201710045234A CN106817511A CN 106817511 A CN106817511 A CN 106817511A CN 201710045234 A CN201710045234 A CN 201710045234A CN 106817511 A CN106817511 A CN 106817511A
Authority
CN
China
Prior art keywords
image
compensation method
stereoscopic
user
image compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710045234.1A
Other languages
English (en)
Inventor
王元庆
黄开成
黄金盆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710045234.1A priority Critical patent/CN106817511A/zh
Publication of CN106817511A publication Critical patent/CN106817511A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种用于跟踪式自由立体显示器的图像补偿方法，主要技术方案是在跟踪式自由立体显示中通过像素的移动实现最佳视点位置的改变，以达到用户移动过程中减少甚至消除串扰。本发明所述的图像补偿方法针对用户在立体显示器前的不同位置提供了6种立体视差图像的像素排列模式。具体实施方法包括：索引查找模块预先存储用户在不同观看位置所适合的排列模式，动态调整模块根据人眼跟踪模块传送的用户位置去索引查找模块查找对应的排列模式，并调整到该排列模式。本发明的显著有益效果是实现自由立体显示中连续最优的立体视觉体验。

Description

一种用于跟踪式自由立体显示器的图像补偿方法
技术领域
本发明涉及跟踪式自由立体显示器，特别是涉及一种用于该跟踪式自由立体显示器的图像补偿方法，属于信息显示技术领域。
背景技术
立体显示技术研究经历长久发展，取得了丰硕成果，比如现在广泛应用的3D立体眼镜、头盔显示器等，但其缺点也显而易见，用户需要佩戴有滤色片或偏光片等镜片的眼镜，这尤其给已佩戴近视眼镜的用户带来不便。
随后自由立体显示技术应运而生，目前较为成熟的是视差光栅式自由立体显示技术，其优点是可让多名用户在较大范围内同时裸眼观看到立体图像，其缺点是其最佳视点是一系列固定的点，并不连续，当用户双眼位置移动到最佳视点外时，观看到的立体图像将会出现严重的串扰，甚至出现左右眼视图反转的情况。
于是近年来针对上述问题研究出一种针对单用户的跟踪式自由立体显示方式，在传统视差光栅式自由立体的基础上增加人眼空间位置坐标捕捉模块，当捕捉到用户的双眼移动到最佳视点之外时，显示器便对某些单元进行相应的改变，对用户观看到的具有串扰的图像进行补偿，进而实现降低串扰，使用户对立体图像的观看更加自由。如图1所示，当用户1位于光栅式自由立体显示器2前观看立体图像时，摄像头3会实时采集用户面部图像，并通过视频传输线将用户面部信息传输给人眼跟踪模块4，然后该模块提取出的人眼位置信息会传送给动态调整模块，动态调整模块5根据人眼位置信息使用动态调整技术，使显示器当前视点的位置根据人眼位置发生移动，从而降低用户观看到的立体图像串扰，达到提高立体图像显示效果的目的。
发明内容
此本发明的目的是：针对背景技术中提到的动态调整模块5根据人眼位置信息使用动态调整技术对用户观看到的具有串扰图像进行补偿，本发明提出了一种用于跟踪式自由立体显示器的图像补偿方法。
本发明的技术方案是：在跟踪式自由立体显示中通过像素的移动实现最佳视点位置的改变，以达到用户移动过程中减少甚至消除串扰。
依据本发明的一个方面，提供了一种用于跟踪式自由立体显示器的图像补偿方法，包括以下步骤：
动态调整模块根据人眼跟踪模块所获得的用户空间位置信息，对立体视差图像进行处理，根据用户的不同位置调整不同模式的立体视差图像。
根据本发明的一优选实施例，所述动态调整模块对立体视差图像进行处理的步骤包括对左右立体视差图像像素周期性排列进行重新调整排列。
根据本发明的一优选实施例，还包括索引查找模块，其用于存储用户空间位置信息与左右立体视差图像像素周期性排列方式的对应关系。
根据本发明的一优选实施例，所述动态调整模块根据索引查找模块内查找的当前用户空间位置信息对应的左右立体视差图像像素周期性排列方式的对应关系对立体视差图像进行调整。
根据本发明的一优选实施例，所述动态调整模块对立体视差图像进行调整可以由硬件电路实现，也可以由软件电路实现。
相较于现有技术，本发明提供的方法根据用户的空间位置信息与索引查找模块内存储的信息做比较，找出适合当前位置用户的立体视差图像排列方式，然后通过动态调整模块调整立体视差图像排列方式，从而将合适的视差图像投射到适合用户的空间位置，本方法使得用户在不同观看位置都能够获得连续的最优的立体视觉体验。
附图说明
读者在参照附图说明阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。
其中，图1示出跟踪式自由立体显示的总体实现原理图。
图2是图1所示的动态调整模块中立体图像补偿方法的6种模式示意图。
图3是图2所示图像补偿方法的6种模式的模式1示意图。
图4是图2所示图像补偿方法的6种模式的模式2示意图。
图5是图2所示图像补偿方法的6种模式的模式3示意图。
图6是图2所示图像补偿方法的6种模式的模式4示意图。
图7是图2所示图像补偿方法的6种模式的模式5示意图。
图8是图2所示图像补偿方法的6种模式的模式6示意图。
具体实施方式
为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述具体实施实例。然而，本领域的普通技术人员应当理解，下文中所提供的实施实例并非用来限制本发明所涵盖的范围。
如图1所示，图1是跟踪式自由立体显示的总体实现原理图。当用户1位于光栅式自由立体显示器2前观看立体图像时，摄像头3会实时采集用户面部图像，并通过视频传输线将用户面部信息传输给人眼跟踪模块4，然后该模块提取出的人眼位置信息会传送给动态调整模块5，动态调整模块根据人眼位置信息使用动态调整技术，使显示器当前视点的位置根据人眼位置发生移动，从而降低用户观看到的立体图像串扰，达到提高立体图像显示效果的目的。
其中动态调整模块5是本发明的实施载体，可以由硬件电路实现，比如基于FPGA现场可编程门阵列对视频图像信号数据进行实时调整；也可以由软件编程实现，比如基于OpenCV开源计算机视觉库对视频图像信号数据进行实时调整。
更进一步地，请参阅图2，图2为图1所示的动态调整模块中立体图像补偿方法的6种模式示意图。图中PI(Pupil Interval)表示用户的左眼和右眼之间的瞳距(通常为65mm)，WS(Window Size)表示空间中相邻的两图像帧间的距离。图中L为左视点的像素，R为右视点的像素。两个视点的图像像素按照图2中所示规律进行排列。以模式1为例，其立体视差图像周期性排列方式为：
以立体视差图像分辨率为1920*1080，左视点和右视点图像的分辨率也都为1920*1080为例，则此立体视差图像的第0、1、3、4、…、1917、1918列(共1280列)的像素值分别一一对应来自左视点图像的第0、1、3、4、…、1917、1918列(共1280列)，此立体视差图像的第2、5、…、1919列(共640列)的像素值分别一一对应来自右视点图像的第2、5、…、1919列(共640列)。
此时用户左眼位于左视点图像帧区间，右眼位于右视点图像帧区间，因此用户能够观看到良好的立体效果。当用户向右移动WS/2距离时，两眼都只能看到左视点图像，此时看到的是平面图像。当用户继续向右移动WS/2距离时，左眼看到右视点图像、右眼看到左视点图像，此时左右眼视图反转，将产生错误的立体视觉。因此当图1的动态调整模块5检测到人眼跟踪模块4传送的用户位置信息发生移动，将会调整立体视差图像的像素排列方式，从而实现最佳视点位置的改变。图2列出了根据用户位置的持续右移相应的6种立体视差图像的像素排列模式。以下分别对6种模式进行说明。
请参阅图3，图3是图2所示图像补偿方法的6种模式的模式1示意图。狭缝光栅的作用是实现左右视点图像的空间分离。此时像素排列周期规律为LLR。用户向左右两个方向各WS/4的空间距离内移动都能够看到良好的立体效果。注意图3下方的9个“WS/2”的水平度量在图3-图8中保持相对位置固定不变。当用户向右移动WS/2距离时，双眼看到的都是左视点图像。因而此时需要将右眼看到的左视点图像调整为右视点图像。亦即此时像素排列周期规律需从LLR切换为RLR。
请参阅图4，图4是图2所示图像补偿方法的6种模式的模式2示意图。此时像素排列周期规律为RLR。用户向左右两个方向各WS/4的空间距离内移动都能够看到良好的立体效果。当用户向右移动WS/2距离时，双眼看到的都是右视点图像。因而此时需要将左眼看到的右视点图像调整为左视点图像。亦即此时像素排列周期规律需从RLR切换为RLL。
请参阅图5，图5是图2所示图像补偿方法的6种模式的模式3示意图。此时像素排列周期规律为RLL。用户向左右两个方向各WS/4的空间距离内移动都能够看到良好的立体效果。当用户向右移动WS/2距离时，双眼看到的都是左视点图像。因而此时需要将右眼看到的左视点图像调整为右视点图像。亦即此时像素排列周期规律需从RLL切换为RRL。
请参阅图6，图6是图2所示图像补偿方法的6种模式的模式4示意图。此时像素排列周期规律为RRL。用户向左右两个方向各WS/4的空间距离内移动都能够看到良好的立体效果。当用户向右移动WS/2距离时，双眼看到的都是右视点图像。因而此时需要将左眼看到的右视点图像调整为左视点图像。亦即此时像素排列周期规律需从RRL切换为LRL。
请参阅图7，图7是图2所示图像补偿方法的6种模式的模式5示意图。此时像素排列周期规律为LRL。用户向左右两个方向各WS/4的空间距离内移动都能够看到良好的立体效果。当用户向右移动WS/2距离时，双眼看到的都是左视点图像。因而此时需要将右眼看到的左视点图像调整为右视点图像。亦即此时像素排列周期规律需从LRL切换为LRR。
请参阅图8，图8是图2所示图像补偿方法的6种模式的模式8示意图。此时像素排列周期规律为LRR。用户向左右两个方向各WS/4的空间距离内移动都能够看到良好的立体效果。当用户向右移动WS/2距离时，双眼看到的都是右视点图像。因而此时需要将左眼看到的右视点图像调整为左视点图像。亦即此时像素排列周期规律需从LRR切换为LLR。
通过上述的分析和设计，针对用户所处的不同位置，可以通过调整立体视差图像的像素排列方式实现连续最优的立体视觉体验。
进一步地，可以预先通过实验的方式，测定对于不同的立体视差图像的像素排列方式所适合的用户实际观看位置。这里的用户实际观看位置可以表征为用户在摄像头采集到的帧图像中人眼位置坐标值。并将此类信息存储在索引查找模块6内。例如可以形成对应表的形式，通过索引查找模块6查找对应表找到与用户观看位置对应的合适的立体视差图像的像素排列方式，从而通过动态调整模块5调整到该排列方式。使用户得到连续最优的立体视觉体验。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种用于跟踪式自由立体显示器的图像补偿方法，其特征在于，该图像补偿方法包括以下步骤：
获取用户的空间位置信息；
根据获取的用户空间位置信息对立体视差图像进行处理；
显示处理后的立体视差图像，以使当前位置的用户看到立体图像。
2.根据权利要求1所述的用于跟踪式自由立体显示器的图像补偿方法，其特征在于，所述对立体视差图像进行处理的步骤包括对左右立体视差图像像素周期性排列进行重新调整排列。
3.根据权利要求2所述的用于跟踪式自由立体显示器的图像补偿方法，其特征在于，所述左右立体视差图像像素周期性排列共有6种模式，分别为LLR、RLR、RLL、RRL、LRL、LRR，其中L为左视图像素，R为右视图像素。
4.根据权利要求2所述的用于跟踪式自由立体显示器的图像补偿方法，其特征在于，还包括对预先存储的用户空间位置信息和左右立体视差图像像素周期性排列方式的对应关系做对比的步骤。
5.根据权利要求2所述的用于跟踪式自由立体显示器的图像补偿方法，其特征在于，所述进行重新调整排列，其调整方法可以由硬件电路实现，也可以由软件编程实现。
6.根据权利要求5所述的用于跟踪式自由立体显示器的图像补偿方法，其特征在于，所述硬件电路实现可以是基于FPGA现场可编程门阵列对视频图像信号数据进行实时调整。
7.根据权利要求5所述的用于跟踪式自由立体显示器的图像补偿方法，其特征在于，所述软件编程实现可以是基于OpenCV开源计算机视觉库对视频图像信号数据进行实时调整。
CN201710045234.1A 2017-01-17 2017-01-17 一种用于跟踪式自由立体显示器的图像补偿方法 Pending CN106817511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710045234.1A CN106817511A (zh) 2017-01-17 2017-01-17 一种用于跟踪式自由立体显示器的图像补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710045234.1A CN106817511A (zh) 2017-01-17 2017-01-17 一种用于跟踪式自由立体显示器的图像补偿方法

Publications (1)

Publication Number Publication Date
CN106817511A true CN106817511A (zh) 2017-06-09

Family

ID=59112303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710045234.1A Pending CN106817511A (zh) 2017-01-17 2017-01-17 一种用于跟踪式自由立体显示器的图像补偿方法

Country Status (1)

Country Link
CN (1) CN106817511A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343193A (zh) * 2017-07-31 2017-11-10 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
WO2018141161A1 (zh) * 2017-02-06 2018-08-09 京东方科技集团股份有限公司 3d显示装置及其工作方法
CN109104603A (zh) * 2018-09-25 2018-12-28 上海玮舟微电子科技有限公司 一种视点补偿方法、装置、电子设备和存储介质
CN115499642A (zh) * 2022-03-22 2022-12-20 友达光电股份有限公司 立体显示系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497570A (zh) * 2011-12-23 2012-06-13 天马微电子股份有限公司 跟踪式立体显示装置及其显示方法
CN104519334A (zh) * 2013-09-26 2015-04-15 Nlt科技股份有限公司 立体图像显示装置、终端装置、立体图像显示方法及其程序
CN105828060A (zh) * 2015-01-22 2016-08-03 Nlt科技股份有限公司 立体显示装置及视差图像校正方法
US20170006279A1 (en) * 2015-07-02 2017-01-05 Dimension Technologies Inc. Single Person and Multiple Person Full Resolution 2D/3D Head Tracking Display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497570A (zh) * 2011-12-23 2012-06-13 天马微电子股份有限公司 跟踪式立体显示装置及其显示方法
CN104519334A (zh) * 2013-09-26 2015-04-15 Nlt科技股份有限公司 立体图像显示装置、终端装置、立体图像显示方法及其程序
CN105828060A (zh) * 2015-01-22 2016-08-03 Nlt科技股份有限公司 立体显示装置及视差图像校正方法
US20170006279A1 (en) * 2015-07-02 2017-01-05 Dimension Technologies Inc. Single Person and Multiple Person Full Resolution 2D/3D Head Tracking Display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾小名: "《中国优秀硕士论文全文数据库 信息科技辑》", 15 January 2014 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141161A1 (zh) * 2017-02-06 2018-08-09 京东方科技集团股份有限公司 3d显示装置及其工作方法
US11323681B2 (en) 2017-02-06 2022-05-03 Boe Technology Group Co., Ltd. 3D display device and working method thereof
CN107343193A (zh) * 2017-07-31 2017-11-10 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
CN107343193B (zh) * 2017-07-31 2019-08-06 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
CN109104603A (zh) * 2018-09-25 2018-12-28 上海玮舟微电子科技有限公司 一种视点补偿方法、装置、电子设备和存储介质
CN115499642A (zh) * 2022-03-22 2022-12-20 友达光电股份有限公司 立体显示系统及方法
CN115499642B (zh) * 2022-03-22 2023-09-08 友达光电股份有限公司 立体显示系统及方法

Similar Documents

Publication Publication Date Title
CN107071382B (zh) 立体图像显示装置
CN102098524B (zh) 跟踪式立体显示设备及跟踪式立体显示方法
CN107396087B (zh) 裸眼三维显示装置及其控制方法
JP6023801B2 (ja) シミュレーション装置
CN102045577B (zh) 用于三维立体显示的观察者跟踪系统及三维立体显示系统
US20040189796A1 (en) Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax
CN105739707B (zh) 电子设备、脸部识别跟踪方法和三维显示方法
US10356383B2 (en) Adjustment of perceived roundness in stereoscopic image of a head
TW201143369A (en) Glasses for viewing stereo images
CN102932662B (zh) 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法
CN105025289B (zh) 一种立体显示方法及装置
CN106817511A (zh) 一种用于跟踪式自由立体显示器的图像补偿方法
CN104111535A (zh) 一种符合视觉生理的图像显示方法及装置
CN115733967A (zh) 一种裸眼3d显示的人眼跟踪方法
Fang et al. An eye tracking database for stereoscopic video
CN116708746A (zh) 一种基于裸眼3d的智能显示处理方法
US10317689B2 (en) 3D display device and driving method thereof
CN202172467U (zh) 具人眼定位的光栅随动装置的显示器
CN107493465B (zh) 一种虚拟多视点视频生成方法
CN102006493A (zh) 一种3d视频图像的视差调节方法及装置
CN110381305A (zh) 裸眼3d的去串扰方法、系统、存储介质及电子设备
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
CN102724539B (zh) 一种3d显示方法及显示装置
CN103220544A (zh) 一种主动离轴平行式立体成像方法
CN103149697B (zh) 一种立体影像重现系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170609

WD01 Invention patent application deemed withdrawn after publication