CN104299548B - 裸眼多视真三维显示系统的校正系统及实现方法 - Google Patents

Abstract

本发明公开一种裸眼多视真三维显示系统的校正系统及实现方法，其中，校正系统包括：图像采集装置、固定装置和处理装置，所述图像采集装置位于裸眼多视真三维显示系统的屏幕内侧，用于通过逆向采集的方式采集投影阵列中每个投影单元的投影图像；所述固定装置与所述图像采集装置相连，用于将所述图像采集装置固定在屏幕内侧；所述处理装置用于接收所述图像采集装置采集到的投影图像，进行校正预处理后，计算并根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在同一块矩形屏幕上。本发明从背面逆向自动采集每个投影单元投影出的原始图像进行校正，且每次校正不需要再调整图像采集装置位置，使用便捷，易于商业化。

Description

裸眼多视真三维显示系统的校正系统及实现方法

技术领域

本发明涉及真三维显示领域，特别涉及一种基于投影阵列的裸眼多视真三维显示系统的校正系统及实现方法。

背景技术

真三维显示技术可以同时为多个观众提供具有三维观感的物体或场景。裸眼多视真三维显示技术作为真三维显示技术的一个重要发展领域，已被国内外研究人员作为重点进行研究。裸眼多视真三维显示技术提供了符合人眼自然观察习惯的三维感知特征提示(Cue)，同时以投影阵列为主的显示方式简化了系统内显示部件中机械部件和显示屏幕的设计，增加了显示复杂纹理和大尺度真彩色三维内容的技术可能性，使显示系统更接近目前商用的平面显示器。

具体而言，基于投影阵列的裸眼多视真三维显示技术的基本概念如图1所示(图中以三个投影单元的情况为例进行说明)：假设三个观察位置观察到的图像分别为100、101、102，具有各向异性全息膜的屏幕103分别接收来自三个不同位置投影单元投影出的三幅图像104、105、106，这三幅图像每幅依次分别由A1、B1、C1，A2、B2、C2，A3、B3、C3三条图像带组成。由于各向异性全息膜表面具有特殊的微结构，使得不同方向投影过来的光线透过全息膜后会各自沿着不同的方向传播。这样理想情况下，可以使104、105、106这三幅投影图像经过屏幕103后重组的三幅图像100、101、102中的每幅依次分别由A1、B2、C3，A2、B3、C1，A3、B1、C2组成，这样如果事先准备好A1、B1、C1，A2、B2、C2，A3、B3、C3这三幅投影图像的内容，使得观察到的A1、B2、C3，A2、B3、C1，A3、B1、C2这三幅重组后图能准确地反应出被渲染物体或者场景在该位置应该被观察到的景象时，即可在观察者脑海中产生观察到物体或场景三维信息的感知。

实际情况下，由于向屏幕103投影图像的投影单元所处位置不同，即使三幅图中心点与103重合，其实际投影图像107、108、109呈现不规则四边形，都无法与103的矩形区域重合，且互相之间亦无法互相重合，如图2左边所示，这样无法满足裸眼多视真三维显示的图像生成条件。

因此需要引入校正系统，使其投影出的图像成为能够互相重合的矩形104、105、106，且其分别都与屏幕103的矩形区域相吻合，如图2右边所示。

一般而言，校正系统采用游离于系统之外的外置图像采集装置，设置在观众所站位置对投影单元原始图像采集后进行校正，每次校正需要调整图像采集装置的位置，如图3所示。而随着真三维显示技术的快速发展和真三维显示技术理论成果转化的市场化要求，迫切需要一种适用于裸眼多视真三维显示系统且易于集成的紧凑型校正系统。

发明内容

本发明要解决的技术问题就是克服现有技术的校正系统游离于裸眼多视真三维显示系统之外，且每次校正需要调整图像采集装置的位置的问题，提供一种内置一体化的校正系统及实现方法，以满足市场化需求。

为了解决上述问题，本发明提供一种裸眼多视真三维显示系统的校正系统，包括：图像采集装置、固定装置和处理装置，其中，

所述图像采集装置位于裸眼多视真三维显示系统的屏幕内侧，用于通过逆向采集的方式采集投影阵列中每个投影单元的投影图像；

所述固定装置与所述图像采集装置相连，用于将所述图像采集装置固定在屏幕内侧；

所述处理装置与所述图像采集装置和投影阵列相连，用于接收所述图像采集装置采集到的投影图像，进行校正预处理后，计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多视真三维显示系统的屏幕上。

优选地，当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所述图像采集装置设置在裸眼多视真三维显示系统的屏幕下方边缘处，朝向位于裸眼多视真三维显示系统后侧的反射镜，用于采集投影阵列通过反射镜投影到屏幕上的投影图像。

优选地，当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述图像采集装置设置在投影阵列一侧，朝向屏幕。

优选地，当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装置进一步用于，进行预处理时，对采集到的投影图像进行左右翻转处理。

优选地，当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所述处理装置进一步用于，进行预处理时，对采集到的投影图像进行上下翻转和左右翻转处理。

优选地，所述处理装置进一步用于，进行预处理时，对采集到的投影图像进行直方图均衡化或采集多幅图像再进行亮度均一化处理。

为了解决上述问题，本发明还提供一种裸眼多视真三维显示系统的校正系统的实现方法，包括：

图像采集装置通过逆向采集的方式采集投影阵列中每个投影单元的投影图像，发送至处理装置；

所述处理装置将接收到的投影图像进行校正预处理，然后计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多视真三维显示系统的屏幕上。

优选地，当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装置将接收到的投影图像进行校正预处理的步骤包括：

对采集到的投影图像进行左右翻转处理。

优选地，当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所述处理装置将接收到的投影图像进行校正预处理的步骤包括：

对采集到的投影图像进行上下翻转和左右翻转处理。

优选地，所述处理装置将接收到的投影图像进行校正预处理的步骤还包括：

对采集到的投影图像进行直方图均衡化或采集多幅图像再进行亮度均一化处理。

本发明将外置的校正系统移入系统内部固定位置，从背面逆向自动采集每个投影单元投影出的原始图像进行校正，且每次校正不需要再调整图像采集装置位置，使用便捷，易于商业化。

附图说明

图1是由投影阵列提供图像的一种典型裸眼三维显示原理示意图；

图2是基于投影阵列的裸眼多视真三维校正示意图；

图3现有技术的基于投影阵列的裸眼多视真三维显示系统的外置分立式校正系统示意图；

图4是本发明实施例一的基于投影阵列的裸眼多视真三维显示系统的内置一体化校正系统示意图；

图5是本发明实施例二的基于投影阵列的裸眼多视真三维显示系统的内置一体化校正系统示意图；

图6是校正角点数据对示意图；

图7是校正像素重新定位示意图。

具体实施方式

下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

投影单元中的投影仪投影出的图像是随着光程增大而扩展的，因此若投影镜头平面与投影屏幕平面不平行，则投影图像会发生畸变，由矩形变成不规则矩形。因此需要增加校正系统对投影单元的图像进行逐个校正。校正系统需要知道每个投影单元投影出的未经校正图像和屏幕实际位置关系，再以屏幕所在矩形为标准将投影图像校正到与其完全吻合。

校正系统中一般包含一个图像采集装置、固定图像采集装置的固定装置和处理装置，图像采集装置采集投影图像，处理装置根据采集到的投影图像识别出屏幕四个角点，并判断出其在投影图像中的坐标，即可利用图像坐标系中四个边角的坐标和屏幕四个边角在图像坐标系中的坐标，通过投影变换算法将不规则的四边形投影图像变换到规则的投影屏幕矩形中。由于屏幕四个边角在空间中的位置固定，所以不同投影单元按照上面方法进行校正，最终得到的校正后投影图像不仅和屏幕所在矩形吻合，互相之间也相互吻合，即达到图2右边的效果。

如图3所示，一般图像采集装置采集用于识别屏幕角点的投影图像时被置于系统屏幕的正前方，这样进行校正时方便调整，采集图像。但每次需要采集时，需要重新设置调整校正系统；且校正系统游离于整个系统之外，无法集成成为一体。

本发明提出一种裸眼多视真三维显示系统的内置一体化校正系统，在系统内部设置摄像头，合理利用系统内部有限的空间，在不干涉投影光路的前提下，以从内向外的拍摄路径获取每个投影仪投影出的大致重合在显示屏幕上的四边形区域，运用投影阵列校正算法将每个投影单元投影出的不规则矩形校正为能够全部准确重合在显示屏幕上的规则矩形，以解决前述裸眼多视真三维显示系统中的几个问题。

本发明将校正系统置于整个系统内部，在不遮挡内部投影阵列光路的情况下，从内部反向采集图像，如图4和图5所示，本发明实施例的校正系统包括：图像采集装置200、固定装置205和处理装置(图中未示出)，其中，图像采集装置200位于裸眼多视真三维显示系统的屏幕103内侧，通过逆向采集的方式采集投影阵列中每个投影单元的投影图像；固定装置205与图像采集装置200相连，将图像采集装置200固定在屏幕103内侧；处理装置与图像采集装置200和投影阵列202相连，接收图像采集装置200采集到的投影图像，进行校正预处理后，计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在同一块矩形屏幕103上。

其中，图像采集装置200一般指小型摄像头，通过USB或网线与处理装置相连。处理装置可以是电脑或者其他处理平台。

实施例一

如图4所示，系统为了达到较高的裸眼三维多视显示效果，采用依靠反射镜折叠光路的紧凑式小空间布局，即在裸眼多视真三维显示系统201中增加反射镜203，图4中给出了反射镜203一个典型的放置位置。

系统201内部狭小的空间会限制内置式的校正系统的摆放位置，一般难以使图像采集装置200直接对准屏幕103进行校正图像的采集而不遮挡投影阵列202的成像光路。因此可以考虑利用反射镜203折叠采集路径，这样也可以方便地将图像采集装置固定在系统201的边缘，不对投影阵列202的成像路径产生遮挡。图4给出了一种典型的集成化的裸眼多视真三维显示系统中内置式校正系统的固定方式：图像采集装置200固定在裸眼多视真三维显示系统的屏幕下方边缘处，固定装置205可以通过螺丝和系统201外壳进行连接，并把图像采集装置200朝向位于系统201后侧的反射镜203，用于采集投影阵列202通过反射镜203投影到103上的投影图像，同时图像采集装置200和固定装置205不会对投影阵列202的成像光路产生遮挡。

实施例二

如图5所示，裸眼多视真三维显示系统采用不翻折光路的布局，系统占用较大空间，使投影阵列202在不翻折光路的情况下进行投影显示，此时校正系统中的固定装置205可以将采集装置200置于投影阵列202的一侧，朝向屏幕103，以获得足够的距离采集到投影到屏幕103上的校正图像。

在这两种采集方式下，校正系统的采集方向是从系统201内部向外进行逆向采集，同时在紧凑布局下图像还经过了镜像，因此需要对原始图像进行校正预处理，再按照之前的校正步骤进行校正。

具体地，裸眼多视真三维显示系统的校正系统的实现方法，包括如下步骤：

图像采集装置200通过逆向采集的方式采集投影阵列202中每个投影单元的投影图像，发送至处理装置；

所述处理装置将接收到的投影图像进行校正预处理，然后计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多视真三维显示系统的屏幕上。

我们所采用的校正算法需要知道每个投影单元投影出的未经校正图像和屏幕实际位置关系，这里采用屏幕的四个角点和图像边缘的四个角点作为比较的参照点组。如图6所示，以投影图像的坐标系XY为基准，那么未经校正的投影图像边缘四个角点I_i，i＝1，2，3，4的坐标按照逆时针方向排序分别为：

其中M、N分别为图像的横向和纵向分辨率，为事先根据图像分辨率预先设定的；而图像采集装置200识别到的屏幕103边缘的四个角点O_i，i＝1，2，3，4在投影图像坐标系中的坐标分别为：

其中每个坐标点由图像采集装置识别得到。虽然屏幕103是固定的，但由于投影阵列202中每个投影单元位置不同，投影图像坐标系的位置各异，所以对于不同投影单元，屏幕103的边缘四个角点坐标也各不相同。因此需要对所有投影单元进行逐一校正，在有n个投影单元的情况下共得到n组数据；而对于投影图像而言，在分辨率相同的情况下图像边缘四个角点的坐标都是相同的。这样经过图像采集装置的采集，处理装置的识别后，一共得到n对数据对，每对数据对包括在图像坐标系下投影图像四个边缘角点和屏幕边缘四个角点的坐标。利用投影变换公式：

上式中w为比例系数，通过矩阵变换算法可以消去该参数,再将每个投影单元的数据对和代入可得8个可以联立的方程，方程中待求投影变换系数矩阵M_coefficient中未知参数的个数也为8个，即可以此方法求出n组投影单元的投影变换系数矩阵M_coefficient。得到系数矩阵后，利用其对每个投影单元投影图像中每个像素位置进行重新定位：

其中M、N仍为图像的横向和纵向分辨率。投影图像上每个像素以显示屏幕103的四个边缘角点为基准重新定位后，就由不规则的四边形变成和显示屏幕103相吻合的矩形，其中每个像素校正前后的位置变化如图7所示：投影图像中所有像素在未经校正情况下呈现如图7中左边不规则四边形分布，经过校正后重新排列呈现如图7中右边和屏幕103相吻合的矩形分布，满足裸眼多视真三维显示的图像生成条件。

按照图4和图5所示的内置式校正设计进行校正时，需要对采集到的图像进行校正预处理。预处理的步骤主要包括以下几步；

图像翻转：图5所示的内置一体化校正系统设计，其逆向拍摄到的镜像图像和图3直接拍摄的图像相比，图像经过了左右颠倒；而图4所示紧凑布局下的内置一体化校正系统，图像在左右颠倒的情况下还经过了上下颠倒。为了不影响标识点的位置，需要先对校正图像进行上下或者左右的翻转，再按照上面的校正步骤进行处理；

图像亮度调整：图4和图5所示的内置式校正系统设计，其拍摄的镜像图像亮度和图3直接拍摄的图像相比会有差异，会影响对采集到的校正图像中屏幕103标识点位置的识别，因此需要对采集图像进行直方图均衡化或是采集多幅图像再进行亮度均一化处理，之后再按照上面的校正步骤进行处理。

上述实施例详细阐述了本发明声明的适用于裸眼多视真三维显示系统的内置一体化校正系统设计，相对一般的外置分立式校正系统，本发明针对其无法与系统集成，每次需要手动摆放、调整等不足之处，将校正系统置于整个系统内部，在不遮挡内部投影阵列光路的情况下，从内部反向采集图像，并对此种情况下采集到的校正图像进行校正预处理，使其也能通过一般的校正步骤进行校正。相比于分离外置式校正系统，本发明设计的内置校正系统更加符合目前常用裸眼多视真三维显示系统紧凑式一体化集成设计原则。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种裸眼多视真三维显示系统的校正系统，包括：图像采集装置、固定装置和处理装置，其特征在于，

所述图像采集装置位于裸眼多视真三维显示系统的屏幕内侧，用于通过逆向采集的方式采集投影阵列中每个投影单元的投影图像；

所述固定装置与所述图像采集装置相连，用于将所述图像采集装置固定在屏幕内侧；

所述处理装置与所述图像采集装置和投影阵列相连，用于接收所述图像采集装置采集到的投影图像，进行校正预处理后，计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多视真三维显示系统的屏幕上；

当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所述图像采集装置设置在裸眼多视真三维显示系统的屏幕下方边缘处，朝向位于裸眼多视真三维显示系统后侧的反射镜，用于采集在所述投影阵列通过所述反射镜投影到所述屏幕上时所述反射镜上的图像。

2.如权利要求1所述的校正系统，其特征在于，

当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述图像采集装置设置在投影阵列一侧，朝向屏幕。

3.如权利要求1所述的校正系统，其特征在于，

当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装置在进行预处理时，对采集到的投影图像进行左右翻转处理。

4.如权利要求1所述的校正系统，其特征在于，

当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所述处理装置在进行预处理时，对采集到的投影图像进行上下翻转和左右翻转处理。

5.如权利要求1～4中任意一项所述的校正系统，其特征在于，

所述处理装置在进行预处理时，对采集到的投影图像进行直方图均衡化或采集多幅图像再进行亮度均一化处理。

6.一种裸眼多视真三维显示系统的校正系统的实现方法，包括：

图像采集装置通过逆向采集的方式采集投影阵列中每个投影单元的投影图像，发送至处理装置；

所述处理装置将接收到的投影图像进行校正预处理，然后计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多视真三维显示系统的屏幕上；

所述图像采集装置设置在裸眼多视真三维显示系统的屏幕下方边缘处，朝向位于裸眼多视真三维显示系统后侧的反射镜，用于采集在所述投影阵列通过所述反射镜投影到所述屏幕上时所述反射镜上的图像。

7.如权利要求6所述的实现方法，其特征在于，

当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装置将接收到的投影图像进行校正预处理的步骤包括：

对采集到的投影图像进行左右翻转处理。

8.如权利要求6所述的实现方法，其特征在于，

当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所述处理装置将接收到的投影图像进行校正预处理的步骤包括：

对采集到的投影图像进行上下翻转和左右翻转处理。

9.如权利要求7或8所述的实现方法，其特征在于，

所述处理装置将接收到的投影图像进行校正预处理的步骤还包括：

对采集到的投影图像进行直方图均衡化或采集多幅图像再进行亮度均一化处理。