CN106797462A - 多视图图像显示设备及其控制方法 - Google Patents

Abstract

公开了一种多视图图像显示设备。多视图图像显示设备包括：图像输入单元，用于接收图像；渲染单元，用于基于输入的图像的深度渲染不同视觉视图的多个视图；显示单元，用于显示基于构成多个视图的像素值生成的多视图图像；以及控制单元，用于通过将基于多个视图当中的特定视觉视图的像素值和与特定视觉视图相邻的视觉视图的像素值获得的混合像素值映射到至少一个目标像素区域来生成多视图图像。

Description

多视图图像显示设备及其控制方法

技术领域

与本公开一致的装置和方法涉及多视图图像显示设备及其控制方法，并且更具体地，涉及自动立体多视图图像显示设备及其控制方法。

背景技术

根据电子技术的发展，已经发展并普及了各种类型的电子设备。具体地，近年来已经快速发展了诸如TV的显示设备，其是在普通家庭中最常使用的家用电器之一。

随着显示设备的性能改进，显示设备上显示的内容的种类也已经不同地增加。具体地，最近还开发并普及了还可以观看3D内容的三维(3D)显示系统。

3D显示设备可以被实现为在普通家庭中使用的3D电视以及各种类型的显示设备，诸如各种监视器、蜂窝电话、PDA、PC、机顶盒PC、平板PC、电子相框、信息亭等。此外，3D显示技术可以在家庭中使用，并且可以用于需要3D成像的各种领域，诸如科学、医学、设计、教育、广告、计算机游戏等。

3D显示系统可以主要分类为可在没有眼镜的情况下可观看的自动立体系统和可通过佩戴眼镜观看的立体系统。

立体系统具有不便之处，即它可以提供令人满意的3D效果，但是观看者必须使用眼镜。相比之下，由于自动立体系统具有可以在没有眼镜的情况下观看3D图像的优点，所以关于自动立体系统的开发在持续讨论之中。

同时，常规自动立体系统具有的问题是，在提供诸如不连续视图转变的清晰3D图像时存在障碍，因为从用户的观看区域提供的光学视图的数量和用于生成多视图图像的所接收的图像视图的数量彼此相等。

发明内容

技术任务

本公开提供了一种多视图图像显示设备及其控制方法，其通过使用比光学视图的数量更多的所接收的图像视图生成多视图图像，提供清晰的3D图像。

解决技术问题的手段

根据本公开的一方面，一种多视图图像显示设备，包括：图像接收器，接收图像；渲染器，基于所接收的图像的深度渲染不同视点的多个视图；显示器，显示基于配置多个视图的像素值生成的多视图图像；以及控制器，通过将基于多个视图当中的特定视点的视图的像素值、以及特定视点的视图的相邻视点的视图的像素值获得的混合像素值映射到至少一个目标像素区域，生成多视图图像。

显示器可以包括：显示面板，显示多视图图像；以及视场分离器，设置在显示面板的前表面中，并且在用户的观看区域中提供不同视点的光学视图，并且用于生成多视图的多个视图的数量可以大于光学视图的数量。

控制器可以通过根据预定参考选择要映射到目标像素区域的特定视点的视图、在特定视点的所选择的视图和特定视点的视图的相邻视点的视图中设置与目标像素区域对应的源像素区域、然后将预定权重应用于设置的源像素区域，计算混合像素值。

控制器可以将包括与特定视点的所选择的视图和相邻视点的视图中的目标像素区域对应的像素区域、以及所述像素区域的相邻像素区域的像素区域，设置为源像素区域。

控制器可以通过在基于由多个视图中的每个的相同像素线配置的对极图像生成的对极域中设置三维(3D)区域、并且将预定权重应用于所设置的3D区域，计算混合像素值，所述三维区域包括与特定视点的所选择的视图以及相邻视点的视图中的每个相对应的源像素区域。

控制器可以通过将预定滤波器应用于3D区域来计算应用了预定权重的混合像素值。

预定滤波器可以是双线性内插滤波器。

用于计算混合像素值的特定视点的视图的相邻视点的视图可以包括特定视点的视图的在先视点的视图和在后视点的视图。

控制器可以计算红色(R)、绿色(G)和蓝色(B)当中的一个子像素单元中的混合像素值。

根据本公开的另一方面，一种多视图图像显示设备的控制方法，包括：基于接收到的图像的深度渲染不同视点的多个视图；基于配置多个渲染视图的像素值生成多视图图像；以及显示所生成的多视图图像，其中，在多视图图像的生成中，通过将基于多个视图当中的特定视点的视图的像素值、以及特定视点的视图的相邻视点的视图的像素值获得的混合像素值映射到至少一个目标像素区域，生成多视图图像。

显示设备可以包括：显示多视图图像的显示面板，以及视场分离器，其设置在显示面板的前表面中，并且在用户的观看区域中提供不同视点的光学视图，并且用于生成多视图的多个视图的数量可以大于光学视图的数量。

在多视图图像的生成中，可以通过根据预定参考选择要映射到目标像素区域的特定视点的视图、在特定视点的所选择的视图和特定视点的视图的相邻视点的视图中设置与目标像素区域对应的源像素区域、然后将预定权重应用于设置的源像素区域，计算混合像素值。

在多视图图像的生成中，可以将包括与特定视点的所选择的视图和相邻视点的视图中的目标像素区域对应的像素区域、以及所述像素区域的相邻像素区域的像素区域，设置为源像素区域。

在多视图图像的生成中，可以通过在基于由多个视图中的每个的相同像素线配置的对极图像生成的对极域中设置三维(3D)区域、并且将预定权重应用于所设置的3D区域，计算混合像素值，所述三维区域包括与特定视点的所选择的视图以及相邻视点的视图中的每个相对应的源像素区域。

在多视图图像的生成中，可以通过将预定滤波器应用于3D区域来计算应用了预定权重的混合像素值。

预定滤波器可以是双线性内插滤波器。

在多视图图像的生成中，可以通过将预定权重应用于在时间上彼此相邻的多个相邻帧的每个中设置的3D区域来计算混合像素值。

用于计算混合像素值的特定视点的视图的相邻视点的视图可以包括特定视点的视图的在先视点的视图和在后视点的视图。

在多视图图像的生成中，可以在红色(R)、绿色(G)和蓝色(B)当中的一个子像素单元中计算混合像素值。

发明效果

根据本公开的各种示例性实施例，可以改进由自动立体显示系统提供的3D图像的图像质量。

附图说明

通过参考附图描述本公开的某些示例性实施例，本公开的上述和/或其他方面将更加明显，附图中：

图1是示出为了便于理解本公开的多视图图像显示设备的操作的图；

图2a至图2c是示出根据本公开的示例性实施例的多视图图像显示设备的配置的图；

图3a和图3b是示出根据本公开的示例性实施例的像素映射方法的图；

图4a和图4b是详细示出根据本公开的各种示例性实施例的像素映射方法的图；

图5a至图5d是示出根据本公开的示例性实施例的使用对极域的像素映射方法的图；

图6a和图6b是示出根据本公开的示例性实施例的内插方法的图；

图7a和图7b是示出根据本公开的示例性实施例的内插类型的图；以及

图8是示出根据本公开的示例性实施例的多视图图像显示设备的控制方法的流程图。

具体实施方式

在下文中，将参考附图详细描述本公开的各种示例性实施例。

图1是示出用于便于理解本公开的多视图图像显示设备的操作的图。

图1示出根据本公开的示例性实施例的以自动立体(autostereoscopic)方案显示多视图图像并提供三维(3D)图像的设备的操作方案，其中多视图图像可以基于通过以不同的角度拍摄相同的对象而获得的多个图像来生成。也就是说，提供了以不同视点拍摄的多个图像以不同角度折射并聚焦到间隔开预定距离的位置(例如，约3米)的图像，该预定距离被称为所谓的观看距离。形成这种图像的位置被称为观看区域(或光学视图)。因此，当用户的一只眼睛位于第一观看区域处并且另一只眼睛位于第二观看区域处时，用户可以感觉到3D效果。

作为示例，图1是示出具有总共7个视点的多视图图像的显示操作的图。参考图1，自动立体3D显示设备可以将对应于7个视点的视点1的图像的光投射到左眼，并将对应于7个视点的视点2的图像的光投射到右眼。因此，由于用户在左眼和右眼处观看具有不同视点的图像，所以用户可以感觉到3D效果。

图2a至图2c是示出根据本公开的示例性实施例的多视图图像显示设备的配置的图。

图2a是示出根据本公开的示例性实施例的多视图图像显示设备的配置的框图。

参考图2a，多视图图像显示设备100包括图像接收器110、渲染器120、显示器130和控制器140。

多视图图像显示设备100可以被实现为诸如TV、监视器、PC、信息亭、平板PC、电子相框、蜂窝电话等的各种显示设备。

图像接收器110接收图像。具体地，图像接收器110可以从诸如外部存储介质、广播站、网络服务器等的各种各样的外部设备接收图像。这里，所接收的图像是单视点图像、立体图像和多视图图像中的任何一种图像。单视点图像是通过一般拍摄设备拍摄的图像，并且作为仅由左眼图像和右眼图像表示的3D视频图像的立体图像是由立体拍摄设备拍摄的3D图像。一般地，立体拍摄设备是包括两个透镜的拍摄设备，并且用于拍摄3D图像。另外，多视图图像意味着通过对由一个或多个拍摄设备拍摄的图像进行几何校正并对图像进行空间合成、向用户提供若干方向的各种视点的3D视频图像。

另外，图像接收器110可以接收图像的深度信息。一般地，图像的深度是分配给图像的像素中的每个的深度值。作为示例，8位的深度可以具有0至255的灰度值。例如，基于黑色和白色，黑色(低值)可以表示远离观看者的位置，并且白色(高值)可以表示靠近观看者的位置。

作为表示3D图像的深度的信息的深度信息是与构成3D图像的左眼图像和右眼图像之间的双眼视差程度相对应的信息。取决于深度信息，改变人感觉到的3D效果的程度。也就是说，在深度大的情况下，由于左眼和右眼之间的双眼视差大，所以人感觉到相对大的3D效果，并且在深度小的情况下，由于左眼和右眼之间的双眼视差小，所以人感觉到相对小的3D效果。深度信息通常可以通过仅使用图像的二维特征的被动方法(诸如立体匹配)、和使用诸如深度相机的器材的主动方法来获得。同时，深度信息可以具有深度图形式。深度图意味着包括对于图像的区域中的每个的深度信息的表。该区域也可以按像素单位分类，并且也可以被定义为大于像素单位的预定区域。根据一个示例，深度图可以具有这样的形式，其中基于灰度值0到255中的127或128作为参考值，即0(或焦平面)，小于127或128的值被表示为负(-)值，并且大于127或128的值被表示为正(+)值。焦平面的参考值可以在0和255之间任意选择。这里，负(-)值意味着凹陷，而正(+)值意味着突起。

渲染器120可以渲染具有不同视点的多个视图。

具体地，在2D图像的情况下，渲染器120可以基于从2D/3D转换提取的深度信息来渲染具有不同视点的多个视图。替代地，当输入具有不同视点的N个视图和与N个视图相对应的N个深度信息时，渲染器120可以基于输入的N个视图和深度信息中的至少一个图像和深度信息来渲染多视图图像。替代地，当仅输入具有不同视点的N个视图时，渲染器120可以从N个视图提取深度信息，然后基于提取的深度信息渲染多视图图像。

作为示例，渲染器120可以选择3D图像(即，左眼图像和右眼图像中的一个)作为参考视图(或中心视图)，以生成作为多视图图像的基础的最左视图和最右视图。在这种情况下，渲染器120可以基于与被选择为参考视图的左眼图像和右眼图像中的一个相对应的校正的深度信息，生成最左视图和最右视图。当生成最左视图和最右视图时，渲染器120可以通过在中心视图和最左视图之间生成多个内插视图、并且在中心视图和最右视图之间生成多个内插视图，渲染多视图图像。然而，渲染器120不限于此，而是还可以生成通过外插法生成的外插视图。同时，在基于2D图像和深度信息渲染多视图图像的情况下，也可以选择2D图像作为中心视图。

然而，上述渲染器120的详细操作仅仅是一个示例，并且渲染器120还可以通过除了上述操作之外的各种方法渲染多个视图。

同时，虽然在附图中未示出，但是多视图图像显示设备100还可以包括深度调整器(未示出)，其根据各种参考基于深度信息调整图像输入的深度，并且在这种情况下，渲染器120可以基于由深度调整器(未示出)调整其深度的图像来渲染多个视图。

显示器130用于提供多个光学视图(或观看区域)。为此，显示器130包括显示面板131和用于提供多个光学视图的视场分离器132。

显示面板131包括包括多个子像素的多个像素。这里，子像素可以包括红色(R)、绿色(G)和蓝色(B)。也就是说，包括R、G和B的子像素的像素可以沿多个行和列方向排布以配置显示面板131。在这种情况下，显示面板131可以以各种显示单元实现，所述显示单元诸如液晶显示(LCD)面板、等离子体显示面板(PDP)、有机发光二极管(OLED)、真空荧光显示器(VFD)、场致发射显示器(FED)、电致发光显示器(ELD)等。

显示面板131显示图像帧。具体地，显示面板131可以显示顺序地并重复地排布具有不同视点的多个视图的多视图图像帧。

同时，尽管在图2a中未示出，但是在显示面板131以LCD面板实现的情况下，显示设备100还可以包括：向显示面板131提供背光的背光单元(未示出)，和根据配置图像帧的像素中的每个的像素值来驱动显示面板131的像素的面板驱动器(未示出)。

视场分离器132可以设置在显示面板131的前表面上，以为每个观看区域提供不同的视点，即，光学视图。在这种情况下，视场分离器132可以以柱状透镜或视差屏障实现。

例如，视场分离器132可以以包括多个透镜区域的柱状透镜实现。因此，柱状透镜可以通过多个透镜区域折射显示面板131上显示的图像。透镜区域中的每个可以以对应于至少一个像素的尺寸形成，以使透射每个像素的光分散，从而对于观看区域中的每个而不同。

作为另一示例，视场分离器132可以以视差屏障实现。视差屏障以包括多个屏障区域的透明狭缝阵列实现。因此，视场分离器132可以通过屏障区域之间的狭缝阻挡光，以允许发射对于观看区域中的每个具有不同视点的图像。

图2b通过示例描述了根据本公开的示例性实施例的视场分离器132以柱状透镜阵列实现的情况。

参考图2b，显示器130包括显示面板131、柱状透镜阵列132'和背光单元133。

参考图2b，显示面板131包括被分为多个列的多个像素。对于每个列设置具有不同视点的图像。参考图2c，示出了顺序地并重复地设置具有不同视点的多个图像1、2、3和4的形式。也就是说，各个像素列被排布为编号为1、2、3和4的组。排布应用到面板的图形信号，使得像素列1显示第一图像，并且像素列2显示第二图像。

背光单元133向显示面板131提供光。通过从背光单元133提供的光在显示面板131上形成的各个图像1、2、3和4被投射到柱状透镜阵列132'，并且柱状透镜阵列132'分散各个投射的图像1、2、3和4的光，以在观看者的方向上传输光。也就是说，柱状透镜阵列132'在观看者的位置(即，观看距离)处生成出射光瞳(pupils)。如所示，可以设计在以柱状透镜实现视场分离器132的情况下的柱状透镜的厚度和直径、在以视差屏障实现视场分离器132的情况下的狭缝之间的间隔等，使得由各列生成的出射光瞳分离小于65mm的平均双眼中心距离。分离的图像光各自形成观看区域。也就是说，如图2b所示，在形成第一视图至第四视图并且用户的左眼和右眼分别位于第二视图和第三视图处的情况下，用户可以观看3D图像。

同时，视场分离器132可以被操作为以预定角度倾斜，以便改进图像质量。控制器140可以通过基于视场分离器132倾斜的角度划分由渲染器120渲染的多个视图中的每个、并组合划分的视图，生成多视图图像帧用于输出。因此，用户可以不观看相对于显示面板131的子像素在垂直方向或水平方向上显示的图像，而是可以观看在特定方向上倾斜的区域。因此，观看者可观看每个子像素的一部分，而不是一个完整的子像素。例如，当假设提供总共7个视点时，可以渲染输出图像，使得多个子像素中的至少一些的每个输出与多个视图相对应的像素值，如图2c所示。在这种情况下，在观看者的右眼观看视点1的图像并且左眼观看视点2的图像的情况下，观看者的右眼可以观看与视点1对应的倾斜区域10，并且左眼可以观看与视点2对应的倾斜区域20。然而，图2c的渲染图像作为一个示例而示出，并且可以取决于实现而不同地改变多个视图的数量、渲染间距等。

控制器140可以控制显示设备100的整体操作。

具体地，控制器140基于配置具有由渲染器120渲染的不同视点的多个视图的子像素值，生成要在显示器130上显示的多视图图像。

具体地，控制器140可以通过将混合像素值映射到至少一个目标像素区域来生成多视图图像，在所述混合像素值中，具有由渲染器120渲染的不同视点的多个视图当中的特定视点的视图的像素值、与该特定视点的视图的相邻视点的视图的像素值混合。在这种情况下，控制器140可以通过计算R、G和B当中的一个子像素单元中的混合像素值、并将计算的混合像素值映射到至少一个目标子像素区域，生成多视图图像。

也就是说，与通过将一个视点的视图的子像素值映射到特定子像素区域来生成用于输出的多视图图像的传统方法不同，控制器140可以通过混合与至少两个视点的视图对应的至少两个子像素值、并将混合的子像素值映射到特定子像素区域，生成要输出到显示器130的多视图图像。

例如，当控制器140计算要映射到要在显示器130上显示的多视图图像的(1,1)位置的R子像素的混合像素值时，控制器140可以通过混合所选择的第一视点的视图的(1,1)位置的R子像素的值和至少一个相邻视点处的视图的位置(1,1)的R子像素的值，计算混合像素值。

在这种情况下，控制器140可以通过根据预定参考选择要映射到目标像素区域的特定视点的视图、从所选择的特定视点的视图和特定视点的视图的相邻视点的视图设置对应于目标像素区域的源像素区域、然后将预定权重应用于设置的源像素区域，计算混合像素值。这里，特定视点的视图的相邻视点的多个视图可以与混合像素值的计算相关联。

例如，当在总共7个视点的视图当中选择视点2的视图作为要映射到多视图图像的预定目标子像素区域的视图时，控制器140可以通过将预定权重应用于与视点2的所选择的视图以及视点1的视图和视点3的视图对应的子像素区域，计算要映射到目标子像素区域的混合像素值，所述视点1的视图和视点3的视图是视点2的视图的相邻视点的视图。这里，预定权重可以以拉普拉斯滤波器、高斯滤波器、平滑滤波器等的形式应用。

另外，控制器140可以将包括与特定视点的所选择的视图和相邻视点的视图中的目标像素区域相对应的像素区域、以及与相对应的像素区域相邻的像素区域的像素区域，设置为源像素区域。

例如，当控制器140计算要映射到要在显示器130上显示的多视图图像的位置(1,1)的R子像素的混合像素值时，控制器140可以通过将针对相对应的R子像素区域预定的权重分别应用于所选择的第一视点的视图的位置(1,1)的R子像素、以及包括位置(1,2)的R子像素和位置(2,1)的R子像素的像素区域、和多个相邻视点的视图计算混合像素值。

在这种情况下，控制器140可以通过在基于在多个渲染视图中的每个的相同像素线中配置的对极图像而生成的对极域中设置3D区域、并将预定的权重应用于所设置的3D区域，计算混合像素值。也就是说，基于对极域的属性，当基于从对极域选择的特定视点的视图的特定子像素区域设置3D区域时，可以设置包括与特定视点的视图和相邻视点的视图中的每个对应的源像素区域的区域。下面将参考附图描述其详细描述。

控制器140可以通过将预定滤波器应用于在对极域中设置的3D区域来计算对其应用预定权重的混合像素值。这里，预定滤波器可以是双线性内插的形式，但不限于此。

另外，控制器140可以通过在时间上彼此相邻的多个相邻帧中的每个中设置源像素区域、并将源像素区域映射到至少一个目标像素区域，生成多视图图像。例如，控制器140可以通过将预定权重应用于在时间上彼此相邻的多个相邻帧的每个中通过上述方法设置的3D区域来计算混合像素值。也就是说，控制器140可以考虑诸如在先帧、在后帧等的其他相邻帧的像素值，而不是简单地基于当前帧，计算混合像素值，并且可以根据上述各种方法设置源像素区域。另外，可以不同地考虑混合像素值的计算所基于的帧的数量。

图3a和图3b是示出根据本公开的示例性实施例的像素映射方法的图。

图3a是示出根据本公开的示例性实施例的像素映射方法的图。

根据本公开的示例性实施例，从具有不同渲染视点的多个视图生成用于显示的多视图图像可以基于多个视图的数量和柱状透镜的间距。

为了方便说明，假设在图3a中，具有不同视点的多个视图311、312、...的数量是M，并且柱状透镜的间距覆盖4.6个子像素。在这种情况下，可以基于参考文献“Cees vanDerkel，“Image Preparation for 3D-LCD”，Electronic Imaging'99”中公开的方法来计算分配给像素(i，j)的位置的视图。

图3b是示出根据本公开的示例性实施例的用于计算子像素值的方法的图。

为了方便说明，图3b将描述具有不同视点的多个视图的数量为7(311至317)的情况。

如图3b所示，构成所显示的多视图图像320的子像素值不是基于一个视点图像计算的，而是可以基于具有不同视点的多个视图来计算。

例如，当确定视点1的视图的像素值映射到作为第一目标像素区域的第一R子像素321时，可以基于视点1的视图的像素值、以及作为相邻视点的视图的视点2的视图和视点7的视图的像素值，计算要映射到第一R子像素321的混合像素值。

另外，当确定视点2的视图的像素值映射到作为第二目标像素区域的第一G子像素322时，可以基于视点2的视图的像素值、以及作为相邻视点的视图的视点1的视图和视点3的视图的像素值，计算要映射到第一G子像素322的混合像素值。

另外，当确定视点3的视图的像素值映射到作为第三目标像素区域的第一B子像素323时，可以基于视点3的视图的像素值、以及作为相邻视点的视图的视点2的视图和视点4的视图的像素值，计算要映射到第一B子像素323的混合像素值。

另外，对于构成多视图图像320的其余子像素区域，可以以相同的方式执行像素映射。

在下文中，将参考附图详细描述用于将像素值映射到多视图输出图像的方法。

图4a和图4b是详细示出根据本公开的各种示例性实施例的像素映射方法的图。

根据本公开的示例性实施例，当确定视点1的视图410的像素值根据如图4a所示的预定参考(例如，上述参考文献)映射到作为多视图输出图像440的目标像素区域的第一R子像素441时，视点1的视图410的像素值、以及作为相邻视点的视图的视点2的视图420和视点7的视图430的像素值相混合的像素值可以映射到输出图像440的第一R子像素441。也就是说，视点1的视图410的第一R子像素值411、视点2的视图420的第一R子像素值421和视点7的视图430的第一R子像素值431根据预定权重相混合的像素值映射到第一R子像素441。

另外，根据本公开的另一示例性实施例，当确定视点1的视图410的像素值根据如图4b所示的预定参考(例如，数学表达式1)映射到输出图像440的第一R子像素441时，可以基于包括特定子像素和相邻子像素的像素区域410-1，基于视点1的视图410、以及与作为相邻视点的视图的视点2的视图420和视点7的视图430对应的像素区域420-1和430-1的特定子像素值，计算混合像素值。也就是说，视点1的视图410的特定R子像素区域410-1、视点2的视图420的特定R子像素区域420-1、以及视点7的视图430的特定R子像素区域430-1的R像素值根据预定权重相混合的像素值映射到第一R子像素441。

图5a至图5d是示出根据本公开的示例性实施例的使用对极域的像素映射方法的图。

如图5a所示，对极域510可以具有具有不同渲染视点的多个视图中的每个被排布在Y轴(视图轴)、并且视图中的每个的宽度和高度配置X-Z轴(宽度轴-高度轴)的形式。也就是说，组合多个视图中的每个中的相同像素线的图像可以配置X-Y轴，即宽度-高度轴。例如，多个视图中的每个中的相同像素线可以配置Y轴，即视图轴。

同时，根据本公开的示例性实施例，当确定特定视图的第一子像素512的值映射到要如图5a所示输出的多视图图像520的目标子像素区域(例如，第一子像素521)时，可以将第一子像素512的像素值和相邻视图的第一子像素511和513的像素值根据预定权重混合的混合像素值映射到要输出的多视图图像520的第一子像素521。在这种情况下，可以通过在对极域510中设置包括对应的子像素511、512和513的2D区域、并且将预定权重滤波器应用于设置的2D区域，计算混合像素值。

另外，根据本公开的另一示例性实施例，也可以如图5b所示基于参考视图和相邻视图中的对应子像素区域的子像素值、以及在每个视图中水平方向上的相邻子像素区域的子像素值，计算混合像素值。在这种情况下，可以通过在对极域510中设置包括对应子像素511、512和513以及在R子像素511、512和513的水平方向上的相邻像素514至519的2D区域、并且将预定的权重滤波器应用于设置的2D区域，计算混合像素值。

另外，根据本公开的另一示例性实施例，也可以基于参考视图和相邻视图中的对应子像素区域的子像素值、以及每个视图中的水平和垂直方向上的相邻子像素区域的子像素值，计算混合像素值。在这种情况下，可以通过在对极域510中设置包括对应子像素511、512和513、以及在R子像素511、512和513的水平和垂直方向上的相邻像素514至519的3D区域、并且将预定的权重滤波器应用于设置的3D区域，计算混合像素值。

另外，根据本公开的另一示例性实施例，可以如图5d所示基于当前帧的像素值以及在时间上彼此相邻的其他帧的像素值来计算混合像素值。在这种情况下，例如，可以通过在2k+1个相邻帧中的每个中设置包括对应子像素和在对应子像素的水平和垂直方向的至少一个上的相邻像素的3D区530、540和550、并将预定权重滤波器应用于在每个帧中设置的3D区域，计算混合像素值。

图6a和图6b是示出根据本公开的示例性实施例的内插方法的图。

图6a示出根据本公开的示例性实施例的正向映射(或源到目标映射)，其中可以计算接收的图像的所有像素的新坐标，并且可以将像素值复制到新的位置。例如，如图所示，可以通过将几何变换T应用于接收的图像中的每个像素的位置，从输出图像计算对应的目标位置。一般来说，目标位置(x'，y')不是单独的光栅点，并且接收的图像中的像素值可以复制到相邻目标像素中的一个。

图6b示出根据本公开的另一示例性实施例的反向映射(或目标到源映射)，其中可以通过将对应的反映射函数T^-1应用于输出图像中的每个像素的位置，计算接收的图像中的连续位置。可以通过在接收的图像中的(x，y)的相邻像素中的内插来计算新的像素值。

使用如图6a和图6b所示的内插，即使在图像的分辨率和显示器的分辨率不同的情况下，也可以计算新的像素值。

图7a和图7b是示出根据本公开的示例性实施例的内插类型的图。

根据本公开的示例性实施例，双线性内插可以应用于在对极域中设置以以执行子像素映射的区域。

例如，可以通过使用如图7a和图7b所示的函数执行双线性内插来计算混合像素值，但不限于此。

图8是示出根据本公开的示例性实施例的多视图图像显示设备的控制方法的流程图。

根据图8所示的多视图图像显示设备的控制方法，首先，基于接收的图像的深度来渲染具有不同视点的多个视图(S810)。

接下来，基于配置多个渲染视图的像素值生成多视图图像(S820)。在这种情况下，在S820中，可以通过将基于多个渲染视图当中的特定视点的视图的像素值、以及特定视点的视图的相邻视点的视图的像素值而生成的混合像素值映射到至少一个目标像素区域，生成多视图图像。在这种情况下，可以在R、G和B当中的一个子像素单元中计算混合像素值。

接下来，显示所生成的多视图图像(S830)。

这里，显示设备包括用于显示多视图图像的显示面板和设置在显示面板的前表面中并且在用户的观看区域中提供具有不同视点的光学视图的视场分离器，并且在S820中用于生成多视图图像的多个视图的数量可以大于在用户的观看区域中提供的光学视图的数量。

另外，在生成多视图图像的S820中，可以通过根据预定参考选择要映射到目标像素区域的特定视点的视图、从特定视点的所选择的视图和特定视点的视图的相邻视点的视图设置与目标像素区域对应的源像素区域、然后将预定权重应用于所设置的源像素区域，计算混合像素值。这里，用于计算混合像素值的特定视点的视图的相邻视点的视图可以包括特定视点的视图的在先视点的视图和在后视点的视图。

另外，在生成多视图图像的S820中，可以将包括与特定视点的所选择的视图和相邻像素区域的视图中的目标像素区域对应的像素区域、以及对应的像素区域的相邻像素区域的像素区域设置为源像素区域。

另外，在生成多视图图像的S820中，可以通过在对极域中设置包括与特定视点的所选择的视图和相邻视点的视图中的每个相对应的源像素区域的3D区域、以及将预定权重应用于所设置的3D区域，计算混合像素值，所述对极域基于由所述多个视图中的每个的相同像素线配置的对极图像生成。

在这种情况下，在生成多视图图像的S820中，可以通过将预定滤波器应用于在对极域中设置的3D区域来计算应用了预定权重的混合像素值。这里，预定滤波器可以是双线性内插滤波器。

另外，在生成多视图图像的S820中，可以通过将预定权重应用于在时间上相邻的多个相邻帧的每一个中设置的3D区域来计算混合像素值。

根据如上所述的本公开的各种示例性实施例，基于大于在用户的观看区域中提供的光学视图的数量的所接收的视图图像生成的多视图图像被映射到显示器，由此使得可以提供平滑的视图转变并除去由量化误差引起的角度混叠。因此，可以向用户提供清晰的3D图像。

根据上述各种示例性实施例的多视图图像显示方法可以在要提供给显示设备的程序中实现。

作为示例，可以提供具有其上存储有程序的非暂时性计算机可读介质，其中该程序执行基于接收的图像的深度渲染具有不同视点的多个视图的操作、以及通过将基于多个渲染视图当中的特定视点的视图的像素值和特定视点的视图的相邻视点的视图的像素值生成的混合像素值映射到至少一个目标像素区域来生成多视图图像的操作。

非暂时性计算机可读介质不意味着诸如寄存器、高速缓存、存储器等的短时期存储数据的介质，而是指半永久地存储数据的机器可读介质。具体地，上述各种应用或程序可以存储和提供在非暂时性计算机可读介质中，所述非暂时性计算机可读介质诸如光盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。

在上文中，尽管已经示出并描述了本公开的示例性实施例，但是应当理解，本公开不限于所公开的实施例，并且可以在不脱离本公开的精神和范围的情况下进行各种改变。因此，本公开应当被解释为包括在本公开的精神和范围内包括的所有改变、等同物和替代物。

Claims (15)

1.一种多视图图像显示设备，包括：

图像接收器，接收图像；

渲染器，基于所接收的图像的深度渲染不同视点的多个视图；

显示器，显示基于配置所述多个视图的像素值生成的多视图图像；以及

控制器，通过将基于多个视图当中的特定视点的视图的像素值、以及特定视点的视图的相邻视点的视图的像素值获得的混合像素值映射到至少一个目标像素区域，生成所述多视图图像。

2.根据权利要求1所述的多视图图像显示设备，其中，所述显示器包括：

显示面板，显示多视图图像；以及

视场分离器，设置在所述显示面板的前表面中，并且在用户的观看区域中提供不同视点的光学视图，并且

用于生成多视图的所述多个视图的数量大于光学视图的数量。

3.根据权利要求1所述的多视图图像显示设备，其中，所述控制器通过根据预定参考选择要映射到所述目标像素区域的所述特定视点的视图、在特定视点的所选择的视图和特定视点的视图的相邻视点的视图中设置与目标像素区域对应的源像素区域、然后将预定权重应用于设置的源像素区域，计算所述混合像素值。

4.根据权利要求3所述的多视图图像显示设备，其中，所述控制器将包括与所述特定视点的所选择的视图和所述相邻视点的视图中的目标像素区域对应的像素区域、以及所述像素区域的相邻像素区域的像素区域，设置为源像素区域。

5.根据权利要求4所述的多视图图像显示设备，其中，所述控制器通过在基于由所述多个视图中的每个的相同像素线配置的对极图像生成的对极域中设置三维(3D)区域、并且将预定权重应用于所设置的3D区域，计算所述混合像素值，所述三维区域包括与所述特定视点的所选择的视图以及相邻视点的视图中的每个相对应的源像素区域。

6.根据权利要求5所述的多视图图像显示设备，其中，所述控制器通过将预定滤波器应用于所述3D区域来计算应用了所述预定权重的混合像素值。

7.根据权利要求6所述的多视图图像显示设备，其中，所述预定滤波器是双线性内插滤波器。

8.根据权利要求5所述的多视图图像显示设备，其中，所述控制器通过将所述预定权重应用于在时间上彼此相邻的多个相邻帧的每个中设置的3D区域来计算所述混合像素值。

9.根据权利要求1所述的多视图图像显示设备，其中，用于计算所述混合像素值的特定视点的视图的相邻视点的视图包括所述特定视点的视图的在先视点的视图和在后视点的视图。

10.根据权利要求1所述的多视图图像显示设备，其中，所述控制器计算红色(R)、绿色(G)和蓝色(B)当中的一个子像素单元中的混合像素值。

11.一种多视图图像显示设备的控制方法，所述控制方法包括：

基于接收到的图像的深度渲染不同视点的多个视图；

基于配置多个渲染视图的像素值生成多视图图像；以及

显示所生成的多视图图像，

其中，在所述多视图图像的生成中，通过将基于所述多个视图当中的特定视点的视图的像素值、以及所述特定视点的视图的相邻视点的视图的像素值获得的混合像素值映射到至少一个目标像素区域，生成所述多视图图像。

12.根据权利要求11所述的控制方法，其中，所述显示设备包括：

显示所述多视图图像的显示面板，以及

视场分离器，其设置在所述显示面板的前表面中，并且在用户的观看区域中提供不同视点的光学视图，并且

用于生成多视图的所述多个视图的数量大于光学视图的数量。

13.根据权利要求11所述的控制方法，其中，在所述多视图图像的生成中，通过根据预定参考选择要映射到所述目标像素区域的所述特定视点的视图、在特定视点的所选择的视图和特定视点的视图的相邻视点的视图中设置与所述目标像素区域对应的源像素区域、然后将预定权重应用于设置的源像素区域，计算所述混合像素值。

14.根据权利要求13所述的控制方法，其中，在所述多视图图像的生成中，将包括与所述特定视点的所选择的视图和所述相邻视点的视图中的所述目标像素区域对应的像素区域、以及所述像素区域的相邻像素区域的像素区域，设置为所述源像素区域。

15.根据权利要求14所述的控制方法，其中，在所述多视图图像的生成中，通过在基于由所述多个视图中的每个的相同像素线配置的对极图像生成的对极域中设置三维(3D)区域、并且将预定权重应用于所设置的3D区域，计算所述混合像素值，所述三维区域包括与所述特定视点的所选择的视图以及所述相邻视点的视图中的每个相对应的所述源像素区域。