CN103037236A - 图像处理方法以及装置 - Google Patents

Abstract

本发明提供一种基于视差信息的图像处理方法以及装置，其中，该图像处理方法包括获得视差信息；以及根据该视差信息来对输入图像数据执行一图像处理操作，以产生输出图像数据。该技术方案通过使用视差信息对输入图像数据进行图像处理，使得产生的输出图像数据能带来更好的视觉效果。

Description

图像处理方法以及装置

技术领域

本发明有关于一种图像处理技术，尤其涉及一种基于视差信息的图像处理方法以及相关装置。

背景技术

随着显示技术的发展，用户更加追求立体感强且更真实的图像显示，而不是高质量的图像。现有技术中有两种提供3D（three-dimensional）视频显示的技术。一种是使用一3D显示装置，该3D显示装置与眼镜（比如，快门眼镜（shutter glasses））协作使用，另一种是直接使用3D显示装置，该3D显示装置不需使用眼镜。无论哪种技术被使用了，3D图像显示的主要理论是使左眼与右眼看到不同的图像，使得大脑将从两个眼睛看到的不同图像作为一3D图像。传统的3D显示设计直接的显示原始的左眼图像以及右眼图像，该原始的左眼图像以及右眼图像由一3D视频源提供。然而，在原始的左眼图像以及右眼图像显示在3D显示装置上之前，如果对原始的左眼图像以及右眼图进行处理，以增强3D视觉效果，用户可以具有更好的3D视觉体验。

一般而言，为了观看该3D图像，用户需要有3D视频播放装置，比如一3D电视。如果用户有一典型的2D(two-dimensional)显示装置，例如2D电视，即使视频输入由一3D视频源提供，用户也只能得到2D视觉体验。例如，仅仅被3D视频源提供的左眼图像或者右眼图像显示在2D电视上。传统的2D显示设计直接的显示由3D视频源提供的原始左眼图像/右眼图像。相似的，如果在由3D视频源提供的原始左眼图像/右眼图像在2D电视上显示之前，对该原始左眼图像/右眼图像处理以增强2D视觉效果，用户可以具有更好的2D视觉体验。

所以，需求一种新的图像处理方案，该图像处理方案通过对输入图像进行图像处理并产生输出图像到该2D/3D显示装置，以增强2D/3D视觉效果，使得用户具有更好的2D/3D视觉体验。

发明内容

本发明提供一种基于视差信息的图像处理方法以及装置，以解决上述技术问题。

本发明的一方面提供一种图像处理方法，该图像处理方法包括：获得视差信息；以及根据该视差信息对输入图像数据执行一图像处理操作，以产生输出图像数据。

本发明另一方面提供一种图像处理装置，该图像处理装置包括：一视差信息采集电路以及一图像处理电路，该视差信息采集电路用于获得视差信息。该图像处理电路与该视差信息采集电路耦接，用于根据该视差信息处理输入图像数据，以产生输出图像数据。

上述图像处理方法以及图像处理装置通过使用视差信息对输入图像数据进行图像处理，使得产生的输出图像数据能带来更好的视觉效果。

附图说明

图1为本发明一实施例提供的图像处理装置的示意图；

图2为图1中的视差信息采集电路的第一实施例的示意图；

图3为图1中的视差信息采集电路的第二实施例的示意图；

图4为一种产生视差信息的示意图；

图5为另一种产生视差信息的示意图；

图6为图1中图像处理电路104执行的基于视差的图像处理操作的第一实施例的示意图；

图7为图1中图像处理电路104执行的基于视差的图像处理操作的第二实施例的示意图；

图8为图1中图像处理电路104执行的基于视差的图像处理操作的第三实施例的示意图；

图9为图1中图像处理电路104执行的基于视差的图像处理操作的第四实施例的示意图；

图10为图1中图像处理电路104执行的基于视差的图像处理操作的第五实施例的示意图；

图11为图1中图像处理电路104执行的基于视差的图像处理操作的第六实施例的示意图；

图12为图1中图像处理电路104执行的基于视差的图像处理操作的第七实施例的示意图；

图13为图1中图像处理电路104执行的基于视差的图像处理操作的第八实施例的示意图；

图14为图1中图像处理电路104执行的基于视差的图像处理操作的第九实施例的示意图；

图15为图1中图像处理电路104执行的基于视差的图像处理操作的第十实施例的示意图；

图16为图1中图像处理电路104执行的基于视差的图像处理操作的第十一实施例的示意图。

具体实施方式

具体实施方式以及所附权利要求中所使用的特定术语指特定的元件。本领域技术人员应当理解的是，生产商可以对一元件使用不同的名字。本申请不以元件采用不同名字来区分元件，而是以元件间功能的不同来区分元件。在如下具体实施方式以及权利要求中，术语“包含”以及“包括”是一开放式限定，应该被理解成“包括但不限于”。术语“耦接”应该被理解为直接或者间接的电连接。相应的，如果一个装置被电连接到另一个装置，该连接可以是一直接的电连接，也可以是通过采用其他装置或者连接的一间接的电连接。

本发明的主要概念是接收多视角图像（比如，包括多个图像对的立体图像，其中，每个图像对具有一左眼图像以及一右眼图像），并根据所接收的其他图像来增强一个已接收的图像。具体来说，本发明提出了通过参考视差信息（disparity information）对输入图像进行图像处理，从而产生具有增强的图像质量的输出图像。根据视差信息，使用一个或者多个图像处理/调整方案来调整一输入图像中的像素。以这种方式，当输出图像显示在显示装置上时，用户具有更好的视觉体验。如下将描述本发明的具体实施细节。

图1是根据本发明一实施例示出的一图像处理装置示意图，该示例性的图像处理装置100包括但不限于：一视差信息采集电路（disparityinformation acquisition circuit）102，一图像处理电路104，一接收电路106和一输出电路108。该视差信息采集电路102用于获得视差信息DI。该接收电路106用于接收多视角图像IMG₀-IMG_N，以及提供输入图像数据IMG_IN（例如，该接收的多视角图像中的一个输入图像）给图像处理电路104。图像处理电路104与视差信息采集电路102以及接收电路106耦接，并且用于根据视差信息DI来处理输入图像数据IMG_IN，并相应的产生输出图像数据IMG_OUT（例如，由处理一个输入图像所获得的一个或者多个增强的输出图像）。输出电路108与图像处理电路104耦接，并且用于发送输出图像数据IMG_OUT到一显示装置101来播放。简单的说，图像处理电路104参考视差信息DI来决定如何调整该输入图像数据IMG_IN以获得增强的图像质量。

图2是图1中视差信息采集电路102的第一实施例的示意图。如图所示，该视差信息采集电路102是接收接口（receiving interface）202的一部分。所以，该视差信息采集电路102接收该由一具有视差计算能力的外部装置（图中未示出）提供的视差信息DI，并且提供该接收的视差信息DI到该图像处理电路104。例如，该视差信息DI可以包括对应多个像素的视差矢量（disparity vectors），如图2所示。然而，这种视差信息DI的记录格式仅供参考，不是对本发明的限制。也就是说，该视差信息DI可以使用任何能够被图像处理电路104认识/支持的格式所记录。所以，通过参考视差信息DI，该图像处理电路104能够较容易的知道将要处理的每一像素的一视差值。

图3是图1中视差信息采集电路102的第二实施例的示意图。如图所示，接收电路106也耦接到该视差信息采集电路102。所以，该视差信息采集电路102通过处理图像获得该视差信息DI，该图像为接收装置106接收的多视角图像IMG₀-IMG_N中的图像。换句话说，该视差信息采集电路102配置有视差计算能力，并且用于计算图像处理电路104所需要的视差信息DI。

理想的视差信息可以通过从两个或者更多多视角图像来计算。考虑这样一种情况，多视角图像IMG₀-IMG_N包括一左眼图像以及一右眼图像。例如，使用不同的摄像机同时捕获一个左眼图像和一个右眼图像。该视差信息采集电路102处理包括一左眼图像和一右眼图像的图像对，以获得视差信息DI。请参考图4，图4是一产生视差信息的一示例性的示意图。图像IMG_1以及IMG_2中的一个是左眼图像，另一个右眼图像。步骤402，视差信息采集电路102比较图像IMG_1中的像素与图像IMG_2中的像素，并且根据分别在图像IMG_1和IMG_2中发现的相匹配像素的像素位移（pixel displacement）来确定视差。其中，可能图像IMG_1和IMG_2中一个图像中的某个像素在图像IMG_1和IMG_2中另一个图像中没有匹配的像素。步骤404（可选步骤），确定没有匹配的像素的像素视差，例如，基于多个邻居像素的视差值来执行内插（interpolation）。在步骤402，或者步骤402以及步骤404之后，视差信息采集电路102获得了后续的图像处理电路104需要的理想视差信息，图像处理电路104后续使用该理想视差信息处理图像IMG_1和IMG_2中的至少一个图像。

考虑另一种情况，多视角图像IMG₀-IMG_N包括多于两个的图像。例如，单个摄像机在不同的时间点拍摄的对应不同的视觉角度的图像。所以，视差信息采集电路102处理对应不同的视觉角度的三个以上图像（包括三个图像），以获得视差信息DI。请参考图5，图5示出了视差信息产生的另一示例。为了清楚以及简洁，图5仅仅示出三个图像IMG_1、IMG_2以及IMG_3。其中，图像IMG_1、IMG_2以及IMG_3对应不同的视觉角度，比如，左边视角图像，中间视角图像（middle view），以及右边视角图像。在该实施例中，步骤502，视差信息采集电路102将图像IMG_1中的像素与图像IMG_2中的像素进行比较，根据图像IMG_1和图像IMG_2中相匹配像素的像素位移来确定视差。如上所述，可能图像IMG_1和IMG_2中一个图像中的某一像素在图像IMG_1和IMG_2中另一个图像中没有匹配像素。步骤504（可选步骤），确定没有匹配像素的像素视差，例如，参考通过使用图像IMG_2和IMG_3发现的视差信息。在步骤502或者步骤502以及步骤504之后，视差信息采集电路102获得了后续的图像处理电路104需要的理想视差信息，图像处理电路104后续使用该理想视差信息处理图像IMG_1、IMG_2以及IMG_3中的至少一个图像。

在以上图4以及图5所示的实施例中，仅仅使用空间信息确定视差信息，该空间信息是通过利用不同视角图像所获得的。可选的，也可以利用时间信息（temporal information）确定视差信息，该时间信息是通过利用相同视角的不同图像所获得的。在一个可选的设计中，使用多个多视角图像确定时间信息以及空间信息，根据该时间信息以及空间信息确定视差信息，以此实现获得视差信息的目地。

在接收到由视差信息采集电路102产生的视差信息之后，图像处理电路104根据视差信息DI处理输入图像数据IMG_IN，以产生输出图像数据IMG_OUT。假定显示装置101是一2D显示装置，并且从一3D视频输入获得多视角图像IMG₀-IMG_N，图1中的图像处理电路104用于根据视差信息DI来处理图4中图像IMG_1以及IMG_2中的一个图像，相应的产生一个或者多个2D输出图像到显示装置101以用于2D播放。例如，根据视差信息DI处理图像IMG_1以及IMG_2中的一个图像，可以获得动画的GIF图像（animated GIF image），并且将其显示在2D显示装置上，从而呈现一类似3D图像输出给用户。相似的，关于图5所示的示例性视差计算例子，图像处理电路104用于根据视差信息DI处理图5中图像IMG_1以及IMG_2中的一个图像，并且相应的产生一个或者多个2D输出图像到显示装置101以用于2D播放。相比于直接显示立体图像/多视角图像中的一个到一2D显示装置这个传统设计，该图像处理装置100通过输出一个或者多个增强的图像到该显示装置101，能够增强2D图像质量。如下，将描述图像处理电路104执行基于视差的图像处理操作的几个例子。

图6示出了图1中图像处理电路104执行的基于视差的图像处理操作的第一实施例。该图像处理电路104用于根据视差信息DI（例如一要被处理的像素P的一视差值）获得一目标内核滤波器（target kernel filter）602，然后通过一调整单元（例如一乘法器（multiplier）604）将该目标内核滤波器应用到输入图像数据IMG_IN的一个或者多个像素。在该实施例中，目标内核滤波器的大小为5x5。所以，图像处理单元104参考视差信息DI（例如要被处理的该像素P的视差值），计算目标内核滤波器602的系数（coefficient）。然后，对输入图像数据IMG_IN的5×5区间606内的像素使用目标内核滤波器602，其中，5×5区间606的中心是要被处理的像素P。将目标内核滤波器602确定的像素值分配给输出图像数据IMG_OUT的像素P。

需要说明的是，目标内核滤波器602的大小并不限于5×5。在实践中，目标内核滤波器602的大小是可调整的，其依赖实际的设计考虑/需要。换句话说，目标内核滤波器602的大小是M×M，其中，M是任意正整数。例如，目标内核滤波器602的大小是3×3，以满足一个应用的需要，目标内核滤波器602的大小是7×7，以满足另一个应用的需要。

在一个示例性设计中，被图像处理电路104动态计算的可用于某一像素的目标内核滤波器602可以是锐化滤波器（sharpness filter）。所以，当图像信息DI指示要被处理的像素P具有一较大视差值时，图像处理电路104产生一较清楚的滤波输出。

在另一个示例性设计中，被图像处理电路104动态计算的目标内核滤波器602可以是模糊滤波器（blur filter）。所以，当图像信息DI指示要被处理的像素P具有一小视差值时，图像处理电路104产生一比较模糊的滤波输出。

图7示出图1中图像处理电路104执行的基于视差的图像处理操作的第二实施例。该图像处理电路104用于根据每一像素的视差信息DI（例如一要被处理的像素P的一视差值）获得用于该像素的一目标内核滤波器（target kernel filter）703，然后通过乘法器（multiplier）604将该目标内核滤波器应用到输入图像数据IMG_IN的一个或者多个像素。图6以及图7所示实施例的主要差别是：图7中的图像处理电路104被配置进一步包括多个预定义的内核滤波器701_1,701_2…701_N以及一选择单元702。选择单元702用于参考视差信息DI(例如要被处理的像素P的视差值)来选择预定义的内核滤波器701_1,701_2…701_N中的一个作为目标内核滤波器。类似的，如图7所示，每一个预定义的内核滤波器701_1,701_2…701_N的大小为5×5。所以，目标内核滤波器702被用于5×5区间606中的像素，其中，像素P为该5×5区间606的中心。然后，目标内核滤波器703确定的像素值将被分配给输出图像数据IMG_OUT中的像素P。

需要说明的是，每一个预定义的内核滤波器701_1,701_2…701_N的大小并不限于5×5。在实践中，预定义的内核滤波器的大小是可调整的，其依赖实际的设计考虑/需要。换句话说，每一个预定义的内核滤波器701_1,701_2…701_N的大小是M×M，其中，M是任意正整数。例如，每一个预定义的内核滤波器701_1,701_2…701_N的大小是3×3，以满足一个应用的需要，每一个预定义的内核滤波器701_1,701_2…701_N的大小是7×7，以满足另一个应用的需要。

在一个示例性设计中，预定义的内核滤波器701_1,701_2…701_N可以是具有不同锐化等级的锐化滤波器（sharpness filter）。所以，当图像信息DI指示要被处理的像素P具有一较大视差值时，图像处理电路104产生一较清楚的滤波输出。

在另一个示例性设计中，预定义的内核滤波器701_1,701_2…701_N可以是具有不同模糊等级的模糊滤波器（blur filter）。所以，当图像信息DI指示要被处理的像素P具有一较小视差值时，图像处理电路104产生一比较模糊的滤波输出。

在又一个示例性设计中，预定义的内核滤波器701_1,701_2…701_N可以包括锐化滤波器以及模糊滤波器，其中，锐化滤波器具有不同的锐化等级，模糊滤波器具有不同的模糊等级。所以，视差值决定了为了要处理的像素P，哪个锐化滤波器或者模糊滤波器将被选择作为目标内核滤波器。

图8示出图1中图像处理电路104执行的基于视差的图像处理操作的第三实施例。该图像处理电路104被用于对输入图像数据IMG_IN的每一像素进行颜色调整。具体来说，每个像素包含多个颜色分量值，该多个颜色分量值对应多个不同的颜色通道（比如，红（R）、绿(G)和蓝(B)通道）。在该实施例中，图像处理电路104可以包括配置在不同颜色通道的多个调整单元801、802以及803，并且参考视差信息DI(例如，要被处理的像素P的视差值)来选择性的调整多个颜色分量值中的至少一个。然后，将调整单元801、802以及803确定的颜色分量值分配给输出图像数据IMG_OUT中的像素P。

图9示出图1中图像处理电路104执行的基于视差的图像处理操作的第四实施例。该图像处理电路104被用于对输入图像数据IMG_IN的每一像素进行饱和度（saturation）调整以及亮度（brightness）调整。具体来说，输入图像数据IMG_IN中的每一像素包含多个颜色分量值，该多个颜色分量值分别对应第一颜色空间中的多个不同的颜色通道（比如，红（R）、绿(G)和蓝(B)通道）。在该实施例中，图像处理电路104可以包括多个调整单元901、902、903，以及多个转换单元（converting units）904、905。转换单元904用于将第一颜色空间中对应不同颜色通道（比如，红（R）、绿(G)和蓝(B)通道）的颜色分量值转换到第二颜色空间中对应多个不同的颜色通道（比如，Y、U和V通道）的颜色分量值。调整单元901-903被配置在第二颜色空间的不同的颜色通道上，并且参考视差信息DI(例如，要被处理的像素P的视差值)来选择性的调整多个颜色分量值中的至少一个。然后，转换单元905将调整单元901、902以及903产生的颜色分量值转换到第一颜色空间中的颜色分量值。由调整单元901、902以及903确定的并被转换单元905转换的颜色分量值将被分配给输出图像数据IMG_OUT中的像素P。

在一个示例性的设计中，该图像处理电路104可以用于调整像素P的饱和度（saturation）。所以，当视差信息DI指示要处理的像素P具有较大视差值时，该图像处理电路104通过在第二颜色空间中执行饱和度调整来增加像素P的饱和度，和/或，当视差信息DI指示要处理的像素P具有较小视差值，该图像处理电路104通过在第二颜色空间中执行饱和度调整来降低像素P的饱和度。具体来说，针对该输入图像数据的某一像素的视差信息越大，则调整后的该像素的饱和度越大；针对该输入图像数据的某一像素的视差信息越小，则调整后的该像素的饱和度越小。比如，可以预先配置视差信息与饱和度系数的对应关系表，在该表中，视差信息越大，则饱和度系数越大，视差信息越小，则饱和度系数越小，图像处理电路104根据某个像素的视差信息，找到其对应的饱和度系数，将找到的饱和度系数与该像素的原饱和度相乘，得到输出图像数据中该像素的饱和度。或者，当针对某像素的视差信息大于第一预定值时，图像处理操作增加该像素的饱和度，具体可以是，该图像处理电路104通过在第二颜色空间中执行饱和度调整来增加像素P的饱和度；当针对某像素的视差信息小于第二预定值时，该图像处理操作减小该像素的饱和度，具体可以是该图像处理电路104通过在第二颜色空间中执行饱和度调整来降低像素P的饱和度。其中，第一预定值可以大于或者等于第二预定值。

在另一个示例性的设计中，该图像处理电路104可以用于调整像素P的亮度（brightness）/强度(intensity)。所以，当视差信息DI指示要处理的像素P具有较大视差值，该图像处理电路104通过在第二颜色空间中执行亮度/强度调整来增加像素P的亮度，和/或，当视差信息DI指示要处理的像素P具有较小视差值时，该图像处理电路104通过在第二颜色空间中执行亮度/强度调整来降低像素P的亮度。具体来说，针对该输入图像数据的某一像素的视差信息越大，则调整后的该像素的亮度越大；针对该输入图像数据的某一像素的视差信息越小，则调整后的该像素的亮度越小。比如，可以预先配置视差信息与亮度系数的对应关系表，在该表中，视差信息越大，则亮度系数越大，视差信息越小，则亮度系数越小，图像处理电路104根据某个像素的视差信息，找到其对应的亮度系数，将找到的亮度系数与该像素的原亮度相乘，得到输出图像数据中该像素的亮度。或者，当针对某像素的视差信息大于第一预定值时，图像处理操作增加该像素的亮度，具体可以是，该图像处理电路104通过在第二颜色空间中执行亮度调整来增加像素P的亮度；当针对某像素的视差信息小于第二预定值时，该图像处理操作减小该像素的亮度，具体可以是该图像处理电路104通过在第二颜色空间中执行亮度调整来降低像素P的亮度。其中，第一预定值可以大于或者等于第二预定值。

图10示出图1中图像处理电路104执行的基于视差的图像处理操作的第五实施例。该图像处理电路104包括一对比度调整单元1002，该对比度调整单元1002用于根据视差信息DI，对输入图像数据IMG_IN中的像素执行对比度(contrast)调整。当视差信息DI指示了要被处理的像素具有较大视差值时，对比度调整单元1002增加了像素P的对比度，和/或，当视差信息DI指示了要被处理的像素具有较小视差值时，对比度调整单元1002降低了像素P的对比度。具体来说，针对该输入图像数据的某一像素的视差信息越大，则调整后的该像素的对比度越大；针对该输入图像数据的某一像素的视差信息越小，则调整后的该像素的对比度越小。比如，可以预先配置视差信息与对比度系数的对应关系表，在该表中，视差信息越大，则对比度系数越大，视差信息越小，则对比度系数越小，对比度调整单元1002根据某个像素的视差信息，找到其对应的对比度系数，将找到的对比度系数与该像素的原对比度相乘，得到输出图像数据中该像素的对比度。或者，当针对某像素的视差信息大于第一预定值时，图像处理操作增加该像素的对比度，当针对某像素的视差信息小于第二预定值时，该图像处理操作减小该像素的对比度。其中，第一预定值可以大于或者等于第二预定值。

图11示出图1中图像处理电路104执行的基于视差的图像处理操作的第六实施例。该图像处理电路104根据视差信息DI对输入图像数据IMG_IN中的每一像素应用伽马曲线调整。在该实施例中，图像处理电路104根据视差信息DI，针对像素P获得一目标伽马曲线1103，并且使用一调整单元（比如，乘法器（multiplier）1104）将该目标伽马曲线1103应用到该像素P。更具体来说，图像处理电路104进一步包括多个预定义的伽马曲线1101_1,1101_2…1101_N以及一选择单元1102。选择单元1102参考视差信息DI（比如，要处理的像素P的视差值）来选择预定义的伽马曲线1101_1,1101_2…1101_N中的一个作为目标伽马曲线1103。然后，将由目标伽马曲线1103确定的像素值分配给输出图像数据IMG_OUT中的像素P。

图12示出图1中图像处理电路104执行的基于视差的图像处理操作的第七实施例。该图像处理电路104包括一色调（tone）映射单元1202，该色调映射单元1202用于根据视差信息DI执行动态范围调整。更具体来说，当视差信息DI指示了要被处理的像素具有较大视差值时，色调映射单元1202增加了像素P的动态范围，和/或，当视差信息DI指示了要被处理的像素具有较小视差值时，色调映射单元1202降低了像素P的动态范围。例如，当色调映射单元1202使用一较高动态范围时，在一特定像素值范围内的像素值将被映射到一相对较大的像素值范围内的像素值；当色调映射单元1202使用一较低动态范围时，在该特定像素值范围内的像素值将被映射到一相对较小的像素值范围内的像素值。其中，当该视差信息大于第一预定值时，该图像处理操作增加一动态范围，当该视差信息小于第二预定值时，该图像处理操作降低该动态范围；其中第一预定值大于或者等于第二预定值。该动态范围可以表示像素的颜色范围。或者，该视差信息越大，所获得的目标色调映射的动态范围越大；该视差信息越小，所获得的目标色调映射的动态范围越小。

图13示出图1中图像处理电路104执行的基于视差的图像处理操作的第八实施例。该图像处理电路104参考视差信息DI来移动输入图像数据IMG_IN中的每一像素。在该实施例中，图像处理电路104包括一计算单元1302以及一像素移动单元1304。该计算单元1302用于根据视差信息DI（例如，像素P的视差值）以及表示移动范围的第一参数S1来确定要被处理的像素P的移动幅度。例如，该移动范围被最小移动幅度M_MIN以及最大移动幅度M_MAX所限制，其中，最小移动幅度M_MIN对应最小视差值V_MIN（如果V=V_MIN则M=M_MIN），并且最大移动幅度M_MAX对应最大视差值V_MAX（如果V=V_MAX则M=M_MAX）。所以，当被放置在位置(X1,Y1)的像素P的视差值是V（V_MIN<V<V_MAX），则像素P的移动幅度M可以通过使用如下等式确定：

$\frac{M-M\_\mathrm{MIN}}{V-V\_\mathrm{MIN}}=\frac{M\_\mathrm{MAX}-M\_\mathrm{MIN}}{V\_\mathrm{MAX}-V\_\mathrm{MIN}}---\left(1\right)$

所以，当视差信息DI指示了像素P具有较大视差值V时，计算单元1302将使移动幅度M增大，和/或，当视差信息DI指示了像素P具有较小视差值V时，计算单元1302将使移动幅度M变小。也就是说，针对该输入图像数据的某一像素的视差信息越大，则该像素的移动幅度越大；针对该输入图像数据的某一像素的视差信息越小，则该像素的移动幅度越小。

在一可选择性的设计中，最小移动幅度M_MIN对应最大视差值V_MAX（如果V=V_MAX则M=M_MIN），并且最大移动幅度M_MAX对应最小视差值V_MIN（如果V=V_MIN则M=M_MAX）。所以，像素P的移动幅度M可以通过如下等式确定：

$\frac{M\_\mathrm{MAX}-M}{V-V\_\mathrm{MIN}}=\frac{M\_\mathrm{MAX}-M\_\mathrm{MIN}}{V\_\mathrm{MAX}-V\_\mathrm{MIN}}---\left(2\right)$

所以，当视差信息DI指示了像素P具有较大视差值V时，计算单元1302将使移动幅度M较小，和/或，当视差信息DI指示了像素P具有较小视差值V时，计算单元1302将使移动幅度M较大。也就是说，针对该输入图像数据的某一像素的视差信息越小，则该像素的移动幅度越大；针对该输入图像数据的某一像素的视差信息越大，则该像素的移动幅度越小。

像素移动单元1304与计算单元1302耦接，并且用于根据移动幅度M以及一表示移动方向的第二参数S2来移动像素P。如图13所示，在输出图像数据IMG_OUT中定义的像素P被放置在位置(X2,Y2)，其与输入图像数据IMG_IN中定义的原始位置(X1,Y1)不同。为了确保在输出图像中的每一像素被恰当的分配一个像素值，像素移动单元1304的一个可行的实施方式是通过根据移动幅度信息和移动方向信息对输入图像中的像素值执行搜索/内插（search/interpolate），以一特定的顺序（比如光栅扫描顺序（raster scan order））来顺序的确定输出图像中像素的像素值。例如，当确定放置在输出图像数据IMG_OUT中定义的位置(X2,Y2)的像素的像素值时，像素移动单元1304参考移动幅度M以及由第二参数S2表示的移动方向，来获知放置在位置(X1,Y1)上的像素P的像素值应该被设置成放置在位置(X2,Y2)上的像素的像素值。实现了移动在输入图像中位置（X1,Y1）上放置的像素P到输出图像中位置（X2,Y2）的目的。考虑一种情况，像素移动单元1304未能在输入图像中直接找到像素值来设置该输出图像中的一特定像素的像素值，该像素移动单元1304可以通过内插或者其他计算/确定算法来确定该输出图像中该特定像素的像素值。以这种方式，即使输入图像中的一个或者多个像素在输出图像中会被移动到新的位置，也能确保输出图像中的每一个像素具有像素值。

需要说明的是，第一参数S1以及第二参数S2可以通过用户交互式输入（user interactive input）或者预定义参数设置来设置。也就是说，移动范围和移动方向可以被预先定义或者被用户控制。

图14示出图1中图像处理电路104执行的基于视差的图像处理操作的第九实施例。图像处理电路104根据视差信息DI，对输入图像数据IMG_IN中的每一像素使用增益调整。在该实施例中，图像处理电路104包括一增益值确定电路1402以及一调整单元1404。该增益值确定电路1402用于参考视差信息DI(比如，要被处理的像素P的视差值)来为该像素P确定增益值G。调整单元1404耦接到增益值确定单元1402，用于将增益值G应用到像素P，以调整该像素P的像素值。例如，调整单元1404由一乘法器实现，将像素P的像素值与增益值G的相乘结果分配给输出图像数据IMG_OUT中的像素P。

图15示出图1中图像处理电路104执行的基于视差的图像处理操作的第十实施例。图像处理单元104根据视差信息DI，对输入图像数据IMG_IN中的每一像素使用偏移调整（offset adjustment）。在该实施例中，图像处理电路104包括一偏移值确定单元1502以及一调整单元1504。该偏移值确定单元1502用于参考视差信息DI(比如，要被处理的像素P的视差值)来确定该像素P的偏移值D。调整单元1504耦接到偏移值确定单元1502，用于将偏移值D应用到像素P，以调整该像素P的像素值。例如，利用一加法器（adder）来实现调整单元1504，将像素P的像素值和偏移值D的相加结果分配给输出图像数据IMG_OUT的像素P。

图16示出图1中图像处理电路104执行的基于视差的图像处理操作的第十一实施例。图像处理电路104包括图像对象缩放单元（image objectscaling unit）1602，该图像对象缩放单元用于根据视差信息DI对输入图像数据IMG_IN中的图像对象进行缩放。所以，根据视差信息DI,对应输出图像数据IMG_OUT的一输出图像中的一图像对象的图像尺寸可以大于或者小于对应输入图像数据IMG_IN的一输入图像中相同图像对象的图像尺寸。例如，输入图像包括两个图像对象OBJ1和OBJ2。当视差信息DI指示图像对象OBJ1具有较大视差且图像对象OBJ2具有较小视差时，图像对象缩放单元1602扩大图像对象OBJ1并且缩小图像对象OBJ2，使得输出图像中的图像对象OBJ1’具有一增大的图像尺寸，输出图像中的图像对象OBJ2’具有一减小的图像尺寸。简单的说，由于对应输入图像数据IMG_IN的输入图像的尺寸/解析度与对应输出图像数据IMG_OUT的输出图像的尺寸/解析度相同，根据从视差信息DI获得的各图像对象的视差情况，输入图像中的图像对象将在输出图像中被图像对象缩放单元1602强调或者去强调。

需要说明的是，上述提及的由图1中的图像处理电路104执行的基于视差的图像处理操作的示例性执行方式也可以不需要以像素为基础。可选的，上述提及的由图1中的图像处理电路104执行的基于视差的图像处理操作的示例性执行方式可以被调整以块为基础。例如，可以参考一块中像素的视差值的平均值，来确定对该块中所有像素的像素值所做的调整。简单的概括为，只要是根据视差信息调整输入图像，就属于本发明的精神范畴内。

考虑到另一种情况，显示装置101是一3D显示装置，且从一3D视频输入获得多视角图像IMG₀-IMG_N。由图像处理电路104执行的、基于视差的图像处理操作的示例性执行方式可以参考视差信息DI，来调整左眼图像和右眼图像中的一个或者两个，以增强3D显示质量。

图像处理电路104可以采用上述基于视差的图像处理操作的一种来处理一具有输入图像数据IMG_IN的输入图像。然而，这仅仅是为了说明的目的，不是对本发明的限制。基于设计考虑/需要，图像处理电路104可以使用从前述示例性的基于视差的图像处理操作选出的多个图像处理操作的结合，以处理具有输入图像数据IMG_IN的输入图像。简单的说，使用一个或者多个前述示例性的基于视差的图像处理操作都会落入本发明的范畴。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当以所附权利要求为准。

Claims (52)

1.一种图像处理方法，其特征在于，包括：

获得视差信息；以及

根据该视差信息对输入图像数据执行一图像处理操作，以产生输出图像数据。

2.根据权利要求1所述的图像处理方法，其特征在于，进一步包括：

接收多视角图像；

获得视差信息包括：

处理该多视角图像，以获得该视差信息。

3.根据权利要求1所述的图像处理方法，其特征在于，进一步包括：

接收多视角图像，其中该多视角图像中的一个作为该输入图像数据。

4.根据权利要求3所述的图像处理方法，其特征在于，该多视角图像来自一3D视频输入，且包括一对图像，该对图像包括一左眼图像和一右眼图像，且该图像处理方法进一步包括：

输出该输出图像数据到一2D显示装置。

5.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作的步骤包括：

根据该视差信息获得一目标内核滤波器；以及将该目标内核滤波器应用到该输入图像数据的一个或者多个像素。

6.根据权利要求5所述的图像处理方法，其特征在于，获得该目标内核滤波器包括：

参考该视差信息，计算该目标内核滤波器的系数。

7.根据权利要求5所述的图像处理方法，其特征在于，获得该目标内核滤波器包括：

参考该视差信息，选择多个预定义的内核滤波器中的一个作为该目标内核滤波器。

8.根据权利要求5所述的图像处理方法，其特征在于，该目标内核滤波器是一锐化滤波器，或者，该目标内核滤波器是一模糊滤波器。

9.根据权利要求8所述的图像处理方法，其特征在于，

当该目标内核滤波器是锐化滤波器时，该视差信息表示的视差值越大，图像处理操作产生的滤波输出越清楚。

10.根据权利要求8所述的图像处理方法，其特征在于，该目标内核滤波器是模糊滤波器时，该视差信息表示的视差值越小，图像处理操作产生的滤波输出越模糊。

11.根据权利要求1所述的图像处理方法，其中，执行该图像处理操作包括：根据该视差信息进行颜色调整。

12.根据权利要求11所述的图像处理方法，其特征在于，该颜色调整用于调整该输入图像数据的一个或者多个像素的饱和度。

13.根据权利要求12所述的图像处理方法，其特征在于，当该视差信息大于第一预定值时，该图像处理操作增加该饱和度，当该视差信息小于第二预定值时，该图像处理操作减小该饱和度；

或者，

视差信息越大，则对输入图像数据中的像素调整后的饱和度越大；

视差信息越小，则对输入图像数据中的像素调整后的饱和度越小；

或者，

视差信息越大，则输入图像数据中的像素的饱和度系数越大；

视差信息越小，则输入图像数据中的像素的饱和度系数越小；

其中，该输入图像数据中的该像素调整后的饱和度为饱和度系数与该输入图像数据中的该像素的原饱和度相乘。

14.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，调整该输入图像数据的一个或者多个像素的亮度。

15.根据权利要求14所述的图像处理方法，其特征在于，当该视差信息大于第一预定值时，该图像处理操作增加该亮度，当该视差信息小于第二预定值时，该图像处理操作减小该亮度；

或者，

视差信息越大，则对输入图像数据中的像素调整后的亮度越大；视差信息越小，则对输入图像数据中的像素调整后的亮度越小；

或者，

视差信息越大，则输入图像数据中的像素的亮度系数越大；

视差信息越小，则输入图像数据中的像素的亮度系数越小；

其中，该输入图像数据中的该像素调整后的亮度为亮度系数与该输入图像数据中的该像素的原亮度相乘。

16.根据权利要求1所述的图像处理方法，其特征在于，执行图像处理操作包括：根据该视差信息，调整该输入图像数据的一个或者多个像素的对比度。

17.根据权利要求16所述的图像处理方法，其特征在于，当该视差信息大于第一预定值时，该图像处理操作增加该对比度，当该视差信息小于第二预定值时，该图像处理操作减小该对比度；

或者，

视差信息越大，则对输入图像数据中的像素调整后的对比度越大；

视差信息越小，则对输入图像数据中的像素调整后的对比度越小；

或者，

视差信息越大，则输入图像数据中的像素的对比度系数越大；

视差信息越小，则输入图像数据中的像素的对比度系数越小；

其中，该输入图像数据中的该像素调整后的对比度为对比度系数与该输入图像数据中的该像素的原对比度相乘。

18.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，获得一目标伽马曲线；以及将该目标伽马曲线应用到该输入图像数据的一个或者多个像素。

19.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，获得一目标色调映射；以及将该目标色调映射应用到该输入图像数据的一个或者多个像素。

20.根据权利要求19所述的图像处理方法，其特征在于，当该视差信息大于第一预定值时，该图像处理操作增加一动态范围，或者，当该视差信息小于第二预定值时，该图像处理操作降低该动态范围；

或者，

该视差信息越大，所获得的目标色调映射的动态范围越大；该视差信息越小，所获得的目标色调映射的动态范围越小。

21.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，移动该输入图像数据的一个或者多个像素。

22.根据权利要求21所述的图像处理方法，其特征在于，移动该输入图像数据的一个或者多个像素包括：根据该视差信息以及表示一移动范围的一第一参数，确定移动幅度；以及，根据该移动幅度以及表示一移动方向的一第二参数，移动该输入图像的一个或者多个像素。

23.根据权利要求22所述的图像处理方法，其特征在于，移动该输入图像数据的一个或者多个像素的步骤包括：通过接收一用户交互式输入或者参考预定义的参数设置，设置该第一参数和第二参数。

24.根据权利要求22所述的图像处理方法，其特征在于，

视差信息越大，则像素的移动幅度越大；视差信息越小，则像素的移动幅度越小；

或者，

视差信息越大，则像素的移动幅度越小；视差信息越小，则像素的移动幅度越大。

25.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，确定一增益值；以及将该增益值应用到该输入图像数据的一个或者多个像素。

26.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，确定一偏移值；以及将该偏移值应用到该输入图像数据的一个或者多个像素。

27.根据权利要求1所述的图像处理方法，其特征在于，执行该图像处理操作包括：根据该视差信息，对该输入图像数据中的至少一个图像对象进行缩放。

28.一种图像处理装置，其特征在于，包括：

一视差信息采集电路，用于获得视差信息；以及

一图像处理电路，与该视差信息采集电路耦接，并用于根据该视差信息处理输入图像数据，以产生输出图像数据。

29.根据权利要求28所述的图像处理装置，其特征在于，进一步包括：

一接收电路，与该视差信息采集电路耦接，用于接收多视角图像；

其中，该视差信息采集电路通过处理该多视角图像来获得该视差信息；

或者，

一接收电路，与该图像处理电路耦接，并用于接收多视角图像，其中，该多视角图像中的一个图像作为该输入图像数据。

30.根据权利要求29所述的图像处理装置，其特征在于，该多视角图像来自一3D视频输入，且包括一对图像，该对图像包括一左眼图像和一右眼图像，该图像处理装置进一步包括：

一输出电路，耦接到该图像处理电路，用于输出该输出图像数据到一2D显示装置。

31.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路具有一目标内核滤波器，该目标内核滤波器是根据该视差信息所获得，该图像处理电路将该目标内核滤波器应用到该输入图像数据中的一个或者多个像素。

32.根据权利要求31所述的图像处理装置，其特征在于，

该图像处理电路参考该视差信息，计算该目标内核滤波器的系数；

或者，该图像处理电路包括：

多个预定义的内核滤波器；以及

一选择单元，用于参考该视差信息，选择该多个预定义的内核滤波器中的一个作为该目标内核滤波器。

33.根据权利要求31所述的图像处理装置，其特征在于，该目标内核滤波器是一锐化滤波器，或者该目标内核滤波器是一模糊滤波器。

34.根据权利要求33所述的图像处理装置，其特征在于，当该目标内核滤波器是锐化滤波器时，该视差信息表示的视差值越大，该图像处理电路产生的滤波输出越清楚。

35.根据权利要求33所述的图像处理装置，其特征在于，当该目标内核滤波器是模糊滤波器时，该视差信息表示的视差值越小，该图像处理电路产生的滤波输出越模糊。

36.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路根据该视差信息执行颜色调整。

37.根据权利要求36所述的图像处理装置，其特征在于，该颜色调整用于调整输入图像数据中的一个或者多个像素的饱和度。

38.根据权利要求37所述的图像处理装置，其特征在于，当该视差信息大于第一预定值时，该图像处理电路增加该饱和度，当该视差信息小于第二预定值时，该图像处理电路降低该饱和度；

或者，

视差信息越大，则对输入图像数据中的像素调整后的饱和度越大；

视差信息越小，则对输入图像数据中的像素调整后的饱和度越小；

或者，

视差信息越大，则输入图像数据中的像素的饱和度系数越大；

视差信息越小，则输入图像数据中的像素的饱和度系数越小；

其中，该输入图像数据中的该像素调整后的饱和度为饱和度系数与该输入图像数据中的该像素的原饱和度相乘。

39.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路根据该视差信息调整输入图像数据中一个或者多个像素的亮度。

40.根据权利要求39所述的图像处理装置，其特征在于，当该视差信息大于第一预定值时，该图像处理电路增加该亮度，当该视差信息小于第二预定值时，该图像处理电路降低该亮度；

或者，

视差信息越大，则对输入图像数据中的像素调整后的亮度越大；视差信息越小，则对输入图像数据中的像素调整后的亮度越小；

或者，

视差信息越大，则输入图像数据中的像素的亮度系数越大；

视差信息越小，则输入图像数据中的像素的亮度系数越小；

其中，该输入图像数据中的该像素调整后的亮度为亮度系数与该输入图像数据中的该像素的原亮度相乘。

41.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路用于根据该视差信息调整该输入图像数据中的一个或者多个像素的对比度。

42.根据权利要求41所述的图像处理装置，其特征在于，当该视差信息大于第一预定值时，该图像处理电路增加该对比度，当该视差信息小于第二预定值时，该图像处理电路降低该对比度；

或者，

视差信息越大，则对输入图像数据中的像素调整后的对比度越大；

视差信息越小，则对输入图像数据中的像素调整后的对比度越小；

或者，

视差信息越大，则输入图像数据中的像素的对比度系数越大；

视差信息越小，则输入图像数据中的像素的对比度系数越小；

其中，该输入图像数据中的该像素调整后的对比度为对比度系数与该输入图像数据中的该像素的原对比度相乘。

43.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路根据该视差信息获得一目标伽马曲线，并且将该目标伽马曲线应用到该输入图像数据中的一个或者多个像素。

44.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路根据该视差信息获得一目标色调映射，并且将该目标色调映射应用到该输入图像数据中的一个或者多个像素。

45.根据权利要求44所述的图像处理装置，其特征在于，当视差信息大于第一预定值时，该图像处理电路增加一动态范围，当视差信息小于第二预定值时，该图像处理电路降低该动态范围；

或者，

该视差信息越大，所获得的目标色调映射的动态范围越大；该视差信息越小，所获得的目标色调映射的动态范围越小。

46.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路根据该视差信息移动该输入图像数据中的一个或者多个像素。

47.根据权利要求46所述的图像处理装置，其特征在于，该图像处理电路包括：

一计算单元，用于根据该视差信息以及一表示移动范围的第一参数，确定移动幅度；以及

一像素移动单元，与该计算单元耦接，并用于根据该移动幅度以及

一表示移动方向的第二参数，移动该输入图像数据中的一个或者多个像素。

48.根据权利要求47所述的图像处理装置，其特征在于，该第一参数和第二参数通过一用户交互式输入或者一预定义的参数设置所设置。

49.根据权利要求46所述的图像处理装置，其特征在于，视差信息越大，则像素的移动幅度越大；视差信息越小，则像素的移动幅度越小；

或者，

视差信息越大，则像素的移动幅度越小；视差信息越小，则像素的移动幅度越大。

50.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路包括：

一增益值确定单元，用于根据该视差信息确定一增益值；以及

一调整单元，与该增益值确定单元耦接，用于将该增益值应用到该输入图像数据中的一个或者多个像素。

51.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路包括：

一偏移值确定单元，用于根据该视差信息确定一偏移值；

一调整单元，与该偏移值确定单元耦接，并用于将该偏移值应用到该输入图像数据中的一个或者多个像素。

52.根据权利要求28所述的图像处理装置，其特征在于，该图像处理电路根据该视差信息对该输入图像数据中的至少一个图像对象进行缩放。

Images