CN108353125B

CN108353125B - 彩色滤波阵列缩放器

Info

Publication number: CN108353125B
Application number: CN201680047166.6A
Authority: CN
Inventors: B·C·道亚迪-普勒文; M·S·A·克拉克; G·M·G·古埃林; T·N·E·维特
Original assignee: GoPro Inc
Current assignee: GoPro Inc
Priority date: 2015-06-12
Filing date: 2016-04-12
Publication date: 2021-02-23
Anticipated expiration: 2036-04-12
Also published as: EP3308534A4; US20160366309A1; US9754349B2; US20160364841A1; US20160364848A1; US20160366386A1; CN108353125A; US10007967B2; EP3308534A1; US9842381B2; US9659349B2

Abstract

系统标识所采集的图像中的缩放位置，并且标识所述缩放位置附近的红色子像素。系统根据约束基于所标识的红色子像素计算用于缩放位置的缩放红色子像素。系统还包括根据约束基于标识的相邻蓝色子像素计算缩放蓝色子像素，并且根据某些约束基于所述缩放位置附近的Gr和Gb子像素计算缩放绿色子像素位置。系统然后生成代表所采集的图像的缩放图像，缩放图像至少包括缩放红色子像素值、缩放蓝色子像素值和缩放绿色子像素值。

Description

彩色滤波阵列缩放器

相关申请的交叉引用

本申请要求于2015年6月12日提交的美国临时申请号62/174,786、于2015年12月17日提交的美国临时申请号62/268,687、于2016年3月25日提交的美国申请号15/081,677、于2016年3月25提交的美国申请号15/081,680、于2016年3月25日提交的美国申请号15/081,682和2016年3月25日提交的美国申请号15/081,688的权益，其中的每一个申请的内容通过引用方式全部并入本文。

技术领域

本公开大体涉及数字图像和视频处理领域，并且更特别地涉及彩色滤波阵列缩放器、时间和空间视频噪声降低、视频中的强光部分剪切的防止和视频全局色调映射。

背景技术

照相机(和其他成像设备)使用采集被聚焦到图像传感器上的光的一个或多个透镜来采集图像和视频。图像传感器包括许多个体子像素。每个子像素包括像元，并且取决于多少光子被像元检测到，来对强度(亮度)值进行配准。为了产生彩色图像，个体子像素被设计为只对可见光谱的某些波长(例如，对于可见光谱的红色、绿色或蓝色部分)敏感。这种选择性的敏感性可以通过使用滤波器来实现。红色、绿色和蓝色子像素的组合被用于创建被呈现给用户的最终图像的彩色像素。由于子像素以网格图案被布置在图像传感器上，因而用于子像素的典型布置将具有重复的2x2子像素正方形，其中每个2x2正方形具有一个红色子像素、一个蓝色子像素和两个绿色子像素。Bayer彩色滤波阵列包括被布置在这样的配置中的彩色滤波器，并且广泛地被用在许多照相机中。使用Bayer彩色滤波阵列采集的原始数据包括个体红色、蓝色和绿色强度值，并且被处理以生成将红色、蓝色和绿色子像素值组合在一起的个体像素。这些子像素颜色值表示该像素的相应颜色的强度水平。每个子像素颜色值被数字编码，并且具有取决于图像格式的位深度的范围。在一些情况下，图像的子像素值被调节以补偿闪光不规则性。

如上文所指出的，图像传感器检测入射在图像传感器上的光的强度，并且将这些各种光强度转换为模拟信号(例如，电压)。该转换过程生成一定量的噪声，并且噪声量可以取决于图像传感器的硬件配置而改变(例如，较大像元可能生成较低噪声)。虽然由图像传感器所生成的噪声可能是不可避免的，但是该噪声可以使用各种后处理方法来降低。噪声降低改进了图像的定性外观，但是潜在地牺牲了图像中的某些细节或者生成了各种伪影。

由于诸如当采集场景时照相机的不正确的曝光值或者照相机的有限动态范围之类的问题，由照相机所采集的场景的图像与原始场景本身相比可能在视觉上对观看者的吸引力较小。照相机上的图像传感器的像元可能在特定曝光设置处变得饱和，并且因此具有比饱和点更高的强度的场景的任何区域全部被示出为最大值。另一方面，可能存在在像元处被检测到的最小数目的光子，使得像元配准低值，其处于范围的最小值处或者小于噪声基底。照相机可以采集的强度值的范围中的这些限制可能导致吹熄、太暗或者这些问题的组合的图像。

附图说明

所公开的实施例具有其他优点和特征，根据详细描述、随附的权利要求和附图(或者图示)，这些优点和特征将变得更加明显。下面是附图的简要介绍。

图1图示了根据一个实施例的用于调节数字图像的颜色模型的系统的示例高级方框图。

图2图示了根据一个实施例的Bayer缩放器的示例高级方框图。

图3图示了根据实施例的图像传感器上的子像素的示例性表示。

图4图示了用于确定红色和蓝色子像素二者的缩放子像素位置的强度值的示例性过程。

图5图示了根据实施例的用于确定绿色子像素的缩放子像素位置的强度值的示例性过程。

图6图示了根据一个实施例的用于在连续的缩放子像素位置处进行Bayer缩放的方法。

图7图示了根据一个实施例的剪切校正器的示例高级方框图。

图8图示了根据实施例的被应用到图像的示例性颜色曲线。

图9图示了根据一个实施例的用于实现去饱和保护的方法。

图10图示了根据一个实施例的空间时间噪声噪声降低(NR)引擎的示例高级方框图。

图11图示了根据一个实施例用于在一个或多个图像帧中进行空间时间噪声降低的方法。

图12图示了根据一个实施例的全局色调映射器的示例高级方框图。

图13图示了根据一个实施例的实现传递函数的示例性过程，传递函数将输入像素转换为输出像素，使得输出图像的直方图匹配目标直方图(即，平直方图)。

图14A图示了根据实施例的具有三个控制点的自动曝光校正色调曲线的示例。

图14B图示了根据一个实施例的用于执行高和低阈值剪切的传递函数的示例性导数。

图14C图示了根据一个实施例的示例性的目标直方图集合。

图15图示了根据一个实施例的用于将全局色调映射应用到图像的方法。

具体实施方式

附图和以下描述仅通过图示涉及优选的实施例。应该注意的是，本文所公开的结构和方法的以下讨论、备选实施例将容易地被识别为可以采用的可行的备选方案，而不脱离要求保护的原理。

现在将详细参考实施例，其中的示例被图示在附图中。应注意到，只要可实践，类似或相同附图标记可以被使用在附图中，并且可以指示类似或相同的功能。附图仅出于图示的目的描绘了所公开的系统(或方法)的实施例。本领域的技术人员将从以下描述容易地认识到，在不脱离本文所描述的原理的情况下，可以采用本文所图示的结构和方法的备选实施例。

示例照相机配置

图1的方框图图示了根据一个实施例的照相机100的电子部件。图1的实施例的照相机100包括一个或多个微控制器102、系统存储器104、同步接口106、控制器集线器108、一个或多个麦克风控制器110、图像传感器112、透镜和聚焦控制器114、一个或多个透镜120、一个或多个LED灯122、一个或多个按钮124、一个或多个麦克风126、I/O端口接口128、显示器130、扩展包接口132、Bayer缩放器150、剪切校正器160、空间时间噪声降低(NR)引擎170和全局色调映射器180。

照相机100包括一个或多个微控制器102(诸如处理器)，其控制照相机100的操作和功能。例如，微控制器102可以执行被存储在存储器104上的计算机指令，以执行本文所描述的功能。应当指出，虽然LUT生成和颜色模型转换在本文中被描述为由照相机100执行，但是实际上，照相机100可以采集图像数据、可以将图像数据提供到外部系统(诸如计算机、移动电话或另一照相机)，并且外部系统可以基于所采集的图像数据生成LUT。

透镜和聚焦控制器114被配置为例如基于用户输入或者基于对所采集的图像数据的分析，来控制照相机透镜120的操作、配置和聚焦。图像传感器112是能够电子采集入射在图像传感器112上的光并且将所采集的光转换为图像数据的设备。图像传感器112可以是CMOS传感器、CCD传感器或者任何其他适合类型的图像传感器，并且可以包括对应的晶体管、光电二极管、放大器、模拟数字转换器和电源。在一个实施例中，图像传感器112包括Bayer彩色滤波阵列。

系统存储器104被配置为存储可执行计算机指令，其当由微控制器102执行时执行本文所描述的照相机功能。系统存储器104还存储使用透镜120和图像传感器112采集的图像。存储器104可以包括易失性存储器(例如，随机存取存储器(RAM))、非易失性存储器(例如，闪速存储器)或其组合。

同步接口106被配置为将照相机100与外部设备(诸如远程控制、另一照相机(诸如从照相机或主照相机)、计算机或智能电话)通信地耦合。同步接口106可以通过网络传送信息，所述网络允许耦合的设备(包括照相机100)通过局域网或者广域网交换其他数据。网络可以包含有线或无线技术的组合，并且利用各种连接标准和协议，诸如Wi-Fi、IEEE 1394、以太网、802.11、4G或蓝牙。

控制器集线器108从用户I/O部件发射和接收信息。在一个实施例中，控制器集线器108与LED光122、显示器130和按钮124进行接口。然而，控制器集线器108可以与任何(一个或多个)常规用户I/O部件进行接口。例如，控制器集线器108可以将信息发送到其他用户I/O部件，诸如扬声器。

麦克风控制器110从一个或多个麦克风(诸如麦克风126A和麦克风126B)接收并且采集音频信号。虽然图1的实施例图示了两个麦克风，但是实际上，照相机可以包括任何数目的麦克风。麦克风控制器110被配置为控制麦克风126的操作。在一些实施例中，麦克风控制器110选择从哪个麦克风采集音频数据。例如，对于具有多个麦克风对的照相机100而言，麦克风控制器110选择该对中的一个麦克风以采集音频数据。

在一个实施例中，照相机100包括Bayer缩放器150，其允许在图像传感器的任何连续的位置坐标处对马赛克图像进行缩放，例如，在图像传感器数据由微控制器102接收之前。下面更详细地描述Bayer缩放器150。

在一个实施例中，照相机100包括校正归因于图像的饱和或去饱和而出现的颜色不规则性的剪切校正器160。下面更详细地描述剪切校正器160。

在一个实施例中，照相机100包括空间时间NR引擎170，其在使引入的伪影(例如，重影伪影)最小化时组合多个图像帧(例如，在视频中)的空间和时间噪声降低技术。下面更详细地描述空间时间NR引擎170。

在一个实施例中，照相机100包括全局色调映射器180，其取得具有初始直方图的图图像，且将其转换为具有目标直方图的目标图像，例如以便创建在视觉上更吸引人的图像。下面更详细地描述全局色调映射器180。

连接到微控制器102的附加部件包括I/O端口接口128和扩展包接口132。I/O端口接口128可以促进照相机100通过I/O端口接收或发射视频或音频信息。I/O端口或接口的示例包括USB端口、HDMI端口、以太网端口、音频端口等。而且，I/O端口接口128的实施例可以包括可以容纳无线连接的无线端口。无线端口的示例包括蓝牙、无线USB、近场通信(NFC)等。扩展包接口132被配置为与照相机附加元件和可移除扩展包(诸如额外电池模块、无线模块等)进行接口。

BAYER彩色滤波阵列缩放器

图2图示了根据一个实施例的Bayer缩放器150的示例高级方框图。在一些实施例中，Bayer缩放器150是处理从图像传感器112访问的数据并且将该处理数据发送到微控制器102的硬件部件。Bayer缩放器150包括输入缓冲器205、红/蓝(R/B)矩阵缩放器210、绿-红/绿-蓝(Gr/Gb)矩阵缩放器215和输出合成器225。Bayer缩放器150可以包括与图2的实施例中所图示的那些部件不同和/或附加的部件，以执行本文所描述的功能。

输入缓冲器205接收和/或访问来自图像传感器112的图像数据。图3图示了根据实施例的经由Bayer滤波阵列布置的图像传感器112上的子像素310的示例性表示。每个子像素310包括像元，其确定入射在该像元上的蓝色、红色或者绿色波长光(即，光子)的强度。图像传感器包括许多子像素310，通常以百万计。对于每个红色(“R”)和每个蓝色(“B”)310而言，存在两个绿色子像素310(“Gr”和“Gb”)。当被组合时，这四个子像素可以表示整个像素，并且通常在被实现为确定颜色强度的去马赛克过程中被组合。返回参考图2，输入缓冲器205从图像传感器112接收这些子像素310的强度值的全部或一部分。

在一个实施例中，输入缓冲器205从预ISP 155接收图像数据。预ISP 155可以在输入缓冲器250接收图像数据之前对图像数据执行次要处理。在一个情况下，预ISP 155校正死亡像素的图像数据。预ISP 155确定图像数据中的任何子像素是否暗(即，全部黑)或全部饱和并且不与周围子像素的周围强度值类似(即，暗或饱和子像素超过了周围子像素的强度值的阈值范围)。对于这些死亡像素而言，预ISP 155可以利用更合理的值(诸如(相同颜色的)周围子像素的强度值的平均)来替换其强度值。

R/B矩阵缩放器210根据周围的红色或蓝色子像素的值和缩放子像素位置的方位来确定缩放子像素位置处的缩放红色或蓝色子像素的强度值。返回参考图3，在图像传感器112上选择缩放子像素位置315。注意，缩放子像素位置315的选择不限于任何特定子像素的位置。一旦缩放子像素位置315被选择，R/B矩阵缩放器210便基于缩放子像素位置315相对于周围的红色子像素的位置和周围的红色子像素值的值，来确定该缩放子像素位置315的红色强度值。换句话说，R/B矩阵缩放器210确定缩放子像素位置315处的子像素的强度值，即使缩放子像素位置315未确切地对应于图像传感器112上的任何子像素310的中心位置。R/B矩阵缩放器210以相同的方式确定用于该缩放子像素位置315的蓝色强度值，但是考虑的是周围的蓝色子像素。注意，出于以下讨论的目的，红色和蓝色子像素的讨论可以是可交换的，并且当参考红色子像素时，相同描述也可以被用于蓝色子像素。

所考虑的周围的子像素是与包含缩放子像素位置315的虚拟边界框320邻近的那些子像素。边界框320是与围绕缩放子像素位置315的三乘三子像素网格的子像素的中心相交的方形框，如在图3中所图示的。在一些实施例中，R/B矩阵缩放器210选择边界框320，使得红色(或者蓝色)子像素在边界框320的中心处，并且使得边界框320围绕缩放子像素位置315。在一些实施例中，R/B矩阵缩放器210还选择处于某个位置处的边界框320，使得缩放子像素位置315最中心地被定位在边界框320内。一旦R/B矩阵缩放器210选择了边界框320，R/B矩阵缩放器210就确定边界框320周围的3x3集合305。3x3集合305包括九个像素集(其中每个像素包括R、B、Gr和Gb子像素)。如在图3中所图示的，在边界框320的3x3集合305内存在总计九个红色子像素。这些包括紧邻边界框的八个红色子像素以及位于边界框320的中心处的红色子像素。

在确定用于缩放子像素位置315的九个红色(或蓝色)子像素之后，R/B矩阵缩放器210基于缩放子像素位置315的位置和周围的九个子像素的值来确定缩放子像素位置315处的红色(或蓝色)强度值。

使用这样的缩放器，来自图像传感器的图像数据可以在任何其他图像处理针对图像数据被执行之前被缩放，这降低了所使用和/或要求的处理能力。备选方案(诸如将接收到的子像素装箱(例如，每个箱具有2x2个子像素)))生成较差的图像质量。使用Bayer彩色滤波阵列缩放器允许照相机系统通过在像素处理之前缩放最大支持分辨率并且在像素处理之后再次可能地缩放到期望的分辨率，来充分利用像素处理能力。这允许照相机实现针对给定像素处理能力的最好的可能图像质量。

作为这样的益处的更具体示例，假定系统将被设计为以30帧每秒的速度来处理来自12兆像素照相机的图像，输出图像的速度是8兆像素/秒。使用Bayer缩放器，12兆像素图像可以使用1.22的缩放因子向下缩放到8兆像素图像。反过来，处理8兆像素图像，这将像素处理要求从360兆像素/秒降低到240兆像素/秒。

图4图示了根据实施例的用于确定缩放子像素位置315的针对红色和蓝色子像素二者的强度值的示例性过程。在一个实施例中，为了计算缩放子像素位置315处的强度值，R/B矩阵缩放器210通过计算的系数来修改九个红色(或者蓝色)子像素值中的每一个，并且将结果加在一起。如在图4中所示，3x3集合305的垂直轴利用α’,β’和γ’(分别是阿尔法撇、贝它撇和伽马撇)标记，并且3x3集合的水平轴利用α,β和γ(分别是阿尔法、贝它和伽马)标记。这些标记表示系数，这些系数与针对红色被标记为R₁₁到R₃₃或者针对蓝色被标记为B₁₁到B₃₃的九个红色或蓝色子像素值相乘，以便确定缩放子像素位置315处的强度值。块430图示了由R/B矩阵缩放器210使用的等式，用来计算缩放子像素位置315处的红色强度值，并且块435图示了由R/B矩阵缩放器210使用的等式，用来计算缩放子像素位置315处的蓝色强度值。注意，九个红色或蓝色子像素值中的每一个根据该子像素相对于边界框的位置乘以带撇和不带撇系数。例如，R₂₃乘以β’，因为其在第二行中，并且还乘以γ，因为其在第三列中。

在一些实施例中，R/B矩阵缩放器210通过遵守某些约束来计算系数(α、β、γ、α’、β’和γ’)的值。这些约束是：1)为了保留结果图像的总体颜色，2)确保缩放子像素位置处的计算的强度值相对于图像传感器的相邻子像素的准确度，3)实现恒定噪声水平(或者阈值内的噪声水平)，以及4)实现恒定模糊水平(或者阈值内的模糊水平)。恒定噪声水平是约束的一个原因在于：如果噪声水平针对每个子像素一致，则后续后处理(诸如去噪声)被简化。恒定模糊水平的一个原因在于：最终产生的图像中的模糊水平贯穿图像是均匀的，这允许图像保持可接受的视觉质量。

为了实现图像的总体颜色的保留，α’、β’和γ’的值的和以及α、β和γ的和应当各自等于1。通过实现该约束，缩放子像素位置315处的结果强度值相对于由子像素310所采集的原始图像没有变亮或者变暗。

为了实现强度值关于缩放子像素位置315的位置的准确度，α和γ(或α'和γ')的值之间的差应当等于缩放子像素位置距边界框的中心的距离。对于α和γ而言，该距离由φ指示，并且对于α'和γ'而言，该距离由φ'指示。换句话说，系数将坚持-α+γ＝φ(和–-α’+γ’＝φ’)的约束。距离φ或φ'的范围为从-0.5到0.5，如由图4中的415和425所指示的。当缩放子像素位置315在边界框320的边界之一处时，φ是-0.5或0.5，并且当缩放子像素位置315在边界框的中心处时，φ是0。此外，如果φ＝-1/2，则γ应当是零，并且如果φ＝1/2，那么α＝0以确保当穿过框320的边界时的规则性。

为了当确定缩放子像素位置315的强度值时确保恒定或者接近恒定(例如，在阈值内)的噪声水平，3个系数的每个集合的平方和应当等于或者基本上等于(在阈值内)用于强度值的所有计算的常量值n。换句话说，α²+β²+γ²＝n并且α’²+β’²+γ’²＝n。在一些实施例中，常量的值是0.5。选择0.5的原因在于，对于边界框320处的缩放子像素位置315而言，该位置在当前边界框320以及相邻边界框之间被共享，这意味着α和γ之一必须是零，其进而意味着系数必须是1/2、1/2、0，其中n＝1/2。

为了当确定缩放子像素位置315的强度值时确保恒定或者接近恒定(例如，在阈值内)的模糊水平，每个系数乘以每个子像素距缩放子像素位置315(即，“重心”)的距离的平方的和应当等于(或者接近)常量值b。换句话说，α(φ+1)²+βφ²+γ(φ-1)²＝b并且α’(φ+1)²+β’φ²+γ’(φ-1)²＝b。在一个实施例中，常量是3/8。值3/8来源于边界条件，其推理类似于噪声水平。

R/B矩阵缩放器210使用以上约束求解系数α、β和γ并且类似地求解α'、β'和γ'。由于与所存在的系数相比存在更多的约束，因而解可能不是确切的匹配。相反，为了确定解，R/B矩阵缩放器210选择系数，使得针对最后两个约束计算的值在噪声和模糊的常量的阈值内(例如，可以实现5％)。例如，系数被选择，使得系数的平方和产生在噪声常量值n的阈值内的结果，并且针对模糊常量值b进行同样的处理。

在用于β和β'的块440、用于α和α'的块445和用于γ和γ'的块450中图示了R/B矩阵缩放器210用来计算系数的结果解。通过根据上文所指示的约束求解系数，R/B矩阵缩放器210可以使用这些块中所指示的解来确定系数。注意，针对α和γ的解取决于β的值。而且，如上文所指出的，由于超过三个的约束被指示用于求解三个系数，所以可能存在可以近似噪声和模糊常量的多个解，并且因此β可以备选地由通过以下方案来求解：

以及(1)

注意，式(1)基于三个子像素的Bezier插值，但是其可以产生好的噪声水平，其产生可以不导致视觉上可接受的图像的+/-10％的较差的模糊水平。

在求解这些系数之后，这些系数然后可以被用于根据块430和块435处的解来求解缩放子像素位置315处的红色或蓝色强度值的强度值。再注意，虽然已经关于红色进行了以上描述，相同过程适于计算缩放子像素位置315的蓝色强度值。主要差异在于，用于蓝色强度值的边界框405以蓝色子像素(诸如图4中所图示的“B₂₂”)为中心，并且用于缩放子像素位置315的距离φ(例如，420b和425b)相对于该新边界框315被确定。

返回到参考图3，Gr/Gb矩阵缩放器215基于周围的绿色子像素值，确定缩放子像素位置315处的绿色强度值。与红色和蓝色强度值的情况一样，Gr/Gb矩阵缩放器215还基于缩放子像素位置315的距离，计算缩放子像素位置315处的绿色强度。然而，由于图像传感器包括用于每个蓝色和红色子像素的两个绿色子像素，因而可以在较大的准确度的情况下确定缩放子像素位置315处的绿色强度值，同时具有较低的噪声和模糊。

图5图示了根据实施例的用于确定用于绿色子像素的缩放子像素位置的强度值的示例性过程。与针对蓝色或者红色子像素在上文所描述的过程相比较，由于图像传感器112具有与蓝色或者红色子像素相比较双倍数目的绿色子像素310，所以Gr/Gb矩阵缩放器215可以使用较小的边界框526，其与四个子像素的中心而不是蓝色或者红色子像素中的八个子像素相交，如上文所描述的。边界框526包围缩放子像素位置525，并且在其角中的两个处具有绿色子像素。Gr/Gb矩阵缩放器215使用周围的2x2像素集合505的八个绿色子像素，来确定边界框526内的缩放子像素位置525的强度。如所示，虽然先前需要3x3集合305并且该集合305包括总计九个红色或蓝色子像素，但是对于绿色子像素，仅需要2x2集合505来产生八个子像素。由于Gr/Gb矩阵缩放器215使用较小的集合确定结果强度值，因而结果强度值更准确地表示特定缩放子像素位置525处的颜色。

为了确定边界框525，Gr/Gb矩阵缩放器215确定围绕缩放子像素位置525的正方形边界框，其也在正方形的两个角中具有绿色子像素。虽然在2x2集合505中，左上角的子像素是绿色子像素，但是在其他情况中，缩放子像素位置被选择，使得边界框被形成使得2x2集合的左上角不是绿色子像素。在这种情况下，子像素在具有边界框531的2x2偏移集合510种类似“偏移”(具有缩放子像素位置530)。将主要参考非偏移情况进行剩余的讨论，然而，以类似方式处理偏移情况，其中系数由于绿色子像素的偏移位置而被修改。

与R/B矩阵缩放器210一样，Gr/Gb矩阵缩放器215基于2x2集合中的周围的绿色子像素的位置并且基于某些约束，确定缩放子像素位置525的绿色强度值。注意，虽然Gr和Gb绿色子像素在图5中被分离地标记以准确地刻画图像传感器112，但是当确定绿色强度值时，这两个绿色子像素被同样对待。例如，虽然2x2集合505的左上角具有Gr子像素，但是下面所描述的系数被计算，就如左上角包括Gb子像素一样。

与R/B矩阵缩放器210一样，Gr/Gb矩阵缩放器215确定缩放子像素位置525距边界框526的中心的距离φ。在绿色子像素的情况下，与确定蓝色或红色强度值时相比，所测量的距离较小。然而，当缩放子像素位置525在边界框526的边界处，缩放子像素位置525的φ值也被设定为0.5。这是因为在边界点处，缩放子像素位置525在两个绿色子像素的中间。

Gr/Gb矩阵缩放器215基于在块540(和针对偏移集合的块545)处所指示的解，计算绿色强度值。注意，与如上文所描述的红色和蓝色强度值的解类似，用于绿色强度值的解将由系数所修改的2x2集合505的八个绿色子像素求和，其中系数基于2x2集合505中的每个子像素的坐标被设定。由于每个绿色子像素在四个行和四个列之一内，因而需要四个系数而不是像蓝色/红色情况那样需要三个。这四个系数是α、β、γ和δ(阿尔法、贝它、伽马和德尔塔)。

用于确定绿色强度值的约束可以与用于确定绿色/红色强度值的约束类似，但是可以附加地考虑Gr和Gb绿色子像素的灵敏度之间的差。通常地，在Bayer彩色滤波阵列中，Gr绿色子像素具有比Gb绿色子像素的像元更敏感的像元。Gr/Gb矩阵缩放器215附加地基于附加约束来补偿这种灵敏度差异。

如在先前的情况下，第一约束确保颜色值与原始图像一致，并且采取形式：α+β+γ+δ＝1。第二约束参考缩放子像素位置525考虑周围的子像素的位置，并且因此采取形式：-1.5α-0.5β+0.5γ+1.5δ＝φ。注意，与蓝色/红色情况相比较，最远的绿色子像素的中心矩边界框是1.5单位远(在φ的标度是1单位每子像素的情况下)。第三约束将解约束到恒定噪声和模糊水平，因此与蓝色/红色情况类似：α²α’²+α²γ’²+β²β’²+β²δ’²+γ²α’²+γ²γ’²+δ²β’²+δ²δ’²＝n²(注意，如上所述，当缩放子像素位置被“偏移”时，该式是α²β’²+α²δ’²+β²α’²+β²γ’²+γ²β’²+γ²δ’²+δ²α’²+δ²γ’²＝n²)。第四约束基于位置约束系数的范围：如果φ＝-0.5，则δ＝0并且如果φ＝0.5，则α＝0。最后约束调节Gr和Gb子像素中的任何不平衡，使得约束采取形式：α+β＝γ+δ。这确保使Gr和Gb子像素的差相等。注意，通过代替针对其带撇系数(即，α’、β’、γ’、δ’和φ’)的每个系数，相同约束被用于带撇系数值，但是对于如上文所示的噪声/模糊约束式等式而言，没有带撇系数可以被代替，因为其具有水平分量和垂直分量的组合。与蓝色/红色情况一样，如果约束未产生单个解，则可以近似使用这些约束的系数的解。

在图5中的块550-570中示出了给定约束的系数的解。用于α、β、γ和δ(和其带撇值)的解基于λ值和φ值而被参数化(φ值是从边界框的中心到缩放子像素位置的距离)。在确定系数之后，Gr/Gb矩阵缩放器215确定缩放子像素位置525处的绿色强度值。Gr/Gb矩阵缩放器215执行类似操作来确定用于缩放子像素位置531的2x2偏移集合510的绿色强度值。

返回参考图2，Gr/Gb矩阵缩放器215和R/B矩阵缩放器210可以确定用于多个缩放子像素位置的绿色和红色和蓝色强度值。例如，对于3：2缩放图像而言，在每个图像维度中每隔1.5个像素计算缩放子像素。随后地，输出合成器225将这些计算的缩放子像素值组成新图像，其被发送到微控制器102用于进一步处理。

最终地，通过在任何进一步的处理之前并且在彩色滤波阵列水平处在图像上使用上文所公开的Bayer缩放器执行缩放过程，实现了大量的性能优点，并且实现该缩放所要求的硬件部件被减少，因为附加的存储器和处理块不需要被实现在系统中以处理附加的子像素数据。这可能导致降低的总体硬件成本以及增加的电池寿命。

而且，选择的缩放子像素位置可以是任意的，并且可以在没有限制的情况下被选择。换句话说，缩放子像素位置的选择不受固定的位置网格限制。例如，如果Bayer缩放器150对图像进行缩放，则缩放不必是图像传感器112中的子像素的数目的倍数(例如，2x等)，因为任何缩放子像素位置都可以被选择(例如，1.1x、1.2x等)。

Bayer缩放器150可以针对每个时钟周期接收任意数目的子像素(例如，2或4个子像素每时钟周期)。在每种情况下，Bayer缩放器150可以被配置(例如，经由并联链路)为以在输入速率的阈值范围内的输出速率输出子像素值。

在一个实施例中，Bayer缩放器150对来自图像传感器112的所采集的图像执行线性缩放操作。在这样的情况下，用于具有缩放子像素位置f的两个子像素A和B的解是αA+βB，其中系数的解如下，其允许噪声和模糊上的5％稳定性被实现。

用于Bayer缩放的示例性过程

图6图示了根据一个实施例的用于在连续的缩放子像素位置处进行Bayer缩放的方法。在其他实施例中，方法包括与由图6所描绘的那些步骤不同的、附加的、或更少的步骤。此外，在一些实施例中，可以以不同的次序执行结合图6所描述的步骤。

最初地，Bayer缩放器150标识605所采集的图像中的缩放位置，所采集的图像包括子像素阵列。该缩放位置可以从外部被提供或者根据算法被确定。例如，Bayer缩放器150可以基于规则的偏移距离确定缩放位置。

Bayer缩放器150标识610所采集的图像内的与所标识的缩放位置邻近的第一组红色子像素。这些红色子像素是围绕包括缩放位置的边界框的3x3集合中的红色子子像素。边界框的中心包括红色子像素。

Bayer缩放器150基于第一组红色子像素的值和第一组红色子像素中的每一个到所标识的缩放位置的距离，计算615缩放位置处的缩放红色子像素值。在一个实施例中，Bayer缩放器150基于上文所描述的解，计算缩放红色子像素值。

Bayer缩放器150标识620所采集的图像内的与所标识的缩放位置邻近的第二组蓝色子像素。这些第二组蓝色子像素也是围绕包括缩放位置的边界框的3x3集合的一部分。边界框的中心包括蓝色子像素。

Bayer缩放器150基于第一组蓝色子像素的值和第一组蓝色子像素中的每一个到所标识的缩放位置的距离，计算625缩放位置处的缩放蓝色子像素值。在一个实施例中，Bayer缩放器150基于上文所描述的解，计算缩放蓝色子像素值。

Bayer缩放器150标识630所采集的图像内的与所标识的缩放位置邻近的第三组绿色子像素，绿色子像素包括Gr和Gb绿色子像素。这些Gr和Gb子像素是围绕一边界框的2x2像素集的那些子像素，所述边界框在该边界框的两个相对角处具有绿色子像素。

Bayer缩放器150基于第一组绿色子像素的值和第一组绿色子像素中的每一个到所标识的缩放位置的距离，计算635缩放位置处的缩放绿色子像素值。在一个实施例中，Bayer缩放器150基于上文所描述的解，计算缩放绿色子像素值。

Bayer缩放器150生成表示所采集的图像的缩放图像，缩放图像至少包括缩放红色子像素值、缩放蓝色子像素值和缩放绿色子像素值。如上文所描述的，在一些实施例中，缩放图像包括：一组缩放红色子像素值，其包括计算的缩放红色子像素值；一组缩放蓝色子像素值，其包括计算的缩放蓝色子像素值；以及一组缩放绿色子像素值，其包括计算的缩放绿色子像素值。在这些实施例中，一组缩放红色子像素值、一组蓝色子像素值和一组绿色子像素值被组合以形成缩放图像。Bayer缩放器150可以以与Bayer缩放器150接收原始图像数据的格式类似的格式输出缩放图像。例如，如果图像数据作为一组子像素由Bayer缩放器150接收，则Bayer缩放器150还可以将数据作为一组子像素输出。

强光强光剪切

图7图示了根据一个实施例的剪切校正器160的示例高级方框图。在一些实施例中，剪切校正器160是处理从图像传感器112访问的图像数据的硬件部件。剪切校正器160包括白平衡校正器710、透镜阴影校正器715和强光强光调节校正器720。剪切校正器160可以包括与图7的实施例中所图示的那些部件不同和/或附加的部件，以执行本文所描述的功能。

白平衡校正器710确定调节是否应当被应用到来自图像传感器112的所采集的图像以校正白平衡误差。在由图像传感器112所采集的颜色相对于当由眼睛察看时场景中的颜色不准确的情况中可能发生白平衡误差(潜在地由于图像传感器的变化的光谱响应)。当校正白平衡时，白平衡校正器710可以应用各种算法(诸如灰色世界算法、白点算法、颜色相关性算法等)以便确定场景的发光体的颜色温度，并且然后校正来自图像传感器112的所测量的强度值，使得场景中的白色物体看起来是白色的，并且使得图像显得与人类察看相同。基于算法，白平衡校正器710确定调节值，以被全局地应用到颜色通道(即，红色、绿色或蓝色)中的一个或多个以便补偿场景的颜色温度。

透镜阴影校正器715确定调节是否需要被应用到所采集的图像以校正透镜阴影。透镜阴影由于各种因素(诸如通过照相机的透镜组件的光路中的变化、由透镜镜筒造成的光的物理阻塞、图像传感器上的光射线的入射角等)发生。对所采集的图像的影响在于，图像的部分(特别是周边)比图像的其他部分(诸如中心)更暗。图像的部分的这种人工阴影对于人类观察者可能是不期望的。为了校正该透镜阴影，透镜阴影校正器715可以应用各种算法(诸如通过将校准的阴影补偿图应用(即时)到所采集的图像、通过将所采集的图像与关于被存储在查找表中的参考图像的信息相比较或使用参数校正函数等)。这些函数提供调节值以应用到受阴影影响的图像部分处的颜色通道。

在一些实施例中，透镜阴影还可能由于被放置在图像传感器112前面的IR滤波器的响应特性而发生。通常，图像传感器112将检测近红外波长范围中的光子。因此，在未过滤IR波长的情况下，图像传感器112也将采集可见光谱内的光的IR波长的强度，产生不表示由人类察看的场景的图像伪影。相反，IR滤波器被放置在图像传感器112前面以滤出任何IR波长。然而，取决于撞击滤波器的光子的入射角，该IR过滤器可能非均匀地滤出光。由于IR滤波器发生的误差的示例是在均匀的白色区域(例如，白墙)的图像中出现粉红色/绿色光环。透镜阴影校正器715还向采集的图像的不同部分和颜色通道应用调节来校正归因于IR滤波器的变化。

强光调节校正器720将调节应用到图像的像素，同时防止强光区域的不自然的去饱和。强光调节校正器720接收调节值以应用到图像的部分内的一个或多个颜色通道。例如，透镜阴影校正器715可以指示增益曲线以跨图像应用到三个颜色通道来校正渐晕。增益曲线可以指示调节值(其为待应用到图像中的每个像素处的每个颜色值的乘积因子)。该乘积因子可以大于或者小于一。

图像的一些像素的颜色强度值可能已经在最大饱和值处。每个图像具有有限的动态范围，并且最大饱和值是图像的动态范围中的最大值。例如，如果图像的每个颜色通道是8位，则最大饱和值是255。当图像被采集(或者先前地调节)时，图像的一些部分处的一些颜色值可能超过最大饱和值。在这种情况下，图像的这些(强光)部分在颜色方面被显示为白色。然而，在图像的该部分处由图像所采集的场景的实际颜色可能不是白色的，而是某种其他颜色(诸如浅蓝色)。所采集的图像中的颜色改变由于信息丢失而引起，信息丢失由于动态范围的限制改变了该像素处的颜色强度的比。当颜色值在高强度处时，该误差可能不太明显，因为像素看起来是接近白色的。然而，如果图像的该部分是利用具有小于一的乘积因子的调节值调节的，则颜色值减小，并且红色、绿色和蓝色颜色之间的不正确的比将更加明显，因为结果像素不再是白色的，并且可能具有不表示原始颜色的异常或不自然的颜色(例如，如果所有通道相同地去饱和，则为浅蓝或灰色)。

为了调节该问题，强光调节校正器720通过确定对像素的颜色强度值或者对像素的全部三个颜色强度值做出的调节值是否大于经校正的调节值来执行去饱和操作，经校正的调节值等于输入颜色值的两倍减去最大饱和值。换句话说，强光调节校正器720确定：

out＝max(adjust*in，2(in)-max_saturation) (8)

例如，如果像素的红色强度在最大饱和值255处，并且调节值是0.7，那么强光调节校正器720确定(0.7)*255或2*(255)-255中的较大者。此处，较大值是后者，并且因此红色强度保持255，并且因此图像中被饱和的仍然保持饱和。作为另一示例，如果红色强度是100，调节因子为0.7，则强光调节校正器720确定0.7*100或2(100)-255中的较大者，其是.7*100＝100。注意，由于调节值可以来源于增益曲线，因而其针对不同的颜色强度水平可以是不同的。

相反地，图像的一些像素的一些颜色强度值可能尚未在最大饱和值处，但是在应用调节值之后将处于最大饱和值处。在这样的情况下，强光调节校正器720调整调节值以适应将到达最大饱和值的那些颜色强度值，使得经调节的颜色值可能不到达最大值，而是基于调节因子的值被缩放。换句话说，虽然被调节的值将接近最大值，仅具有最高原始值的强度值可以到达最大值。其他强度值可以被设定为小于最大饱和值，即使其将已超过最大饱和值，因为已经做出由调节值造成的简单缩放。

图8图示了根据实施例的应用到图像的示例性颜色曲线。饱和调节曲线850图示了将图像的颜色水平调节为更大的结果。一些值将到达饱和点820，并且因此由图像的最大动态范围限制。然而，其他值相反被设定到小于最大饱和值的值。在所图示的示例性颜色曲线850中，强光调节校正器720生成呈指数逐渐减小的曲线，使得虽然高强度值接近饱和点，但是高强度值逐渐地到达最大饱和点。

相反地，在去饱和调节曲线855中，取代颜色强度值的简单向下缩放，强光调节校正器720执行上文所描述的操作，其中简单缩放值与双倍输入强度值与最大饱和值之间的差之间的最大值被选择。曲线825表示后者值，并且曲线820表示前者值(即，简单缩放)。点830指示在两个曲线相交，并且实线指示根据上文所描述的功能应用的结果曲线。注意，较高的强度值未显著地减小，而是由于该曲线保持高，使得结果颜色接近白色并且防止不自然的颜色由于去饱和而出现。

用于去饱和保护的示例性过程

图9图示了根据一个例的用于实现去饱和保护的方法。在其他实施例中，方法包括与由图9所描绘的那些步骤不同的、附加的、或更少的步骤。此外，在一些实施例中，可以以不同的次序执行结合图9所描述的步骤。

最初地，剪切校正器160访问905来自图像传感器的图像。剪切校正器160针对图像的每个部分的每个颜色通道确定901对应的调节以应用到颜色通道来校正颜色不规则性。可以存在颜色不规则性(诸如白平衡问题和透镜阴影不规则性，如上文所描述的)。

剪切校正器160基于像素值的两倍与最大饱和值之间的差，确定915经校正的调节值。最大饱和值是由图像支持的动态范围的最大值。对于具有8位颜色通道的图像而言，针对每个颜色，其为256位。

剪切校正器160确定920调节的结果是否大于经校正的调节值。如果这样的话，则剪切校正器160将调节应用925到图像部分的对应颜色通道来产生经调节的颜色通道。换句话说，调节直接地被应用到像素的强度值。

否则，剪切校正器160将经校正的调节应用930到图像部分的对应颜色通道来产生经调节的颜色通道。

空间时间噪声降低

图10图示了根据一个实施例的空间时间噪声噪声降低(NR)引擎170的示例高级方框图。在一些实施例中，空间时间噪声降低(NR)引擎170是处理从微处理器102或图像传感器112访问的帧的硬件部件。空间时间噪声降低(NR)引擎170包括输入帧缓冲器1000、权重图1005、时间噪声降低1010、空间噪声降低单元1015和噪声降低混合单元1030。空间时间噪声降低(NR)引擎170可以包括与图10的实施例中所图示的那些部件不同和/或附加的部件来执行本文所描述的功能。

输入帧缓冲器1000存储从微处理器102或图像传感器112接收到的参考图像帧。输入帧缓冲器1000还存储在时间上与参考帧邻近的一个或多个图像帧。时间上邻近的帧是在采集参考帧之前(或者之后)采集的帧。这些可以在之前(或者之后)紧接着被采集，或者在这些帧的采集之间可以存在较短的时间段。例如，如果参考帧来自所采集的视频，并且是帧号为X，时间上邻近的帧可以是帧号X+n或X-n，其中X和n是整数值。由于参考图像帧和时间上邻近的图像帧在彼此的短时间段内被采集，因而由这些帧所采集的场景可以包括在帧中间共享的场景对象和所采集的元素。例如，帧可以来自较长的视频记录，并且因此参考图像帧和时间上邻近的图像帧可以是采集特定场景的视频的连续的图像帧。

反重影单元1020确定重影伪影是否可能存在于参考图像帧的部分与被存储在输入帧缓冲器1000中的时间上邻近的图像帧的对应部分之间。参考图像帧和时间上邻近的图像帧二者都具有从场景的采集生成的噪声。该噪声可以由暗噪声(在图像传感器112中固有的噪声)和泊松噪声(归因于光子的离散性质的噪声)二者引起，并且可以使用噪声降低技术降低。例如，参考图像帧和时间上邻近的图像帧中的每一个的像素强度值(即，亮度)可以一起被平均，以产生平均像素强度值结果，其降低了逐帧不同的随机地生成的噪声。如果四个帧被平均，则帧中的噪声方差的标准偏差除以二，这提供近似地6分贝(dB)的信噪比(SNR)增加。

虽然在许多时间上邻近的帧中，所采集的图像包括跨帧在图像上的类似坐标位置的细节(例如，在缓慢移动场景的所采集的图像帧的情况中)，但是在一些实施例中，所采集的场景在两个图像帧之间显著地不同(例如，在快速移动场景中)。当采集改变场景时，一个图像帧可以具有一个坐标位置处的所采集的元素，而下一帧可能由于场景的移动而不具有相同的元素。当平均这样的帧来降低噪声时，观察到“重影”效果，因为具有所采集的元素的像素与不具有所采集的元素的像素进行了平均。反重影单元1020确定在其中重影伪影存在的图像帧的部分(即，小于图像的总区域的图像的区域)，使得在这些部分上不执行简单帧平均。

为了确定重影伪影是否存在于图像帧的部分中，反重影单元1020确定图像帧的所述部分在时间上邻近的图像帧上是否具有较大的强度改变(即，这些部分看起来不是利用相同量的光照射的)。反重影单元1020计算参考帧和时间上邻近的帧上的图像的部分之间的像素强度值距离(即，差)。如果该像素值距离超过可配置的统计上显著的阈值，那么反重影单元1020确定如果图像的该部分被简单地进行帧平均将出现重影伪影。反重影单元1020还基于针对图像帧的每个部分的像素值距离，计算权重图1005。

在一个实施例中，当反重影单元1020确定参考图像帧和/或时间上邻近的图像帧的一部分的SNR大于阈值水平时，反重影单元1020基于由图像帧中的所测量的噪声标准化的像素值距离的绝对值，确定像素距离值。

然而，当反重影单元1020确定参考图像帧和/或时间上邻近的图像帧的一部分的SNR小于阈值时，反重影单元1020基于图像的该部分的更鲁棒的空间平均(即，模糊)，确定像素距离值。例如，空间平均可以包括5x5卷积核。反重影单元1020可以通过还确定在邻近图像帧的部分中是否存在任何高频改变(即，在没有模糊的情况下可以检测到的改变)，来补偿归因于模糊的信息损失。

在一个实施例中，像素距离值计算可以由以下式表示：

高频距离Δ_HF是针对SNR较高并且在计算差之前在像素值上要求较少模糊的情况的像素距离值。低频距离Δ_LF表示针对SNR较低(即，有噪声的)的情况的像素距离值。当SNR是低时，距离使用附加的模糊步骤计算(即，每个帧的周围的像素值被平均并且这些平均值之间的差被测量)。注意，“1_5x5”表示5x5卷积核(即，在矩阵的每个位置中具有1的5x5矩阵)，并且“*”运算符表示卷积运算符。X_t和X_t-1分别表示参考图像帧和时间上邻近的图像帧的像素，并且||X_t-X_t-1||表示相应的图像帧中的像素值的差的绝对值。小写字母西格玛σ表示标准偏差。

ghostDistance值是代表重影伪影的发生的可能性的预定值。该值大于像素距离值未被考虑由重影伪影引起的最大阈值。例如，ghostDistance可以被设定到10(即，如果距离小于10，那么重影伪影未被指示)。SNR_limit是高频距离(Δ_HF)变得太有噪声的限制。

在一个实施例中，如果不存在重影伪影，则标准偏差的标准化估计器具有期望值1，并且E(Δ_HF)＝1,E(Δ_LF)＝1。

在一个实施例中，当从低频距离等式计算的结果未检测到显著的像素距离值差，而从高频距离等式计算的结果的确测量到差时，反重影单元1020确定当确定图像帧的一部分处的像素值距离时已经发生混叠问题。这可能发生，因为低频距离计算针对图像帧的部分使用附加的空间平均(模糊)，并且因此图像帧之间的改变不必被检测。该差异利用反重影单元1020触发反混叠程序，使得反重影单元1020确定重影伪影存在于图像的该部分处。

在一个实施例中，反重影单元1020基于模糊函数确定权重图1005。

注意，Smax和Smin表示用于确定重影伪影是否存在的可配置的阈值(例如，5个单位的像素距离)。

使用模糊函数，权重图1005基于以下式来确定：

如所示，反重影单元1020通过3x3矩阵腐蚀权重图1005来使重影伪影检测更鲁棒，使得如果重影伪影在腐蚀区域内被检测到，则该区域中的所有像素被认为具有重影伪影。这可以在彩色滤波阵列水平处被执行。

空间噪声降低单元1015确定输入帧缓冲器1000中的图像帧的部分的一组空间噪声降低值，其中重影伪影由反重影单元1020检测。基于图像的一部分的周围的像素值的平均值，可以确定图像的该部分的空间噪声降低值。在一个实施例中，空间噪声降低单元1015使用单尺度非局部(NL)均值确定图像传感器112的彩色滤波阵列上的空间去噪。空间噪声降低单元1015确定图像帧的具有相同相位的像素上的加权和。为了计算两个像素之间的差，空间噪声降低单元1015将图像帧的局部颜色部分与所估计的噪声值相比较，所估计的噪声值基于噪声模型和参考灰度补片计算。加权和使用以下式确定：

空间噪声降低单元1015附加地使用系数修改加权和，以便使空间去噪与时间去噪一致。空间噪声降低单元1015确定用于每个像素的系数，使得方差与时间去噪基本上类似。该方差是：

空间噪声降低单元1015的目标是Var(S)/Var(X₀)＝1/M，其中M是由时间噪声降低单元1010使用的帧的数目，以通过平均M个帧执行时间噪声降低。

而且，如果：

那么：

此处，K的选择是根的最大值；否则K是1。

时间噪声降低单元1010确定输入帧缓冲器1000中的图像帧的部分的一组时间噪声降低值，其中反重影单元1020未确定重影伪影存在。时间噪声降低单元1010通过在M个图像帧上平均图像帧的部分处的像素强度值来确定时间噪声降低值。

此外，由于多个图像帧上的噪声是随机的(即，白噪声)，因而该噪声的光谱是常量。因此，时间噪声降低单元1010还可以通过低通滤波器传递图像帧来降低高频，从而降低噪声的视觉影响。

噪声降低混合单元1030基于用于一个或多个输入图像帧的权重图1005，将由空间噪声降低单元1010和空间噪声降低单元1015所确定的时间和空间噪声降低值混合，以输出应用了噪声降低的一个或多个最终图像帧。当权重图指示大像素距离值时，小的或没有时间噪声降低与强空间噪声降低混合。当小像素距离值被指示时，强时间噪声降低与小的或没有空间噪声降低混合。这降低了被引入到图像中的模糊的量。在一个实施例中，噪声降低混合单元1030根据以下等式来混合输出图像：

此处，N表示被用于噪声降低的图像帧的总数目，并且weight基于来自式(13)的权重图1005计算。τ是混合系数，并且S是来自式(13)的空间噪声降低值。

用于空间时间噪声降低的示例过程

图11图示了根据一个实施例的用于一个或多个图像帧中的空间时间噪声降低的方法。在其他实施例中，方法包括与由图11所描绘的那些步骤不同的、附加的、或者更少的步骤。此外，在一些实施例中，可以以不同的次序执行结合图11所描述的步骤。

最初地，空间时间NR引擎170访问1105来自有序的一组帧的参考图像帧，并且还访问1110有序的一组帧内的与参考图像帧在时间上邻近的图像帧。

空间时间NR引擎170计算1115参考图像帧的一部分与每个时间上邻近的图像帧的对应部分之间的像素距离值。在一个实施例中，这可以使用上文所描述的方法由反重影单元1020执行。

空间时间NR引擎170确定1120像素距离值是否指示针对图像部分的潜在重影伪影。空间时间NR引擎170可以确定上文所描述的过程中的像素距离值并且基于所确定的像素距离值，生成权重图。

如果没有重影伪影被指示，则空间时间NR引擎170基于每个时间上邻近的图像帧的对应部分，计算1125用于图像部分的一组时间噪声降低值。在一个实施例中，空间时间NR引擎170通过平均时间上邻近的帧的部分来确定时间噪声降低值。

如果重影伪影被指示，则空间时间NR引擎170基于参考图像帧内的与该图像部分邻近的图像部分，计算1130用于该图像部分的一组空间噪声降低值。在一个实施例中，空间时间NR引擎170以上文所描述的方式确定一组空间噪声降低值。

空间时间NR引擎170确定1135图像帧的额外部分是否仍然要被处理。如果这样的话，则空间时间NR引擎170在块1115处继续执行。否则，空间时间NR引擎170将对应于参考图像帧的多个部分的多组计算空间噪声降低值和多组计算时间噪声降低值混合1140，来产生混合的一组噪声降低值。在一个实施例中，空间时间NR引擎170根据上文所描述的混合操作来混合噪声降低值。

基于混合的一组噪声降低值，空间时间NR引擎170生成1145经修改的参考图像帧。该经修改的参考图像帧具有通过空间时间NR引擎170被应用于其的噪声降低。

全局色调映射

图12图示了根据一个实施例的全局色调映射器180的示例高级方框图。在一些实施例中，全局色调映射器180是处理从微处理器102或图像传感器112访问的图像的硬件部件。全局色调映射器180包括直方图模块1205、自动曝光校正模块1215、目标直方图确定模块1220、直方图传递模块1225以及非锐化掩模模块1230。全局色调映射器180可以包括与图12的实施例中所图示的那些部件不同和/或附加的部件，来执行本文所描述的功能。

直方图模块1205计算用于经访问的图像的直方图，并且还基于直方图确定待应用到图像的黑点。直方图模块1205还可以确定图像的像素值(例如，红色、绿色和蓝色值)是否在线性域中。当伽玛曲线已经被应用时或者如果图像的像素值的范围已经被非线性地压缩以拟合颜色空间，则图像可以不在线性域中。如果值未在线性域中，则直方图模块1205可以将像素值转换(回)到线性域。直方图模块1205计算用于图像的每个颜色通道的三个直方图。直方图模块1205使用这三个颜色直方图来估计每个颜色通道的黑点，并且将黑点应用到图像，使得每个通道上的结果像素的仅给定百分比是黑的(例如，0.1％)。

直方图模块1205还基于图像的亮度，计算图像的亮度(灰度级)直方图。图像的亮度基于亮度函数来确定，亮度函数试图将人眼的敏感度朝向三个不同的主要颜色匹配。在一个实施例中，直方图模块1205使用以下亮度函数确定图像的亮度：

Y(R，G，B)＝0.3R+0.55G+0.15B (20)

此处，R、G和B分别是用于红色、绿色和蓝色的像素处的颜色强度值。注意，在亮度函数中进一步强调绿色，因为人眼对绿色而不是红色或蓝色光更敏感。在直方图模块1205使用亮度函数计算出图像的亮度值之后，直方图模块1205确定用于图像的亮度直方图。在一个实施例中，为了增加小细节上的光照效果，直方图模块1205将5x5箱式滤波器应用到图像。

自动曝光校正模块1215校正图像的任何不期望的自动曝光。图像可能在被照相机100采集期间过度曝光或者曝光不足。特别地，照相机100的自动曝光机构可能已经使图像的感兴趣区域曝光不足，以便保存图像中的强光，使得图像中的强光区域保持与照相机100的动态范围在一起。

在一个实施例中，为了补偿这些曝光误差，自动曝光校正模块1215使用查找表(LUT)，其在没有剪切强光信息的情况下提供针对输入亮度值的经校正的输出亮度值。LUT基于通过将线性曲线和贝塞尔曲线连结所生成的色调曲线而生成。线性曲线的斜率基于应用到图像以更好地曝光相关的感兴趣区域(ROI)的放大。该斜率可以等于2ev(二段式)的曝光偏置。贝塞尔曲线部分基于以下等式：

此处，B是由三个控制点P₀＝[ρ/s,ρ]_t、P₁＝[1/s,1]_t和P₂＝[1,1]_t定义的三次贝塞尔曲线。图14A图示了根据一个实施例具有三个点1405、1410和1414的这样的曲线1420的示例。注意，该曲线提供值的线性标度，但是靠近该最大饱和点平滑地逐渐减小以避免剪切值。该曲线可以通过以下等式而被参数化地表示：

特别地，对于二次贝塞尔曲线而言：

B(t)＝(1-t)²P₀+2t(1-t)P₁+t²P₂，t∈[0，1] (23)

使用内插，参数等式可以被转换到笛卡儿空间。

自动曝光校正模块1215使用从色调曲线生成的LUT将色调曲线应用到图像的亮度强度值。在一个实施例中，自动曝光校正模块1215将色调曲线应用到原始图像，并且然后直方图模块1205确定后色调曲线空间中的图像的亮度值和亮度直方图。

返回参考图12，目标直方图确定模块1220确定图像的目标直方图，其增强图像的全局对比度。图像将被修改，使得经修改的图像具有目标直方图作为其直方图。

在一个实施例中，目标直方图确定模块1220自动地选择实现图像中的所有ROI的最佳对比度的目标直方图。这些可以包括平直方图(总体增强对比度)或者抛物线直方图(增强阴影和强光)。目标直方图确定模块1220可以分析自动曝光校正亮度直方图来确定在图像中未被显著地表示的那些区域，并且选择增强这些区域的目标直方图。在一个实施例中，目标直方图确定模块1220允许用户选择目标直方图。目标直方图确定模块1220可以向用户呈现直方图将如何影响图像的估计预览。

图14C图示了示例性的一组目标直方图(诸如平直方图1450和两个抛物线直方图1445和1440)。注意，这些是理想的连续直方图的表示，并且实际上，因为图像中的像素计数是离散的，经修改的图像的实际直方图仅接近理想直方图。

返回参考图12，直方图传递模块1225修改图像，使得其匹配由目标直方图确定模块1220所确定的目标直方图。为了完成这一点，直方图传递模块1225首先确定传递函数，其将自动曝光校正图像的亮度值转换为具有目标直方图作为其直方图的目标图像。

图13图示了将输入像素1350转换为输出像素1360使得输出图像的直方图1330匹配目标直方图(即，平直方图)的传递函数1355的示例性示图。在一个实施例中，为了转换图像使得其到达输出图像直方图1330，直方图传递模块1225使用输入图像的直方图1320确定第一累积分布。在每个强度水平处，累积分布对图像中的该强度水平处的像素数目连同小于该强度水平的强度水平的像素数目进行计数。当被应用到图像的像素时，第一累积分布生成具有平直方图的图像。直方图传递模块1225还可以采取目标直方图，并且基于该目标直方图，生成第二累积函数。注意，目标直方图可以由直方图传递模块1225修改，以具有与原始亮度图像的直方图1320相同的面积。直方图传递模块1225然后将第一累积分布与第二累积分布的倒数组合，以生成传递函数1355。在其他实施例中，不同的方法被用于确定两个直方图之间的传递函数。

注意，在应用图13中的传递函数之后，输出图像直方图1330不是完美地平坦的。这由于以下事实：像素计数和值是离散的而不是连续的，并且因此四舍五入和其他量化影响可能影响结果。

在一个实施例中，为了避免由传递函数造成的对亮度值的暗区域的大的放大，因此导致噪声的不想要的放大，直方图传递模块1225通过约束传递函数的导数来调整传递函数的导数。图14B图示了传递函数的示例性导数。指定的低阈值和高阈值(例如，ThLow和ThHigh)。这些指示导数的最小值和最大值。超过这些阈值的导数函数的区域由在图14B中的虚线上面和下面的区域1430和1435指示。直方图传递模块1225确定这些区域中的哪一个是较小区域，并且增加该较小区域的面积直到其匹配(或者在特定范围内基本上匹配)较大区域的面积。直方图传递模块1225从该经修改的导数函数剪切两个区域，并且将导数函数积分(并且平滑)以生成调整的传递函数。均衡两个区域的目的是使得当对剪切导数进行积分时像素的数目被保留。

在计算传递函数之后，在一个实施例中，直方图传递模块1225将传递函数转置到其中图像的伽玛曲线尚未被应用的颜色空间。给定传递函数T(x)，在一个实施例中转置的传递函数T'(x)＝TC^-1(T(TC(x)))，其中TC是伽玛曲线。直方图传递模块1225基于转置的传递函数将增益应用到图像的颜色值。该新增益被定义为g_final(x)＝(g(T_aec(x))*g_aec(x)，其中T_aec是自动曝光调节曲线并且g_aec(x)*x＝T_aec(x)。在一个实施例中，自动曝光调节未被执行，并且因此直方图传递模块未转置传递函数，并且将其应用到图像作为x'＝x*g(Y(R,G,B))，其中x是R、G或B通道之一，Y是给定像素的亮度函数，并且g(x)＝T'(x)/x。直方图传递模块1225可以通过将伽玛曲线应用到图像而对图像进行转换，其中增益被应用回到sRGB颜色空间。在一个实施例中，直方图传递模块1225还基于针对先前帧计算的传递函数(即，时间滤波器被应用)修改(例如，通过乘法)转置的传递函数的增益。直方图传递模块1225还可以将空间5x5滤波器应用在增益图上。在应用空间5x5滤波器之前，增益g(Y(x))可以被过滤以增强小细节。

在一个实施例中，如果输入图像均匀(例如，白板)，则增强图像中的灰尘或其他伪影的对比度是不期望的。因此，直方图传递模块1225检测图像的均匀性并且降低应用的传递函数的强度。在一个实施例中，为了确定图像的均匀性，直方图传递模块1225生成图像的亮度的缩略图。直方图传递模块1225计算图像的一部分上的梯度来确定该部分是否均匀。直方图传递模块1225计算图像的梯度的累积直方图，并且将累积直方图的中值(0.5)的反图像与两个阈值相比较，这两个阈值表示图像中的最小值和最大值。如果直方图传递模块1225确定图像均匀，则直方图传递模块1225将较小的增益应用到图像。如果图像不均匀，则直方图传递模块1225应用来自传递函数的默认增益。在第三情况中，直方图传递模块1225应用增益，所述增益是默认增益与均匀增益之间的线性插值。

返回参考图12，非锐化掩模模块1230校正图像的较小部分中的色调映射。非锐化掩模模块1230基于由来自传递函数的增益压缩的区域和由来自传递函数的增益放大的区域对图像进行分割。换句话说，非锐化掩模模块1230将应用到图像的最后增益的曲线与由evBias参数所标识的理想曝光曲线相比较，以便确定与数字增益相比较的实际压缩。非锐化掩模模块1230通过压缩区域和放大区域二者中的预定义最大值将增益标准化。这些区域然后乘以预定义的放大和压缩参数以生成局部对比度改变。

在一个实施例中，全局色调映射器180利用等于或大于12位的精度将上文所描述的过程应用到图像以便避免量化效果。此外，对于自动曝光增益LUT而言，输出范围是至少12位信号，其中具有7位小数部分和5位整数部分。输入精度取决于在全局色调映射器180的管线中实现的LUT的类型。对于LUT的类型而言，由于LUT使用由(n+1)个控制点定义的分段线性函数而被应用，因而如果所有控制点是等距的，则n大于或等于2⁷。然而，在线性域中，仅在黑暗区域中需要最大精度。因此，两个控制点之间的距离在强光区域中可以增加以便降低在硬件中待指定的参数的数目并且增加精度。

用于全局色调映射的示例性过程

图15图示了根据一个实施例的用于全局色调映射的方法。在其他实施例中，方法包括与由图15所描绘的那些步骤不同的、附加的、或者更少的步骤。此外，在一些实施例中，可以以不同的次序执行结合图15所描述的步骤。

最初地，全局色调映射器180访问1505由图像传感器所采集的图像。如上文所指出的，全局色调映射器180可以将图像的像素值转换到线性域中。

全局色调映射器180还访问1510增强图像的全局对比度的、图像的目标直方图。在一些情况下，这可以是平直方图或者抛物线直方图。

全局色调映射器180计算1515图像的亮度值的第一直方图。图像的亮度值可以基于亮度函数，如上文所描述的。

在一个实施例中，全局色调映射器180基于图像的亮度值的第一直方图，生成图像的目标直方图。在这样的实施例中，全局色调映射器180在计算1515第一直方图之后访问所生成的目标直方图。

全局色调映射器180基于第一直方图，计算1520用于图像的像素值的传递函数，使得传递函数在图像上的应用生成目标图像，所述目标图像具有目标直方图的阈值范围内的亮度值的第二直方图。在一个实施例中，全局色调映射器180基于图像的自动曝光色调曲线校正版本的亮度值，计算传递函数，如上面所描述的。

在计算传递函数之后，全局色调映射器180将相对于先前估计的传递函数的增益应用1525到图像。在应用增益之后，增强图像的全局对比度。这提供了对眼睛更合意的图像，并且更充分地利用可用于图像的全动态范围。然后，局部色调映射(例如非锐化掩模)还可以被应用在图像上以进一步增强局部对比度。

附加的配置考虑

某些实施例在本文中被描述为包括逻辑或若干部件、模块或机构，如在图2和图3中所图示的。模块可以构成软件模块(例如，体现在机器可读介质上或者传输信号中的代码)或者硬件模块。硬件模块是能够执行某些操作并且可以以特定方式配置或者布置的有形单元。在示例实施例中，一个或多个计算机系统(例如，独立的客户端或服务器计算机系统)或者计算机系统的一个或多个硬件模块(例如，处理器或处理器组)可以通过软件(例如，应用或者应用部分)被配置为操作以执行如本文所描述的某些操作的硬件模块。

操作中的某些操作的执行可以被分布在一个或多个处理器中间，不仅仅驻留在单个机器内，而是跨若干机器被部署。在一些示例实施例中，一个或多个处理器或处理器实现的模块可以被定位在单个地理位置中(例如，在家庭环境、办公环境或服务器群内)。在其他示例实施例中，一个或多个处理器或处理器实现的模块可以跨若干地理位置分布。

除非另外特别说明，否则本文使用诸如“处理”、“计算”、“运算”、“确定”、“呈现”、“显示”等之类的词语进行的讨论可以指代操纵或者转换被表示为一个或多个存储器(例如，易失性存储器、非易失性存储器或其组合)、寄存器或者接收、存储、发射或显示信息的其他机器部件内的物理(例如，电子、磁性或光学)量的数据的机器(例如，计算机)的动作或过程。

可以使用表达“耦合的”和“连接的”连同其派生词描述一些实施例。例如，可以使用术语“耦合的”指示两个或两个以上元件直接物理或者电气接触，来描述一些实施例。然而，术语“耦合的”还可以意味着两个或两个以上元件未彼此接触，而是更彼此协作或者相互作用。实施例不限于该上下文中。进一步地，除非明确地相反说明，否则“或者”指代包括性的“或者”而非排他性的“或者”。

在阅读本公开时，本领域的技术人员还将理解到，用于通过本文所公开的原理处理图像数据的系统和过程的附加的备选结构和功能设计。因此，虽然已图示并且描述特定实施例和应用，但是应理解到所公开的实施例不限于本文所公开的精确构建和部件。可以在本文所公开的方法和装置的布置、操作和细节中做出各种修改、改变和变化，而不脱离随附的权利要求中定义的精神和范围。

Claims

1.一种非暂态计算机可读存储介质，包括可执行指令，所述可执行指令在被处理器执行时促进操作的执行，所述操作包括：

从输入图像序列获得当前输入图像，所述当前输入图像在所述输入图像序列中具有当前时间位置；

从所述输入图像序列获得时间上邻近的图像，所述时间上邻近的图像具有与所述当前时间位置邻近的时间位置；

通过基于所述时间上邻近的图像对所述当前输入图像去噪声，以生成去噪声图像，其中对所述当前输入图像去噪声包括：

获得所述当前输入图像的当前部分；

通过对所述当前部分去噪声来生成去噪声部分，其中对所述当前部分去噪声包括：

获得所述当前部分的差值，其中获得所述当前部分的所述差值包括：

响应于确定所述当前部分的信噪比超出定义的信噪比，获得第一候选差值作为所述当前部分的所述差值，所述第一候选差值指示所述当前部分与所述时间上邻近的图像的对应部分之间的第一差；以及

响应于确定所述定义的信噪比阈值超出所述当前部分的所述信噪比，获得第二候选差值作为所述当前部分的所述差值，其中获得所述第二候选差值包括：

响应于确定所述第一候选差值超出定义的混淆阈值，获得定义的值作为所述第二候选差值；

响应于确定所述定义的混淆阈值超出所述第一候选差值，获得所述当前部分与所述时间上邻近的图像的所述对应部分之间的第二差；

响应于确定所述第二差超出所述定义的值，获得所述定义的值作为所述第二候选差值；以及

响应于确定所述定义的值超出所述第二差，获得所述第二差作为所述第二候选差值；

响应于确定所述当前部分的所述差值超出定义的最大值，获得基于所述当前输入图像的在空间上与所述当前部分邻近的部分的空间平均，作为所述去噪声部分；

响应于确定定义的最小值超出所述当前部分的所述差值，获得基于所述时间上邻近的图像的与所述当前部分对应的部分的时间平均，作为所述去噪声部分；以及

响应于确定所述当前部分的所述差值超出所述定义的最小值，并且所述定义的最大值超出所述当前部分的所述差值，获得基于所述时间平均和所述空间平均的混合平均，作为所述去噪声部分；

将所述去噪声部分包括在所述去噪声图像中；以及

输出所述去噪声图像。

2.根据权利要求1所述的非暂态计算机可读存储介质，其中所述当前部分包括像素。

3.根据权利要求1所述的非暂态计算机可读存储介质，其中：

获得所述第一候选差值包括使用第一模糊量；并且

获得所述第二差值包括使用比所述第一模糊量大的第二模糊量。

4.根据权利要求1所述的非暂态计算机可读存储介质，其中获得所述混合平均包括：

获得所述空间平均的权重，使得所述空间平均的所述权重与所述当前部分的所述差值成比例。

5.一种用于处理图像的方法，包括：

通过对所述当前输入图像去噪声生成去噪声图像，其中对所述当前输入图像去噪声包括：

获得所述当前输入图像的当前部分；

响应于确定定义的最大值超出所述当前部分的差值，获得基于所述当前部分的空间平均和所述当前部分的时间平均的混合平均，作为去噪声部分，其中所述差值是像素强度差值，并且其中，所述当前部分的所述差值超出定义的最小值；以及

将所述去噪声部分包括在所述去噪声图像中；以及

输出所述去噪声图像；

其中对所述当前输入图像去噪声包括：获得所述当前部分的所述差值；

其中获得所述当前部分的所述差值包括：

响应于确定所述当前部分的信噪比超出定义的信噪比阈值，获得第一候选差值作为所述当前部分的所述差值，所述第一候选差值指示所述当前部分与时间上邻近的图像的对应部分之间的第一差；

响应于确定所述定义的信噪比阈值超出所述当前部分的所述信噪比，获得第二候选差值作为所述当前部分的所述差值。

6.根据权利要求5所述的方法，其中对所述当前输入图像去噪声包括：

获得所述空间平均，所述空间平均基于所述当前输入图像的与所述当前部分相邻的部分。

7.根据权利要求5所述的方法，其中对所述当前输入图像去噪声包括：

响应于确定所述当前部分的所述差值超出所述定义的最大值，获得所述空间平均作为所述去噪声部分。

8.根据权利要求5所述的方法，其中对所述当前输入图像去噪声包括：

获得所述时间平均，所述时间平均基于来自所述输入图像序列的时间上邻近的图像的一部分，所述时间上邻近的图像的所述部分对应于所述当前部分。

9.根据权利要求8所述的方法，其中对所述当前输入图像去噪声包括：获得来自所述输入图像序列的所述时间上邻近的图像。

10.根据权利要求5所述的方法，其中对所述当前输入图像去噪声包括：

响应于确定所述定义的最大值超出所述当前部分的所述差值，获得所述时间平均作为所述去噪声部分。

11.根据权利要求5所述的方法，其中获得所述第二候选差值包括：

响应于确定所述定义的值超出所述第二差，获得所述第二差作为所述第二候选差值。

12.根据权利要求11所述的方法，其中：

获得所述第一候选差值包括使用第一模糊量；并且

13.根据权利要求5所述的方法，其中获得所述混合平均包括：

14.根据权利要求5所述的方法，其中所述当前部分包括像素。

15.一种用于处理图像的装置，包括：

图像信号处理器，所述图像信号处理器被配置为：

通过对所述当前输入图像去噪声以生成去噪声图像，其中对所述当前输入图像去噪声包括：

获得所述当前输入图像的当前部分；

响应于确定定义的最大值超出所述当前部分的差值，获得基于所述当前部分的空间平均和所述当前部分的时间平均的混合平均，作为去噪声部分，其中所述差值是像素强度差值，并且其中所述当前部分的所述差值超出定义的最小值；以及

将所述去噪声部分包括在所述去噪声图像中；以及

输出所述去噪声图像；

其中对所述当前输入图像去噪声包括获得所述当前部分的所述差值，并且其中获得所述当前部分的所述差值包括：

响应于确定所述当前部分的信噪比超出定义的信噪比，获得第一候选差值作为所述当前部分的所述差值，所述第一候选差值指示所述当前部分与时间上邻近的图像的对应部分之间的第一差；以及

16.根据权利要求15所述的装置，其中对所述当前输入图像去噪声包括：

获得所述空间平均，所述空间平均基于所述当前输入图像的与所述当前部分相邻的部分；

响应于确定所述当前部分的所述差值超出所述定义的最大值，获得所述空间平均作为所述去噪声部分；以及

响应于确定所述定义的最小值超出所述当前部分的所述差值，获得所述时间平均作为所述去噪声部分。

17.根据权利要求15所述的装置，其中对所述当前输入图像去噪声包括：

获得所述时间平均，所述时间平均基于来自所述输入图像序列的时间上邻近的图像的一部分，其中所述时间上邻近的图像的所述部分对应于所述当前部分。