CN116636228A - 生成目标图像的方法、电子设备和非暂时性计算机可读介质 - Google Patents

Abstract

根据本公开实施例的生成目标图像的方法包括：获取由照相机组件捕获的所捕获的模糊图像，该照相机组件包括光学器件；利用恢复滤波器将恢复过程应用于所捕获的模糊图像以生成所恢复的清晰图像；基于所捕获的模糊图像而生成正则的融合掩膜；利用正则的融合掩膜对所恢复的清晰图像进行掩蔽以生成第一中间图像；生成反向的融合掩膜；将降噪过程应用于所捕获的模糊图像，以降低所捕获的模糊图像中的噪声并生成降噪图像，其中，基于调整信息来调整所述降噪过程；利用反向的融合掩膜对降噪图像进行掩蔽以生成第二中间图像；以及组合第一中间图像和第二中间图像以生成所述目标图像。

Description

生成目标图像的方法、电子设备和非暂时性计算机可读介质

技术领域

本公开涉及生成目标图像的方法、电子设备和非暂时性计算机可读介质。

背景技术

智能手机和平板终端等电子设备广泛应用于我们的日常生活中。如今，许多电子设备都配备了用于捕获图像的照相机组件。一些电子设备是便携式的，从而易于携带。因此，电子设备的用户可以通过使用电子设备的照相机组件随时随地很容易地拍摄对象的照片。

当利用照相机组件捕获图像时，图像的清晰度会因例如彗差、散光等的光学像差而退化。在过去的十年中，许多学术论文已经提出了用于改善由于此类光学像差而捕获的模糊图像的技术。然而，所公开的大多数技术非常复杂或需要高计算成本。因此，这些技术是不实用的，且不适合在诸如智能手机和平板终端之类的电子设备中实现，原因在于这类电子设备的计算能力不够高。

发明内容

本公开旨在解决上述技术问题中的至少一个。因此，本公开需要提供生成目标图像的方法、电子设备和非暂时性计算机可读介质。

根据本公开，生成目标图像的方法可以包括：

获取由照相机组件捕获的所捕获的模糊图像，该照相机组件包括光学器件；

利用恢复滤波器将恢复过程应用于所捕获的模糊图像以生成所恢复的清晰图像，该恢复滤波器是基于光学器件的光学特性来恢复所捕获的模糊图像的清晰度的滤波器；

基于所捕获的模糊图像而生成正则的融合掩膜；

使用正则的融合掩膜对所恢复的清晰图像进行掩蔽以生成第一中间图像；

生成反向融合掩膜，其中，该正则的融合掩膜被反向；

将降噪过程应用于所捕获的模糊图像，以降低所捕获的模糊图像中的噪声并生成降噪图像，其中，基于取决于所述恢复滤波器的滤波特性和/或所述光学器件的光学特性的调整信息来调整所述降噪过程；

利用反向的融合掩膜对所述降噪图像进行掩蔽以生成第二中间图像；以及

组合第一中间图像和第二中间图像以生成所述目标图像。

根据本公开，电子设备可以包括：

包括光学器件的照相机组件；以及

处理器，其被配置为：

获取由照相机组件捕获的所捕获的模糊图像，该照相机组件包括光学器件；

利用恢复滤波器将恢复过程应用于所捕获的模糊图像以生成所恢复的清晰图像，恢复滤波器是基于所述光学器件的光学特性来恢复所捕获的模糊图像的清晰度的滤波器；

基于所捕获的模糊图像而生成正则的融合掩膜；

用所述正则的融合掩膜对所恢复的清晰图像进行掩蔽以生成第一中间图像；

生成反向融合掩膜，其中，正则的融合掩膜被反向；

将降噪过程应用于所捕获的模糊图像，以降低所捕获的模糊图像中的噪声并生成降噪图像，其中，基于取决于恢复滤波器的滤波特性和/或光学器件的光学特性的调整信息来调整降噪过程；

利用反向的融合掩膜对降噪图像进行掩蔽以生成第二中间图像；以及组合第一中间图像和第二中间图像以生成目标图像。

根据本公开，一种非暂时性计算机可读介质存储有程序指令，其中，当程序指令由电子设备执行时，该程序指令使得电子设备执行至少以下操作：

获取由照相机组件捕获的所捕获的模糊图像，该照相机组件包括光学器件；

利用恢复滤波器将恢复过程应用于所捕获的模糊图像以生成恢复的清晰图像，恢复滤波器是基于光学器件的光学特性来恢复所捕获的模糊图像的清晰度的滤波器；

基于所捕获的模糊图像而生成正则的融合掩膜；

用正则的融合掩膜对所恢复的清晰图像进行掩蔽以生成第一中间图像；

生成反向融合掩膜，其中，正则的融合掩膜被反向；

将降噪过程应用于所捕获的模糊图像，以降低所捕获的模糊图像中的噪声并生成降噪图像，其中，基于取决于恢复滤波器的滤波特性和/或光学器件的光学特性的调整信息来调整降噪过程；

利用反向的融合掩膜对降噪图像进行掩蔽以生成第二中间图像；以及

组合第一中间图像和第二中间图像以生成目标图像。

附图说明

参照附图进行的以下描述，本公开各实施例的这些和/或其他方面和优点变得明显且更容易理解，在附图中：

图1是根据本公开实施例的电子设备的第一侧的平面图；

图2是根据本公开实施例的电子设备的第二侧的平面图；

图3是根据本公开实施例的电子设备的框图；

图4是光学器件中的光学像差的说明图；

图5示出了指示所捕获的模糊图像和理想的清晰图像之间的关系的公式；

图6是根据本公开实施例的对电子设备中的所捕获的模糊图像的清晰度进行提高的方式的直观说明；

图7示出了包括保真项和正则项的代价函数c(L)；

图8是示出基于代价函数c(L)来计算反滤波器的方式的公式；

图9示出了空间域中的模糊核K的图像和反滤波器的图像；

图10示出了恢复的清晰图像的问题；

图11A示出了根据本公开实施例的电子设备的融合过程的概要；

图11B示出了在降噪过程中所使用的滤波器的一个示例，即双边滤波器，的公式。

图11C示出了所捕获的模糊图像的一部分的一个示例。

图11D示出了双边滤波器中的空间权重W_s和强度权重W_i的公式的一个示例。

图11E示出了在通过使用双边滤波器来应用降噪过程之前的所捕获的模糊图像和在通过使用双边滤波器应用了降噪过程之后的降噪图像。

图11F示出了恢复过滤器的恢复滤波器阵列的一个示例。

图12示出了根据本公开实施例的如何在电子设备中生成正则的融合掩膜的一个示例；

图13示出了用于非线性地调制所捕获的模糊图像的查找表的一个示例；

图14是本公开实施例的电子设备中的透镜阴影模型的直观说明；

图15是在正则的融合掩膜上反射阴影特性的第一选择的直观说明；

图16是在正则的融合掩膜上反射阴影特性的第二选择的直观说明；

图17是在正则的融合掩膜上反射阴影特性的第三选择的直观说明；

图18是最终融合掩膜中的平滑过渡的直观说明；

图19是根据本公开实施例的在电子设备中生成目标图像的方式的直观说明；

图20是根据本公开实施例的电子设备中的目标图像生成过程的流程图；以及

图21示出了通过现有技术而生成的目标图像和通过根据本公开实施例的电子设备而生成的目标图像之间的比较。

图22示出了将降噪过程应用于除亮度分量(Y)之外的色度分量(U，V)的情况的一个示例。

具体实施方式

将详细描述本公开的各实施例，并且将在附图中示出各实施例的示例。在整篇说明书中，相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。本文中参考附图所描述的实施例是解释性的，其旨在说明本公开，但不应将其解释为限制本公开。

图1是根据本公开实施例的电子设备10的第一侧的平面图，图2是根据本公开实施例的电子设备10的第二侧的平面图。可以将第一侧称为电子设备10的后侧，可以将第二侧称为电子设备10的前侧。

如图1和图2所示，电子设备10可以包括显示器20和照相机组件30。在本实施例中，照相机组件30包括第一主照相机32、第二主照相机34和子照相机36。第一主照相机32和第二主照相机34可以捕获电子设备10的第一侧中的图像，并且子照相机36可以捕获电子设备10的第二侧中的图像。因此，第一主照相机32和第二主照相机34是所谓的外部照相机，而子照相机36是所谓的内部照相机。作为示例，电子设备10可以是移动电话、平板电脑、个人数字助理等。

第一主照相机32、第二主照相机34和子照相机36中的每一个都具有成像传感器，该成像传感器将已经通过滤色器的光转换为电信号。电信号的信号值取决于已经通过滤色器的光量。

虽然根据本实施例的电子设备10具有三个照相机，但是电子设备10可以具有少于三个照相机或者多于三个照相机。例如，电子设备10可以具有两个、四个、五个照相机等等。

图3是根据本实施例的电子设备10的方框图。如图3所示，除了显示器20和照相机组件30之外，电子设备10可以包括主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48。显示器20、照相机组件30、主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48经由总线50彼此连接。

主处理器40执行存储器44中存储的一个或多个程序指令。主处理器40通过执行程序指令来实现电子设备10的各应用和数据处理。主处理器40可以是一个或多个计算机处理器。主处理器40不限于一个CPU核，而是可以具有多个CPU核。主处理器40可以是电子设备10的主CPU、图像处理单元(image processing unit，IPU)或与照相机组件30一起提供的DSP。

图像信号处理器42控制照相机组件30并处理由照相机组件30捕获的各种图像数据，以生成目标图像数据。例如，图像信号处理器42可以将去马赛克过程、降噪过程、自动曝光过程、自动聚焦过程、自动白平衡过程、高动态范围过程等应用于由相机组件30所捕获的图像数据。

在本实施例中，主处理器40和图像信号处理器42彼此协作，以生成由照相机组件30捕获的对象的目标图像数据。也就是说，主处理器40和图像信号处理器42被配置为借助于照相机组件30来捕获物体的图像，并对所捕获的图像数据应用各种图像处理。

存储器44存储待由主处理器40执行的程序指令和各种数据。例如，存储器44也可以存储所捕获图像的数据。

存储器44可以包括高速RAM存储器和/或诸如闪存和磁盘存储器之类的非易失性存储器。也就是说，存储器44可以包括存储程序指令的非暂时性计算机可读介质。

电源电路46可以具有例如锂离子可充电电池等的电池以及用于管理电池的电池管理单元(battery management unit，BMU)。

通信电路48被配置为接收和发送数据，以经由无线通信而与电信网络系统的基站、互联网或其他设备通信。无线通信可以采用任何通信标准或协议，包括但不限于全球移动通信系统(global system for mobile communication，GSM)、码分多址(code divisionmultiple access，CDMA)、长期演进(Long term evolution，LTM)、长期演进升级版(LTE-Advanced，LTE-A)、第五代(5th generation，5G)。通信电路48可以包括天线和射频(radiofrequency，RF)电路。

图4是光学像差的说明图。也就是说，当在照相机组件30中捕获图像时，图像的清晰度会因光学器件中的光学像差(例如彗差、散光等)而退化。因此，点光源图像被光学系统中的光学像差扩散，点光源图像不再是图像平面上的点。

通常，由称为点扩散函数(point spread function，PSF)的函数来对扩散点光源进行建模，该函数表示退化所捕获图像的方式及其退化特性，这就是所谓的光学模糊。此后，将由照相机组件30捕获的模糊图像也称为所捕获的模糊图像。

图5示出了指示所捕获的模糊图像B和理想的清晰图像L之间的关系的公式。如图5所示，所捕获的模糊图像B的清晰度由K*L+n表示。K指示与PSF相同的模糊核。L指示没有噪声的理想清晰图像，即理想图像。n指示噪声。“*”指示循环卷积。该公式示出了由照相机组件30捕获的图像总是包括噪声。由于在拍摄图像时的噪声是不可避免的，这种噪声也被称为散粒噪声。

图6是根据本公开实施例的在电子设备10中的所捕获的模糊图像的清晰度进行提高的方式的直观说明。在本实施例中，电子设备10通过滤波恢复过程来获取所恢复的清晰图像L_res，该滤波恢复过程使用根据PSF来计算的反滤波器。所恢复的清晰图像L_res更接近理想的清晰图像L。然而，通过滤波恢复过程也过滤了所捕获的模糊图像B中的噪声，并且也因此增加了噪声。反滤波器是恢复滤波器的示例之一，反滤波器是基于光学器件的光学特性来恢复所捕获的模糊图像的清晰度的滤波器。

接下来，将解释如何根据模糊核K来计算反滤波器，其中，该模糊核K是PSF。图7示出了本实施例中的代价函数c(L)。如图7所示，代价函数c(L)基本上是由“所捕获的模糊图像B-模糊核K*理想的清晰图像L”的最小值自变量所表示的。也就是说，引号内的该项是保真项。此外，在图7所示的公式中，将正则项也引入到代价函数c(L)中，以便应用惩罚。也就是说，通过将正则项引入代价函数c(L)，可以避免过拟合。因此，可以抑制过拟合以增加所恢复的清晰图像L_res中的噪声。在本文中，D指示正则化函数，ρ指示正则化增益。

图8是示出基于代价函数c(L)来计算反滤波器的方式的公式。可以通过在频域中求解图7中的代价函数c(L)来获取图8中的傅立叶变换F(L)。通过对傅立叶变换F(L)进行反变换，可以获取所恢复的清晰图像L_res。由于可以通过反滤波器*所捕获的模糊图像B来获取所恢复的清晰图像L_res，因此可以在该公式中指定反滤波器/>

图9示出了空间域中的模糊核K的图像和反滤波器的图像。给反滤波器K^-1添加估计值(hat)的原因是模糊核K不是实际测量值，而是设计值。由于照相机组件30和电子设备10的组件的组装误差和尺寸误差，模糊核K的设计值不等于模糊核K的实际测量值。因此，反滤波器/>与电子设备10中的实际反滤波器K^-1略有不同。

对于电子设备10及其用户来说，获取模糊核K的实际测量值的过程是非常复杂和繁琐的。此外，反滤波器足够精细以恢复所捕获的模糊图像B。因此，根据本实施例的电子设备10基于模糊核K的设计值来计算反滤波器/>

图10示出了所恢复的清晰图像的问题。如图10所示，所捕获的模糊图像包含噪声。因此，如果利用反滤波器将循环卷积应用于所捕获的模糊图像，尽管所捕获的模糊图像中的噪声会增加，但所恢复的清晰图像的清晰度得到改善。

此外，所捕获的模糊图像包含噪声，因此希望在生成目标图像之前尽可能地减少所捕获的模糊图像中的噪声。可以通过将降噪过程应用于所捕获的模糊图像来降低噪声，然后可以生成降噪图像。

因此，为了解决这些问题，根据本公开的实施例的电子设备10引入了融合过程，该融合过程用于对应用了滤波恢复过程的所恢复的清晰图像和应用了降噪过程而非滤波恢复过程的降噪图像进行融合。

图11A示出了根据本公开实施例的电子设备10的融合过程的概要。在融合过程中，利用反滤波器将循环卷积应用于所捕获的模糊图像，以生成所恢复的清晰图像。

即使图像的高频区域中包括噪声，人眼也不能检测到该噪声。相反，如果图像的低频区域中包括噪声，人眼能够检测并容易注意到噪声。

因此，在根据本公开的实施例的电子设备10中，利用正则的融合掩膜对所恢复的清晰图像中的低频区域进行掩蔽，以生成第一中间图像。

另一方面，所捕获的模糊图像也包括噪声。因此，为了降低所捕获的模糊图像中的噪声，对所捕获的模糊图像应用降噪过程。在对捕获的模糊图像应用降噪过程之后，获取降噪的降噪图像。

利用反向的融合掩膜对降噪图像进行掩蔽以生成第二中间图像。反向的融合掩膜是对正则的融合掩膜进行反向的掩膜。例如，可以通过对正则的融合掩膜进行反向来获取反向的融合掩膜。此后，根据本实施例的电子设备10组合第一中间图像和第二中间图像以生成目标图像。

通过该融合过程生成目标图像，将所恢复的清晰图像中的包括噪声的低频区域替换为降噪图像中的由于降噪过程而不包括噪声的低频区域。因此，目标图像的低频区域中不包含噪声。另一方面，目标图像中高频区域的清晰度由于恢复过程而得到改善。也就是说，目标图像的高频区域中的纹理可以是精细的。

此外，通过降噪过程来降低所捕获的模糊图像的低频区域中的噪声，以生成降噪图像。因此，通过组合所恢复的清晰图像和降噪图像而生成的目标图像中的低频区域的噪声非常小。

通常，高频区域的纹理通过降噪过程而退化。然而，在本实施例中，降噪图像的高频区域中的纹理被替换为所恢复的清晰图像的高频区域中的纹理。因此，可以调整降噪过程，使得可以有效地降低所捕获的模糊图像的低频区域中的噪声。因此，提高了用户对目标图像的满意度。

图11B示出了作为在降噪过程中所使用的作为滤波器的一个示例的双边滤波器的公式。图11C示出了所捕获的模糊图像的一部分的一个示例。已知双边滤波器能够去除噪声但保留图像边缘。然而，双边滤波器只是在降噪过程中所使用的一个示例，并且降噪过程可以应用于降低噪声的其他方法。

如图11B所示，双边滤波器可以被表示为：

q_i，j指示滤波器核中的去噪像素和中心像素的值。公式右侧的第一项是作为归一化权重的滤波器核，公式右侧的第二项的图像块I(i，j)是在所捕获的模糊图像中的待处理图像块。i和j分别指示所捕获的模糊图像中的x位置和y位置，(i，j)指示滤波器核的中心坐标。“.*”指示逐元素乘法。

W_s指示空间权重，W_i指示强度权重。图11D示出了双边滤波器中的空间权重W_s和强度权重W_i的公式的一个示例。如图11D所示，空间权重W_s是预定的高斯滤波器核，且高斯滤波器核的大小与图像块I(i，j)的大小相同。H指示高斯滤波器核在x方向上的大小，V指示高斯滤波器核在y方向上的大小。

空间权重W_s被表示为：

其中，n指示高斯滤波器核的x位置，m指示高斯滤波器核中的y位置。参数δ_s表示强度权重方差。正如根据该公式所理解的，空间权重W_s可通过δ_s控制。即参数δ_s越大，平滑效果越强。

强度权重W_i被表示为：

其中，参数δ_i指示空间权重方差，二次幂指示逐元素乘法。(I(i，j)-p_i，j)²指示每个像素的强度和p_i，j的值之间的强度差。在本实施例中，正如根据该公式理解的，强度权重W_i可以通过参数δ_i来控制。即参数δ_i越小，边缘保持效果越好。也就是说，参数δ_i越小，平滑效果越弱。

图11E示出了通过使用上述双边滤波器来应用降噪过程之前的所捕获的模糊图像和通过使用上述双边滤波器来应用降噪过程之后的降噪图像。

如图11E所示，通过使用双边滤波器来应用降噪过程，以降低平面区域中的噪声，但在降噪图像中保留了边缘。另外，双边滤波器中的空间权重W_s和强度权重W_i可以通过参数δ_s和参数δ_i来控制。因此，在本实施例中，基于取决于由恢复过程所使用的恢复滤波器的滤波特性和/或照相机组件30中的光学器件的光学特性的调整信息来调整参数δ_s和参数δ_i。

例如，调整信息可以取决于恢复滤波器的核大小、恢复滤波器的滤波器强度、恢复滤波器的频率特性、照相机组件30的光学器件的空间特性和/或相机组件30的光学器件的点扩散函数(PSF)。

图11F示出了恢复过滤器的恢复过滤器阵列的一个示例。如图11F所示，在恢复滤波器阵列的中心区域中，点扩散函数(PSF)小且是各向同性的，并具有高亮度。因此，即使在应用恢复过程之后，也可以期望所恢复的清晰图像具有良好的清晰度恢复和相对小的噪声。因此，参数δ_s可以小到不太平滑，参数δ_i可以大到不太保留边缘。

另一方面，在恢复滤波器阵列的角落区域，点扩散函数(PSF)大且是各向异性的，且具有低亮度(透镜阴影)。因此，即使在应用恢复过程之后，也不能期望良好的清晰度恢复。此外，由于亮度低，会产生很多噪声。因此，参数δ_s应该大以更平滑，参数δ_i应该小以更保留边缘。

从所捕获的模糊图像中的中心区域到角落区域，参数δ_s可能逐渐变大，参数δ_i可能逐渐变小。

图12示出了根据本公开实施例的如何在电子设备10中生成正则的融合掩膜的一个示例。如图12所示，基于所捕获的模糊图像而生成正则的融合掩膜。更具体地，电子设备10例如从照相机组件30或图像信号处理器42获取所捕获的模糊图像。此后，电子设备10利用反滤波器将循环卷积应用于所捕获的模糊图像，以提高所捕获的模糊图像的清晰度并生成所恢复的清晰图像。然而，如果已经在另一个过程中生成了所恢复的清晰图像，则该过程可以省略。

此外，电子设备10对所捕获的模糊图像执行平均过程，以降低所捕获的模糊图像的清晰度并生成平均图像。

然后，电子设备10从平均图像中减去所恢复的清晰图像以生成减去后的图像，然后计算减去后的图像的绝对值以生成差分图像。通过这些过程可以获取差分图像，这些过程示出了使用反滤波器进行的滤波恢复过程对像素亮度的改变程度。换句话说，差分图像中的每个像素具有对由于滤波恢复过程所引起的亮度变化的水平进行指示的特定值。

在图12中，灰色区域用于对亮度已经通过使用反滤波器的滤波恢复过程而被显著改变的区域进行指示。另一方面，黑色区域用于对亮度没有被反滤波器的滤波恢复过程改变太多的区域进行指示。

另一方面，电子设备10非线性地调制所捕获的模糊图像以生成临时阈值图。在本实施例中，使用查找表LUT来非线性地调制所捕获的模糊图像。

图13示出了用于非线性调制所捕获的模糊图像的查找表LUT的一个示例。在查找表的示例中，如果所捕获的模糊图像的像素的值较低，则临时阈值图的像素值是从其原始值升高的。另一方面，如果所捕获的模糊图像的像素的值在中间范围内，则临时阈值图的像素的值是从其原始值降低的。此外，如果所捕获的模糊图像的像素的值大于某个值，则临时阈值图的像素的值被限制在某个值。

图13是查找表LUT的一个示例，该查找表不限于图13所示的示例。此外，非线性调制所捕获的模糊图像的方法不限于使用查找表LUT。可以应用其他各种方法来非线性地调制所捕获的模糊图像。

接下来，如图12所示，根据本公开实施例的电子设备10将临时阈值图乘以某个值以调整临时阈值图的增益，然后可以计算最终阈值图。该某个值可以小于一，也可以大于一。在最终阈值图中，每个像素用于指示在生成第一中间图像时是否应该对所恢复的清晰图像的像素进行掩蔽的阈值。

更具体地，电子设备10基于经过阈值化过程的差分图像和最终阈值图来生成正则的融合掩膜。在阈值化过程中，如果作为差分图像的像素的值的diff_img的值等于或大于作为最终阈值图的像素的值的th_map的值，则作为正则融合掩膜的像素的值的blend_mask的值是blend_ratio_high。例如，blend_ratio_high为95％。

另一方面，如果diff_img的值小于th_map的值，则blend_mask的值为blend_ratio_low。例如，blend_ratio_low为5％。

在本实施例中，当使用正则的融合掩膜时，如果正则的融合掩膜的像素的blend_mask是blend_ratio_high(95％)，则生成第一中间图像，使得第一中间图像的像素包含所恢复的清晰图像的对应像素的95％以及所捕获的模糊图像的对应像素的5％。

另一方面，如果正则的融合掩膜的像素的blend_mask是blend_ratio_low(5％)，则生成第一中间图像，使得第一中间图像的像素包含所恢复的清晰图像的对应像素的5％和所捕获的模糊图像的对应像素的95％。在本实施例中，将blend_ratio_high增加到blend_ratio_low应该是1。

在同一像素中融合所恢复的清晰图像的值和所捕获的模糊图像的值，使得人眼不能区分目标图像中的所恢复的清晰图像所使用的区域和所捕获的模糊图像所使用的区域之间的边界。

通过阈值化过程，消除了例如差分图像中的噪声等的小范围的灰度区域。当恢复所捕获的模糊图像的清晰度时，所恢复的清晰图像中的明亮区域包括噪声。因此，在本实施例中，最终阈值图的亮区域的值是高的。因此，正则的融合掩膜中的亮区域变得低融合比率，且所恢复的清晰图像中的亮区域被正则的融合掩膜掩蔽。

反向的融合掩膜可以通过对正则的融合掩膜进行反向来生成。也就是说，通过对正则的融合掩膜进行反向，正则的融合掩膜的blend_ratio_high(95％)的像素的blend_mask被转换为反向的融合掩膜的blend_ratio_low(5％)的像素的blend_mask，而正则的融合掩膜的blend_ratio_low(5％)的像素的blend_mask被转换为反向的融合掩膜的blend_ratio_high(95％)的像素的blend_mask。

附带地，在上文所提到的示例中，blend_ratio_high小于100％，blend_ratio_low大于0％。然而，在正则的融合掩膜中，blend_ratio_high可以是100％，而blend_ratio_low可以是0％。在这种情况下，在反向的融合掩膜中，blend_ratio_high也是100％，而blend_ratio_low也是0％。然而，blend_ratio_high的值高于blend_ratio_low的值。

根据照相机组件30中的光学器件的特性，所捕获图像的角落周围的亮度降低。也就是说，由于镜头阴影(也称为暗角)，角落中的光量很低。因此，在一些情况下，已对所捕获的模糊图像进行补偿以校正阴影特性。为了补偿，电子设备10将所捕获的图像乘以适当的增益。然而，噪声特性强烈依赖于此补偿。因此，在生成正则的融合掩膜时可以考虑噪声特性。

可选地，在根据本公开的实施例的电子设备10中，例如引入透镜阴影模型(lensshading model，LSM)。图14是本实施例中的透镜阴影模型LSM的直观说明。

如图14所示，遵循光学器件的原始透镜阴影特性的所捕获图像在所捕获图像的中心具有较亮的区域，而在所捕获图像的角部具有较暗的区域。在本实施例中，基于原始的透镜阴影特性而生成透镜阴影模型LSM。也就是说，通过原始透镜特性的非线性变换来生成透镜阴影模型LSM。非线性变换的目的是基于透镜阴影模型LSM来调整亮度，以获得适合于对噪声区域进行掩蔽的正则的融合掩膜。

<第一选择>

图15是在正则的融合掩膜上反射阴影特性的第一选择的直观说明。在第一选择中，电子设备10执行针对差分图像和透镜阴影模型LSM的逐像素乘法。

通过对所捕获图像的阴影特性进行校正，已经提高了捕获图像的角落周围的亮度。也就是说，也已经提高了所捕获的模糊图像的角落周围的亮度。因此，根据第一选择，通过使用透镜阴影模型LSM来降低差分图像的角落周围的亮度。因此，可以补偿正则的融合掩膜的阴影特性的校正效果。

<第二选择>

图16是在正则的融合掩膜上反射阴影特性的第二选择的直观说明。在第二选择中，电子设备10执行针对最终阈值图和反向透镜阴影模型的逐像素乘法，以修改最终阈值图。通过反向透镜阴影模型LSM来计算反向透镜阴影模型。因此，反向透镜阴影模型的中心周围的区域是暗的，而反向透镜阴影模型的角落周围的区域是亮的。

通过对捕获图像的阴影特性的校正，已经增加了所捕获的图像的角落周围的噪声的振幅。因此，通过提高最终阈值图的角落的值，正则的融合掩膜的角落的区域可以容易地为blend_ratio_low并被正则的融合掩膜遮蔽。

<第三选择>

图17是在正则的融合掩膜上反射阴影特性的第三选择的直观说明。在第三选择中，修改了上文所提到的阈值化过程。也就是说，通过将blend_ratio_high乘以透镜阴影模型LSM(i，j)或将blend_ratio_low乘以反向透镜阴影模型来计算blend_mask的值。作为该计算的结果，所恢复的清晰图像的比率在正则的融合掩膜的中心周围增加。换句话说，所恢复的清晰图像的比率在正则的融合掩膜的角落中降低。

通过对所捕获图像的阴影特征进行校正，在所捕获图像的角落区域已经引入了大量的噪声。因此，为了消除角落区域中的噪声，当像素位于正则的融合掩膜的角落附近时，所恢复的清晰图像的比率降低。换句话说，当像素位于更靠近正则的融合掩膜的角落时，所捕获的模糊图像的比率增加。因此，当生成目标图像时，可以抑制所恢复的清晰图像的角落中的噪声。

可选地，在根据本公开的实施例的电子设备10中，平滑最终融合掩膜中的过渡是可能的。图18是对最终融合掩膜中的过渡进行平滑的直观说明。

如图18所示，最终融合掩膜的blend_mask值是两种类型，即blend_ratio_high和blend_ratio_low。因此，blend_ratio_high的区域和blend_ratio_low的区域之间的边界非常清晰和尖锐。当使用清晰和尖锐的最终融合掩膜来生成目标图像时，目标图像对于人眼来说可能变得不自然。

因此，根据本公开的实施例的电子设备10可以增加最终融合掩膜的模糊度，以便自然地混合blend_ratio_high的区域和blend_ratio_low的区域。例如，电子设备10通过执行高斯模糊核的简单卷积来增加最终融合掩膜的模糊度。

通过将模糊度引入最终融合掩膜，生成模糊融合掩膜。在模糊的融合掩膜中，blend_ratio_high的区域和blend_ratio_low的区域之间的边界是模糊的。换句话说，边界区域中的像素的值具有blend_ratio_low和blend_ratio_high之间的过渡值。也就是说，在边界区域中，blend_mask的值从blend_ratio_low逐渐增加到blend_ratio_high。

图19是生成目标图像的方式的直观说明。如图19所示以及如已经基于图11A的简要说明所述，通过用正则的融合掩膜来掩蔽所恢复的清晰图像、利用反向融合掩膜对降噪图像进行掩蔽并组合所恢复的清晰图像和降噪图像来生成目标图像。

更具体地说，可以通过执行针对所恢复的清晰图像和正则的融合掩膜的逐像素乘法来生成第一中间图像。可以通过执行针对降噪图像和反向的融合掩膜的逐像素乘法来生成第二中间图像。也就是说，可以通过逐像素乘法来实现掩蔽过程。因此，可以通过组合第一中间图像和第二中间图像来生成目标图像。

图20是根据本公开的实施例的电子设备10中的目标图像生成过程的流程图。可以由主处理器40或图像信号处理器42来执行目标图像生成过程。可选地，可以由主处理器40和图像信号处理器42的组合来执行目标图像生成过程。

在本实施例中，例如，主处理器40从图像信号处理器42的输出端口获取所捕获的模糊图像。然后，主处理器40对所捕获的模糊图像执行目标图像生成过程，并将所生成的目标图像输入到图像信号处理器42的输入端口。

此外，可以将用于实现目标图像生成过程的程序指令存储在非暂时性计算机可读介质上。主处理器40从非暂时性计算机可读介质中读出程序指令，并执行该程序指令以实现目标图像生成过程。

此外，可以针对YUV标准的亮度平面执行目标图像生成过程。也就是说，亮度平面(Y平面)可以经受根据本公开的实施例的电子设备10中的目标图像生成过程。当然，其他平面或图像可以经受本文所公开的目标图像生成过程。

如图20所示，电子设备10的主处理器40从例如图像信号处理器42获得照相机组件30捕获的所捕获的模糊图像(步骤S10)，该照相机组件包括光学器件。

接下来，如图20所示，电子设备10的主处理器40利用反滤波器将循环卷积应用于所捕获的模糊图像，以生成所恢复的清晰图像(步骤S12)。上文已经解释了此过程的细节。

接下来，如图20所示，电子设备10的主处理器40基于所捕获的模糊图像而生成正则的融合掩膜(步骤S14)。上文已经解释了此过程的细节。

接下来，如图20所示，电子设备10的主处理器40利用正则的融合掩膜对所恢复的清晰图像进行掩蔽以生成第一中间图像(步骤S16)。上文已经解释了此过程的细节。

接下来，如图20所示，电子设备10的主处理器40生成对正则的融合掩膜进行反向的反向融合掩膜(步骤S18)。上文已经解释了此过程的细节。

接下来，如图20所示，电子设备10的主处理器40对所捕获的模糊图像应用降噪过程以生成降噪图像(步骤S19)。上文已经解释了此过程的细节。

接下来，如图20所示，电子设备10的主处理器40利用反向融合掩膜对所捕获的模糊图像进行掩蔽以生成第二中间图像(步骤S20)。上文已经解释了此过程的细节。

接下来，如图20所示，电子设备10的主处理器40组合第一中间图像和第二中间图像以生成目标图像(步骤S22)。上文已经解释了此过程的细节。在完成步骤S22的过程之后，根据本实施例的目标图像生成过程结束。

图21示出了由现有技术生成的目标图像和由根据本公开的实施例的电子设备10生成的目标图像之间的比较。如图21所示，在现有技术中，目标图像由于提高清晰度的滤波恢复过程而包含噪声，或者由于没有经受滤波恢复过程而模糊。

另一方面，在由根据本实施例的电子设备10生成的目标图像中，通过掩蔽所恢复的清晰图像的噪声区域以及通过替代使用所捕获的模糊图像，消除了由于提高所捕获的模糊图像的清晰度的滤波恢复过程而引起的噪声。

另一方面，在生成目标图像时，通过不对所恢复的清晰图像的优良纹理区域进行掩蔽的滤波恢复过程，提高了目标图像的纹理的清晰度。因此，可以在不增加成本的情况下为用户获得更自然和更清晰的目标图像。

此外，根据本实施例的电子设备10能够简化照相机组件30的光学器件并减少照相机组件30的光学器件的透镜元件的数量，同时获得自然的和高质量的目标图像，而不需要照相机组件30的大型昂贵光学器件。

如图22所示，如果可以由YUV颜色模型来定义所捕获的模糊图像，则将图20所示的目标图像生成过程应用于亮度分量(Y)。然而，除了亮度分量(Y)之外，可以将图11A至图11E中所示的降噪过程应用于色度分量(U，V)。如果对色度分量(U，V)应用降噪过程，也可以降低色度分量中的噪声。此后，输出由图20所示的目标图像生成过程生成的亮度分量(Y)以及已经经历了降噪过程的色度分量(U，V)的目标图像，作为由YUV颜色模型所定义的图像。

在本公开实施例的描述中，应当理解的是，诸如“中心的”、“纵向的”、“横向的”、“长度”、“宽度”、“厚度”、“较上的”、“较下的”、“前面的”、“后面的”、“背面的”、“左边的”、“右边的”、“垂直的”、“水平的”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”之类的术语在探讨时应该被解释为指代附图中所描述或示出的方向或位置。这些相关术语仅用于简化本公开的描述，并不指示或暗示所提及的设备或元件必须具有特定方向或必须以特定方向构造或操作。因此，这些术语不能构造为限制本公开。

此外，本文使用诸如“第一”和“第二”之类的术语的目的是用于描述，不旨在指示或暗示相对重要性或意义，或者暗示所指示的技术特征的数量。因此，定义为“第一”和“第二”的特征可以包括一个或多个该特征。在本公开的说明书中，除非另有规定，否则“多个”意味着“两个或多于两个”。

在本公开实施例的描述中，除非另有规定或限制，否则广泛使用“安装的”、“连接的”、“耦接的”等术语，并且可以是例如固定的连接、可拆卸的连接或整体的连接，也可以是机械的或电气的连接，也可以是通过中间结构直接的连接或间接的连接，也可以是本领域技术人员能够理解的根据特定情况下两个元件的内部通信。

在本公开的实施例中，除非另有规定或限制，否则第一特征“在”第二特征“上”或“在”第二特征“下”的结构可以包括第一特征与第二特征直接接触的实施例，也可以包括第一特征和第二特征彼此不直接接触，而是通过形成在二者之间的附加特征来接触的实施例。此外，“在第二特征上(相接触)”、“在第二特征之上(不接触)”或“在第二特征上(可通过附加特征相接触)”的第一特征可以包括第一特征正交或倾斜地“在第二特征上(相接触)”、“在第二特征之上(不接触)”或“在第二特征上(可通过附加特征相接触)”的实施例，或者只意味着第一特征处于的高度高于第二特征的高度；而“在第二特征下方”、“在第二特征正下方”或“在第二特征的底部”的第一特征可以包括第一特征正交地或倾斜地“在第二特征下方”、“在第二特征正下方”或“在第二特征的底部”的实施例，或者只意味着第一特征处于的高度低于第二特征的高度。

上述说明提供了各种实施例和示例来实现本公开的不同结构。为了简化本公开，上文描述了特定的元件和设置。然而，这些元件和设置仅作为示例，并不旨在限制本公开。此外，附图标记和/或附图字母可以在本公开的不同示例中重复。这种重复是为了简化和清晰，并不指代不同实施例和/或设置之间的关系。此外，本公开提供了不同工艺和材料的示例。但是，本领域技术人员应该理解，也可以应用其他工艺和/或材料。

在整个说明书中所提及的“实施例”、“一些实施例”、“示例性实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”意味着描述与实施例或示例相关联的具体特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。因此，在整个说明书中出现的上述短语不一定指代本公开相同的实施例或示例。此外，特定特征、结构、材料或特性能够在一个或多个实施例或示例中以任何合适的方式组合。

在流程图中描述的或本文以其他方式描述的任何过程或方法可以理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分，并且本公开的优选实施例的范围包括其他实现方式，本领域技术人员应该理解，在该其他实现方式中，功能能够以不同于示出的或讨论的顺序实现，包括以基本相同的顺序或以相反的顺序实现。

本文以其他方式描述的或在流程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定的顺序表，可以在任何计算机可读介质中具体实现，由指令执行系统、设备或装置(例如基于计算机的系统、包括处理器或能够从执行指令的指令执行系统、设备和装备获得指令的其他系统)使用，或者将与指令执行系统、装置或设备结合使用。就说明书而言，“计算机可读介质”可以是适于包括、存储、交流、传播或传输程序的任何设备，该程序由指令执行系统、设备或装备使用或结合它们使用。计算机可读介质的更具体示例包括但不限于：具有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM或闪存)、光纤设备和便携式光盘只读存储器(compact disk read-only memory，CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质，因为例如当需要以电子方式获得程序时，可以光学扫描纸或其他合适的介质，然后以其他合适的方法编译、解码或处理，然后可以把程序存储在计算机存储器中。

应当理解的是，本公开的每部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中的软件或固件来实现，并由合适的指令执行系统来执行。例如，如果通过硬件实现，与另一个实施例类似，步骤或方法可以通过本领域已知的以下技术之一或组合来实现：具有用于实现数据信号逻辑功能的逻辑门电路的分立逻辑电路、具有合适组合的逻辑门电路的专用集成电路、可编程门阵列(programmable gate array，PGA)、现场可编程门阵列(field programmable gate array，FPGA)等。

本领域技术人员应当理解，本公开的上述示例性方法中步骤的全部或部分可以通过使用程序命令相关硬件来实现。程序在计算机上运行时可以存储在计算机可读存储介质中，该程序包括本公开的方法实施例的各步骤中的一个或组合。

此外，本公开的实施例的每个功能单元可以集成在处理模块中，或者这些单元可以是物理分离的，或者两个或多个单元集成在处理模块中。集成模块能够以硬件的形式或以软件功能模块的形式来实现。当集成模块以软件功能模块的形式来实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。

上述存储介质可以是只读存储器、磁盘和CD等。

尽管已经示出和描述了本公开的实施例，但是本领域技术人员应当理解，这些实施例是解释性的，并不能被解释为限制本公开，并且在不脱离本公开的范围的情况下，可以对实施例进行改变、修改、替代和变化。

Claims (25)

1.一种生成目标图像的方法，包括：

获取由照相机组件捕获的所捕获的模糊图像，所述照相机组件包括光学器件；

利用恢复滤波器将恢复过程应用于所述捕获的模糊图像以生成所恢复的清晰图像，所述恢复滤波器是基于所述光学器件的光学特性来恢复所述捕获的模糊图像的清晰度的滤波器；

基于所述捕获的模糊图像而生成正则的融合掩膜；

利用所述正则的融合掩膜对所述恢复的清晰图像进行掩蔽以生成第一中间图像；

生成反向的融合掩膜，其中，所述正则的融合掩膜被反向；

将降噪过程应用于所述捕获的模糊图像，以降低所述捕获的模糊图像中的噪声并生成降噪图像，其中，基于取决于所述恢复滤波器的滤波特性和/或所述光学器件的光学特性的调整信息来调整所述降噪过程；

利用所述反向的融合掩膜对所述降噪图像进行掩蔽以生成第二中间图像；以及

组合所述第一中间图像和所述第二中间图像以生成所述目标图像。

2.根据权利要求1所述的方法，其中，所述调整信息取决于所述恢复滤波器的核大小。

3.根据权利要求1所述的方法，其中，所述调整信息取决于所述恢复滤波器的滤波器强度。

4.根据权利要求1所述的方法，其中，所述调整信息取决于所述恢复滤波器的频率特性。

5.根据权利要求1所述的方法，其中，所述调整信息取决于所述光学器件的空间特性。

6.根据权利要求1所述的方法，其中，所述调整信息取决于所述光学器件的点扩散函数PSF。

7.根据权利要求1所述的方法，其中，所述降噪过程使用双边滤波器，所述双边滤波器被表示为：

其中，q_i,j指示滤波器核中的去噪像素和中心像素的值，

i和j分别指示所述捕获的模糊图像中的x位置和y位置，以及(i，j)指示所述滤波器核的中心坐标，

I(i，j)指示所述捕获的模糊图像中的待处理图像块，

“.*”指示逐元素乘法，

W_s指示空间权重，W_i指示强度权重，以及

H指示所述滤波器核在x方向上的大小，所述V指示所述滤波器核在y方向上的大小。

8.根据权利要求7所述的方法，其中，所述空间权重W_s被表示为：

其中，n指示所述滤波器核中的x位置，m指示所述滤波器核中的y位置，以及参数δ_s指示强度权重方差。

9.根据权利要求8所述的方法，其中，所述强度权重W_i被表示为：

其中，δ_i参数指示空间权重方差，二次幂指示逐元素乘法。

10.根据权利要求9所述的方法，其中，所述参数δ_s和所述参数δ_i是基于所述调整信息来调整的，所述调整信息取决于所述恢复过程使用的所述恢复滤波器的所述滤波特性和/或所述照相机组件中的所述光学器件的所述光学特性。

11.根据权利要求10所述的方法，其中，所述参数δ_s从所述捕获的模糊图像中的中心区域到角落区域逐渐变大，所述参数δ_i从所述捕获的模糊图像中的所述中心区域到所述角落区域逐渐变小。

12.根据权利要求1所述的方法，其中，生成所述反向的融合掩膜包括对所述正则的融合掩膜进行反向。

13.根据权利要求1所述的方法，其中，生成所述正则的融合掩膜包括：

通过退化所述捕获的模糊图像来生成平均图像；

从所述平均图像中减去所述恢复的清晰图像以生成减去后的图像；以及

计算所述减去后的图像的绝对值以生成差分图像。

14.根据权利要求13所述的方法，其中，生成所述正则的融合掩膜包括基于所述捕获的模糊图像数据生成阈值图，其中，在所述阈值图中，每个像素对阈值进行指示，以确定是否应当掩蔽所述恢复的清晰图像的所述像素以生成所述第一中间图像。

15.根据权利要求14所述的方法，其中，生成所述阈值图包括：

非线性地调制所述捕获的模糊图像以产生临时阈值图；以及

将所述临时阈值图与某个值相乘以生成最终临时阈值图，所述最终临时阈值图是所述阈值图。

16.根据权利要求15所述的方法，其中，基于经过阈值化过程的所述差分图像和所述阈值图来生成所述正则的融合掩膜。

17.根据权利要求16所述的方法，其中，在所述阈值化过程中，

如果所述差分图像的像素的值等于或大于所述阈值图的对应像素的值，则所述正则的融合掩膜的所述像素的值是blend_ratio_high，所述blend_ratio_high对所述第一中间图像中的所述恢复的清晰图像的所述像素的比率进行指示，以及

如果所述差分图像的所述像素的值小于所述阈值图的所述对应像素的值，则所述正则的融合掩膜的所述像素的值是blend_ratio_low，所述blend_ratio_low对所述第一中间图像中的所述恢复的清晰图像的所述像素的比率进行指示，

其中，所述blend_ratio_high的值高于所述blend_ratio_low的值。

18.根据权利要求17所述的方法，其中，所述blend_ratio_high的值小于100％。

19.根据权利要求18所述的方法，其中，利用所述正则的融合掩膜对所述恢复的清晰图像进行掩蔽以生成所述第一中间图像包括：生成所述第一中间图像，使得所述第一中间图像的所述像素包含所述恢复的清晰图像的所述对应像素的值的所述blend_ratio_high以及所述捕获的模糊图像的所述对应像素的值的所述blend_ratio_low。

20.根据权利要求19所述的方法，其中，生成所述正则的融合掩膜包括：

基于所述光学器件的透镜阴影特性生成透镜阴影模型；以及

执行针对所述差分图像和所述透镜阴影模型的逐像素乘法以生成所述正则的融合掩膜。

21.根据权利要求19所述的方法，还包括：

基于所述光学器件的透镜阴影特性生成透镜阴影模型；

反向所述透镜阴影模型以生成反向透镜阴影模型；以及

执行针对所述最终阈值图和所述反向透镜阴影模型的逐像素乘法以修改所述最终阈值图。

22.根据权利要求19所述的方法，其中，在所述阈值化过程中，当所述像素位于更靠近所述正则的融合掩膜的角落时，所述blend_ratio_low的值增加。

23.根据权利要求17所述的方法，还包括：向所述正则的融合掩膜增加模糊度，以对所述正则的融合掩膜的所述blend_ratio_high的区域和所述blend_ratio_low的区域之间的边界的过渡进行平滑。

24.一种电子设备，包括：

包括光学器件的照相机组件；以及

处理器，所述处理器被配置为：

获取由照相机组件捕获的所捕获的模糊图像，所述照相机组件包括光学器件；

利用恢复滤波器将恢复过程应用于所述捕获的模糊图像以生成所恢复的清晰图像，所述恢复滤波器是基于所述光学器件的光学特性来恢复所述捕获的模糊图像的清晰度的滤波器；

基于所述捕获的模糊图像而生成正则的融合掩膜；

利用所述正则的融合掩膜对所述恢复的清晰图像进行掩蔽以生成第一中间图像；

生成反向的融合掩膜，其中，所述正则的融合掩膜被反向；

将降噪过程应用于所述捕获的模糊图像，以降低所述捕获的模糊图像中的噪声并生成降噪图像，其中，基于取决于所述恢复滤波器的滤波特性和/或所述光学器件的光学特性的调整信息来调整所述降噪过程；

利用所述反向的融合掩膜对所述降噪图像进行掩蔽以生成第二中间图像；以及

组合所述第一中间图像和所述第二中间图像以生成目标图像。

25.一种非暂时性计算机可读介质，存储有程序指令，其中，当所述程序指令由电子设备执行时，所述程序指令使得所述电子设备至少执行以下操作：

获取由照相机组件捕获的所捕获的模糊图像，所述照相机组件包括光学器件；

利用恢复滤波器将恢复过程应用于所述捕获的模糊图像以生成所恢复的清晰图像，所述恢复滤波器是基于所述光学器件的光学特性来恢复所述捕获的模糊图像的清晰度的滤波器；

基于所述捕获的模糊图像而生成正则的融合掩膜；

利用所述正则的融合掩膜对所述恢复的清晰图像进行掩蔽以生成第一中间图像；

生成反向的融合掩膜，其中，所述正则的融合掩膜被反向；

将降噪过程应用于所述捕获的模糊图像，以降低所述捕获的模糊图像中的噪声并生成降噪图像，其中，基于取决于所述恢复滤波器的滤波特性和/或所述光学器件的光学特性的调整信息来调整所述降噪过程；

利用所述反向的融合掩膜对所述降噪图像进行掩蔽以生成第二中间图像；以及

组合所述第一中间图像和所述第二中间图像以生成目标图像。