CN116012262B - 一种图像处理方法、模型训练方法及电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法、模型训练方法及电子设备，涉及图像技术领域。本方案在降低实时去噪和去模糊的计算量。具体方案为：响应于指示采集图像的第一操作，显示第一界面；在显示第一界面期间，采集第一原始RAW图像，第一RAW图像为电子设备中图像传感器采集的图像数据；在第一RAW图像去除噪声之后，将第一RAW图像转化第一图像，第一图像为RGB图像；根据第一模型和第一图像，预测第一参数，第一参数包括与第一像素点对应的第一向量，第一向量是预测出的第一像素点在第一图像去除图像模糊前、后的位置偏移向量；在确定第一参数后，移动第一像素点在第一图像中的位置，得到去除图像模糊的第二图像；将第二图像刷新到第一界面中。

Description

一种图像处理方法、模型训练方法及电子设备

技术领域

本申请涉及图像技术领域，尤其涉及一种图像处理方法、模型训练方法及电子设备。

背景技术

拍摄是用户记录生活的方式，当然，大部分用户缺乏丰富的拍摄经验，拍出的图像数据难免存在噪声和模糊等问题，特别是，在环境光照条件越差的情况下，所拍摄的图像数据中噪声和模糊问题越严重，也越难去除。

相关技术中，需要采用结构复杂的图像处理模型，一步实现针对图像数据的去噪和去模糊处理。然而，这样的图像处理模型体积大，运行所需系统资源也多，不能直接配置到系统资源有限的电子设备，致使该类电子设备不能实时地对所拍摄的图像数据进行去模糊和去噪等处理。

发明内容

本申请实施例提供一种图像处理方法、模型训练方法及电子设备，在RAW域中去除图像噪声，在RGB域中去除图像模糊，降低图像处理模型的任务难度，也简化图像处理模型的复杂程度，使图像处理模型能够配置于各类电子设备中，进而改善系统资源有限的电子设备，难以实时地对所拍摄的图像数据进行去噪和去模糊的问题。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，本申请实施例提供的一种图像处理方法，应用于电子设备，所述电子设备中配置有第一模型，所述第一模型用于预测在去除图像模糊前、后，同一帧彩色模式RGB图像的各个像素点的位置变化情况，所述方法包括：响应于指示采集图像的第一操作，显示第一界面；在显示所述第一界面期间，采集第一原始RAW图像，第一RAW图像为电子设备中图像传感器采集的图像数据；在第一RAW图像去除噪声之后，将第一RAW图像转化第一图像，第一图像为所述RGB图像；根据第一模型和第一图像，预测第一参数，第一参数包括与第一像素点对应的第一向量，第一向量是预测出的第一像素点在第一图像去除图像模糊前、后的位置偏移向量；在确定第一参数后，移动所述第一像素点在第一图像中的位置，得到去除图像模糊的第二图像；将第二图像刷新到所述第一界面中。

在上述实施例中，一方面，在RGB域内先消除噪声，然后，在RGB域进行去模糊，通过级联式的去噪和去模糊，降低图像模糊和噪声的处理难度，提升处理速度，有利于应用于实时的处理所采集图像的场景。

另一方面，电子设备在利用第一模型预测去除图像模糊前后，第一图像中各个像素点之间的位置偏移情况（也即，第一参数）之后，通过移动各个像素点在第一图像中的位置，就可以实现图像模糊的消除。也就是，在保障能够去除图像模糊的同时，过程实现简单。相较于采用图像处理模型一步去除图像模糊和噪声而言，计算任务量明显减少，去模糊的过程中，对系统资源的占用也更少，改善系统资源有限的电子设备难以实时地对所拍摄的图像数据进行去噪和去模糊的问题。

在一些实施例中，电子设备中包括第二模型，第二模型用于消除RAW图像中的噪声，在将第一RAW图像转化第一图像之前，方法还包括：利用第二模型，消除第一RAW图像中的噪声。

在上述实施例中，利用RAW域中的噪声是线性的特点，利用第二模型，直接消除第一RAW图像中的噪声，实现简单，采用轻量级的第二模型即可有效的完成去噪声，这样，不仅减少第二模型对于系统资源的占用，还有降低图像模糊消除的难度。

在一些实施例中，移动所述第一像素点在所述第一图像中的位置，包括：在第一参数中，查询所述第一像素点对应的所述第一向量；按照第一向量，移动第一图像中的第一像素点。

在上述实施例中，按照预测出的第一参数，在第一图像中移动第一像素点，有效去除图像模糊的问题。

在一些实施例中，移动所述第一像素点在所述第一图像中的位置之前，所述方法包括：确定第二参数，所述第二参数包括与所述第一像素点对应的第二向量，所述第二向量是所述第一像素点在所述第一图像去除图像抖动前、后的位置偏移向量；融合所述第一参数和第二参数，确定第三参数，所述第三参数中包含与所述第一像素点对应的第三向量；所述移动所述第一像素点在所述第一图像中的位置，包括：在所述第三参数中，查询所述第一像素点对应的所述第三向量；按照第三向量，移动所述第一图像中的所述第一像素点。

在上述实施例中，按照预测出的第三参数，在第一图像中移动第一像素点，在去除图像模糊的问题的同时，同步消除图像抖动的问题，避免反复占用系统资源，对第一图像进行形变，简化图像处理的繁琐程度。

在一些实施例中，融合第一参数和第二参数，确定第三参数，包括：在所述第一参数中查询所述第一像素点对应的第一向量，在所述第二参数中查询所述第一像素点对应的第二向量；将所述第一向量和第二向量叠加，得到所述第一像素点对应的第三向量。

在另一些实施例中，所述融合所述第一参数和第二参数，确定第三参数，包括：在所述第一参数中查询所述第一像素点对应的第一向量，在所述第二参数中查询所述第一像素点对应的第二向量；将所述第一向量和第二向量叠加，得到第四向量；按照预配置的校准参数，对所述第四向量进行校准，得到所述第一像素点对应的第三向量，所述校准参数包括旋转角度、平移距离。

第二方面，本申请实施例提供的一种图像处理方法，应用于电子设备，所述电子设备中配置有第三模型和第四模型；所述第三模型，用于消除RAW图像中的噪声，以及预测在去除图像模糊前、后，同一帧RAW图像中各个像素点的位置变化情况，所述第四模型用于预测在去除图像模糊前、后，同一帧RGB图像中各个像素点的位置变化情况，所述方法包括：响应于指示采集图像的第二操作，显示第二界面；在显示所述第二界面期间，采集第二RAW图像，第二RAW图像为所述电子设备中图像传感器采集的图像；根据所述第三模型和所述第二RAW图像，确定无噪声的第三RAW图像和预测第四参数，其中，所述第四参数包括与第二像素点对应的第五向量，所述第五向量是预测出的所述第二像素点在所述第三RAW图像去除图像模糊前、后的位置偏移向量；将所述第三RAW图像转化第三图像，所述第三图像为所述RGB图像；根据所述第四模型、所述第四参数和所述第三图像，预测第五参数，所述第五参数包括与所述第二像素点对应的第六向量，所述第六向量预测出的所述第二像素点在所述第三RAW图像去除图像模糊前、后的位置偏移向量；在确定所述第五参数后，移动所述第二像素点在所述第三图像中的位置，得到去除图像模糊的第四图像；将所述第四图像刷新到所述第二界面中。

在上述实施例中，通过第三模型，在RAW域去除图像噪声的同时，计算针对RAW域的去模糊中间参数（也即，第四参数），最大限度的重用第三模型的运算能力。另外，在RGB域，RGB图像往往还可以下采样，这样，第四模型结合第四参数，预测第五参数的过程中，所需的运算量也更少，更有利于去噪声和去模糊的网络模型，在系统资源有限的电子设备中的应用。

在一些实施例中，所述移动所述第二像素点在所述第三图像中的位置，包括：在所述第五参数中，查询第二像素点对应的所述第六向量；按照所述第六向量，移动所述第三图像中的所述第二像素点，得到所述第四图像。

在一些实施例中，所述移动所述第二像素点在所述第三图像中的位置之前，所述方法包括：确定第六参数，所述第六参数包括与所述第二像素点对应的第七向量，所述第七向量是预测出的所述第二像素点在所述第三图像消除图像抖动前、后的位置偏移向量；融合所述第六参数和第五参数，确定第七参数，所述第七参数中包含与所述第二像素点对应的第八向量；所述移动所述第二像素点在所述第三图像中的位置包括：在所述第七参数中，查询所述第二像素点对应的所述第八向量；按照所述第八向量，移动所述第三图像中的所述第二像素点，得到所述第四图像。

在一些实施例中，所述融合所述第六参数和第五参数，确定第七参数，包括：在所述第五参数中查询所述第二像素点对应的所述第六向量，在所述第六参数中查询所述第二像素点对应的所述第七向量；将所述第六向量和第七向量叠加，得到所述第二像素点在所述第七参数中对应的第八向量。

在一些实施例中，所述融合所述第六参数和第五参数，确定第七参数，包括：在所述第五参数中查询所述第二像素点对应的所述第六向量，在所述第六参数中查询所述第二像素点对应的所述第七向量；将所述第六向量和第七向量叠加，得到所述第二像素点在所述第七参数中对应的第九向量；按照预配置的校准参数，对所述第九向量进行校准，得到所述第二像素点在所述第七参数中对应的第八向量，所述校准参数包括旋转角度、平移距离。

第三方面，本申请实施例提供的一种模型训练方法，所述方法包括：获取训练样本数据，所述训练样本数据包括第一样本图像和第二样本图像，所述第二样本图像是消除所述第一样本图像中的图像模糊后得到的图像数据，所述第一样本图像和第二样本图像均为RGB图像；利用预先的初始模型处理所述第一样本图像，得到第八参数，所述第八参数中包括与第三像素点对应的第十向量，所述第十向量是预测出的所述第三像素点在所述第一样本图像去除图像模糊前、后的位置偏移向量；按照所述第八参数中的第十向量，移动所述第一样本图像中的所述第三像素点，得到第一RGB图像；根据所述第二样本图像和第一RGB图像之间的差异，迭代所述初始模型的模型参数；在所述初始模型训练至收敛之后，得到第一模型。

第四方面，本申请实施例提供的一种模型训练方法，所述方法包括：获取训练样本数据，所述训练样本数据包括第三样本图像和第四样本图像，所述第四样本图像是所述第三样本图像去除噪声和图像模糊后得到的图像数据，所述第三样本图像和第四样本图像均为RAW图像；利用预先的初始模型处理所述第三样本图像，得到第四RAW图像和第九参数，所述第九参数中包括与第四像素点对应的第十一向量，所述第十一向量是预测出的所述第四像素点在所述第四RAW图像去除模糊前、后的位置偏移向量；按照所述第九参数中的第十一向量，移动所述第四RAW图像中的所述第四像素点，得到第六样本图像；根据所述第六样本图像和第四样本图像之间的差异，迭代所述初始模型的模型参数；在所述初始模型训练至收敛之后，得到第三模型。

第五方面，本申请实施例提供的一种模型训练方法，所述方法包括：获取训练样本数据，所述训练样本数据包括第三样本图像和第五样本图像，所述第三样本图像为RAW图像，所述第五样本图像是所述第三样本图像去除噪声和图像模糊之后，转化得到的RGB图像；利用预配置的第三模型处理所述第三样本图像，得到第五RAW图像和第十参数，其中，所述第三模型，用于消除RAW图像中的噪声，以及预测在去除图像模糊前、后，同一帧RAW图像中各个像素点的位置变化情况，所述第五RAW图像是无噪声的图像数据，所述第十参数包括与第五像素点对应的第十二向量，所述第十二向量是预测出的所述第五像素点在所述第五RAW图像去除图像模糊前、后的位置偏移向量；在将所述第五RAW图像转为第二RGB图像之后，利用预先的初始模型处理所述第二RGB图像和第十参数，得到第十一参数，所述第十一参数中包括与第六像素点对应的第十三向量，所述第十三向量是预测出的所述第六像素点在所述第二RGB图像去除图像模糊前、后位置偏移向量；按照所述第十一参数中的第十三向量，移动所述第二RGB图像中的所述第六像素点，得到第三RGB图像；根据所述第三RGB图像和第五样本图像之间的差异，迭代所述初始模型的模型参数；在所述初始模型训练至收敛之后，得到第四模型。

第六方面，本申请实施例提供的一种电子设备，电子设备包括一个或多个处理器和存储器；所述存储器与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，所述一个或多个处理器，用于执行上述第一方面、第二方面、第三方面、第四方面、第五方面及其可能的实施例中的方法。

第七方面，本申请实施例提供的一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面、第二方面、第三方面、第四方面、第五方面及其可能的实施例中的方法。

第八方面，本申请提供一种计算机程序产品，当计算机程序产品在上述电子设备上运行时，使得电子设备执行上述第一方面、第二方面、第三方面、第四方面、第五方面及其可能的实施例中的方法。

可以理解地，上述各个方面所提供的电子设备、计算机存储介质以及计算机程序产品均应用于上文所提供的对应方法，因此，其所能达到的有益效果可参考上文所提供的对应方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种电子设备的硬件结构示意图；

图2为本申请实施例提供的一种电子设备的软、硬件结构示意图；

图3为本申请实施例提供的图像处理的原理示例图之一；

图4为本申请实施例提供的位置偏移向量的物理意义的示例图；

图5为本申请实施例提供的图像处理方法的步骤流程图之一；

图6为本申请实施例提供的形变处理RGB图像6的示例图；

图7为本申请实施例提供的图像处理的原理示例图之二；

图8为本申请实施例提供的图像处理方法的步骤流程图之二；

图9为本申请实施例提供的图像处理的原理示例图之三；

图10为本申请实施例提供的图像处理方法的步骤流程图之三；

图11为本申请实施例提供的图像处理的原理示例图之四；

图12为本申请实施例提供的芯片系统的示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“至少一个”是指一个或多个，“多个”是指两个或多于两个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

拍摄是用户记录生活的方式，当然，大部分用户缺乏丰富的拍摄经验，拍出的图像数据难免存在图像噪声和图像模糊等问题，这些图像问题，不仅会影响用户对于图像质量的评估，还会影响到用户对于拍摄设备（也即，拍摄该图像数据的电子设备）的评价。

显然，在拍摄图像数据之后，预处理所拍摄的图像数据，如，进行去噪和去模糊等，目前也成了对电子设备的基本要求。

在一些实施例中，电子设备中可以配置用于去除噪声、去除模糊的图像处理模型。这样，电子设备采集到图像数据之后，可以实时地利用该图像处理模型，对所采集的图像数据进行去噪和去模糊处理。具体过程可以如下：

电子设备的图像传感器采集到原始（RAW）图像之后，可以利用图像信号处理器(image signal processor，ISP)，将RAW图像转换为彩色模式(red green blue，RGB)图像。其中，RGB图像可以是三原色(即红色、蓝色和绿色)叠加形成的图像，RAW图像转化为RGB图像的原理可参考相关技术，在此不再赘述。

之后，再将该RGB图像输入图像处理模型。该图像处理模型在处理该RGB图像之后，可以输出已去除噪声和模糊的图像数据。

当然，不同拍摄环境下，即使采用同一电子设备，所拍摄的图像的噪声和模糊程度都不同。比如，在光线越低的场景下，所拍摄的图像的噪声和模糊越难去除。对于噪声和模糊越难去除的图像，需要利用结构越复杂的图像处理模型。

可以理解的，图像处理模型的结构越复杂，配置该图像处理模型所需占用的存储资源也越多，运行该图像处理模型所需的系统资源（包括存储资源和计算资源）也越多。

然而，结构复杂的图像处理模型，在配置于系统资源有限的电子设备（如，手机、平板电脑等移动设备）之后，由于模型需要占用大量系统资源，直接影响该电子设备中其他正常业务。

为了解决上述问题，本申请实施例提供了一种图像处理方法，该方法可以应用于具有拍摄功能的电子设备。其中，上述电子设备的图像传感器每采集到一帧RAW图像，都可以利用轻量级的去噪模型，去除RAW图像中的噪声，然后，利用ISP将RAW图像转化为RGB图像，得到不含噪声的RGB图像。之后，再利用轻量级的去模糊模型，预测与该RGB图像对应的中间参数。上述中间参数是预测出的一组矩阵参数。上述中间参数可以指示同一RGB图像在消除模糊前、后的差异。这样，电子设备可以利用该RGB图像和对应的中间参数，得到消除模糊的RGB图像，也即，得到去除噪声和模糊的图像数据。

由于RAW图像中噪声是线性的，去除RAW图像中的噪声的难度更小，这样，在上述实施例中，采用简单和轻量化的去噪模型也可以有效地完成去噪任务。

另外，有噪声的RAW图像，相较于无噪声的RAW图像，在转换为RGB图像之后，对应的显示内容轮廓清晰，一定程度上，可降低消除模糊的难度。同时，在去除模糊的过程中，去模糊模型只需预测去模糊前、后的RGB图像之间的差异，无需由图像处理模型计算实际去模糊和去噪后的图像信息，降低去模糊模型的任务难度，这样，该去模糊模型也可以选用轻量级模型。

总之，上述电子设备中只需配置两个轻量级的神经网络模型，通过两个轻量级的神经网络模型，级联式地完成针对图像数据的去噪和去模糊（也即，在RAW域进行去噪，在RGB域中进行去模糊）。在能够达到理想的去模糊和去噪声效果的前提下，有效减少图像处理模型（去模糊模型和去噪模型）在电子设备中占用的系统资源。

示例性的，本申请实施例中的电子设备可以是手机、平板电脑、智能手表、桌面型设备、膝上型设备、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobilepersonal computer，UMPC）、上网本，以及蜂窝电话、个人数字助理（personal digitalassistant，PDA）、增强现实（augmented reality，AR）\虚拟现实（virtual reality，VR）设备等包括多个摄像头的设备，本申请实施例对该电子设备的具体形态不作特殊限制。

请参考图1，为本申请实施例提供的一种电子设备100的结构示意图。如图1所示，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。

其中，上述传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。

可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。该显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件（图像传感器）上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络（neural-network，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

图2是本申请实施例提供的电子设备100的软、硬件结构框图。分层架构可将软、硬件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，电子设备可以包括应用程序层（简称应用层），应用程序框架层（简称框架层），硬件抽象层（hardware abstract layer ，HAL）层，内核层（Kernel，也称为驱动层），以及硬件层。

其中，应用层（Application）可以包括一系列应用程序包。该应用层可以包括多个应用程序包。该多个应用程序包可以为相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息以及桌面启动（Launcher）等应用程序。

例如，如图2所示，上述应用层可以包括相机系统应用（也称为相机应用），当然，还可以包括其他能够指示摄像头进行拍摄的第三方应用，如，短视频应用、直播应用等。

在上述示例中，相机系统应用包括取景界面，其中，取景界面可以是实际拍照或拍摄视频之前的预览取景界面，取景界面也可以是拍摄视频期间的拍摄取景界面。该相机系统应用可以在对应的取景界面中，展示底层上报的图像流，其中，底层可以是不与用户直接交互的层，如，HAL层，内核层或硬件层。

另外，短视频应用也可以包括和相机系统应用类似的取景界面。上述直播应用可以包含直播界面。上述取景界面和直播界面都可以展示底层上报的图像流，如，由硬件层采集，并经由内核层、HAL层和框架层传递至应用层的图像流。

框架层（Framework）为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，框架层可以提供相机API（Camera API）、相机服务（Camera Service）、相机拓展服务（Camera Service Extra）和硬件开发工具包（hardware software development kit，HwSDK）等。

其中，Camera API作为底层（如硬件抽象层）与应用层交互的接口。具体的，CameraAPI还可以接收来自上层（如应用层）的相机控制指令，如，开启摄像头、启动图像采集、关闭摄像头等控制指令。然后，将来自上传的相机控制指令，通过框架层、HAL层、内核层，传递至硬件层的摄像头，实现控制摄像头的工作状态。

本申请实施例中，当应用层与用户交互，触发启动图像采集的场景下，应用层可以调用Camera API，将指示采集图像的控制指令，通过框架层、HAL层、内核层，传递给摄像头。该摄像头可以响应于该指示采集图像的控制指令，进行图像数据的采集，并将得到的图像数据，通过内核层、HAL层、框架层传递给应用层。其中，传递至应用层的图像数据可以是已经过消除噪声和模糊的RGB数据。

在应用层得到来自摄像头的图像数据之后，应用层可以实时刷新预览界面或直播界面所对应的表面视图Surface view，比如，将来自摄像头的图像数据存储至该Surfaceview的缓存区域，然后，按照图像数据的采集顺序，依次刷新到Surface view。这样，电子设备可以实时地显示摄像头采集的图像数据。

HAL层用于连接框架层和内核层。例如，HAL层可以在框架层和内核层之间进行数据透传。当然，HAL层也可以对来内核层的数据进行处理，然后再传输给框架层。例如，HAL层可以将内核层的关于硬件设备的参数转换为框架层和应用层可识别的软件程序语言。例如，HAL层可以包括相机HAL（也即，Camera HAL）。该Camera HAL可以调度内核层，控制摄像头的工作状态。

内核层包括相机驱动、图像信号处理器ISP、去噪模型和去模糊模型。其中，上述图像信号处理器ISP、去噪模型和去模糊模型可以与摄像头独立设置。在另一些实施例中，上述图像信号处理器ISP、去噪模型和去模糊模型可以设置在摄像头中。

其中，图像信号处理器ISP、去噪模型、去模糊模型和摄像头是拍摄图像数据（如，视频或图片）的主要设备。取景环境反射的光信号经过相机镜头照射在图像传感器上可转换为电信号，以得到RAW图像。其中，RAW图像可以是指拜耳 (Bayer)格式的图像，Bayer格式的图像是指图像中仅包括红色、蓝色和绿色(即三原色)的图像。也即，RAW图像中仅包含红色的像素点、蓝色的像素点和绿色的像素点等。通常也可以称RAW图像为图像传感器采集到的原始图像数据。

另外，该RAW图像经过图像信号处理器ISP的处理之后，可作为原始参数流（即图像流），由相机驱动向上层传输。并且，相机驱动还可以接收来自上层的通知（如指示开启或关闭摄像头的通知），根据该通知向Camera器件发送功能处理参数流，以开启或关闭对应的摄像头。

硬件层包括图1中所示的各类硬件器件，比如，传感器、处理器、摄像头等。

另外，电子设备中还可以包括图2中未示出的软件模块和硬件模块，比如，形变（warp）模块。可以理解的，上述形变模块（warp模块）可以迁移RGB图像中的像素点，使RGB图像产生形变，得到所需的图像数据。

在一些实施例中，warp模块可以是软件模块，在另一些实施例中，warp模块还可以是硬件模块，本申请实施例对此不做具体限定。

在本申请实施例中，用户可以通过与应用层中的应用程序（如，相机系统应用、短视频应用或直播应用）进行交互的方式，指示摄像头启动图像采集。如图3所示，在摄像头启动图像采集之后，取景环境反射的光信号经过摄像头中的相机镜头301照射在图像传感器302上，图像传感器302可以将光信号转换为电信号，得到对应的RAW图像，比如，含有噪声和存在模糊问题的RAW图像。然后，利用去噪模型，消除RAW图像中的噪声。之后，将消除噪声的RAW图像发送给图像信号处理器ISP，由图像信号处理器ISP转化为RGB图像，其中，该RGB图像可以存在图像模糊的问题。当然，与相关技术相比，图像信号处理器ISP得到的RGB图像已不含噪声。

之后，利用去模糊模型，处理确定该RGB图像，预测与该RGB图像对应的中间参数。可以理解的，上述中间参数可以指示RGB图像在去模糊前、后的差异。示例性地，上述中间参数中每一个元素与该RGB图像中一个像素点相关联。每一个元素的取值，指示关联的像素点在该RGB图像消除模糊前、后的位置变化情况。

然后，利用warp模块，结合上述中间参数，将存在模糊的RGB图像，形变为消除模糊的RGB图像。

相比于相关技术，在同样达到去噪声和去模糊的效果的情况下，所配置的神经网络模型（去噪模型和去模糊模型），更加轻量化和简单，更有利于应用到系统资源有限的电子设备中，使各类设备在拍摄图像数据（视频或图片）的过程中，可以实时地对所拍摄的图像数据进行去噪和去模糊。

下面结合附图，继续描述本申请实施例提供的图像处理方法的实现原理。

在一些实施例中，上述去噪模型可以是基于轻量级的初始神经网络模型，训练得到的模型。该去噪模型具备在RAW域去噪的能力。同样，上述去模糊模型也可以基于轻量级的初始神经网络模型，训练得到的模型，该去模糊模型具备预测中间参数的能力。上述中间参数可以指示RGB图像在去模糊前、后的差异。

示例性地，轻量级的初始神经网络模型可以是体积小于预设值的模型，也可以是结构简单的模型，还可以是网络层数小于预设层数的模型。总之，轻量级的初始神经网络模型可以是所需配置资源量少，所需运行资源量也少的模型，采用这样的模型，运算速度更快，有利于实时地进行针对图像数据的去模糊和去噪处理，更加普适于各类电子设备。

在一些实施例中，上述去噪模型和去模糊模型可以采用多种方法进行训练，不同训练方式，得到的去噪模型和去模糊模型的功能存在一定差异，实际应用不同功能的去噪模型和去模糊模型的流程，也可能存在差异，下面例举几类去噪模型和去模糊模型的训练过程：

第一种训练去噪模型的方式，可以是联合图像处理器ISP，训练具有在RAW域消除噪声的去噪模型。示例性地，训练过程可以如下：

首先，获取多组训练样本1。例如，每组训练样本1对应有一帧样本RAW图像1和RGB图像1，该RGB图像1是由样本RAW图像1转化的RGB图像，且已消除图像中的噪声。

其次，在训练时，可以将每组训练样本1中的样本RAW图像1输入预选的初始神经网络模型1。其中，该初始神经网络模型1是预先选择的轻量级的模型。

经初始神经网络模型1处理完样本RAW图像1之后，得到RAW图像2。然后，利用图像信号处理器IPS处理RAW图像2，得到RGB图像2。最后，基于RGB图像2与RGB图像1之间的差异（如，RGB图像2与RGB图像1之间的欧氏距离），迭代初始神经网络模型1中的各项模型参数。

可以理解地，在训练的初始阶段，初始神经网络模型1基于输入的样本RAW图像1所得到的RAW图像2可以是随机的数据，当然，随机的RAW图像2也是与样本RAW图像1之间存在关联的数据，该RAW图像2中噪声的去除情况具有随机性。

在采用大量的训练样本1，对初始神经网络模型1进行训练之后，初始神经网络模型1中的模型参数更加的精准，此时，该初始神经网络模型1在RAW域中的去噪能力更强。也就是，在此阶段，对训练样本1中的样本RAW图像1进行处理后，得到的RAW图像2，该RAW图像2相较于RAW图像1，内容相同，但已成功消除噪声。

总之，经过大量训练之后，初始神经网络模型1逐渐收敛，这样，可以得到能够消除RAW域中噪声的去噪模型，也可称为去噪模型1。另外，判定初始神经网络模型是否收敛的方法可参考相关技术，在此不再赘述。

在一些实施例中，上述去噪模型1可以在电子设备中进行训练，也就是，将初始神经网络模型1配置到电子设备之后，经过多次训练后，电子设备中具有上述去噪模型1。

在另一些实施例中，上述去噪模型1还可以在其他设备中训练完成之后，配置到电子设备中。其中，其他设备中可以具有与电子设备相同型号的图像型号处理器ISP。也就是，可以将初始神经网络模型1配置到其他设备中，然后，利用训练样本1训练该初始神经网络模型1，得到去噪模型1，然后，将上述去噪模型1配置到电子设备中。

第一种训练去模糊模型的方式，可以是联合warp模块，训练具备预测中间参数flow1（也可称为中间参数1）的去模糊模型。其中，中间参数flow1可以指示同一RGB图像，在去除模糊前、后的差异。示例性地，训练过程可以如下：

首先，获取多组训练样本2。例如，每组训练样本2包含一帧样本RGB图像3，该样本RGB图像3不含噪声，但存在模糊的问题。另外，每组训练样本2还包含RGB图像4，该RGB图像4是相较于RGB图像3，内容相同，也不含噪声，但已消除图像模糊。示例性地，RGB图像3经过模糊消除之后，可以得到RGB图像4。

其次，在训练时，可以将每组训练样本2中的RGB图像3输入预选的初始神经网络模型2。其中，该初始神经网络模型2是预先选择的轻量级的模型。

在初始神经网络模型2处理完RGB图像3之后，可输出一组中间参数flow1。该中间参数flow1是预测出的一组矩阵参数，该中间参数flow1中每一个元素与该RGB图像3中一个像素点相关联。中间参数flow1中每一个元素的取值，指示RGB图像3中像素点与RGB图像4中相应的像素点之间的位置偏移量。

可以理解的，RGB图像3中每一个像素点，在RGB图像4中均对应有一个相应的像素点。RGB图像3和RGB图像4中对应的像素点可称为一组相应的像素点，比如，图4所示，RGB图像3中的像素点401和RGB图像4中的像素点402是一组相应的像素点，当然，RGB图像3中其他的像素点，在RGB图像4中也对应有一个相应的像素点。这样，上述中间参数flow1中包括预测出的像素点401与像素点402之间的位置偏移向量。其中，上述位置偏移向量可以是将像素点401和像素点402投影到同一平面之后，二者之间的方向向量。

一种实现方式，按照像素点401在RGB图像3中的位置，将其投影至第三方平面上，然后，按照像素点402在RGB图像4中的位置，将其也投影至第三方平面上，这样，像素点401和像素点402在第三方平面上的方向向量可以是二者之间的位置偏移向量。

另一种实现方式，也可以将像素点402投影到RGB图像3之后，在RGB图像3中，像素点401到像素点402的方向向量，也即，像素点401和像素点402之间的位置偏移向量。

例如，像素点401在RGB图像3中的位置为第一行第一列，像素点402在RGB图像4中的位置为第三行第三列，将像素点402投影到RGB图像3中的第三行第三列之后，确定对应的位置偏移向量可以是“第一行第一列”到“第三行第三列”的方向向量。另外，中间参数flow1还包括预测出的其他相应的像素点之间的位置偏移向量。

在一些实施例中，在初始神经网络模型2预测出一组中间参数flow1之后，可以利用warp模块，按照中间参数flow1，对RGB图像3进行形变，得到RGB图像5。可以理解的，对RGB图像3进行形变的原理，可以参考warp模块的功能原理，在此不再赘述，当然，上述按照中间参数flow1，对RGB图像3进行形变可以是：依次遍历RGB图像3中的像素点，每遍历到一个像素点，那么在中间参数flow1中查询该像素点对应的位置偏移向量，然后，按照该位置偏移向量，移动该像素点的位置，这样，在RGB图像3中像素点都完成遍历之后，可以得到形变出的RGB图像5。

最后，基于RGB图像5与RGB图像4之间的差异，如，RGB图像5与RGB图像4之间的欧氏距离，迭代初始神经网络模型2中的各项模型参数。

或者，获取RGB图像3与RGB图像4中相应的像素点之间的实际位置偏移量，确定出实际的中间参数flow2（也可称为中间参数2）。然后，根据中间参数flow2与中间参数flow1之间的差异，迭代初始神经网络模型2中的各项模型参数。

可以理解地，在训练的初始阶段，初始神经网络模型2基于输入的RGB图像3所得到的中间参数flow1具有随机性，也即，此阶段，预测出的中间参数flow1不准确的概率极高，按照该中间参数flow1对RGB图像3进行形变之后，得到的RGB图像5与RGB图像4之间的差异还十分大。

当然，在采用大量且不同的训练样本2，对初始神经网络模型2进行训练之后，初始神经网络模型2逐步收敛，这样，初始神经网络模型2的模型参数越来越精准，该初始神经网络模型2预测中间参数flow1的准确性也越高。也就是，在此阶段，按照预测出的中间参数flow1，形变出的RGB图像5也会越接近对应的RGB图像4。也就是，经过大量训练之后，可以得到能够准确预测去除模糊前、后的RGB图像之间差异的初始神经网络模型2，也即，去模糊模型。通过上述方式训练出的去模糊模型，需要去噪模型1配合使用，也可称该去模糊模型为去模糊模型1。

在一些实施例中，去模糊模型1可以在电子设备上进行的训练，也就是，将初始神经网络模型2配置到电子设备之后，经过多次训练后，电子设备中具有上述去模糊模型1。

在另一些实施例中，去模糊模型1还可以在其他设备上训练好之后，再配置到电子设备中。其中，其他设备中可以具有与电子设备相同的warp模块。也就是，可以将初始神经网络模型2配置到其他设备中，然后，利用训练样本2训练该初始神经网络模型2，得到去模糊模型1，然后，将上述去模糊模型1配置到电子设备中。

可以理解，上述去噪模型1和去模糊模型1配合启用，可解决图像的噪声和模糊问题。在其他可能的实施例中，还可以同步训练去噪模型1和去模糊模型1。在此实施例中，训练所用到的训练样本包含样本RAW图像1和对应的已去噪和去模糊的RGB图像（简称样本RGB图像）。

在训练过程中，样本RAW图像1依次经过初始神经网络模型1、图像信号处理器ISP的处理之后，可以得到对应的RGB图像2。然后，RGB图像2依次经过初始神经网络模型2和warp模块处理之后，可以得到输出RGB图像。最后，根据输出RGB图像和样本RGB图像之间的差异，迭代初始神经网络模型1和初始神经网络模型2的模型参数，以得到去噪模型1和去模糊模型1。

总之，本申请实施例中，不对去噪模型1和去模糊模型1的训练方式做具体限定，只要通过训练，能使去噪模型1具备消除RAW域中噪声的能力，去模糊模型1具备预测中间参数flow1的能力即可。

在一些实施例中，电子设备配置有去噪模型1和去模糊模型1的情况下，如，图5所示，上述图像处理方法可以包括以下步骤：

S101，响应于指示采集图像数据的指令，采集RAW图像3。

在一些实施例中，电子设备运行可启用摄像头的应用程序时，如，运行相机应用时，可以根据业务需求，产生指示采集图像数据的指令。

示例性的，在电子设备响应于用户指示启动相机应用的操作之后，可以显示相机预览界面。可以理解地，相机预览界面中需要显示摄像头采集的预览图像，这样，该事件（显示相机预览界面）可以触发启动摄像头的业务需求，也即，在实际显示相机预览界面之前，会生产指示采集图像数据的指令。

又示例性的，在电子设备运行短视频应用的情况，响应于用户指示拍摄视频的操作，可以显示短视频拍摄界面。可以理解地，短视频拍摄界面也需要显示摄像头所采集的视频数据（连续的多帧图像数据），该事件（显示短视频拍摄界面）也可以触发启动摄像头的业务需求，也即，在实际显示短视频拍摄界面之前，会生产指示采集图像数据的指令。

在一些实施例中，在检测到指示采集图像数据的指令之后，电子设备的应用层，可以调用Camera API，将该指示采集图像数据的指令通过相机HAL、相机驱动，发送给摄像头。摄像头也可以响应于该指示采集图像的指令，启动图像采集。在此环节中，摄像头的图像传感器通过感知取景环境中的光信号，得到RAW图像，也即，RAW图像3。

S102，利用去噪模型1，消除RAW图像3中的噪声，得到RAW图像4。

其中，上述去噪模型1可以在RAW域中完成噪声的消除。在一些实施例中，可以将RAW图像3输入去噪模型1，经过去噪模型1处理之后，去噪模型1输出RAW图像4。

S103，根据RAW图像4和图像信号处理器ISP，生成RGB图像6。

在一些实施例中，RAW图像4中只有红色的像素点、蓝色的像素点和绿色的像素点，而RGB图像6中的像素点包含红蓝绿三个颜色通道的分量。在图像信号处理器ISP将RAW图像4转换为RGB图像的过程中，图像信号处理器ISP需要精准恢复出RAW图像4中没有的颜色，即恢复出拍摄对象实际的颜色。

当然，图像信号处理器ISP还可以针对转化出的RGB图像，进行以下一项或多项处理：去除暗电流（去掉电流噪声）、进行shading（解决镜头带来的亮度衰减与颜色变化）、去坏点（去掉sensor中坏点数据）、去噪（去除噪声）、进行3A（自动白平衡，自动对焦，自动曝光）、进行gamma校正（亮度映射曲线，优化局部与整体对比度）、旋转（角度变化）、锐化（调整锐度）、缩放（放大缩小）、色彩空间转换（转换到不同色彩空间进处理）、颜色增强（可选，调整颜色）等。

在一些实施例中，RAW图像4经过图像信号处理器ISP处理之后，可得到RGB图像6。

S104，根据上述RGB图像6和去模糊模型1，确定对应的中间参数flow1。

在一些实施例中，利用去模糊模型1处理RGB图像6之后，可以输出中间参数flow1。该中间参数flow1是由去模糊模型1预测出的一组参数，该组参数中可以指示RGB图像6与已去除模糊的RGB图像6中，各个相应像素点之间位置偏移向量。

S105，根据中间参数flow1，对RGB图像6进行形变，得到RGB图像7。

在一些实施例中，可以采用warp模块，按照中间参数flow1，对RGB图像6进行形变处理。在去模糊模型1的精准度达到预定标准的情况下，所得到的RGB图像7不存在模糊的问题。

可以理解的，上述中间参数flow1中包括多组相应的像素点之间的位置偏移向量，每组相应的像素点中包含一个RGB图像6的像素点，也即，在中间参数flow1中，RGB图像6中每个像素点都可以对应有一个位置偏移向量。

这样，采用warp模块，按照中间参数flow1，对RGB图像6进行形变处理可以是：遍历RGB图像6中的每一个像素点。每遍历到一个像素点，那么在中间参数flow1中，查询对应的位置偏移向量，按照该像素点在中间参数flow1中的位置偏移向量，移动该像素点。在RGB图像6中所有的像素点都移动之后，可以得到形变后的RGB图像7，也即，得到消除噪声和模糊的图像数据，以作为摄像头采集到的图像数据。

例如，如图6所示，在RGB图像6中包含像素点601，该像素点601在中间参数flow1中的位置偏移向量，可以是如图6中的方向向量602。上述像素点601位于第一行第一列，该方向向量602可以指示将RGB图像6中的像素点601移动至第三行第三列。这样，在对RGB图像6进行形变处理之后，得到的RGB图像7中，像素点601位于第三行第三列。

S106，显示RGB图像7。

在一些实施例中，在得到RGB图像7之后，可以通过HAL层、框架层，向应用层传递该RGB图像7。可以通过Surface view，控制电子设备显示该RGB图像7，也即，显示无噪声、无模糊的图像数据。

在一些实施例中，电子设备采集视频数据，或者，采集预览视频流的场景下，可以按照S101~S106所示的方法，逐帧处理图像传感器采集的每一帧RAW图像，在将RAW图像转化为不含噪声和不模糊的RGB图像之后，再逐帧显示得到的不含噪声和不模糊的RGB图像，这样，电子设备可以在拍摄的过程中，实时地去除视频数据，或预览视频流中的噪声和模糊问题。

也就是，在上述去噪模型1和去模糊模型1配置到电子设备之后，电子设备中摄像头启动工作之后，如图7所示：

取景环境反射的光信号经过摄像头中的相机镜头701照射在图像传感器702上，图像传感器702可以将光信号转换为电信号，得到对应的RAW图像3。然后，利用去噪模型1，处理RAW图像3，得到RAW图像4。其中，RAW图像4中不含噪声。

然后，利用图像信号处理器ISP，将RAW图像4转化为RGB图像6。该RGB图像6中没有噪声，但是，可能存在模糊。为了消除RGB图像6中可能存在的模糊问题，还需继续利用去模糊模型1处理RGB图像6，得到对应的中间参数flow1。最后，利用warp模块，按照中间参数flow1，对RGB图像6进行形变处理，得到不含模糊的RGB图像7。

在上述实施例中，电子设备在采集图像数据的过程中，可以在RAW域中，利用轻量级的模型，完成噪声消除。在RGB域中，也利用轻量级的模型，结合warp模块，完成消除图像模糊，保障图像质量的同时，减少图像处理模型（去噪模型和去模糊模型）对系统资源的占用，提升该方法的普适性。

第二种训练去噪模型的方式，可以是联合warp模块，训练去噪模型。所训练出的去噪模型，不仅具有在RAW域消除噪声的能力，还具有预测中间参数flow3（也可称为中间参数3）的能力。该中间参数flow3类似于中间参数flow1，二者区别在于，中间参数flow3可以指示同一帧RAW图像消除模糊前、后的差异。

示例性地，训练过程可以如下：

首先，获取多组训练样本3。例如，每组训练样本3对应有一帧样本RAW图像5和该样本RAW图像5对应的RGB图像8，该RGB图像8不含噪声，也不存在模糊问题。示例性地，样本RAW图像5转化为RGB图像、经过去噪和去模糊处理之后，可以得到RGB图像8。

其次，在训练时，可以将每组训练样本3中的样本RAW图像5输入预选的初始神经网络模型3。

其中，该初始神经网络模型3是预先选择的轻量级的模型，且初始神经网络模型3包含一个输入口和两个输出口。示例性地，初始神经网络模型3的一个输出口用于输出预测的RAW图像6，该RAW图像6是预测出不含噪声的RAW图像。初始神经网络模型3的另一个输出口，用于输出中间参数flow3。该中间参数flow3是预测出的RAW图像6与RAW图像7中相应的像素点之间的位置偏移量。示例性地，RAW图像7是已去噪声和已去模糊的RAW图像。RAW图像5在RAW域内，经过去噪和去模糊处理之后，可得到上述RAW图像7。

经初始神经网络模型3处理完样本RAW图像5之后，得到RAW图像6。然后，利用warp模块，按照中间参数flow3，对RAW图像6进行形变，得到RAW图像8。对RAW图像6进行形变的过程，可参考前述实施例中，对RGB图像6进行形变过程，在此不再赘述。

在得到RAW图像8之后，再利用图像信号处理器IPS处理RAW图像8，得到RGB图像9。最后，基于RGB图像8与RGB图像9之间的差异，如，RGB图像8与RGB图像9之间的欧氏距离，迭代初始神经网络模型3中的各项模型参数。

可以理解地，在训练的初始阶段，初始神经网络模型3基于输入的样本RAW图像5所得到的RAW图像6可以是随机的数据，当然，随机的RAW图像6也与样本RAW图像5之间存在关联，此阶段RAW图像6的随机性体现在去噪的程度上。另外，初始神经网络模型3基于输入的样本RAW图像5所得到的中间参数flow3也可以是一组随机的参数，也即，在此阶段，初始神经网络模型3预测出的中间参数flow3不准确的概率较大，这样，根据该中间参数flow3得到的RAW图像8与RAW图像7之间的差异还很大。之后，根据RAW图像8转换得到的RGB图像9依然可能存在噪声和模糊等问题。

在采用大量的训练样本3，对初始神经网络模型3进行训练之后，初始神经网络模型3的精准度越来越高。在此阶段，利用初始神经网络模型3对训练样本3中的样本RAW图像5进行处理后，得到的RAW图像6相较于样本RAW图像5，内容相同，但已成功消除噪声。

同时，该初始神经网络模型3预测出的中间参数flow3也越准确，也就是，在此阶段，按照预测出的中间参数flow3，对RAW图像6进行形变之后，得到的RAW图像8也会更加接近对应的RAW图像7。这样，利用图像信号处理器ISP对RAW图像8处理之后，得到的RGB图像9也更加接近该训练样本3中的RGB图像8。

也就是，经过大量训练之后，初始神经网络模型3收敛，这样，可以得到能够消除RAW域中噪声和模糊的初始神经网络模型3，也即，去噪模型2。

又示例性地，训练过程还可以如下：

首先，获取多组训练样本4。例如，每组训练样本4对应有一帧样本RAW图像5和该样本RAW图像5对应的RAW图像7，RAW图像5在RAW域内，经过去噪和去模糊处理之后，可得到上述RAW图像7。

其次，在训练时，可以将每组训练样本4中的样本RAW图像5输入预选的初始神经网络模型3。

经初始神经网络模型3处理完样本RAW图像5之后，得到RAW图像6。然后，利用warp模块，按照中间参数flow3，对RAW图像6进行形变，得到RAW图像8。对RAW图像6进行形变的过程，可参考前述实施例中，对RGB图像6进行形变过程，在此不再赘述。

在得到RAW图像8之后，根据RAW图像8与RAW图像7之间的差异，如，RAW图像8与RAW图像7之间的欧氏距离，迭代初始神经网络模型3中的各项模型参数。这样，在初始神经网络模型3收敛之后，可得到去噪模型2。

在一些实施例中，电子设备配置有去噪模型2的情况下，如，图8所示，上述图像处理方法可以包括以下步骤：

S201，响应于指示采集图像数据的指令，采集RAW图像9。

在一些实施例中，上述RAW图像9和RAW图像3类似，均为图像传感器响应于指示采集图像数据的指令，采集到的RAW图像。另外，上述S201与S101的实现细节相同，在此不再赘述。

S202，利用去噪模型2，处理RAW图像9，得到RAW图像10和对应的中间参数flow3。

其中，上述去噪模型2可以在RAW域中完成噪声的消除，也可以预测出对应的中间参数flow3。在一些实施例中，可以将RAW图像9输入去噪模型2，经过去噪模型2处理之后，去噪模型2输出不含噪声的RAW图像10和对应的中间参数flow3。

S203，根据中间参数flow3，对RAW图像10进行形变，得到RAW图像11。

在一些实施例中，可以采用warp模块，按照中间参数flow3，对RAW图像10进行形变处理。在去噪模型2的精准度达到预定标准的情况下，所得到的RAW图像11不存在模糊的问题。

可以理解的，上述中间参数flow3中包括多组相应的像素点之间的位置偏移向量，每组相应的像素点中包含一个RAW图像10的像素点，也即，在中间参数flow3中，RAW图像10中每个像素点都可以对应有一个位置偏移向量。

这样，采用warp模块，按照中间参数flow3，对RAW图像10进行形变处理可以是：遍历RAW图像10中的像素点，每遍历到一个像素点，那么在中间参数flow3中查询该像素点对应的位置偏移向量，然后，在RAW图像10中，按照位置偏移向量移动该像素点。在RAW图像10中所有像素点都遍历完成之后，可以得到RAW图像11。

S204，根据RAW图像11和图像信号处理器ISP，生成RGB图像10。

在一些实施例中，上述S103和S204的实现细节相同，在此不再赘述。由于RAW图像11是已消除噪声和模糊的图像，根据RAW图像11，转化得到消除了噪声和模糊的RGB图像10，以作为摄像头采集到的图像数据。

S205，显示RGB图像10。

在一些实施例中，电子设备采集视频数据，或者，采集预览视频流的场景下，可以按照S201~S205所述的方法，逐帧处理图像传感器采集的每一帧RAW图像，在将RAW图像转化为不含噪声和不模糊的RGB图像之后，再逐帧显示得到的不含噪声和不模糊的RGB图像，这样，电子设备可以在拍摄的过程中，实时地去除视频数据，或预览视频流中的噪声和模糊问题。

也就是，在上述去噪模型2配置到电子设备之后，电子设备中摄像头启动工作之后，如图9所示：

取景环境反射的光信号经过摄像头中的相机镜头801照射在图像传感器802上，图像传感器802可以将光信号转换为电信号，得到对应的RAW图像9。然后，利用去噪模型2，处理RAW图像9，得到RAW图像10和对应的中间参数flow3。其中，RAW图像10中不含噪声。对应的中间参数flow3可以指示RAW图像10和完成去模糊的RAW图像10之间的差异。

然后，利用warp模块，按照得到的中间参数flow3，对RAW图像10进行形变，得到RAW图像11，最后，利用图像信号处理器ISP，将RAW图像11转化为RGB图像10，并进行显示。这样，所显示的RGB图像10是不含噪声，也不存在模糊问题的图像数据。

在上述实施例中，电子设备在采集图像数据的过程中，可以在RAW域中，利用轻量级的模型消除噪声，以及，在RAW域结合warp模块，去除图像模糊问题。在其他实施例中，在RAW域中可以仅去除噪声，之后，再配合去模糊模型2，结合warp模块，在RGB域中完成图像模糊的消除。上述去模糊模型2可以采用第二种训练去模糊模型的方式，训练得到。

上述第二种训练去模糊模型的方式，可以是联合去噪模型2、图像处理器ISP和warp模块，训练去模糊模型。所训练出的去模糊模型，具有预测中间参数flow4（也可称为中间参数4）的能力。该中间参数flow4可以指示消除模糊前、后的RGB图像之间的差异。该中间参数flow4相较于中间参数flow1更加精准。

示例性地，训练过程可以如下：

首先，获取多组训练样本3。利用去噪模型2处理每组训练样本3中的样本RAW图像5，得到对应的中间参数flow3和已完成去噪的RAW图像6。然后，通过图像信号处理器ISP处理RAW图像6，得到对应的RGB图像11。

其次，在训练时，可以将每组训练样本3所对应的中间参数flow3和RGB图像11输入预选的初始神经网络模型4。其中，该初始神经网络模型4是预先选择的轻量级的初始神经网络模型。

在初始神经网络模型4处理完RGB图像11和中间参数flow3之后，得到中间参数flow4。该中间参数flow4是预测出的RGB图像11与RGB图像8中相应的像素点之间的位置偏移量。与前述实施例中的中间参数flow1类似，但是，在预测中间参数flow4的过程中，会考虑RAW域的中间参数flow3，这样，相较于中间参数flow1而言，更加精准。

然后，利用warp模块，按照中间参数flow4，对RGB图像11进行形变，得到RGB图像12。其中，对RGB图像11进行形变的实现细节可参考前述实施例中，对于RGB图像6的形变细节，在此不再赘述。

最后，基于RGB图像12与RGB图像8之间的差异，如，RGB图像12与RGB图像8之间的欧氏距离，迭代初始神经网络模型4中的各项模型参数。在经过大量训练之后，初始神经网络模型4中的各项模型参数越来越准确，可将其作为去模糊模型2，配置于电子设备内，与去噪模型2配置使用。

在一些实施例中，电子设备配置有去噪模型2和去模糊模型2的情况下，如，图10所示，上述图像处理方法可以包括以下步骤：

S301，响应于指示采集图像数据的指令，采集RAW图像9。

S302，利用去噪模型2，处理RAW图像9，得到RAW图像10和对应的中间参数flow3。

在一些实施例中，上述S301和S302的实现细节都可参考前述实施例中的S201和S202，在此不再赘述。

S303，根据RAW图像10和图像信号处理器ISP，生成RGB图像13。

在一些实施例中，上述S303与上述S103的实现原理相同，在此不再赘述。

S304，根据RGB图像13和对应的中间参数flow3，结合去模糊模型2，预测对应的中间参数flow4。

S305，根据中间参数flow4，对RGB图像13进行形变，得到RGB图像14。

在一些实施例中，利用warp模块，按照中间参数flow4，对RGB图像13进行形变，得到消除了噪声和模糊的RGB图像14，以作为摄像头采集到的图像数据。对RGB图像13进行形变的过程可参考前述实施例中，对于RGB图像6的形变过程，在此不再赘述。

S306，显示RGB图像14。

在一些实施例中，在得到RGB图像14之后，warp模块可以通过HAL层、框架层，向应用层传递该RGB图像14。然后，应用层可以通过Surface view，控制电子设备显示RGB图像14，也即，显示无噪声、无模糊的图像数据。

在一些实施例中，电子设备采集视频数据，或者，采集预览视频流的场景下，可以按照S301~S305所示的方法，逐帧处理图像传感器采集的每一帧RAW图像，在将RAW图像转化为不含噪声和不模糊的RGB图像之后，再逐帧显示得到的不含噪声和不模糊的RGB图像，这样，电子设备可以在拍摄的过程中，实时地去除视频数据，或预览视频流中的噪声和模糊问题。

也就是，在上述去噪模型2和去模糊模型2配置到电子设备之后，电子设备中摄像头启动工作之后，如图11所示：

取景环境反射的光信号经过摄像头中的相机镜头1001照射在图像传感器1002上，图像传感器1002可以将光信号转换为电信号，得到对应的RAW图像9。然后，利用去噪模型2，处理RAW图像9，得到RAW图像10和对应的中间参数flow3。其中，RAW图像10中不含噪声。

然后，利用图像信号处理器ISP，将RAW图像10转化为RGB图像13，该RGB图像13中没有噪声，但是，可能存在模糊。为了消除RGB图像13中可能存在的模糊问题，还需继续利用去模糊模型2处理RGB图像13和中间参数flow3，得到对应的中间参数flow4。最后，利用warp模块，按照中间参数flow4，对RGB图像13进行形变处理，得到不含模糊的RGB图像14。

在上述实施例中，电子设备在采集图像数据的过程中，可以在RAW域中，利用轻量级的模型，完成噪声消除。在RGB域中，也利用轻量级的模型，结合warp模块，完成图像模糊的去除，保障图像质量的同时，减少图像处理模型（去噪模型和去模糊模型）对系统资源的占用，提升该方法的普适性。

另外，在本申请实施例中，在去除图像模糊的过程中，都会利用到warp模块，减少了图像处理模型（如，去模糊模型）的任务量。一定程度也能降低对图像处理模型的规格要求，也即，能够有效减少图像处理模型所占用的系统资源。

在一些实施例中，电子设备在确定出中间参数flow1，或者，确定出中间参数flow4之后，可以在图像防抖流程触发启用warp模块的情况下，结合中间参数flow1或中间参数flow4，对RGB图像6或者RGB图像13进行形变处理。

可以理解的，在图像防抖处理的过程中，也会启用warp模块对图像信号处理器ISP输出RGB图像进行防抖动处理。

以对RGB图像6进行防抖处理为例，在对RGB图像6进行防抖处理的过程中，可以计算RGB图像6与消除抖动的RGB图像6之间的差异，如，计算出中间参数flow5（也可称为中间参数5）。其中，RGB图像6中每一个像素点，在消除抖动的RGB图像6上都对应有一个像素点，这两个像素点也可称为相应的像素点。在上述示例中，上述中间参数flow5中包含RGB图像6和消除抖动的RGB图像6中各组相应的像素点之间的位置偏移量。在一些实施例中，在确定出中间参数flow5之后，可以启用warp模块，根据中间参数flow5，对RGB图像6进行形变，以消除RGB图像6中的图像抖动问题。

以对RGB图像13进行防抖处理为例，在对RGB图像13进行防抖处理的过程中，可以计算RGB图像13与消除抖动的RGB图像13之间的差异，如，计算出中间参数flow6（也可称为中间参数6）。其中，RGB图像13中每一个像素点，在消除抖动的RGB图像13上都对应有一个像素点，这两个像素点也可称为相应的像素点。在上述示例中，上述中间参数flow6中包含RGB图像13和消除抖动的RGB图像13中各组相应的像素点之间的位置偏移量。在一些实施例中，在确定出中间参数flow6之后，可以启用warp模块，根据中间参数flow6，对RGB图像13进行形变，以消除RGB图像13中的图像抖动问题。

另外，获取中间参数flow5或中间参数flow6的实现细节，可参考图像防抖的相关技术，在此不再赘述。

在上述实施例中，电子设备在利用warp模块对图像数据（RGB图像6或者RGB图像13）进行去抖动处理的同时，还可以同步进行去模糊等处理，简化电子设备的流程复杂程度，避免系统资源被反复占用。

在一些实施例中，如果电子设备获取到中间参数flow1，但未获取到中间参数flow5，那么可以等待电子设备对RGB图像6进行防抖处理，直至得到中间参数flow5之后，根据中间参数flow1和中间参数flow5，对RGB图像6进行形变处理。

同样，如果电子设备获取到中间参数flow4，但未获取到中间参数flow6，那么可以等待电子设备对RGB图像13进行防抖处理，直至得到中间参数flow6之后，根据中间参数flow4和中间参数flow5，对RGB图像13进行形变处理。

也就是，示例性地，在步骤S104之后，可以不执行S105。另外，在对RGB图像6进行防抖处理的过程，如果确定出中间参数flow5，可以将中间参数flow5与中间参数flow1进行融合，得到目标flow，然后，利用warp模块，按照目标flow，对RGB图像6进行形变，得到无抖动、无噪声和模糊的RGB图像，以作为摄像头采集到的图像数据，并进行显示。

与前述实施例中“按照中间参数flow1对RGB图像6进行形变”相比，区别在于，需要在目标flow中查询各个像素点的位置偏移向量。

另外，作为一种实现方式，将中间参数flow5与中间参数flow1进行融合可以是：获取RGB图像6中每一个像素点在中间参数flow5中的位置偏移向量1和在中间参数flow1中的位置偏移向量2，然后，将位置偏移向量1和位置偏移向量2相加，得到该像素点在目标flow中对应的位置偏移向量。

在其他实施例中，在将位置偏移向量1和位置偏移向量2相加之后，还可以结合特定参数（如，图像旋转参数等），校准像素点在目标flow中对应的位置偏移向量。

又示例性地，在步骤S304之后，可以不执行S305。另外，在对RGB图像13进行防抖处理的过程，如果确定出中间参数flow6，可以将中间参数flow6与中间参数flow4进行融合，得到目标flow，然后，利用warp模块，按照目标flow，对RGB图像6进行形变，得到无抖动、无噪声和模糊的RGB图像，以作为摄像头采集到的图像数据，并进行显示。

与前述实施例中“按照中间参数flow4对RGB图像13进行形变”相比，区别也在于，需要在目标flow中查询各个像素点的位置偏移向量。

另外，作为一种实现方式，将中间参数flow6与中间参数flow4进行融合可以是：获取RGB图像13中每一个像素点在中间参数flow6中的位置偏移向量3和在中间参数flow4中的位置偏移向量4，然后，将位置偏移向量3和位置偏移向量4相加，得到该像素点在目标flow中对应的位置偏移向量。

在其他实施例中，在将位置偏移向量3和位置偏移向量4相加之后，还可以结合特定参数（如，图像旋转参数等），校准像素点在目标flow中对应的位置偏移向量。

在其他可能的实施例中，电子设备也可以分别启用warp模块进行防抖处理和去模糊处理。

示例性地，在上述S103之后，可以先开始防抖处理，得到去除抖动后的RGB图像6。然后，根据去除抖动后的RGB图像6和去模糊模型1，确定对应的中间参数flow1。根据中间参数flow1，对去除抖动后的RGB图像6进行形变，得到去除噪声、模糊、抖动的RGB图像7。

又示例性地，在上述S303之后，可以先开始防抖处理，得到去除抖动后的RGB图像13。然后，根据去除抖动后的RGB图像13和去模糊模型2，确定对应的中间参数flow3。根据中间参数flow3，对去除抖动后的RGB图像13进行形变，得到去除噪声、模糊、抖动的RGB图像14。

再示例性地，在上述S105之后，再针对RGB图像7进行防抖处理，得到去除噪声、模糊、抖动的RGB图像。

再示例性地，在上述S305之后，再针对RGB图像14进行防抖处理，得到去除噪声、模糊、抖动的RGB图像。

在一些实施例中，在拍摄视频等实时性较高的图像数据的场景下，对采集到的每一帧图像，均可以按照前述实施例中的方法进行处理，同时，在处理的过程中，可以采用硬件warp模块，提高去模糊的实时性。

本申请实施例还提供一种电子设备，该电子设备可以包括：存储器和一个或多个处理器。该存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，可使得电子设备执行上述实施例中手机执行的各个步骤。当然，该电子设备包括但不限于上述存储器和一个或多个处理器。

在一些实施例中，上述电子设备中可以配置有第一模型，也即，前述实施例中的去模糊模型1，也就是，第一模型可以预测在去除图像模糊前、后，同一帧RGB图像的各个像素点的位置变化情况。在用户需要电子设备进行拍摄的场景下，用户可以作出指示拍摄的操作，也即，第一操作。示例性地，上述第一操作可以是指示打开相机系统应用的操作，这样，电子设备可以响应第一操作，显示拍摄预览界面（又可称为第一界面）。又示例性地，上述第一操作还可以是指示启用短视频应用拍摄视频的操作，这样，电子设备可以响应第一操作，显示视频拍摄界面（也可称为第一界面）。再示例性地，上述第一操作还可以是指示启用直播应用进行直播的操作，这样，电子设备可以响应第一操作，显示直播界面（也可称为第一界面）。

在显示第一界面期间，电子设备可以通过图像传感器采集第一RAW图像，如，RAW图像3。在第一RAW图像完成去除噪声之后，将第一RAW图像（消除噪声的第一RAW图像又可称为RAW图像4）转化第一图像（RGB图像6），比如，利用ISP将第一RAW图像（也即，RAW图像4）转化RGB模式的第一图像。

在得到第一图像之后，根据第一模型和第一图像，预测第一参数，也即前述实施例中的中间参数flow1。其中，第一参数包括预测出的第一向量。第一向量是预测出的所述第一像素点在所述第一图像去除图像模糊前、后的位置偏移向量，例如，第一向量是第一位置与第二位置之间的位置偏移向量，第一位置是第一像素点在第一图像中的位置，第二位置是预测出的第一像素点在去除了图像模糊的第一图像中的位置。在去除图像模糊后的第一图像中，位置发生改变的像素点，可称为第一像素点，上述第一像素点可以包括一个或多个，具体根据实际情况而定。另外，每一个第一像素点都对应有一个第一向量，这样，第一参数可以指示去除模糊前后，第一图像中各个像素点的位置变化情况。

在确定第一参数后，电子设备可以通过对第一图像进行形变的方式，消除第一图像中的图像模糊问题，当然，第一图像形变后得到的图像数据可称为第二图像。最后，电子设备可以将第二图像显示在第一界面中。

在另一些实施例中，电子设备中还可以配置第二模型，也即，前述实施例中提到的去噪模型1。也就是，第二模型可以实现消除RAW图像中的噪声的功能。这样，在将第一RAW图像转化第一图像之前，电子设备可以利用第二模型，消除第一RAW图像中的噪声，在第一RAW图像中的噪声消除之后，再将第一RAW图像转化为第一图像，这样，得到的第一图像也是已消除噪声的图像。

作为一种实现方式，电子设备对第一图像进行形变，得到第二图像的过程如下：在第一参数中，查询第一像素点对应的第一向量。示例性地，在具有多个第一像素点的情况下，可以遍历每一个第一像素点，每遍历到一个第一像素点，在第一参数中，查询对应的第一向量，然后，按照第一向量，移动第一图像中的第一像素点，得到第二图像（也即，RGB图像7）。

作为另一种实现方式，电子设备对第一图像进行形变，得到第二图像之前，电子设备还可以基于第一图像，启动防抖动处理流程。在此过程中，可以得到第二参数（也即，前述实施例中的中间参数flow5或中间参数flow6）。上述第二参数包括第二向量，第二向量是预测出的所述第一像素点在所述第一图像去除图像抖动前、后的位置偏移向量，例如，第二向量指示第一位置和第三位置之间的位置偏移向量，第三位置是预测出的第一像素点在消除了图像抖动的第一图像中的位置。当然，如果预测第一像素点在消除了图像抖动的第一图像中位置未改变，那么第三位置可以与第一位置重合。另外，第二参数中还可以包括其他像素点所对应的位置偏移向量。其他像素点可以是第一图像中除第一像素点之外的像素点，在第二参数中，其他像素点所对应的位置偏移向量，可以指示第一图像的其他像素点在消除图像抖动前、后的位置变化情况。

在上述实施例中，为了减少针对图像的形变次数，降低功耗。电子设备在对第一图像进行形变之前，也即，移动第一图像中的各个像素点之前，电子设备可以将融合第一参数和第二参数，确定第三参数（也即，目标flow）。

示例性地，可以将第一参数和第二参数中同一像素点所对应的位置偏移向量叠加，得到第三参数。

当然，如果一个像素点在第一参数中具有对应的第一向量，但是，在第二参数中不具有对应的第二向量，那么将该像素点的第一向量，作为该像素点在第三参数中对应的位置偏移向量。同样，如果一个像素点在第二参数中具有对应的第二向量，但是，在第一参数中不具有对应的第一向量，那么将该像素点的第二向量，作为该像素点在第三参数中对应的位置偏移向量。

比如，在第一参数中查询第一像素点对应的第一向量，在第二参数中查询第一像素点对应的第二向量；将第一向量和第二向量叠加，这样，可以得到第一像素点对应的第三向量，作为该第一像素点在第三参数中对应的位置偏移向量。

示例性地，可以将第一参数和第二参数中同一像素点所对应的位置偏移向量叠加，然后，按照预配置的校准参数，对所得到的位置偏移向量进行校准，得到第三参数。

如果一个像素点在第一参数中具有对应的第一向量，但是，在第二参数中不具有对应的第二向量，那么校准该像素点的第一向量，作为该像素点在第三参数中对应的位置偏移向量。同样，如果一个像素点在第二参数中具有对应的第二向量，但是，在第一参数中不具有对应的第一向量，那么校准该像素点的第二向量，作为该像素点在第三参数中对应的位置偏移向量。

比如，在第一参数中查询所述第一像素点对应的第一向量，在所述第二参数中查询所述第一像素点对应的第二向量；将所述第一向量和第二向量叠加，得到第四向量；按照预配置的校准参数，对第四向量进行校准，得到所述第一像素点对应的第三向量，所述校准参数包括旋转角度、平移距离。

在上述示例中，电子设备确定第三参数之后，电子设备可以在第三参数中，查询第一像素点对应的第三向量；按照第三向量，移动第一图像中的第一像素点，该过程可简称为按照第三参数，移动第一像素点。当然，采用同样的方式，也可以按照第三参数，移动第一图像中的其他像素点。这样，电子设备可以得到不模糊、不含噪声和无图像抖动的第二图像。

在另一些实施例中，电子设备中还可以配置有第三模型（也即，去噪模型2）和第四模型（也即，去模糊模型2）。示例性地，上述第三模型可以消除RAW图像中的噪声，以及预测在去除图像模糊前、后，同一帧RAW图像中各个像素点的位置变化情况。又示例性地，第四模型可以预测在去除图像模糊前、后，同一帧RGB图像中各个像素点的位置变化情况。

同样的，在电子设备响应于指示采集图像的第二操作，显示第二界面。其中，上述第二操作与第一操作类似，第二界面也与第一界面类似，在此不再赘述。

在显示第二界面期间，电子设备可以通过图像传感器采集第二RAW图像（也即，RAW图像9）。

电子设备还可以根据所述第三模型和第二RAW图像，确定无噪声的第三RAW图像（也即，RAW图像10）和预测第四参数（也即，中间参数flow3），其中，第四参数包括预测出的第五向量，第五向量是预测出的所述第二像素点在第三RAW图像去除图像模糊前、后的位置偏移向量。例如，第五向量是第四位置与第五位置之间的位置偏移向量，第四位置是第二像素点在第三RAW图像中的位置，第五位置是预测出的第二像素点在消除模糊的第三RAW图像中的位置。上述第三RAW图像中的第二像素点，类似于第一图像中的第一像素点，也就是，上述第二像素点可以是消除模糊过程中，第三RAW图像中需要移动位置的像素点，其数量可以包括一个或多个，视实际情况而定。

另外，在得到第三RAW图像和第四参数之后，电子设备可以将第三RAW图像转化RGB模式的第三图像（如，RGB图像13）。

这样，电子设备可以根据第四模型、第四参数和所述第三图像，预测第五参数（如，中间参数flow4）。其中，第五参数包括预测出的第六向量，第六向量是预测出的所述第二像素点在所述第三图像去除图像模糊前、后的位置偏移向量。例如，第六向量是第六位置与第七位置之间的位置偏移向量，第六位置是第二像素点在第三图像中的位置，第七位置是第二像素点在消除图像模糊的第三图像中的位置。

在确定第五参数后，电子设备可以对第三图像进行形变，例如，移动第三图像中的第二像素点的位置，得到无噪且不模糊的第四图像（RGB图像14），并将第四图像刷新到第二界面中。

在一些实施例中，电子设备对所述第三图像进行形变（如，移动第三图像中的第二像素点的位置），得到第四图像，包括：在第五参数中，查询第二像素点对应的第六向量；按照第六向量，移动第三图像中的所述第二像素点，得到所述第四图像。

在另一些实施例中，电子设备对第三图像进行形变（如，移动第三图像中的第二像素点的位置），得到第四图像之前，电子设备可以基于第三图像启动图像防抖动处理流程，在处理过程中，电子设备可以得到第六参数（如，中间参数flow5或中间参数flow6），第六参数包括与第二像素点对应的第七向量，第七向量是预测出的所述第二像素点在所述第三图像去除图像抖动前、后的位置偏移向量，例如，第七向量是第六位置与第八位置之间的位置偏移向量，第八位置是预测出的第二像素点在消除图像抖动的第三图像中的位置。在一些情况下，在消除图像抖动的第三图像中，除了第二像素点之外，还可以包括其他像素点位置发生了改变。在第六参数中，还可以包括其他像素点对应的位置偏移向量。

在上述实施例中，对第三图像进行形变（如，移动第三图像中的第二像素点的位置），得到第四图像之前，电子设备还可以融合第六参数和第五参数，确定第七参数，也即，目标flow。

示例性地，可以将第六参数和第五参数中同一像素点所对应的位置偏移向量叠加，得到第七参数。

当然，如果一个像素点在第五参数中具有对应的第六向量，但是，在第六参数中不具有对应的第七向量，那么将该像素点的第六向量，作为该像素点在第七参数中对应的位置偏移向量。同样，如果一个像素点在第六参数中具有对应的第七向量，但是，在第五参数中不具有对应的第六向量，那么将该像素点的第七向量，作为该像素点在第七参数中对应的位置偏移向量。

比如，在第五参数中查询第二像素点对应的第六向量，在第六参数中查询第二像素点对应的第七向量；将第六向量和第七向量叠加，这样，可以得到第二像素点对应的第八向量，作为该第二像素点在第七参数中对应的位置偏移向量。

示例性地，可以将第六参数和第五参数中同一像素点所对应的位置偏移向量叠加，然后，按照预配置的校准参数，对所得到的位置偏移向量进行校准，得到第七参数。

如果一个像素点在第五参数中具有对应的第六向量，但是，在第六参数中不具有对应的第七向量，那么校准该像素点的第六向量，作为该像素点在第七参数中对应的位置偏移向量。同样，如果一个像素点在第六参数中具有对应的第七向量，但是，在第五参数中不具有对应的第六向量，那么校准该像素点的第七向量，作为该像素点在第七参数中对应的位置偏移向量。

比如，在第五参数中查询所述第二像素点对应的第六向量，在所述第六参数中查询所述第二像素点对应的第七向量；将所述第六向量和第七向量叠加，得到第九向量；按照预配置的校准参数，对第九向量进行校准，得到所述第二像素点对应的第八向量，所述校准参数包括旋转角度、平移距离。

在上述示例中，电子设备确定第七参数之后，电子设备可以在第七参数中，查询第二像素点对应的第八向量；按照第八向量，移动第三图像中的第二像素点，该过程可简称为按照第七参数，移动第二像素点。当然，采用同样的方式，也可以按照第七参数，移动第三图像中的其他像素点。这样，电子设备可以得到不模糊也不含噪声的第四图像。

在其他实施例中，电子设备还可以训练上述实施例所需的模型，如，第一模型、第二模型、第三模型和第四模型等。

示例性地，电子设备训练出第一模型的过程如下：

电子设备可以获取训练样本数据，如训练样本2，训练样本数据包括第一样本图像（如，样本RGB图像3）和第二样本图像（如，RGB图像4），第二样本图像是消除所述第一样本图像中的图像模糊后得到的图像数据。

电子设备可以利用预先的初始模型（初始神经网络模型2）处理第一样本图像，得到第八参数（如，中间参数flow1），第八参数中包括预测出的第十向量，第十向量是预测出的所述第三像素点在第一样本图像去除图像模糊前、后的位置偏移向量，例如，第十向量是第九位置和第十位置之间的位置偏移向量，所述第九位置是第三像素点在第一样本图像中的位置，第十位置是预测出的第三像素点在去除图像模糊的第一样本图像中的位置。其中，上述第三像素点是第一样本图像中的像素点，同时，也是第一样本图像去除模糊之后位置会发生改变的像素点。

电子设备按照第八参数中的第十向量，对第一样本图像进行形变（例如，按照第十向量，移动第一样本图像中的第三像素点），得到第一RGB图像（如，RGB图像5），然后，根据所述第二样本图像和第一RGB图像之间的差异，迭代所述初始模型的模型参数；在初始模型训练至收敛之后，得到第一模型。可以理解地，判断神经网络模型是否收敛的方式可参考相关技术，在此不再赘述。

示例性地，电子设备训练出第三模型的过程如下：

电子设备获取训练样本数据，如，训练样本4。训练样本数据包括第三样本图像（样本RAW图像5）和第四样本图像（样本RAW图像5对应的RAW图像7），第四样本图像是第三样本图像去除噪声和图像模糊后得到的图像数据。

电子设备利用预先的初始模型（初始神经网络模型3）处理第三样本图像，得到第四RAW图像（RAW图像6）和第九参数（中间参数flow3），第九参数中包括预测出的第十一向量，第十一向量是预测出的所述第四像素点在第四RAW图像去除图像模糊前、后的位置偏移向量，例如，第十一向量是第十一位置和第十二位置之间的位置偏移向量，第十一位置是第四像素点在第四RAW图像中的位置，第十二位置是预测出第四像素点在去除图像模糊的第四RAW图像中的位置。其中，第四像素点是第四RAW图像中的像素点，同时，第四像素点也是第四RAW图像消除图像模糊之后，位置会改变的像素点。

电子设备可以按照所述第九参数中的第十一向量，对所述第四RAW图像进行形变，例如，按照第十一向量移动第四RAW图像中第四像素点的位置，得到第六样本图像；根据所述第六样本图像和第四样本图像之间的差异，迭代所述初始模型的模型参数；在初始模型训练至收敛之后，得到第三模型。可以理解地，判断神经网络模型是否收敛的方式可参考相关技术，在此不再赘述。

示例性地，电子设备训练出第四模型的过程如下：

电子设备获取训练样本数据，如，训练样本3。所述训练样本数据包括第三样本图像（样本RAW图像5）和第五样本图像（如，RGB图像8），所述第三样本图像为RAW图像，所述第五样本图像是所述第三样本图像去除噪声和图像模糊之后，转化得到的RGB图像。

电子设备利用预配置的第三模型处理第三样本图像，得到第五RAW图像（已去除噪声的RAW图像6）和第十参数（中间参数flow3），第十参数包括预测出的第十二向量，第十二向量是预测出的所述第五像素点在第五样本图像去除图像模糊前、后的位置偏移向量，例如，第十二向量是第十三位置和第十四位置之间的位置偏移向量，所述第十三位置是第五像素点在第五样本图像中的位置，所述第十四位置是预测出的所述第五像素点在去除图像模糊的第五样本图像中的位置。上述第五像素点是第五样本图像中的像素点，同时，第五像素点是第五样本图像去除模糊之后位置发生变化的像素点。

在将第五RAW图像转为第二RGB图像（如，RGB图像11）之后，利用预先的初始模型（如，初始神经网络模型4）处理第二RGB图像和第十参数，得到第十一参数（如，中间参数flow4），第十一参数中包括预测出的第十三向量，第十三向量是预测出的所述第六像素点在第二RGB图像去除图像模糊前、后的位置偏移向量，例如，第十三向量是第十五位置和第十六位置之间的位置偏移向量，所述第十五位置是第六像素点在第二RGB图像中的位置，第十六位置是所述第六像素点在去除图像模糊的第二RGB图像中的位置。上述第六像素点是第二RGB图像中的像素点，同时，第六像素点是第二RGB图像消除模糊之后位置发生改变的像素点。按照第十一参数中的第十三向量，对第二RGB图像进行形变，例如，按照第十三向量移动第六像素点在第二RGB图像中的位置，得到第三RGB图像（如，RGB图像12）。

电子设备根据第三RGB图像和第五样本图像之间的差异，迭代初始模型的模型参数；在所述初始模型训练至收敛之后，得到第四模型。可以理解地，判断神经网络模型是否收敛的方式可参考相关技术，在此不再赘述。

本申请实施例还提供一种芯片系统，该芯片系统可以应用于前述实施例中的电子设备。如图12所示，该芯片系统包括至少一个处理器2201和至少一个接口电路2202。该处理器2201可以是上述电子设备中的处理器。处理器2201和接口电路2202可通过线路互联。该处理器2201可以通过接口电路2202从上述电子设备的存储器接收并执行计算机指令。当计算机指令被处理器2201执行时，可使得电子设备执行上述实施例中手机执行的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

在一些实施例中，通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备中配置有第一模型，所述第一模型用于预测在去除图像模糊前、后，同一帧彩色模式RGB图像的各个像素点的位置变化情况，所述方法包括：

响应于指示采集图像的第一操作，显示第一界面；

在显示所述第一界面期间，采集第一原始RAW图像，第一RAW图像为所述电子设备中图像传感器采集的图像数据；

在所述第一RAW图像去除噪声之后，将所述第一RAW图像转化第一图像，所述第一图像为所述RGB图像；

根据所述第一模型和所述第一图像，预测第一参数，所述第一参数包括与第一像素点对应的第一向量，所述第一向量是预测出的所述第一像素点在所述第一图像去除图像模糊前、后的位置偏移向量；

在确定所述第一参数后，利用形变模块移动所述第一像素点在所述第一图像中的位置，形变所述第一图像得到去除图像模糊的第二图像；

将所述第二图像刷新到所述第一界面中。

2.根据权利要求1所述的方法，其特征在于，所述电子设备中包括第二模型，所述第二模型用于消除RAW图像中的噪声，在所述将所述第一RAW图像转化第一图像之前，所述方法还包括：

利用所述第二模型，消除所述第一RAW图像中的噪声。

3.根据权利要求1或2所述的方法，其特征在于，所述移动所述第一像素点在所述第一图像中的位置，包括：

在所述第一参数中，查询所述第一像素点对应的所述第一向量；

按照所述第一向量，移动所述第一图像中的所述第一像素点。

4.根据权利要求1或2所述的方法，其特征在于，所述移动所述第一像素点在所述第一图像中的位置之前，所述方法包括：

确定第二参数，所述第二参数包括与所述第一像素点对应的第二向量，所述第二向量是所述第一像素点在所述第一图像去除图像抖动前、后的位置偏移向量；

融合所述第一参数和第二参数，确定第三参数，所述第三参数中包含与所述第一像素点对应的第三向量；

所述移动所述第一像素点在所述第一图像中的位置，包括：在所述第三参数中，查询所述第一像素点对应的所述第三向量；

按照所述第三向量，移动所述第一图像中的所述第一像素点。

5.根据权利要求4所述的方法，其特征在于，所述融合所述第一参数和第二参数，确定第三参数，包括：

在所述第一参数中查询所述第一像素点对应的第一向量，在所述第二参数中查询所述第一像素点对应的第二向量；

将所述第一向量和第二向量叠加，得到所述第一像素点对应的第三向量。

6.根据权利要求4所述的方法，其特征在于，所述融合所述第一参数和第二参数，确定第三参数，包括：

在所述第一参数中查询所述第一像素点对应的第一向量，在所述第二参数中查询所述第一像素点对应的第二向量；

将所述第一向量和第二向量叠加，得到第四向量；

按照预配置的校准参数，对所述第四向量进行校准，得到所述第一像素点对应的第三向量，所述校准参数包括旋转角度、平移距离。

7.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备中配置有第三模型和第四模型；所述第三模型，用于消除RAW图像中的噪声，以及预测在去除图像模糊前、后，同一帧RAW图像中各个像素点的位置变化情况，所述第四模型用于预测在去除图像模糊前、后，同一帧RGB图像中各个像素点的位置变化情况，所述方法包括：

响应于指示采集图像的第二操作，显示第二界面；

在显示所述第二界面期间，采集第二RAW图像，第二RAW图像为所述电子设备中图像传感器采集的图像；

根据所述第三模型和所述第二RAW图像，确定无噪声的第三RAW图像和预测第四参数，其中，所述第四参数包括与第二像素点对应的第五向量，所述第五向量是预测出的所述第二像素点在所述第三RAW图像去除图像模糊前、后的位置偏移向量；

将所述第三RAW图像转化第三图像，所述第三图像为所述RGB图像；

根据所述第四模型、所述第四参数和所述第三图像，预测第五参数，所述第五参数包括与所述第二像素点对应的第六向量，所述第六向量预测出的所述第二像素点在所述第三RAW图像去除图像模糊前、后的位置偏移向量；

在确定所述第五参数后，移动所述第二像素点在所述第三图像中的位置，得到去除图像模糊的第四图像；

将所述第四图像刷新到所述第二界面中。

8.根据权利要求7所述的方法，其特征在于，所述移动所述第二像素点在所述第三图像中的位置，包括：

在所述第五参数中，查询第二像素点对应的所述第六向量；

按照所述第六向量，移动所述第三图像中的所述第二像素点，得到所述第四图像。

9.根据权利要求7所述的方法，其特征在于，所述移动所述第二像素点在所述第三图像中的位置之前，所述方法包括：

确定第六参数，所述第六参数包括与所述第二像素点对应的第七向量，所述第七向量是预测出的所述第二像素点在所述第三图像消除图像抖动前、后的位置偏移向量；

融合所述第六参数和第五参数，确定第七参数，所述第七参数中包含与所述第二像素点对应的第八向量；

所述移动所述第二像素点在所述第三图像中的位置包括：在所述第七参数中，查询所述第二像素点对应的所述第八向量；

按照所述第八向量，移动所述第三图像中的所述第二像素点，得到所述第四图像。

10.根据权利要求9所述的方法，其特征在于，所述融合所述第六参数和第五参数，确定第七参数，包括：

在所述第五参数中查询所述第二像素点对应的所述第六向量，在所述第六参数中查询所述第二像素点对应的所述第七向量；

将所述第六向量和第七向量叠加，得到所述第二像素点在所述第七参数中对应的第八向量。

11.根据权利要求9所述的方法，其特征在于，所述融合所述第六参数和第五参数，确定第七参数，包括：

在所述第五参数中查询所述第二像素点对应的所述第六向量，在所述第六参数中查询所述第二像素点对应的所述第七向量；

将所述第六向量和第七向量叠加，得到所述第二像素点在所述第七参数中对应的第九向量；

按照预配置的校准参数，对所述第九向量进行校准，得到所述第二像素点在所述第七参数中对应的第八向量，所述校准参数包括旋转角度、平移距离。

12.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本数据，所述训练样本数据包括第一样本图像和第二样本图像，所述第二样本图像是消除所述第一样本图像中的图像模糊后得到的图像数据，所述第一样本图像和第二样本图像均为RGB图像；

利用预先的初始模型处理所述第一样本图像，得到第八参数，所述第八参数中包括与第三像素点对应的第十向量，所述第十向量是预测出的所述第三像素点在所述第一样本图像去除图像模糊前、后的位置偏移向量；

按照所述第八参数中的第十向量，利用形变模块移动所述第一样本图像中的所述第三像素点，形变所述第一样本图像得到第一RGB图像；

根据所述第二样本图像和第一RGB图像之间的差异，迭代所述初始模型的模型参数；

在所述初始模型训练至收敛之后，得到第一模型。

13.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本数据，所述训练样本数据包括第三样本图像和第四样本图像，所述第四样本图像是所述第三样本图像去除噪声和图像模糊后得到的图像数据，所述第三样本图像和第四样本图像均为RAW图像；

利用预先的初始模型处理所述第三样本图像，得到第四RAW图像和第九参数，所述第九参数中包括与第四像素点对应的第十一向量，所述第十一向量是预测出的所述第四像素点在所述第四RAW图像去除模糊前、后的位置偏移向量；

按照所述第九参数中的第十一向量，利用形变模块移动所述第四RAW图像中的所述第四像素点，形变所述第四RAW图像得到第六样本图像；

根据所述第六样本图像和第四样本图像之间的差异，迭代所述初始模型的模型参数；

在所述初始模型训练至收敛之后，得到第三模型。

14.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本数据，所述训练样本数据包括第三样本图像和第五样本图像，所述第三样本图像为RAW图像，所述第五样本图像是所述第三样本图像去除噪声和图像模糊之后，转化得到的RGB图像；

利用预配置的第三模型处理所述第三样本图像，得到第五RAW图像和第十参数，其中，所述第三模型，用于消除RAW图像中的噪声，以及预测在去除图像模糊前、后，同一帧RAW图像中各个像素点的位置变化情况，所述第五RAW图像是无噪声的图像数据，所述第十参数包括与第五像素点对应的第十二向量，所述第十二向量是预测出的所述第五像素点在所述第五RAW图像去除图像模糊前、后的位置偏移向量；

在将所述第五RAW图像转为第二RGB图像之后，利用预先的初始模型处理所述第二RGB图像和第十参数，得到第十一参数，所述第十一参数中包括与第六像素点对应的第十三向量，所述第十三向量是预测出的所述第六像素点在所述第二RGB图像去除图像模糊前、后位置偏移向量；

按照所述第十一参数中的第十三向量，移动所述第二RGB图像中的所述第六像素点，得到第三RGB图像；

根据所述第三RGB图像和第五样本图像之间的差异，迭代所述初始模型的模型参数；

在所述初始模型训练至收敛之后，得到第四模型。

15.一种电子设备，其特征在于，电子设备包括一个或多个处理器和存储器；所述存储器与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，所述一个或多个处理器，用于执行如权利要求1-14中任一项所述的方法。

16.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-14中任一项所述的方法。