CN116711296A - 电子设备、控制电子设备的方法及计算机可读存储介质 - Google Patents

Abstract

根据本公开的实施例的电子设备包括：成像模块，配置为拍摄对象的照片，并获取相机图像；以及处理器，配置为控制该成像模块并获取该相机图像。

Description

电子设备、控制电子设备的方法及计算机可读存储介质

技术领域

本发明涉及电子设备、控制该电子设备的方法和计算机可读存储介质。

背景技术

传统上，有一些电子设备，如配备数码相机的智能手机，可以拍摄人像等对象。

目前，广泛推广的一种技术是，由诸如智能手机的相机之类具有深景深的相机拍摄的图像人工生成具有位于对象的前景或背景中的物体的散景(boken)图像的照片，如用数码单反(digital single lens reflex，DSLR)相机拍摄的照片。

如果使用具有深景深的相机(如智能手机的相机)拍摄照片，则可以获得从近距离部分到远距离部分对焦的图像。因此，通过图像处理就产生了散景图像，其中使需要引起注意的部分变得更清晰，而该部分的前景和背景则变得模糊。

存在的问题是，在对散景图像进行图像处理时，对运动图像中的每一帧都产生模糊效果的图像处理的计算量很大，因此其处理时间和功耗都是问题。

特别是，与静止图像不同的是，对运动图像中的每一帧都产生模糊效果的图像处理具有很大的计算量。此外，为了及时完成计算，需要降低模糊质量和帧速率，并且需要更昂贵的硬件。

发明内容

本公开旨在解决上述技术问题中的至少一个。因此，本公开需要提供一种电子设备和一种控制电子设备的方法。

根据本公开，电子设备包括：

成像模块，配置为拍摄对象的照片，并获取相机图像；以及

处理器，配置为控制所述成像模块依次获取对应于多个连续帧的相机图像和深度图像，并基于所述深度图像对所述相机图像执行图像处理来输出已处理的相机图像，

其中，所述处理器控制所述成像模块获取一个新帧的相机图像和所述新帧的深度图像，

所述处理器获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果，以及

所述处理器基于所述确定结果针对每个分割区域对所述新帧的相机图像执行图像处理。

在该电子设备中，

其中，所述处理器使用预设的隔间将所获取的新帧的相机图像划分为多个第一确定目标区域，

所述处理器使用所述隔间将在所述新帧之前获取的前一帧的相机图像划分为多个第一确定参考区域，

对于每个所述第一确定目标区域，所述处理器通过对基于所述多个第一确定目标区域的多个像素的像素值中的一个值和基于所述多个第一确定参考区域的多个像素的像素值中的一个值进行比较来获取每个所述第一确定目标区域中的第一确定结果，

所述处理器使用所述隔间将所述新帧的深度图像划分为多个第二确定目标区域，

所述处理器使用所述隔间将所述前一帧的深度图像划分为多个第二确定参考区域，

对于每个所述第二确定目标区域，所述处理器通过对基于所述多个第二确定目标区域的多个像素的像素值中的一个值和基于所述多个第二确定参考区域的多个像素的像素值中的一个值进行比较来获取每个所述第二确定目标区域中的第二确定结果，

所述处理器基于所述第一确定结果和所述第二确定结果，获取综合确定结果，所述综合确定结果用于确定对于所述新帧的相机图像的每个所述第一确定目标区域进行所述图像处理的计算的必要性，以及

所述处理器基于所述综合确定结果，针对每个所述第一确定目标区域，对所述新帧的相机图像执行图像处理。

在该电子设备中，其中，对所述相机图像的图像处理包括在相机图像上生成散景图像。

在该电子设备中，其中，所述处理器基于所述综合确定结果，执行所述图像处理的计算，并获取需要所述图像处理的计算的所述第一确定目标区域的计算结果。

另一方面，基于所述综合确定结果，对于不需要图像处理的计算的所述第一确定目标区域，所述处理器获取在所述前一帧的相机图像中具有相同位置的所述第一确定参考区域的图像处理的计算结果，以及

其中，所述处理器基于所获取的计算结果对所述新帧的相机图像执行图像处理。

在该电子设备中，其中，所述处理器使用网格状隔间将所述新帧的相机图像划分为多个第一确定目标区域。

在该电子设备中，其中，所述多个第一确定目标区域都具有相同的形状。

在该电子设备中，其中，所述处理器使用由分割定义的隔间将所述新帧的相机图像划分为多个第一确定目标区域。

在该电子设备中，其中，所述多个第一确定目标区域具有不同的形状。

在该电子设备中，其中，所述处理器从所述新帧的相机图像中提取不需要进行图像处理的对焦区域，并从用于所述图像处理的计算目标中排除所述对焦区域。

在该电子设备中，其中，对于作为确定目标的所述第一确定目标区域，当所述第一确定结果指示有必要计算或者所述第二确定结果指示有必要计算时，所述处理器将有必要进行所述图像处理的计算作为确定为所述作为确定目标的第一确定目标区域的综合确定结果，以及

所述处理器基于所述综合确定结果，通过对作为所述新帧的相机图像的确定目标的所述第一确定目标区域执行所述图像处理的计算来获取所述计算结果。

在该电子设备中，其中，对于作为确定目标的所述第一确定目标区域，当所述第一确定结果指示不必要计算并且所述第二确定结果指示不必要计算时，所述处理器确定不必要进行图像处理的计算作为综合确定结果，以及

所述处理器基于所述综合确定结果，对于作为所述新帧的相机图像的确定目标的所述第一确定目标区域，获取在所述前一帧的相机图像中具有相同位置的所述第一确定参考区域的图像处理的所述计算结果。

根据本公开，一种用于控制电子设备的方法，所述电子设备包括：成像模块，配置为拍摄对象的照片，并获取相机图像；以及处理器，配置为控制所述成像模块依次获取对应于多个连续帧的相机图像和深度图像，并基于所述深度图像对所述相机图像执行图像处理来输出已处理的相机图像，

所述方法包括：

所述处理器控制所述成像模块获取一个新帧的相机图像和所述新帧的深度图像，

所述处理器获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果，以及

所述处理器基于所述确定结果，针对每个分割区域对所述新帧的相机图像执行图像处理。

根据本公开，一种计算机可读存储介质，其上存储有计算机程序，其中，当由处理器执行所述计算机程序时，所述计算机程序实现用于控制电子设备的方法，所述电子设备包括：成像模块，配置为拍摄对象的照片，并获取相机图像；以及处理器，配置为控制所述成像模块依次获取对应于多个连续帧的相机图像和深度图像，并基于所述深度图像对所述相机图像执行图像处理来输出已处理的相机图像，以及

所述方法包括：

所述处理器控制所述成像模块获取一个新帧的相机图像和所述新帧的深度图像，

所述处理器获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果，以及

所述处理器基于所述确定结果，针对每个分割区域对所述新帧的相机图像执行图像处理。

附图说明

本公开的实施例的这些和/或其他方面和优点将从参考附图的以下描述中变得明显并更容易理解，其中：

图1示出了根据本发明实施例的电子设备100和对象101的布置示例的图。

图2示出了图1所示的电子设备100的配置的示例的示意图。

图3示出了图1和图2所示的电子设备100的成像模块102的另一个示例的示意图。

图4示出了图1和图2所示的电子设备100的成像模块102的又一个示例的示意图。

图5示出了图1和图2所示的电子设备100拍摄对象并输出已处理的相机图像的处理流程的示例的示意图。

图6示出了通过使用网格状隔间将相机图像划分成多个第一确定目标区域的示例的示意图。

图7A示出了前一帧的相机图像的示例的示意图。

图7B示出了在图7A所示的前一帧之后获取的新帧的相机图像的示例的示意图。

图7C示出了通过使用由分割定义的隔间将图7B中所示的新帧的相机图像划分成多个第一确定目标区域的示例的示意图。

图7D示出了使用由图7C所示的由分割定义的隔间将前一帧的相机图像划分成多个第一确定参考区域的示例的示意图。

图8A示出了图7B所示的新帧的相机图像的示例的示意图。

图8B示出了在图8A所示的新帧的相机图像中提取不需要进行图像处理的对焦区域(前景部分)的示例的示意图。

图8C示出了从图8A所示的新帧的相机图像中提取对焦区域(前景部分)以外的区域的示例的示意图。

图9示出了顺序执行图5所示的处理的多个帧与每个确定结果之间的关系的示意图。

图10示出了用于说明在图9所示的帧(N)、帧(N+1)、帧(N+2)、帧(N+3)和帧(N+4)中执行图5所示的处理的具体示例的示意图。

图11示出了在新帧的相机图像中执行图像处理的计算的区域的示例的示意图。

具体实施方式

以下将详细描述本公开的实施例，并且将在附图中对这些实施例的进行说明。在整个说明书中，相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。本文所描述的与附图相关的实施例是解释性的，旨在说明本公开，但不应被解释为限制本公开。

图1示出了根据本发明实施例的电子设备100和对象101的布置示例的示意图。图2示出了图1所示的电子设备100的配置示例的示意图。

如图1和图2所示，例如，电子设备100包括第一相机模块10、第二相机模块20和图像信号处理器30，图像信号处理器30控制第一相机模块10和第二相机模块20，并对从第一相机模块10获取的相机图像数据进行处理。

在图1和图2的示例中，成像模块102由第一相机模块10和第二模块20构成。成像模块102被限定为至少拍摄对象101并获取相机图像的模块。

因此，如图2所示，成像模块102包括拍摄对象101并获取第一相机图像的第一相机模块10，以及拍摄对象101并获取第二相机图像的第二相机模块20。

在图2的示例中，根据第一相机模块10和第二相机模块20的视差(parallax)计算相机图像的深度信息，并且基于计算出的深度信息获取与相机图像对应的深度图像。

如图2所示，第一相机模块10包括例如能够对焦于对象的主镜头10a、检测经由主镜头10a输入的图像的主图像传感器10b、以及驱动主图像传感器10b的主图像传感器驱动器10c。

此外，如图2所示，第一相机模块10包括例如用于致动主镜头10a的对焦和光学防抖(optical image stabilizer，OIS)致动器10f和用于驱动对焦和OIS致动器10f的对焦和OIS驱动器10e。

例如，第一相机模块10获取对象101的第一相机图像(图2)。

如图2所示，第二相机模块20包括例如能够对焦于对象的主镜头20a、检测经由主镜头20a输入的图像的主图像传感器20b、以及用于驱动主图像传感器10b的主图像传感器驱动器20c。

此外，如图2所示，第二相机模块20包括例如用于致动主镜头10a的对焦和OIS致动器20f和用于驱动对焦和OIS致动器10f的对焦和OIS驱动器10e。

例如，第二相机模块20获取对象101的第二相机图像(图2)。

此外，如图2所示，例如，电子设备100包括全球导航卫星系统(global navigationsatellite system，GNSS)模块40、无线通信模块41、编解码器(CODEC)42、扬声器43、麦克风44、显示模块45、输入模块46、惯性测量单元(inertial measurement unit，IMU)47、主处理器48和存储器49。

例如，GNSS模块40测量电子设备100的当前位置。

例如，如图2所示，编解码器42使用预定的编码/解码方法双向执行编码和解码。

例如，扬声器43根据由编解码器42解码的声音数据输出声音。

例如，麦克风44基于输入的声音向编解码器42输出声音数据。

显示模块45显示预定义的信息。例如，显示模块45是一个触摸面板。

输入模块46接收用户的输入(用户的操作)。例如，输入模块46包括在触摸面板中。

例如，IMU 47检测电子设备100的角速度和加速度。

主处理器48控制全球导航卫星系统(GNSS)模块40、无线通信模块41、编解码器42、扬声器43、麦克风44、显示模块45、输入模块46和IMU 47。

在图2的示例中，处理器103由图像信号处理器30和主处理器48组成。处理器103被限定为控制成像模块102并获取相机图像的控制器。

例如，处理器103控制成像模块102顺序获取对应于多个连续帧的相机图像和深度图像。然后，处理器103基于深度图像对获取的相机图像执行图像处理来输出已处理的相机图像(相机图像数据)。

存储器49存储图像处理器30控制第一相机模块10和第二相机模块20所需的程序和数据、所获取的图像数据以及主处理器48控制电子设备100所需的程序和数据。

例如，存储器49包括计算机可读存储介质，其上存储有计算机程序，其中，当计算机程序由处理器103执行时，该计算机程序实现用于控制电子设备100的方法。例如，该方法包括：通过处理器103控制成像模块102获取一个新帧的相机图像和所述新帧的深度图像；通过所述处理器103获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果；以及基于所述确定结果，通过所述处理器103针对每个分割区域对所述新帧的相机图像执行图像处理。

在本实施例中，具有上述配置的电子设备100是诸如智能手机的移动电话，但也可以是包括成像模块102的其他类型的电子设备(例如，平板电脑和PDA)。

如上所述，在图1和图2所示的示例中，成像模块102包括第一相机模块10和第二相机模块20。第一相机模块10拍摄对象101以获取第一相机图像。第二相机模块20拍摄对象101以获取第二相机图像。

在图1和图2中示出的示例中，处理器103基于第一相机图像和第二相机图像获取相机图像。然后，处理器103计算与该相机图像对应的深度信息，并且处理器103基于计算出的深度信息获取与该相机图像对应的深度图像。

然而，电子设备100的成像模块102的配置不限于图1和图2所示的配置。

例如，图3示出了图1和图2所示的电子设备100的成像模块102的另一个示例的示意图。

因此，与图1和图2中示出的示例不同，例如，如图3所示，成像模块102可仅包括第一相机模块10。

在图3所示的示例中，处理器103计算相机图像对应的深度信息，处理器103基于计算出的深度信息获取与该相机图像对应的深度图像。

接下来，图4示出了图1和图2所示的电子设备100的成像模块102的又一个示例的示意图。

如图4所示，成像模块102还可以包括一个附加相机模块50。

图4所示的附加相机模块50拍摄对象101，并获取由于所拍摄的相机图像中随时间发生的变化而产生的具有像素值的差值图像(事件相机图像)。

例如，附加相机模块50是具有接近成像模块102的拍摄定时和每秒帧数(FlamesPer Second，FPS)的性能的事件相机。

接下来，现在将描述对具有上述配置和功能的电子设备100进行控制的方法的示例。

图5示出了图1和图2所示的电子设备100拍摄对象并输出已处理的相机图像的处理流程的示例的示意图。

在图5所示的示例中，下面将描述电子设备100拍摄对象并输出已处理的相机图像的处理流程的示例。

这里，例如，如图5的步骤S1所示，成像模块102至少拍摄对象101并获取相机图像。

接下来，如图5的步骤S2所示，处理器103控制所述成像模块102获取包括对象101的图像的一个新帧的相机图像。

接下来，如图5的步骤S3所示，处理器103使用预设的隔间将所获取的新帧的相机图像划分为多个第一确定目标区域。

此外，处理器103使用所述隔间将在所述新帧之前获取的前一帧的相机图像划分为多个第一确定参考区域。

这里，图6示出了通过使用网格状隔间(compartment)将相机图像划分成多个第一确定目标区域的示例的示意图。

例如，如图6所示，处理器103可以使用网格状隔间将包括所获取的新帧的对象(前景)X和背景Y的相机图像划分为多个第一确定目标区域Z。

在图6所示的示例中，多个第一确定目标区域Z都具有相同的形状(具有等间隔的固定宽度和固定高度的区域)。

此外，网格状隔间通常应用于所有帧。

此外，图7A示出了前一帧的相机图像的示例的示意图。图7B示出了在图7A所示的前一帧之后获取的新帧的相机图像的示例的示意图。图7C示出了通过使用由分割定义的隔间将图7B中所示的新帧的相机图像划分成多个第一确定目标区域的示例的示意图。图7D示出了使用由图7C所示的由分割定义的隔间将前一帧的相机图像划分成多个第一确定参考区域的示例的示意图。

例如，如图7C所示，处理器103可以使用由分割定义的隔间将包括所获取的新帧的对象(前景)X和背景Y的相机图像划分为多个第一确定目标区域Z。

在图7C所示的示例中，多个第一确定目标区域Z具有不同的形状。

如上所述，处理器103使用隔间将在新帧(图7B)之前获得的前一帧(图7A)的相机图像划分为多个第一确定参考区域(图7D)。

接下来，如图5的步骤S4所示，处理器103从所述新帧的相机图像中提取不需要进行图像处理的对焦区域，并从用于所述图像处理的计算目标中排除所述对焦区域。

图8A示出了图7B所示的新帧的相机图像的示例的示意图。图8B示出了在图8A所示的新帧的相机图像中提取不需要进行图像处理的对焦区域(前景部分)的示例的示意图。图8C示出了从图8A所示的新帧的相机图像中提取对焦区域(前景部分)以外的区域的示例的示意图。

如图8B所示，通过深度计算、抠图处理等提取对焦区域(前景)X。

在图8C所示的相机图像中，仅由对焦区域(前景)组成的区域XA被排除在后续的图像处理的计算之外。这是因为区域XA最终被前景图像覆盖。

接下来，如图5的步骤S5所示，对于每个所述第一确定目标区域，处理器103通过将基于所述多个第一确定目标区域的多个像素的像素值中的一个值和基于所述多个第一确定参考区域的多个像素的像素值中的一个值进行比较来获取每个所述第一确定目标区域的第一确定结果。

接下来，如上所述，处理器103通过执行与新帧的相机图像相对应的深度计算(步骤S6)来获取深度图像(步骤S7)。

接下来，处理器103使用所述隔间将所述新帧的深度图像划分为多个第二确定目标区域。

此外，处理器103使用所述隔间将所述前一帧的深度图像划分为多个第二确定参考区域。

接下来，如图5的步骤S8所示，对于每个所述第二确定目标区域，处理器103通过将基于所述多个第二确定目标区域的多个像素的像素值中的一个值和基于所述多个第二确定参考区域的多个像素的像素值中的一个值进行比较来获取每个所述第二确定目标区域的第二确定结果。

然后，如图5的步骤S9所示，处理器103基于所述第一确定结果和所述第二确定结果，获取综合确定结果，所述综合确定结果用于确定对于所述新帧的相机图像的每个所述第一确定目标区域进行所述图像处理的计算的必要性。

例如，对于作为确定目标的第一确定目标区域，当所述第一确定结果指示需要计算或者当所述第二确定结果指示需要计算时，处理器103将有必要进行所述图像处理的计算确定为所述作为确定目标的第一确定目标区域的综合确定结果。

另一方面，对于作为确定目标的第一确定目标区域，当所述第一确定结果指示不必要进行计算且所述第二确定结果指示不必要进行计算时，所述处理器103将不必要进行图像处理的计算确定为所述作为确定目标的所述第一确定目标区域的综合确定结果。

然后，如图5步骤S10所示，所述处理器103基于所述综合确定结果，针对每个所述第一确定目标区域，对所述新帧的相机图像执行图像处理。

例如，处理器103基于所述综合确定结果，执行所述图像处理的计算，并获取需要图像处理的计算的所述第一确定目标区域的计算结果。

即，当基于综合确定结果确定需要计算时，处理器103对作为新帧的相机图像的确定目标的第一确定目标区域执行图像处理的计算，并获取计算结果。

然后，所述处理器103基于所获取的计算结果对所述新帧的相机图像执行图像处理。

另一方面，基于所述综合确定结果，对于不需要图像处理的计算的第一确定目标区域，处理器103获取在前一帧的相机图像中具有相同位置的所述第一确定参考区域的图像处理的计算结果。

即，当基于综合确定结果确定不需要计算时，对于作为新帧的相机图像的确定目标的第一确定目标区域，处理器103获取在所述前一帧的相机图像中具有相同位置的所述第一确定参考区域的图像处理的计算结果。

然后，所述处理器103基于所获取的计算结果对所述新帧的相机图像执行图像处理。

相机图像的图像处理包括在所述相机图像上生成散景图像。

然后，在图5的步骤S11中，处理器103输出已处理的相机图像(包括散景图像数据的相机图像数据)。

作为一种生成深度图像的方法，基本上采用了使用单目、立体或飞行时间(timeof flight，TOF)数据的方法。然而，本发明也可以应用于其他深度图像生成方法。

这里，下面将描述图5的步骤S5中所示的帧的第一确定的一些具体示例。

[第一确定的示例]

例如，对于第一确定目标区域中的所有像素，处理器103获取第一确定目标区域的像素的像素值与第一确定参考区域的像素的像素值之间的差，所述第一确定参考区域中隔间的位置与所述第一确定目标区域中的隔间的位置相同。

接下来，处理器103获取通过对与第一确定目标区域中的所有像素对应的差进行求和而获得的第一总值。

然后，当第一总值小于预设的第一阈值(图像的变化很小)时，处理器103获取第一确定结果，该第一确定结果确定对于新帧的相机图像的第一确定目标区域不必要进行图像处理的计算。

另一方面，当第一总值等于或大于预设的第一阈值(图像的变化很大)时，处理器103获取第一确定结果，该第一确定结果确定对于新帧的相机图像的第一确定目标区域有必要进行图像处理的计算。

此外，应该注意的是，上述差值是绝对值。在该第一确定中，只关注差值的变化量，而不是差值变化的方向。

另外，应当注意，前一帧的相机图像的像素总数与新的一帧的相机图像的像素总数相同。

[第一确定的修改示例]

可替换地，在上述图4所示的示例中，成像模块102包括附加相机模块50，该附加相机模块50拍摄对象101并获取具有与所拍摄图像随时间发生的变化对应的像素值的差值图像(事件相机图像)。

在该确定方法的第二示例中，附加相机模块50获取从拍摄前一帧的相机图像的第一时间到拍摄新帧的相机图像的第二时间的时间段中的差值图像(事件相机图像)。

然后，针对附加相机模块50获取的差值图像的每个第一确定目标区域，处理器103获取每个像素的像素值中最大值之和。

然后，当作为确定目标的第一确定目标区域的总值小于预设的第一阈值(图像的变化很小)时，处理器103获取第一确定结果，该第一确定结果确定对于作为确定目标的第一确定目标区域不必要进行图像处理的计算。

另一方面，当作为确定目标的第一确定目标区域的总值等于或大于第一阈值(图像的变化很大)时，处理器103获取第一确定结果，该第一确定结果确定对于作为确定目标的第一确定目标区域有必要进行图像处理的计算。

另外，应当注意，当新帧的相机图像是通过对对象101进行成像而首先获取的帧的相机图像时，处理器103获取第一确定结果，该第一确定结果用于确定对于作为确定目标的第一确定目标区域有必要进行图像处理的计算，而不管总值如何。

此外，应该注意的是，差值图像的各像素的最大值是一个绝对值。在这种确定方法中，只关注拍摄图像的变化量，而不关注拍摄图像的变化方向。

接下来，下面将描述图5的步骤S8中所示的帧的第二确定的一些具体示例。

[第二确定的示例]

例如，对于第二确定目标区域中的所有像素，处理器103获取新帧的深度图像的第二确定目标区域的像素的像素值与前一帧的深度图像的第二确定参考区域的像素的像素值之间的差。

接下来，处理器103获取通过对与新帧的深度图像的第二确定目标区域中的所有像素相对应的差进行求和而获得的第二总值。

然后，当第二总值小于预设的第二阈值(图像的变化很小)时，处理器103获取第二确定结果，该第二确定结果确定对于新帧的相机图像的第二确定目标区域不必要进行图像处理的计算。

然后，当第二总值等于或大于预设的第二阈值(图像的变化很大)时，处理器103获取第二确定结果，该第二确定结果确定对于新帧的相机图像的第二确定目标区域不必要进行图像处理的计算。

此外，应该注意的是，上述差值是绝对值。在该第二确定中，只关注差值的变化量，而不是差值变化的方向。

接下来，下面将描述由上述确定方法确定的多个帧的确定结果与多个帧的帧的图像处理之间的关系的示例。

图9示出了顺序执行图5所示的处理的多个帧与每个确定结果之间的关系的示意图。图10示出了用于说明在图9所示的帧(N)、帧(N+1)、帧(N+2)、帧(N+3)和帧(N+4)中执行图5所示的处理的具体示例的示意图。图11示出了在新帧的相机图像中执行图像处理的计算的区域的示例的示意图。

在图10中，确定图像H(N)至确定图像H(N+4)是相机图像(彩色图像)或差值图像(事件相机图像)。

在图9和图10中，帧(N)、帧(N+1)、帧(N+2)、帧(N+3)和帧(N+4)表示任意连续的帧。

如图9和图10，对于帧(N+1)，第一确定结果指示不必要计算，第二确定结果指示不必要计算，因此综合确定结果指示不必要计算。

另外，对于帧(N+2)，第一确定结果指示不必要计算，第二确定结果指示有必要计算，因此综合确定结果指示有必要计算。

另外，对于帧(N+3)，第一确定结果指示有必要计算，第二确定结果指示不必要计算，因此综合确定结果指示有必要计算。

另外，对于帧(N+4)，第一确定结果指示有必要计算，第二确定结果指示有必要计算，因此综合确定结果指示有必要计算。

如上所述，对于帧(N+1)，不需要图像处理的计算。

另一方面，对于帧(N+2)到帧(N+4)，需要图像处理的计算。

然而，在这种情况下，对于这些帧(N+2)到帧(N+4)，例如，如图11所示，对于综合确定结果指示不必要计算的区域W2，不执行图像处理的计算，另一方面，对于综合确定结果指示不必要计算的区域W1，只执行图像处理的计算。

然后，将包括前一帧的图像处理模糊的相机图像转移到新帧的图像变化小的区域。因此，可以省略电子设备100进行的相同处理，并且可以减少电子设备100的计算工作量。

对于从电子设备100的操作开始的第一帧(N)，对于所有区域都需要图像处理的计算。即，在帧(N)中，综合确定结果指示对于所有区域都有必要计算。

如上所述，根据本发明的电子设备，对于每个区域，将新帧的深度图像和相机图像(彩色图像)与前一帧的深度图像和相机图像(彩色图像)进行比较。然后，对前一帧的图像进行处理得到的相机图像被转移到变化较小的区域。因此，可以省略电子设备100进行的相同处理，并且可以减少电子设备100的计算工作量。

因此，可以获得处理器(芯片)的计算能力和允许温度的余量。从而，处理器的处理可以以更高的速度执行。

在本公开的实施例的描述中，应当理解，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上部”、“下部”、“前部”、“后部”、“后侧”、“左侧”、“右侧”、“垂直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”的术语应该被解释为指代如讨论中的附图中所描述或示出的方向或位置。这些相关术语仅用于简化本公开的描述，并且不指示或暗示所提及的设备或元件必须具有特定取向，或者必须以特定取向构造或操作。因此，这些术语不能被构造成限制本公开。

此外，在本文中使用诸如“第一”和“第二”的术语用于描述的目的，并且不旨在指示或暗示相对重要性或意义，或者暗示所指示的技术特征的数量。因此，定义为“第一”和“第二”的特征可以包括该特征中的一个或多个。在本公开的说明书中，“多个”指的是“两个或两个以上”，除非另有说明。

在本公开的实施例的描述中，除非另外指定或限制，否则术语“安装的”、“连接的”、“耦接的”等被广泛使用，并且可以是例如固定连接、可拆卸连接或整体连接；也可以是机械或电气连接；也可以是通过中间结构的直接连接或间接连接；也可以是本领域技术人员根据特定情况能够理解的两个元件的内部通信。

在本公开的实施例中，除非另外指定或限制，其中第一特征在第二特征“上”或在第二特征“下”的结构可以包括其中第一特征与第二特征直接接触的实施例，并且还可以包括其中第一特征和第二特征彼此不直接接触，而是通过形成在它们之间的附加特征进行接触的实施例。此外，在第二特征“上”、在第二特征”上方”或在第二特征“之上”的第一特征可以包括其中第一特征正交或倾斜地在第二特征“上”、在第二特征“上方”或在第二特征“之上”的实施例，或者仅仅意味着第一特征处于高于第二特征的高度；而在第二特征“下”、在第二特征“下方”或在第二特征“之下”的第一特征可以包括其中第一特征正交地或倾斜地在第二特征“下”、在第二特征“下方”或在第二特征“之下”的实施例，或者仅仅意味着第一特征处于比第二特征的高度低的高度。

在上面的说明书中提供了各种实施例和示例来实现本公开的不同结构。为了简化本公开，上面描述了某些元件和设置。然而，这些元件和设置仅作为示例，并不旨在限制本公开。此外，在本公开的不同示例中，可以重复参考编号和/或参考字母。这种重复是为了简化和清晰，而不是指不同实施例和/或设置之间的关系。此外，本公开中提供了不同工艺和材料的示例。然而，本领域技术人员将理解，也可以应用其他工艺和/或材料。

在整个说明书中提及“实施例”、“一些实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”是指与实施例或示例相关的描述的特定特征、结构、材料或特征包括在本公开的至少一个实施例或示例中。因此，贯穿本说明书的上述短语的出现不一定是指本公开的相同实施例或示例。此外，特定的特征、结构、材料或特征可以在一个或多个实施例或实施例中以任何合适的方式组合。

在流程图中描述的或在本文中以其他方式描述的任何过程或方法可以被理解为包括用于实现方法中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分，并且本公开的优选实施例的范围包括其他实施例，其中本领域技术人员应该理解，功能可以以不同于所示或讨论的顺序的顺序来实现，包括以基本相同的顺序或相反的顺序。

在本文中以其他方式描述的或在流程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定顺序表，可以在任何计算机可读介质中具体实现，以供指令执行系统、设备或装置(例如基于计算机的系统、包括处理器的系统或能够从执行指令的指令执行系统、设备和装置获得指令的其他系统)使用，或者与指令执行系统、设备和装置结合使用。就本说明书而言，“计算机可读介质”可以是自适应地包括、存储、通信、传播或传输将由指令执行系统、设备或装置使用或与指令执行系统、设备或装置组合使用的程序的任何设备。计算机可读介质的更具体示例包括但不限于：具有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可擦除可编程只读存储器(erasable programmableread-only memory，EPROM或闪存)、光纤设备和便携式光盘只读存储器(compact diskread-only memory，CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质，这是因为，例如，当需要以电子方式获得程序时，可以光学扫描纸或其他合适的介质，然后用其他合适的方法编辑、解密或处理，然后将程序存储在计算机存储器中。

应当理解，本公开的每个部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中的软件或固件来实现，并由适当的指令执行系统来执行。例如，如果通过硬件实现，同样在另一个实施例中，步骤或方法可以通过本领域已知的以下技术之一或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的专用集成电路、可编程门阵列(programmable gate array，PGA)、现场可编程门阵列(field programmable gate array，FPGA)等。

本领域技术人员应当理解，本公开的上述示例性方法中的全部或部分步骤可以通过用程序命令相关硬件来实现。这些程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，这些程序包括本公开的方法实施例中的步骤之一或组合。

此外，本公开实施例的每个功能单元可以集成在一个处理模块中，或者这些单元可以是单独的物理存在，或者两个或更多个单元集成在一个处理模块中。集成模块可以以硬件的形式或以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。

上述存储介质可以是只读存储器、磁盘、CD等。

尽管已经示出和描述了本公开的实施例，但是本领域技术人员将理解，这些实施例是解释性的，并且不能被解释为限制本公开，并且在不脱离本公开的范围的情况下，可以在实施例中进行改变、修改、替代和变化。

Claims (13)

1.一种电子设备，包括：

成像模块，配置为拍摄对象的照片，并获取相机图像；以及

处理器，配置为控制所述成像模块依次获取对应于多个连续帧的相机图像和深度图像，并基于所述深度图像对所述相机图像执行图像处理来输出已处理的相机图像，

其中，所述处理器控制所述成像模块获取一个新帧的相机图像和所述新帧的深度图像，

所述处理器获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果，以及

所述处理器基于所述确定结果，针对每个分割区域对所述新帧的相机图像执行图像处理。

2.根据权利要求1所述的电子设备，其中，

所述处理器使用预设的隔间将所获取的新帧的相机图像划分为多个第一确定目标区域，

所述处理器使用所述隔间将在所述新帧之前获取的前一帧的相机图像划分为多个第一确定参考区域，

对于每个所述第一确定目标区域，所述处理器通过对基于所述多个第一确定目标区域的多个像素的像素值中的一个值和基于所述多个第一确定参考区域的多个像素的像素值中的一个值进行比较来获取每个所述第一确定目标区域的第一确定结果，

所述处理器使用所述隔间将所述新帧的深度图像划分为多个第二确定目标区域，

所述处理器使用所述隔间将所述前一帧的深度图像划分为多个第二确定参考区域，

对于每个所述第二确定目标区域，所述处理器通过对基于所述多个第二确定目标区域的多个像素的像素值中的一个值和基于所述多个第二确定参考区域的多个像素的像素值中的一个值进行比较来获取每个所述第二确定目标区域中的第二确定结果，

所述处理器基于所述第一确定结果和所述第二确定结果，获取综合确定结果，所述综合确定结果用于确定对于所述新帧的相机图像的每个所述第一确定目标区域进行所述图像处理的计算的必要性，以及

所述处理器基于所述综合确定结果，针对每个所述第一确定目标区域，对所述新帧的相机图像执行图像处理。

3.根据权利要求2所述的电子设备，其中，对所述相机图像的图像处理包括在所述相机图像上生成散景图像。

4.根据权利要求2所述的电子设备，其中，

所述处理器基于所述综合确定结果，执行所述图像处理的计算，并获取需要所述图像处理的计算的所述第一确定目标区域的计算结果，

另一方面，基于所述综合确定结果，对于不需要图像处理的计算的所述第一确定目标区域，所述处理器获取在所述前一帧的相机图像中具有相同位置的所述第一确定参考区域的图像处理的计算结果，以及

其中，所述处理器基于所获取的计算结果对所述新帧的相机图像执行图像处理。

5.根据权利要求2所述的电子设备，其中，

所述处理器使用网格状隔间将所述新帧的相机图像划分为多个第一确定目标区域。

6.根据权利要求5所述的电子设备，其中，所述多个第一确定目标区域都具有相同的形状。

7.根据权利要求2所述的电子设备，其中，

所述处理器使用由分割定义的隔间将所述新帧的相机图像划分为多个第一确定目标区域。

8.根据权利要求7所述的电子设备，其中，所述多个第一确定目标区域具有不同的形状。

9.根据权利要求3所述的电子设备，其中，

所述处理器从所述新帧的相机图像中提取不需要进行图像处理的对焦区域，并从用于所述图像处理的计算目标中排除所述对焦区域。

10.根据权利要求2所述的电子设备，其中，

对于作为确定目标的所述第一确定目标区域，当所述第一确定结果指示有必要计算或者当所述第二确定结果指示有必要计算时，所述处理器将有必要进行所述图像处理的计算确定为所述作为确定目标的所述第一确定目标区域的综合确定结果，以及

所述处理器基于所述综合确定结果，通过对作为所述新帧的相机图像的确定目标的所述第一确定目标区域执行所述图像处理的计算来获取所述计算结果。

11.根据权利要求10所述的电子设备，其中，

对于作为确定目标的所述第一确定目标区域，当所述第一确定结果指示不必要计算且所述第二确定结果指示不必要计算时，所述处理器确定不必要进行图像处理的计算作为综合确定结果，以及

所述处理器基于所述综合确定结果，对于作为所述新帧的相机图像的确定目标的所述第一确定目标区域，获取在所述前一帧的相机图像中具有相同位置的所述第一确定参考区域的图像处理的所述计算结果。

12.一种用于控制电子设备的方法，所述电子设备包括：成像模块，配置为拍摄对象的照片，并获取相机图像；以及处理器，配置为控制所述成像模块依次获取对应于多个连续帧的相机图像和深度图像，并基于所述深度图像对所述相机图像执行图像处理来输出已处理的相机图像，

所述方法包括：

所述处理器控制所述成像模块获取一个新帧的相机图像和所述新帧的深度图像，

所述处理器获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果，以及

所述处理器基于所述确定结果，针对每个分割区域对所述新帧的相机图像执行图像处理。

13.一种计算机可读存储介质，其上存储有计算机程序，其中，当由处理器执行所述计算机程序时，所述计算机程序实现用于控制电子设备的方法，所述电子设备包括：成像模块，配置为拍摄对象的照片，并获取相机图像；以及处理器，配置为控制所述成像模块依次获取对应于多个连续帧的相机图像和深度图像，并基于所述深度图像对所述相机图像执行图像处理来输出已处理的相机图像，以及

所述方法包括：

所述处理器控制所述成像模块获取一个新帧的相机图像和所述新帧的深度图像，

所述处理器获取相对于所述新帧的相机图像确定对每个分割区域进行图像处理的计算的必要性的确定结果，以及

所述处理器基于所述确定结果，针对每个分割区域对所述新帧的相机图像执行图像处理。