CN112165575A - 图像虚化处理方法及装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供一种图像虚化处理方法、图像虚化处理装置、存储介质和电子设备，涉及图像处理技术领域。该图像虚化处理方法包括：若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；在硬件抽象层，根据所述主摄像头的第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路；通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。本公开实施例能够提高图像处理效率。

Description

图像虚化处理方法及装置、存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像虚化处理方法、图像虚化处理装置、计算机可读存储介质和电子设备。

背景技术

随着智能终端的发展，拍照功能也越来越完善。在某些场景中需要对图像进行虚化，以满足场景需求。

相关技术中，相机应用需要同时请求主摄像头与辅摄像头的预览流，摄像头的硬件抽象层会同时采集主摄像头与辅摄像头的帧，在接收到图像后，将主摄像头的预览图像与辅摄像头的预览图像进行深度图计算，并进行虚化效果的合成得到虚化图像。

上述方式中，采用深度图计算与虚化效果制作串行处理的流程，二者叠加的耗时比较容易超过实时预览一帧的间隔时长，从而导致预览卡顿的现象，影响图像虚化效果。计算过程耗时相对较长且功耗较高，计算效率较低。

发明内容

本公开提供一种图像虚化处理方法、图像虚化处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服出现卡顿现象以及计算效率较低的问题。

根据本公开的一个方面，提供一种图像虚化处理方法，包括：若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；在硬件抽象层，根据所述主摄像头的所述第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层；通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

根据本公开的一个方面，提供一种图像虚化处理装置，包括：通路配置模块，用于若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；深度图像计算模块，用于在硬件抽象层，根据所述主摄像头的第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层；图像虚化模块，用于通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的图像虚化处理方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像虚化处理方法。

在本公开的一些实施例所提供的图像虚化处理方法、装置、计算机可读存储介质和电子设备中，一方面，通过在硬件抽象层来根据第一预览图像和第二预览图像计算深度图像，使得单个节点的处理图像减少，避免了预览图像流的过程中出现卡顿的现象，减少了计算功耗并且提高了计算效率和流畅性。另一方面，由于配置了辅摄像头的通路，将硬件抽象层计算的深度图像填充至配置的辅摄像头的通路即可，无需将辅摄像头的第二预览图像从硬件抽象层传输以计算深度图像来进行图像虚化处理，能够分别通过不同的部件计算深度图像和虚化图像，实现了分布式的实时预览背景虚化效果，提高了图像传输效率且降低了内存消耗，提高了图像虚化效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了相关技术中图像虚化处理的流程图。

图2示出了可以应用本公开实施例的图像虚化处理方法的应用场景的示意图。

图3示出了适于用来实现本公开实施例的电子设备的结构示意图。

图4示出了本公开实施例中图像虚化处理方法的流程示意图。

图5示出了本公开实施例中摄像头架构的示意图。

图6示出了本公开实施例中根据实时虚化的状态信息进行图像虚化的流程图。

图7示意性示出了本公开实施例中图像虚化处理的流程图。

图8示意性示出了本公开实施例中基于摄像头架构的图像虚化的整体流程图。

图9示意性示出了本公开实施例中确定目标图像的流程图。

图10示意性示出了本公开示例性实施例中图像虚化处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

图1中示意性示出了相关技术中图像虚化的架构图。参考图1中所示，相关技术中，相机应用101需要同时请求主摄像头与辅摄像头的预览流，通过摄像头服务层102连接摄像头的硬件抽象层103，硬件抽象层会同时采集主摄像头与辅摄像头的帧，在接收到图像后，将主摄像头的预览图像与辅摄像头的预览图像一起送入图像后算法处理服务103中的实时虚化处理模块104。最终输出实时虚化图像送回相机应用作显示或录像用。

上述方式中，采用深度图计算与虚化效果制作串行处理的流程，两者叠加的耗时比较容易超过实时预览一帧的间隔时长，从而导致预览卡顿的现象。深度图的计算采用软件计算的方式得到，耗时相对较长且功耗较高。

为了解决上述技术问题，图2示出了可以应用本公开实施例的图像虚化处理方法或图像虚化处理装置的应用场景的示意图。

该图像虚化处理方法可以应用于拍照场景中。参考图2中所示，具体可以应用于使用终端201对目标对象202进行拍摄的过程中。其中，终端201可以是各种类型的能够用于拍摄的客户端，例如可以为各种能够用于采集图像或视频，并且能够展示图像或视频的智能手机、平板电脑、台式计算机、车载设备、可穿戴设备等等。目标对象202可以为各种场景中的任意类型的待拍摄对象，例如人物、动物或者是风景等等。目标对象可以处于静止状态或者是运动状态。具体地，可以使用终端201上的相机或者是拍摄相机应用来对目标图像进行图像采集。终端上的相机可以包括多个摄像头模组，可以调用其中任意一个或多个摄像头模组来对目标对象进行图像采集。

需要说明的是，本公开实施例所提供的图像虚化处理方法可以完全由服务器来执行，也可以完全由终端来执行。相应地，图像虚化处理装置可设置于终端或者是服务器中。

图3示出了适于用来实现本公开示例性实施方式的一种电子设备的示意图。需要说明的是，图3示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像虚化处理方法。

具体的，如图3所示，电子设备300可以包括：处理器310、内部存储器321、外部存储器接口322、通用串行总线(Universal Serial Bus，USB)接口330、充电管理模块340、电源管理模块341、电池342、天线1、天线2、移动通信模块350、无线通信模块360、音频模块370、扬声器371、受话器372、麦克风373、耳机接口374、传感器模块380、显示屏390、摄像模组391、指示器392、马达393、按键394以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口395等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备300的具体限定。在本申请另一些实施例中，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器310中还可以设置存储器，用于存储指令和数据。

USB接口330是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口330可以用于连接充电器为电子设备300充电，也可以用于电子设备300与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备等。

充电管理模块340用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块341用于连接电池342、充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入，为处理器310、内部存储器321、显示屏390、摄像模组391和无线通信模块360等供电。

电子设备300的无线通信功能可以通过天线1、天线2、移动通信模块350、无线通信模块360、调制解调处理器以及基带处理器等实现。

移动通信模块350可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块360可以提供应用在电子设备300上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备300通过GPU、显示屏390及应用处理器等实现显示功能。GPU为图像虚化处理的微处理器，连接显示屏390和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备300可以通过ISP、摄像模组391、视频编解码器、GPU、显示屏390及应用处理器等实现拍摄功能。在一些实施例中，电子设备300可以包括1个或N个摄像模组391，N为大于1的正整数，若电子设备300包括N个摄像头，N个摄像头中有一个是主摄像头，其他可以为副摄像头，例如长焦摄像头。

内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器321可以包括存储程序区和存储数据区。外部存储器接口322可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备300的存储能力。

电子设备300可以通过音频模块370、扬声器371、受话器372、麦克风373、耳机接口374及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块370用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中，音频模块370可以设置于处理器310中，或将音频模块370的部分功能模块设置于处理器310中。

扬声器371，用于将音频电信号转换为声音信号。电子设备300可以通过扬声器371收听音乐，或收听免提通话。受话器372，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备300接听电话或语音信息时，可以通过将受话器372靠近人耳接听语音。麦克风373，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风373发声，将声音信号输入到麦克风373。电子设备300可以设置至少一个麦克风373。耳机接口374用于连接有线耳机。

针对电子设备300包括的传感器，深度传感器用于获取景物的深度信息。压力传感器用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器可以用于确定电子设备300的运动姿态。气压传感器用于测量气压。磁传感器包括霍尔传感器。电子设备300可以利用磁传感器检测翻盖皮套的开合。加速度传感器可检测电子设备300在各个方向上(一般为三轴)加速度的大小。距离传感器用于测量距离。接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏390提供与触摸操作相关的视觉输出。环境光传感器用于感知环境光亮度。骨传导传感器可以获取振动信号。

按键394包括开机键，音量键等。按键394可以是机械按键。也可以是触摸式按键。马达393可以产生振动提示。马达393可以用于来电振动提示，也可以用于触摸振动反馈。指示器392可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口395用于连接SIM卡。电子设备300通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本公开实施例中，首先提供了一种图像虚化处理方法。图4中示意性示出了该图像虚化处理方法的流程示意图。参考图4中所示，主要包括以下步骤：

在步骤S410中，若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；

在步骤S420中，在硬件抽象层，根据所述主摄像头的所述第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层；

在步骤S430中，通过所述图像后处理服务，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

本公开实施例提供的技术方案中，一方面，通过在硬件抽象层来根据第一预览图像和第二预览图像计算深度图像，而在图像后处理服务层进行图像虚化，无需深度图计算与虚化效果二者在一个结构中进行串行叠加，避免了叠加耗时超过一帧的间隔时长的问题，使得单个节点的处理图像减少，避免了预览出现卡顿的现象，减少了计算功耗并且提高了效率。另一方面，由于配置了深度图像的通路，将硬件抽象层计算的深度图像填充至配置的深度图像的通路即可，无需将辅摄像头的第二预览图像从硬件抽象层传输以计算深度图像来进行图像虚化处理，提高了图像传输效率且降低了内存开销。

接下来，结合附图对本公开实施例中的图像虚化处理方法进行详细说明。

在步骤S410中，若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路。

本公开实施例中，终端处于虚化模式指的是终端处于拍照状态，且处于拍照状态中的虚化模式。终端可以为能够进行图像采集的智能终端，且该终端至少可以包括一个主摄像头以及一个辅摄像头，也可以包括一个主摄像头和多个辅摄像头，此处对摄像头的数量不做特殊限定。拍照状态指的是开启终端的相机或者是拍摄相机应用，调用终端的摄像头来对目标对象进行拍照。终端可以响应于用户的触发操作确定一个目标对象。触发操作指的是用于触发选择目标区域的操作。触发操作可以由用户执行，终端的处理器可以获取和检测是否接收到用户的触发操作。触发操作可以为各种类型的用于选择拍照对象的操作，例如可以为点击、按键、语音、表情、身体动作方式中的一种或者是多种的组合，此处不做特殊限定，只要能够触发终端来选择目标对象即可。虚化模式指的是将拍摄照片的一部分做模糊处理，从而凸显被拍摄的主体。

图5中示意性示出了摄像头架构500，参考图5中所示，主要包括：相机应用501，其中包含有实时虚化服务层。摄像头服务层502，是和上层通信的桥梁，只是作为一个中间层。摄像头硬件抽象层503，在该层厂商封装好自己的代码用于操作驱动。实时虚化层504，其中包含实时虚化节点，用于执行虚化处理。本公开实施例中，以终端包括一个主摄像头和一个辅摄像头为例进行说明。

在图5所示的摄像头架构的基础上，在终端处于虚化模式下，相机应用可以向摄像头服务层发送主摄像头获取请求，以便于摄像头硬件抽象层响应于该主摄像头获取请求，采集主摄像头的第一预览图像。第一预览图像例如可以为主摄像头的预览流，具体可以由主摄像头进行自动获取。

与此同时，可以为辅摄像头配置一个通路，用于传输辅摄像头相关联的图像数据，而不需要直接从硬件抽象层获取辅摄像头的预览图像。在配置该通路时，可以根据终端的深度图像的支持情况，配置与所述支持情况对应的所述辅摄像头的通路类型。深度图像的支持情况可用于表示终端是否支持直接上传深度图像，具体可以根据终端的配置参数而确定。进一步地，可以根据终端的深度图像的支持情况，配置与支持情况对应类型的摄像头的通路。即，支持情况不同，则配置的通路的类型也不同。且不同终端对深度图像的支持情况也不同，因此每个终端配置的通路也不同。具体而言，如果终端支持深度图像，则为辅摄像头配置传输深度图像的通路。如果终端不支持深度图像，则为辅摄像头配置传输普通拍摄图像的通路。配置的辅摄像头的通路，用于将拍摄得到的图像数据传输至相机应用。

在步骤S420中，在硬件抽象层，根据所述主摄像头的所述第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层。

本公开实施例中，在摄像头的硬件抽象层中，依然会同时采集主摄像头与辅摄像头的预览图像，且可以将主摄像头的预览图像记作第一预览图像，将辅摄像头的预览图像记作第二预览图像。但是在此过程中，并不会将辅摄像头的第二预览图像传输至相机应用。在硬件抽象层中，可以根据第一预览图像和第二预览图像来计算得到深度图像。

在算法中，对第一预览图像和第二预览图像进行对比，通过计算第一预览图像和第二预览图像中目标对象的视角差，生成深度图像。即使用主辅摄像头对应的预览图像进行对比，通过计算预览图像中目标对象的视角差来生成深度图像。

目标对象指的是第一预览图像和第二预览图像中的被拍摄对象。视角差指的是不同摄像头之间的视角差别。深度图像中每个像素点的灰度值可以表征场景中某一点距离摄像头的距离。

由于第一预览图像和第二预览图像是分别由不同的摄像头拍摄得到的，两个摄像头之间具有一定的距离，从而导致的视差，根据三角测距原理，可以计算得到第一预览图像和第二预览图像中，同一目标对象的深度信息，也就是该目标对象距离主辅摄像头所在平面的距离。

当然，也可以采用其他的方式来计算主摄像头的第一预览图像的深度信息，比如，主摄像头和辅摄像头针对同一个场景拍照时，场景中的物体距离摄像头的距离与主摄像头和副摄像头成像的位移差、姿势差等成比例关系，因此，也可以根据该比例关系生成深度图像。

在生成深度图像后，如果配置的是深度图像的通路，则将计算的深度图像填充至配置的辅摄像头的通路，以便于相机应用接收到深度图像。进一步地，相机应用在获取到第一预览图像和深度图像之后，可以将第一预览图像和深度图像传输至图像后处理服务层，以使得进行图像虚化处理。

本公开实施例中，通过配置的辅摄像头的通路，将得到的深度图像回传至相机应用。通过配置一路特殊的图像流，实现将硬件抽象层计算得到的深度图像上传回相机应用，避免了直接将辅摄像头的第二预览图像传输至相机应用，降低了内存消耗和传输数据的资源消耗，提高了图像传输效率。在硬件抽象层计算深度图像，通过调整计算深度图像的计算结构，将其从实时虚化层的软件层调整至硬件抽象层表示的硬件层，能够分开深度图像和图像虚化的过程，实现分布式处理，使得预览流的单个节点的处理压力降低，因此降低了预览图像流出现卡顿的可能性，提高了流畅性。本公开实施例中，通过硬件抽象层使用硬件计算得到深度图像，相比于使用软件计算深度图像而言，降低了功耗且提高了计算性能。

接下来，继续参考图4中所示，在步骤S430中，通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

本公开实施例中，图像后处理服务层中，可以包括实时虚化节点，以通过实时虚化节点来执行实时虚化处理。在获取深度图像的过程中，可以同时产生计算深度图像时的状态，可以将这些状态称为实时虚化的状态信息，以用于表示深度图像是否正常或者是否发生异常。

实时虚化的状态信息可以包括但不限于遮挡状态、目标对象的距离、光线强度中的一种或多种参数的组合。并且，终端对于深度图像的支持情况不同，获取实时虚化的状态信息的方式也不同。具体地，如果终端支持深度图像，则从实时更新信息中直接获取实时虚化的状态信息。若终端不支持深度图像，则根据深度图像以及图像拍摄参数计算实时虚化的状态信息。此处的图像拍摄参数可以包括拍摄图像时主摄像头和辅摄像头的曝光参数以及拍摄图像中是否存在大量不同的图像画面。其中，主摄像头和辅摄像头的曝光参数可以确定光线强度，拍摄图像中是否存在大量不同的图像画面可以用于确定遮挡状态(如果存在大部分不同的图像画面，则可以认为属于遮挡状态)。除此之外，还可以通过深度图像来获取目标对象的距离，从而得到实时虚化的状态信息。

图6中示意性示出了根据实时虚化的状态信息进行图像虚化的流程图，参考图6中所示，主要包括以下步骤：

在步骤S610中，判断所述实时虚化的状态信息是否为正常状态；若是，则转至步骤S620；若否，则转至步骤S630。

本步骤中，当实时虚化的状态信息包括遮挡状态、目标对象的距离、光线强度时，如果其中一个存在异常，则可以认为状态信息异常。如果其中的所有参数均正常，才可以认为状态信息正常。

在步骤S620中，若所述实时虚化的状态信息为正常状态，则根据所述深度图像确定虚化参数，并根据所述虚化参数来对所述第一预览图像进行图像虚化处理，得到目标图像。

本步骤中，在确定实时虚化的状态信息处于正常状态时，可以使用第一预览图像和深度图像进行虚化效果的合成，以得到虚化后的目标图像。

图7中示意性示出了图像虚化处理的流程图，且图7是步骤S620的具体实现方式。参考图7中所示，主要包括以下步骤：

在步骤S710中，根据所述第一预览图像的对焦点所覆盖的深度范围以外的深度图像，确定虚化区域；

在步骤S720中，按照虚化区域的深度图像对应的深度信息确定虚化程度，并按照所述虚化程度对所述第一预览图像进行图像虚化处理。

本公开实施例中，可以在主摄像头对焦点所覆盖的深度范围上，保持影像清晰，即保持第一预览图像不变。对焦点指的是用于确保对焦部位清晰的位置，以便于实现准确对焦。终端可以包括一个对焦点或者是多个对焦点，此处不做具体限定。对于主摄像头的对焦点所覆盖的深度范围以外的深度图像，可以将其确定要虚化区域。该虚化区域用于表示待虚化的图像范围，且该虚化区域可以为主摄像头的对焦点以外的所有区域。

进一步地，由于深度图像中每个像素点的灰度值可以表征每一个像素点离主摄像头的距离。而所有的像素点离主摄像头的距离会有所差别，因此其深度值也会存在差别。为了提高虚化效果的准确性和适合性，可以按照每个像素点的深度值的不同来确定对虚化区域中每一个像素点进行虚化的虚化程度，进而根据虚化程度对第一预览图像中对应于虚化区域的图像进行虚化处理，使得虚化的图像效果更真实更自然，提高了虚化效果。具体而言，虚化程度可以与深度值正相关，例如深度值越大，虚化程度越大。当然，也可以按照其他对应关系，对不同深度值确定虚化程度，进行不同程度的虚化处理，只要能够得到目标图像即可，此处不做限定。在得到虚化处理后的目标图像之后，可以将该目标图像发送至相机应用进行显示或者是录像用。

在步骤S630中，若所述实时虚化的状态信息为异常状态，则按照优先级顺序对所述实时虚化的状态信息进行提示。

本步骤中，如果实时虚化的状态信息为异常状态，则不能直接进行图像虚化处理，而是按照优先级顺序来对异常状态的实时虚化的状态信息进行提示。此处的优先级顺序用于表示提示的先后顺序。如果存在一个参数处于异常状态，则直接提示该参数即可。如果存在多个参数处于异常状态，则需要按照优先级顺序提示这些参数。优先级顺序例如可以为遮挡状态、光线强度以及目标对象的距离。举例而言，如果有一个摄像头被用户遮挡而导致无法虚化，可以优先向用户反馈。如果光线太暗导致无法得到虚化结果，则可以提示。如果目标对象的距离太远或者是太近，导致对虚化存在影响，也可以进行提示。由于实时虚化的状态信息存在异常状态，说明深度图像不准确不可靠，因此可通过提示向用户反馈，以使得用户根据终端上的提示标识信息来调整终端的图像拍摄参数等等，以得到准确的深度图像，并在调整完后继续根据准确的深度图像以及按照步骤S620中的方式进行图像虚化处理。

图6中的技术方案，通过实时虚化的状态信息是否为异常状态，选择不同的方式来进行处理。能够在实时虚化的状态信息为正常状态时使用第一预览图像和深度图像共同来进行图像虚化处理，而无需将第二预览图像传输至相机应用以及图像后处理服务层，因此减少了图像传输，提高了传输效率和处理效率。在二者进行并行处理的过程中国，避免了卡顿的现象。也可以在实时虚化的状态信息为异常状态时，发出提示信息以提醒用户及时调整参数，从而提高便捷性。

图8中示意性示出了基于摄像头架构的图像虚化的整体流程图，参考图8中所示，主要包括以下步骤：

在步骤S801中，相机应用发送主摄像头获取请求至摄像头服务层。

在步骤S802中，摄像头服务层响应于主摄像头获取请求，从摄像头硬件抽象层中获取第一预览图像，并配置辅摄像头的通路。

在步骤S803中，在摄像头硬件抽象层中获取第一预览图像以及辅摄像头的第二预览图像，并根据第一预览图像和第二预览图像计算深度图像，将深度图像发送至摄像头服务层。

在步骤S804中，摄像头服务层将第一预览图像发送至相机应用，并将深度图像填充至辅摄像头的通路。

在步骤S805中，将第一预览图像和深度图像输入实时虚化层，以使实时虚化层计算实时虚化的目标图像。

在步骤S806中，实时虚化层将目标图像输出至相机应用进行展示。

图8中的技术方案，在摄像头架构的基础上，通过在硬件抽象层来根据第一预览图像和第二预览图像计算深度图像，使得单个节点的处理图像减少，避免了预览图像流的过程中出现卡顿的现象，减少了计算功耗并且提高了计算效率和流畅性。由于配置了辅摄像头的通路，将硬件抽象层计算的深度图像填充至配置的辅摄像头的通路即可，无需将辅摄像头的第二预览图像从硬件抽象层传输出来以计算深度图像来进行图像虚化处理，提高了图像传输效率且降低了内存消耗。在计算时能够将不同图像的深度图像以及目标图像分开进行计算，提高了图像处理效率。

图9示意性示出了确定目标图像的流程图，参考图9中所示，主要包括以下步骤：

在步骤S901中，将第一预览图像输入至实时虚化层。

在步骤S902中，将深度图像输入至实时虚化层。

在步骤S903中，获取终端的深度图像的支持情况。

在步骤S904中，判断终端的深度图像的支持情况是否为支持深度图像。若是，则转至步骤S905。若否，则转至步骤S906。

在步骤S905中，从底层框架中获取深度图像。

在步骤S9051中，从实时状态信息中获取实时虚化的状态信息。

在步骤S906中，配置辅摄像头的通路。

在步骤S907中，计算深度图像。

在步骤S908中，根据深度图像以及图像拍摄参数确定实时虚化的状态信息。

在步骤S909中，根据实时虚化的状态信息进行图像虚化处理，得到目标图像。

在步骤S910中，输出目标图像至相机应用。

图9中的技术方案，根据终端的深度图像的支持情况来配置辅摄像头的通路的类型，并根据对应于支持情况的方式来获取实时虚化的状态信息。如果输入类型是深度图像，则跳过计算深度图像的步骤。减少了节点的数据处理量，降低了内存消耗。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

图10示意性示出了本公开的示例性实施方式的图像虚化处理装置的方框图。参考图10所示，根据本公开的示例性实施方式的图像虚化处理装置1000可以包括以下模块：

通路配置模块1001，用于若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；

深度图像计算模块1002，用于在硬件抽象层，根据所述主摄像头的所述第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层；

图像虚化模块1003，用于通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

在本公开的一种示例性实施例中，所述通路配置模块被配置为：根据终端的深度图像支持情况，配置与所述支持情况对应类型的所述辅摄像头的通路。

在本公开的一种示例性实施例中，所述图像虚化模块包括：第一状态确定模块，用于若所述终端支持深度图像，从实时更新信息中获取实时虚化的状态信息；第二状态确定模块，用于若所述终端不支持深度图像，则根据深度图像以及图像拍摄参数计算所述实时虚化的状态信息。

在本公开的一种示例性实施例中，图像虚化模块包括：第一虚化模块，用于若所述实时虚化的所述状态信息为正常状态，则根据所述深度图像确定虚化参数，并根据所述虚化参数来对所述第一预览图像进行图像虚化处理，得到所述目标图像；第二虚化模块，用于若所述实时虚化的所述状态信息为异常状态，则按照优先级顺序对所述实时虚化的所述状态信息进行提示。

在本公开的一种示例性实施例中，所述实时虚化的状态信息包括遮挡状态、目标对象的距离、光线强度中的一种或多种参数的组合。

在本公开的一种示例性实施例中，第一虚化模块被配置为：根据所述第一预览图像的对焦点所覆盖的深度范围以外的深度图像，确定虚化区域；按照所述虚化区域的深度图像对应的深度值确定虚化程度，并按照所述虚化程度对所述第一预览图像进行图像虚化处理。

在本公开的一种示例性实施例中，深度图像计算模块被配置为：对所述第一预览图像和所述第二预览图像进行对比，通过计算所述第一预览图像和所述第二预览图像中目标对象的视角差，生成所述深度图像。

需要说明的是，由于本公开实施方式的图像虚化处理装置的各个功能模块与上述图像虚化处理方法的实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像虚化处理方法，其特征在于，包括：

若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；

在硬件抽象层，根据所述主摄像头的所述第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层；

通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

2.根据权利要求1所述的图像虚化处理方法，其特征在于，所述配置辅摄像头的通路，包括：

根据终端的深度图像支持情况，配置与所述支持情况对应类型的所述辅摄像头的通路。

3.根据权利要求1或2所述的图像虚化处理方法，其特征在于，所述获取所述深度图像对应的实时虚化的状态信息，包括：

若所述终端支持深度图像，从实时更新信息中获取实时虚化的状态信息；

若所述终端不支持深度图像，则根据深度图像以及图像拍摄参数计算所述实时虚化的状态信息。

4.根据权利要求1所述的图像虚化处理方法，其特征在于，所述根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像，包括：

若所述实时虚化的所述状态信息为正常状态，则根据所述深度图像确定虚化参数，并根据所述虚化参数来对所述第一预览图像进行图像虚化处理，得到所述目标图像；

若所述实时虚化的所述状态信息为异常状态，则按照优先级顺序对所述实时虚化的所述状态信息进行提示。

5.根据权利要求4所述的图像虚化处理方法，其特征在于，所述实时虚化的状态信息包括遮挡状态、目标对象的距离、光线强度中的一种或多种参数的组合。

6.根据权利要求4所述的图像虚化处理方法，其特征在于，所述根据所述深度图像确定虚化参数，并根据所述虚化参数来对所述第一预览图像进行图像虚化处理，包括：

根据所述第一预览图像的对焦点所覆盖的深度范围以外的深度图像，确定虚化区域；

按照所述虚化区域的深度图像对应的深度值确定虚化程度，并按照所述虚化程度对所述第一预览图像进行图像虚化处理。

7.根据权利要求1所述的图像虚化处理方法，其特征在于，所述根据所述主摄像头的所述第一预览图像和所述辅摄像头的第二预览图像计算深度图像，包括：

对所述第一预览图像和所述第二预览图像进行对比，通过计算所述第一预览图像和所述第二预览图像中目标对象的视角差，生成所述深度图像。

8.一种图像虚化处理装置，其特征在于，包括：

通路配置模块，用于若终端处于虚化模式，响应于主摄像头获取请求，获取所述主摄像头的第一预览图像，并配置辅摄像头的通路；

深度图像计算模块，用于在硬件抽象层，根据所述主摄像头的第一预览图像和所述辅摄像头的第二预览图像计算深度图像，将所述深度图像填充至所述辅摄像头的通路，并将所述主摄像头的第一预览图像和深度图像发送至图像后处理服务层；

图像虚化模块，用于通过所述图像后处理服务层，获取所述深度图像对应的实时虚化的状态信息，并根据所述实时虚化的状态信息，结合所述第一预览图像和所述深度图像对所述第一预览图像进行图像虚化处理，以得到目标图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的图像虚化处理方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的图像虚化处理方法。

Images