CN112738398A - 一种图像防抖方法、装置和电子设备 - Google Patents
一种图像防抖方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112738398A CN112738398A CN202011594597.9A CN202011594597A CN112738398A CN 112738398 A CN112738398 A CN 112738398A CN 202011594597 A CN202011594597 A CN 202011594597A CN 112738398 A CN112738398 A CN 112738398A
- Authority
- CN
- China
- Prior art keywords
- image
- shake
- human body
- background
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像防抖方法、装置和电子设备,涉及通信技术领域。该图像防抖方法包括:在视频录制的过程中,通过摄像头获取第一目标图像;对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,根据所述融合图像,得到目标视频。本申请的方案用于解决现有的图像防抖方法中,只针对视频图像中同一景深的人体图像或背景图像的其中之一进行防抖处理,导致视频图像中的抖动不能完全消除以及图片产生畸变的问题。
Description
技术领域
本申请属于通信技术领域,具体涉及一种图像防抖方法、装置和电子设备。
背景技术
目前越来越多的电子设备具有图像或视频的拍摄功能,在图像或视频的拍摄的过程中,尤其是手持电子设备进行拍摄的过程中,电子设备会出现一定程度上的抖动,导致拍摄的图像或视频出现一定程度的抖动,导致拍摄出的图像或是视频模糊,因此,需要对电子设备的拍摄出的图像或者视频进行防抖处理,提高图像或者视频的质量。
在实现本申请过程中,发明人发现现有技术中至少存在如下问题:
在现有的图像或者视频防抖方法中,只能针对图像中同一景深的人体图像或背景图像的其中之一进行防抖处理,不能同时兼顾处于不同景深的人体图像和背景图像的防抖处理。
发明内容
本申请实施例的目的是提供一种图像防抖方法、装置和电子设备,能够解决现有的图像防抖方法中,只针对图像中同一景深的人体图像或背景图像的其中之一进行防抖处理,导致图像中的抖动不能完全消除以及图片产生畸变的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请的实施例提供了一种图像防抖方法,该方法包括:
在视频录制的过程中,通过摄像头获取第一目标图像;
对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;
对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;
对所述背景图像进行防抖处理,得到对应的背景防抖图像;
将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像;
根据所述融合图像,得到目标视频。
第二方面,本申请的实施例提供了一种图像防抖装置,包括:
获取模块,用于在视频录制的过程中,通过摄像头获取第一目标图像;
第一分割模块,用于对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;
第一防抖模块,用于对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;
第二防抖模块,用于对所述背景图像进行防抖处理,得到对应的背景防抖图像;
融合模块,用于将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像;
视频生成模块,用于根据所述融合图像,得到目标视频。
第三方面,本申请实施例还提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
这样,本申请实施例中,通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
附图说明
图1为本申请实施例提供的图像防抖方法的流程图;
图2为本申请实施例提供的对人体图像进行防抖处理的示意图;
图3为本申请实施例提供的对背景图像进行防抖处理的示意图;
图4为本申请实施例提供的对人体防抖图像和背景防抖图像的融合示意图;
图5为本申请实施例提供的图像防抖装置的框图;
图6为本申请实施例提供的电子设备的框图;
图7为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像防抖方法进行详细地说明。
本申请实施例的方法应用于用户设备,用户设备(user equipment,UE)可以指接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是蜂窝电话、无绳电话、会话启动协议(sessioninitiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字助理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备。
可选地,本申请实施例提供的方法应用于电子设备,该电子设备可以是具有拍照功能或视频拍摄功能,以及图像处理功能的移动终端,如手机、平板电脑,可穿戴智能设备等,在本申请实施例中不作限定。
如图1所示,本申请实施例提供一种图像防抖方法,包括:
步骤101:在视频录制的过程中,通过摄像头获取第一目标图像。
在本申请实施例中,所述第一目标图像可以为电子设备开启视频录像功能拍摄的当前视频中的一张或者一帧图像,也可以为电子设备通过录像功能拍摄得到的视频中的一段录像中的一帧图像。
步骤102:对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像。
在本申请实施例中,对第一目标图像进行人体图像与背景图像的分割处理,识别得到第一目标图像中的人体图像的部分以及背景图像的部分,并进行人体图像的追踪,得到至少一个人体图像以及背景图像。
步骤103:对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像。
在本申请实施例中,对所述至少一个人体图像执行人像防抖算法,进行防抖处理,得到对应的人体防抖图像。
步骤104:对所述背景图像进行防抖处理,得到对应的背景防抖图像。
在本申请实施例中,对所述背景图像执行背景防抖算法,进行防抖处理,得到对应的背景防抖图像。
需要说明的是,本申请实施例提供的图像防抖方法通过分别对人体图像和背景图像进行防抖处理,可以消除图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
步骤105:将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像。
在本申请实施例中,将防抖处理后的人体防抖图像和背景防抖图像进行融合,得到融合图像,并输出该融合图像。
步骤106:根据所述融合图像,得到目标视频。
在本申请实施例中,分别对目标视频中的每一帧图像或者每一张图像进行人体图像和背景图像的分割以及分别对人体图像和背景图像进行防抖处理,并对防抖处理后的人体图像和背景图像进行融合,得到每一帧的融合图像或者每一张的融合图像,将每一帧的融合图像或者每一张的融合图像组合,得到防抖处理后的目标视频。
本申请实施例通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据所述融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别进行防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
可选地,所述对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像,包括:
对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像。
在本申请实施例中,在所述第一目标图像中包括两个或者两个以上的人体图像时,可以分别对每个人体图像进行分割,并进行图像追踪后,对每个图像分别进行防抖处理,得到对应的人体防抖图像,可以使每个人体图像的防抖处理结果更加清晰。
可选地,若图像中包括两个人体图像,且该两个人体图像处于同一景深,可以选择对该两个图像进行统一的防抖处理,对每个图像统一进行防抖处理的方式可以提高处理效率。
若图像中包括两个人体图像,且该两个人体图像处于不同景深,可以对每个图像分别进行防抖处理,可以消除图像中所有因为人像抖动带来的图像不稳定的问题。
可选地,所述各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像,具体包括:
根据所述人体图像的人脸位置,建立第一防抖坐标系;
利用所述人体图像的第一防抖矩阵和所述第一防抖坐标系,对所述人体图像进行防抖处理,得到对应的所述人体防抖图像。
在本申请实施例中,人像防抖算法是根据陀螺仪数据进行第一防抖矩阵计算,在人脸所处的景深建立第一防抖坐标系,根据第一防抖矩阵和第一防抖坐标系,对整个人体图像的进行防抖处理,保持人体图像的稳定。请参阅图2,首先将第一目标图像中的第一人体图像分割处理,之后根据人像防抖算法计算移动量,进行防抖处理,得到人体防抖图像。图2中的虚线图像的位置为实际人体图像的位置,实线图像为根据第一防抖矩阵和第一防抖坐标系进行防抖处理后的人体图像的位置。
需要说明的是,根据陀螺仪数据计算防抖矩阵的方法为现有技术,在此不再赘述。
可选地,电子设备包括多个摄像头;
所述对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像,具体包括:
针对各个人体图像中的每个人体图像,通过目标摄像头对所述人体图像进行跟踪;其中,各个人体图像对应的所述目标摄像头互不相同;
根据与所述目标摄像头相对应的陀螺仪的数据,对所述人体图像进行防抖处理,得到与所述人体图像对应的人体防抖图像。
在本申请实施例中,若电子设备包括多个摄像头,且摄像头的数量大于或者等于第一目标图像中包括的人体图像的数量时,每一个人体图像对应一个不同的目标摄像头,每一个目标摄像头跟踪一个人体图像,根据与该目标摄像头相对应的陀螺仪的数据,计算第一防抖矩阵,利用该第一防抖矩阵对所述人体图像进行防抖处理,得到与所述人体图像对应的人体防抖图像。可选地,对所述背景图像进行防抖处理,得到对应的背景防抖图像,包括:
根据所述背景图像的背景景深,建立第二防抖坐标系;
利用背景图像对应的第二防抖矩阵和所述第二防抖坐标系,对所述背景图像进行防抖处理,得到对应的所述背景防抖图像。
在本申请实施例中,背景防抖算法是根据陀螺仪数据进行第二防抖矩阵计算,在背景所处的景深建立第二防抖坐标系,根据第二防抖矩阵和第二防抖坐标系,对背景图像的进行防抖处理,保持背景图像的稳定。请参阅图3,首先将第一目标图像中的第一背景图像分割处理,之后根据背景防抖算法计算移动量,进行防抖处理,得到背景防抖图像,图3中的虚线图像的位置为实际背景图像的位置,实线图像为防抖处理后的背景图像的位置。
可选地,在电子设备同时启动主摄像头和广角摄像头的情况下,所述第一目标图像为电子设备的主摄像头采集的图像;
所述对所述背景图像进行防抖处理,得到对应的背景防抖图像,包括:
以所述广角摄像头采集的第二目标图像为参照,对所述第一目标图像的背景图像进行防抖处理,得到对应的所述背景防抖图像。
在本申请的另一实施例中,在电子设备包括主摄像头和广角摄像头,且同时使用主摄像头和广角摄像头进行采集图像的情况下,第一目标图像为电子设备的主摄像头采集的图像,对主摄像头采集的第一目标图像进行分割处理,并按照上述实施例提供的方式对第一目标图像的人体图像进行防抖处理,得到人体防抖图像。在对第一目标图像的背景图像进行防抖处理过程中,以广角摄像头采集的第二目标图像为参照,对主摄像头采集的第一目标图像的背景图像进行防抖处理,由于广角摄像头与主摄像头的采集图像的时差关系,广角摄像头采集的第二目标图像可以采集到主摄像头的采集的第一目标图像中的人体图像的背后的盲点,覆盖人体图像与背景图像分割产生的盲区,有益于主摄像头的采集的第一目标图像的背景图像的差值的补全,优化融合图像的质量。
在本申请实施例中,请参阅图4,将人体防抖图像和背景防抖图像进行融合时,保持人体防抖图像的绝对位置和背景防抖图像的绝对位置不变,即,保持人体防抖图像和背景防抖图像均处于视频图像的原位置,得到融合图像。
需要说明的是,本申请实施例提供的图像防抖方法,执行主体可以为图像防抖装置,或者该图像防抖装置中的用于执行图像防抖方法的控制模块。本申请实施例中以图像防抖装置执行图像防抖方法为例,说明本申请实施例提供的图像防抖装置。
图5是本申请一个实施例的图像防抖装置的框图。图5所示的图像防抖装置500包括获取模块501、第一分割模块502、第一防抖模块503、第二防抖模块504、融合模块505和视频生成模块506。
获取模块501,用于在视频录制的过程中,通过摄像头获取第一目标图像;
第一分割模块502,用于对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;
第一防抖模块503,用于对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;
第二防抖模块504,用于对所述背景图像进行防抖处理,得到对应的背景防抖图像;
融合模块505,用于将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像;
视频生成模块506,用于根据所述融合图像,得到目标视频。
本申请实施例提供的图像防抖装置500,通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据所述融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别进行防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
可选地,所述第一防抖模块503包括:
第一子防抖模块,用于对所述至少一个人体图像分别进行防抖处理,得到对应的所述人体防抖图像。
可选地,所述第一子防抖模块包括:
第一坐标系建立单元,用于根据所述人体图像的人脸位置,建立第一防抖坐标系;
第一防抖单元,用于利用所述人体图像的第一防抖矩阵和所述第一防抖坐标系,对所述人体图像进行防抖处理,得到对应的所述人体防抖图像。
可选地,电子设备包括多个摄像头;
所述第一子防抖模块503包括:
跟踪单元,用于针对各个人体图像中的每个人体图像,通过目标摄像头对所述人体图像进行跟踪;其中,各个人体图像对应的所述目标摄像头互不相同;
第二防抖单元,用于根据与所述目标摄像头相对应的陀螺仪的数据,对所述人体图像进行防抖处理,得到与所述人体图像对应的人体防抖图像。
可选地,所述第二防抖模块504包括:
第二坐标系建立单元,用于根据所述背景图像的背景景深,建立第二防抖坐标系;
第三防抖单元,用于利用背景图像对应的第二防抖矩阵和所述第二防抖坐标系,对所述背景图像进行防抖处理,得到对应的所述背景防抖图像。
可选地,在电子设备同时启动主摄像头和广角摄像头的情况下,所述第一目标图像为电子设备的主摄像头采集的图像;
所述第二防抖模块504还包括:
第四防抖单元,用于以所述广角摄像头采集的第二目标图像为参照,对所述第一目标图像的背景图像进行防抖处理,得到对应的所述背景防抖图像。
本申请实施例中的装置500,通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据所述融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别进行防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
本申请实施例中的图像防抖装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像防抖装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像防抖装置能够实现图1至图4的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
本申请实施例的装置,通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据所述融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别进行防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
需要说明的是,本申请实施例提供的图像防抖装置是能够执行上述图像防抖方法的装置,则上述图像防抖方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。
可选的,如图6所示,本申请实施例还提供一种电子设备600,包括处理器601,存储器602,存储在存储器602上并可在所述处理器601上运行的程序或指令,该程序或指令被处理器601执行时实现上述图像防抖方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例提供的电子设备是能够执行上述图像防抖方法的电子设备,则上述图像防抖方法的所有实施例均适用于该电子设备,且均能达到相同或相似的有益效果。
图7为实现本申请各个实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解,电子设备700还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器710,用于在视频录制的过程中,通过摄像头获取第一目标图像;以及对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;以及对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;以及对所述背景图像进行防抖处理,得到对应的背景防抖图像;以及将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像;以及根据所述融合图像,得到目标视频。
可见,该电子设备700,通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据所述融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别进行防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
可选地,所述处理器710还用于对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像。
可选地,所述处理器710还用于根据所述人体图像的人脸位置,建立第一防抖坐标系;以及利用所述人体图像的第一防抖矩阵和所述第一防抖坐标系,对所述人体图像进行防抖处理,得到对应的所述人体防抖图像。
可选地,电子设备包括多个摄像头;
所述处理器710还用于针对各个人体图像中的每个人体图像,通过目标摄像头对所述人体图像进行跟踪;其中,各个人体图像对应的所述目标摄像头互不相同;以及根据与所述目标摄像头相对应的陀螺仪的数据,对所述人体图像进行防抖处理,得到与所述人体图像对应的人体防抖图像。
可选地,所述处理器710还用于根据所述背景图像的背景景深,建立第二防抖坐标系;利用背景图像对应的第二防抖矩阵和所述第二防抖坐标系,对所述背景图像进行防抖处理,得到对应的所述背景防抖图像。
可选地,所述处理器710还用于以所述广角摄像头采集的第二目标图像为参照,对所述第一目标图像的背景图像进行防抖处理,得到对应的所述背景防抖图像。
本申请实施例提供的电子设备700,通过对摄像头获取的第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;对所述背景图像进行防抖处理,得到对应的背景防抖图像;将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像,并根据所述融合图像,生成目标视频,能够对视频图像中的人体图像和背景图像分别进行防抖处理,消除视频图像中所有因为抖动带来的不稳定问题以及图像畸变的问题。
需要说明的是,本申请实施例提供的电子设备是能够执行上述图像防抖方法的电子设备,则上述图像防抖方法的所有实施例均适用于该电子设备,且均能达到相同或相似的有益效果。
应理解的是,本申请实施例中,输入单元704可以包括图形处理器(GraphicsProcessing Unit,GPU)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071,也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器709可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现上述图像防抖方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像防抖方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种图像防抖方法,其特征在于,包括:
在视频录制的过程中,通过摄像头获取第一目标图像;
对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;
对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;
对所述背景图像进行防抖处理,得到对应的背景防抖图像;
将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像;
根据所述融合图像,得到目标视频。
2.根据权利要求1所述的图像防抖方法,其特征在于,所述对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像,包括:
对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像。
3.根据权利要求2所述的图像防抖方法,其特征在于,对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像,具体包括:
根据所述人体图像的人脸位置,建立第一防抖坐标系;
利用所述人体图像的第一防抖矩阵和所述第一防抖坐标系,对所述人体图像进行防抖处理,得到对应的所述人体防抖图像。
4.根据权利要求2所述的图像防抖方法,其特征在于,电子设备包括多个摄像头;
所述对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像,具体包括:
针对各个人体图像中的每个人体图像,通过目标摄像头对所述人体图像进行跟踪;其中,各个人体图像对应的所述目标摄像头互不相同;
根据与所述目标摄像头相对应的陀螺仪的数据,对所述人体图像进行防抖处理,得到与所述人体图像对应的人体防抖图像。
5.根据权利要求1所述的图像防抖方法,其特征在于,对所述背景图像进行防抖处理,得到对应的背景防抖图像,包括:
根据所述背景图像的背景景深,建立第二防抖坐标系;
利用背景图像对应的第二防抖矩阵和所述第二防抖坐标系,对所述背景图像进行防抖处理,得到对应的所述背景防抖图像。
6.根据权利要求1所述的图像防抖方法,其特征在于,在电子设备同时启动主摄像头和广角摄像头的情况下,所述第一目标图像为电子设备的主摄像头采集的图像;
所述对所述背景图像进行防抖处理,得到对应的背景防抖图像,包括:
以所述广角摄像头采集的第二目标图像为参照,对所述第一目标图像的背景图像进行防抖处理,得到对应的所述背景防抖图像。
7.一种图像防抖装置,其特征在于,包括:
获取模块,用于在视频录制的过程中,通过摄像头获取第一目标图像;
第一分割模块,用于对所述第一目标图像进行分割处理,得到至少一个人体图像以及背景图像;
第一防抖模块,用于对所述至少一个人体图像进行防抖处理,得到对应的人体防抖图像;
第二防抖模块,用于对所述背景图像进行防抖处理,得到对应的背景防抖图像;
融合模块,用于将所述人体防抖图像和所述背景防抖图像进行融合,得到融合图像;
视频生成模块,用于根据所述融合图像,得到目标视频。
8.根据权利要求7所述的图像防抖装置,其特征在于,所述第一防抖模块包括:
第一子防抖模块,用于对各个人体图像分别进行防抖处理,得到各个人体图像分别对应的所述人体防抖图像。
9.根据权利要求8所述的图像防抖装置,其特征在于,所述第一子防抖模块包括:
第一坐标系建立单元,用于根据所述人体图像的人脸位置,建立第一防抖坐标系;
第一防抖单元,用于利用所述人体图像的第一防抖矩阵和所述第一防抖坐标系,对所述人体图像进行防抖处理,得到对应的所述人体防抖图像。
10.根据权利要求8所述的图像防抖装置,其特征在于,电子设备包括多个摄像头;
所述第一子防抖模块包括:
跟踪单元,用于针对各个人体图像中的每个人体图像,通过目标摄像头对所述人体图像进行跟踪;其中,各个人体图像对应的所述目标摄像头互不相同;
第二防抖单元,用于根据与所述目标摄像头相对应的陀螺仪的数据,对所述人体图像进行防抖处理,得到与所述人体图像对应的人体防抖图像。
11.根据权利要求7所述的图像防抖装置,其特征在于,所述第二防抖模块包括:
第二坐标系建立单元,用于根据所述背景图像的背景景深,建立第二防抖坐标系;
第三防抖单元,用于利用背景图像对应的第二防抖矩阵和所述第二防抖坐标系,对所述背景图像进行防抖处理,得到对应的所述背景防抖图像。
12.根据权利要求7所述的图像防抖装置,其特征在于,在电子设备同时启动主摄像头和广角摄像头的情况下,所述第一目标图像为电子设备的主摄像头采集的图像;
所述第二防抖模块还包括:
第四防抖单元,用于以所述广角摄像头采集的第二目标图像为参照,对所述第一目标图像的背景图像进行防抖处理,得到对应的所述背景防抖图像。
13.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像防抖方法的步骤。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的图像防抖方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011594597.9A CN112738398B (zh) | 2020-12-29 | 2020-12-29 | 一种图像防抖方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011594597.9A CN112738398B (zh) | 2020-12-29 | 2020-12-29 | 一种图像防抖方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112738398A true CN112738398A (zh) | 2021-04-30 |
| CN112738398B CN112738398B (zh) | 2023-02-17 |
Family
ID=75609842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011594597.9A Active CN112738398B (zh) | 2020-12-29 | 2020-12-29 | 一种图像防抖方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112738398B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022033344A1 (zh) * | 2020-08-13 | 2022-02-17 | 华为技术有限公司 | 视频防抖方法、终端设备和计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104093014A (zh) * | 2014-07-21 | 2014-10-08 | 宇龙计算机通信科技(深圳)有限公司 | 图像处理方法和图像处理装置 |
| CN107241544A (zh) * | 2016-03-28 | 2017-10-10 | 展讯通信(天津)有限公司 | 视频稳像方法、装置及摄像终端 |
| US20190215455A1 (en) * | 2018-01-10 | 2019-07-11 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for acquiring image, terminal and computer-readable storage medium |
| CN110769147A (zh) * | 2018-07-25 | 2020-02-07 | 北京小米移动软件有限公司 | 拍摄方法及电子设备 |
| CN111147741A (zh) * | 2019-12-27 | 2020-05-12 | Oppo广东移动通信有限公司 | 基于对焦处理的防抖方法和装置、电子设备、存储介质 |
| CN111263069A (zh) * | 2020-02-24 | 2020-06-09 | Oppo广东移动通信有限公司 | 防抖参数处理方法、装置、电子设备和可读存储介质 |
| CN111526285A (zh) * | 2020-04-15 | 2020-08-11 | 浙江大华技术股份有限公司 | 一种图像防抖方法及电子设备、计算机可读存储介质 |
-
2020
- 2020-12-29 CN CN202011594597.9A patent/CN112738398B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104093014A (zh) * | 2014-07-21 | 2014-10-08 | 宇龙计算机通信科技(深圳)有限公司 | 图像处理方法和图像处理装置 |
| WO2016011758A1 (zh) * | 2014-07-21 | 2016-01-28 | 宇龙计算机通信科技(深圳)有限公司 | 图像处理方法和图像处理装置 |
| CN107241544A (zh) * | 2016-03-28 | 2017-10-10 | 展讯通信(天津)有限公司 | 视频稳像方法、装置及摄像终端 |
| US20190215455A1 (en) * | 2018-01-10 | 2019-07-11 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for acquiring image, terminal and computer-readable storage medium |
| CN110769147A (zh) * | 2018-07-25 | 2020-02-07 | 北京小米移动软件有限公司 | 拍摄方法及电子设备 |
| CN111147741A (zh) * | 2019-12-27 | 2020-05-12 | Oppo广东移动通信有限公司 | 基于对焦处理的防抖方法和装置、电子设备、存储介质 |
| CN111263069A (zh) * | 2020-02-24 | 2020-06-09 | Oppo广东移动通信有限公司 | 防抖参数处理方法、装置、电子设备和可读存储介质 |
| CN111526285A (zh) * | 2020-04-15 | 2020-08-11 | 浙江大华技术股份有限公司 | 一种图像防抖方法及电子设备、计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022033344A1 (zh) * | 2020-08-13 | 2022-02-17 | 华为技术有限公司 | 视频防抖方法、终端设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112738398B (zh) | 2023-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113596294A (zh) | 拍摄方法、装置和电子设备 | |
| CN112637500B (zh) | 图像处理方法及装置 | |
| CN112422798A (zh) | 拍照方法、装置、电子设备和存储介质 | |
| CN113709368A (zh) | 图像显示方法、装置及设备 | |
| CN112954212B (zh) | 视频生成方法、装置及设备 | |
| CN112261262B (zh) | 图像校准方法和装置、电子设备和可读存储介质 | |
| CN112367486A (zh) | 视频处理方法及装置 | |
| CN112738398B (zh) | 一种图像防抖方法、装置和电子设备 | |
| CN112367464A (zh) | 图像输出方法、装置及电子设备 | |
| CN113489909B (zh) | 拍摄参数的确定方法、装置及电子设备 | |
| CN112511743B (zh) | 视频拍摄方法和装置 | |
| CN112367465B (zh) | 图像输出方法、装置及电子设备 | |
| CN112672058B (zh) | 拍摄方法及装置 | |
| CN112383708B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
| CN114390206A (zh) | 拍摄方法、装置和电子设备 | |
| CN113347356A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
| CN114143455B (zh) | 拍摄方法、装置及电子设备 | |
| CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
| CN114093005B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN113891005B (zh) | 拍摄方法、装置及电子设备 | |
| CN114339051A (zh) | 拍摄方法、装置、电子设备和可读存储介质 | |
| CN114125297A (zh) | 视频拍摄方法、装置、电子设备及存储介质 | |
| CN114745505A (zh) | 拍摄方法、装置、电子设备和可读存储介质 | |
| CN112399092A (zh) | 拍摄方法、装置和电子设备 | |
| CN112738396A (zh) | 一种图像处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |