CN111862116A - 动漫人像的生成方法及装置、存储介质、计算机设备 - Google Patents
动漫人像的生成方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN111862116A CN111862116A CN202010678575.4A CN202010678575A CN111862116A CN 111862116 A CN111862116 A CN 111862116A CN 202010678575 A CN202010678575 A CN 202010678575A CN 111862116 A CN111862116 A CN 111862116A
- Authority
- CN
- China
- Prior art keywords
- region
- portrait
- picture
- hat
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种动漫人像的生成方法及装置、存储介质、计算机设备,该方法包括:获取目标人像图片;对所述目标人像图片进行区域分割,得到至少一个人像区域,所述至少一个人像区域包括面部区域;提取所述至少一个人像区域对应的区域特征,并从素材库中获取与所述区域特征相匹配的素材;根据所述素材,生成动漫人像图片。本申请提出了对目标人像图片进行区域分割的思想,将图片分割成包含面部区域的多个人像区域,从而对不同区域的区域特征进行提取,不仅减少了面部特征提取的计算量,还增加了特征提取维度可以获取更多区域的特征,并且可以避免对某个区域特征提取时其他区域对该区域造成的干扰,使得生成图片与原始的目标人像图片更加相似。
Description
技术领域
本申请涉及图像处理技术领域,尤其是涉及到一种动漫人像的生成方法及装置、存储介质、计算机设备。
背景技术
随着互联网技术的发展,越来越多的动漫、卡通、网络游戏等基于数字技术的娱乐产品开始出现在人们的身边。其中,人脸卡通图像成为受到人们喜爱的数字娱乐产品。现有技术中,已有一些由人脸照片生成卡通图片的方法,但是在这些方法中,通常是基于对已有人脸照片进行脸部特征识别,从而根据脸部特征生成卡通图像,这种方式由于识别范围大终端计算量大,效率缓慢,而且生成的卡通图像中只有脸部特征与原始照片匹配,其他特征难以匹配,生成的卡通图像与原始图像不够贴合,效果差。
发明内容
根据本申请的一个方面,提供了一种动漫人像的生成方法,包括:
获取目标人像图片;
对所述目标人像图片进行区域分割,得到至少一个人像区域,所述至少一个人像区域包括面部区域;
提取所述至少一个人像区域对应的区域特征,并从素材库中获取与所述区域特征相匹配的素材;
根据所述素材,生成动漫人像图片。
根据本申请的另一方面,提供了一种动漫人像的生成装置,包括:
人像图片获取模块,用于获取目标人像图片;
区域分割模块,用于对所述目标人像图片进行区域分割,得到至少一个人像区域,所述至少一个人像区域包括面部区域;
素材获取模块,用于提取所述至少一个人像区域对应的区域特征,并从素材库中获取与所述区域特征相匹配的素材;
图片生成模块,用于根据所述素材,生成动漫人像图片。
依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述动漫人像的生成方法。
依据本申请再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述动漫人像的生成方法。
借由上述技术方案,本申请提供的一种动漫人像的生成方法及装置、存储介质、计算机设备,对目标人像图片进行区域分割,得到包含面部区域的至少一个人像区域,从而从每个人像区域中提取出相应的区域特征,按照区域特征从预设的素材库中查找匹配的卡通素材,进而利用查找出的卡通素材生成动漫人像图片。本申请实施例相比于现有技术中对整张图片进行人脸特征提取的方式相比,提出了对目标人像图片进行区域分割的思想,将图片分割成包含面部区域的多个人像区域,从而对不同区域的区域特征进行提取,不仅减少了面部特征提取的计算量,还增加了特征提取维度可以获取更多区域的特征,并且基于该区域分割的思想也可以避免对某个区域特征提取时其他区域对该区域造成的干扰,使得生成图片与原始的目标人像图片更加相似。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种动漫人像的生成方法的流程示意图;
图2示出了本申请实施例提供的另一种动漫人像的生成方法的流程示意图;
图3示出了本申请实施例提供的一种动漫人像的生成装置的结构示意图;
图4示出了本申请实施例提供的另一种动漫人像的生成装置的结构示意图;
图5示出了本申请实施例提供的一种区域分割结果的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种动漫人像的生成方法,如图1所示,该方法包括:
步骤101,获取目标人像图片;
步骤102,对目标人像图片进行区域分割,得到至少一个人像区域,至少一个人像区域包括面部区域;
步骤103,提取至少一个人像区域对应的区域特征,并从素材库中获取与区域特征相匹配的素材;
步骤104,根据素材,生成动漫人像图片。
本申请实施例提供的方法用于动漫人像的生成,具体可以基于一张包含人脸的图片生成与人脸匹配的动漫头像,该方法可以应用于客户端中,通过客户端获取目标人像图片并进行处理生成动漫头像,也可以应用于服务器中,服务器接收客户端上传的图片并进行动漫头像生成,将生成后的动漫头像返回到客户端中,也可以单独应用于服务器中。本申请仅以客户端作为该方法的执行主体为例对该方法进行解释说明,例如该方法应用于客户端的预置程序中或安装在客户端的软件中,但该方法并不局限于客户端中,本申请实施例不对方法的执行主体进行限定。
在上述实施例中,目标人像图片可以是用户预先拍摄(或通过其他途径获取)的存储在手机相册里的照片,也可以是用户通过手机摄像头直接获取的照片,目标人像图片中应包含人脸信息。客户端的预置程序或软件中可以包括区域分割模块、特征提取模块和形象生成模块。
首先,获取目标人像图片之后,区域分割模块负责将目标人像图片中的各特征区域进行分割得到至少一个人像区域,例如分割出面部区域、帽子区域、衣服区域、头发区域等等,由于本申请实施例用于生成动漫头像,因此区域分割模块至少应从目标人像图片中分割出面部区域,以确保后续可以依据该面部区域生成动漫头像。对目标人像图片进行区域分割后,可以保证后续在进行特征提取时,能够从人像区域中提取出与该区域相关的特征,有助于提高特征提取的效率,例如将目标人像图片分割为面部区域和帽子区域,在后续提取面部特征时,只对面部区域部分的图片进行分析即可,减少了特征分析的工作量,另外,也避免了帽子区域对面部特征提取造成的干扰,进一步的提高了特征分析和提取的效率。
其次,特征提取模块对各个人像区域进行数据分析,依据分割出的人像区域提取相应区域的区域特征,例如基于面部区域提取面部特征、基于帽子区域提取帽子特征等等,实现由图片到特征描述数据的转化。其中,区域特征用于表征某个区域内容的特点,例如从帽子区域提取出的帽子特征可以表征出该目标人像图片中帽子区域的帽子款式,从面部区域提取出的面部特征可以表征该目标人像图片中面部区域的五官、皮肤、表情等特征。特征提取模块可以采取各种常规技术(例如深度学习技术)来进行特征提取,深度学习技术是机器学习技术的一个分支,它的主要特点是通过多层次的学习而得到对于原始数据的不同层次的表示,进而提高分类和预测等任务的准确性,深度学习算法可以构造出多层非线性层叠式神经元网络,能够很好地模拟视觉信号从视网膜开始逐层处理传递,直至大脑深处的整个过程,这样的学习模式能够以更高的精度和更快的速度跨越语义鸿沟,让机器快速对图像中可能蕴含的各种特征进行有效的识别,将深度学习用于图片特征分析,可以大大提高图片处理速度。
进一步的,特征提取模块还可以根据从不同区域提取出的区域特征,在素材库中查询与这些区域特征匹配的素材,这里素材库中的素材应为动漫风格素材,例如,卡通形式的眼睛、鼻子等等。另外,在本申请实施例中,不同区域的特征可以通过不同的方式进行提取,例如面部特征可以通过特征点来表征,特征提取模块可以对面部区域图片中的各个人脸部位进行描点分析,即描绘特征点,描绘出各部位轮廓以及重要特征的特征点可以表征各部位。其中,对面部区域图片的描点分析方法与素材库中包含的面部特征动漫素材的描点方法一致。存储在客户端中的素材预先经过相同方法的描点分析处理,并将处理结果保存在素材库的描述文件中。特征提取模块根据面部区域的面部特征对素材库中的卡通素材的描述文件进行分析,从而找出在面部特征方面与面部区域图片相匹配的卡通素材作为待用于动漫人像图片生成的卡通素材。例如,可以从素材库中检索出特征点与上述面部特征的特征点相匹配的卡通素材。需要说明的是,所找出的卡通素材可以是面部特征与面部区域图片完全匹配的素材,也可以是根据匹配程度排序而选取的匹配程度最高的素材。
最后,形象生成模块基于每个人像区域的区域特征对应的素材进行素材拼接,得到动漫人像图片。
通过应用本实施例的技术方案,对目标人像图片进行区域分割,得到包含面部区域的至少一个人像区域,从而从每个人像区域中提取出相应的区域特征,按照区域特征从预设的素材库中查找匹配的卡通素材,进而利用查找出的卡通素材生成动漫人像图片。本申请实施例相比于现有技术中对整张图片进行人脸特征提取的方式相比,提出了对目标人像图片进行区域分割的思想,将图片分割成包含面部区域的多个人像区域,从而对不同区域的区域特征进行提取,不仅减少了面部特征提取的计算量,还增加了特征提取维度可以获取更多区域的特征,并且基于该区域分割的思想也可以避免对某个区域特征提取时其他区域对该区域造成的干扰,使得生成图片与原始的目标人像图片更加相似。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,提供了另一种动漫人像的生成方法,如图2所示,该方法包括:
步骤201,接收目标图片,并检测目标图片中的人脸数量和人脸位置;
步骤202,当人脸数量大于1时,输出对人脸位置的选择提示信息,并基于接收到的对任一人脸位置的选择,确定与任一人脸位置对应的目标人像图片;
在步骤201和步骤202中,客户端的预置程序或软件中还可以包括人脸检测模块。根据用户提供目标图片,人脸检测模块可以检测出目标图片中的人脸数量和人脸位置,如果目标图片中存在多个人脸,那么可以将识别出的多个人脸框选出来并输出选择提示信息,提示用户从多个人脸中选择出一个想要生成动漫图片的人脸,接收用户对多个人脸中任意一个的选择操作,从目标图片中截取出目标人像图片,其中,目标人像图片中应只包含一个人脸。而如果目标图片中只存在一个人脸,那么直接利用目标图片进行后续处理即可。
另外,在本申请实施例中,具体地,还包括:当人脸数量为0时,输出图片重置提示信息。
在上述实施例中,在一些场景中,用户可能存在上传图片错误或者上传的目标图片不清晰无法识别出人脸的情况,当人脸检测模块无法在目标图片中检测到人脸图像时,输出图片重置提示信息以提示用户上传面部清晰的照片。
步骤203,获取目标人像图片对应的面部区域。
步骤204,基于面部区域的位置,确定第一帽子区域以及第一服装区域,其中,第一帽子区域的中心点位于面部区域的中心点上方,第一服装区域的中心点位于面部区域的中心点下方。
在步骤203和步骤204中,可以将人脸检测模块检测到的人脸位置确定为面部区域,然后区域分割模块根据面部区域的位置以及面部区域与其他区域的预设位置关系确定目标人像图片中的其他区域,在该实施例中,人像区域还包括帽子区域和服装区域,基于面部区域的位置来选取帽子区域和服装区域。例如可以确定面部区域上方的部分为帽子区域,面部区域下方的部分为服装区域。具体地,面部区域、第一帽子区域以及第一服装区域通过矩形框表征,第一帽子区域的中心点为面部区域的上顶边中点,第一帽子区域对应的矩形框宽为max(h,w),高为k×max(h,w),其中,h为面部区域对应矩形框的高,w为面部区域对应矩形框的宽。各区域用矩形框框选出来,面部区域对应的矩形框上顶边的中点作为帽子区域对应的矩形框的中心点,帽子区域对应的矩形框宽为面部区域长宽中的最大值,帽子区域对应的矩形框长为面部区域长宽中的最大值的k倍,例如k=0.7。通过这种方式可以粗略的确定出各区域位置,只需要找出面部区域,然后根据位置关系来确定其他区域的位置,这里的帽子区域作为第一帽子区域、服装区域作为第一服装区域,以区别于下文中出现的第二帽子区域和第二服装区域。
步骤205,对目标人像图片进行语义分割,确定目标人像图片对应的至少一个候选帽子区域以及至少一个候选服装区域。
步骤206,基于第一帽子区域,从至少一个候选帽子区域中选择第二帽子区域,以及基于第一服装区域,从至少一个候选服装区域中选择第二服装区域。
步骤207,分别计算第二帽子区域以及第二服装区域中每个像素点的RGB值,并根据RGB值分别确定第二帽子区域以及第二服装区域的主题颜色。
在步骤205至步骤207中,还可以对目标人像图片进行精细的区域分割,语义分割是一种细粒度的图像分类方法,将目标人像图片输入至预设的语义分割模型中可以得出图片中每个像素的标签,标签可以为面部标签、帽子标签、服装标签等等,通过语义分割模型可以得出一个标签矩阵,矩阵中的元素与图片中的像素点数量相同,矩阵中的每个标签用来表示相应像素点是面部、帽子或者是服装等等。
但是语义分割模型进行图片分割可能会得出多个相同的标签区域,例如得到多个帽子区域、多个服装区域,这对后续的特征提取会造成干扰,因此可以利用步骤204中确定的第一帽子区域和第二帽子区域的位置对语义分割模型的分割结果进行校准,本实施例将通过语义分割模型得出的帽子区域和服装区域标记为候选帽子区域和候选服装区域,从而基于第一帽子区域的位置从候选帽子区域中选取一个作为第二帽子区域,同理基于第一服装区域的位置从候选服装区域中选取一个作为第二服装区域,图5示出了本申请实施例提供的一种区域分割结果,如图5所示,上半部分为目标人像图片,下半部分为与目标人像图片对应的面部区域、第二帽子区域、第二服装区域的识别结果。当然,语义分割模型还可以对面部区域进行分割得到第二面部区域,具体方法与第二帽子区域和第二服装区域的确定方式相同,在此不再赘述。
通过上述方式得出第二帽子区域和第二服装区域之后,可以根据第二帽子区域和第二服装区域对应的每个像素点的颜色,提取出该区域对应的主题色,具体可以计算第二帽子区域中每个像素点的RGB值,并求取平均值作为帽子的主题色,第二服装区域同理。通过确定主题色可以在后续生成动漫人像图片时能够生成与原始图片颜色相近的动漫图片,使得生成的动漫图片更贴近于原始图片。并且基于第一帽子区域和第一服装区域来确定用于主题色提取的第二帽子区域和第二服装区域,可以避免语义分割模型分割出多个相同区域(例如多个帽子区域或多个服装区域)造成的颜色提取干扰,有助于提取出更贴近原始图片的主题色。
在本申请实施例中,人像区域还可以包括头发区域和背景区域,进一步的,对头发颜色和背景颜色也进行提取。具体地,对目标人像图片进行语义分割,确定目标人像图片对应的头发区域和背景区域;分别计算头发区域以及背景区域中每个像素点的RGB值,并根据RGB值分别确定头发区域以及背景区域的主题颜色。在该实施例中,本申请可以直接利用语义分割模型识别头发区域和背景区域,并在后续的区域特征提取过程中直接利用语义分割模型分割出的头发区域进行头发特征提取。
步骤208,提取至少一个人像区域对应的区域特征,并从素材库中获取与区域特征相匹配的素材。
在本申请实施例中,具体地,将面部区域对应的图片输入至预设面部特征分类模型中,得到面部特征;将第一帽子区域对应的图片输入至预设帽子特征分类模型中,得到帽子款式;将第一服装区域对应的图片输入至预设服装特征分类模型中,得到服装款式。从素材库中获取与面部特征匹配的面部素材、与帽子款式匹配的帽子素材以及与服装款式匹配的服装素材。
在上述实施例中,预设面部特征分类模型、预设帽子特征分类模型以及预设服装特征分类模型可以基于Mobilenet-v2进行训练,其中,面部特征分类模型为多标签分类模型,输入面部区域图片后可以输出眼睛、鼻子、嘴部、眉毛、性别、眼镜等等多个特征,帽子特征分类模型和服装特征分类模型输出帽子款式、服装款式即可。而后根据区域特征从素材库中找出与面部特征、帽子款式、服装款式匹配的素材,其中,面部素材可以为眼睛素材、鼻子素材、嘴巴素材、眼镜素材等等,帽子款式可以包括棒球帽、礼帽、贝雷帽等等,为了实现卡通图像与原始的目标人像图片的精准匹配,还可以对不同帽子款式做出更细致的划分,以礼帽为例,礼帽的款式信息具体可以包括材质、帽檐宽度与帽子高度的比例、帽子顶部的形状、佩戴帽子时帽子遮盖的头部位置以及结合面部特征得出的帽子长宽参数与脸部长短参数之间的比例等等,服装款式可以包括风衣、西服、马甲、POLO衫、T恤、背心、连衣裙、西裤、休闲裤、笔杆裤、7分裤,9分裤,短裤,热裤,超短裙,短裙,中裙,长裙等等,同样服装款式也可以做出更细致的划分,以连衣裙为例,连衣裙的款式信息具体可以包括材质、腰线位置、上半身与下半身的比例、袖子长度、领口形状、裙摆形状、裙身长宽比例等等,通过对帽子、服装的多维度参数进行设置可以使得得出的帽子素材、服装素材与目标人像图片中的帽子和服装更匹配,进一步有助于得到与目标人像图片更接近的动漫图片。
步骤209,基于主题颜色,分别对相应区域对应的素材进行渲染。
步骤210,根据渲染后的素材,生成动漫人像图片。
在上述实施例中,选中的素材可以基于从各区域提取出的主题色进行渲染,使渲染后的素材更贴近于原始图片的颜色。进行素材渲染后,可以利用渲染后的素材生成动漫人像图片。
步骤211,输出动漫人像图片以及预设素材。
步骤212,接收对动漫人像图片中素材的替换指令,替换指令包括动漫人像图片中的素材对应的标识以及预设素材中的素材对应的标识。
步骤213,基于替换指令,对动漫人像图片进行素材替换。
在步骤211至步骤213中,生成动漫人像图片后,客户端将图片进行输出展示,并同时展示一些可以用于替换图片中素材的预设素材,用户可以在客户端上进行替换操作,这样可以让用户对客户端生成的二次元形象的每个部位进行替换,选择自己想要的五官、配饰、服装和背景,打造自己的专属动漫头像,增加用户参与感,提升用户体验。
进一步的,作为图1方法的具体实现,本申请实施例提供了一种动漫人像的生成装置,如图3所示,该装置包括:
人像图片获取模块301,用于获取目标人像图片;
区域分割模块302,用于对目标人像图片进行区域分割,得到至少一个人像区域,至少一个人像区域包括面部区域;
素材获取模块303,用于提取至少一个人像区域对应的区域特征,并从素材库中获取与区域特征相匹配的素材;
图片生成模块304,用于根据素材,生成动漫人像图片。
在具体的应用场景中,如图4所示,人像区域还包括第一帽子区域以及第一服装区域;区域分割模块302,具体包括:
面部区域获取单元3021,用于获取目标人像图片对应的面部区域;
装饰区域获取单元3022,用于基于面部区域的位置,确定第一帽子区域以及第一服装区域,其中,第一帽子区域的中心点位于面部区域的中心点上方,第一服装区域的中心点位于面部区域的中心点下方。
在具体的应用场景中,面部区域、第一帽子区域以及第一服装区域通过矩形框表征,第一帽子区域的中心点为面部区域的上顶边中点,第一帽子区域对应的矩形框宽为max(h,w),高为k×max(h,w),其中,h为面部区域对应矩形框的高,w为面部区域对应矩形框的宽。
在具体的应用场景中,如图4所示,素材获取模块303,具体包括:
面部特征获取单元3031,用于将面部区域对应的图片输入至预设面部特征分类模型中,得到面部特征;
帽子款式获取单元3032,用于将第一帽子区域对应的图片输入至预设帽子特征分类模型中,得到帽子款式;
服装款式获取单元3033,用于将第一服装区域对应的图片输入至预设服装特征分类模型中,得到服装款式。
在具体的应用场景中,如图4所示,素材获取模块33,具体包括:
素材获取单元3034,用于从素材库中获取与面部特征匹配的面部素材、与帽子款式匹配的帽子素材以及与服装款式匹配的服装素材。
在具体的应用场景中,如图4所示,该装置还包括:
候选区域获取模块305,用于对目标人像图片进行语义分割,确定目标人像图片对应的至少一个候选帽子区域以及至少一个候选服装区域;
第一装饰区域获取模块306,用于基于第一帽子区域,从至少一个候选帽子区域中选择第二帽子区域,以及基于第一服装区域,从至少一个候选服装区域中选择第二服装区域;
第一主题色计算模块307,用于分别计算第二帽子区域以及第二服装区域中每个像素点的RGB值,并根据RGB值分别确定第二帽子区域以及第二服装区域的主题颜色。
在具体的应用场景中,如图4所示,该装置还包括:
第二装饰区域获取模块308,用于对目标人像图片进行语义分割,确定目标人像图片对应的头发区域和背景区域;
第二主题色计算模块309,用于分别计算头发区域以及背景区域中每个像素点的RGB值,并根据RGB值分别确定头发区域以及背景区域的主题颜色。
在具体的应用场景中,如图4所示,图片生成模块304,具体包括:
渲染单元3041,用于基于主题颜色,分别对相应区域对应的素材进行渲染;
图片生成单元3042,用于根据渲染后的素材,生成动漫人像图片。
在具体的应用场景中,如图4所示,人像图片获取模块301,具体包括:
人脸检测单元3011,用于接收目标图片,并检测目标图片中的人脸数量和人脸位置;
人像图片确定单元3012,用于当人脸数量大于1时,输出对人脸位置的选择提示信息,并基于接收到的对任一人脸位置的选择,确定与任一人脸位置对应的目标人像图片。
在具体的应用场景中,如图4所示,该装置还包括:
输出模块310,用于输出动漫人像图片以及预设素材;
替换指令接收模块311,用于接收对动漫人像图片中素材的替换指令,替换指令包括动漫人像图片中的素材对应的标识以及预设素材中的素材对应的标识;
素材替换模块312,用于基于替换指令,对动漫人像图片进行素材替换。
需要说明的是,本申请实施例提供的一种动漫人像的生成装置所涉及各功能单元的其他相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
基于上述如图1和图2所示方法,相应的,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述如图1和图2所示的动漫人像的生成方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法,以及图3、图4所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种计算机设备,具体可以为个人计算机、服务器、网络设备等,该计算机设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1和图2所示的动漫人像的生成方法。
可选地,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现对目标人像图片进行区域分割,得到包含面部区域的至少一个人像区域,从而从每个人像区域中提取出相应的区域特征,按照区域特征从预设的素材库中查找匹配的卡通素材,进而利用查找出的卡通素材生成动漫人像图片。本申请实施例相比于现有技术中对整张图片进行人脸特征提取的方式相比,提出了对目标人像图片进行区域分割的思想,将图片分割成包含面部区域的多个人像区域,从而对不同区域的区域特征进行提取,不仅减少了面部特征提取的计算量,还增加了特征提取维度可以获取更多区域的特征,并且基于该区域分割的思想也可以避免对某个区域特征提取时其他区域对该区域造成的干扰,使得生成图片与原始的目标人像图片更加相似。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (13)
1.一种动漫人像的生成方法,其特征在于,包括:
获取目标人像图片;
对所述目标人像图片进行区域分割,得到至少一个人像区域,所述至少一个人像区域包括面部区域;
提取所述至少一个人像区域对应的区域特征,并从素材库中获取与所述区域特征相匹配的素材;
根据所述素材,生成动漫人像图片。
2.根据权利要求1所述的方法,其特征在于,所述人像区域还包括第一帽子区域以及第一服装区域;所述对所述目标人像图片进行区域分割,得到至少一个人像区域,具体包括:
获取所述目标人像图片对应的所述面部区域;
基于所述面部区域的位置,确定所述第一帽子区域以及所述第一服装区域,其中,所述第一帽子区域的中心点位于所述面部区域的中心点上方,所述第一服装区域的中心点位于所述面部区域的中心点下方。
3.根据权利要求2所述的方法,其特征在于,所述面部区域、所述第一帽子区域以及所述第一服装区域通过矩形框表征,所述第一帽子区域的中心点为所述面部区域的上顶边中点,所述第一帽子区域对应的矩形框宽为max(h,w),高为k×max(h,w),其中,h为所述面部区域对应矩形框的高,w为所述面部区域对应矩形框的宽,k为预设系数。
4.根据权利要求2所述的方法,其特征在于,所述提取所述至少一个人像区域对应的区域特征,具体包括:
将所述面部区域对应的图片输入至预设面部特征分类模型中,得到面部特征;
将所述第一帽子区域对应的图片输入至预设帽子特征分类模型中,得到帽子款式;
将所述第一服装区域对应的图片输入至预设服装特征分类模型中,得到服装款式。
5.根据权利要求4所述的方法,其特征在于,所述从素材库中获取与所述区域特征相匹配的素材,具体包括:
从所述素材库中获取与所述面部特征匹配的面部素材、与所述帽子款式匹配的帽子素材以及与所述服装款式匹配的服装素材。
6.根据权利要求2所述的方法,其特征在于,所述基于所述面部区域的位置,确定第一帽子区域以及第一服装区域之前,所述方法还包括:
对所述目标人像图片进行语义分割,确定所述目标人像图片对应的至少一个候选帽子区域以及至少一个候选服装区域;
所述基于所述面部区域的位置,确定第一帽子区域以及第一服装区域之后,所述方法还包括:
基于所述第一帽子区域,从所述至少一个候选帽子区域中选择第二帽子区域,以及基于所述第一服装区域,从所述至少一个候选服装区域中选择第二服装区域;
分别计算所述第二帽子区域以及所述第二服装区域中每个像素点的RGB值,并根据所述RGB值分别确定所述第二帽子区域以及所述第二服装区域的主题颜色。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述目标人像图片进行语义分割,确定所述目标人像图片对应的头发区域和背景区域;
分别计算所述头发区域以及所述背景区域中每个像素点的RGB值,并根据所述RGB值分别确定所述头发区域以及所述背景区域的主题颜色。
8.根据权利要求7所述的方法,其特征在于,所述根据所述素材,生成动漫人像图片,具体包括:
基于所述主题颜色,分别对相应区域对应的所述素材进行渲染;
根据渲染后的素材,生成所述动漫人像图片。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取目标人像图片,具体包括:
接收目标图片,并检测所述目标图片中的人脸数量和人脸位置;
当所述人脸数量大于1时,输出对所述人脸位置的选择提示信息,并基于接收到的对任一人脸位置的选择,确定与所述任一人脸位置对应的所述目标人像图片。
10.根据权利要求9所述的方法,其特征在于,所述生成动漫人像图片之后,所述方法还包括:
输出所述动漫人像图片以及预设素材;
接收对所述动漫人像图片中素材的替换指令,所述替换指令包括所述动漫人像图片中的素材对应的标识以及所述预设素材中的素材对应的标识;
基于所述替换指令,对所述动漫人像图片进行素材替换。
11.一种动漫人像的生成装置,其特征在于,包括:
人像图片获取模块,用于获取目标人像图片;
区域分割模块,用于对所述目标人像图片进行区域分割,得到至少一个人像区域,所述至少一个人像区域包括面部区域;
素材获取模块,用于提取所述至少一个人像区域对应的区域特征,并从素材库中获取与所述区域特征相匹配的素材;
图片生成模块,用于根据所述素材,生成动漫人像图片。
12.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的动漫人像的生成方法。
13.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的动漫人像的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010678575.4A CN111862116A (zh) | 2020-07-15 | 2020-07-15 | 动漫人像的生成方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010678575.4A CN111862116A (zh) | 2020-07-15 | 2020-07-15 | 动漫人像的生成方法及装置、存储介质、计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111862116A true CN111862116A (zh) | 2020-10-30 |
Family
ID=72983360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010678575.4A Pending CN111862116A (zh) | 2020-07-15 | 2020-07-15 | 动漫人像的生成方法及装置、存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862116A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489169A (zh) * | 2020-12-17 | 2021-03-12 | 脸萌有限公司 | 人像图像处理方法及装置 |
| CN112562034A (zh) * | 2020-12-25 | 2021-03-26 | 咪咕文化科技有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN112581564A (zh) * | 2020-12-24 | 2021-03-30 | 咪咕文化科技有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN112734874A (zh) * | 2021-01-04 | 2021-04-30 | 厦门美图之家科技有限公司 | 油画生成方法、装置、计算机设备和存储介质 |
| CN112784854A (zh) * | 2020-12-30 | 2021-05-11 | 成都云盯科技有限公司 | 基于数理统计的服装颜色分割提取方法、装置和设备 |
| CN115878835A (zh) * | 2021-09-26 | 2023-03-31 | 天翼爱音乐文化科技有限公司 | 一种漫画背景音乐匹配方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805135A (zh) * | 2018-06-14 | 2018-11-13 | 深圳码隆科技有限公司 | 一种服装尺寸数据识别方法、装置和用户终端 |
| US20190130275A1 (en) * | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| US20190155374A1 (en) * | 2015-03-05 | 2019-05-23 | Magic Leap, Inc. | Systems and methods for augmented reality |
| CN109859299A (zh) * | 2019-03-27 | 2019-06-07 | 腾讯科技(深圳)有限公司 | 人像图片处理方法、装置、计算机可读存储介质和计算机设备 |
| CN111260763A (zh) * | 2020-01-21 | 2020-06-09 | 厦门美图之家科技有限公司 | 基于人像的卡通形象生成方法、装置、设备及存储介质 |
-
2020
- 2020-07-15 CN CN202010678575.4A patent/CN111862116A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190155374A1 (en) * | 2015-03-05 | 2019-05-23 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US20190130275A1 (en) * | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| CN108805135A (zh) * | 2018-06-14 | 2018-11-13 | 深圳码隆科技有限公司 | 一种服装尺寸数据识别方法、装置和用户终端 |
| CN109859299A (zh) * | 2019-03-27 | 2019-06-07 | 腾讯科技(深圳)有限公司 | 人像图片处理方法、装置、计算机可读存储介质和计算机设备 |
| CN111260763A (zh) * | 2020-01-21 | 2020-06-09 | 厦门美图之家科技有限公司 | 基于人像的卡通形象生成方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JIAN ZHAO 等: "Understanding Humans in Crowded Scenes: Deep Nested Adversarial Learning and A New Benchmark for Multi-Human Parsing", 《ARXIV》 * |
| JIANSHU LI等: "Multi-Human Parsing in the Wild", 《ARXIV》 * |
| 沈晔湖 等: "用于个性化人脸动漫生成的自动头发提取方法", 《计算机辅助设计与图形学学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489169A (zh) * | 2020-12-17 | 2021-03-12 | 脸萌有限公司 | 人像图像处理方法及装置 |
| CN112489169B (zh) * | 2020-12-17 | 2024-02-13 | 脸萌有限公司 | 人像图像处理方法及装置 |
| CN112581564A (zh) * | 2020-12-24 | 2021-03-30 | 咪咕文化科技有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN112562034A (zh) * | 2020-12-25 | 2021-03-26 | 咪咕文化科技有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN112562034B (zh) * | 2020-12-25 | 2022-07-01 | 咪咕文化科技有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN112784854A (zh) * | 2020-12-30 | 2021-05-11 | 成都云盯科技有限公司 | 基于数理统计的服装颜色分割提取方法、装置和设备 |
| CN112784854B (zh) * | 2020-12-30 | 2023-07-14 | 成都云盯科技有限公司 | 基于数理统计的服装颜色分割提取方法、装置和设备 |
| CN112734874A (zh) * | 2021-01-04 | 2021-04-30 | 厦门美图之家科技有限公司 | 油画生成方法、装置、计算机设备和存储介质 |
| CN115878835A (zh) * | 2021-09-26 | 2023-03-31 | 天翼爱音乐文化科技有限公司 | 一种漫画背景音乐匹配方法、装置及存储介质 |
| CN115878835B (zh) * | 2021-09-26 | 2024-06-11 | 天翼爱音乐文化科技有限公司 | 一种漫画背景音乐匹配方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7598917B2 (ja) | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 | |
| CN111862116A (zh) | 动漫人像的生成方法及装置、存储介质、计算机设备 | |
| EP2718902B1 (en) | Generation of avatar reflecting player appearance | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| US20210192858A1 (en) | Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same | |
| US8908904B2 (en) | Method and system for make-up simulation on portable devices having digital cameras | |
| CN109325988B (zh) | 一种面部表情合成方法、装置及电子设备 | |
| US12148108B2 (en) | Light and rendering of garments | |
| CN108229559B (zh) | 服饰检测方法、装置、电子设备、程序和介质 | |
| WO2023039183A1 (en) | Controlling interactive fashion based on facial expressions | |
| US20230020218A1 (en) | Personalized try-on ads | |
| CN105405157B (zh) | 肖像画生成装置、肖像画生成方法 | |
| CN108885794A (zh) | 在用户的真实人体模型上虚拟试穿衣服 | |
| CN111435433A (zh) | 信息处理装置、信息处理方法以及存储介质 | |
| WO2023088277A1 (zh) | 虚拟穿戴方法、装置、设备、存储介质及程序产品 | |
| CN111046763A (zh) | 一种人像卡通化的方法和装置 | |
| CN111767817B (zh) | 一种服饰搭配方法、装置、电子设备及存储介质 | |
| CN112190921A (zh) | 一种游戏交互方法及装置 | |
| WO2023138345A1 (zh) | 虚拟形象生成方法和系统 | |
| KR20140124087A (ko) | 사용자 단말기를 이용한 개인 스타일 추천 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체 | |
| CN114820907B (zh) | 人脸图像卡通化处理方法、装置、计算机设备和存储介质 | |
| CN114723860B (zh) | 虚拟形象的生成方法、装置、设备及存储介质 | |
| JP2009521065A (ja) | カリカチュア生成システムとその方法およびその記録媒体 | |
| CN108010038B (zh) | 基于自适应阈值分割的直播服饰装扮方法及装置 | |
| CN115100712A (zh) | 表情识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |