[go: up one dir, main page]

CN111462294B - 一种图像处理方法、电子设备及计算机可读存储介质 - Google Patents

一种图像处理方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111462294B
CN111462294B CN202010231306.3A CN202010231306A CN111462294B CN 111462294 B CN111462294 B CN 111462294B CN 202010231306 A CN202010231306 A CN 202010231306A CN 111462294 B CN111462294 B CN 111462294B
Authority
CN
China
Prior art keywords
shadow
target
image
generation information
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010231306.3A
Other languages
English (en)
Other versions
CN111462294A (zh
Inventor
李立锋
白保军
王科
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical MIGU Video Technology Co Ltd
Priority to CN202010231306.3A priority Critical patent/CN111462294B/zh
Publication of CN111462294A publication Critical patent/CN111462294A/zh
Application granted granted Critical
Publication of CN111462294B publication Critical patent/CN111462294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种图像处理方法、电子设备及计算机可读存储介质,其中所述方法包括:获取目标图像,所述目标图像中包含实景对象和虚拟对象;在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。本发明针对实现虚拟对象和实景对象的合拍场景,能够在实景对象对应有第一影子图像的情况下,保证合拍图像效果的真实性。

Description

一种图像处理方法、电子设备及计算机可读存储介质
技术领域
本发明涉及通信技术领域,尤其涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。通过AR技术可以实现虚拟对象和实景对象的合成拍摄,在合拍虚拟对象和实景对象时,如果实景对象在某光源下产生阴影(如人在太阳光下可能在地面形成影子),而该阴影也被拍摄到合拍图像的情况下,由于虚拟对象在通过模型生成时可能不具有阴影,从而影响合拍图像的真实效果。
发明内容
本发明提供一种图像处理方法、电子设备及计算机可读存储介质,解决了现有技术中由于虚拟对象在通过模型生成时可能不具有阴影,从而影响合拍图像的真实效果的问题。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供了一种图像处理方法,应用于电子设备,所述方法包括:
获取目标图像,所述目标图像中包含实景对象和虚拟对象;
在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;
根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选地,所述确定目标影子生成信息的步骤,包括:
根据所述第一影子图像,确定第一影子生成信息,将其作为所述目标影子生成信息;或者,
根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息。
可选地,在根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息的情况下,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,包括:
去除所述目标图像中的所述第一影子图像;
根据所述第二影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,以及所述实景对象的第三影子图像。
可选地,所述根据所述第一影子图像,确定第一影子生成信息的步骤,包括:
获取所述第一影子图像的第一灰度值;
在所述第一灰度值小于预设阈值的情况下:根据第一影子生成策略,确定所述第一影子生成信息;
在所述第一灰度值大于或等于所述预设阈值的情况下:根据第二影子生成策略,确定所述第一影子生成信息。
可选地,所述根据第一影子生成策略,确定所述第一影子生成信息的步骤,包括以下至少一项:
根据所述第一灰度值,确定所述第一影子生成信息中的第二灰度值;
根据所述虚拟对象的形状,确定所述第一影子生成信息中的目标形状;
根据所述虚拟对象的尺寸,确定所述第一影子生成信息中的目标尺寸。
可选地,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,包括:
根据所述第二灰度值、所述目标形状和所述目标尺寸中的至少一个,确定所述第二影子图像;
根据预定光源方向,确定所述第二影子图像在所述目标图像中的目标位置;
在所述目标位置,生成所述第二影子图像。
可选地,所述根据第二影子生成策略,确定所述第一影子生成信息的步骤,包括:
获取所述实景对象的第一影子对应的光源方向;
根据所述第一灰度值,确定第二目标灰度值;
将所述第一影子对应的光源方向和所述第二目标灰度值确定为所述第一影子生成信息。
可选地,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,包括:
根据所述第一影子对应的光源方向和所述第二目标灰度值,对所述目标图像中的所述虚拟对象进行影子渲染处理,生成所述第二影子图像;或者,
根据所述第一影子对应的光源方向和所述第二目标灰度值,通过平面投影阴影技术,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选地,所述获取所述实景对象的第一影子对应的光源方向的步骤,包括:
获取所述实景对象的第一影子所在投影面的目标长度;
获取所述实景对象相对于所述投影面的目标高度;
根据所述目标长度和所述目标高度,确定所述第一影子对应的光源方向。
可选地,所述获取所述实景对象的第一影子所在投影面的目标长度的步骤,包括:
建立所述投影面上的坐标系;
确定所述第一影子的第一影子位置在所述坐标系中的第一坐标;所述第一影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点;
确定所述第一影子的第二影子位置在所述坐标系中的第二坐标;所述第二影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;
根据所述第一坐标和所述第二坐标,计算得到所述第一影子所在投影面的目标长度。
可选地,所述获取所述实景对象相对于所述投影面的目标高度的步骤,包括:
获取所述实景对象的第一实景位置到所述电子设备的第一距离;所述第一实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置;
获取所述实景对象的第二实景位置到所述电子设备的第二距离;所述第二实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
第二方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
获取模块,用于获取目标图像,所述目标图像中包含实景对象和虚拟对象;
确定模块,用于在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;
生成模块,用于根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选地,所述确定模块包括:
第一确定子模块,用于根据所述第一影子图像,确定第一影子生成信息,将其作为所述目标影子生成信息;或者,
第二确定子模块,用于根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息。
可选地,在所述第二确定子模块根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息的情况下,所述生成模块包括:
处理子模块,用于去除所述目标图像中的所述第一影子图像;
第一生成子模块,根据所述第二影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,以及所述实景对象的第三影子图像。
可选地,所述第一确定子模块包括:
获取单元,用于获取所述第一影子图像的第一灰度值;
第一确定单元,用于在所述第一灰度值小于预设阈值的情况下:根据第一影子生成策略,确定所述第一影子生成信息;
第二确定单元,用于在所述第一灰度值大于或等于预设阈值的情况下:根据第二影子生成策略,确定所述第一影子生成信息。
可选地,所述第一确定单元包括以下至少一项:
第一确定子单元,用于根据所述第一灰度值,确定所述第一影子生成信息中的第二灰度值;
第二确定子单元,用于根据所述虚拟对象的形状,确定所述第一影子生成信息中的目标形状;
第三确定子单元,用于根据所述虚拟对象的尺寸,确定所述第一影子生成信息中的目标尺寸。
可选地,所述生成模块包括:
第三确定子模块,用于根据所述第二灰度值、所述目标形状和所述目标尺寸中的至少一个,确定所述第二影子图像;
第四确定子模块,用于根据预定光源方向,确定所述第二影子图像在所述目标图像中的目标位置;
第二生成子模块,用于在所述目标位置,生成所述第二影子图像。
可选地,所述第二确定单元包括:
获取子单元,用于获取所述实景对象的第一影子对应的光源方向;
第四确定子单元,用于根据所述第一灰度值,确定第二目标灰度值;
第五确定子单元,用于将所述第一影子对应的光源方向和所述第二目标灰度值确定为所述第一影子生成信息。
可选的,所述生成模块包括:
第三生成子模块,用于根据所述第一影子对应的光源方向和所述第二目标灰度值,对所述目标图像中的所述虚拟对象进行影子渲染处理,生成所述第二影子图像;或者,
第四生成子模块,用于根据所述第一影子对应的光源方向和所述第二目标灰度值,通过平面投影阴影技术,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选地,所述获取子单元具体用于:
获取所述实景对象的第一影子所在投影面的目标长度;
获取所述实景对象相对于所述投影面的目标高度;
根据所述目标长度和所述目标高度,确定所述第一影子对应的光源方向。
可选的,所述获取子单元还具体用于:
建立所述投影面上的坐标系;
确定所述第一影子的第一影子位置在所述坐标系中的第一坐标;所述第一影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点;
确定所述第一影子的第二影子位置在所述坐标系中的第二坐标;所述第二影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;
根据所述第一坐标和所述第二坐标,计算得到所述第一影子所在投影面的目标长度。
可选的,所述获取子单元还具体用于:
获取所述实景对象的第一实景位置到所述电子设备的第一距离;所述第一实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置;
获取所述实景对象的第二实景位置到所述电子设备的第二距离;所述第二实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
第三方面,本发明实施例还提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的图像处理方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
本发明的实施例,在获取的目标图像中包含有所述实景对象和虚拟对象,以及实景对象的第一影子图像的情况下,确定目标影子生成信息;根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。这样,在针对实现虚拟对象和实景对象的合拍场景,能够在实景对象对应有第一影子图像的情况下,在目标图像中生成虚拟对象的第二影子图像,以保证合拍图像效果的真实性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例的图像处理方法的流程图;
图2表示本发明实施例的目标图像的示意图;
图3表示本发明实施例的电子设备到地面任意一点距离的示意图;
图4表示本发明实施例的建立基于地面的坐标系的示意图;
图5表示本发明实施例的基于坐标系确定目标长度的示意图;
图6表示本发明实施例的确定目标高度的几何示意图;
图7表示本发明实施例的电子设备的实施结构示意图之一;
图8表示本发明实施例的电子设备的实施结构示意图之二。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
具体地,本发明提供一种图像处理方法,解决了现有技术中由于虚拟对象在通过模型生成时可能不具有阴影,从而影响合拍图像的真实效果的问题。
如图1所示,本发明实施例中的图像处理方法,应用于电子设备;可选的,该电子设备可以是具有AR功能的设备,如AR相机;也可以是与具有AR功能的设备建立通信连接的处理设备,该处理设备或者具有AR功能的设备能够执行下述图像处理方法的步骤。
具体的,所述方法包括:
步骤11:获取目标图像,所述目标图像中包含实景对象和虚拟对象;
可选的,所述目标图像可以是合拍实景对象和虚拟对象时的预览图像,也可以是合拍实景对象和虚拟对象得到的初始图像;如:该目标图像可以是一张图片,也可以是视频数据中的一帧图像,或者还可以是连续多帧图像(如动图)中的一张图片等。
其中,实景对象是真实环境中实际存在的对象,如真实环境中的人物、动物、植物、建筑、食物、静物等;虚拟对象可以是通过特定程序生成的3D模型或者平面模型等。
步骤12:在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;
可选的,采用阴影检测算法,检测出目标图像中对应所述实景对象的阴影部分,即第一影子图像;例如:可以采用阴影检测算法,检测出目标图像中的所有阴影部分,进一步还可以识别出目标图像中的实景对象(如识别目标图像中的实景拍摄主体);通过识别到的实景拍摄主体和阴影的位置,确定是否存在实景对象的第一影子图像。
例如:实景拍摄主体为人,人站立在地面上,光照人体可以在地面上形成影子,因此通过影子与实景拍摄主体的脚部接触点来确定实景拍摄主体对应的第一影子图像。当然,在实景拍摄主体与投影面没有接触点的情况下,还可以通过轮廓识别、光源检测等方式来确定实景拍摄主体对应的第一影子图像,本发明实施例不以此为限。
可选的,阴影检测算法包括但不限于:归一化植被指数(NormalizedVegetationIndex,NDVI)算法、开源计算机视觉库(Open Source Computer VisionLibrary,openCV)中的背景减法(BackgroundSubtractorKNN)、直方图、聚类、灰度边缘检测等方式,识别出目标图像中的阴影部分。
可选的,识别目标图像中的实景拍摄主体可以包括但不限于以下至少一项:
当实景拍摄主体为人物且包含面部特征的情况下,可以通过面部识别技术识别目标图像中的实景拍摄主体;
将位于目标图像中的目标区域范围内的实景对象,确定为实景拍摄主体;例如:目标区域可以是距离目标图像中心的预定距离的区域,即超出该区域外的部分,可以不进行识别处理;
将相对于该电子设备的距离在预定范围内的实景对象确定为实景拍摄主体;例如:将相对于该电子设备的距离小于或等于预设值m的实景对象确定为实景拍摄主体。或者将相对于该电子设备的距离最近的实景对象确定为待拍摄主体。其中,实景对象相对于该电子设备的距离可以是实景对象到电子设备中的摄像头的距离,也可以是电子设备中的摄像头和实景对象正投影于目标面时,两投影之间的距离(如人站在地面进行拍照时,实景对象相对于该电子设备的距离可以是摄像头正投影于地面的位置到人站立的位置之间的距离)。
如图2所示,在目标图像201中,包括虚拟对象203以及实景对象204/205;在针对目标图像201进行实景拍摄主体的检测时,由于通常在拍摄时会选择被拍摄主体位于靠近中间区域的位置,因此在识别主体时,可以仅对目标图像201的中间区域(如图2中虚线框内的区域)进行识别,以减小识别处理的时间,提高处理效率;
在实景对象204/205均为人物且存在脸部信息的情况下,通过人脸识别技术对虚线框内区域进行识别时,可能会识别到多个实景对象,如图2中的实景对象204/205;
进一步地,可以通过检测实景对象相对于电子设备的距离,例如:若当前场景为拍摄场景,则可以通过电子设备中的距离检测模块,获取实景对象204/205分别相对于电子设备的距离;若当前场景为拍摄图像后的图像处理阶段(如拍摄对象可能移动位置),则可以通过检测该目标图像201中实景对象204/205在一共同平面上,相对于目标参考对象的距离,如图2中实景对象204/205共同处于地面202上,可以将实景对象204在地面的位置(如图2中实景对象204对应的虚线)到图像的下侧边缘的距离(或者是模拟一个电子设备所在的位置),来等效为实景对象204到电子设备的距离,同样的方式可以等效得到实景对象205到电子设备的距离。如图2中,实景对象204到电子设备的距离小于实景对象205到电子设备的距离,可以将实景对象204确定为实景拍摄主体。
当然,识别实景拍摄主体除了可以采用上述方式之一或组合外,还可以是采用其他方式,只需要能够识别目标图像中的实景拍摄主体,以便于能够确定实景拍摄主体及其对应的影子图像即可,本发明实施例不以此为限。
步骤13:根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。
上述方案中,在获取的目标图像中包含有所述实景对象和虚拟对象,以及实景对象的第一影子图像的情况下,确定目标影子生成信息;根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。这样,在针对实现虚拟对象和实景对象的合拍场景,能够在实景对象对应有第一影子图像的情况下,在目标图像中生成虚拟对象的第二影子图像,以保证合拍图像效果的真实性。
可选的,上述实施例中所述确定目标影子生成信息的步骤,可以具体包括以下方式:
方式一:根据所述第一影子图像,确定第一影子生成信息,将其作为所述目标影子生成信息;
可选的,所述根据所述第一影子图像,确定第一影子生成信息的步骤,可以具体包括:
获取所述第一影子图像的第一灰度值;在所述第一灰度值小于预设阈值的情况下:根据第一影子生成策略,确定所述第一影子生成信息;在所述第一灰度值大于或等于所述预设阈值的情况下:根据第二影子生成策略,确定所述第一影子生成信息。
其中,第一影子图像的第一灰度值可以是该第一影子图像的平均灰度值,例如:在提取第一影子图像不同区域内灰度值的情况下,可能存在不同区域内的灰度值不同,这样通过计算平均灰度值的方式可以保证处理的准确性。
其中,所述根据第一影子生成策略,确定所述第一影子生成信息的步骤,可以包括以下至少一项:
根据所述第一灰度值,确定所述第一影子生成信息中的第二灰度值;
根据所述虚拟对象的形状,确定所述第一影子生成信息中的目标形状;
根据所述虚拟对象的尺寸,确定所述第一影子生成信息中的目标尺寸。
进一步地,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,可以具体包括:
根据所述第二灰度值、所述目标形状和所述目标尺寸中的至少一个,确定所述第二影子图像;根据预定光源方向,确定所述第二影子图像在所述目标图像中的目标位置;在所述目标位置,生成所述第二影子图像。
例如:当虚拟对象为站立的人物时,则可以将实景对象的第一影子图像的第一灰度值(如平均灰度值),作为生成虚拟对象的第二影子图像的灰度值,以保证目标图像中第一影子图像和第二影子图像的一致性;当然,也可以根据实际情况,在第一灰度值基础上进行一定程度的减弱,来确定生成虚拟对象的第二影子图像的灰度值。
同时,可以将一预定形状作为影子的形状,一预设尺寸作为该预定形状的尺寸,从而确定虚拟对象的第二影子图像;当然,也可以根据虚拟对象的轮廓,来确定虚拟对象的第二影子图像的形状和尺寸,从而确定虚拟对象的第二影子图像。
可选的,预定光源方向可以是虚拟对象的正上方,如:人体头部的正上方,以便于通过预设形状确定虚拟对象的影子形状。例如:预定光源方向为人体的头部正上方的情况下,可以将一椭圆作为第二影子图像的形状,以第一灰度值弱化后确定的第二灰度值作为该椭圆范围内的灰度值,以人物虚拟对象的肩部宽度确定椭圆,来确定人物虚拟对象的第二影子图像。
该实施例中,在所述第一灰度值小于预设阈值,即目标图像中的实景对象的第一影子图像较为模糊的情况下,由于人体肉眼对影子的感知会大幅降低,此时可以通过上述第一影子生成策略来生成虚拟对象的第二影子图像,在保证合拍虚拟对象和实景对象时合拍图像的真实效果的情况下,还有利于简化处理过程,提高处理效率。
可选的,所述根据第二影子生成策略,确定所述第一影子生成信息的步骤,可以具体包括:
获取所述实景对象的第一影子对应的光源方向;根据所述第一灰度值,确定第二目标灰度值;将所述第一影子对应的光源方向和所述第二目标灰度值确定为所述第二影子生成信息。
进一步地,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,可以具体包括:
根据所述第一影子对应的光源方向和所述第二目标灰度值,对所述目标图像中的所述虚拟对象进行影子渲染处理,生成所述第二影子图像;或者,根据所述第一影子对应的光源方向和所述第二目标灰度值,通过平面投影阴影技术,在所述目标图像中生成所述虚拟对象的第二影子图像。
例如:在虚拟对象是通过3D模型渲染的情况下,可以通过获得光源方向的基础上,对该3D模型进行影子实时渲染,来生成虚拟对象的第二影子图像;当然,也可以通过平面投影阴影(Planar Projected Shadows)技术等进行实时投影,来生成虚拟对象的第二影子图像。
该实施例中,在所述第一灰度值大于或等于预设阈值,即目标图像中的实景对象的第一影子图像较为清晰的情况下,由于人体肉眼对影子的感知程度增强,此时可以通过获取第一影子图像对应的光源方向,来生成虚拟对象的第二影子图像,进一步增强合拍虚拟对象和实景对象时合拍图像的真实效果。
可选的,在根据所述第一灰度值确定第二目标灰度值时,由于第二目标灰度的最终色值会受材质、反射等影响,因此,可以在获取到实景对象的第一影子图像的第一灰度后,以第一灰度的色值作为原始阴影色值A,并将A±10%灰度值区间分别作为虚拟对象影子对应的灰度值,然后再分别这些灰度值与第一灰度值进行比较,从而选取最相似的一个虚拟对象影子的灰度值作为最终色值。此外,由于材质原因,同一个影子里可能会有不同的灰度值,从而可能会出现与被实景对象影子的色值上下相差相同的灰度值,如实景对象影子的色值是x,出现2个灰度值分别是(x+u)和(x-u)。针对该情况,可以获取其平均灰度值作为原始阴影色值,只需满足虚拟对象和实景对象的影子的色值误差在一定范围内即可。
以下结合示例对获取实景对象的第一影子对应的光源方向进行具体说明:
示例一:所述获取所述实景对象的第一影子对应的光源方向的步骤,可以具体包括:
获取所述实景对象的第一影子所在投影面的目标长度;获取所述实景对象相对于所述投影面的目标高度;根据所述目标长度和所述目标高度,确定所述第一影子对应的光源方向。
以下结合图2中的示例,对上述方法进行具体说明:
可选的,以实景对象和虚拟对象为人物为例,且实景对象和虚拟对象站立于地面上;第一影子图像位于该地面上,即该地面为投影面;该目标高度即是实景对象的身高,该目标长度即为实景对象在地面上的影子沿人体身高方向的长度。
可选的,该目标长度和目标高度可以是实际尺寸(即实景中的尺寸),也可以是画面尺寸(即目标图像中的尺寸);当然,在目标长度选择了实际尺寸的情况下,该目标高度也应选取实际尺寸;在目标长度选择了画面尺寸的情况下,该目标高度也应选取画面尺寸。
其中,所述获取所述实景对象的第一影子所在投影面的目标长度的步骤,包括:
建立所述投影面上的坐标系;
确定所述第一影子的第一影子位置在所述坐标系中的第一坐标;所述第一影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点;
确定所述第一影子的第二影子位置在所述坐标系中的第二坐标;所述第二影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;
根据所述第一坐标和所述第二坐标,计算得到所述第一影子所在投影面的目标长度。
具体的,以图2所示的场景为例,确定地面作为投影面;如图3所示,A点位置为电子设备(或者说是摄像头)的位置,B点为地面中的任意一点;电子设备可以检测得到A点到B的距离,即图3中AB的长度(如通过TOF模块可以检测距离),AO的长度即是电子设备的高度,在电子设备固定的情况下,该高度已知(如检测或者手动输入),或者在电子设备不固定的情况下也可以通过检测得到;这样,在AB的长度和AO的长度确定的情况下,可以计算BO的长度。其中,计算BO的长度的方法也可以应用到上述计算实景对象到电子设备的距离的实施例中。
通过上述实施例可知O点到地面上任意一点的距离,这些点构成图4中的点阵;可选的,电子设备输出的画面为矩形,该矩形区域可以模拟为电子设备(如合拍机器、手机等),且有一部分是不可见画面(如图4中实心点阵部分),实心点阵区域可以模拟为电子设备的拍摄盲区;空心点阵可以模拟为可视区。
例如:可以选取点阵中经过O点所在的一条直线上的点,确定为X轴,与该X轴垂直的直线上的点,确定为Y轴。如图4所示,基于此可以建立一个参考空间,即构建该参考空间的网格坐标图(即图4中的点),以电子设备在该地面上的正投影位置作为坐标系的原点O,该地面作为坐标系中的平面XOY,即基于该地面建立坐标系。当然,该坐标系中的原点位置、X轴、Y轴、Z轴的选取仅为示例,还可以是除此之外的其他方式,本发明实施例不以此为限。
这样,地面上任意一点的坐标可知,即点阵中任意一点的坐标可知;例如图3中,O点坐标为(0,0,0),B点坐标为(x1,y1,z1);通过距离公式可知,BO的长度,即:
如图5所示,在基于地面建立坐标系的基础上,通过物体识别等方式,识别实景对象与地面的接触部位(如人体站立在地面的情况下,可以通过获取鞋子的几何图像),在实景对象与地面接触的情况下,该接触部位与所述第一影子的第一影子位置发生重合;取这个部位的中心点,作为实景对象的地面坐标,即所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点(即图4中的C位置),在实景对象与地面接触的情况下,C点坐标即为所述第一影子位置在所述坐标系中的第一坐标。
进一步地还可以通过影子识别,获取影子轮廓;通过该影子轮廓上各点坐标与C点坐标之间的距离,选取一个距离最远的点,也即是对应于所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;确定这个距离最远的点的坐标为第二影子位置在所述坐标系中的第二坐标;
此外,针对实景对象为人物的场景,还可以通过明暗恢复形状(Shapefromshading,SFS)算法,恢复影子形状,识别出影子的头部(即第二影子位置),再通过影子头部的中心点坐标作为该第二坐标。
这样,在获取到第一坐标和第二坐标的情况下,通过距离公式可以计算得到所述第一影子所在投影面的目标长度(即图5中BC的长度);例如:B点坐标为(x1,y1,z1),C点坐标为(x2,y2,z2),则所述第一影子所在投影面的目标长度,即:
此外,作为一种补充实施例,在该实景对象的第一影子中的一部分投影在第一平面(如地面),另一部投影在第二平面(如墙面)的情况下,可以分别计算第一平面上影子的长度以及第二平面上影子的长度;通过第一平面与第二平面之间的角度,可以将第二平面上影子的长度模拟到第一平面上对应的长度,从而可以确定实景对象在第一平面上的影子长度。
可选的,所述获取所述实景对象相对于所述投影面的目标高度的步骤,包括:
获取所述实景对象的第一实景位置到所述电子设备的第一距离;所述第一实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置;
获取所述实景对象的第二实景位置到所述电子设备的第二距离;所述第二实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
具体的,通过电子设备中的距离检测模块,可以检测电子设备到实景对象的第一实景位置(如实景对象为站立在地面上的人体的情况下,该第一实景位置可以是脚部),以及检测电子设备到实景对象的第二实景位置(如实景对象为站立在地面上的人体的情况下,该第二实景位置可以是头顶);例如:通过TOF模块从上到下或者从下到上进行扫描,可以分别扫描到第一实景位置和第二实景位置;从而可以检测到电子设备到第一实景位置的距离,以及电子设备到第二实景位置的距离;
如图6所示,A表示电子设备的位置,C表示第一实景位置,D表示第二实景位置;OC表示地面所在的平面,O点是A点在OC面上的正投影位置;一般情况下电子设备到O的高度h已知(或者也可以通过检测获得);A与C之间的长度a表示电子设备到第一实景位置的距离,A与D之间的长度b即为表示电子设备到第二实景位置的距离;
基于此,可以计算O点到C点之间的距离d,即:d2=a2-h2,从而可以确定A点到E点之间的距离;
进而可以通过公式:h12=b2-d2,得到D点到E点之间的距离h1;以及通过C点到E点之间的距离h2=h,可以得到C点到D点之间的距离,即目标高度h0,即:
同样的,当目标高度低于电子设备的到地面的高度h的情况下,也可以通过类似的方法,计算得到目标高度,此处不再赘述。
另外,在第一影子的目标长度和实景对象的目标高度均采用目标图像中的画面尺寸的情况下,还可以通过人体检测或物体识别等技术,识别出图像中实景对象的轮廓;如该实景对象为站立在地面的人体,则可以在图像中沿着人体高度的方向,确定从上至下触碰到的人体轮廓位置的第一个水平线,以及从下至上接触到人体轮廓的位置第一个水平线,并测量出两条水平线之间的距离,即为实景对象在图像中的高度;当然还可以通过人体检测或物体识别等技术,识别出图像中实景对象的轮廓之后,根据像素点的数量来确定实景对象在图像中的高度等,本发明实施例不以此为限。
进一步地,在计算得到实景对象的目标高度以及实景对象的第一影子的目标长度(或者通过类比的方式得到第一影子在投影面的目标长度)的基础上,可以计算得到光源的近似方向。
如图5所示,在目标高度即CD,和目标长度CB已知的情况下,可以计算出该直角三角形的斜边长度即BD,然后还可以计算出CB与BD的夹角。该夹角或该斜边,即为光源方向。
例如:CB与BD的夹角为x°,则tan x°=CD/CB;然后通过正切函数,可计算得到角度x°(即光源方向)。
示例二:所述获取所述实景对象的第一影子对应的光源方向的步骤,可以具体包括:
基于第一影子所在的投影面建立坐标系;
确定所述实景对象的目标实景位置在所述坐标系中的第三坐标;
确定所述第一影子中与所述目标实景位置对应的目标影子位置,在所述坐标系中的第四坐标;
根据所述第三坐标和所述第四坐标,确定所述实景对象的第一影子对应的光源方向。
该实施例中,通过建立坐标系的方式获取实景对象的一实景位置的坐标,以及获取影子中与该实景位置相应的点的坐标,进而通过这两个坐标可以计算两点之间的斜率,即为光源方向;这样可以不受实景对象与投影面的空间限制,即实景对象与投影面不接触的情况下也可以近似得到光源的方向。优选的,该实景位置的选择可以是:选择实景对象中区别较为明显的一物理位置(如对于人体来说可以是头顶位置,对于物体来说可以是一物理延长方向的最边缘位置等),本发明实施例不做具体限定。
需要说明的是,以上实施例是以实景对象为人体为例进行的说明,当实景对象为物体的情况下,该目标高度可以是该实景对象在一物理延长方向上的尺寸值,如对于桌子等物体来说也可以选择该物体的高度或者宽度等作为该目标长度等;优选的,可以是选择实景对象中区别较为明显的一物理延长方向的尺寸,本发明实施例不做具体限定。
方式二:根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息。
可选的,预设参数可以包括但不限于以下至少一项:预定光源方向、影子图像的预设灰度值,预设形状、预设尺寸等。
例如:虚拟对象和实景对象均为站立的人物,则可以将一预定形状(如椭圆)作为影子的形状,一预设尺寸作为该预定形状的尺寸,预定灰度值作为影子图像的灰度值,从而确定影子图像;
再例如:可以根据虚拟对象和实景对象的轮廓,来确定虚拟对象和实景对象各自影子的形状和尺寸;进而还可以根据预定灰度值作为影子图像的灰度值,从而确定影子图像。当然,还可以先获取虚拟对象和实景对象的类型,再根据预先设定的类型与预设形状之间的对应关系,来确定虚拟对象和实景对象的当前类型对应的影子形状等。
其中,预设光源方向可以用于确定影子图像在目标图像中的位置,例如:通过模拟一个光源作为虚拟对象和实景对象的投影光源,可以确定虚拟对象和实景对象的影子在目标图像中的位置。当然,也可以根据目标图像中的明暗区域(即目标图像中的亮度变化趋势)等来确定光源方向。
进一步地,在根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息的情况下,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,可以具体包括:
去除所述目标图像中的所述第一影子图像;根据所述第二影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,以及所述实景对象的第三影子图像。
例如:可以通过阴影抑制算法去除所述目标图像中所有阴影;将虚拟对象作为2D人物处理,并针对虚拟对象和实景对象以2D形式,进行阴影投射,生成2D阴影。
该实施例中,在目标图像中包含有实景对象对应的第一影子图像的情况下,可以将目标图像中的实景对象对应的第一影子图像去除掉,这样可以通过根据预定参数来分别确定实景对象和虚拟对象的影子的方式,在目标图像中分别生成实景对象和虚拟对象的影子,可以保证目标图像中实景对象和虚拟对象的影子强度(如灰度值)的一致性,并且可以方便调整和处理。
如图7所示,本发明实施例还提供了一种电子设备700,所述电子设备700可以具体包括:
获取模块710,用于获取目标图像,所述目标图像中包含实景对象和虚拟对象;
确定模块720,用于在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;
生成模块730,用于根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选地,所述确定模块720包括:
第一确定子模块,用于根据所述第一影子图像,确定第一影子生成信息,将其作为所述目标影子生成信息;或者,
第二确定子模块,用于根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息。
可选地,在所述第二确定子模块根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息的情况下,所述生成模块730包括:
处理子模块,用于去除所述目标图像中的所述第一影子图像;
第一生成子模块,根据所述第二影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,以及所述实景对象的第三影子图像。
可选地,所述第一确定子模块包括:
获取单元,用于获取所述第一影子图像的第一灰度值;
第一确定单元,用于在所述第一灰度值小于预设阈值的情况下:根据第一影子生成策略,确定所述第一影子生成信息;
第二确定单元,用于在所述第一灰度值大于或等于所述预设阈值的情况下:根据第二影子生成策略,确定所述第一影子生成信息。
可选地,所述第一确定单元包括以下至少一项:
第一确定子单元,用于根据所述第一灰度值,确定所述第一影子生成信息中的第二灰度值;
第二确定子单元,用于根据所述虚拟对象的形状,确定所述第一影子生成信息中的目标形状;
第三确定子单元,用于根据所述虚拟对象的尺寸,确定所述第一影子生成信息中的目标尺寸。
可选地,在所述第一确定单元根据第一影子生成策略,确定所述第一影子生成信息的情况下,所述生成模块730包括:
第三确定子模块,用于根据所述第二灰度值、所述目标形状和所述目标尺寸中的至少一个,确定所述第二影子图像;
第四确定子模块,用于根据预定光源方向,确定所述第二影子图像在所述目标图像中的目标位置;
第二生成子模块,用于在所述目标位置,生成所述第二影子图像。
可选地,所述第二确定单元包括:
获取子单元,用于获取所述实景对象的第一影子对应的光源方向;
第四确定子单元,用于根据所述第一灰度值,确定第二目标灰度值;
第五确定子单元,用于将所述第一影子对应的光源方向和所述第二目标灰度值确定为所述第一影子生成信息。
可选的,在所述第二确定单元根据第二影子生成策略,确定所述第一影子生成信息的情况下,所述生成模块730包括:
第三生成子模块,用于根据所述第一影子对应的光源方向和所述第二目标灰度值,对所述目标图像中的所述虚拟对象进行影子渲染处理,生成所述第二影子图像;或者,
第四生成子模块,用于根据所述第一影子对应的光源方向和所述第二目标灰度值,通过平面投影阴影技术,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选地,所述获取子单元具体用于:
获取所述实景对象的第一影子所在投影面的目标长度;
获取所述实景对象相对于所述投影面的目标高度;
根据所述目标长度和所述目标高度,确定所述第一影子对应的光源方向。
可选的,所述获取子单元还具体用于:
建立所述投影面上的坐标系;
确定所述第一影子的第一影子位置在所述坐标系中的第一坐标;所述第一影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点;
确定所述第一影子的第二影子位置在所述坐标系中的第二坐标;所述第二影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;
根据所述第一坐标和所述第二坐标,计算得到所述第一影子所在投影面的目标长度。
可选的,所述获取子单元还具体用于:
获取所述实景对象的第一实景位置到所述电子设备的第一距离;所述第一实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置;
获取所述实景对象的第二实景位置到所述电子设备的第二距离;所述第二实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
本发明实施例中的电子设备700可以实现以上至少一个实施例所述的图像处理方法的过程,并能达到相同的技术效果,为避免重复,此处不再赘述。
本发明的实施例的电子设备700,在获取的目标图像中包含有所述实景对象和虚拟对象,以及实景对象的第一影子图像的情况下,确定目标影子生成信息;根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。这样,在针对实现虚拟对象和实景对象的合拍场景,能够在实景对象对应有第一影子图像的情况下,在目标图像中生成虚拟对象的第二影子图像,以保证合拍图像效果的真实性。
如图8所示,本发明实施例还提供一种电子设备,可选地,所述电子设备,包括:处理器81,以及通过总线接口82与所述处理器81相连接的存储器83,所述存储器83用于存储所述处理器81在执行操作时所使用的程序和数据,处理器81调用并执行所述存储器83中所存储的程序和数据。
其中,收发机84与总线接口82连接,用于在处理器81的控制下接收和发送数据;处理器81用于读取存储器83中的程序。
具体地,所述处理器81用于执行所述计算机程序时实现以下步骤:
获取目标图像,所述目标图像中包含实景对象和虚拟对象;
在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;
根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
根据所述第一影子图像,确定第一影子生成信息,将其作为所述目标影子生成信息;或者,
根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
去除所述目标图像中的所述第一影子图像;
根据所述第二影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,以及所述实景对象的第三影子图像。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
获取所述第一影子图像的第一灰度值;
在所述第一灰度值小于预设阈值的情况下:根据第一影子生成策略,确定所述第一影子生成信息;
在所述第一灰度值大于或等于所述预设阈值的情况下:根据第二影子生成策略,确定所述第一影子生成信息。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤中的至少一项:
根据所述第一灰度值,确定所述第一影子生成信息中的第二灰度值;
根据所述虚拟对象的形状,确定所述第一影子生成信息中的目标形状;
根据所述虚拟对象的尺寸,确定所述第一影子生成信息中的目标尺寸。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
根据所述第二灰度值、所述目标形状和所述目标尺寸中的至少一个,确定所述第二影子图像;
根据预定光源方向,确定所述第二影子图像在所述目标图像中的目标位置;
在所述目标位置,生成所述第二影子图像。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
获取所述实景对象的第一影子对应的光源方向;
根据所述第一灰度值,确定第二目标灰度值;
将所述第一影子对应的光源方向和所述第二目标灰度值确定为所述第一影子生成信息。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
根据所述第一影子对应的光源方向和所述第二目标灰度值,对所述目标图像中的所述虚拟对象进行影子渲染处理,生成所述第二影子图像;或者,
根据所述第一影子对应的光源方向和所述第二目标灰度值,通过平面投影阴影技术,在所述目标图像中生成所述虚拟对象的第二影子图像。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
获取所述实景对象的第一影子所在投影面的目标长度;
获取所述实景对象相对于所述投影面的目标高度;
根据所述目标长度和所述目标高度,确定所述第一影子对应的光源方向。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
建立所述投影面上的坐标系;
确定所述第一影子的第一影子位置在所述坐标系中的第一坐标;所述第一影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点;
确定所述第一影子的第二影子位置在所述坐标系中的第二坐标;所述第二影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;
根据所述第一坐标和所述第二坐标,计算得到所述第一影子所在投影面的目标长度。
可选的,所述处理器81还用于执行所述计算机程序时实现以下步骤:
获取所述实景对象的第一实景位置到所述电子设备的第一距离;所述第一实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置;
获取所述实景对象的第二实景位置到所述电子设备的第二距离;所述第二实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
需要说明的是,在图8中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器81代表的一个或多个处理器和存储器83代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机84可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端,用户接口85还可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器81负责管理总线架构和通常的处理,存储器83可以存储处理器81在执行操作时所使用的数据。
本领域技术人员可以理解,实现上述实施例的全部或者部分步骤可以通过硬件来完成,也可以通过计算机程序来指示相关的硬件来完成,所述计算机程序包括执行上述方法的部分或者全部步骤的指令;且该计算机程序可以存储于一可读存储介质中,存储介质可以是任何形式的存储介质。
另外,本发明具体实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的图像处理方法中的步骤。且能达到相同的技术效果,为避免重复,这里不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

Claims (12)

1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取目标图像,所述目标图像中包含实景对象和虚拟对象;
在所述目标图像中包含有所述实景对象的第一影子图像的情况下,确定目标影子生成信息;
根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像;
所述确定目标影子生成信息的步骤,包括:
根据所述第一影子图像,确定第一影子生成信息,将其作为所述目标影子生成信息;
所述根据所述第一影子图像,确定第一影子生成信息的步骤,包括:
获取所述第一影子图像的第一灰度值;
在所述第一灰度值小于预设阈值的情况下:根据第一影子生成策略,确定所述第一影子生成信息;
在所述第一灰度值大于或等于所述预设阈值的情况下:根据第二影子生成策略,确定所述第一影子生成信息。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定目标影子生成信息的步骤,还包括:
根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息。
3.根据权利要求2所述的图像处理方法,其特征在于,在根据预设参数,确定第二影子生成信息,将其作为所述目标影子生成信息的情况下,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,包括:
去除所述目标图像中的所述第一影子图像;
根据所述第二影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,以及所述实景对象的第三影子图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据第一影子生成策略,确定所述第一影子生成信息的步骤,包括以下至少一项:
根据所述第一灰度值,确定所述第一影子生成信息中的第二灰度值;
根据所述虚拟对象的形状,确定所述第一影子生成信息中的目标形状;
根据所述虚拟对象的尺寸,确定所述第一影子生成信息中的目标尺寸。
5.根据权利要求4所述的图像处理方法,其特征在于,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像,包括:
根据所述第二灰度值、所述目标形状和所述目标尺寸中的至少一个,确定所述第二影子图像;
根据预定光源方向,确定所述第二影子图像在所述目标图像中的目标位置;
在所述目标位置,生成所述第二影子图像。
6.根据权利要求1所述的图像处理方法,其特征在于,所述根据第二影子生成策略,确定所述第一影子生成信息的步骤,包括:
获取所述实景对象的第一影子对应的光源方向;
根据所述第一灰度值,确定第二目标灰度值;
将所述第一影子对应的光源方向和所述第二目标灰度值确定为所述第一影子生成信息。
7.根据权利要求6所述的图像处理方法,其特征在于,所述根据所述目标影子生成信息,在所述目标图像中生成所述虚拟对象的第二影子图像的步骤,包括:
根据所述第一影子对应的光源方向和所述第二目标灰度值,对所述目标图像中的所述虚拟对象进行影子渲染处理,生成所述第二影子图像;或者,
根据所述第一影子对应的光源方向和所述第二目标灰度值,通过平面投影阴影技术,在所述目标图像中生成所述虚拟对象的第二影子图像。
8.根据权利要求6所述的图像处理方法,其特征在于,所述获取所述实景对象的第一影子对应的光源方向的步骤,包括:
获取所述实景对象的第一影子所在投影面的目标长度;
获取所述实景对象相对于所述投影面的目标高度;
根据所述目标长度和所述目标高度,确定所述第一影子对应的光源方向。
9.根据权利要求8所述的图像处理方法,其特征在于,所述获取所述实景对象的第一影子所在投影面的目标长度的步骤,包括:
建立所述投影面上的坐标系;
确定所述第一影子的第一影子位置在所述坐标系中的第一坐标;所述第一影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置对应的投影点;
确定所述第一影子的第二影子位置在所述坐标系中的第二坐标;所述第二影子位置是:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置对应的投影点;
根据所述第一坐标和所述第二坐标,计算得到所述第一影子所在投影面的目标长度。
10.根据权利要求8所述的图像处理方法,其特征在于,所述获取所述实景对象相对于所述投影面的目标高度的步骤,包括:
获取所述实景对象的第一实景位置到所述电子设备的第一距离;所述第一实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最近位置;
获取所述实景对象的第二实景位置到所述电子设备的第二距离;所述第二实景位置为:所述实景对象在垂直于所述投影面的方向上距离所述投影面的最远位置;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
11.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述的图像处理方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的图像处理方法的步骤。
CN202010231306.3A 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读存储介质 Active CN111462294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010231306.3A CN111462294B (zh) 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010231306.3A CN111462294B (zh) 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111462294A CN111462294A (zh) 2020-07-28
CN111462294B true CN111462294B (zh) 2024-03-22

Family

ID=71681554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231306.3A Active CN111462294B (zh) 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111462294B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734768B (zh) * 2020-12-31 2021-12-03 网御安全技术(深圳)有限公司 一种影像消失点的搜寻方法、装置及电子设备
CN114494659A (zh) * 2022-01-28 2022-05-13 歌尔科技有限公司 一种图像显示方法、装置、ar头戴设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052208A (ja) * 1999-08-06 2001-02-23 Mixed Reality Systems Laboratory Inc 画像処理方法、画像処理装置および記憶媒体
JP2008165784A (ja) * 2006-12-28 2008-07-17 Nhn Corp 静的影生成方法及び静的影生成システム
CN102396003A (zh) * 2009-04-17 2012-03-28 设计代码公司 用于向计算机图形中的对象添加阴影的方法
CN107025683A (zh) * 2017-03-30 2017-08-08 联想(北京)有限公司 一种信息处理方法及电子设备
CN108525298A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052208A (ja) * 1999-08-06 2001-02-23 Mixed Reality Systems Laboratory Inc 画像処理方法、画像処理装置および記憶媒体
JP2008165784A (ja) * 2006-12-28 2008-07-17 Nhn Corp 静的影生成方法及び静的影生成システム
CN102396003A (zh) * 2009-04-17 2012-03-28 设计代码公司 用于向计算机图形中的对象添加阴影的方法
CN107025683A (zh) * 2017-03-30 2017-08-08 联想(北京)有限公司 一种信息处理方法及电子设备
CN108525298A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高宇,宋汉辰,吴玲达.实景空间中虚拟对象嵌入技术研究.计算机工程与应用.2003,(第30期),全文. *

Also Published As

Publication number Publication date
CN111462294A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
US11210838B2 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
JP7387202B2 (ja) 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN108525298A (zh) 图像处理方法、装置、存储介质及电子设备
CN111563966B (zh) 虚拟内容显示方法、装置、终端设备及存储介质
CN113221767B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
JP2003044870A (ja) 信頼度データ生成方法及び装置
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
US20130194254A1 (en) Image processing apparatus, image processing method and program
CN114399610B (zh) 基于引导先验的纹理映射系统和方法
CN110232664A (zh) 一种基于增强现实的傩面具修复方法
CN111462294B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN113538704B (zh) 一种基于光源位置绘制虚拟对象光影的方法及设备
CN113552942A (zh) 一种基于光照强度显示虚拟对象的方法及设备
CN111651031A (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
GB2573593A (en) Augmented reality rendering method and apparatus
CN118196135A (zh) 图像处理方法、装置、存储介质、设备及程序产品
CN112562066B (zh) 图像重建方法和装置、电子设备
CN112929628B (zh) 虚拟视点合成方法、装置、电子设备及存储介质
JP5865092B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111462338B (zh) 一种图像处理方法、电子设备及计算机可读储介质
KR100618493B1 (ko) 3차원 영상 자동 생성 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant