[go: up one dir, main page]

CN110300316A - 视频中植入推送信息的方法、装置、电子设备及存储介质 - Google Patents

视频中植入推送信息的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110300316A
CN110300316A CN201910704475.1A CN201910704475A CN110300316A CN 110300316 A CN110300316 A CN 110300316A CN 201910704475 A CN201910704475 A CN 201910704475A CN 110300316 A CN110300316 A CN 110300316A
Authority
CN
China
Prior art keywords
image
video
implanted
prospect
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910704475.1A
Other languages
English (en)
Other versions
CN110300316B (zh
Inventor
生辉
陈戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910704475.1A priority Critical patent/CN110300316B/zh
Publication of CN110300316A publication Critical patent/CN110300316A/zh
Application granted granted Critical
Publication of CN110300316B publication Critical patent/CN110300316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种视频中植入推送信息的方法、装置、电子设备及存储介质；其中，方法包括：对待植入视频的帧图像进行实体识别，确定帧图像中实体对应的实体区域；获取对应实体区域的携带推送信息的待植入图像；以帧图像的实体区域为背景、以对应的待植入图像为前景，在帧图像的实体区域植入待植入图像，得到目标帧图像；调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配；基于调整后的目标帧图像进行视频合成，得到目标视频。如此，能够提升目标视频中推送信息与视频内容的和谐度。

Description

视频中植入推送信息的方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种视频中植入推送信息的方法、装置、电子设备及存储介质。
背景技术
在视频播放场景中，除了播放视频自身的内容外，还存在展示推送信息的需求，推送信息的展示方式之一为将推送信息植入视频，以在视频播放过程中展示植入的推送信息。
相关技术中，对于推送信息在视频中的植入，需要专业人员手动完成，并对植入的推送信息进行手动调节，以避免推送信息植入后与视频内容不和谐所造成的视觉上的突兀，然此种植入方式的植入效率低、人力成本高。
发明内容
本发明实施例提供一种视频中植入推送信息的方法、装置、电子设备及存储介质，能够自动实现推送信息在视频中的植入，以及推送信息植入后推送信息与视频内容的和谐化。
本发明实施例提供一种视频中植入推送信息的方法，包括：
对待植入视频的帧图像进行实体识别，确定所述帧图像中所述实体对应的实体区域；
获取对应所述实体区域的携带推送信息的待植入图像；
以所述帧图像的实体区域为背景、以对应的所述待植入图像为前景，在所述帧图像的实体区域植入所述待植入图像，得到目标帧图像；
调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；
基于调整后的目标帧图像进行视频合成，得到目标视频。
本发明实施例还提供一种视频中植入推送信息的装置，所述装置包括：
识别单元，用于对待植入视频的帧图像进行实体识别，确定所述帧图像中所述实体对应的实体区域；
获取单元，用于获取对应所述实体区域的携带推送信息的待植入图像；
植入单元，用于以所述帧图像的实体区域为背景、以对应的所述待植入图像为前景，在所述帧图像的实体区域植入所述待植入图像，得到目标帧图像；
调整单元，用于调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；
合成单元，用于基于调整后的目标帧图像进行视频合成，得到目标视频。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的视频中植入推送信息的方法。
本发明实施例还提供了一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的视频中植入推送信息的方法。
应用本发明实施例具有以下有益效果：
1)、以待植入视频的帧图像的实体区域为背景、以对应的待植入图像为前景，在帧图像的实体区域植入待植入图像，得到目标帧图像，实现了推送信息在待植入视频的自动植入，提高了推送信息的植入效率；
2)、通过调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配，实现了植入推送信息后，视频帧图像中前景与背景自动的和谐化处理，使得目标视频中推送信息与视频内容的和谐化，大大提升用户在观看视频时对推送信息的接收度。
附图说明
图1为本发明实施例提供的视频中植入推送信息的系统100的架构示意图；
图2为本发明实施例提供的服务器的硬件结构示意图；
图3为本发明实施例提供的视频中植入推送信息的方法的流程示意图；
图4为本发明实施例提供的视频的一个可选的数据结构示意图；
图5为本发明实施例提供的植入推送信息前的视频的帧图像示意图；
图6为本发明实施例提供的植入推送信息后的视频的帧图像示意图；
图7为本发明实施例提供的筛选对应桌面区域的待植入图像的示意图；
图8为本发明实施例提供的确定呈现角度与桌面相匹配的三维模型及海报的示意图；
图9为本发明实施例提供的在相框区域植入待植入图像的示意图；
图10为本发明实施例提供的在电视机屏幕区域植入待植入图像的示意图；
图11为本发明实施例提供的对截取图像中前景的图像参数进行调整的示意图；
图12为本发明实施例提供的进行图像参数调节后的目标帧图像的示意图；
图13为本发明实施例提供的视频中植入推送信息的方法流程示意图；
图14为本发明实施例提供的视频中植入推送信息的方法流程示意图；
图15为本发明实施例提供的视频中植入广告的优势展示图；
图16为本发明实施例提供的视频中植入广告的年预估收益示意图；
图17为本发明实施例提供的视频中植入推送信息的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)实体，在本文中指待植入视频中用于承载推送信息的主体或实物，如桌面、墙面、相框、电子设备的屏幕等。
2)帧图像，指视频的最小单位，是一幅静态的图像；比如，在播放视频信息时，定格在任意时刻的画面，即为一个帧图像。
3)镜头，视频数据的基本单位，在视频拍摄过程中，摄像头连续不间断拍摄的一段视频称为镜头。
4)关键帧图像，可以用来代表镜头内容的图像，在切分出镜头结构以后,关键帧图像被用来表示各个镜头的底层特征，从而进行进一步的视频结构化；在一个视频镜头中，关键帧的数目要远远小于镜头所包含的帧图像的数目。
5)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
图1是本发明实施例提供的视频中植入推送信息的系统100的一个可选的架构示意图，参见图1，为实现支撑一个示例性应用，终端(包括终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
终端(如终端400-1)，用于发送推送信息的植入请求给服务器200，植入请求中携带待植入视频的视频标识，在一些实施例中，植入请求中还可携带待植入图像；
服务器200，用于基于接收到的植入请求，对待植入视频的帧图像进行实体识别，确定帧图像中实体对应的实体区域；获取对应实体区域的携带推送信息的待植入图像；以帧图像的实体区域为背景、以对应的待植入图像为前景，在帧图像的实体区域植入待植入图像，得到目标帧图像；调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配；基于调整后的目标帧图像进行视频合成，得到目标视频，并返回目标视频给终端；
这里，在实际应用中，服务器200既可以为单独配置的支持各种业务的一个服务器，亦可以配置为一个服务器集群。
终端(终端400-1和/或终端400-2)，还用于播放植入有推送信息的目标视频。
在实际应用中，终端可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，还可以为可穿戴计算设备、个人数字助理(PDA)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机等、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合。
下面对实施本发明实施例实施视频中植入推送信息的方法的电子设备进行说明。在一些实施例中，电子设备可以为智能手机、平板电脑、笔记本电脑等各种类型的终端，还可以为服务器。本发明实施例以电子设备为服务器为例，对服务器的硬件结构做详细说明。
图2为本发明实施例提供的服务器的硬件结构示意图，可以理解，图2仅仅示出了服务器的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。参见图2，本发明实施例提供的服务器包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。服务器中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。
本发明实施例中的存储器202用于存储各种类型的数据以支持服务器的操作。这些数据的示例包括：用于在服务器上操作的任何可执行指令，如可执行指令，实现本发明实施例的方法的程序可以包含在可执行指令中。
本发明实施例揭示的视频中植入推送信息的方法可以由处理器201实现。处理器201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，视频中植入推送信息的方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器201可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成本发明实施例提供的视频中植入推送信息的方法的步骤。
接下来对本发明实施例提供的视频中植入推送信息的方法进行说明，图3为本发明实施例提供的视频中植入推送信息的方法的流程示意图，在一些实施例中，该视频中植入推送信息的方法可由服务器或终端实施，或由服务器及终端协同实施，以服务器实施为例，如通过图1中的服务器200实施，结合图1及图3，本发明实施例提供的视频中植入推送信息的方法包括：
步骤301：服务器对待植入视频的帧图像进行实体识别，确定帧图像中实体对应的实体区域。
在实际应用中，待植入视频既可以为一个完整的视频，如一个完整的电影文件，或者为一个视频片段，如一个电影的片段节选。
在实际应用中，实体为待植入视频中用于承载推送信息的主体或事物，如桌面、墙面、相框、电子设备的屏幕(如电视机屏幕)；在实际实施时，可通过单次多边框检测器(SSD，Single Shot Multi-Box Detector)识别帧图像中的实体，亦可采用实例分割算法maskRCNN识别帧图像中的实体，本发明实施例不作限定。在实际应用中，可预先设定需要识别的实体，如仅识别帧图像中的桌面，或者识别帧图像中的墙面及相框。
在一些实施例中，可以通过如下方式对待植入视频的帧图像进行实体识别，确定帧图像中实体对应的实体区域：
抽取待植入视频的关键帧，对待植入视频的关键帧进行实体识别，确定每个关键帧中实体对应的实体区域。
在一些实施例中，还可以通过如下方式对待植入视频的帧图像进行实体识别，确定帧图像中实体对应的实体区域：
对待植入视频进行切分处理，得到多个视频分片；分别对多个视频分片进行实体识别，确定各视频分片的帧图像中实体对应的实体区域。
在实际应用中，对于不同的视频分片可以进行不同的实体识别，如视频被切分为10个视频分片，对第1至3个视频分片进行桌面识别，对第4至6个进行相框识别，对第7至10个进行墙面识别；当然对于不同的视频分片亦可进行相同的实体识别，仍以视频被切分为10个视频分片为例，对10个视频分片均进行桌面及相框的实体识别。
这里，对视频的数据结构进行说明。图4为本发明实施例提供的视频的一个可选的数据结构示意图，参见图4，视频数据从结构上可以分为电影、场景、镜头及帧四个层次，视觉上连续的视频是由一幅幅静止图像不断放映到屏幕或显示器上形成的，这一幅幅静止的图像即为视频帧；在视频拍摄过程中，摄像头连续不间断拍摄的一段视频称为镜头，镜头是视频数据的基本单位，若干个内容相近的镜头组成一个场景，它们从不同的角度描述同一个事件，而电影则由许多场景组成，叙述一个完整的故事。
基于视频的数据结构，在实际实施时，可通过如下方式对待植入视频进行切分，得到多个视频分片：对待植入视频的视频帧进行镜头切换检测，得到待植入视频对应的多个镜头；基于多个镜头对待植入视频进行切分，得到各所述镜头对应的视频分片。
这里，对镜头切换检测进行说明。在实际应用中，镜头切换检测可利用镜头发生切换时表现出的特性找到发生切换的位置，从而把整个视频分割成一个个独立的镜头。例如，可通过如下方式实现对待检测视频的镜头切换检测：采用帧间像素点匹配法，计算待检测视频的相邻视频帧中相同位置的像素点的差异度，确定相邻的两个视频帧中差异度超过第一差异阈值的像素点的数量，达到预设的数量阈值时，确定两帧视频帧之间发生镜头切换。
基于视频的数据结构，在实际实施时，还可通过如下方式对待植入视频进行切分，得到多个视频分片：对待植入视频的视频帧进行场景切换检测，得到待植入视频对应的多个场景；基于多个场景对待植入视频进行切分，得到各所述场景对应的视频分片。
这里，在实际应用中，可通过如下方式实现对待检测视频的场景切换检测：计算待检测视频的相邻视频帧的直方图差异度，确定直方图差异度达到第二差异阈值的两帧视频帧之间发生场景切换。
步骤302：服务器获取对应实体区域的携带推送信息的待植入图像。
在实际应用中，推送信息可以为广告，具体地，可以为植入广告，又称为Video-In，是一种软广告形式，指在视频帧中的实体区域，如桌面、墙面、相框、吧台和广告牌等植入推送信息。图5为本发明实施例提供的植入推送信息前的视频的帧图像示意图，图6为本发明实施例提供的植入推送信息后的视频的帧图像示意图，结合图5及图6可知，在视频帧中的桌面区域植入了作为推送信息的冰红茶。
在一些实施例中，推送信息可以包括以下至少之一：推送实体、推送文字；其中，推送实体为以有形的物质形态的方式进行广告展现的实体，如具备特定形状的咖啡杯；推送文字为采用文本的形式进行特定内容的广告展现的文字，如采用文字描述某特定电子设备的功能。
在实际实施时，不同的实体区域可以对应不同的推送信息，或者不同的实体区域对应相同的推送信息。例如，对于实体区域为桌面及相框的情况，桌面上可以承载包括三维模型及海报形式的推送信息，相框中可以承载包括海报形式的推送信息；这里，海报为视觉传达的表现形式之一，利用图片、文字、色彩、空间等要素进行完整的结合，以特定的形式展示宣传信息。
以识别的实体为桌面，相应的实体区域为桌面区域为例进行说明。在一些实施例中，桌面区域对应的推送信息包括推送实体，而对于同一推送实体来说，可以有不同呈现角度的待植入图像，针对桌面的不同呈现角度，可选取与桌面的呈现角度相匹配的待植入图像。
在一些实施例中，服务器可通过如下方式获取对应实体区域的携带推送信息的待植入图像：获取待植入视频对应的视频标识，基于获取的视频标识确定对应待植入视频的桌面区域的推送实体，获取推送实体在待植入图像中的第一呈现角度；获取实体区域所呈现实体的第二呈现角度；确定第一呈现角度与第二呈现角度相匹配的待植入图像，为对应实体区域的待植入图像。
这里，以推送实体为冰红茶为例，对应桌面区域，存在多个包含冰红茶实体的待植入图像，不同待植入图像中冰红茶的呈现角度不同，参见图7，图7为本发明实施例提供的筛选对应桌面区域的待植入图像的示意图，在实际实施时，分别对桌面及待植入图像中推送实体进行边缘检测，然后分别对桌面及推送实体的下边缘进行直线拟合，基于拟合得到的直线分别确定第一呈现角度及第二呈现角度，选取多个待植入图像中推送实体对应的第一呈现角度与第二呈现角度的差最小的待植入图像，将其作为对应实体区域的待植入图像。当推送信息包括三维模型及海报时，采用同样的方式，获取三维模型的第一呈现角度，确定与第二呈现角度相匹配的三维模型及海报，参见图8，图8为本发明实施例提供的确定呈现角度与桌面相匹配的三维模型及海报的示意图。
以识别的实体为相框、墙面或电子设备屏幕，相应的实体区域为相框区域、墙面区域或电子设备屏幕区域为例进行说明。在一些实施例中，服务器可通过如下方式获取对应实体区域的携带推送信息的待植入图像：获取待植入视频对应的视频标识，基于视频标识确定对应待植入视频的待植入图像为以下至少之一：对应相框区域的待植入图像、对应墙面区域的待植入图像、及对应电子设备屏幕区域的待植入图像。
步骤303：服务器以帧图像的实体区域为背景、以对应的待植入图像为前景，在帧图像的实体区域植入待植入图像，得到目标帧图像。
在实际应用中，当帧图像为直接从视频中抽取的关键帧时，对于每个关键帧来说，服务器以关键帧图像的实体区域为背景、以对应的待植入图像为前景，在关键帧图像的实体区域的中心位置植入待植入图像，得到目标帧图像。
在实际应用中，当帧图像为视频分片的关键帧时，对于每个视频分片来说，服务器以视频分片中关键帧图像的实体区域为背景、以对应的待植入图像为前景，在关键帧图像的实体区域的中心位置植入待植入图像，得到目标帧图像。
以实体区域为相框区域及电视机屏幕为例，参见图9，图9为本发明实施例提供的在相框区域植入待植入图像的示意图，在图9中，编号91为待植入图像植入前的相框区域，编号92为待植入图像植入后的相框区域。参见图10，图10为本发明实施例提供的在电视机屏幕区域植入待植入图像的示意图，在图10中，编号11为待植入图像植入前的相框区域，编号12为待植入图像植入后的相框区域。
步骤304：服务器调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配。
在一些实施例中，服务器可直接基于目标帧图像中的背景，对目标帧图像中前景的图像参数进行调整，使得前景的图像参数和背景的图像参数相匹配；在一些实施例中，服务器可对目标帧图像进行图像截取，得到包含前景的截取图像，然后基于截取图像的背景(目标帧图像的局部背景)，对截取图像中前景的图像参数进行调整，使得前景的图像参数和背景的图像参数相匹配；其中，截取图像的面积为前景的面积的常数倍，例如，以前景为中心，前景面积的两倍为截取图像的大小，对目标帧图像进行截取。
以对目标帧图像进行图像截取，得到包含前景的截取图像为例，对前景的图像参数的调整进行说明。
在实际应用中，图像参数包括以下至少之一：亮度、饱和度、模糊度及阴影长度。
在一些实施例中，图像参数包括亮度，可通过如下方式调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配：
获取截取图像的前景与背景的亮度差；将截取图像的前景转化为为色调-饱和度-明度HSV图像；基于亮度差，对HSV图像中V图层的像素点进行亮度调整。例如：分别计算截取图像的前景与背景的平均亮度，计算前景的平均亮度与背景的平均亮度的亮度差diffv，将将截取图像的前景转化为为HSV图像，然后对HSV图像中V图层的每个像素点进行补全diffv*0.8的操作，完成前景及后景的亮度和谐化。
在一些实施例中，图像参数包括饱和度，可通过如下方式调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配：
获取截取图像的前景与背景的饱和度差；将截取图像的前景转化为HSV图像；基于饱和度差，对HSV图像中S图层的像素点进行饱和度调整。例如：分别计算截取图像的前景与背景的平均饱和度，计算前景的平均饱和度与背景的平均饱和度的亮度差diffs，将将截取图像的前景转化为为HSV图像，然后对HS V图像中S图层的每个像素点进行补全diffs*0.8的操作，完成前景及后景的饱和度和谐化。
在一些实施例中，图像参数包括模糊度，可通过如下方式调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配：
分别对截取图像的前景与背景进行拉普拉斯变换，并基于变换结果确定标准差；当标准差达到标准差阈值时，对截取图像的前景进行高斯模糊处理，使得所述截取图像的前景与背景的模糊度相匹配。在实际应用中，标准差阈值可依据实际需要进行设定，例如，设定标准差阈值为1.4，当计算得到的标准差超过1.4时，表明截取图像中前景与背景的模糊度存在显著不同，这是由于大光圈和焦距配合摄影时，背景虚化造成的，因此，可直接对前景进行高斯模糊操作，将前景的模糊度和后景拉平。
在一些实施例中，图像参数包括阴影长度，可通过如下方式调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配：
分别对截取图像的前景与背景进行阴影检测，确定截取图像的前景与背景的阴影长度比例；当阴影长度比例未处于预设比例范围内时，调整截取图像的前景的阴影长度，使得截取图像的前景与背景的阴影长度比例处于预设比例范围内。在实际应用中，比例范围的大小可依据实际需要进行设定，例如预设比例范围为[0.2,0.8]，当截取图像的前景与背景的阴影长度比例为0.1，未处于[0.2,0.8]范围内时，调整截取图像的前景的阴影长度，如根据默认值调整截取图像的前景与背景的阴影长度比例为0.5；当截取图像的前景与背景的阴影长度比例为0.6，不对阴影长度比例进行调整。
在一些实施例中，当图像参数包括亮度、饱和度、模糊度及阴影长度时，对截取图像中前景的亮度、饱和度、模糊度及阴影长度的调整顺序不作限定，图11为本发明实施例提供的对截取图像中前景的图像参数进行调整的示意图，参见图11，依次对截取图像中的前景进行亮度、饱和度、模糊度及阴影长度的调整。
在实际实施时，对截取图像中前景的图像参数图进行调整后，需要将调整后的截取图像回归至原位，得到调整后的目标帧图像。图12为本发明实施例提供的进行图像参数调节后的目标帧图像的示意图，参见图12，编号21为用户手动植入携带推送信息为奶茶的待植入图像的效果示意图，编号22为采用本发明实施例上述方案植入携带推送信息为奶茶的待植入图像的效果示意图，可以明显的看出，采用本发明实施例上述方案植入的前景(奶茶图像)与背景(视频帧图像)的和谐度更高。
步骤305：服务器基于调整后的目标帧图像进行视频合成，得到目标视频。
在一些实施例中，在对待植入视频进行切分的情况下，调整后的目标帧图像包括对应各个视频分片的调整后的目标帧图像，相应的，可通过如下方式进行视频合成，得到目标视频：分别基于各视频分片中调整后的目标帧图像进行视频编码，得到对应各视频分片的目标视频分片；将对应各视频分片的目标视频分片进行融合，得到目标视频。
在一些实施例中，进行实体识别的帧图像为待植入视频的关键帧图像，相应的，可通过如下方式进行视频合成，得到目标视频：通过目标追踪的方式定位待植入视频的非关键帧图像的实体区域；通过仿射变换的方式，在非关键帧图像的实体区域中，植入调整后的目标帧图像中的前景，得到目标非关键帧图像；对调整后的目标帧图像及目标非关键帧图像进行视频编码，得到目标视频。
在一些实施例中，服务器在得到目标视频后，还将目标视频发送至终端，使得终端播放植入有推送信息的目标视频。
继续对本发明实施例提供的视频中植入推送信息的方法进行说明。图13为本发明实施例提供的视频中植入推送信息的方法流程示意图，参见图13，本发明实施例提供的视频中植入推送信息的方法包括：
步骤401：服务器查询待植入视频的视频标识，并基于待植入视频的视频标识获取待植入视频。
在实际应用中，设置有待植入视频库，用于存储待植入推送信息的多个待植入视频，服务器可基于加入待植入视频库的先后顺序查询需要处理的待植入视频的视频标识，待植入视频的视频标识可以为待植入视频的视频ID，基于待植入视频的视频ID获取待植入视频，即获取待植入视频的视频文件。
步骤402：对待植入视频进行切分处理，得到多个视频分片。
这里，在实际实施时，可通过如下方式实现对待植入视频的切分：
对待植入视频的视频帧进行镜头切换检测，得到待植入视频对应的多个镜头，基于得到的多个镜头，对待植入视频进行切分，得到各镜头对应的视频分片。
步骤403：分别对每个视频分片进行实体识别，确定各视频分片的关键帧图像中实体对应的实体区域。
这里，以实体包括桌面、墙面和相框为例，通过实体识别分别检测个视频分片所包括的帧图像中包括的桌面、墙面和相框，并确定相应的桌面区域、墙面区域和相框区域。在实际实施时，对于每个视频分片的实体识别可以为对视频分片所包括的关键帧图像进行实体识别。
步骤404：分别获取对应各实体区域的携带推送信息的待植入图像。
这里，在实际应用中，存在对应待植入视频的待植入图像库，不同的待植入视频可以对应不同的待植入图像库，待植入图像库中存储有多个待植入图像，不同的实体区域可以对应不同的待植入图像。
示例性地，根据待植入视频的视频ID确定相应的待植入图像库，该待植入图像库中存储有携带推送信息为汽车的待植入图像、携带推送信息为奶茶的待植入图像、携带推送信息为纯牛奶的待植入图像等，确定该待植入视频中墙面区域对应的待植入图像为携带推送信息为汽车的待植入图像，确定桌面区域对应的待植入图像为携带推送信息为纯牛奶的待植入图像。
在一些实施例中，对于实体区域为桌面区域的情况，由于桌面的呈现角度不同，为了使得植入桌面区域的推送实体与桌面的和谐度更高，需要选取推送实体(汽车)的呈现角度与桌面的呈现角度相匹配的待植入图像。具体的选取方式参见前述实施例，此处不再赘述。
步骤405：以关键帧图像中实体对应的实体区域为背景、以对应实体区域的待植入图像为前景，在关键帧图像的实体区域植入相应的待植入图像，得到目标帧图像。
步骤406：分别对各视频分片的目标帧图像进行图像截取，得到包含前景的截取图像。
这里，在实际实施时，可通过如下方式进行图像截取：以包含待植入图像的最小矩形框为边界，等比例扩展至矩形框的面积为待植入图像面积的常数倍，得到包含前景的矩形截取图像。参见图11，以包含待植入图像01的最小矩形框02为边界，等比例扩展至矩形框的面积为待植入图像面积的2倍，得到包含前景(待植入图像01)的矩形截取图像03。需要说明的是，对于截取图像的形状本发明实施例不作限定，如还可以包含待植入图像的最小圆形框为边界，等比例扩展至圆形框的面积为待植入图像面积的常数倍，得到包含前景的圆形截取图像。
步骤407：分别对各截取图像中的前景依次进行亮度、饱和度、模糊度、阴影长度的调整，使得截取图像的前景与背景相匹配。
这里，对截取图像中前景的亮度、饱和度、模糊度、阴影长度的调整过程可参见前述记载，此处不再赘述。
步骤408：将进行所述调整后的截取图像分别归位至相应的目标帧图像。
这里，将逐帧植入后的目标帧图像融合成视频分片，并融合上原视频分片中的音频信息，完成了整个视频分片的融合。
步骤409：基于各视频分片对应的所述归位后的目标帧图像进行视频编码，得到对应各视频分片的目标视频分片。
步骤410：将对应各视频分片的目标视频分片进行融合，得到目标视频。
应用本发明上述实施例，以待植入视频的帧图像的实体区域为背景、以对应的待植入图像为前景，在帧图像的实体区域植入待植入图像，得到目标帧图像，实现了推送信息在待植入视频的自动植入，提高了推送信息的植入效率；通过调整目标帧图像中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配，实现了植入推送信息后，视频帧图像中前景与背景自动的和谐化处理，使得目标视频中推送信息与视频内容的和谐化，大大提升用户在观看视频时对推送信息的接收度。
接下来以推送信息为广告、以在视频的桌面上植入广告为例，对本发明实施例提供的视频中植入推送信息的方法进行说明。图14为本发明实施例提供的视频中植入推送信息的方法流程示意图，参见图14，本发明实施例提供的视频中植入推送信息的方法包括以下主要步骤：
步骤1：完整视频素材输入
这里，在实际实施时，可从服务器查询待植入视频的视频ID，并根据查询得到的视频ID请求相应的视频源文件。
步骤2：单镜头视频分片
这里，在实际实施时，对待植入视频进行镜头切换检测，并将待植入视频的视频源文件拆分成对应每个镜头的视频分片。
步骤3：多模态视频植入广告位检测算法
视频可以看作是一系列时间上相互依赖的图像帧组成的数据流。通常而言,在视频情节内容发生变化时，会出现镜头切换，从一个镜头内容转移到另外一个镜头内容。视频蕴涵有丰富的视觉、听觉和字幕信息，这些底层特征可以是颜色、纹理、形状、音调和文本等，采用多模态分析方法，即同时使用两种或是两种以上的模态信息进行处理，以实现视频数据分析。
在实际应用中，在视频分片的首个关键帧图像中，指定广告位的区域，这个区域可以通过如下方式提供：基于多模态视频植入广告位检测算法，直接用输出的广告位待选框作为背景的追踪区域；或者，根据经验设定追踪区域。
步骤4：桌面场景实物朝向甄选
这里，在实际实施时，利用自动实物朝向甄选技术，从海量前景广告实物图片中自动筛选出朝向角度与背景和谐程度最高的图片，完成植入；例如，通过对前景实物及后景桌面进行边缘检测，并选取与后景桌面的边缘线斜率差满足预设条件的前景实物作为待植入对象。
步骤5：前景渲染
对于要植入桌面区域的前景图片(如实物、三维道具或海报)，其饱和度、亮度、模糊度等与背景相差较大，以前景植入区域的局部背景作为模版，对前景的亮度、饱和度、模糊度和倒影长深度(即阴影长度)进行调整，实现前后景在植入后的视感和谐化。
具体地，可通过如下操作实现对前景的饱和度、亮度、模糊度等图像参数的调整：
1)，局部背景标定
在实际实施时，将植入前景(广告图片，即待植入图像)，植入视频分片的关键帧图像中的桌面中心区域，以植入前景的外围框为边界，等比例扩展至植入前景面积的两倍，以扩展后的大小进行图像截取，以确定局部背景，局部背景作为后续自适应前景参数调整的数据参数标定采集源。
2)，自适应亮度调整
计算植入前景和局部背景的平均亮度，计算亮度差diffv，将前景图片转化为HSV图，对第3层V图层的每个像素点进行补全diffv*0.8的操作，完成前后景的亮度和谐化。
3)，自适应饱和度调整
计算植入前景和局部背景的平均饱和度，计算饱和度差diffs，并将前景图片转化为HSV图，对第2层S图层的每个像素点进行补全diffs*0.8的操作，完成前后景的饱和度和谐化。
4)，自适应模糊度调整
对前后景分别做Laplacian变换并计算标准差，如果标准差相差超过1.4，说明前后景的模糊程度显著不同，这是由于大光圈和焦距配合摄影时，背景虚化造成的，因此，直接对前景进行高斯模糊操作，将前景的模糊度和后景拉平。
5)，自适应倒影长深度调整
使用BDRAR算法对背景的阴影进行检测，根据预设的前景与背景的阴影比例，对前景进行增加阴影的操作。
步骤6：桌面广告位追踪和植入
基于运动追踪技术，对广告位进行追踪，并通过仿射变化技术，将上一步输出的前景植入视频中。
步骤7：视频分片融合
将完成广告植入的视频分片融合，形成新的完整视频。
应用本发明上述实施例，实现了在视频中自动植入广告，以及广告植入后作为前景的广告与作为背景的视频内容的和谐化，节省了人力成本开支，同时相对于之前人工进行前景渲染的情况，操作时长从20分钟下降为30秒，节省了时间成本。
应用本发明上述实施例，对于广告主来说，采用视频中植入广告的形式所具备的优势如图15所示，根据2018年广告营销趋势报告显示，“73％的广告主将增加和维持植入等软广告的开支”。相对于传统广告，它具有触达率高、合作风险小和节约预算等优势。尤其在会员(视频VIP)大力拓展的时期，传统的前贴片和中贴片广告流量的增长受到了限制。这种基于后期技术，不受会员触达限制的软性广告形式显得更加有意义。同时，相比于传统的招商形式的广告(在综艺和电视剧拍摄前就需要谈定广告植入)，存在广告主赌剧的情况。有了植入广告技术，广告主可以根据剧集和综艺的受欢迎程度，在视频中后期植入广告，减少广告投入的风险。
应用本发明上述实施例，对于流量方来说，图16为本发明实施例提供的视频中植入广告的年预估收益示意图，参见图16，根据视频平台自制剧(综艺和电视剧)的计划，推演出了通过Video-In(植入广告)方式新增的广告流量。基于此流量和合约广告的售卖形式，可以推演出约36亿元的市场规模。可见，随着市场对Video-In广告形式的逐渐接受，这种广告形式可以成为视频平台的重要利润增长点。
继续对本发明实施例提供的视频中植入推送信息的装置行说明。图17为本发明实施例提供的视频中植入推送信息的装置的结构示意图，参见图17，本发明实施例提供的视频中植入推送信息的装置170包括：
识别单元171，用于对待植入视频的帧图像进行实体识别，确定所述帧图像中所述实体对应的实体区域；
获取单元172，用于获取对应所述实体区域的携带推送信息的待植入图像；
植入单元173，用于以所述帧图像的实体区域为背景、以对应的所述待植入图像为前景，在所述帧图像的实体区域植入所述待植入图像，得到目标帧图像；
调整单元174，用于调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；
合成单元175，用于基于调整后的目标帧图像进行视频合成，得到目标视频。
在一些实施例中，所述识别单元，还用于对所述待植入视频进行切分处理，得到多个视频分片；
分别对所述多个视频分片进行实体识别，确定各所述视频分片的帧图像中所述实体对应的实体区域。
在一些实施例中，所述识别单元，还用于对所述待植入视频的视频帧进行镜头切换检测，得到所述待植入视频对应的多个镜头；
基于所述多个镜头对所述待植入视频进行切分，得到各所述镜头对应的视频分片。
在一些实施例中，所述合成单元，还用于分别基于各所述视频分片中调整后的目标帧图像进行视频编码，得到对应各所述视频分片的目标视频分片；
将对应各所述视频分片的目标视频分片进行融合，得到所述目标视频。
在一些实施例中，所述获取单元，还用于响应于所述推送信息中包含推送实体，获取所述推送实体在待植入图像中的第一呈现角度；
获取所述实体区域所呈现实体的第二呈现角度；
确定所述第一呈现角度与所述第二呈现角度相匹配的待植入图像，为对应所述实体区域的待植入图像。
在一些实施例中，所述装置还包括：
截取单元，用于对所述目标帧图像进行图像截取，得到包含所述前景的截取图像，所述截取图像的面积为所述前景的面积的常数倍。
在一些实施例中，所述调整单元，还用于响应于所述图像参数包括亮度，获取所述截取图像的前景与背景的亮度差；
将所述截取图像的前景转化为为色调-饱和度-明度HSV图像；
基于所述亮度差，对所述HSV图像中V图层的像素点进行亮度调整。
在一些实施例中，所述调整单元，还用于响应于所述图像参数包括饱和度，获取所述截取图像的前景与背景的饱和度差；
将所述截取图像的前景转化为HSV图像；
基于所述饱和度差，对所述HSV图像中S图层的像素点进行饱和度调整。
在一些实施例中，所述调整单元，还用于响应于所述图像参数包括模糊度，分别对所述截取图像的前景与背景进行拉普拉斯变换，并基于变换结果确定标准差；
当所述标准差达到标准差阈值时，对所述截取图像的前景进行高斯模糊处理，使得所述截取图像的前景与背景的模糊度相匹配。
在一些实施例中，所述调整单元，还用于响应于所述图像参数包括阴影长度，分别对所述截取图像的前景与背景进行阴影检测，确定所述截取图像的前景与背景的阴影长度比例；
当所述阴影长度比例未处于预设比例范围内时，调整所述截取图像的前景的阴影长度，使得所述截取图像的前景与背景的阴影长度比例处于预设比例范围内。
在一些实施例中，所述合成单元，还用于响应于所述帧图像为所述待植入视频的关键帧图像，通过目标追踪的方式定位所述待植入视频的非关键帧图像的实体区域；
通过仿射变换的方式，在所述非关键帧图像的实体区域中，植入所述调整后的目标帧图像中的前景，得到目标非关键帧图像；
对所述调整后的目标帧图像及所述目标非关键帧图像进行视频编码，得到所述目标视频。
这里需要指出的是：以上涉及装置的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述，对于本发明实施例所述装置中未披露的技术细节，请参照本发明方法实施例的描述。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现本发明实施例提供的上述视频中植入推送信息的方法。
本发明实施例还提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的视频中植入推送信息的方法。
实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种视频中植入推送信息的方法，其特征在于，所述方法包括：
对待植入视频的帧图像进行实体识别，确定所述帧图像中所述实体对应的实体区域；
获取对应所述实体区域的携带推送信息的待植入图像；
以所述帧图像的实体区域为背景、以对应的所述待植入图像为前景，在所述帧图像的实体区域植入所述待植入图像，得到目标帧图像；
调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；
基于调整后的目标帧图像进行视频合成，得到目标视频。
2.如权利要求1所述的方法，其特征在于，所述对待植入视频的帧图像进行实体识别，确定所述帧图像中所述实体对应的实体区域，包括：
对所述待植入视频进行切分处理，得到多个视频分片；
分别对所述多个视频分片进行实体识别，确定各所述视频分片的帧图像中所述实体对应的实体区域。
3.如权利要求2所述的方法，其特征在于，所述对所述待植入视频进行切分处理，得到多个视频分片，包括：
对所述待植入视频的视频帧进行镜头切换检测，得到所述待植入视频对应的多个镜头；
基于所述多个镜头对所述待植入视频进行切分，得到各所述镜头对应的视频分片。
4.如权利要求2所述的方法，其特征在于，所述基于调整后的目标帧图像进行视频合成，得到目标视频，包括：
分别基于各所述视频分片中调整后的目标帧图像进行视频编码，得到对应各所述视频分片的目标视频分片；
将对应各所述视频分片的目标视频分片进行融合，得到所述目标视频。
5.如权利要求1所述的方法，其特征在于，所述获取对应所述实体区域的携带推送信息的待植入图像，包括：
响应于所述推送信息中包含推送实体，获取所述推送实体在待植入图像中的第一呈现角度；
获取所述实体区域所呈现实体的第二呈现角度；
确定所述第一呈现角度与所述第二呈现角度相匹配的待植入图像，为对应所述实体区域的待植入图像。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述目标帧图像进行图像截取，得到包含所述前景的截取图像，所述截取图像的面积为所述前景的面积的常数倍。
7.如权利要求6所述的方法，其特征在于，所述调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配，包括：
响应于所述图像参数包括亮度，获取所述截取图像的前景与背景的亮度差；
将所述截取图像的前景转化为为色调-饱和度-明度HSV图像；
基于所述亮度差，对所述HSV图像中V图层的像素点进行亮度调整。
8.如权利要求6所述的方法，其特征在于，所述调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配，包括：
响应于所述图像参数包括饱和度，获取所述截取图像的前景与背景的饱和度差；
将所述截取图像的前景转化为HSV图像；
基于所述饱和度差，对所述HSV图像中S图层的像素点进行饱和度调整。
9.如权利要求6所述的方法，其特征在于，所述调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配，包括：
响应于所述图像参数包括模糊度，分别对所述截取图像的前景与背景进行拉普拉斯变换，并基于变换结果确定标准差；
当所述标准差达到标准差阈值时，对所述截取图像的前景进行高斯模糊处理，使得所述截取图像的前景与背景的模糊度相匹配。
10.如权利要求6所述的方法，其特征在于，所述调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配，包括：
响应于所述图像参数包括阴影长度，分别对所述截取图像的前景与背景进行阴影检测，确定所述截取图像的前景与背景的阴影长度比例；
当所述阴影长度比例未处于预设比例范围内时，调整所述截取图像的前景的阴影长度，使得所述截取图像的前景与背景的阴影长度比例处于预设比例范围内。
11.如权利要求1所述的方法，其特征在于，所述基于调整后的目标帧图像进行视频合成，得到目标视频，包括：
响应于所述帧图像为所述待植入视频的关键帧图像，通过目标追踪的方式定位所述待植入视频的非关键帧图像的实体区域；
通过仿射变换的方式，在所述非关键帧图像的实体区域中，植入所述调整后的目标帧图像中的前景，得到目标非关键帧图像；
对所述调整后的目标帧图像及所述目标非关键帧图像进行视频编码，得到所述目标视频。
12.一种视频中植入推送信息的装置，其特征在于，所述装置包括：
识别单元，用于对待植入视频的帧图像进行实体识别，确定所述帧图像中所述实体对应的实体区域；
获取单元，用于获取对应所述实体区域的携带推送信息的待植入图像；
植入单元，用于以所述帧图像的实体区域为背景、以对应的所述待植入图像为前景，在所述帧图像的实体区域植入所述待植入图像，得到目标帧图像；
调整单元，用于调整所述目标帧图像中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；
合成单元，用于基于调整后的目标帧图像进行视频合成，得到目标视频。
13.如权利要求12所述的装置，其特征在于，
所述识别单元，还用于对所述待植入视频进行切分处理，得到多个视频分片；
分别对所述多个视频分片进行实体识别，确定各所述视频分片的帧图像中所述实体对应的实体区域。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11中任一项所述的视频中植入推送信息的方法。
15.一种存储介质，其特征在于，所述存储介质存储有可执行指令，用于引起处理器执行时，实现权利要求1至11中任一项所述的视频中植入推送信息的方法。
CN201910704475.1A 2019-07-31 2019-07-31 视频中植入推送信息的方法、装置、电子设备及存储介质 Active CN110300316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704475.1A CN110300316B (zh) 2019-07-31 2019-07-31 视频中植入推送信息的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704475.1A CN110300316B (zh) 2019-07-31 2019-07-31 视频中植入推送信息的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110300316A true CN110300316A (zh) 2019-10-01
CN110300316B CN110300316B (zh) 2022-02-11

Family

ID=68032437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704475.1A Active CN110300316B (zh) 2019-07-31 2019-07-31 视频中植入推送信息的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110300316B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182335A (zh) * 2019-10-18 2020-05-19 腾讯科技（深圳）有限公司 一种流媒体处理方法和装置
CN111246315A (zh) * 2020-01-21 2020-06-05 咪咕视讯科技有限公司 视频交互方法、系统、边缘节点、客户端及存储介质
CN111988657A (zh) * 2020-08-05 2020-11-24 网宿科技股份有限公司 一种广告插入方法及装置
CN112860944A (zh) * 2021-02-05 2021-05-28 北京百度网讯科技有限公司 视频渲染方法、装置、设备、存储介质及计算机程序产品
CN113225587A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
CN113222995A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
CN113489919A (zh) * 2021-06-21 2021-10-08 北京德风新征程科技有限公司 一种基于互联网大数据的数字视频制作系统
CN113486803A (zh) * 2021-07-07 2021-10-08 北京沃东天骏信息技术有限公司 视频中嵌入图像的装置
US20210352343A1 (en) * 2019-06-27 2021-11-11 Tencent Technology (Shenzhen) Company Limited Information insertion method, apparatus, and device, and computer storage medium
CN114760517A (zh) * 2022-04-15 2022-07-15 广州华多网络科技有限公司 图像活动嵌入方法及其装置、设备、介质、产品
CN115661280A (zh) * 2022-10-08 2023-01-31 北京达佳互联信息技术有限公司 在视频中植入多媒体的方法、装置、电子设备及存储介质
WO2023065961A1 (zh) * 2021-10-21 2023-04-27 星河视效科技(北京)有限公司 视频植入方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188833A1 (en) * 2007-09-04 2013-07-25 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN104170392A (zh) * 2013-11-21 2014-11-26 华为技术有限公司 一种文件中植入广告的方法、装置、系统及终端
CN104700354A (zh) * 2015-03-31 2015-06-10 北京奇艺世纪科技有限公司 一种信息植入方法及装置
CN104766229A (zh) * 2015-04-22 2015-07-08 合一信息技术（北京）有限公司 植入式广告投放方法
CN106991641A (zh) * 2017-03-10 2017-07-28 北京小米移动软件有限公司 植入图片的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188833A1 (en) * 2007-09-04 2013-07-25 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN104170392A (zh) * 2013-11-21 2014-11-26 华为技术有限公司 一种文件中植入广告的方法、装置、系统及终端
CN104700354A (zh) * 2015-03-31 2015-06-10 北京奇艺世纪科技有限公司 一种信息植入方法及装置
CN104766229A (zh) * 2015-04-22 2015-07-08 合一信息技术（北京）有限公司 植入式广告投放方法
CN106991641A (zh) * 2017-03-10 2017-07-28 北京小米移动软件有限公司 植入图片的方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210352343A1 (en) * 2019-06-27 2021-11-11 Tencent Technology (Shenzhen) Company Limited Information insertion method, apparatus, and device, and computer storage medium
US11854238B2 (en) * 2019-06-27 2023-12-26 Tencent Technology (Shenzhen) Company Limited Information insertion method, apparatus, and device, and computer storage medium
CN111182335B (zh) * 2019-10-18 2021-08-20 腾讯科技（深圳）有限公司 一种流媒体处理方法、装置、设备及计算机可读存储介质
CN111182335A (zh) * 2019-10-18 2020-05-19 腾讯科技（深圳）有限公司 一种流媒体处理方法和装置
CN111246315A (zh) * 2020-01-21 2020-06-05 咪咕视讯科技有限公司 视频交互方法、系统、边缘节点、客户端及存储介质
CN111246315B (zh) * 2020-01-21 2022-06-03 咪咕视讯科技有限公司 视频交互方法、系统、边缘节点、客户端及存储介质
CN113225587A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
CN113222995A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
CN111988657A (zh) * 2020-08-05 2020-11-24 网宿科技股份有限公司 一种广告插入方法及装置
CN112860944B (zh) * 2021-02-05 2023-07-25 北京百度网讯科技有限公司 视频渲染方法、装置、设备、存储介质及计算机程序产品
CN112860944A (zh) * 2021-02-05 2021-05-28 北京百度网讯科技有限公司 视频渲染方法、装置、设备、存储介质及计算机程序产品
CN113489919A (zh) * 2021-06-21 2021-10-08 北京德风新征程科技有限公司 一种基于互联网大数据的数字视频制作系统
CN113486803A (zh) * 2021-07-07 2021-10-08 北京沃东天骏信息技术有限公司 视频中嵌入图像的装置
WO2023065961A1 (zh) * 2021-10-21 2023-04-27 星河视效科技(北京)有限公司 视频植入方法、装置、设备及计算机可读存储介质
CN114760517A (zh) * 2022-04-15 2022-07-15 广州华多网络科技有限公司 图像活动嵌入方法及其装置、设备、介质、产品
CN114760517B (zh) * 2022-04-15 2024-02-02 广州华多网络科技有限公司 图像活动嵌入方法及其装置、设备、介质、产品
CN115661280A (zh) * 2022-10-08 2023-01-31 北京达佳互联信息技术有限公司 在视频中植入多媒体的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110300316B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN110300316A (zh) 视频中植入推送信息的方法、装置、电子设备及存储介质
US8860803B2 (en) Dynamic replacement of cinematic stage props in program content
US9038100B2 (en) Dynamic insertion of cinematic stage props in program content
US11019283B2 (en) Augmenting detected regions in image or video data
RU2460233C2 (ru) Система вставки видео в режиме реального времени
EP2046043B1 (en) Dynamic replacement and insertion of cinematic stage props in program content
US20160050465A1 (en) Dynamically targeted ad augmentation in video
CN104066003B (zh) 视频中广告的播放方法和装置
US20080012988A1 (en) System and method for virtual content placement
US20160142747A1 (en) Method and system for inserting contents into video presentations
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
CN111556336B (zh) 一种多媒体文件处理方法、装置、终端设备及介质
CN107493488A (zh) 基于Faster R‑CNN模型的视频内容物智能植入的方法
CN109982141B (zh) 利用ai技术的视频图像区域分析并植入广告的方法
WO2019136950A1 (zh) 虚拟图像处理方法、图像处理系统及存储介质
KR20190075177A (ko) 컨텍스트 기반 증강 광고
CN110458820A (zh) 一种多媒体信息植入方法、装置、设备及存储介质
CN112840377B (zh) 电子装置上用于增强实况观众体验的系统和方法
JP2004304791A (ja) デジタルシネマフレームコンテンツを修正する方法及び装置
CN111754254A (zh) 在多媒体中动态创建和插入沉浸式推广内容的系统和方法
CN116308530A (zh) 一种广告植入方法、装置、设备和可读存储介质
CN110213629B (zh) 一种信息植入方法、装置、服务器及存储介质
US10237585B2 (en) Dynamic content rendering in media
US12101529B1 (en) Client side augmented reality overlay
US10674207B1 (en) Dynamic media placement in video feed

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant