[go: up one dir, main page]

CN109495766A - 一种视频审核的方法、装置、设备和存储介质 - Google Patents

一种视频审核的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109495766A
CN109495766A CN201811438719.8A CN201811438719A CN109495766A CN 109495766 A CN109495766 A CN 109495766A CN 201811438719 A CN201811438719 A CN 201811438719A CN 109495766 A CN109495766 A CN 109495766A
Authority
CN
China
Prior art keywords
video
audit
classification
content information
pending video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811438719.8A
Other languages
English (en)
Inventor
石峰
刘振强
梁柱锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201811438719.8A priority Critical patent/CN109495766A/zh
Publication of CN109495766A publication Critical patent/CN109495766A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种视频审核的方法、装置、设备和存储介质。其中，该方法包括：提取待审核视频中的不同类型内容信息；根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。本发明实施例提供的技术方案，实现了多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。

Description

一种视频审核的方法、装置、设备和存储介质
技术领域
本发明实施例涉及互联网技术领域，尤其涉及一种视频审核的方法、装置、设备和存储介质。
背景技术
随着互联网技术的飞速发展，互联网视频流量在近几年大量增加，短视频、直播等各种新型的用户原创内容促使互联网传播的视频越来越丰富。与此同时，大量涉及恐怖、暴力、色情或政治敏感等话题的违规视频，也会被不法用户上传至互联网上而快速传播出来。此时，如何高效且低成本地将这些违规视频进行过滤是短视频、直播等互联网视频应用产品中所面临的共同难题。
由于互联网中传播的视频资源量越来越大，依靠人工对上传至互联网的视频资源是否包含违规内容进行审核，必然需要消耗大量人力成本，并且效率较低；目前通常利用机器学习对视频内容进行自动审核，通过单一分析视频内容中不同模态下的画面、文字或声音等信息，判断当前视频是否存在违规内容，从而对互联网视频进行相应审核。
而现有技术中大都仅分析视频中的画面、文字或声音等单一类型下的信息，来确定视频中的内容是否违规，对于互联网视频的审核存在一定的局限性，降低了视频审核的准确性。
发明内容
本发明实施例提供了一种视频审核的方法、装置、设备和存储介质，以解决现有技术中对于视频审核存在局限性的问题，实现多类型融合下的视频审核，提高视频审核的全面性和准确性。
第一方面，本发明实施例提供了一种视频审核的方法，该方法包括：
提取待审核视频中的不同类型内容信息；
根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；
根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；
根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。
进一步的，根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量，包括：
向预先构建的融合学习模型中输入各所述不同类型内容信息，通过所述融合学习模型中不同类型下的学习子模型分别提取所述不同类型内容信息的特征向量；
根据不同类型内容信息之间的相关性，通过所述融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。
进一步的，根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重，包括：
根据所述待审核视频的特征向量，通过所述融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。
进一步的，所述融合学习模型通过执行下述操作构建：
提取训练样本中不同类型的样本内容信息，所述训练样本为目标审核类别下的历史视频；
通过不同类型下的学习子模型分别提取所述样本内容信息的特征向量，并根据各所述样本内容信息之间的相关性，通过融合子模型对各所述样本内容信息的特征向量进行融合，得到训练样本的特征向量；
根据所述训练样本的特征向量，通过所述融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；
根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将所述分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取所述目标审核类别下新的训练样本，直至所述目标审核类别下的分类损失低于预设损失阈值；
重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。
进一步的，所述不同类型内容信息包括待审核视频中的图片序列、音频序列和文字序列。
进一步的，提取待审核视频中的不同类型内容信息，包括：
对所述待审核视频分段后，在分段的待审核视频中抽取视频帧；
组合抽取的视频帧，得到对应的图片序列。
进一步的，提取待审核视频中的不同类型内容信息，包括：
对所述待审核视频分段后，在分段的待审核视频中重采样音频信息；
通过梅尔倒频谱MFC算法提取重采样的音频信息中的频谱特征；
组合提取的频谱特征，得到对应的音频序列。
进一步的，提取待审核视频中的不同类型内容信息，包括：
通过光学字符识别OCR算法获取所述待审核视频中的文字信息，得到对应的文字序列。
进一步的，根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别，包括：
所述待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送所述待审核视频；
根据所述人工审核平台的反馈信息确定所述待审核视频的审核类别。
第二方面，本发明实施例提供了一种视频审核的装置，该装置包括：
信息提取模块，用于提取待审核视频中的不同类型内容信息；
特征融合模块，用于根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；
比重确定模块，用于根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；
审核类别确定模块，用于根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。
进一步的，所述特征融合模块，具体用于：
向预先构建的融合学习模型中输入各所述不同类型内容信息，通过所述融合学习模型中不同类型下的学习子模型分别提取所述不同类型内容信息的特征向量；
根据不同类型内容信息之间的相关性，通过所述融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。
进一步的，所述比重确定模块，具体用于：
根据所述待审核视频的特征向量，通过所述融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。
进一步的，所述融合学习模型通过执行下述操作构建：
提取训练样本中不同类型的样本内容信息，所述训练样本为目标审核类别下的历史视频；
通过不同类型下的学习子模型分别提取所述样本内容信息的特征向量，并根据各所述样本内容信息之间的相关性，通过融合子模型对各所述样本内容信息的特征向量进行融合，得到训练样本的特征向量；
根据所述训练样本的特征向量，通过所述融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；
根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将所述分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取所述目标审核类别下新的训练样本，直至所述目标审核类别下的分类损失低于预设损失阈值；
重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。
进一步的，所述不同类型内容信息包括待审核视频中的图片序列、音频序列和文字序列。
进一步的，所述信息提取模块，具体用于：
对所述待审核视频分段后，在分段的待审核视频中抽取视频帧；
组合抽取的视频帧，得到对应的图片序列。
进一步的，所述信息提取模块，还具体用于：
对所述待审核视频分段后，在分段的待审核视频中重采样音频信息；
通过梅尔倒频谱MFC算法提取重采样的音频信息中的频谱特征；
组合提取的频谱特征，得到对应的音频序列。
进一步的，所述信息提取模块，还具体用于：
通过光学字符识别OCR算法获取所述待审核视频中的文字信息，得到对应的文字序列。
进一步的，所述审核类别确定模块，具体用于：
所述待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送所述待审核视频；
根据所述人工审核平台的反馈信息确定所述待审核视频的审核类别。
第三方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例中所述的视频审核的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例中所述的视频审核的方法。
本发明实施例提供了一种视频审核的方法、装置、设备和存储介质，通过提取待审核视频中不同类型内容信息的特征向量，根据特征向量之间的相关性融合各特征向量，并通过融合后的特征向量分别得到待审核视频在不同预设审核类别下的比重，从而确定待审核视频的审核类别，实现多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种视频审核的方法的流程图；
图2为本发明实施例二提供的一种视频审核过程的原理示意图；
图3为本发明实施例三提供的视频审核的方法中对融合学习模型的构建原理图；
图4A为本发明实施例四提供的一种视频审核的方法所适用的应用场景的场景架构图；
图4B为本发明实施例四提供的视频审核过程的原理示意图；
图5为本发明实施例五提供的一种视频审核的装置的结构示意图；
图6为本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
本发明实施例涉及到光学字符识别(Optical Character Recognition，OCR)、自然语言处理、语音识别、计算机视觉和机器学习等各类互联网技术，主要适用于对用户上传的短视频、直播视频等互联网视频流中一种新型用户原创内容(User Generated Content，UGC)视频的内容审核中。本发明实施例主要采用多个深度神经网络模型对大量现有视频中的不同类型内容信息进行对应的分析，以及对各不同类型内容信息之间的相关性进行有效挖掘，从而将各不同类型内容信息进行融合，得到对应的训练子模型，并将多个训练子模型构建融合学习模型，根据该融合学习模型对待审核视频中的不同类型内容信息进行融合，得到在不同预设审核类别下的比重，从而确定该待审核视频的审核类别，能够对待审核视频中各类型的内容信息之间的内在相关性进行有效地挖掘，提高了视频审核的全面性和准确性。
实施例一
图1为本发明实施例一提供的一种视频审核的方法的流程图，本实施例可应用于任一种可以对用户上传的原创视频进行审核的视频审核终端中。本发明实施例的方案可以适用于如何解决视频审核存在局限性的问题。本实施例提供的一种视频审核的方法可以由本发明实施例提供的视频审核的装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是承载有相应的视频审核能力的任一种智能终端设备。
具体的，参考图1，该方法可以包括如下步骤：
S110，提取待审核视频中的不同类型内容信息。
其中，待审核视频为任一用户可以通过各类应用程序上传至互联网中进行传播的、需要进行审核的用户原创视频；如用户录制的短视频、网络直播视频等。为了防止存在违规视频内容的用户原创视频在互联网中的快速传播，因此需要在视频传播之前，对上传的各类用户原创视频的内容进行审核，将存在违规内容的视频过滤出来。同时，不同类型内容信息为待审核视频中分离出的各不同类型下的内容信息，如画面、声音和文字等；本实施例中不同类型内容信息可以包括待审核视频中的图片序列、音频序列和文字序列。具体的，为了解决视频审核存在局限性的问题，首先需要确定待审核视频中各个类型下的内容，以便后续对不同类型内容信息之间的内在相关性进行有效挖掘，得到融合后的整体信息。
可选的，本实施例中首先需要获取对应的待审核视频，可以通过与各个用户终端建立无线连接，以在用户上传对应视频时，能够获取本次的待审核视频；也可以通过管理员直接将对应的待审核视频录入到执行本实施例中提供的视频审核方法的终端设备中，从而直接得到本次的待审核视频。在获取到待审核视频后，首先可以通过现有的信息分离技术分别提取出待审核视频中包括的画面、声音、文字等不同类型内容信息，以便后续对待审核视频中不同类型内容信息之间的内在相关性进行有效挖掘，得到该待审核视频的整体信息特征。
可选的，由于本实施例中不同类型内容信息可以包括待审核视频中的图片序列、音频序列和文字序列，因此在提取待审核视频中的不同类型内容信息时，可以包括对待审核视频中的图片序列、音频序列和文字序列这三方面的内容信息的分别提取。
1)本实施例中在对待审核视频中的图片序列进行提取时，提取待审核视频中的不同类型内容信息，具体可以包括：对待审核视频分段后，在分段的待审核视频中抽取视频帧；组合抽取的视频帧，得到对应的图片序列。
具体的，由于获取到的待审核视频中可能连续多帧的视频图像是相似的，此时为了减少数据处理量，本实施例中可以按照一定的时间间隔对待审核视频进行分段处理，使得每一段待审核视频中包含的各视频帧之间具有一定的相似性，此时在每一段待审核视频包含的全部视频帧中随机抽取一帧视频图像，舍弃该分段的待审核视频中的其他视频帧，从而确保在各分段的待审核视频中抽取出的视频帧存在一定的画面区别，从而极大降低了视频帧在处理过程中的冗余，提高了后续对视频帧的分析速率。
进一步的，由于不同用户上传的不同待审核视频的视频帧画面尺寸可能不同，而在对不同的待审核视频中的图片序列进行分析时，需要保证后续分析的图片序列的画面尺寸相同，因此在各分段的待审核视频中抽取出视频帧后，需要将各视频帧缩放到预定义的画面尺寸，以保证后续能够对相同尺寸的图片序列进行分析；同时，将抽取出的缩放到预定义的画面尺寸的视频帧按照分段的时间顺序组合到一起，得到待审核视频中不同类型内容信息中的图片序列，后续对该图片序列进行对应的分析和融合，提高视频审核的速率。
2)本实施例中在对待审核视频中的音频序列进行提取时，提取待审核视频中的不同类型内容信息，具体可以包括：对待审核视频分段后，在分段的待审核视频中重采样音频信息；通过梅尔倒频谱(Mel-Frequency Cepstrum，MFC)算法提取重采样的音频信息中的频谱特征；组合提取的频谱特征，得到对应的音频序列。
其中，MFC是一个可用来代表短期声音信号的频谱，基于以非线性的梅尔刻度表示的对数频谱及其线性余弦转换，此时MPC上的频带是均匀分布于梅尔刻度上的，也就是说，这样的频带会较一般所采用的线性的倒频谱表示方法，与人类非线性的听觉系统更为接近，因此一般选用MFC算法来对语音辨识系统中的语音特征进行观察，例如：可以自动辨认用户透过电话说的数字。
具体的，为了后续分析音频信息与图片序列之间的内在相关性，可以在获取到待审核视频后，按照与图片序列处理中相同的时间间隔对该待审核视频进行分段，以保证与图片序列之间的匹配程度；此时由于不同待审核视频在初始录制时，对应的音频信息采集时所选用的声音频率并不同，因此需要在各分段的待审核视频中按照预先定义的频率对各分段待审核视频中的音频信息进行重采样，以确保后续对同一频率下的音频信息进行处理。
进一步的，在得到各分段内重采样的音频信息后，为了对各分段的音频信息进行分析，可以通过MFC算法来获取各分段内重采样的音频信息的频谱特征，从而辨识该分段内音频信息的语音信息。其中，由于MFC算法在获取对应的频谱时，并不能一次性全部获取整个分段内重采样的音频信息对应的频谱特征，此时可以通过预先设定固定大小的滑动窗口，将该滑动窗口在各分段的音频信息上滑动，并利用MFC算法每次提取该滑动窗口内音频信号对应的频谱特征，此时由于滑动窗口在滑动过程中，MFC算法在每次提取窗口内的频谱特征时，不同滑动窗口可能会包含同一音频信息，此时可以对该音频信息的频谱特征重复提取，确保该音频信号对应的频谱特征的完整和准确性，提高视频审核效果。在提取出重采样的音频信息中的频谱特征后，可以按照对应的时间顺序将提取出的频谱特征组合在一起，得到待审核视频中不同类型内容信息中的音频序列，后续对该音频序列进行对应的分析和融合，提高视频审核的速率。此外，本实施例中还可以采用其他音频特征提取算法，如线性预测倒谱算法，来代替MFC算法提取重采样的音频信息中的频谱特征。
3)本实施例中在对待审核视频中的文字序列进行提取时，提取待审核视频中的不同类型内容信息，具体可以包括：通过OCR算法获取待审核视频中的文字信息，得到对应的文字序列。
其中，OCR算法是指电子设备(例如扫描仪或数码相机)检查纸上打印的或者屏幕显示的字符，通过检测字符暗、亮的模式确定字符形状，然后用字符识别方法将形状翻译成计算机文字的过程，以对文字进行自动识别。
具体的，由于待审核视频中的文字信息的来源可以是待审核视频中出现的弹幕、评论区的评论信息、视频画面上叠加的文字信息以及视频场景中文字信息等，但并不限于这几种来源，还可能存在其他文字来源。本实施例中可以通过现有的OCR算法对该待审核视频中出现的文字信息进行识别，此时由于弹幕中的文字信息以及评论区的评论信息是由其他观看该待审核视频的用户输入的文字信息，可以在后台系统中直接获取，因此本实施例中仅需要采用现有的OCR算法获取待审核视频自身携带的文字信息，并利用Word2Vec算法对获取的文字信息进行对应处理，从而有效地将这些文字信息映射为低维稠密的特征向量，得到对应的文字序列。此外，本实施例中还可以采用其他词嵌入算法，如Glove算法、WordRank模型、FastText分类器等，代替Word2Vec算法对获取的文字信息进行对应处理，得到对应的文字序列。
S120，根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量。
具体的，在提取出待审核视频中的不同类型内容信息时，为了分析不同类型内容信息之间的相关性，首先需要分别获取各不同类型内容信息的特征向量；此时可以为不同类型内容信息分别设定对应的单一类型分析模型，通过现有的神经网络、支持向量机、随机森林或大数据分析等方法，采用大量该类型下的历史训练数据对各个单一类型分析模型进行训练，以将不同类型内容信息通过该对应的单一类型分析模型能够得到各不同类型内容信息的特征向量，该特征向量能够对应表示出该不同类型内容信息区别于其他内容信息的特性。
可选的，在得到不同类型内容信息的特征向量时，通过对不同类型内容信息中对应各维度下的特征值进行分析，判断各个不同类型内容信息之间的相关性，从而对各不同类型内容信息的特征向量进行融合。可选的，通过对不同类型内容信息的特征向量中同一维度上的特征值进行分析，判断各不同类型内容信息在该维度上的内在相关性，从而对各特征向量在同一维度上的特征值进行融合，得到能够表示待审核视频的整体特性的特征向量。
示例性的，在提取出待审核视频中包括的图片序列、音频序列和文字序列等不同类型内容信息时，分别对图片序列、音频序列和文字序列进行单一类型的分析，从而得到图片序列、音频序列和文字序列分别对应的特征向量，此时对图片序列和音频序列提取出的特征向量可以是按照对应的时间维度分析得到的，因此可以对图片序列和音频序列对应的特征向量中处于同一时间维度下的具体特征值进行分析，判断两者的相关性；同时由于文字序列中可能包含有弹幕与评论信息，因此实时性要求较低，此时在分析出各时间维度上的图片特征和音频特征时，可以参照整体的文字序列对应的特征向量中各项特征值进行整体分析，从而根据图片序列、音频序列和文字序列三者之间的内在相关性，将图片序列、音频序列和文字序列对应的特征向量进行融合，从而得到能够表示该待审核视频的整体特性信息的特征向量，以便后续在不同的审核类别中进行分析。
S130，根据待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重。
其中，预设审核类别为待审核视频可能属于的任意一种视频类型，可以包括正常类别和违规类别，其中违规类别还可以细分为暴力类别、恐怖类别、色情类别以及政治敏感类别等含有各种违规内容的违规类型。
具体的，在融合各不同类别内容信息的特征向量，得到该待审核视频的特征向量后，可以对该待审核视频的特征向量进行分析，判断该待审核视频与各个不同预设审核类别下所包含的该审核类别的视频之间的区别程度，并根据待审核视频的特征向量与不同预设审核类别中对应视频的区别程度，确定出该待审核视频在不同预设审核类别下所占的比重，以便后续根据该比重判断该待审核视频的审核类别。可选的，本实施例中可以通过分析不同预设审核类别下的大量历史视频的特征，从而分析出不同预设审核类别下所包含的视频中应该存在的共性特征，后续通过分析待审核视频的特征向量与不同预设审核类别下所应包含的共性特征之间的区别程度，确定待审核视频在不同预设审核类别下的比重。
S140，根据在不同预设审核类别下的比重，确定待审核视频的审核类别。
具体的，本实施例中在得到待审核视频在不同预设审核类别下的比重时，通过对各比重进行分析，判断该待审核视频是否为正常视频。示例性的，若该待审核视频在正常类别中的比重远大于在各个细分的违规类别中的比重，则确定该待审核视频的审核类别为正常类别；若该待审核视频在正常类别中的比重较低于在各个细分的违规类别中的比重之和，且在违规类别中细分下的暴力类别中的比重远高于其他违规类别中的比重，则确定该待审核视频的审核类别为违规类别中的暴力类别。同时，若预设审核类别仅包括正常类别和违规类别两种，则直接将待审核视频在这两种预设审核类别中的比重较高的审核类别确定为该待审核视频的审核类别。
可选的，本实施例中为了避免机器审核对待审核视频的审核类别的审核误差，还可以通过机器审核和人工审核相结合的方式，进一步提升对待审核视频的审核精确度；此时，根据在不同预设审核类别下的比重，确定待审核视频的审核类别，具体可以包括：待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送待审核视频；根据人工审核平台的反馈信息确定待审核视频的审核类别。
具体的，违规阈值为确定待审核视频包含该违规类别下的违规内容时所对应比重的下限值；本实施例中可以按照一定的疑似违规推送比率(Suspected Tllegal PushRatio，SIPR)分别定义不同违规类别下对应的各违规阈值，其中该SIPR为每日推向人工平台数据量除以每天业务总数据量；此时若待审核视频在违规类别下不同细分违规类别中的比重均低于对应的违规阈值，则确定该待审核视频的审核类别为正常类别；若待审核视频在违规类别下的某一个细分违规类别中的比重超出该细分违规类别对应的违规阈值，则此时该待审核视频可能包含有对应的违规内容。
可选的，为了进一步提升视频审核的精确度，本实施例在待审核视频在某一违规类别下的比重超出对应预设的违规阈值时，可以将该待审核视频发送给相应的人工审核平台，由工作人员进一步对该待审核视频再次进行人工审核，确定该待审核视频的审核类别，并在人工审核完成后，由人工审核平台将人工审核结果作为对应的反馈信息返回给执行本实施例中的视频审核的方法的视频审核终端中，从而使该视频审核终端根据该反馈信息确定对应的人工审核结果，从而确定该待审核视频的审核类别。
本实施例提供的技术方案，通过提取待审核视频中不同类型内容信息的特征向量，根据特征向量之间的相关性融合各特征向量，并通过融合后的特征向量分别得到待审核视频在不同预设审核类别下的比重，从而确定待审核视频的审核类别，实现多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。
实施例二
图2为本发明实施例二提供的一种视频审核过程的原理示意图。本实施例中是在上述实施例提供的技术方案的基础上进行优化。具体的，本实施例中主要针对不同类型内容信息的特征向量的融合过程，以及待审核视频在不同预设审核类别下的比重确定过程进行详细的解释说明。
可选的，本实施例中可以包括如下步骤：
S210，提取待审核视频中的不同类型内容信息。
S220，向预先构建的融合学习模型中输入各不同类型内容信息，通过融合学习模型中不同类型下的学习子模型分别提取不同类型内容信息的特征向量。
其中，融合学习模型是一种能够对待审核视频中的不同类型内容信息进行单一类型分析后，直接融合各不同类型内容信息，得到该待审核视频在多类型融合下不同预设审核类别中的比重的训练模型，可以由多个子模型组合而成。其中，该融合学习模型中可以包括对单一类型下各不同类型内容信息进行对应分析的学习子模型，以及对各不同类型内容信息的分析结果进行融合的融合子模型；具体的，该学习子模型与待审核视频中提取出的不同类型内容信息一一对应，本实施例中不同类型内容信息中可以包括图片序列、音频序列和文字序列三种，因此如图2所示，本实施例中融合学习模型中包括三种学习子模型，分别与待审核视频中提取出的图片序列、音频序列和文字序列一一对应，从而分别对待审核视频中的图片序列、音频序列和文字序列进行单一类型分析，从而提取出图片序列、音频序列和文字序列对应的特征向量；融合子模型可以对三种学习子模型中提取出的图片序列、音频序列和文字序列对应的特征向量进行融合，得到能够表示该待审核视频的整体特性的特征向量。可选的，本实施例中的学习子模型和融合子模型分别是一种深度神经网络模型，通过对大量历史视频进行自学习和自适应的训练，使学习子模型和融合子模型能力能够分别具备某一特定处理能力，从而得到对应的目标分析结果。本实施例中学习子模型和融合子模型还可以由其他机器学习模型，如Xgboost、支持向量机、随机森林等模型来代替深度神经网络模型来进行训练。
可选的，本实施例中在提取出待审核视频中的不同类型内容信息后，首先将各不同类型内容信息分别输入到预先构建的融合学习模型中，也就是分别将从待审核视频中提取出的图片序列、音频序列和文字序列输入到融合学习模型中，通过融合学习模型中与不同类型内容信息一一对应的学习子模型分别对各不同类型内容信息进行特征提取，通过与图片序列对应的学习子模型提取图片序列的特征向量；通过与音频序列对应的学习子模型提取音频序列的特征向量；通过与文字序列对应的学习子模型提取文字序列的特征向量；以便后续根据图片序列、音频序列和文字序列之间的内在相关性，对各个特征向量进行特征融合处理。
S230，根据不同类型内容信息之间的相关性，通过融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。
具体的，在通过各学习子模型分别得到不同类型内容信息的特征向量后，将各不同类型内容信息的特征向量分别经过融合学习模型中的融合子模型，以使融合子模型有效挖掘出各不同类型内容信息之间的相关性，并根据该相关性对不同类型内容信息的特征向量进行融合，得到能够表示待审核视频的整体特性的特征向量。可选的，本实施例中分别将图片序列、音频序列和文字序列的特征向量经过融合子模型，分析图片序列、音频序列和文字序列之间的内在相关性，如可以通过分析图片序列和音频序列的特征向量中在同一时间维度上的特征值，判断图片序列和音频序列的相关性，由于文字序列中包含有弹幕和评论信息等，实时性较低，因此在确定图片序列和音频序列的相关性后，再次分析文字序列的特征向量在其他维度上与图片序列和音频序列之间的相关性，从而对图片序列、音频序列和文字序列的特征向量进行融合，得到待审核视频的特征向量。具体的，本实施例中可以通过融合子模型中各个神经元之间的非线性映射将各不同类型内容信息的特征向量融合在一起，得到待审核视频的特征向量。其中，非线性映射中能够学习和存储大量输入输出模式映射关系，而无需事先了解描述这种映射关系的数学方程，只要能提供足够多的样本数据对网络模型预先进行学习训练，便能完成从n维输入空间到m维输出空间的非线性映射。
S240，根据待审核视频的特征向量，通过融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。
其中，预设回归函数是神经网络中一种针对多分类算法的回归模型，用于将待审核视频在不同预设审核类别中的分类结果归一化。可选的，本实施例中采用Softmax回归函数，可以将待审核视频的特征向量在每个预设审核类型中的输出，映射到对应的(0，1)区间内，从而得到待审核视频在各不同预设审核类别下的比重，此时可以保证待审核视频在不同预设审核类别下的比重之和为1。需要说明的是，在融合子模型中的预设回归函数可以是Softmax回归函数、Logistic回归函数以及多项式回归函数等能够根据待审核视频的特征向量确定在不同审核类别下所占的比重的回归模型中的任意一种，本实施例中对此不作限定。
可选的，本实施例中对该待审核视频的特征向量进行分析，判断该待审核视频与各个不同预设审核类别下所包含的该审核类别的视频之间的区别程度，从而确定该待审核视频的特征向量在不同预设审核类别中对应的分析结果，并通过融合子模型中的Softmax回归函数将在各不同预设审核类别中输出的分析结果，映射到对应的(0，1)区间内，从而确定待审核视频在各不同预设审核类别下的比重，以便后续根据该比重确定待审核视频的审核类别。
S250，根据在不同预设审核类别下的比重，确定待审核视频的审核类别。
本实施例提供的技术方案，通过预先构建的融合学习模型对不同类型内容信息的特征向量进行融合，并根据融合后的特征向量分别得到待审核视频在不同预设审核类别下的比重，从而确定待审核视频的审核类别，实现多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。
实施例三
图3为本发明实施例三提供的视频审核的方法中对融合学习模型的构建原理图。本实施例是在上述实施例的基础上进行优化，本实施例中主要对融合学习模型的具体训练过程进行详细的解释说明。
可选的，本实施例可以包括如下步骤：
S310，提取训练样本中不同类型的样本内容信息。
其中，训练样本为目标审核类别下的历史视频。为了保证构建的融合学习模型能够对各类型的待审核视频进行对应审核，需要预先对已经确定视频所属审核类别的大量历史视频进行训练。此时，首先通过获取大量各类别下的历史视频作为训练样本，其中该历史视频的来源可以是上传至互联网进行传播的互联网短视频或互联网直播视频，也可以是其他途径获取的视频，本实施例中对历史视频的来源不作限定。同时，将获取的大量训练样本构建为对应的训练集，并针对每一个训练样本进行标注，预先根据该历史视频中的内容为每一个训练样本设定对应的样本标签，该样本标签为训练样本所属的目标审核类别，包括正常类别和违规类别，或对违规类别进行具体细分，因此本实施例中的违规标签可以设定为单分类标签或多分类标签，以判断违规类别是否细分为具体违规类型。
可选的，本实施例针对各个审核类别下的训练样本分别进行深度神经网络训练，首先获取训练集中标签信息为某一目标审核类别的训练样本，并对该训练样本中不同类型的样本信息进行分离，从而提取出训练样本中包括的画面、声音、文字等不同类型的样本内容信息。具体的，本实施例中可以分别提取训练样本中包含的样本图片序列、样本音频序列和样本文字序列，以便后续对各个子模型进行训练。
S320，通过不同类型下的学习子模型分别提取样本内容信息的特征向量，并根据各样本内容信息之间的相关性，通过融合子模型对各样本内容信息的特征向量进行融合，得到训练样本的特征向量。
具体的，在提取出训练样本中不同类型的各样本内容信息后，如图3中所示，分别将各样本内容信息输入到对应的学习子模型中，也就是将样本图片序列输入到针对图片训练的学习子模型中，将样本音频序列输入到针对音频训练的学习子模型中，将样本文字序列输入到针对文字训练的学习子模型中，从而根据各学习子模型中预先设定的训练参数，分别对样本图片序列、样本音频序列和样本文字序列中的特征进行提取，从而得到各样本内容信息的特征向量；此时将各样本内容信息的特征向量同时输入到融合子模型中，通过融合子模型中预先设定的训练参数判断各样本内容信息之间的相关性，也就是根据训练参数分析样本图片序列、样本音频序列和样本文字序列的特征向量之间的内在相关性，从而使融合子模型根据该相关性分析结果采用对应的训练参数对各样本内容信息的特征向量进行融合，得到可以表示该训练样本的整体特性的特征向量。具体的，本实施例中通过融合子模型中各个神经元之间的非线性映射将训练样本中不同类型的各样本内容信息的特征向量融合在一起，得到该训练样本的特征向量。
S340，根据训练样本的特征向量，通过融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重。
可选的，在得到训练样本的特征向量时，根据融合子模型中预先在各个不同预设审核类别下设定的模型参数特征，判断训练样本的特征向量与各个不同预设审核类别下预设的模型参数特征之间的区别程度，得到该训练样本的特征向量在不同预设审核类别下对应的区别分析结果，同时通过融合子模型中的预设回归函数，也就是Softmax回归函数将在各不同预设审核类别中输出的区别分析结果，映射到对应的(0，1)区间内，从而确定该训练样本在各不同预设审核类别下的比重，以便后续根据该比重确定该训练样本在本次训练过程中得到的所属审核类别。
S350，根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取目标审核类别下新的训练样本，直至目标审核类别下的分类损失低于预设损失阈值。
具体的，在得到训练样本在不同预设审核类别下的比重时，可以大致确定本次训练过程中该融合学习模型对训练样本进行分析得到的审核类别，该审核类别为估计值，此时可以根据该训练样本所属的目标审核类别和根据在不同预设审核类别下的比重确定的审核类别，也就是将视频审核的实际类别和本次的估计值进行判断，确定本次审核中存在的分类损失，该分类损失可以明确表明当前训练的各子模型针对该目标审核类型的分类准确程度。可选的，可以采用任一种现有的损失函数来判断本次训练的分类损失，对此不作限定。本实施例中通过对训练样本的样本标签，也就是对应的目标审核类别，以及训练样本在不同预设审核类别下的比重，求取对应的交叉熵来确定本次训练对应的分类损失。同时，本实施例中在得到分类损失后，还需要对该分类损失进行判断，若本次训练的分类损失超出预设的损失阈值，说明本次训练的各子模型对视频审核的准确性还不高，需要再次进行训练；此时将本次训练得到的分类损失按照模型训练过程进行反向传播，也就是将该分类损失依次反向通过融合子模型和各学习子模型，并根据该分类损失对各子模型中的训练参数进行修正，从而不断调整各子模型中的训练参数，不断提高各子模型的分类准确度。
进一步的，在对各子模型进行修正后，可以在预先构建的训练集中继续获取属于该目标审核类别下新的训练样本，得到对该新的训练样本进行训练时确定的新的分类损失，依次循环，直至该目标审核类别下的分类损失低于预设的损失阈值，说明本次训练的各子模型对视频审核已经达到一定的准确性，无需对该目标审核类别下的训练样本再次训练，此时对其他审核类别进行训练。
S360，重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。
具体的，在对某一目标审核类别下的训练样本训练完成时，还需要对预设审核类别中的其他审核类别下的训练样本进行训练，参照上述的训练过程，分别对正常类别以及违规类别中细分的各具体违规类型对应的训练样本进行训练，直到预设的全部审核类别下的分类损失均低于对应的预设损失阈值，此时可以确定当前训练的各子模型能够对任一种待审核视频的审核类别进行准确判断，此时将得到的各学习子模型和融合子模型构建为本实施例中的融合学习模型，以便后续对待审核视频进行准确审核。
本实施例提供的技术方案，通过将大量训练样本中不同类型的样本内容信息输入到各个学习子模型和融合子模型中进行训练，构建能够对待审核视频中的不同类型内容信息进行分析和融合的融合学习模型，从而实现多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。
实施例四
图4A为本发明实施例四提供的一种视频审核的方法所适用的应用场景的场景架构图，图4B为本发明实施例四提供的视频审核过程的原理示意图。本实施例中主要以特定的应用场景对视频审核的具体过程进行详细描述。参照图4A，本实施例中包括视频审核终端40、用户终端41和人工审核平台42；视频审核终端40分别与用户终端41和人工审核平台42建立无线连接。
可选的，用户可以通过所在的用户终端41上传对应的待审核视频，在待审核视频在互联网中传播之前，视频审核终端40首先会获取用户终端41上用户新上传的待审核视频，并采用本发明实施例中提供的视频审核的方法对该待审核视频进行审核，得到该待审核视频在不同预设审核类别下的比重，此时查找到该待审核视频在违规类别下的比重，若在某一违规类别下的比重超出对应预设的违规阈值，可以将该待审核视频发送给相应的人工审核平台42，由该人工审核平台42端的工作人员进一步对该待审核视频再次进行人工审核，从而确定该待审核视频的审核类别，并在人工审核完成后，由人工审核平台42将人工审核结果作为对应的反馈信息返回给视频审核终端40中，从而使该视频审核终端40根据该反馈信息确定对应的人工审核结果，从而确定该待审核视频的审核类别。若每一违规类别下的比重均低于对应预设的违规阈值，则可以直接确定该待审核视频为正常视频。本实施例中通过机器审核和人工审核相结合的方式，进一步提升视频审核的精确度。
具体的，参照图4B，视频审核终端40在对该待审核视频进行审核时，首先对待审核视频进行分段处理，并提取出该待审核视频中不同类型下的画面信息、音频信息和文字信息，同时在分段后的画面信息中抽取出对应的视频帧，并按照时间顺序进行组合，得到对应的图片序列；对分段后的音频信息进行重采样，提取各分段的重采样后音频信息的频谱特征，并按照时间顺序进行组合，得到对应的音频序列；获取待审核视频中的文字信息，并利用Word2Vec算法对获取的文字信息进行处理，得到对应的文字序列；将图片序列、音频序列和文字序列分别通过融合学习模型中对应的学习子模型，提取出图片序列、音频序列和文字序列的特征向量，从而根据融合子模型对提取出的各特征向量进行融合，并根据融合后的特征向量确定待审核视频在不同预设审核类别下的比重，进而根据该比重确定待审核视频的审核类别。
需要说明的是，本实施例中对于用户终端41的数量不作限定，根据上传视频的用户数量确定。
本实施例提供的技术方案，通过提取待审核视频中不同类型内容信息的特征向量，根据特征向量之间的相关性融合各特征向量，并通过融合后的特征向量分别得到待审核视频在不同预设审核类别下的比重，从而确定待审核视频的审核类别，实现多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。
实施例五
图5为本发明实施例五提供的一种视频审核的装置的结构示意图，具体的，如图5所示，该装置可以包括：
信息提取模块510，用于提取待审核视频中的不同类型内容信息；
特征融合模块520，用于根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；
比重确定模块530，用于根据待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；
审核类别确定模块540，用于根据在不同预设审核类别下的比重，确定待审核视频的审核类别。
本实施例提供的技术方案，通过提取待审核视频中不同类型内容信息的特征向量，根据特征向量之间的相关性融合各特征向量，并通过融合后的特征向量分别得到待审核视频在不同预设审核类别下的比重，从而确定待审核视频的审核类别，实现多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。
进一步的，上述特征融合模块520，可以具体用于：
向预先构建的融合学习模型中输入各不同类型内容信息，通过融合学习模型中不同类型下的学习子模型分别提取不同类型内容信息的特征向量；
根据不同类型内容信息之间的相关性，通过融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。
进一步的，上述比重确定模块530，可以具体用于：
根据待审核视频的特征向量，通过融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。
进一步的，上述融合学习模型可以通过执行下述操作构建：
提取训练样本中不同类型的样本内容信息，该训练样本为目标审核类别下的历史视频；
通过不同类型下的学习子模型分别提取样本内容信息的特征向量，并根据各样本内容信息之间的相关性，通过融合子模型对各样本内容信息的特征向量进行融合，得到训练样本的特征向量；
根据训练样本的特征向量，通过融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；
根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取目标审核类别下新的训练样本，直至目标审核类别下的分类损失低于预设损失阈值；
重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。
进一步的，上述不同类型内容信息可以包括待审核视频中的图片序列、音频序列和文字序列。
进一步的，上述信息提取模块510，可以具体用于：
对待审核视频分段后，在分段的待审核视频中抽取视频帧；
组合抽取的视频帧，得到对应的图片序列。
进一步的，上述信息提取模块510，还可以具体用于：
对待审核视频分段后，在分段的待审核视频中重采样音频信息；
通过梅尔倒频谱MFC算法提取重采样的音频信息中的频谱特征；
组合提取的频谱特征，得到对应的音频序列。
进一步的，上述信息提取模块510，还可以具体用于：
通过光学字符识别OCR算法获取待审核视频中的文字信息，得到对应的文字序列。
进一步的，上述审核类别确定模块540，可以具体用于：
待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送待审核视频；
根据人工审核平台的反馈信息确定待审核视频的审核类别。
本实施例提供的视频审核的装置可适用于上述任意实施例提供的视频审核的方法，具备相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种设备的结构示意图，如图6所示，该设备包括处理器60、存储装置61和通信装置62；设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；设备中的处理器60、存储装置61和通信装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储装置61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的视频审核的方法对应的程序指令/模块。处理器60通过运行存储在存储装置61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述视频审核的方法。
存储装置61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置62可用于实现设备间的网络连接或者移动数据连接。
本实施例提供的一种设备可用于执行上述任意实施例提供的视频的方法，具备相应的功能和有益效果。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的视频审核的方法。该方法具体可以包括：
提取待审核视频中的不同类型内容信息；
根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；
根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；
根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频审核的方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述视频审核的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种视频审核的方法，其特征在于，包括：
提取待审核视频中的不同类型内容信息；
根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；
根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；
根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。
2.根据权利要求1所述的方法，其特征在于，根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量，包括：
向预先构建的融合学习模型中输入各所述不同类型内容信息，通过所述融合学习模型中不同类型下的学习子模型分别提取所述不同类型内容信息的特征向量；
根据不同类型内容信息之间的相关性，通过所述融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。
3.根据权利要求2所述的方法，其特征在于，根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重，包括：
根据所述待审核视频的特征向量，通过所述融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。
4.根据权利要求2所述的方法，其特征在于，所述融合学习模型通过执行下述操作构建：
提取训练样本中不同类型的样本内容信息，所述训练样本为目标审核类别下的历史视频；
通过不同类型下的学习子模型分别提取所述样本内容信息的特征向量,并根据各所述样本内容信息之间的相关性，通过融合子模型对各所述样本内容信息的特征向量进行融合，得到训练样本的特征向量；
根据所述训练样本的特征向量，通过所述融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；
根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将所述分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取所述目标审核类别下新的训练样本，直至所述目标审核类别下的分类损失低于预设损失阈值；
重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。
5.根据权利要求1所述的方法，其特征在于，所述不同类型内容信息包括待审核视频中的图片序列、音频序列和文字序列。
6.根据权利要求5所述的方法，其特征在于，提取待审核视频中的不同类型内容信息，包括：
对所述待审核视频分段后，在分段的待审核视频中抽取视频帧；
组合抽取的视频帧，得到对应的图片序列。
7.根据权利要求5所述的方法，其特征在于，提取待审核视频中的不同类型内容信息，包括：
对所述待审核视频分段后，在分段的待审核视频中重采样音频信息；
通过梅尔倒频谱MFC算法提取重采样的音频信息中的频谱特征；
组合提取的频谱特征，得到对应的音频序列。
8.根据权利要求5所述的方法，其特征在于，提取待审核视频中的不同类型内容信息，包括：
通过光学字符识别OCR算法获取所述待审核视频中的文字信息，得到对应的文字序列。
9.根据权利要求1所述的方法，其特征在于，根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别，包括：
所述待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送所述待审核视频；
根据所述人工审核平台的反馈信息确定所述待审核视频的审核类别。
10.一种视频审核的装置，其特征在于，包括：
信息提取模块，用于提取待审核视频中的不同类型内容信息；
特征融合模块，用于根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；
比重确定模块，用于根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；
审核类别确定模块，用于根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。
11.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的视频审核的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的视频审核的方法。
CN201811438719.8A 2018-11-27 2018-11-27 一种视频审核的方法、装置、设备和存储介质 Pending CN109495766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811438719.8A CN109495766A (zh) 2018-11-27 2018-11-27 一种视频审核的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811438719.8A CN109495766A (zh) 2018-11-27 2018-11-27 一种视频审核的方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN109495766A true CN109495766A (zh) 2019-03-19

Family

ID=65698526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811438719.8A Pending CN109495766A (zh) 2018-11-27 2018-11-27 一种视频审核的方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109495766A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862394A (zh) * 2019-03-27 2019-06-07 北京周同科技有限公司 视频内容的审核方法、装置、设备和存储介质
CN110085213A (zh) * 2019-04-30 2019-08-02 广州虎牙信息科技有限公司 音频的异常监控方法、装置、设备和存储介质
CN110225373A (zh) * 2019-06-13 2019-09-10 腾讯科技（深圳）有限公司 一种视频审核方法、装置及电子设备
CN110647905A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 一种基于伪脑网络模型下的涉恐场景识别方法
CN110659618A (zh) * 2019-09-26 2020-01-07 腾讯科技（深圳）有限公司 视频发布方法及装置
CN110781916A (zh) * 2019-09-18 2020-02-11 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN110990631A (zh) * 2019-12-16 2020-04-10 腾讯科技（深圳）有限公司 视频筛选方法、装置、电子设备和存储介质
CN111079816A (zh) * 2019-12-11 2020-04-28 北京金山云网络技术有限公司 图像的审核方法、装置和服务器
CN111090776A (zh) * 2019-12-20 2020-05-01 广州市百果园信息技术有限公司 一种视频审核的方法、装置、审核服务器和存储介质
CN111770353A (zh) * 2020-06-24 2020-10-13 北京字节跳动网络技术有限公司 一种直播监控方法、装置、电子设备及存储介质
CN111770352A (zh) * 2020-06-24 2020-10-13 北京字节跳动网络技术有限公司 安全检测方法、装置、电子设备及存储介质
CN111813399A (zh) * 2020-07-23 2020-10-23 平安医疗健康管理股份有限公司 基于机器学习的审核规则处理方法、装置及计算机设备
CN112579771A (zh) * 2020-12-08 2021-03-30 腾讯科技（深圳）有限公司 一种内容的标题检测方法及装置
CN113569909A (zh) * 2021-06-24 2021-10-29 阿里巴巴新加坡控股有限公司 数据处理方法、装置、电子设备和存储介质
CN113705563A (zh) * 2021-04-13 2021-11-26 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质
CN113987265A (zh) * 2021-10-25 2022-01-28 特赞（上海）信息科技有限公司 视频的分幕节点预测方法、装置、终端及存储介质
CN114022744A (zh) * 2021-11-04 2022-02-08 北京香侬慧语科技有限责任公司 一种自动违规弹幕检测方法、装置、系统、介质及设备
CN114157906A (zh) * 2020-09-07 2022-03-08 北京达佳互联信息技术有限公司 视频检测方法、装置、电子设备及存储介质
CN114202712A (zh) * 2020-08-31 2022-03-18 国家广播电视总局广播电视科学研究院 特征提取方法、装置及电子设备
CN114760484A (zh) * 2021-01-08 2022-07-15 腾讯科技（深圳）有限公司 直播视频识别方法、装置、计算机设备和存储介质
CN114817636A (zh) * 2022-04-28 2022-07-29 国家计算机网络与信息安全管理中心 视频检测方法、装置、设备及计算机可读存储介质
CN114915779A (zh) * 2022-04-08 2022-08-16 阿里巴巴（中国）有限公司 视频质量评估方法、装置、设备和存储介质
CN114979051A (zh) * 2022-04-18 2022-08-30 中移互联网有限公司 一种消息处理方法、装置、电子设备及存储介质
CN115049953A (zh) * 2022-05-09 2022-09-13 中移（杭州）信息技术有限公司 视频处理方法、装置、设备及计算机可读存储介质
CN115297360A (zh) * 2022-09-14 2022-11-04 百鸣(北京)信息技术有限公司 一种多媒体软件视频上传智能审核系统
CN115460433A (zh) * 2021-06-08 2022-12-09 京东方科技集团股份有限公司 一种视频处理方法、装置、电子设备及存储介质
CN115834935A (zh) * 2022-12-21 2023-03-21 阿里云计算有限公司 多媒体信息审核方法、广告审核方法、设备及存储介质
CN116824107A (zh) * 2023-07-13 2023-09-29 北京万物镜像数据服务有限公司 一种三维模型审阅信息的处理方法、装置及设备
CN119136006A (zh) * 2024-11-08 2024-12-13 湖南快乐阳光互动娱乐传媒有限公司 视频弹幕的审核方法、装置、电子设备及计算机存储介质
CN120234631A (zh) * 2025-05-29 2025-07-01 浙江宇宙奇点科技有限公司 一种触发平台算法预设值点位的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238238A1 (en) * 2002-07-19 2005-10-27 Li-Qun Xu Method and system for classification of semantic content of audio/video data
CN101035280A (zh) * 2007-04-19 2007-09-12 鲍东山 分级内容审核终端系统
CN103049530A (zh) * 2012-12-22 2013-04-17 深圳先进技术研究院 深入融合视频审查方法和系统
US20140037269A1 (en) * 2012-08-03 2014-02-06 Mrityunjay Kumar Video summarization using group sparsity analysis
CN107580259A (zh) * 2016-07-04 2018-01-12 北京新岸线网络技术有限公司 一种视频内容审核方法和系统
CN108124191A (zh) * 2017-12-22 2018-06-05 北京百度网讯科技有限公司 一种视频审核方法、装置及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238238A1 (en) * 2002-07-19 2005-10-27 Li-Qun Xu Method and system for classification of semantic content of audio/video data
CN101035280A (zh) * 2007-04-19 2007-09-12 鲍东山 分级内容审核终端系统
US20140037269A1 (en) * 2012-08-03 2014-02-06 Mrityunjay Kumar Video summarization using group sparsity analysis
CN103049530A (zh) * 2012-12-22 2013-04-17 深圳先进技术研究院 深入融合视频审查方法和系统
CN107580259A (zh) * 2016-07-04 2018-01-12 北京新岸线网络技术有限公司 一种视频内容审核方法和系统
CN108124191A (zh) * 2017-12-22 2018-06-05 北京百度网讯科技有限公司 一种视频审核方法、装置及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈斌: "基于双模态特征和支持向量机的视频自动分类算法研究", 《万方数据库》 *
韦鹏程 等: "《基于R语言数据挖掘的统计与分析》", 31 December 2017 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862394A (zh) * 2019-03-27 2019-06-07 北京周同科技有限公司 视频内容的审核方法、装置、设备和存储介质
CN110085213A (zh) * 2019-04-30 2019-08-02 广州虎牙信息科技有限公司 音频的异常监控方法、装置、设备和存储介质
CN110225373A (zh) * 2019-06-13 2019-09-10 腾讯科技（深圳）有限公司 一种视频审核方法、装置及电子设备
CN110225373B (zh) * 2019-06-13 2023-01-24 腾讯科技（深圳）有限公司 一种视频审核方法、装置及电子设备
CN110647905A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 一种基于伪脑网络模型下的涉恐场景识别方法
CN110647905B (zh) * 2019-08-02 2022-05-13 杭州电子科技大学 一种基于伪脑网络模型下的涉恐场景识别方法
WO2021051607A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN110781916A (zh) * 2019-09-18 2020-02-11 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN110781916B (zh) * 2019-09-18 2024-07-16 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN110659618A (zh) * 2019-09-26 2020-01-07 腾讯科技（深圳）有限公司 视频发布方法及装置
CN111079816A (zh) * 2019-12-11 2020-04-28 北京金山云网络技术有限公司 图像的审核方法、装置和服务器
CN110990631A (zh) * 2019-12-16 2020-04-10 腾讯科技（深圳）有限公司 视频筛选方法、装置、电子设备和存储介质
CN111090776B (zh) * 2019-12-20 2023-06-30 广州市百果园信息技术有限公司 一种视频审核的方法、装置、审核服务器和存储介质
CN111090776A (zh) * 2019-12-20 2020-05-01 广州市百果园信息技术有限公司 一种视频审核的方法、装置、审核服务器和存储介质
CN111770353A (zh) * 2020-06-24 2020-10-13 北京字节跳动网络技术有限公司 一种直播监控方法、装置、电子设备及存储介质
CN111770352A (zh) * 2020-06-24 2020-10-13 北京字节跳动网络技术有限公司 安全检测方法、装置、电子设备及存储介质
CN111813399A (zh) * 2020-07-23 2020-10-23 平安医疗健康管理股份有限公司 基于机器学习的审核规则处理方法、装置及计算机设备
CN114202712A (zh) * 2020-08-31 2022-03-18 国家广播电视总局广播电视科学研究院 特征提取方法、装置及电子设备
CN114157906B (zh) * 2020-09-07 2024-04-02 北京达佳互联信息技术有限公司 视频检测方法、装置、电子设备及存储介质
CN114157906A (zh) * 2020-09-07 2022-03-08 北京达佳互联信息技术有限公司 视频检测方法、装置、电子设备及存储介质
CN112579771A (zh) * 2020-12-08 2021-03-30 腾讯科技（深圳）有限公司 一种内容的标题检测方法及装置
CN112579771B (zh) * 2020-12-08 2024-05-07 腾讯科技（深圳）有限公司 一种内容的标题检测方法及装置
CN114760484A (zh) * 2021-01-08 2022-07-15 腾讯科技（深圳）有限公司 直播视频识别方法、装置、计算机设备和存储介质
CN114760484B (zh) * 2021-01-08 2023-11-07 腾讯科技（深圳）有限公司 直播视频识别方法、装置、计算机设备和存储介质
CN113705563A (zh) * 2021-04-13 2021-11-26 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质
CN115460433A (zh) * 2021-06-08 2022-12-09 京东方科技集团股份有限公司 一种视频处理方法、装置、电子设备及存储介质
CN115460433B (zh) * 2021-06-08 2024-05-28 京东方科技集团股份有限公司 一种视频处理方法、装置、电子设备及存储介质
CN113569909A (zh) * 2021-06-24 2021-10-29 阿里巴巴新加坡控股有限公司 数据处理方法、装置、电子设备和存储介质
CN113987265A (zh) * 2021-10-25 2022-01-28 特赞（上海）信息科技有限公司 视频的分幕节点预测方法、装置、终端及存储介质
CN114022744A (zh) * 2021-11-04 2022-02-08 北京香侬慧语科技有限责任公司 一种自动违规弹幕检测方法、装置、系统、介质及设备
CN114915779A (zh) * 2022-04-08 2022-08-16 阿里巴巴（中国）有限公司 视频质量评估方法、装置、设备和存储介质
CN114979051A (zh) * 2022-04-18 2022-08-30 中移互联网有限公司 一种消息处理方法、装置、电子设备及存储介质
CN114979051B (zh) * 2022-04-18 2023-08-15 中移互联网有限公司 一种消息处理方法、装置、电子设备及存储介质
CN114817636A (zh) * 2022-04-28 2022-07-29 国家计算机网络与信息安全管理中心 视频检测方法、装置、设备及计算机可读存储介质
CN115049953A (zh) * 2022-05-09 2022-09-13 中移（杭州）信息技术有限公司 视频处理方法、装置、设备及计算机可读存储介质
CN115297360A (zh) * 2022-09-14 2022-11-04 百鸣(北京)信息技术有限公司 一种多媒体软件视频上传智能审核系统
CN115834935A (zh) * 2022-12-21 2023-03-21 阿里云计算有限公司 多媒体信息审核方法、广告审核方法、设备及存储介质
CN116824107B (zh) * 2023-07-13 2024-03-19 北京万物镜像数据服务有限公司 一种三维模型审阅信息的处理方法、装置及设备
CN116824107A (zh) * 2023-07-13 2023-09-29 北京万物镜像数据服务有限公司 一种三维模型审阅信息的处理方法、装置及设备
CN119136006A (zh) * 2024-11-08 2024-12-13 湖南快乐阳光互动娱乐传媒有限公司 视频弹幕的审核方法、装置、电子设备及计算机存储介质
CN120234631A (zh) * 2025-05-29 2025-07-01 浙江宇宙奇点科技有限公司 一种触发平台算法预设值点位的方法

Similar Documents

Publication Publication Date Title
CN109495766A (zh) 一种视频审核的方法、装置、设备和存储介质
CN110781916B (zh) 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN113837910B (zh) 试题推荐方法、装置、电子设备和存储介质
CN113035311A (zh) 一种基于多模态注意力机制的医学图像报告自动生成方法
CN112188311B (zh) 用于确定新闻的视频素材的方法和装置
CN113205047A (zh) 药名识别方法、装置、计算机设备和存储介质
CN113762503A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN118155011A (zh) 目标检测模型训练方法、检测方法及装置、设备、介质
CN114064968A (zh) 一种新闻字幕摘要生成方法和系统
CN117493495A (zh) 异常语言检测方法、电子设备、存储介质
CN116956915A (zh) 实体识别模型训练方法、装置、设备、存储介质及产品
CN119580738A (zh) 基于多模态信息融合的视频处理方法、装置、设备及介质
CN117633241A (zh) 基于视频主题的知识图谱生成方法和装置、设备及介质
CN116958642A (zh) 一种图片分类方法、装置、电子设备及存储介质
CN112597271B (zh) 一种面向庭审过程中刑事案件审判被告人态度预测的方法
CN114780757A (zh) 短媒体标签抽取方法、装置、计算机设备和存储介质
CN118885964B (zh) 基于多模态对齐的学习过程专注程度判断的方法及系统
CN120409657A (zh) 多模态大模型驱动的人物知识图谱构建方法及系统
CN118821039A (zh) 协作会话情感识别方法、装置、电子设备及存储介质
CN119293733A (zh) 一种物业场景感知与决策方法、装置、设备及存储介质
CN117574313A (zh) 基于多模态客户反馈的数据处理方法、装置及存储介质
CN113378826B (zh) 一种数据处理方法、装置、设备及存储介质
CN118298828A (zh) 客户意向预测方法、装置、设备和介质
CN118298349A (zh) 一种视频分析预警方法、系统、终端及可读存储介质
CN116994253A (zh) 一种项目合同的风险点识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication