[go: up one dir, main page]

CN104994426B - 节目视频识别方法及系统 - Google Patents

节目视频识别方法及系统 Download PDF

Info

Publication number
CN104994426B
CN104994426B CN201510395051.3A CN201510395051A CN104994426B CN 104994426 B CN104994426 B CN 104994426B CN 201510395051 A CN201510395051 A CN 201510395051A CN 104994426 B CN104994426 B CN 104994426B
Authority
CN
China
Prior art keywords
image
video
camera
channels
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510395051.3A
Other languages
English (en)
Other versions
CN104994426A (zh
Inventor
汪灏泓
任小波
杨益敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Publication of CN104994426A publication Critical patent/CN104994426A/zh
Application granted granted Critical
Publication of CN104994426B publication Critical patent/CN104994426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453—Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种节目视频识别方法及系统。其中，所述方法包括：记录多个频道中各频道的视频序列。第一用户设备在第二用户设备播放的其中一个视频序列中获取图像，并在所述图像中提取第一特征。然后分别在所述视频序列中进行摄像机参数设置记录操作，依据源于所述已记录视频序列联系的一系列已记录摄像机参数设置获取的关键帧，选出多个能够代表所述视频序列的视频帧。在所述各频道中选出的视频帧形成的集合的子集中提取第二特征并且存储。通过图像分类器比较从所述图像中提取的第一特征和预先存储的第二特征，判断第一特征是否与某一特定频道的第二特征相匹配，当两者匹配时，将所述编号作为识别频道的编号。

Description

节目视频识别方法及系统
技术领域
本发明涉及视频处理技术领域，尤其涉及一种应用于移动设备的节目视频识别方法及系统。
背景技术
随着互联网及视频推送技术的发展，视频已经成为互联网流量中的重要部分。当然，在观看视频时，人们会使用多个屏幕进行体验。例如，有一半的美国人在观看电视节目的同时使用智能手机，并且有47％的使用者使用移动手机来进行与电视节目相关的一些操作。
尽管如此，由于视频的结构复杂性，视频的交互是非常有限的。也就是说，在电视机与移动手机之间的交互是非常有限的。在现有技术中，移动电话可以识别出各种产品，cd，书籍，或者平面媒体。但是，在视频领域中应用移动手机进行大规模的数据处理是非常困难或者是无法实现的。
例如，假设一个电视节目具有200个频道，那么这个节目的播放流量为每秒6000帧。如果允许滞后10分钟，系统需要在非常的低延迟时间中，识别三百六十万张图片(＝6000×10×60)。因此，难度是双重的：需要控制高流量，以及进行内容识别的图片大数据库。一般地，内容识别需要进行高的运算量，但是运算量一般与进行分类或者识别包括的视频帧数量有关。视频帧越多，分类或者识别的准确性就越高，但是计算量也会相应的提高。
本发明公开的方法及其系统用于解决现有技术中的一个或者多个问题。
发明概述
本发明一方面公开了一种节目视频识别方法。所述方法包括：记录多个频道中各频道的视频序列并且，通过第一用户设备从第二用户设备播放的所述多个频道的其中一个视频序列中获取图像，并在所述图像中提取第一图像特征。所述方法还包括：分别在所述多个频道的视频序列中进行摄像机参数设置记录操作，基于与所述已经被记录的视频序列关联的一系列已记录摄像机参数设置获取的关键帧，选出多个能够代表所述多个频道的视频序列的视频帧。更具体的，在所述多个频道中选出的视频帧形成的集合的子集中提取第二图像特征并且存储从所述子集中提取的第二图像特征。所述方法还包括：通过图像分类器比较从所述图像中提取的第一图像特征和所述存储的所述多个频道的第二图像特征，判断第一图像特征是否与所述多个频道中某一特定频道的第二特征相匹配；并且当所述第一图像特征与某一特定频道的第二特征相匹配时，将所述特定频道的编号作为识别频道的编号。
本发明另一方面还公开了一种节目视频识别系统。所述系统包括：记录模块、图像分类器、摄像机记录模块、第二特征提取模块和视频特征数据库。所述记录模块用于记录多个频道中各频道的视频序列。所述图像分类器用于通过第一用户设备从第二用户设备播放的所述多个频道的其中一个视频序列中获取图像，并在所述图像中提取第一图像特征。进一步的，所述摄像机记录模块用于分别在所述多个频道的视频序列中进行摄像机参数设置记录操作，基于与所述已经被记录的视频序列关联的一系列已记录摄像机参数设置获取的关键帧，选出多个能够代表所述多个频道的视频序列的视频帧。所述第二特征提取模块用于在所述多个频道中选出的视频帧形成的集合的子集中提取第二图像特征，并且所述视频特征数据库用于存储存储从所述子集中提取的第二图像特征。进一步的，所述图像分类器还用于：通过图像分类器比较从所述图像中提取的第一图像特征和所述存储的所述多个频道的第二图像特征，判断第一图像特征是否与所述多个频道中某一特定频道的第二特征相匹配；并且当所述第一图像特征与某一特定频道的第二特征相匹配时，将所述特定频道的编号作为识别频道的编号。
本发明的其他方面，所属技术领域技术人员能够依据本发明的权利要求书，说明书，以及附图有效实施并充分公开。
附图简要说明
图1为本发明具体实施例中的工作系统的示意图。
图2为本发明具体实施例中的电子计算系统的示意图。
图3为本发明具体实施例的节目视频识别系统的示意图。
图4为本发明具体实施例的视频结构组成的示意图。
图5为本发明具体实施例的处理方法的示意图。
图6为本发明具体实施例的某电影中的摄像机获取的内容的编辑结果的示意图。
图7为本发明具体实施例的摄像机获取的内容检测及记录结果的示意图。
图8为本发明具体实施例的适应性控制器的自适应流量控制操作的示意图。
图9为本发明具体实施例的适应性控制器和摄像机记录模块的相互配合作用的示意图。
图10为本发明具体实施例的使用全局特征的图像分类器的示意图。
图11为本发明具体实施例的使用局部特征的图像分类器的示意图。
图12为本发明具体实施例的移动设备的具体操作过程的示意图。
详细说明
附图中展示的部分将被引用以具体说明，阐述本发明具体技术实施方案。说明书中引用的数字代表附图的相应部分。
图1展示了本发明具体实施方式中的工作系统100。如图1所示，所述工作系统100中包括有：电视机(TV)102、移动设备104、笔记本电脑106、服务器108、云端或者网络系统120。当然，还可以包括其他合适的设备。
电视机102可以是任何合适类型的电视机，例如等离子电视，LCD电视，背投式电视，智能电视或者非智能电视或者移动电视。电视机102还可以包括任何具有播放功能的设备。移动设备104可以包括任何合适类型的移动运算设备，例如移动手机、智能手机、平板电脑或者掌上电脑(PDA)等。笔记本电脑106可以包括任何类型的电脑，例如便携式电脑或者其他的个人电脑。电视机102、移动设备104以及笔记本电脑106可以看作是在特定多屏互动应用中的多屏互动用户设备。
服务器108可以是任何合适类型的服务器电脑或者提供服务器功能的电脑。云端120可以包括任何数量的通过计算机网络，例如因特网连接的服务器，从而为多个设备提供多种云端服务。服务器108可以是云端120的一部分，并且交替使用服务器108和云端120从而完成由云端120提供的特定的服务或者功能。可选地，可以使用传统的智能-服务技术，并且云端120也可以简化使用一个计算机网络，例如因特网。
图2为本发明具体实施例中用于执行电视机102、移动设备104、笔记本电脑106和/或服务器108功能的电子计算系统200。如图2所示，计算系统200可以包括处理模块202、存储模块204、监视器206、通信模块208、数据库210以及外围设备212。所述计算系统可以减省上述设备，也可以添加一些其他类型的设备，而不限于上述设备。
所述处理模块202可以是任何合适的处理器或处理器组。具体的，所述处理模块202为能够进行多线程处理的多核心处理器。存储模块204可以是任何合适的存储设备例如ROM，RAM，闪存或者大容量存储器，例如CD-ROM，硬盘等。存储模块204用于存储为进行各种数据处理而预设的由处理模块202执行的计算机运行程序。
进一步的，所述外围设备212包括：各种类型的传感器以及输入，输出设备，例如键盘，鼠标。通信模块208包括用于在设备间通过网络系统建立连接的各类网络交互设备。数据库210包括一到多个用于存储不同数据以及对数据进行一些处理，例如搜索数据的数据库。特别的，当运算系统200为执行移动设备104的功能时，外围设备212还可以包括用于为移动设备104获取图像的摄像机。
在实际操作中，移动设备104和/或云端120/服务器108可以在多屏幕应用中运行视频识别程序。图3为本发明具体实施例的一个视频识别系统。
如图3所示，为陈述方便，移动设备104可以包括：图像获取模块302、第一特征提取模块304以及用于输出视频识别结果的输出模块306。云端120可以包括用于记录视频内容的记录模块312、摄像机记录模块314、适应性控制器316、第二特征提取模块318、图像分类器322以及视频特征数据库320。可以减省上述的模块，也可以添加一些其他类型的功能模块，而不限于上述模块。
在实际操作中，视频流可以推送至一个或者多个用户设备以及云端120中。例如，播放系统可以将视频流作为描述服务上传至因特网。一个视频流可以被分离为多个视频部分。如图4所示，视频流可以首先分为多个场景，场景可以分为多个镜头，并且镜头可以分为多个视频帧等等。所述视频帧还可以进一步分为对象和从视频帧中获取的，可以用于后续处理步骤使用的特征。
用户设备(例如，电视机、电脑、手提电脑、平板电脑或者移动设备等等)可以回放视频。回放的视频可以在用户设备的屏幕中播放。进一步的，继续参阅图3，移动设备104可以通过图像获取模块获取视频帧。例如，移动设备104可以使用摄像机从用户设备的屏幕中获取视频帧。亦即，摄像机对屏幕快速拍照从而获取视频帧。可选地，也可以使用其他合适的获取视频帧的方法。
进一步的，移动设备104可以从视频帧中提取特征。亦即移动设备104可以从视频帧中提取一些具体的特征用于图片分类。
同时，云端120通过记录模块记录广播视频流的多个频道(频道1，频道2，…，频道n)。设置预设的记录时间区间记录所述的播放的频道，例如1分钟，5分钟，10分钟或者其他时间长度。所述记录结果可以用于视频识别或者其他用途。
进一步的，云端120可以在上述已记录的视频帧中进行摄像机参数设置记录操作。在此使用术语“摄像机参数设置记录结果”(camera registration)表示采用不同摄像机拍摄的视频帧形成的某一视频序列或者视频流的摄像机参数设置记录结果。所述“摄像机参数设置记录结果”的概念源自于视频编辑中视频重构的“摄像机获取的内容”(cameratake)。典型的视频序列是一个由多个镜头以交错形式组成，并且“摄像机获取的内容”是一个在给定的摄像机参数设置下连续的记录过程。通过记录输入视频帧的每一个摄像机参数设置，所述原始的镜头交错形式可以被分离为与初始摄像机参数设置一致的“已记录摄像机参数设置”(registered camera)对应的一系列视频帧序列。
在摄像机记录模块完成摄像机参数设置的记录操作后，在同一“摄像机获取的内容”中近似重复的图像可以忽略，降低从而在降低输出速率的同时将识别正确率维持在可接受的水平。也就是说，摄像机参数设置记录的操作可以用于对视频帧中不同的摄像机参数设置拍摄图像进行记录，从而简化视频帧并将简化后的视频帧提供给后续处理步骤。
所述简化后的视频帧由云端120的第二特征提取模块进行处理，并通过额外设置的适应性控制器提供的运算流量自适应机来保持视频处理流量处于稳定的水平。
云端120可以通过第二特征提取模块，在摄像机记录模块中的视频帧中执行特征提取操作。所述云端120的第二特征提取模块可以使用与移动设备104的第一特征提取模块相同的特征提取算法。亦即，在云端120的第二特征提取模块和移动设备104的第一特征提取模块中也可以使用相同的输出代表和/或运算算法。所述第一和第二特征提取模块依据特定的用途，在具体的实现细节上可以不同，也可以相同。
从源自于多个频道的视频帧中提取的特征可以存储到特征数据库中。所述特征数据库可以包括任何合适的商用或者消费型数据库，或者其他任何合适可以进行图像检索的存储器。
进一步的，图像分类器比较传送至移动设备104的特征集合和特征数据库的特征从而决定传送至移动设备104的特征集合是否与由云端120提供的任何一个具体的频道的特征集合相匹配。如果图像分类器认为相匹配，则完成具体频道的识别，并且将所述具体频道的号码提供给用于通过输出模块生成视频识别结果的移动设备104。并将所述特定频道的号码反馈到适应性控制器从而提升所述适应性控制器的控制效果。
所述适应性控制器可以基于某些具体的预设算法控制视频帧的处理。例如，适应性控制器可以决定丢弃哪些视频帧和控制哪些视频帧进入后续处理(例如，特征提取)。也就是说，适应性控制器可以通过控制视频帧的处理流量来调整视频识别准确性和运算量以达到理想的平衡。例如，适应性控制器可以控制摄像机记录模块将多个视频频道的较高流量(如600fps)降低到较低的流量从而与特征获取模块的运算处理能力(如60fps)相匹配。
更具体的，图5为本发明具体实施例中云端120/服务器108的操作程序。如图5所示，首先，服务器108(如处理模块202)启动记录模块记录多个频道的广播视频流(频道1、频道2，…，频道n)(S502)。
进一步的，将已记录的多个频道中的视频序列提供给摄像机记录模块用于进行摄像机参数设置记录操作(S504)。
所述“摄像机获取的内容”是由一个摄像机拍摄的一系列连续的视频帧。“摄像机获取的内容”可以分割为多个部分，并与其他不同的“摄像机获取的内容”交错形成场景，场景能够进一步形成在视频序列中的事件或者故事。图6为本发明具体实施例中某一电影的“摄像机获取的内容”编辑情况。图6中所示的照片为视频场景的镜头中选出的关键帧。因此视频帧(a)到(h)代表组成某一场景的多个连续镜头。
进一步的，视频帧(a)，(c)以及(f)属于同一个“摄像机获取的内容”；视频帧(b)和(e)属于另一个“摄像机获取的内容”；视频帧(d)和(g)属于另一个“摄像机获取的内容”。因此，将属于同一个“摄像机获取的内容”的镜头分为一组，并通过一个或者多个视频帧代表。通过上述方式，能够有效的降低需要处理的视频帧数量以及后续进一步处理的输出速率。
为了执行摄像机参数设置记录操作，服务器(如摄像机记录模块)检测并为每个频道维持“摄像机获取的内容”。亦即，在每个频道中进行同样的“摄像机获取的内容”检测操作并将检测结果加入到已记录摄像机参数设置数据库中。所述检测操作具体步骤如下。
计算视频帧差异程度：基于在镜头中连续连个视频帧之间在可视内容上是非常相似的假设，所述视频帧差异程度可以通过相似度指示器，例如使用颜色直方图(或者RAW像素值(可以节省计算量消耗))作为两个视频帧之间差异程度的测量方法。可选地，可以使用多种不同的相似度计算方法实现不同的计算复杂度以及计算速度。
检测镜头：当两个视频帧之间的差异程度高于合适的预设界限时，检测为一个新的镜头。对于所述合适的界限的选择而言，如果没有选择合适的界限，则会导致产生过多或者过少的片段，具体与视频节目的类型(如真人秀，戏剧等等)相关。为了生成所述合适的界限并进一步优化检测结果，可以增加一些约束条件，例如镜头持续时间。镜头的检测需要附带某些约束。
选择关键帧：使用预设的算法在镜头中选出能够最好的代表对应镜头视频内容的关键帧。例如，选择了镜头中的第一帧作为关键帧用于进行后续处理。也可以使用其他合适的方法选出(或者生成)最具有代表性的一个或者多个视频帧。
检测“摄像机获取的内容”：每个检测到的镜头(由相应关键帧代表)与每个检测到的“摄像机获取的内容”的最后一个镜头进行配对。基于一个镜头与具有最接近时间关系的另一个镜头相邻的可能性最大的假设。如果满足一预定的匹配指标，则将当前的镜头加入到配对的“摄像机获取的内容”的最后。
最初的，在一段具体的时间区间中，假设第一个镜头为“摄像机获取的内容”。另外，还可以使用摄像机退出(camera retirement)策略。亦即，在一段特定的时间区间内，无法找到与某一“摄像机获取的内容”相匹配的图像时，考虑将这一“摄像机获取的内容”“退出”并且从已记录的摄像机参数设置列表中删除。如图7所示，在各个频道的视频帧中独立的进行“摄像机获取的内容”的检测。在检测操作完成后，频道1分别记录为摄像机1、摄像机2；频道2记录为摄像机3、摄像机4以及摄像机5，…，频道S则记录为摄像机k-1和摄像机k。
继续参与图5，在摄像机参数设置记录操作执行完毕(S504)后，在选出的，代表各个频道中的视频序列的关键视频帧中进行特征提取操作(S506).进一步的，自适应流量控制操作可以使用任何合适的适应性控制器来维持合适的视频帧处理输出速率并且与摄像机记录操作相配合，选择用于进一步处理的视频帧(S508)。图8为适应性控制器的流量控制操作过程。
如图8所示，适应性控制器可以从摄像机记录模块中获取M fps(每秒传输帧数)的输入候选图像(如视频帧)并且选择n fps的优选部分用于后续处理(M和n均为整数，并且M≥n)。适应性控制器可以与摄像机记录模块配合，丢弃一些没有选中的视频帧。
所述摄像机记录模块可以接收适应性控制器选择输出的部分(如n fps)并据此更新其数据和/或算法。例如，摄像机记录模块可以维持在S个频道中的K个活动的“摄像机”的列表，并且每个列表与多于一个的“摄像机”相关。(M＝30S，假设视频流的帧率为30帧/秒。)
对于每个“摄像机”，记录最后一个选出的视频帧，与当前视频帧进行比对，形成两者之间的相似程度得分。当适应性控制器选出视频帧后，摄像机记录模块在对应的摄像机中，用上述适应性控制器选出视频帧代替所述最后一个选出的视频帧。图9表示适应性控制器与摄像机记录模块的配合作用关系。
如图9所示，摄像机记录模块与适应性控制器配合从而选择一个参考视频帧。以其中一个频道(频道1)为例，适应性控制器接收频道识别结果(识别的频道号码)然后计算当前视频帧与“每一摄像机获取的内容”中最后选出的视频帧(last selected frame LSF)之间的相似程度得分。使用具有最高得分的LSF替代当前视频帧。
另外，可以在摄像机记录模块中设置流量控制机。例如，摄像机记录模块中可以存储有多种用于视频帧检测的算法，不同的算法具有不同的精确度和运算速度，选择范围包括具有最高精确度但速度最低到具有最高速度但精确度最低。服务器108管理摄像机记录模块的输入视频处理缓冲空间，并为摄像机记录模块设置最大缓冲空间。依据最大缓冲空间，摄像机记录模块可以选择与视频帧流量相匹配的具有特定精确度和速度的运算程序。
例如，当缓冲空间接近饱和时，即处理拥堵情况下，表示需要提高运算速度，摄像机记录模块可以自动的切换为使用具有较高处理速度但是精确度较低的简便算法。另一方面，当缓冲空间充足时，即非处理拥堵情况下，表示可以降低处理速度，摄像机记录模块可以自动的切换为使用具有较高精确度但是处理速度较低的复杂算法。依据特定的应用情况，选择高级或者实时性处理步骤的之间的数量组成。
继续参阅图8，在摄像机获取模块的配合下，适应性控制器可以接收移动设备104发送的，作为反馈的选中的频道编号(即所述识别结果)
因此，适应性控制器需要解决的问题与“背包问题”(Knapsack problem)类似。即在一定的背包容量下，在M个对象中选出n个对象。具体的，这一问题的选择逻辑如下所述。
对于那些没有被考虑的频道(即没有询问)，这些频道的选择优先级较低。亦即，用户偏好的频道可以作为选择的优先级的考虑因素。如果用户对某一频道没有询问，即表示这样的频道被选中的可能性较低。
对于某一具体的摄像机参数设置来说，若当前视频帧与摄像机参数设置的最后一个选出的视频帧之间的相似程度较低时，提升选择对应的“摄像机参数设置”优先级。对于由摄像机记录模块新增加的摄像机参数设置来说，其优先级较高。进一步的，对于一个在上述具体的时间区间内没有被选中的频道，其优先级也较高。
令Is表示频道s(s＝1,2,…,s)在一近期短时间区间(例如10s)内的询问次数，令Ls表示频道s(s＝1,2,…,s)在一近期长时间区间(例如5分钟)内的询问次数。f表示检测中的当前视频帧，C(f)表示与检测中的当前视频帧对应的频道，Sim(f)表示f与C(f)的最后一个选择的视频帧之间的相似程度得分(若所述最后一个选择的视频帧不存在，则令Sim(f)＝0)。t(f)表示f的频道没有选出新的视频帧的时间区间。然后，当前视频帧的得分可以通过如下算式获得：
Figure BDA0000753819050000141
其中，α和β为先验训练的时间区间的参数，频道询问的影响效果由幂函数模型化。依据得分对输入视频帧进行排序，适应性控制器选择那些具有最高得分的视频帧作进一步处理。
继续参阅图5，在流量控制操作以及视频帧特征提取操作完成后，将提取的特征存储到特征数据库中(S510)。
将提取的特征分为全局特征和局部特征两类。全局特征为描述整体图像的特征。大部分形状和纹理的描述子均属于这一类。另一方面，局部特征为计算图像关键点的局部相邻区域的描述子。特征数据库分开存储局部特征和全局特征以便于搜索。
进一步的，在所述提取特征上使用图像分类器，根据移动设备提供的图像特征进行图像分类操作(S512)。图像分类器比较所述提供的图像特征与所述提取的图像，从而判断两者是否匹配。若两者匹配，可以确定频道的提取特征。
另外，可以在图像分类器中整合流量控制机。例如，图像分类器可以包括两种类型的分类系统，其中一种用于高输出速率的情况，例如缓冲空间接近饱和时，而另一种则用于低输出速率的情况，例如缓冲空间较充足时，并在两种类别之中动态改变。
更具体的，高输出速率分类系统一般使用低复杂度的算法处理全局特征，低输出速率分类系统则一般使用高复杂度的算法处理局部特征。
如图10所示，高输出速率分类系统从多个频道的视频帧中提取全局特征。全局特征对图像的表达情况具有影响，其中每个图像与在高纬度特征空间中的其中一点对应。高输出速率类系统的机器学习可以使用支持向量机(SVM)。所述支持向量机是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。也就是说，给定已标记的训练数据，上述算法可以输出一个分类新样本的最优超平面。
典型地，监督学习包括一个训练阶段。在训练阶段中，提取特征后，将所有属于同一频道的特征组成一个类别{C1,C2,...,Cn}，然后训练用于最终决定所述频道编号的SVM多分类器。
如图10所示，低输出速率分类系统则一般对局部特征进行处理。所述局部特征是计算图像关键点的局部相邻区域的描述子。一般的，关键点可以通过多种测量方法检测获得并且在对象的多个视角变换情况下具有良好的可重复性。可以使用多种具体的局部特征，如尺度不变特征转换子(SIFT)以及具有加速鲁邦特征(SURF)。
从仿射不变区中提取的特征描述子可以量化为由层级k均值聚类创建的词汇树所定义的视觉词。在所述词汇树的无监督训练中使用一个大的代表性描述子向量集合。获取并收集上述视觉词，在词频-反文档算法(TF-IDF)中使用从而查询图像相关性的得分。在词汇树上的每一个节点均与一个反文档联系，以便于数据库能够有效率的完成打分。
继续参阅图5，在完成图像分类操作后，将确定的频道编号提供给移动设备104(S514)。所述频道编号同样反馈到适应性控制器以用于流量控制操作，平衡计算量以及计算准确度的关系。
相对地，图12为本发明具体实施例的移动设备104的操作过程1200。所述移动设备104可以与服务器108连接。如图12所示，首先移动设备通过摄影机获取在用户设备的屏幕上演示的视频流的照片(S1202)。
具体的，移动设备从所述照片中提取特征(S1204)。移动设备可以提取照片的全局特征和/或局部特征。进一步的，移动设备终端将提取的特征上传到服务器中(S1206)。
移动设备可以上传局部特征和全局特征到服务器(如服务器的图像分类器)。或者，所述移动设备终端获取服务器的指令，仅上传全局特征，或者局部特征，或者同时上传全局特征和局部特征，以便于完成图像分类器中的流量控制。
具体的，如上所述，服务器执行视频节目识别程序从而确定移动设备上传的照片对应的频道编号，并且所述移动设备接收服务器确定的频道编号(S1208)。所述频道编号表示：用户设备的屏幕中播放的视频流来源于对应编号的频道。
更具体的，移动设备可以向用户展示上述识别结果(S1210)。例如，移动设备可以向用户展示确定的频道编号并且进一步询问用户是否需要完成特定的动作。在某具体实施例中，用户可能要求在移动设备上回放源自于该频道的相同的视频。所述移动设备还可以将上述识别结果提供给其他软件作进一步处理。也可以加入一些其他的操作。
因此，通过本发明所述的方法及系统，可以完成运算流量自适应的视频识别应用，能够动态的选择用于频道检测的参考视频帧列表。可以通过摄像机记录模块自动的检测在每一频道中的，当前视频帧的摄像机获取的内容，从而在后续处理中抛弃与参考视频帧相似的，在同一个摄像机获取的内容中的图像。抛弃的视频帧由适应性控制器决定，以保持图像识别程序的计算能力能够满足输出流量，同时维持合适的识别准确度。为保证识别具有较高的准确度，可以使用用户行为适应模块，依据用户当前的喜爱频道调整参考视频帧的列表。为了保持流量从高通过量资源到低通过量资源的任务，可以在摄像机记录模块、适应性控制器以及特征提取模块中使用特定设计流量控制机。
本发明所述的方法及其系统还可以应用在其他能够实时识别时间变换视频帧的电视节目的多屏幕应用中。其他任何将本发明所述系统和方法应用于不同领域，进行改进，替换，调整的具体技术实施方案都是本领域普通技术人员不需要通过创造性劳动就能实现的。

Claims (14)

1.一种节目视频识别方法，其特征在于，所述方法包括如下步骤：
记录多个频道中各频道的视频序列；
通过第一用户设备从第二用户设备播放的所述多个频道的其中一个视频序列中获取图像，并在所述图像中提取第一图像特征；
分别在所述多个频道的视频序列中进行摄像机参数设置记录操作，基于与已经被记录的视频序列关联的一系列已记录摄像机参数设置获取的关键帧，选出多个能够代表所述多个频道的视频序列的视频帧；
在所述多个频道中选出的视频帧形成的集合的子集中提取第二图像特征；
存储从所述子集中提取的第二图像特征；
通过图像分类器比较从所述图像中提取的第一图像特征和所述存储的所述多个频道的第二图像特征，判断第一图像特征是否与所述多个频道中某一特定频道的第二特征相匹配；并且
当所述第一图像特征与某一特定频道的第二特征相匹配时，将所述特定频道的编号作为识别频道的编号；
所述方法还包括：
执行自适应流量控制操作来调整摄像机参数设置记录操作中选出的视频帧的输出速率以匹配在所述多个频道中提取第二图像特征的输出速率；
通过控制视频帧的处理流量来调整视频识别准确性和运算量；
所述摄像机记录操作具体包括：
分别检测所述多个频道的视频帧的摄像机获取的内容；并且
将所述多个频道中检测到的摄像机获取的内容形成摄像机获取的内容的已记录摄像机参数设置数据库；
摄像机参数设置记录操作用于对视频中不同的摄像机参数设置拍摄图像进行记录；
摄像机获取的内容是用一个摄像机拍摄的一系列连续的视频帧；
所述方法还包括：
计算连续视频帧之间的视频帧差异程度；
当所述视频帧差异程度超过预设的阈值时，将视频帧定义为一个新的镜头；
分别选出代表每个已检测镜头的关键帧；并且
依据预设的匹配标准，比较每个已记录摄像机获取的内容的最后一个镜头和关键帧；并且
当满足预设的匹配标准时，将所述关键帧加入到对应的摄像机获取的内容中。
2.根据权利要求1所述的节目视频识别方法，其特征在于，所述第一用户设备为移动设备，所述移动设备使用摄影机获取所述图像。
3.根据权利要求2所述的节目视频识别方法，其特征在于，所述第二用户设备为电视机，所述电视机与移动设备通过一个或者多个用于多屏互动的应用关联。
4.根据权利要求2所述的节目视频识别方法，其特征在于，
所述移动设备从所述图像中提取第一图像特征的方式与从所述多个频道中选出的视频帧中提取第二图像特征的方式相同。
5.根据权利要求4所述的节目视频识别方法，其特征在于，所述自适应流量控制操作具体包括：
依据至少一个在先选出的频道，计算摄像机参数设置记录操作输出的频道的视频帧的排序得分；所述在先选出的频道依据用户的需求和与对应摄像机获取的内容的最后一个选出的视频帧的相似程度得分选出。
6.根据权利要求1所述的节目视频识别方法，其特征在于，所述提取的第一或者第二图像特征包括：描述整体图像的全局特征和用于描述通过多个感兴趣点计算的图像局部邻域的局部特征。
7.根据权利要求6所述的节目视频识别方法，其特征在于，比较从所述图像中提取的第一图像特征和所述存储的所述多个频道的第二图像特征的步骤具体包括：
在处理拥堵的情况下，使用全局特征对所述图像中提取的第一图像特征和存储的所述多个频道的第二图像特征进行比较；
在非处理拥堵的情况下，使用局部特征对所述图像中提取的第一图像特征和存储的所述多个频道的第二图像特征进行比较。
8.一种节目视频识别系统，其特征在于，所述系统包括：
记录模块，用于记录多个频道中各频道的视频序列；
图像分类器，通过第一用户设备从第二用户设备播放的所述多个频道的其中一个视频序列中获取图像，并在所述图像中提取第一图像特征；
摄像机记录模块，用于分别在所述多个频道的视频序列中进行摄像机参数设置记录操作，基于与已经被记录的视频序列关联的一系列已记录摄像机参数设置获取的关键帧，选出多个能够代表所述多个频道的视频序列的视频帧；
第二特征提取模块，用于在所述多个频道中选出的视频帧形成的集合的子集中提取第二图像特征；
视频特征数据库，用于存储从所述子集中提取的第二图像特征；
所述图像分类器还用于：通过图像分类器比较从所述图像中提取的第一图像特征和所述存储的所述多个频道的第二图像特征，判断第一图像特征是否与所述多个频道中某一特定频道的第二特征相匹配；并且
当所述第一图像特征与某一特定频道的第二特征相匹配时，将所述特定频道的编号作为识别频道的编号；
所述系统还包括：适应性控制器，用于执行自适应流量控制操作来调整摄像机参数设置记录操作中选出的视频帧的输出速率以匹配在所述多个频道中提取第二图像特征的输出速率；
通过控制视频帧的处理流量来调整视频识别准确性和运算量；
所述摄像机记录模块具体用于：
分别检测所述多个频道的视频帧的摄像机获取的内容；并且
将所述多个频道中检测到的摄像机获取的内容形成摄像机获取的内容的已记录摄像机参数设置数据库；
摄像机参数设置记录操作用于对视频中不同的摄像机参数设置拍摄图像进行记录；
摄像机获取的内容是用一个摄像机拍摄的一系列连续的视频帧；
所述摄像机记录模块进一步用于：
计算连续视频帧之间的视频帧差异程度；
当所述视频帧差异程度超过预设的阈值时，将视频帧定义为一个新的镜头；
分别选出代表每个已检测镜头的关键帧；并且
依据预设的匹配标准，比较每个已记录摄像机获取的内容的最后一个镜头和关键帧；并且
当满足预设的匹配标准时，将所述关键帧加入到对应的摄像机获取的内容中。
9.根据权利要求8所述的节目视频识别系统，其特征在于，所述第一用户设备为移动设备，所述移动设备使用摄影机获取所述图像。
10.根据权利要求9所述的节目视频识别系统，其特征在于，所述第二用户设备为电视机，所述电视机与移动设备通过一个或者多个用于多屏互动的应用关联。
11.根据权利要求9所述的节目视频识别系统，其特征在于，所述移动设备从所述图像中提取第一图像特征的方式与从所述多个频道中选出的视频帧中提取第二图像特征的方式相同。
12.根据权利要求8所述的节目视频识别系统，其特征在于，所述适应性控制器还用于：
依据至少一个在先选出的频道，计算摄像机参数设置记录操作输出的频道的视频帧的排序得分；所述在先选出的频道依据用户的需求和与对应摄像机获取的内容的最后一个选出的视频帧的相似程度得分选出。
13.根据权利要求8所述的节目视频识别系统，其特征在于，所述提取的第一或者第二图像特征包括：描述整体图像的全局特征和用于描述通过多个感兴趣点计算的图像局部邻域的局部特征。
14.根据权利要求13所述的节目视频识别系统，其特征在于，所述图像分类器具体用于：
在处理拥堵的情况下，使用全局特征对所述图像中提取的第一图像特征和存储的，各频道的第二图像特征进行比较；
在非处理拥堵的情况下，使用局部特征对所述图像中提取的第一图像特征和存储的，各频道的第二图像特征进行比较。
CN201510395051.3A 2014-07-07 2015-07-06 节目视频识别方法及系统 Active CN104994426B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS14/325,004 2014-07-07
US14/325,004 US9432702B2 (en) 2014-07-07 2014-07-07 System and method for video program recognition

Publications (2)

Publication Number Publication Date
CN104994426A CN104994426A (zh) 2015-10-21
CN104994426B true CN104994426B (zh) 2020-07-21

Family

ID=54306164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510395051.3A Active CN104994426B (zh) 2014-07-07 2015-07-06 节目视频识别方法及系统

Country Status (2)

Country Link
US (1) US9432702B2 (zh)
CN (1) CN104994426B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906769B1 (en) * 2014-07-31 2018-02-27 Raytheon Company Methods and apparatus for collaborative multi-view augmented reality video
CN105392056B (zh) * 2015-12-09 2018-10-26 小米科技有限责任公司 电视情景模式的确定方法及装置
CN105872586A (zh) * 2016-04-01 2016-08-17 成都掌中全景信息技术有限公司 一种基于实时视频流采集的视频实时识别方法
CN109643363B (zh) * 2016-06-15 2023-06-09 诺基亚技术有限公司 特征提取和对象检测的方法、系统和装置
CN106534951B (zh) * 2016-11-30 2020-10-09 北京小米移动软件有限公司 视频分割方法和装置
US10671852B1 (en) 2017-03-01 2020-06-02 Matroid, Inc. Machine learning in video classification
US10268897B2 (en) 2017-03-24 2019-04-23 International Business Machines Corporation Determining most representative still image of a video for specific user
US10341277B2 (en) * 2017-05-25 2019-07-02 Satori Worldwide, Llc Providing video to subscribers of a messaging system
KR102434574B1 (ko) * 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
US10679064B2 (en) * 2017-09-28 2020-06-09 Microsoft Technology Licensing, Llc Optimized classifier update
CN110324659B (zh) * 2018-03-29 2020-08-28 北京字节跳动网络技术有限公司 一种视频特征提取方法及装置
CN110321759B (zh) * 2018-03-29 2020-07-07 北京字节跳动网络技术有限公司 一种视频特征提取方法及装置
KR102618732B1 (ko) * 2019-08-27 2023-12-27 엘지전자 주식회사 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
US11120638B2 (en) * 2019-12-26 2021-09-14 TCL Research America Inc. Director hint based auto-cinematography
CN111241985B (zh) * 2020-01-08 2022-09-09 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
CN112258513B (zh) * 2020-10-23 2024-07-16 岭东核电有限公司 核电试验视频分割方法、装置、计算机设备和存储介质
CN113361344B (zh) * 2021-05-21 2023-10-03 北京百度网讯科技有限公司 视频事件识别方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169747B1 (en) * 1998-07-08 2001-01-02 Ess Technology, Inc. Variable code frame length for multistream applications
CN1543096A (zh) * 2003-04-30 2004-11-03 ���µ�����ҵ��ʽ���� 自动检测电视广告的装置及其方法
US6889384B1 (en) * 2000-11-08 2005-05-03 The Directv Group, Inc. Simplified interactive user interface for multi-video channel navigation
CN102208026A (zh) * 2011-05-27 2011-10-05 电子科技大学 一种数字视频指纹的提取方法
CN102222103A (zh) * 2011-06-22 2011-10-19 央视国际网络有限公司 视频内容的匹配关系的处理方法及装置
CN102411578A (zh) * 2010-09-25 2012-04-11 盛乐信息技术（上海）有限公司 一种多媒体播放系统和方法
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
CN103686345A (zh) * 2013-12-18 2014-03-26 北京航天测控技术有限公司 一种基于数字信号处理器的视频内容比对方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805763A (en) * 1995-05-05 1998-09-08 Microsoft Corporation System and method for automatically recording programs in an interactive viewing system
US6323911B1 (en) * 1995-10-02 2001-11-27 Starsight Telecast, Inc. System and method for using television schedule information
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6025837A (en) * 1996-03-29 2000-02-15 Micrsoft Corporation Electronic program guide with hyperlinks to target resources
AU3294997A (en) * 1996-06-13 1998-01-07 Starsight Telecast Incorporated Method and apparatus for searching a guide using program characteristics
US8528019B1 (en) * 1999-11-18 2013-09-03 Koninklijke Philips N.V. Method and apparatus for audio/data/visual information
JP2001333414A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd 番組情報配信装置および方法とこれに関する端末および装置
US7526440B2 (en) * 2000-06-12 2009-04-28 Walker Digital, Llc Method, computer product, and apparatus for facilitating the provision of opinions to a shopper from a panel of peers
US20030093794A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. Method and system for personal information retrieval, update and presentation
JP2004072356A (ja) * 2002-08-06 2004-03-04 Hitachi Ltd サーバ及び該サーバを実行させるためのプログラム
US20050132420A1 (en) * 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
CN101112095B (zh) * 2005-01-31 2016-06-29 汤姆森许可贸易公司 个人监视和信息设备
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
EP1964295A2 (en) * 2005-09-19 2008-09-03 Nxp B.V. Method of synchronizing the playback of an audio broadcast on a plurality of network output devices
US8208764B2 (en) * 2006-01-21 2012-06-26 Elizabeth Guckenberger Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine
EP1848212B1 (en) * 2006-02-23 2012-05-16 Samsung Electronics Co., Ltd. Digital broadcast receiver and broadcast data display method for simultaneous display of multi-channel visual images
US7787697B2 (en) * 2006-06-09 2010-08-31 Sony Ericsson Mobile Communications Ab Identification of an object in media and of related media objects
US8296808B2 (en) * 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
JP4281819B2 (ja) * 2007-04-02 2009-06-17 ソニー株式会社 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
US8843973B2 (en) * 2007-09-21 2014-09-23 Verizon Patent And Licensing Inc. System and method for ordering and distributing multimedia content
US8990847B2 (en) * 2007-11-05 2015-03-24 Verizon Patent And Licensing Inc. Method, computer program product, and apparatus for delivering information and commands regarding a media program
EP2308019A4 (en) * 2008-06-12 2012-01-11 Ryan Steelberg ADVERTISING PROVIDED WITH A BAR CODE
JP5371083B2 (ja) * 2008-09-16 2013-12-18 Ｋｄｄｉ株式会社 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP4683103B2 (ja) * 2008-09-22 2011-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8122094B1 (en) * 2008-11-05 2012-02-21 Kotab Dominic M Methods for performing an action relating to the scheduling of an event by performing one or more actions based on a response to a message
US20100251299A1 (en) * 2009-03-30 2010-09-30 At&T Intellectual Property I, L.P. System and Method to Send Information Identifying Reccomended Media Content Items
US9338515B2 (en) * 2009-09-03 2016-05-10 At&T Intellectual Property I, L.P. Real-time and secured picture/video upload via a content delivery network
US9462318B2 (en) * 2009-11-03 2016-10-04 At&T Intellectual Property I, L.P. System for media program management
US9047516B2 (en) * 2010-06-18 2015-06-02 Verizon Patent And Licensing Inc. Content fingerprinting
US20120213426A1 (en) * 2011-02-22 2012-08-23 The Board Of Trustees Of The Leland Stanford Junior University Method for Implementing a High-Level Image Representation for Image Analysis
US8891878B2 (en) * 2012-06-15 2014-11-18 Mitsubishi Electric Research Laboratories, Inc. Method for representing images using quantized embeddings of scale-invariant image features
CN102892031A (zh) 2012-09-26 2013-01-23 西南石油大学 一种手机智能识别电视节目的方法
US8949910B2 (en) * 2012-10-22 2015-02-03 At&T Mobility Ii Llc Apparatus and method for media content presentation
CN202998337U (zh) 2012-11-07 2013-06-12 深圳新感易搜网络科技有限公司 视频节目识别系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169747B1 (en) * 1998-07-08 2001-01-02 Ess Technology, Inc. Variable code frame length for multistream applications
US6889384B1 (en) * 2000-11-08 2005-05-03 The Directv Group, Inc. Simplified interactive user interface for multi-video channel navigation
CN1543096A (zh) * 2003-04-30 2004-11-03 ���µ�����ҵ��ʽ���� 自动检测电视广告的装置及其方法
CN102411578A (zh) * 2010-09-25 2012-04-11 盛乐信息技术（上海）有限公司 一种多媒体播放系统和方法
CN102208026A (zh) * 2011-05-27 2011-10-05 电子科技大学 一种数字视频指纹的提取方法
CN102222103A (zh) * 2011-06-22 2011-10-19 央视国际网络有限公司 视频内容的匹配关系的处理方法及装置
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
CN103686345A (zh) * 2013-12-18 2014-03-26 北京航天测控技术有限公司 一种基于数字信号处理器的视频内容比对方法

Also Published As

Publication number Publication date
US20160007058A1 (en) 2016-01-07
US9432702B2 (en) 2016-08-30
CN104994426A (zh) 2015-10-21

Similar Documents

Publication Publication Date Title
CN104994426B (zh) 节目视频识别方法及系统
JP7317919B2 (ja) 外観検索のシステムおよび方法
CN105100894B (zh) 面部自动标注方法及系统
US10979761B2 (en) Intelligent video interaction method
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US20170060867A1 (en) Video and image match searching
CN105653700B (zh) 视频检索方法及系统
TWI712316B (zh) 視訊摘要的生成方法及裝置
US12461966B2 (en) Multimedia focalization
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
CN107247919A (zh) 一种视频情感内容的获取方法及系统
CN113779303A (zh) 视频集合的索引方法、装置和存储介质及电子设备
CN103984778A (zh) 一种视频检索方法及系统
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
EP2975576A1 (en) Method of determination of stable zones within an image stream, and portable device for implementing the method
US20200074218A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium
CN110418148A (zh) 视频生成方法、视频生成设备及可读存储介质
JP5880558B2 (ja) 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム
CN117061815A (zh) 视频处理方法、装置、计算机可读介质及电子设备
CN114625915A (zh) 一种视频的处理方法、装置、电子设备及存储介质
KR102468258B1 (ko) 디스플레이 장치, 그의 컨텐츠 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN115604510A (zh) 一种视频推荐方法、装置、计算机设备和存储介质
JP2017011581A (ja) 動画処理装置及び動画処理システム
CN110704680B (zh) 标签生成方法、电子设备及存储介质
Karthick et al. Automatic genre classification from videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 516006 TCL technology building, No.17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: TCL Technology Building No. 17 three road 516006 in Guangdong province Huizhou City Zhongkai high tech Development Zone Huifeng 23 floor

Applicant before: TCL RESEARCH AMERICA Inc.

GR01 Patent grant
GR01 Patent grant