[go: up one dir, main page]

CN111008301B - 一种以图搜视频的方法 - Google Patents

一种以图搜视频的方法 Download PDF

Info

Publication number
CN111008301B
CN111008301B CN201911316843.1A CN201911316843A CN111008301B CN 111008301 B CN111008301 B CN 111008301B CN 201911316843 A CN201911316843 A CN 201911316843A CN 111008301 B CN111008301 B CN 111008301B
Authority
CN
China
Prior art keywords
video
fingerprint
searching
data
fingerprints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911316843.1A
Other languages
English (en)
Other versions
CN111008301A (zh
Inventor
柴中进
吴伟平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Zhiyun Technology Co ltd
Original Assignee
Xinhua Zhiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Zhiyun Technology Co ltd filed Critical Xinhua Zhiyun Technology Co ltd
Priority to CN201911316843.1A priority Critical patent/CN111008301B/zh
Publication of CN111008301A publication Critical patent/CN111008301A/zh
Application granted granted Critical
Publication of CN111008301B publication Critical patent/CN111008301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及视频搜素技术领域，具体地说，涉及一种以图搜视频的方法。包括创建数据索引阶段和搜索视频阶段，创建数据索引阶段包如下步骤：读取视频帧图片；计算图片帧的数字指纹；将指纹按16位为一段位分成多段；循环遍历所有分段，将指纹放入分段对应的索引目录下；指纹数据追加到索引文件中；搜索视频阶段包括如下步骤：读取待搜索视频截图数据；计算截图指纹；循环获得不同指纹分段下数据索引；通过数据索引搜索到指纹；通过搜索到的指纹获得视频信息以及对应的帧。该以图搜视频的方法中，通过帧图像指纹的分段，来有效缩小搜索范围，提升搜索速度，同时通过多节点的分布式处理的方式，快速定位到最终结果。

Description

一种以图搜视频的方法
技术领域
本发明涉及视频搜素技术领域，具体地说，涉及一种以图搜视频的方法。
背景技术
以图搜视频的技术包括经典的模式识别、深度学习领域相关技术，其原理是通过经典的模式识别技术和深度学习技术的融合，达到海量视频搜索在精准度、速度上的最佳组合。但目前以图搜视频，计算速度慢，每次计算需要数分钟甚至数小时的计算时间，在此期间用户不能操作软件，只有等待计算完成；同时，不能充分利用现代CPU的多核心特性，无论用户的电脑有多少个处理核心，都只能利用其中一个，资源利用率低，而且，耗费计算资源，特别是深度学习技术需要专用的GPU资源来加速学习过程；扩展性不足，模式识别和深度学习等技术需要预先准备好海量的训练数据，且训练结果适应性较差，和样本的选取有比较强的关联，只能适用于有限类型的场景。
发明内容
本发明的目的在于提供一种以图搜视频的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供一种以图搜视频的方法，包括创建数据索引阶段和搜索视频阶段，所述创建数据索引阶段包如下步骤：
S1.1、读取视频帧图片；
S1.2、计算图片帧的数字指纹；
S1.3、将指纹按16位为一段位分成多段；
S1.4、循环遍历所有分段，将指纹放入分段对应的索引目录下；
S1.5、指纹数据追加到索引文件中；
所述搜索视频阶段包括如下步骤：
S2.1、读取待搜索视频截图数据；
S2.2、计算截图指纹；
S2.3、循环获得不同指纹分段下数据索引；
S2.4、通过数据索引搜索到指纹；
S2.5、通过搜索到的指纹获得视频信息以及对应的帧。
作为优选，所述S1.1中，读取视频帧图片的方法为：将视频，音频压缩编码数据，还原成非压缩的视频，经过解码，得到非压缩的视频颜色数据。
作为优选，所述S1.2中，计算图片帧的数字指纹的方法为：通过感知Hash算法，先对原图片进行灰度计算，在通过缩小图片为8x8像素后，将64位的二进制数据保存到数组，作为64位的图片指纹。
作为优选，所述S1.4中，指纹放入分段对应的索引目录的方法为：在文件系统中建立四个目录，对应指纹分为4段后对应的序号，序号值表示为1、2、3、4，在每个序号下建立2^16＝65536个hash目录，分别用1～65535表示，每个目录下建立10个文件，文件中存放完整的64位Hash值。
作为优选，所述S1.4中，循环遍历所有分段的方法为：通过“/分段数/当前段Hash目录/Hash文件”唯一确定的写入路径，将完整的64位Hash值存入文件中。
作为优选，所述S2.2中，计算截图指纹的方法为：使用感知Hash算法获得数字指纹。
作为优选，所述S2.3中，循环获得不同指纹分段下数据索引的方法为：将指纹分段，分为4段后，从第一段开始，进行分段索引。
作为优选，所述S2.4中，通过数据索引搜索到指纹的方法为：读取目录“段数\当前段Hash值\”下的所有文件，遍历整个文件内容，并计算汉明距离，返回汉明距离最小的指纹。
作为优选，所述S2.5中，通过搜索到的指纹获得视频信息以及对应的帧的方法为：识别到指纹后，查询数据库即可获得视频和视频的第几帧。
作为优选，所述分段索引方法为：将4个分段中当前段相同的指纹存储到段数对应的目录下，并将当前段相同的指纹存储到分段对应的文件中。
与现有技术相比，本发明的有益效果：该以图搜视频的方法中，通过帧图像指纹的分段，来有效缩小搜索范围，提升搜索速度，同时通过多节点的分布式处理的方式，快速定位到最终结果，可以，快速、精准的搜索到目标帧以及具体视频和所在帧数。
附图说明
图1为本发明的帧图像指纹分段原理图；
图2为本发明的多节点实时搜索的流程图；
图3为本发明的视频帧指纹计算和分段原理图；
图4为本发明的结视频帧指纹分段存储格式图；
图5为本发明的以图搜视频的搜索过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图5所示，本发明提供一种技术方案：
本发明提供一种以图搜视频的方法，包括创建数据索引阶段和搜索视频阶段，创建数据索引阶段包如下步骤：
S1.1、读取视频帧图片；
S1.2、计算图片帧的数字指纹；
S1.3、将指纹按16位为一段位分成多段；
S1.4、循环遍历所有分段，将指纹放入分段对应的索引目录下；
S1.5、指纹数据追加到索引文件中；
搜索视频阶段包括如下步骤：
S2.1、读取待搜索视频截图数据；
S2.2、计算截图指纹；
S2.3、循环获得不同指纹分段下数据索引；
S2.4、通过数据索引搜索到指纹；
S2.5、通过搜索到的指纹获得视频信息以及对应的帧。
本实施例中，S1.1中，读取视频帧图片的方法为：将视频，音频压缩编码数据，还原成非压缩的视频，音频原始数据,音频的压缩编码标准包括AAC,MP3，AC-3等，视频压缩编码标准包含H.264,MPEG2,VC-1等,经过解码，得到非压缩的视频颜色数据如YUV420P,RGB和非压缩的音频数据如PCM等。
进一步的，S1.2中，计算图片帧的数字指纹的方法为：通过感知Hash算法，先对原图片进行灰度计算，在通过缩小图片为8x8像素后，将64位的二进制数据保存到数组，作为64位的图片指纹。
具体的，S1.3中，指纹按16位为一段位分成多段的方法为：由于需要搜索的视频帧和用于搜索的图片内容相同或者大部分相同(忽略水印，台标等情况)，假设图片指纹中最大容错3位不同，那么指纹以16位为一段，分为4段。
其中，S1.4中，指纹放入分段对应的索引目录的方法为：在文件系统中建立四个目录，对应指纹分为4段后对应的序号，序号值表示为1、2、3、4，在每个序号下建立2^16＝65536个hash目录，分别用1～65535表示，每个目录下建立10个文件，文件中存放完整的64位Hash值，估算：假设有80万部1小时的视频，那么一共会产生720亿左右个帧，每个hash目录需要存放720亿/65535≈120万个指纹，每个文件存放120万/10＝12万个hash值。
除此之外，S1.4中，循环遍历所有分段的方法为：通过“/分段数/当前段Hash目录/Hash文件”唯一确定的写入路径，将完整的64位Hash值存入文件中，具体为：首先，该方案假设需要搜索的视频帧和用于搜索的图片内容相同或者大部分相同(忽略水印，台标等情况)，假设图片指纹中最大容错3位不同，也就是说如果将指纹切分为4段后总会有一段是相同的。因此，该方案会查找”分段数/当前段Hash目录/Hash文件”下所有的hash值，通过比较这些hash值中汉明距离最近的一个hash作为输出得到相应的最近似hash值。
值得说明的是，搜索视频阶段的具体方法为：使用感知Hash算法获得数字指纹(详见如何计算图片帧的数字指纹)，将指纹分段(详见如何对指纹进行分段)，分为4段后，从第一段开始，进行分段索引，读取目录“段数\当前段Hash值\”下的所有文件。由于文件中存储了这段Hash值一样的所有指纹，因此，我们只要遍历整个文件内容，并计算汉明距离，返回汉明距离最小的指纹即可，我们记这个指纹为“A1”。同理，我们遍历余下的三段Hash并找到汉明距离最小的指纹“A2”、“A3”、“A4”。接下来我们比较这四个指纹，找到汉明距离最近的指纹，如：“A2”。最终我们确定“A2”对应的视频帧就是我们要找的那一帧视频帧。由于，遍历的文件中Hash数量众多，我们在存储Hash文件的时候特意存储成多个文件。这样我们可以借助多个处理节点同时遍历多个文件，减少搜索的时间。
再进一步的，通过搜索到的指纹获得视频信息以及对应的帧的方法为：在录入指纹数据时，就将指纹Hash值与视频以及对应视频的帧数之间的关联关系存储到了数据，因此，识别到指纹后，只要查询数据库即可获得视频和视频的第几帧。
具体的，分段索引方法为：将4个分段中当前段相同的指纹存储到段数对应的目录下，并将当前段相同的指纹存储到分段对应的文件中。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种以图搜视频的方法，包括创建数据索引阶段和搜索视频阶段，其特征在于：所述创建数据索引阶段包如下步骤：
S1.1、读取视频帧图片；
S1.2、计算图片帧的数字指纹；
S1.3、将指纹按16位为一段位分成多段；
S1.4、循环遍历所有分段，将指纹放入分段对应的索引目录下；
S1.5、指纹数据追加到索引文件中；
所述搜索视频阶段包括如下步骤：
S2.1、读取待搜索视频截图数据；
S2.2、计算截图指纹；
S2.3、循环获得不同指纹分段下数据索引；
S2.4、通过数据索引搜索到指纹；
S2.5、通过搜索到的指纹获得视频信息以及对应的帧；
所述S1.1中，读取视频帧图片的方法为：将视频，音频压缩编码数据，还原成非压缩的视频，经过解码，得到非压缩的视频颜色数据；
所述S1.2中，计算图片帧的数字指纹的方法为：通过感知Hash算法，先对原图片进行灰度计算，在通过缩小图片为8x8像素后，将64位的二进制数据保存到数组，作为64位的图片指纹；
所述S1.4中，指纹放入分段对应的索引目录的方法为：在文件系统中建立四个目录，对应指纹分为4段后对应的序号，序号值表示为1、2、3、4，在每个序号下建立2^16＝65536个hash目录，分别用1～65535表示，每个目录下建立10个文件，文件中存放完整的64位Hash值。
2.根据权利要求1所述的以图搜视频的方法，其特征在于：所述S1.4中，循环遍历所有分段的方法为：通过“/分段数/当前段Hash目录/Hash文件”唯一确定的写入路径，将完整的64位Hash值存入文件中。
3.根据权利要求1所述的以图搜视频的方法，其特征在于：所述S2.2中，计算截图指纹的方法为：使用感知Hash算法获得数字指纹。
4.根据权利要求3所述的以图搜视频的方法，其特征在于：所述S2.3中，循环获得不同指纹分段下数据索引的方法为：将指纹分段，分为4段后，从第一段开始，进行分段索引。
5.根据权利要求4所述的以图搜视频的方法，其特征在于：所述S2.4中，通过数据索引搜索到指纹的方法为：读取目录“段数\当前段Hash值\”下的所有文件，遍历整个文件内容，并计算汉明距离，返回汉明距离最小的指纹。
6.根据权利要求5所述的以图搜视频的方法，其特征在于：所述S2.5中，通过搜索到的指纹获得视频信息以及对应的帧的方法为：识别到指纹后，查询数据库即可获得视频和视频的第几帧。
7.根据权利要求4所述的以图搜视频的方法，其特征在于：所述分段索引的方法为：将4个分段中当前段相同的指纹存储到段数对应的目录下，并将当前段相同的指纹存储到分段对应的文件中。
CN201911316843.1A 2019-12-19 2019-12-19 一种以图搜视频的方法 Active CN111008301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911316843.1A CN111008301B (zh) 2019-12-19 2019-12-19 一种以图搜视频的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911316843.1A CN111008301B (zh) 2019-12-19 2019-12-19 一种以图搜视频的方法

Publications (2)

Publication Number Publication Date
CN111008301A CN111008301A (zh) 2020-04-14
CN111008301B true CN111008301B (zh) 2023-08-15

Family

ID=70117166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911316843.1A Active CN111008301B (zh) 2019-12-19 2019-12-19 一种以图搜视频的方法

Country Status (1)

Country Link
CN (1) CN111008301B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592906A (zh) * 2000-07-31 2005-03-09 沙扎姆娱乐有限公司 用于在强噪声和失真下识别声音和音乐信号的系统和方法
WO2009140822A1 (en) * 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A method for extracting a fingerprint data from video/audio signals
CN101673266A (zh) * 2008-09-12 2010-03-17 未序网络科技（上海）有限公司 音频、视频内容的搜索方法
CN101673263A (zh) * 2008-09-12 2010-03-17 未序网络科技（上海）有限公司 视频内容的搜索方法
CN101681381A (zh) * 2007-06-06 2010-03-24 杜比实验室特许公司 使用多搜索组合改善音频/视频指纹搜索精确度
CN102419816A (zh) * 2011-11-18 2012-04-18 山东大学 用于相同内容视频检索的视频指纹方法
CN103514250A (zh) * 2013-06-20 2014-01-15 易乐天 一种全局重复数据删除的方法和系统及存储装置
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN106055632A (zh) * 2016-05-27 2016-10-26 浙江工业大学 基于场景帧指纹的视频认证方法
CN106802960A (zh) * 2017-01-19 2017-06-06 湖南大学 一种基于音频指纹的分片音频检索方法
CN109388729A (zh) * 2017-08-14 2019-02-26 阿里巴巴集团控股有限公司 音频子指纹的检索方法、装置以及音频查询系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592906A (zh) * 2000-07-31 2005-03-09 沙扎姆娱乐有限公司 用于在强噪声和失真下识别声音和音乐信号的系统和方法
CN101681381A (zh) * 2007-06-06 2010-03-24 杜比实验室特许公司 使用多搜索组合改善音频/视频指纹搜索精确度
WO2009140822A1 (en) * 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A method for extracting a fingerprint data from video/audio signals
CN101673266A (zh) * 2008-09-12 2010-03-17 未序网络科技（上海）有限公司 音频、视频内容的搜索方法
CN101673263A (zh) * 2008-09-12 2010-03-17 未序网络科技（上海）有限公司 视频内容的搜索方法
CN102419816A (zh) * 2011-11-18 2012-04-18 山东大学 用于相同内容视频检索的视频指纹方法
CN103514250A (zh) * 2013-06-20 2014-01-15 易乐天 一种全局重复数据删除的方法和系统及存储装置
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN106055632A (zh) * 2016-05-27 2016-10-26 浙江工业大学 基于场景帧指纹的视频认证方法
CN106802960A (zh) * 2017-01-19 2017-06-06 湖南大学 一种基于音频指纹的分片音频检索方法
CN109388729A (zh) * 2017-08-14 2019-02-26 阿里巴巴集团控股有限公司 音频子指纹的检索方法、装置以及音频查询系统

Also Published As

Publication number Publication date
CN111008301A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
JP5926291B2 (ja) 類似画像を識別する方法および装置
CN110149529B (zh) 媒体信息的处理方法、服务器及存储介质
CN106570165B (zh) 一种基于内容的视频检索方法及装置
CN110147469B (zh) 一种数据处理方法、设备及存储介质
US20200394181A1 (en) Big data blockchains with merkle trees
JP7680633B2 (ja) ビデオクリップの識別方法、装置、機器及び記憶媒体
CN110826365B (zh) 一种视频指纹生成方法和装置
CN109783691B (zh) 一种深度学习和哈希编码的视频检索方法
WO2017012491A1 (zh) 一种图像高维特征的相似比较方法及装置
CN105761263A (zh) 一种基于镜头边界检测和聚类的视频关键帧提取方法
CN106557545A (zh) 视频检索方法和装置
CN117251598A (zh) 视频检索方法
US10733454B2 (en) Transformation of video streams
CN111817722A (zh) 数据压缩方法、装置及计算机设备
CN115630236A (zh) 无源遥感影像的全球快速检索定位方法、存储介质及设备
WO2016110125A1 (zh) 高维向量的哈希方法、向量量化方法及装置
CN102722557B (zh) 一种相同数据块的自适应识别方法
CN110442749B (zh) 视频帧处理方法及装置
CN111008301B (zh) 一种以图搜视频的方法
WO2019140548A1 (zh) 海量特征向量数据的相似检索方法及设备、存储介质
CN113094524B (zh) 重复多媒体文件识别方法、装置、电子设备及存储介质
CN117786152A (zh) 一种图像检索方法、装置、电子设备及存储介质
CN107223259A (zh) 基于树的图像存储系统
CN115858860A (zh) 一种视频检测方法、装置、电子设备和存储介质
WO2019191904A1 (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant