[go: up one dir, main page]

CN107391599B - 基于风格特征的图像检索方法 - Google Patents

基于风格特征的图像检索方法 Download PDF

Info

Publication number
CN107391599B
CN107391599B CN201710523175.4A CN201710523175A CN107391599B CN 107391599 B CN107391599 B CN 107391599B CN 201710523175 A CN201710523175 A CN 201710523175A CN 107391599 B CN107391599 B CN 107391599B
Authority
CN
China
Prior art keywords
picture
style
vgg
features
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710523175.4A
Other languages
English (en)
Other versions
CN107391599A (zh
Inventor
陈长宝
杜红民
侯长生
孔晓阳
王茹川
郭振强
郧刚
王磊
王莹莹
肖进胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan Smart City Design Research Institute Co ltd
Original Assignee
Zhongyuan Smart City Design Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan Smart City Design Research Institute Co ltd filed Critical Zhongyuan Smart City Design Research Institute Co ltd
Priority to CN201710523175.4A priority Critical patent/CN107391599B/zh
Publication of CN107391599A publication Critical patent/CN107391599A/zh
Application granted granted Critical
Publication of CN107391599B publication Critical patent/CN107391599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于风格特征的图像检索方法，采用格拉姆矩阵作为描述图像风格特征的算子，提取给定图片库的所有训练样本的风格特征并构建图片索引，提取待检测图片的风格特征，查找与待检测图片相似度最高的图片的索引号并根据索引号返回相似图片集，通过这种方法实现对抽象图片的检索，具有方法简单、检索效果好的优点。

Description

基于风格特征的图像检索方法
技术领域
本发明涉及一种图像检索方法，具体的说，涉及了一种基于风格特征的图像检索方法。
背景技术
图片检索有两类，一类是基于文本的图像检索TBIR，另一类是基于内容的图像检索CBIR。其中CBIR通过详细分析图像所包含的具体的对象或场景来进行检索，其实现的关键在于对图像特征的提取，常见的提取特征方式有基于颜色、形状和纹理特征的提取，通过匹配像之间的底层视觉特征达到检索目的。这种检索方法着重于探测图片中某一实际物体，而对于没有实际物体的抽象图片检索效果不佳。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种基于风格特征的图像检索方法，方法简单、具有通用性。
为了实现上述目的，本发明所采用的技术方案是：一种基于风格特征的图像检索方法，包括以下步骤：
搭建平台
S1，利用基于Theano的框架Keras搭建处理平台；
构建图片索引
S2，大规模图像数据集ImageNet上训练一个卷积神经网络VGG-19，并使用给定图片库的训练样本对VGG-19进行参数微调，得到迁移学习后的卷积神经网络，记为VGG-19-FT；
S3，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，并对提取出的风格特征进行降维处理，获得降维风格特征；
S4，将提取出的每个训练样本的降维风格特征存储在一个文件中，并根据每个训练样本的图片地址构建图片索引；
图片查询
S5，将待检索图片输入VGG-19-FT中进行风格特征提取，并进行降维处理；
S6，通过降维风格特征相似度比较方法,分别计算带检索图片的降维风格特征与图片索引内每个降维风格特征的相似度距离，并将相似度距离最近的降维风格特征所对应的图片的索引号作为结果返回给给定图片库；
S7，根据获得的索引号查找给定图片库，返回相似图片集。
基于上述，计算VGG-19-FT特定层的各个滤波器之间的相关性关系，生成格拉姆矩阵来描述图像的风格特征。
基于上述，特定层的层级越高，所提取的风格特征越接近图像的整体特征；特定层的层级越低，所提的风格特征越接近图像的细节特征。
基于上述，VGG-19包括16个卷积层和3个全连接层，迁移学习时保留原始VGG-16参数集的前16层参数，而只重新训练后3层的参数。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明用格拉姆矩阵作为描述图像风格特征的算子，提取给定图片库的所有训练样本的风格特征并构建图片索引，提取待检测图片的风格特征，查找与待检测图片相似度最高的图片的索引号并根据索引号返回相似图片集，通过这种方法实现对抽象图片的检索，具有方法简单、检索效果好的优点。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种基于风格特征的图像检索方法，包括以下步骤：
搭建平台
S1，利用基于Theano的框架Keras搭建处理平台：
（1）服务器配置
带有TitanX 显卡的服务器，至强四核处理器、32GB内存；
（2）操作系统：
采用Linux操作系统；
（3）开发环境
采用Python语言以及PyCharm IDE开发环境；
（4）框架搭建
采用Keras深度学习框架，底层封装Theano。Keras是一个极简化的第三方神经网络库，由于其具有高度模块化的特点，可以充分发挥GPU和CPU操作。
（5）客户端工具
支持HTML5的浏览器；
构建图片索引
S2，大规模图像数据集ImageNet上训练一个卷积神经网络VGG-19，并使用给定图片库的训练样本对VGG-19进行参数微调，得到迁移学习后的卷积神经网络，记为VGG-19-FT；具体的，给定图片库的训练样本个数为1000，VGG-19包括16个卷积层和3个全连接层；
S3，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，并对提取出的风格特征进行降维处理，获得降维风格特征；具体的，图像的风格特征用VGG-19-FT特定层的格拉姆矩阵来描述，格拉姆矩阵描述的是各个滤波器之间的相关性关系；
S4，将提取出的每个训练样本的降维风格特征存储在一个文件中，并根据每个训练样本的图片地址构建图片索引；
图片查询
S5，将待检索图片输入VGG-19-FT中进行风格特征提取，并进行降维处理；
S6，通过降维风格特征相似度比较方法,分别计算带检索图片的降维风格特征与图片索引内每个降维风格特征的相似度距离，并将相似度距离最近的降维风格特征所对应的图片的索引号作为结果返回给给定图片库，优选的，相似度距离为欧式距离；
S7，根据获得的索引号查找给定图片库，返回相似图片集。
步骤3中，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，经过提取的图像风格特征有4096维，相对于一些高维度的特征而言不算高，但是由于实际图像检索中图像库的数量巨大，这种维度大小仍然会降低系统性能，所以还是要降低维度。
具体的，机器学习中常采用的四大降维方位包括主成分分析算法(PrincipalComponent Analysis, PCA)、线性判别分析(Linear Discriminant Analysis, LDA)、局部线性嵌入(Locally linear embedding, LLE)、拉普拉斯特征映射(LaplacianEigenmaps)，优选的，本发明采用PCA主成分分析算法进行降维操作。
由于深层神经网络中越接近输入层的特征具备越高的普适性，越接近输出层的特征越具备针对某一数据集的特殊性。因此本发明在迁移学习中保留原始VGG-19参数集中的前16层的参数，而只重新训练后3层的参数。这样既可以充分利用原始参数集的普适性参数，又可以经过重新训练获得针对给定图片库的特殊性参数。
由于神经网络的特性，特定层的层级越高，所提取的风格特征越接近图像的整体特征；特定层的层级越低，所提的风格特征越接近图像的细节特征，如颜色、纹理等。
因此，在图像检索中，若采用低层神经网络的格拉姆矩阵描述图像的风格特征，则查询到的相似图片会在颜色、纹理等细节特征上和待查询图片相似，图像检索的查全率高；若采用高层神经网络的格拉姆矩阵描述图像的风格特征，则查询到的相似图片会在整体特征上和待查询图片相似，图像检索的查准率高；具体采用低层神经网络的进行图片检索还是采用高层神经网络进行图片检索，则需要根据对检索结果的查全率要求或查准率要求进行选取。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (2)

1.一种基于风格特征的图像检索方法，其特征在于，包括以下步骤：
搭建平台
S1，利用基于Theano的框架Keras搭建处理平台；
构建图片索引
S2，大规模图像数据集ImageNet上训练一个卷积神经网络VGG-19，并使用给定抽象图片库的训练样本对VGG-19进行参数微调，得到迁移学习后的卷积神经网络，记为VGG-19-FT；
其中，VGG-19包括16个卷积层和3个全连接层，迁移学习时保留原始VGG-19参数集的前16层参数，而只重新训练后3层的参数；
S3，将给定抽象图片库的训练样本依次输入VGG-19-FT中提取风格特征，并对提取出的风格特征进行降维处理，获得降维风格特征；
其中，计算VGG-19-FT特定层的各个滤波器之间的相关性关系，生成格拉姆矩阵来描述图像的风格特征；
S4，将提取出的每个训练样本的降维风格特征存储在一个文件中，并根据每个训练样本的图片地址构建图片索引；
图片查询
S5，将待检索抽象图片输入VGG-19-FT中进行风格特征提取，并进行降维处理；
S6，通过降维风格特征相似度比较方法,分别计算待检索抽象图片的降维风格特征与图片索引内每个降维风格特征的相似度距离，并将相似度距离最近的降维风格特征所对应的抽象图片的索引号作为结果返回给给定抽象图片库；
S7，根据获得的索引号查找给定抽象图片库，返回相似抽象图片集。
2.根据权利要求1所述的基于风格特征的图像检索方法，其特征在于：特定层的层级越高，所提取的风格特征越接近图像的整体特征；特定层的层级越低，所提的风格特征越接近图像的细节特征。
CN201710523175.4A 2017-06-30 2017-06-30 基于风格特征的图像检索方法 Active CN107391599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710523175.4A CN107391599B (zh) 2017-06-30 2017-06-30 基于风格特征的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710523175.4A CN107391599B (zh) 2017-06-30 2017-06-30 基于风格特征的图像检索方法

Publications (2)

Publication Number Publication Date
CN107391599A CN107391599A (zh) 2017-11-24
CN107391599B true CN107391599B (zh) 2021-01-12

Family

ID=60334647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710523175.4A Active CN107391599B (zh) 2017-06-30 2017-06-30 基于风格特征的图像检索方法

Country Status (1)

Country Link
CN (1) CN107391599B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470209B (zh) * 2018-03-27 2021-06-04 北京工业大学 一种基于格拉姆矩阵正则化的卷积神经网可视化方法
CN109190641A (zh) * 2018-08-29 2019-01-11 哈尔滨理工大学 一种基于lda和迁移学习的宫颈细胞特征提取方法
CN109947976B (zh) * 2019-01-22 2023-05-16 湖南城市学院 分析中国传统元素在现代美术设计中的体现系统及方法
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663092A (zh) * 2012-04-11 2012-09-12 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
CN104346456A (zh) * 2014-10-31 2015-02-11 海南大学 基于空间依赖性度量的数字图像多语义标注方法
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106886599A (zh) * 2017-02-28 2017-06-23 北京京东尚科信息技术有限公司 图像检索方法以及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof
US9135567B2 (en) * 2013-01-18 2015-09-15 International Business Machines Corporation Transductive lasso for high-dimensional data regression problems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663092A (zh) * 2012-04-11 2012-09-12 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
CN104346456A (zh) * 2014-10-31 2015-02-11 海南大学 基于空间依赖性度量的数字图像多语义标注方法
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106886599A (zh) * 2017-02-28 2017-06-23 北京京东尚科信息技术有限公司 图像检索方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CNN-based Style Vector for Style image Retrieval;Shin Matsuo et al.;《ICMR "16: Proceedings of the 2016 ACM on International Conference on Multimedia Retrieval》;20160609;第309-311页 *
卷积神经网络研究综述;李彦冬等;《计算机应用》;20160910;第36卷(第9期);第2521-2513页 *

Also Published As

Publication number Publication date
CN107391599A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN110232152B (zh) 内容推荐方法、装置、服务器以及存储介质
CN107256262B (zh) 一种基于物体检测的图像检索方法
CN111581510A (zh) 分享内容处理方法、装置、计算机设备和存储介质
US8577882B2 (en) Method and system for searching multilingual documents
US7853582B2 (en) Method and system for providing information services related to multimodal inputs
US11947590B1 (en) Systems and methods for contextualized visual search
CN107545276B (zh) 联合低秩表示和稀疏回归的多视角学习方法
CN110516096A (zh) 合成感知数字图像搜索
CN107391599B (zh) 基于风格特征的图像检索方法
US9639633B2 (en) Providing information services related to multimodal inputs
CN110033018A (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN107590505B (zh) 联合低秩表示和稀疏回归的学习方法
US11755671B2 (en) Projecting queries into a content item embedding space
CN111274445B (zh) 基于三元组深度学习的相似视频内容检索方法及系统
CN112434533A (zh) 实体消歧方法、装置、电子设备及计算机可读存储介质
CN115345168A (zh) 自然语言处理的级联池化
WO2025152309A1 (zh) 一种数据检索的方法及网络附加存储设备
CN115238117B (zh) 基于注意力融合局部超级特征和全局特征的图像检索方法
CN112836702A (zh) 一种基于多尺度特征提取的文本识别方法
JPH11250106A (ja) 内容基盤の映像情報を利用した登録商標の自動検索方法
CN113537221A (zh) 图像识别方法、装置和设备
CN117009595A (zh) 文本段落获取方法及其装置、存储介质、程序产品
Averbuch‐Elor et al. Distilled collections from textual image queries
CN117009599B (zh) 数据检索方法、装置、处理器及电子设备
CN120196782A (zh) 基于图像数据库内生关联性的图像检索方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant