[go: up one dir, main page]

CN117011536A - 特征提取模型处理及特征提取方法、装置和计算机设备 - Google Patents

特征提取模型处理及特征提取方法、装置和计算机设备 Download PDF

Info

Publication number
CN117011536A
CN117011536A CN202211242030.4A CN202211242030A CN117011536A CN 117011536 A CN117011536 A CN 117011536A CN 202211242030 A CN202211242030 A CN 202211242030A CN 117011536 A CN117011536 A CN 117011536A
Authority
CN
China
Prior art keywords
image
classification
model
feature
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211242030.4A
Other languages
English (en)
Other versions
CN117011536B (zh
Inventor
张斌杰
葛艺潇
苏树鹏
徐叙远
王烨鑫
单瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211242030.4A priority Critical patent/CN117011536B/zh
Priority to PCT/CN2023/120674 priority patent/WO2024078299A1/zh
Publication of CN117011536A publication Critical patent/CN117011536A/zh
Priority to US18/592,346 priority patent/US20240203106A1/en
Application granted granted Critical
Publication of CN117011536B publication Critical patent/CN117011536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种特征提取模型处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法涉及机器学习,包括:获取样本图像及基于样本图像的第一图像特征所反映的特征鉴别力确定的继承参数;通过特征提取模型从样本图像中提取第二图像特征;通过历史图像分类模型基于第二图像特征进行第一分类,通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;通过图像分类模型基于第二图像特征进行第二分类;基于模型兼容损失和第二分类的分类损失,对特征提取模型和图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。采用本方法能够在确保模型兼容性的同时,提高图像特征提取有效性。

Description

特征提取模型处理及特征提取方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种特征提取模型处理方法、装置、计算机设备、存储介质和计算机程序产品,以及一种特征提取方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,从互联网中检索出指定资源的检索技术已经不局限于文字检索,还支持用户进行图片检索。例如,用户可以输入查询图片进行检索,从而从数据库中查询到与用户输入的查询图片相似的图片。在图片检索技术中,往往是针对图片提取图像特征,如通过图像特征提取模型提取图像特征,通过提取的图像特征进行相似度比较,以实现针对图片的检索处理。
然而,在图像特征提取模型升级、更新时,新模型为了实现与旧模型之间的兼容性,会牺牲一部分自身的特征提取能力,故容易导致新模型无法提取到有效的图像特征。
发明内容
基于此,有必要针对上述技术问题,提供一种能够确保模型兼容性的同时,提高图像特征提取有效性的特征提取模型处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,以及一种特征提取方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种特征提取模型处理方法。所述方法包括:
获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的;
通过待训练的特征提取模型从样本图像中提取得到第二图像特征;
通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;
通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失;
基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
第二方面,本申请还提供了一种特征提取模型处理装置。所述装置包括:
样本图像获取模块,用于获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的;
第二图像特征提取模块,用于通过待训练的特征提取模型从样本图像中提取得到第二图像特征;
模型兼容损失获得模块,用于通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;
第二分类损失获得模块,用于通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失;
模型更新模块,用于基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的;
通过待训练的特征提取模型从样本图像中提取得到第二图像特征;
通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;
通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失;
基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的;
通过待训练的特征提取模型从样本图像中提取得到第二图像特征;
通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;
通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失;
基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的;
通过待训练的特征提取模型从样本图像中提取得到第二图像特征;
通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;
通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失;
基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
上述特征提取模型处理方法、装置、计算机设备、存储介质和计算机程序产品,通过与历史特征提取模型联合训练得到的历史图像分类模型,基于待训练的特征提取模型从样本图像中提取的第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,继承参数基于历史特征提取模型从样本图像中提取第一图像特征所反映的特征鉴别力得到,通过待训练的图像分类模型基于第二图像特征进行第二分类,基于模型兼容损失和第二分类的分类损失进行模型更新训练,可以通过历史特征提取模型提取的特征所确定的继承参数,对历史特征提取模型提取的特征进行选择性继承,能够有效学习到历史特征提取模型的知识,使得训练得到的特征提取模型能够在确保针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
第六方面,本申请提供了一种特征提取方法。所述方法包括:
获取目标图像;
通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;
其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
第七方面,本申请还提供了一种特征提取装置。所述装置包括:
目标图像获取模块,用于获取目标图像;
特征提取处理模块,用于通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;
其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
第八方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标图像;
通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;
其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
第九方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标图像;
通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;
其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
第十方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取目标图像;
通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;
其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
上述特征提取方法、装置、计算机设备、存储介质和计算机程序产品,通过预先训练的特征提取模型对目标图像进行特征提取,而在特征提取模型的训练处理中,通过与历史特征提取模型联合训练得到的历史图像分类模型,基于待训练的特征提取模型从样本图像中提取的第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,继承参数基于历史特征提取模型从样本图像中提取第一图像特征所反映的特征鉴别力得到,通过待训练的图像分类模型基于第二图像特征进行第二分类,基于模型兼容损失和第二分类的分类损失进行模型更新训练,可以通过历史特征提取模型提取的特征所确定的继承参数,对历史特征提取模型提取的特征进行选择性继承,能够有效学习到历史特征提取模型的知识,使得训练得到的特征提取模型能够在确保针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
附图说明
图1为一个实施例中特征提取模型处理方法的应用环境图;
图2为一个实施例中特征提取模型处理方法的流程示意图;
图3为一个实施例中确定继承参数的流程示意图;
图4为一个实施例中特征提取方法的流程示意图;
图5为一个实施例中不同模型升级范式类中心变化对比示意图;
图6为一个实施例中不同模型升级范式效果对比示意图;
图7为一个实施例中特征提取模型的结构示意图;
图8为一个实施例中鉴别力度量的流程示意图;
图9为一个实施例中后向兼容的序列化模型升级中特征变化示意图;
图10为一个实施例中特征提取模型处理中特征变化示意图;
图11为一个实施例中特征提取模型处理装置的结构框图;
图12为一个实施例中特征提取装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请实施例提供的方案涉及人工智能的计算机视觉技术、机器学习等技术,具体通过如下实施例进行说明。
本申请实施例提供的特征提取模型处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。终端102可以将样本图像发送至服务器104,服务器104通过与历史特征提取模型联合训练得到的历史图像分类模型,基于待训练的特征提取模型从接收的样本图像中提取的第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,继承参数基于历史特征提取模型从样本图像中提取第一图像特征所反映的特征鉴别力得到,通过待训练的图像分类模型基于第二图像特征进行第二分类,基于模型兼容损失和第二分类的分类损失进行模型更新训练,在训练完成时得到训练完成的特征提取模型。训练完成的特征提取模型可以针对输入的图像进行特征提取,输出所输入图像的图像特征。服务器104可以将训练完成的特征提取模型移植到终端102中,以便终端102通过训练完成的特征提取模型对输入的图像进行特征提取。服务器104也可以接收终端102发送的目标图像,通过训练完成的特征提取模型对终端102发送的目标图像进行特征提取。
本申请实施例提供的特征提取方法,也可以应用于如图1所示的应用环境中。终端102或服务器104中可以存储有预先训练完成的特征提取模型,终端102或服务器104可以获取目标图像,并将获得的目标图像输入到特征提取模型中,由特征提取模型进行图像提取并输出提取得到的目标图像的目标图像特征。其中,预先训练完成的特征提取模型,可以通过本申请实施例提供的特征提取模型处理方法进行训练得到。
其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种特征提取模型处理方法,该方法由计算机设备执行,具体可以由终端或服务器等计算机设备单独执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的。
其中,特征提取模型可以包括基于机器学习构建的人工神经网络模型,其能够针对输入的图像进行特征提取,输出提取得到的图像特征,提取得到的图像特征可以用于图像匹配、图像分类、图像优化等各种处理。机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。样本图像为训练特征提取模型的样本。历史特征提取模型是已训练完成的模型,在模型更新、升级处理中,历史特征提取模型属于需要针对进行升级、更新的模型,即历史特征提取模型属于旧模型,而重新训练得到的特征提取模型属于新模型。例如,历史特征提取模型可以为历史版本的特征提取模型,而重新训练得到的特征提取模型可以为最新版本的特征提取模型。
通过历史特征提取模型对样本图像进行特征提取,可以提取得到样本图像的第一图像特征。基于第一图像特征可以进行图像分类、图像匹配等各种图像处理,特征鉴别力表征基于第一图像特征进行图像分类、图像匹配等各种图像处理时,针对不同图像的鉴别能力。例如,在基于第一图像特征进行图像分类时,特征鉴别力可以为针对不同图像类别的鉴别能力。通过第一图像特征进行图像分类的准确性,与第一图像特征所反映的特征鉴别力呈正相关关系,即特征鉴别力越强,则表明第一图像特征所反映分类特征越明显,越有利于进行分类,即利用第一图像特征越能够进行准确的图像分类处理。又如,基于第一图像特征进行图像匹配时,特征鉴别力可以为针对不同图像的鉴别能力,即特征鉴别力越强,则图像越能够与其他图像进行准确匹配,从而鉴别出相似或不同的图片。即图像特征所反映的特征鉴别力越强,则该图像特征越能准确表达图像的特性,基于该图像特征进行处理,可以获得越准确的处理结果。
对于同一图像,通过不同的特征提取模型进行特征提取,提取得到的不同图像特征具有不同的特征鉴别力。如利用提取的图像特征进行图像分类时,分类结果可以不同,分类结果越准确,则提取的图像特征的特征鉴别力越强。特征鉴别力可以针对提取的图像特征进行特征鉴别力分析得到,如可以利用提取的图像特征进行分类处理,基于分类结果确定各图像特征的特征鉴别力。又如,可以利用提取的图像特征进行匹配处理,基于匹配结果确定各图像特征的特征鉴别力。在具体应用中,可以针对特征鉴别力进行量化处理,如可以量化得到特征鉴别参数,从而能够利用特征鉴别参数,对各个图像的图像特征的特征鉴别力进行量化对比。
继承参数基于图像特征所反映的特征鉴别力确定,每个样本图像可以具有对应的继承参数。图像特征所反映的特征鉴别力越强,利用图像特征进行图像处理能够获得越准确的结果,则该图像特征越能准确表达相应的图像,该图像特征越值得新模型进行继承和学习。继承参数可以用于表征对图像特征的继承程度,如继承参数可以包括继承权重,对于值得新模型进行继承和学习的图像特征,即对于特征鉴别力强的图像特征,可以具有较高的继承权重;而对于特征鉴别力弱的图像特征,可以具有较低的继承权重,从而针对图像特征的所反映的特征鉴别力,由新模型进行选择性地继承和学习,以便新模型能够学习到有效地图像特征知识。例如,对于图像特征A、图像特征B和图像特征C,若对于特征鉴别力,图像特征A>图像特征B>和图像特征C,则对于对应设置的继承权重,也可以为图像特征A>图像特征B>和图像特征C,从而能够使新模型重点学习和继承特征鉴别力强的图像特征,以提高图像特征提取的有效性。此外,继承参数也可以包括继承次数,对于特征鉴别力强的图像特征,可以提高该图像特征的继承权重,即提高针对该图像特征的兼容训练的重要程度;而对于特征鉴别力弱的图像特征,可以降低该图像特征的继承权重,即降低针对该图像特征的兼容训练的重要程度。
具体地,服务器可以获取样本图像以及样本图像的继承参数。其中,样本图像的继承参数,可以由服务器预先通过已训练完成的历史特征提取模型从样本图像中提取得到第一图像特征,并基于第一图像特征所反映的特征鉴别力确定。在具体实现中,服务器可以建立继承参数与样本图像之间的映射关系,通过查询该映射关系,可以获得样本图像的继承参数。例如,服务器在确定样本图像的继承参数后,服务器可以将继承参数写入样本图像的图像属性信息中,在训练新模型获得样本图像后,服务器可以从样本图像的图像属性信息中提取得到继承参数。
步骤204,通过待训练的特征提取模型从样本图像中提取得到第二图像特征。
其中,待训练的特征提取模型是需要重新训练的特征提取模型,属于新模型,为了兼容已训练完成的历史特征提取模型,待训练的特征提取模型需要针对旧模型提取的特征进行兼容性处理,以使训练得到的新模型能够有效地兼容旧模型。第二图像特征是通过需要训练的新模型,即通过待训练的特征提取模型从样本图像中提取得到的。具体地,服务器确定待训练的特征提取模型,并通过待训练的特征提取模型对样本图像进行特征提取,如可以将样本图像输入至待训练的特征提取模型中,得到样本图像的第二图像特征。
步骤206,通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失。
其中,历史图像分类模型是已经训练完成的用于进行图像分类的模型,历史图像分类模型与历史特征提取模型联合训练得到,即历史图像分类模型是与历史特征提取模型同步进行训练得到的。具体地,可以利用历史特征提取模型对训练的样本图像提取图像特征,并由历史图像分类模型对提取的图像特征进行图像分类处理,基于图像分类结果对历史图像分类模型和历史特征提取模型分别进行更新,如更新历史图像分类模型和历史特征提取模型各自的模型参数后继续训练,直到训练结束,得到训练完成的历史特征提取模型和历史图像分类模型。其中,训练完成的历史特征提取模型可以对输入的图像进行特征提取,提取得到的图像特征可以用于对图像进行处理,如图像分类、图像匹配等;训练完成的历史图像分类模型可以对输入的图像特征进行图像分类,以确定图像所属的类别。
第一分类是指通过历史图像分类模型,对待训练的特征提取模型提取的第二图像特征进行图像分类的处理,可以获得第一分类的分类损失。第一分类的分类损失可以基于第一分类的分类结果和样本图像的类别标签之间的差异确定。第一分类的分类损失的具体形式可以根据实际需要进行设置,如可以包括但不限于包括对数似然损失、合页损失、交叉熵损失、softmax损失、ArcFace(Additive Angular Margin,加性角度间隔)损失等各种损失函数的形式。模型兼容损失是通过继承参数对第一分类的分类损失进行调整后得到的损失。通过继承参数对第一分类的分类损失进行调整,可以利用继承参数所体现的特征鉴别力,对历史特征提取模型中携带的第一图像特征进行选择性继承和学习,具体可以降低差样本的权重,提高好样本的权重,从而有效继承和学习旧模型所包括的知识。模型兼容损失反映了新模型对旧模型进行兼容时的损失,即待训练的特征提取模型对历史特征提取模型进行兼容时的损失。
具体地,服务器可以获取已经训练完成的历史图像分类模型,历史图像分类模型可以是与历史特征提取模型联合训练得到分类器模型,用于对提取的图像特征进行图像分类处理。服务器通过历史图像分类模型基于第二图像特征进行第一分类,得到第一分类的分类损失,如服务器可以根据第一分类的分类结合和样本图像的类别标签之间的差异,得到第一分类的分类损失。服务器通过继承参数对第一分类的分类损失进行调整,如继承参数包括继承权重时,可以按照继承权重对第一分类的分类损失进行加权处理,得到模型兼容损失。
步骤208,通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失。
其中,待训练的图像分类模型为重新训练的图像分类模型,用于对待训练的特征提取模型提取的图像特征进行图像分类处理,即待训练的图像分类模型和待训练的特征提取模型也进行联合训练,以同时训练得到图像分类模型和特征提取模型。通过待训练的图像分类模型基于第二图像特征进行第二分类,是通过新的图像分类模型,对新的特征提取模型提取的特征进行分类,得到第二分类的分类损失。
具体地,服务器可以通过与待训练的特征提取模型进行联合训练的图像分类模型,基于待训练的特征提取模型提取的第二图像特征进行第二分类,获得第二分类的分类损失。具体可以由服务器根据第二分类的分类结果与样本图像的类别标签之间的差异,确定第二分类的分类损失。第二分类的分类损失的具体形式可以根据实际需要进行设置,如可以包括但不限于包括对数似然损失、合页损失、交叉熵损失、softmax损失、ArcFace损失等各种形式的损失。
步骤210,基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
其中,待训练的特征提取模型和待训练的图像分类模型进行联合训练,即根据训练中的损失,对待训练的特征提取模型和待训练的图像分类模型分别进行更新后继续进行训练。训练中的损失包括模型兼容损失和第二分类的分类损失,具体可以根据模型兼容损失与第二分类的分类损失之间的和,得到训练中的损失,并基于该训练中的损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练。
具体地,服务器可以根据模型兼容损失和第二分类的分类损失,对训练的新模型,包括待训练的特征提取模型和待训练的图像分类模型分别进行更新,在模型更新后继续进行联合训练,即利用下一样本图像进行联合训练,直至训练完成,如训练满足收敛条件、模型精度满足预设精度条件、训练样本数量达到数量条件等,获得训练完成的特征提取模型和图像分类模型。其中,训练完成的特征提取模型可以对输入的图像进行特征提取,提取得到输入图像的图像特征;而训练完成的图像分类模型可以对输入的图像特征,具体可以是对训练完成的特征提取模型提取得到的图像特征进行图像分类,以确定图像特征来源图像所属的图像类别。在具体应用中,图像分类模型用于辅助特征提取模型的训练,最终可以获得训练完成的特征提取模型,以通过训练完成的特征提取模型针对图像进行特征提取处理。
上述特征提取模型处理方法中,通过与历史特征提取模型联合训练得到的历史图像分类模型,基于待训练的特征提取模型从样本图像中提取的第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,继承参数基于历史特征提取模型从样本图像中提取第一图像特征所反映的特征鉴别力得到,通过待训练的图像分类模型基于第二图像特征进行第二分类,基于模型兼容损失和第二分类的分类损失进行模型更新训练,可以通过历史特征提取模型提取的特征所确定的继承参数,对历史特征提取模型提取的特征进行选择性继承,能够有效学习到历史特征提取模型的知识,使得训练得到的特征提取模型能够在确保针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
在一个实施例中,如图3所示,特征提取模型处理方法还包括确定继承参数的处理,具体包括:
步骤302,通过历史特征提取模型从样本图像中提取得到第一图像特征。
其中,历史特征提取模型是已经训练完成的旧特征提取模型,重新训练的新特征提取模型需要针对历史特征提取模型进行兼容,即兼容历史特征提取模型的特征提取结果。第一图像特征是通过旧特征提取模型,即通过历史特征提取模型对样本图像进行特征提取得到的图像特征。
具体地,服务器可以获取已经训练完成的历史特征提取模型,在存在多个旧特征提取模型时,历史特征提取模型的版本可以根据实际需要进行选定。历史特征提取模型可以是新特征提取模型,即可以是待训练的特征提取模型需要进行兼容的旧特征提取模型。服务器通过历史特征提取模型对样本图像进行特征提取,具体可以将样本图像输入到历史特征提取模型中,由历史特征提取模型输出提取得到的第一图像特征,第一图像特征可以反映历史特征提取模型针对样本图像的特征提取表现。第一图像特征对样本图像的表达越准确有效,则表明历史特征提取模型的图像特征提取的准确性越高。
步骤304,通过历史图像分类模型对第一图像特征进行图像分类,获得图像类别分布。
其中,历史图像分类模型是已经训练完成的旧图像分类模型,重新训练的新特征提取模型需要针对历史图像分类模型进行兼容,即兼容历史图像分类模型的图像分类结果。历史图像分类模型与历史特征提取模型联合训练得到,即历史图像分类模型与历史特征提取模型存在对应关系。图像类别分布是历史图像分类模型对历史特征提取模型提取的第一图像特征进行图像分类,所得到的图像分类结果。图像类别分布中可以包括样本图像对应到各个图像类别的概率分布。
具体地,服务器可以获取已经训练完成的历史图像分类模型,历史图像分类模型与历史特征提取模型存在对应关系,历史图像分类模型和历史特征提取模型是联合训练得到的。在确定历史特征提取模型后,服务器可以根据联合训练的对应关系,确定历史图像分类模型。服务器通过历史图像分类模型对第一图像特征进行图像分类,具体可以将第一图像特征输入到历史图像分类模型中,由历史图像分类模型输出图像类别分布。基于图像类别分布可以确定历史图像分类模型基于第一图像特征,对样本图像的图像分类结果,即确定对样本图像的分类类别。
步骤306,根据图像类别分布确定样本图像的继承参数。
其中,继承参数基于图像特征所反映的特征鉴别力确定,继承参数可以用于表征对图像特征的继承程度,如继承参数可以包括继承权重,对于值得新模型进行继承和学习的图像特征,即对于特征鉴别力强的图像特征,可以具有较高的继承权重。
具体地,服务器基于图像类别分布确定样本图像的继承参数,具体可以根据图像类别分布的离散程度,确定样本图像的继承参数。图像类别分布离散性越强,表明针对第一图像特征进行图像分类时,各个类别的概率分布不明显,第一图像特征的特征鉴别力有限。例如,对于不同样本图像的图像类别分布分别为(1,0,0,0)、(0.8,0,0.2,0)、(0.5,0.3,0.1,0.1)以及(0.2,0.2,0.2,0.4),对于图像类别分布(1,0,0,0),其对应的各类别的概率最集中,则该图像类别分布对应的图像特征的特征分类鉴别力最强,可以基于该图像特征进行准确的图像分类,则可以确定该样本图像为优质样本,则可以增加该样本的继承权重,从而得到样本图像的继承参数。
本实施例中,服务器通过历史特征提取模型提取样本图像的第一图像特征,并通过历史图像分类模型对第一图像特征进行图像分类,服务器根据得到的图像类别分布确定样本图像的继承参数,能够基于样本图像通过旧模型进行图像分类的分类表现确定样本图像的继承参数,继承参数可以反映了旧模型从样本图像提取的图像特征的特征鉴别力,使得训练的特征提取模型能够对历史特征提取模型提取的特征进行选择性继承,能够有效学习到历史特征提取模型的知识,从而在确保训练得到的特征提取模型针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
在一个实施例中,根据图像类别分布确定样本图像的继承参数,包括:基于图像类别分布确定类别分布交叉熵;针对类别分布交叉熵进行归一化处理,得到用于度量第一图像特征的特征鉴别力的鉴别力参数;根据鉴别力参数确定样本图像的继承参数。
其中,图像类别分布中可以包括样本图像对应到各个图像类别的概率分布,类别分布交叉熵是基于图像类别分布确定的交叉熵。通过图像类别分布之间的交叉熵,可以来度量第一图像特征的特征鉴别力。类别分布交叉熵与第一图像特征的特征鉴别力呈负相关关系,即第一图像特征的特征鉴别力越强,则第一图像特征的特征越明显,其类别分布交叉熵的数值则越小,即类别分别越集中;而第一图像特征的特征鉴别力越弱,则第一图像特征的特征越不明显,其类别分布交叉熵的数值则越大,即类别分布越分散。归一化处理是一种无量纲处理手段,使物理系统数值的绝对值变成某种相对值关系,具体可以通过归一化处理将类别分布交叉熵映射到0至1的区间范围内。鉴别力参数是对类别分布交叉熵进行归一化处理后的处理结果,鉴别力参数可以用于度量第一图像特征的特征鉴别力,基于鉴别力参数可以确定样本图像的继承参数。例如,继承参数包括继承权重时,可以将鉴别力参数转换成0至1范围内的权重,从而得到样本图像的继承权重。
具体地,服务器可以基于图像类别分布确定类别分布交叉熵,如可以通过计算图像类别分布的交叉熵,得到类别分布交叉熵。服务器对类别分布交叉熵进行归一化处理,得到鉴别力参数。鉴别力参数可以用于度量第一图像特征的特征鉴别力。例如,在鉴别力参数为数值型参数时,鉴别力参数的数值大小可以与第一图像特征的特征鉴别力呈负相关关系,即第一图像特征的特征鉴别力越强,则鉴别力参数的数值越小。服务器根据鉴别力参数确定样本图像的继承参数,具体可以由服务器基于鉴别力参数设置样本图像的继承权重,并将继承权重作为样本图像的继承参数。
本实施例中,通过图像类别分布的交叉熵确定度量第一图像特征的特征鉴别力的鉴别力参数,并基于鉴别力参数确定样本图像的继承参数,从而使继承参数能够有效地反映旧模型从样本图像提取的图像特征的特征鉴别力,基于继承参数使得训练的特征提取模型能够对历史特征提取模型提取的特征进行选择性继承,从而能够在确保训练得到的特征提取模型针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
在一个实施例中,继承参数包括与特征鉴别力呈正相关的继承权重;通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,包括:获取第一分类的分类损失;按照继承权重对第一分类的分类损失进行加权处理,得到模型兼容损失。
其中,继承权重与特征鉴别力呈正相关,即图像特征的特征鉴别力越强,则对应的继承权重的数值越大,从而能够突出针对特征鉴别力强的图像特征的继承和学习。第一分类的分类损失反映了通过历史图像分类模型对第二图像特征进行图像分类的分类表现,可以通过设计的分类损失函数确定得到。模型兼容损失是通过继承参数对第一分类的分类损失进行调整后得到的损失,模型兼容损失反映了新模型对旧模型进行兼容时的损失,即待训练的特征提取模型对历史特征提取模型进行模型兼容时的损失。模型兼容损失的数值越大,表明待训练的特征提取模型为兼容历史特征提取模型,对本身的特征提取有效性的不利影响越大。
具体地,继承参数包括与特征鉴别力呈正相关的继承权重,服务器可以获取第一分类的分类损失,具体可以根据第一分类的分类结果确定第一分类的分类损失,也可以根据第二图像特征与历史图像分类模型的模型参数,确定第一分类的分类损失。第一分类的分类损失的确定方式可以根据实际涉及的损失函数进行确定。服务器按照继承参数中的继承权重,对第一分类的分类损失进行加权处理,具体可以将同一训练批次中的各个样本图像的分类损失进行加权求和,得到该训练批次的模型兼容损失。不同的样本图像可以对应于不同的继承权重,通过继承权重调整不同样本图像的分类损失,从而调整特征提取模型的训练,使特征提取模型在训练过程中能够重点继承好样本的特征,实现对特征的选择性继承。
本实施例中,服务器可以通过继承参数中包括的继承权重,对第一分类的分类损失进行加权处理,得到模型兼容损失,利用模型兼容损失调整特征提取模型的训练,使得特征提取模型在训练过程中能够重点继承好样本的特征,实现对特征的选择性继承,从而能够在确保训练得到的特征提取模型针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
在一个实施例中,获取第一分类的分类损失,包括:确定样本图像的类别标签;根据类别标签,确定历史图像分类模型针对样本图像所属类别的历史分类模型参数;基于第二图像特征与历史分类模型参数之间的角度间隔,得到第一分类的分类损失。
其中,类别标签是指样本图像真实所属的类别。历史分类模型参数可以包括历史图像分类模型中的模型参数,具体可以包括针对输入的图像特征进行分类处理时的权重参数。根据第二图像特征与历史分类模型参数之间的角度间隔,构建第一分类的分类损失。
具体地,服务器通过ArcFace损失函数的形式构建第一分类的分类损失。服务器确定样本图像的类别标签,并根据该类别标签确定历史图像分类模型针对样本图像所属类别的历史分类模型参数。服务器确定第二图像特征与历史分类模型参数之间的角度间隔,具体可由服务器将第二图像特征与历史分类模型参数分别进行归一化,并确定归一化后的第二图像特征与历史分类模型参数之间的夹角,添加角度间隔,基于添加角度间隔后的构建softmax函数,得到ArcFace形式的损失函数,作为第一分类的分类损失。
本实施例中,通过第二图像特征与历史图像分类模型中历史分类模型参数之间的角度间隔,构建得到第一分类的分类损失,从而能够通过分类损失准确表达出第一分类的分类表现,有利于确保特征提取模型的训练效果,既能提高特征提取模型的性能,也能提高训练效率。
在一个实施例中,通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失,包括:通过待训练的图像分类模型基于第二图像特征进行第二分类,得到第二分类的分类结果;基于第二分类的分类结果和样本图像携带的类别标签之间的差异,确定第二分类的分类损失。
其中,第二分类的分类损失用于表示第二分类的分类效果,通过第二分类的分类结果样本图像携带的类别标签之间的差异,可以对第二分类的分类效果进行量化分析,得到第二分类的分类损失。具体地,服务器可以通过待训练的图像分类模型基于第二图像特征进行第二分类,具体可以将第二图像特征输入到待训练的图像分类模型中,以由待训练的图像分类模型输出第二分类的分类结果。服务器获取样本图像携带的类别标签,并确定类别标签与第二分类的分类结果之间的分类差异,基于该分类差异计算得到第二分类的分类损失。在具体应用中,对于设计的不同的分类损失形式,可以通过不同的计算方式计算第二分类的分类损失。例如,也可以通过ArcFace损失函数的形式构建第二分类的分类损失,从而得到ArcFace形式的损失函数,作为第二分类的分类损失。
本实施例中,通过待训练的图像分类模型对第二图像特征进行第二分类,基于第二分类的分类结果和样本图像携带的类别标签之间的差异,确定第二分类的分类损失,从而能够通过分类损失准确表达出第二分类的分类表现,有利于确保特征提取模型的训练效果,既能提高特征提取模型的性能,也能提高训练效率。
在一个实施例中,特征提取模型处理方法还包括:通过待训练的特征进化模型对第一图像特征进行特征映射,得到第一图像特征的映射特征;通过待训练的图像分类模型基于映射特征进行第三分类,得到第三分类的分类损失;基于模型兼容损失、第二分类的分类损失以及第三分类的分类损失,对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
其中,特征进化模型用于对输入的图像特征(由旧模型提取得到)进行特征映射处理,从而能够实现对输入图像特征的进化,以优化输入的图像特征。待训练的特征进化模型可以与待训练的特征提取模型、待训练的图像分类模型进行联合训练,即可以同时训练特征提取模型、图像分类模型和特征进化模型,在训练完成时可以得到训练完成的特征提取模型、图像分类模型和特征进化模型。其中,训练完成的特征提取模型可以对输入的图像进行特征提取,输出图像特征;训练完成的图像分类模型可以对输入的图像特征进行图像分类,输出图像分类类别;特征进化模型可以对输入的图像特征进行特征映射,输出映射后的图像特征,映射后的图像特征可以用于图像处理,如图像分类、图像匹配等。
第一图像特征的映射特征,是通过特征进化模型对第一图像特征进行特征映射后得到的图像特征,通过添加的特征进化模型,可以对历史特征提取模型从样本图像中提取的第一图像特征进行特征优化,以使第一图像特征朝着更好的特征隐空间进行进化,有利于对图像库中各图像的特征进行优化。第三分类是指由待训练的图像分类模型基于映射特征进行图像分类的处理,进一步结合第三分类的分类损失,对特征提取模型、图像分类模型和特征进化模型进行联合训练,得到训练完成的特征提取模型。
具体地,服务器可以确定待训练的特征进化模型,特征进化模型训练用于对历史特征提取模型提取的特征进行优化,以一种轻量高效的方式实现特征回填,进一步提升检索系统模型升级带来的增益。服务器可以通过特征进化模型对第一图像特征进行特征映射,具体可以将第一图像特征输入到待训练的特征进化模型中,以由待训练的特征进化模型输出第一图像特征的映射特征。服务器通过待训练的图像分类模型基于映射特征进行第三分类,具体可以将映射特征输入到待训练的图像分类模型中,由待训练的图像分类模型进行图像分类,服务器获得第三分类的分类损失。第三分类的分类损失的损失函数具体形式可以根据实际需要进行灵活设置,如可以包括但不限于包括对数似然损失、合页损失、交叉熵损失、softmax损失、ArcFace损失等各种损失函数的形式。服务器基于模型兼容损失、第二分类的分类损失以及第三分类的分类损失,对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。在具体应用中,服务器可以根据模型兼容损失、第二分类的分类损失以及第三分类的分类损失得到联合训练的目标损失,并基于该目标损失对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新,具体可以对各待训练模型的模型参数进行更新,并在更新后继续进行训练,直至训练结束得到训练完成的特征提取模型。
本实施例中,通过特征进化模型对历史特征提取模型提取的图像特征进行特征映射,通过待训练的图像分类模型对得到的映射特征进行第三分类,并基于第三分类的分类损失,对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练,可以对历史特征提取模型从样本图像中提取的第一图像特征进行特征优化,以使第一图像特征朝着更好的特征隐空间进行进化,有利于对图像库中各图像的特征进行优化。
在一个实施例中,基于模型兼容损失、第二分类的分类损失以及第三分类的分类损失,对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练,包括:根据模型兼容损失、第二分类的分类损失以及第三分类的分类损失,获得联合训练的目标损失;基于目标损失对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练。
其中,目标损失是指对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型进行联合训练的整体损失,具体可以根据模型兼容损失、第二分类的分类损失以及第三分类的分类损失构建得到,如可以将模型兼容损失、第二分类的分类损失以及第三分类的分类损失的和作为联合训练的目标损失。
具体地,服务器根据模型兼容损失、第二分类的分类损失以及第三分类的分类损失,构建得到联合训练的目标损失。如服务器可以直接将模型兼容损失、第二分类的分类损失以及第三分类的分类损失的和,作为联合训练的目标损失,即作为联合训练的整体训练目标。服务器基于目标损失进行联合训练,即基于目标损失对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新,如对各带训练模型的模型参数分别进行更新后继续进行联合训练,直至训练结束,得到训练完成的特征提取模型。
本实施例中,根据模型兼容损失、第二分类的分类损失以及第三分类的分类损失,构建整体的目标损失,并通过目标损失对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型进行联合训练,可以从多维度训练特征提取模型,使得训练得到的特征提取模型能够在确保针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
在一个实施例中,特征提取模型处理方法还包括:确定与历史特征提取模型关联的待查询图像特征库;待查询图像特征库包括各待查询图像各自的待查询图像特征;待查询图像特征,是由历史特征提取模型针对各待查询图像进行提取得到的;通过训练完成的特征进化模型,对各待查询图像特征分别进行特征映射,得到各待查询图像各自的待查询图像映射特征;基于各待查询图像映射特征更新待查询图像特征库,得到与训练完成的特征提取模型关联的待查询图像特征库。
其中,待查询图像特征库与历史特征提取模型存在关联关系,即待查询图像特征库中包括的待查询图像特征,是由历史特征提取模型对各待查询图像进行提取得到的。通过历史特征提取模型提取得到各待查询图像的待查询图像特征,并构建历史特征提取模型关联的待查询图像特征库,在用户输入查询图像进行图像查询时,服务器可以通过历史特征提取模型对查询图像进行特征提取,并将提取的图像特征与待查询图像特征库中各待查询图像特征进行匹配,从而根据匹配结果得到与查询图像相匹配的图像,如得到与查询图像相似的图像,从而实现对查询图像的检索处理。待查询图像映射特征通过训练完成的特征进化模型,对待查询图像特征进行特征映射后得到。通过训练完成的特征进化模型对待查询图像特征库中的各待查询图像特征进行特征映射,从而实现对待查询图像特征库的优化更新,得到与训练完成的特征提取模型关联的待查询图像特征库,优化更新后的待查询图像特征库支持训练完成的特征提取模型进行准确的图像查询处理。
具体地,服务器可以查询与历史特征提取模型关联的待查询图像特征库,待查询图像特征库中包括各待查询图像各自的待查询图像特征,待查询图像特征,是由历史特征提取模型针对各待查询图像进行提取得到的。即待查询图像特征库中的待查询图像特征,作为通过历史特征提取模型进行图像匹配时的图像底库特征。服务器获取训练完成的特征进化模型,并通过训练完成的特征进化模型对各待查询图像特征分别进行特征映射,得到各待查询图像各自的待查询图像映射特征。服务器基于各待查询图像映射特征更新待查询图像特征库,得到与训练完成的特征提取模型关联的待查询图像特征库。通过训练完成的特征进化模型对各待查询图像特征进行特征映射,以实现对待查询图像特征库的更新,更新后的待查询图像特征库中的待查询图像映射特征,适用于作为通过训练完成的特征提取模型进行图像匹配时的图像底库特征。进一步地,在用户输入查询图像后,服务器可以通过训练完成的特征提取模型对查询图像进行特征提取,并将提取的图像特征在训练完成的特征提取模型关联的待查询图像特征库中进行特征匹配,即将提取的图像特征与各待查询图像映射特征进行特征匹配,基于特征匹配结果可以确定与查询图像相匹配的图像,如与查询图像相同或相似的图像。
本实施例中,通过训练完成的特征进化模型对历史特征提取模型关联的待查询图像特征库进行更新,得到与训练完成的特征提取模型关联的待查询图像特征库,从而能够直接基于特征进化模型进行底库特征更新,以一种轻量高效的方式实现特征回填,有利于提高底库特征质量,并提高待查询图像特征库的更新处理效率。
在一个实施例中,如图4所示,提供了一种特征提取方法,该方法由计算机设备执行,具体可以由终端或服务器等计算机设备单独执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤402,获取目标图像。
其中,目标图像为需要进行特征提取处理的图像,具体可以为用户通过终端向服务器发送的图像。具体地,服务器可以获取需要进行特征提取处理的目标图像。
步骤404,通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
其中,特征提取模型是预先训练完成的模型,用于对输入的图像进行特征提取,具体可以对输入的目标图像进行特征提取,输出目标图像的目标图像特征。目标图像特征用于表征目标图像的图像特性,基于该目标图像特征可以对目标图像进行图像匹配、图像分类等各种后续处理。对于特征提取模型的训练处理,可以基于上述涉及的特征提取模型处理方法实现。
具体地,服务器可以获取预先训练的特征提取模型,通过特征提取模型对目标图像进行特征提取,如可以将目标图像输入到特征提取模型中,得到目标图像的目标图像特征。进一步地,在预先训练特征提取模型时,服务器可以获取样本图像以及样本图像的继承参数,样本图像的继承参数由服务器预先通过已训练完成的历史特征提取模型从样本图像中提取得到第一图像特征,并基于第一图像特征所反映的特征鉴别力确定。服务器通过待训练的特征提取模型对样本图像进行特征提取,得到样本图像的第二图像特征。服务器通过已经训练完成的历史图像分类模型基于第二图像特征进行第一分类,得到第一分类的分类损失,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失。服务器通过与待训练的特征提取模型进行联合训练的图像分类模型,基于待训练的特征提取模型提取的第二图像特征进行第二分类,获得第二分类的分类损失。服务器根据模型兼容损失和第二分类的分类损失,对训练的新模型,包括待训练的特征提取模型和待训练的图像分类模型分别进行更新,在模型更新后继续进行联合训练,即利用下一样本图像进行联合训练,直至训练完成,获得训练完成的特征提取模型。训练完成的特征提取模型可以对输入的图像进行特征提取,输出用于表征所输入图像的图像特征。
上述特征提取方法中,通过预先训练的特征提取模型对目标图像进行特征提取,而在特征提取模型的训练处理中,通过与历史特征提取模型联合训练得到的历史图像分类模型,基于待训练的特征提取模型从样本图像中提取的第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,继承参数基于历史特征提取模型从样本图像中提取第一图像特征所反映的特征鉴别力得到,通过待训练的图像分类模型基于第二图像特征进行第二分类,基于模型兼容损失和第二分类的分类损失进行模型更新训练,可以通过历史特征提取模型提取的特征所确定的继承参数,对历史特征提取模型提取的特征进行选择性继承,能够有效学习到历史特征提取模型的知识,使得训练得到的特征提取模型能够在确保针对历史特征提取模型的模型兼容性的同时,提高图像特征提取的有效性。
在一个实施例中,特征提取方法还包括:确定待查询图像特征库;将目标图像特征在待查询图像特征库中进行特征匹配,得到与目标图像特征相匹配的待查询图像特征;根据待查询图像特征关联的图像,确定针对目标图像的图像查询结果。
其中,待查询图像特征库中包括各待查询图像各自的待查询图像特征,待查询图像特征,是由特征提取模型针对各待查询图像进行特征提取得到的。服务器在获得训练完成的特征提取模型后,可以通过特征提取模型分别对各待查询图像进行特征提取,并将提取得到的待查询图像特征汇聚构建待查询图像特征库,通过待查询图像特征进行特征匹配,可以实现图像查询处理。
具体地,服务器确定待查询图像特征库,待查询图像特征库与特征提取模型关联,适用于通过特征提取模型提取的图像特征进行图像查询处理。服务器将目标图像特征在待查询图像特征库中进行特征匹配,具体可以将目标图像特征与待查询图像特征库中的各待查询图像特征分别进行特征匹配,如可以确定目标图像特征与待查询图像特征之间的特征相似度。服务器可以基于特征匹配结果确定与目标图像特征相匹配的待查询图像特征,如可以将相似度大于相似度阈值的待查询图像特征,确定为属于与目标图像特征相匹配的待查询图像特征。服务器确定待查询图像特征关联的图像,并基于待查询图像特征关联的图像确定针对目标图像的图像查询结果。例如,服务器可以将与目标图像特征相匹配的待查询图像特征所关联的图像,作为与目标图像相匹配的图像进行返回,从而得到针对目标图像的图像查询结果。
本实施例中,由预先训练的特征提取模型提取得到目标图像的目标图像特征,通过将目标图像特征在待查询图像特征库中进行特征匹配,基于相匹配的待查询图像特征关联的图像,确定针对目标图像的图像查询结果,可以提高图像查询的准确性。
本申请还提供一种应用场景,该应用场景应用上述的特征提取模型处理方法和特征提取方法。具体地,该特征提取模型处理方法和特征提取方法在该应用场景的应用如下:
服务器可以构建样本图像,各个样本图像可以划分成属于不同的类别。服务器通过与历史特征提取模型联合训练得到的历史图像分类模型,基于待训练的特征提取模型从样本图像中提取的第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失,继承参数基于历史特征提取模型从样本图像中提取第一图像特征所反映的特征鉴别力得到,通过待训练的图像分类模型基于第二图像特征进行第二分类,基于模型兼容损失和第二分类的分类损失进行模型更新训练,直至训练结束,得到训练完成的特征提取模型。进一步地,服务器可以接收终端发送的待分类图像,服务器可以通过训练完成的特征提取模型对待分类图像进行特征提取,并通过分类器对提取得到的待分类图像的图像特征进行图像分类,以确定待分类图像所属的图像类别,如为风景图像、人物图像等。
本申请还提供一种应用场景,该应用场景应用上述的特征提取模型处理方法和特征提取方法。具体地,该特征提取模型处理方法和特征提取方法在该应用场景的应用如下:
在图像检索系统中,一般包含一个特征提取器或模型以及存储海量底库图片特征的数据库,当用户输入查询图片进行搜索时,图像检索系统将利用特征提取器提取查询图片的特征,并在已有数据库中进行相似度比较,进而返回给用户与查询图片相同或相似的图片,实现对输入图片的查询处理。对于图像检索系统而言,传统的模型升级范式需要在部署新模型之前使用新模型将所有底库特征重新更新一遍,称之为特征回填。而考虑到工业界数以亿计的图片,特征回填过程极其耗时且代价高昂。进一步地,可以基于后向兼容的模型升级范式来避免特征回填,具体而言,在新模型训练过程中引入与旧模型特征兼容的额外约束条件,但是仍面临一个进退两难的困境,即新模型需要在自身模型鉴别能力和新-旧模型兼容性之间进行权衡,而原因在于无差别化的兼容约束训练。本实施例提出的达尔文模型升级新范式(Darwinian Model Upgrades,DMU),该范式将模型升级过程中的继承与进化阶段解耦,通过选择性后向兼容训练实现对旧特征的继承,通过一个轻量化的前向进化分支实现对旧特征的进化。在大规模图像检索数据集,包括地标检索数据集以及人脸识别数据集上进行详细充实的实验验证,表明本实施例提出的特征提取模型处理方法和特征提取方法能够有效缓解新模型自身鉴别力的损失,同时又能够提升新-旧模型兼容性。
在后向兼容训练(BCT,Backward-Compatible representation learning)中,在训练新模型时引入一个影响损失函数(influence loss)来指导新特征去靠近旧特征的类中心,其中旧分类器的参数作为旧类中心的参照。后向兼容训练可以满足初步的兼容性能要求,但新模型需要牺牲自身鉴别力来保证与旧模型的兼容性。本实施例为解决现有兼容方法存在的新模型鉴别力与新-旧模型兼容性之间此消彼长的困境,提出了达尔文模型升级新范式,该范式将模型升级过程中的继承与进化阶段解耦,通过选择性后向兼容训练实现对旧特征的继承,通过一个轻量化的前向进化分支实现对旧特征的进化。
进一步地,如图5所示,左侧的图(a)表示基于后向兼容的模型升级范式在无差别化地继承旧特征,面临新模型鉴别能力与新-旧兼容性不可兼得的困境,即为了有效兼容旧模型,加入新特征后形成的新的类中心与新特征的相关性较低,影响了新模型鉴别能力,无法提取有效的图像特征。右侧的图(b)表示本实施例中的达尔文式模型升级,该范式通过选择性后向兼容继承好的旧特征,并通过前向进化分支更新差的旧特征,能够有效避免之前存在的困境。具体来说,通过对旧特征进行特征进化,并通过兼容权重进行调节,使得加入新特征后形成的新的类中心与新特征的相关性较高,如图(b)中新特征与新的类中心之间的距离较近,从而能够有效缓解新模型自身鉴别力的损失,同时又能够提升新-旧模型兼容性。在具体应用时,如图6所示,在地标检索数据集Google Landmark上的实验结果,本实施例相较传统升级范式一(BCT(CVPR’20))和传统升级范式二(UniBCT(IJCAI’22)),具有更高的增益,且具备更低的损失,即能够有效缓解新模型鉴别力损失的问题,同时又能进一步提升新-旧模型兼容性。
具体地,本实施例提供的特征提取模型处理方法和特征提取方法,提出了通用后向兼容表征学习的新问题,并提出统一的后向兼容训练范式,且在各种真实的兼容训练场景下达到了最优的性能。本实施例提供的达尔文模型升级新范式,该范式能够有效缓解后向兼容造成的新模型自身鉴别力的下降问题,同时又能进一步提升新-旧模型之间的兼容性能,使得检索模型的升级变得更加高效,降低业界升级成本。
在图像检索场景中,给定一张查询图片(Query,记为Q),图片检索指的是能够从大规模候选图片库(Gallery,记为G)中正确检索具有相同内容或者物体的图片。用D表示训练数据集,表示模型。任意一张在新训练数据集中的图片x∈D被新模型,即被新训练的特征提取模型提取的特征可以表示为/>本实施例中选择ArcFace损失函数形式的分类任务作为前置任务。若图片x对应的标签为y,该损失函数可以表示为如下式(1)所示,
其中m为超参数,表示角度之间的间距,s是缩放因子,ω表示分类器。其中核函数定义为·,>表示向量内积。
进一步地,对于基于后向兼容的模型升级处理,将检索系统的性能记为M(·,·),将新旧图片特征提取器和旧图片特征提取器分别记为基于后向兼容的模型升级通过改善查询图片的特征来提升检索性能,具体目标如下式(2)所示,
为了简化表示,可以按顺序省略Q和G,将简化为/>
定义性能增益Δ如下式(3)所示,
定义鉴别力损失Δ如下式(4)所示,
其中,表示不加兼容约束的纯模型。
具体地,本实施例提出的达尔文式模型升级范式包含一个后向兼容的新模型以及一个轻量的前向进化分支(ψ),如图7所示。针对同一样本集,通过新、旧特征提取模型分别进行特征提取,对于旧特征提取模型提取的旧特征,一方面通过前向进化分支进行特征映射,以使旧特征进化,再通过新分类器进行分类处理,得到前向进化损失;另一方面,通过对旧特征进行鉴别力度量,确定各个样本图像的继承权重,并基于该继承权重对新特征提取模型提取的新特征,通过旧分类器进行分类处理,得到选择性后向兼容损失。其中,对于鉴别力度量的处理,如图8所示,旧特征提取模型提取的特征通过旧分类器进行分类处理后,得到对应到各类别的概率分布,基于该概率分布计算交叉熵,并进行归一化处理,构建得到样本图像对应的继承权重,如可以为0.3。对于新特征提取模型提取的新特征,通过新分裂期进行分类,得到分类损失。将前向进化损失、选择性后向兼容损失和分类损失的和,作为训练的整体目标。
为了解决性能增益与鉴别力损失之间的两难,可以通过选择性后向兼容训练来继承好的旧知识,同时通过前向进化分支将旧特征朝着更好的特征隐空间进化。达尔文式模型升级整体的训练目标可以表示为如下式(5)所示,
其中Lnew表示选择性后向兼容损失,LSBC表示前向进化损失,LFA表示分类损失函数。
对于分类损失,在每个批次batch(记为B)内,新模型自身的鉴别力损失函数表示为如下式(6)所示,
对于选择性后向兼容处理,造成新模型鉴别力损失的主要因素是无差别化兼容约束,其中模型需要同时继承好的以及差的旧知识。可以通过对后向兼容目标进行权重重分配来缓解上述问题,具体而言通过熵来度量特征的鉴别力,定义如下式(7)所示,
其中|C|表示类别的数量,ω表示分类器,pi(x)为各个类别的概率分布,鉴别力参数Λ与特征鉴别力成反比。为了缓解差的旧知识带来的负面影响,可以通过降低这些差样本的继承权重,同时提升好样本的继承权重。对于选择性后向兼容损失,其定义可以如下式(8)所示,
其中,λ(x)为样本图像的继承权重。
对于前向进化损失,通过设计一个轻量化的前向进化分支(ψ)使得旧特征朝着更好的特征隐空间进行进化,定义如下式(9)所示,
进一步地,如图9所示,在基于后向兼容的序列化模型升级中,在特征提取模型从旧模型更新成为第一代新模型/>和第二代新模型/>的过程中,针对查询图像进行特征提取的特征会产生变化,从Qold变化为/>和/>但对于底库特征却依然是旧模型的底库特征Gold,而未跟随进行变化。而本实施例提供的达尔文模型升级范式中,如图10所示,在特征提取模型从旧模型/>更新成为第一代新模型/>和第二代新模型/>的过程中,针对查询图像进行特征提取的特征会产生变化,从Qold变化为/>和/>而且底库特征也会对应变化,具体通过/>的作用从旧底库特征Gold变化为第一代底库特征/>在/>的作用下从第一代底库特征/>变化为第二代底库特征/>针对查询图像进行特征提取的特征可以兼容就版本的底库特征。即本实施例提供的达尔文模型升级范式可以通过选择性后向兼容训练获得的新模型来改善查询特征的质量,同时通过前向升级分支改善底库特征质量。
在具体应用时,利用本实施例提出的达尔文模型升级范式,可以很好地缓解由于兼容训练带来的新模型鉴别力损失,同时又能进一步提升新-旧模型兼容性,从而将其推往更加广泛的应用领域。本实施例提供的达尔文模型升级范式在多个大规模图像检索数据集Google Landmark、Revisited Oxford、Revisited Paris、MS1Mv3、以及IJB-C上进行验证。
在验证时,关于评价指标的设定,对于地标检索任务(包含Google Landmark、Revisited Oxford及Revisited Paris三个数据集),可以使用平均精度均值(meanAverage Precision,mAP)来进行度量。对于人脸识别任务(包含人脸识别数据集MS1Mv3及IJB-C),可以针对不同的模板对(template pairs)计算在不同错误接受率(FalseAcceptance Rates,FAR)下的正确接受率(True Acceptance Rates,TAR),简写为TAR@FAR。
验证的实验结果如下表1以及表2所示,本实施例在不同兼容场景下均超过了现有方法,不仅缓解了新模型鉴别力损失的程度,同时提升了新-旧模型检索之间的兼容性能,实验结果印证了本实施例的有效性。
表1
具体地,本实施例提出的达尔文模型升级范式(DMU)与基准模型(BCT)在不同兼容场景下的性能比较,oracle为不加兼容约束的纯模型,测试集为地标检索数据集(GoogleLandmark,ROxford,RParis)。表1模拟了四种不同的兼容场景,(1)30%data->100%data表示旧模型使用30%数据训练,新模型使用100%数据对旧模型进行兼容训练;(2)30%data->70%data表示新模型使用70%数据(与旧训练数据集不重叠,但是共享类别)对旧模型进行兼容训练;(3)30%class->100%class表示旧模型使用30%类别进行训练,新模型使用全部类别对旧模型进行兼容训练;(4)resnet50->resnet101表示旧模型采用ResNet50作为主干网络,30%数据进行训练,而新模型采用ResNet101作为主干网络,100%数据对旧模型进行兼容训练。
表2
具体地,在人脸识别数据集的测试集中,本实施例提出的达尔文模型升级范式可以缓解新模型鉴别力损失的程度,同时提升了新-旧模型检索之间的兼容性能。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的特征提取模型处理方法的特征提取模型处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个特征提取模型处理装置实施例中的具体限定可以参见上文中对于特征提取模型处理方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种特征提取模型处理装置1100,包括:样本图像获取模块1102、第二图像特征提取模块1104、模型兼容损失获得模块1106、第二分类损失获得模块1108和模型更新模块1110,其中:
样本图像获取模块1102,用于获取样本图像和样本图像的继承参数;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由已训练完成的历史特征提取模型从样本图像中提取得到的;
第二图像特征提取模块1104,用于通过待训练的特征提取模型从样本图像中提取得到第二图像特征;
模型兼容损失获得模块1106,用于通过与历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整,得到模型兼容损失;
第二分类损失获得模块1108,用于通过待训练的图像分类模型基于第二图像特征进行第二分类,获得第二分类的分类损失;
模型更新模块1110,用于基于模型兼容损失和第二分类的分类损失,对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
在一个实施例中,还包括第一图像特征提取模块、类别分布获取模块和继承参数确定模块;其中:第一图像特征提取模块,用于通过历史特征提取模型从样本图像中提取得到第一图像特征;类别分布获取模块,用于通过历史图像分类模型对第一图像特征进行图像分类,获得图像类别分布;继承参数确定模块,用于根据图像类别分布确定样本图像的继承参数。
在一个实施例中,继承参数确定模块包括交叉熵确定模块、归一化处理模块和鉴别力参数处理模块;其中:交叉熵确定模块,用于基于图像类别分布确定类别分布交叉熵;归一化处理模块,用于针对类别分布交叉熵进行归一化处理,得到用于度量第一图像特征的特征鉴别力的鉴别力参数;鉴别力参数处理模块,用于根据鉴别力参数确定样本图像的继承参数。
在一个实施例中,继承参数包括与特征鉴别力呈正相关的继承权重;模型兼容损失获得模块1106,还用于获取第一分类的分类损失;按照继承权重对第一分类的分类损失进行加权处理,得到模型兼容损失。
在一个实施例中,模型兼容损失获得模块1106包括类别标签确定模块、模型参数确定模块和第一分类损失确定模块;其中:类别标签确定模块,用于确定样本图像的类别标签;模型参数确定模块,用于根据类别标签,确定历史图像分类模型针对样本图像所属类别的历史分类模型参数;第一分类损失确定模块,用于基于第二图像特征与历史分类模型参数之间的角度间隔,得到第一分类的分类损失。
在一个实施例中,第二分类损失获得模块1108,还用于通过待训练的图像分类模型基于第二图像特征进行第二分类,得到第二分类的分类结果;基于第二分类的分类结果和样本图像携带的类别标签之间的差异,确定第二分类的分类损失。
在一个实施例中,还包括特征映射模块和第三分类模块;其中:特征映射模块,用于通过待训练的特征进化模型对第一图像特征进行特征映射,得到第一图像特征的映射特征;第三分类模块,用于通过待训练的图像分类模型基于映射特征进行第三分类,得到第三分类的分类损失;模型更新模块1110,还用于基于模型兼容损失、第二分类的分类损失以及第三分类的分类损失,对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
在一个实施例中,模型更新模块1110,还用于根据模型兼容损失、第二分类的分类损失以及第三分类的分类损失,获得联合训练的目标损失;基于目标损失对待训练的特征提取模型、待训练的图像分类模型以及待训练的特征进化模型分别进行更新后继续进行联合训练。
在一个实施例中,还包括特征库确定模块、特征库特征映射模块和特征库更新模块;其中:特征库确定模块,用于确定与历史特征提取模型关联的待查询图像特征库;待查询图像特征库包括各待查询图像各自的待查询图像特征;待查询图像特征,是由历史特征提取模型针对各待查询图像进行提取得到的;特征库特征映射模块,用于通过训练完成的特征进化模型,对各待查询图像特征分别进行特征映射,得到各待查询图像各自的待查询图像映射特征;特征库更新模块,用于基于各待查询图像映射特征更新待查询图像特征库,得到与训练完成的特征提取模型关联的待查询图像特征库。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的特征提取方法的特征提取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个特征提取装置实施例中的具体限定可以参见上文中对于特征提取方法的限定,在此不再赘述。
在一个实施例中,如图12所示,提供了一种特征提取装置1200,包括:目标图像获取模块1202和特征提取处理模块1204,其中:
目标图像获取模块1202,用于获取目标图像;
特征提取处理模块1204,用于通过特征提取模型,对目标图像进行特征提取,得到目标图像的目标图像特征;
其中,特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对第一分类的分类损失进行调整得到的;第二图像特征,是通过待训练的特征提取模型从样本图像中提取得到的;继承参数,是基于样本图像的第一图像特征所反映的特征鉴别力确定的;第一图像特征,是由历史特征提取模型从样本图像中提取得到的;第二分类的分类损失,是通过待训练的图像分类模型基于第二图像特征进行第二分类得到的。
在一个实施例中,还包括特征库确定模块、特征匹配模块和查询结果确定模块;其中:特征库确定模块,用于确定待查询图像特征库;特征匹配模块,用于将目标图像特征在待查询图像特征库中进行特征匹配,得到与目标图像特征相匹配的待查询图像特征;查询结果确定模块,用于根据待查询图像特征关联的图像,确定针对目标图像的图像查询结果。
上述特征提取模型处理装置和特征提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器或终端,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种模型数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种特征提取模型处理方法或一种特征提取方法中的至少一种方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种特征提取模型处理方法,其特征在于,所述方法包括:
获取样本图像和所述样本图像的继承参数;所述继承参数,是基于所述样本图像的第一图像特征所反映的特征鉴别力确定的;所述第一图像特征,是由已训练完成的历史特征提取模型从所述样本图像中提取得到的;
通过待训练的特征提取模型从所述样本图像中提取得到第二图像特征;
通过与所述历史特征提取模型联合训练得到的历史图像分类模型,基于所述第二图像特征进行第一分类,并通过所述继承参数对所述第一分类的分类损失进行调整,得到模型兼容损失;
通过待训练的图像分类模型基于所述第二图像特征进行第二分类,获得所述第二分类的分类损失;
基于所述模型兼容损失和所述第二分类的分类损失,对所述待训练的特征提取模型和所述待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述历史特征提取模型从所述样本图像中提取得到第一图像特征;
通过所述历史图像分类模型对所述第一图像特征进行图像分类,获得图像类别分布;
根据所述图像类别分布确定所述样本图像的继承参数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述图像类别分布确定所述样本图像的继承参数,包括:
基于所述图像类别分布确定类别分布交叉熵;
针对所述类别分布交叉熵进行归一化处理,得到用于度量第一图像特征的特征鉴别力的鉴别力参数;
根据所述鉴别力参数确定所述样本图像的继承参数。
4.根据权利要求1所述的方法,其特征在于,所述继承参数包括与所述特征鉴别力呈正相关的继承权重;所述通过所述继承参数对所述第一分类的分类损失进行调整,得到模型兼容损失,包括:
获取所述第一分类的分类损失;
按照所述继承权重对所述第一分类的分类损失进行加权处理,得到模型兼容损失。
5.根据权利要求4所述的方法,其特征在于,所述获取所述第一分类的分类损失,包括:
确定所述样本图像的类别标签;
根据所述类别标签,确定所述历史图像分类模型针对所述样本图像所属类别的历史分类模型参数;
基于所述第二图像特征与所述历史分类模型参数之间的角度间隔,得到所述第一分类的分类损失。
6.根据权利要求1所述的方法,其特征在于,所述通过待训练的图像分类模型基于所述第二图像特征进行第二分类,获得所述第二分类的分类损失,包括:
通过待训练的图像分类模型基于所述第二图像特征进行第二分类,得到所述第二分类的分类结果;
基于所述第二分类的分类结果和所述样本图像携带的类别标签之间的差异,确定所述第二分类的分类损失。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述方法还包括:
通过待训练的特征进化模型对所述第一图像特征进行特征映射,得到所述第一图像特征的映射特征;
通过所述待训练的图像分类模型基于所述映射特征进行第三分类,得到所述第三分类的分类损失;
基于所述模型兼容损失、所述第二分类的分类损失以及所述第三分类的分类损失,对所述待训练的特征提取模型、所述待训练的图像分类模型以及所述待训练的特征进化模型分别进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
8.根据权利要求7所述的方法,其特征在于,所述基于所述模型兼容损失、所述第二分类的分类损失以及所述第三分类的分类损失,对所述待训练的特征提取模型、所述待训练的图像分类模型以及所述待训练的特征进化模型分别进行更新后继续进行联合训练,包括:
根据所述模型兼容损失、所述第二分类的分类损失以及所述第三分类的分类损失,获得联合训练的目标损失;
基于所述目标损失对所述待训练的特征提取模型、所述待训练的图像分类模型以及所述待训练的特征进化模型分别进行更新后继续进行联合训练。
9.根据权利要求7所述的方法,其特征在于,所述方法还包括:
确定与所述历史特征提取模型关联的待查询图像特征库;所述待查询图像特征库包括各待查询图像各自的待查询图像特征;所述待查询图像特征,是由所述历史特征提取模型针对所述各待查询图像进行提取得到的;
通过训练完成的特征进化模型,对各所述待查询图像特征分别进行特征映射,得到所述各待查询图像各自的待查询图像映射特征;
基于各所述待查询图像映射特征更新所述待查询图像特征库,得到与所述训练完成的特征提取模型关联的待查询图像特征库。
10.一种特征提取方法,其特征在于,所述方法包括:
获取目标图像;
通过特征提取模型,对所述目标图像进行特征提取,得到所述目标图像的目标图像特征;
其中,所述特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;所述模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对所述第一分类的分类损失进行调整得到的;所述第二图像特征,是通过所述待训练的特征提取模型从样本图像中提取得到的;所述继承参数,是基于所述样本图像的第一图像特征所反映的特征鉴别力确定的;所述第一图像特征,是由所述历史特征提取模型从所述样本图像中提取得到的;所述第二分类的分类损失,是通过所述待训练的图像分类模型基于所述第二图像特征进行第二分类得到的。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
确定待查询图像特征库;
将所述目标图像特征在所述待查询图像特征库中进行特征匹配,得到与所述目标图像特征相匹配的待查询图像特征;
根据所述待查询图像特征关联的图像,确定针对所述目标图像的图像查询结果。
12.一种特征提取模型处理装置,其特征在于,所述装置包括:
样本图像获取模块,用于获取样本图像和所述样本图像的继承参数;所述继承参数,是基于所述样本图像的第一图像特征所反映的特征鉴别力确定的;所述第一图像特征,是由已训练完成的历史特征提取模型从所述样本图像中提取得到的;
第二图像特征提取模块,用于通过待训练的特征提取模型从所述样本图像中提取得到第二图像特征;
模型兼容损失获得模块,用于通过与所述历史特征提取模型联合训练得到的历史图像分类模型,基于所述第二图像特征进行第一分类,并通过所述继承参数对所述第一分类的分类损失进行调整,得到模型兼容损失;
第二分类损失获得模块,用于通过待训练的图像分类模型基于所述第二图像特征进行第二分类,获得所述第二分类的分类损失;
模型更新模块,用于基于所述模型兼容损失和所述第二分类的分类损失,对所述待训练的特征提取模型和所述待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成,获得训练完成的特征提取模型。
13.一种特征提取装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取目标图像;
特征提取处理模块,用于通过特征提取模型,对所述目标图像进行特征提取,得到所述目标图像的目标图像特征;
其中,所述特征提取模型,是基于模型兼容损失和第二分类的分类损失对待训练的特征提取模型和待训练的图像分类模型进行更新后继续进行联合训练,直至训练完成得到的;所述模型兼容损失,是通过与已训练完成的历史特征提取模型联合训练得到的历史图像分类模型,基于第二图像特征进行第一分类,并通过继承参数对所述第一分类的分类损失进行调整得到的;所述第二图像特征,是通过所述待训练的特征提取模型从样本图像中提取得到的;所述继承参数,是基于所述样本图像的第一图像特征所反映的特征鉴别力确定的;所述第一图像特征,是由所述历史特征提取模型从所述样本图像中提取得到的;所述第二分类的分类损失,是通过所述待训练的图像分类模型基于所述第二图像特征进行第二分类得到的。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202211242030.4A 2022-10-11 2022-10-11 特征提取模型处理及特征提取方法、装置和计算机设备 Active CN117011536B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211242030.4A CN117011536B (zh) 2022-10-11 2022-10-11 特征提取模型处理及特征提取方法、装置和计算机设备
PCT/CN2023/120674 WO2024078299A1 (zh) 2022-10-11 2023-09-22 发明名称:特征提取模型处理及特征提取方法、装置和计算机设备
US18/592,346 US20240203106A1 (en) 2022-10-11 2024-02-29 Feature extraction model processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211242030.4A CN117011536B (zh) 2022-10-11 2022-10-11 特征提取模型处理及特征提取方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN117011536A true CN117011536A (zh) 2023-11-07
CN117011536B CN117011536B (zh) 2025-10-31

Family

ID=88560659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211242030.4A Active CN117011536B (zh) 2022-10-11 2022-10-11 特征提取模型处理及特征提取方法、装置和计算机设备

Country Status (3)

Country Link
US (1) US20240203106A1 (zh)
CN (1) CN117011536B (zh)
WO (1) WO2024078299A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402695B1 (en) * 2019-01-23 2019-09-03 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×H convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
WO2021238586A1 (zh) * 2020-05-27 2021-12-02 华为技术有限公司 一种训练方法、装置、设备以及计算机可读存储介质
CN114005015A (zh) * 2021-12-28 2022-02-01 北京的卢深视科技有限公司 模型训练方法、电子设备和计算机可读存储介质
CN114693993A (zh) * 2022-03-23 2022-07-01 腾讯科技(深圳)有限公司 一种图像处理和图像分类方法、装置、设备及存储介质
CN115146092A (zh) * 2022-04-15 2022-10-04 腾讯科技(深圳)有限公司 特征模型的获取方法、图像处理方法、装置及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216697B1 (en) * 2020-03-11 2022-01-04 Amazon Technologies, Inc. Backward compatible and backfill-free image search system
CN114330703A (zh) * 2021-11-15 2022-04-12 腾讯科技(深圳)有限公司 搜索模型的更新方法、装置、设备及计算机可读存储介质
CN114187486A (zh) * 2021-12-09 2022-03-15 北京达佳互联信息技术有限公司 模型训练方法及相关设备
CN114565807B (zh) * 2022-03-03 2024-09-24 腾讯科技(深圳)有限公司 训练目标图像检索模型的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402695B1 (en) * 2019-01-23 2019-09-03 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×H convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
WO2021238586A1 (zh) * 2020-05-27 2021-12-02 华为技术有限公司 一种训练方法、装置、设备以及计算机可读存储介质
CN114005015A (zh) * 2021-12-28 2022-02-01 北京的卢深视科技有限公司 模型训练方法、电子设备和计算机可读存储介质
CN114693993A (zh) * 2022-03-23 2022-07-01 腾讯科技(深圳)有限公司 一种图像处理和图像分类方法、装置、设备及存储介质
CN115146092A (zh) * 2022-04-15 2022-10-04 腾讯科技(深圳)有限公司 特征模型的获取方法、图像处理方法、装置及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUPENG SU: "Privacy-Preserving Model Upgrades with Bidirectional Compatible Training in Image Retrieval", Retrieved from the Internet <URL:《arXiv:2204.13919v1》> *

Also Published As

Publication number Publication date
US20240203106A1 (en) 2024-06-20
CN117011536B (zh) 2025-10-31
WO2024078299A1 (zh) 2024-04-18

Similar Documents

Publication Publication Date Title
US20220222918A1 (en) Image retrieval method and apparatus, storage medium, and device
CN114565807B (zh) 训练目标图像检索模型的方法和装置
CN110188225B (zh) 一种基于排序学习和多元损失的图像检索方法
CN114358109B (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
CN115129908B (zh) 一种模型优化方法、装置、设备、存储介质及程序产品
CN114036326B (zh) 一种图像检索与分类方法、系统、终端及存储介质
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
CN113821687B (zh) 一种内容检索方法、装置和计算机可读存储介质
CN113704528B (zh) 聚类中心确定方法、装置和设备及计算机存储介质
CN115204301A (zh) 视频文本匹配模型训练、视频文本匹配方法和装置
CN113821670A (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN108564009A (zh) 一种基于互信息量的改进特征评价方法
CN115690803A (zh) 数字图像的识别方法、装置、电子设备及可读存储介质
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN113139556B (zh) 基于自适应构图的流形多视图图像聚类方法及系统
CN115146092A (zh) 特征模型的获取方法、图像处理方法、装置及计算机设备
CN106203508A (zh) 一种基于Hadoop平台的图像分类方法
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN110659680B (zh) 一种基于多尺度卷积的图像patch匹配方法
CN117435685A (zh) 文档检索方法、装置、计算机设备、存储介质和产品
CN112200224A (zh) 医学图像特征处理方法和装置
CN113850327A (zh) 自组织映射的权重粒子群均值聚类方法、装置、设备及存储介质
CN117011536B (zh) 特征提取模型处理及特征提取方法、装置和计算机设备
CN117131214B (zh) 基于特征分布对齐与聚类的零样本草图检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant