[go: up one dir, main page]

CN117611974A - 基于多种群交替进化神经结构搜索的图像识别方法及系统 - Google Patents

基于多种群交替进化神经结构搜索的图像识别方法及系统 Download PDF

Info

Publication number
CN117611974A
CN117611974A CN202410095592.3A CN202410095592A CN117611974A CN 117611974 A CN117611974 A CN 117611974A CN 202410095592 A CN202410095592 A CN 202410095592A CN 117611974 A CN117611974 A CN 117611974A
Authority
CN
China
Prior art keywords
population
network
individuals
search
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410095592.3A
Other languages
English (en)
Other versions
CN117611974B (zh
Inventor
邹娟
楚涵
夏翌彰
贾丽
刘元
侯章禄
邓琦
梁畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202410095592.3A priority Critical patent/CN117611974B/zh
Publication of CN117611974A publication Critical patent/CN117611974A/zh
Application granted granted Critical
Publication of CN117611974B publication Critical patent/CN117611974B/zh
Priority to US19/009,930 priority patent/US20250139960A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多种群交替进化神经结构搜索的图像识别方法及系统，包括：获取图像数据，根据目标任务确定搜索网络；构建超网，根据预设参数对超网进行预训练；通过神经网络的L层结构将网络结构搜索空间划分为L个子空间，从子空间中随机选取N个候选子网络，形成初始化的L个种群；从多个搜索子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；得到最优的神经网络模型对图像进行识别。它以较小的搜索成本实现了模块多样化，显著降低了搜索空间的复杂性，促进未来图像分析的自动化处理，提高了搜索效率，得到了最优解。

Description

基于多种群交替进化神经结构搜索的图像识别方法及系统
技术领域
本发明属于图像识别技术领域，具体地涉及一种基于多种群交替进化神经结构搜索的图像识别方法及系统。
背景技术
图像数据集分析是一个全新的跨学科领域，它需要具备计算机视觉以及多领域专业知识，对于计算机视觉或专业领域的初学者来说具有较大难度。尤其是分析具有不同模态的多个数据集，这可能是不友好的，因为数据集通常是非标准的。在此之前，一直是深度学习主导着图像分析的研究和应用，但是不断调整深度学习模型耗费人力财力。因此，解决自动化图像分类变得日益重要。
目前采用了自动机器学习的技术路线，用神经结构搜索（Neural NetworkSearch, NAS）对图像数据集处理，NAS是一种使用机器学习技术自动搜索和优化神经网络结构的方法。NAS的目标是通过搜索更好的神经网络来提高深度学习模型的效率或性能。在NAS中，搜索空间的设计作为一个关键元素，在确定最优化的配置方面发挥着关键的作用。
NAS的一种策略是探索神经网络中节点和连接的所有可能组合，另一种策略包括将网络划分为基本单元，并通过将这些单元堆叠在一起来构建更复杂的网络。
考虑到搜索空间的扩展性，NAS的策略方法需要大量的计算资源和时间。第二种策略方法虽然降低了搜索的复杂性，增强了结构的适应性，但是基于单元的堆叠结构损害了网络结构的多样性，并且不能充分考虑整个网络各个部分的特性和限制。当试图增强网络结构的多样性时，似乎不可避免地会产生额外的搜索成本，存在一定的局限性。
公告号为CN 109299142 A的专利公开了一种基于进化算法的卷积神经网络结构搜索方法，包括输入数据集并设定预设参数，获取初始种群；通过作为主线程的控制器TC将初始种群弹入队列Q并开启队列管理器TQ和消息管理器TM，队列管理器TQ开启后针对队列Q中的未训练染色体将其弹出解码后开启一个作为独立临时线程的worker管理器TW对其训练计算适应度，通过控制器TC、队列管理器TQ、worker管理器TW、消息管理器TM的协同完成基于进化算法的卷积神经网络结构的并行搜索并输出最佳模型。然而，针对不同模态的多个图像数据集的分析时的搜索空间的复杂性较高，该方法的搜索效率有待进一步提高。
发明内容
针对上述存在的技术问题，本发明的目的是提供一种基于多种群交替进化神经结构搜索的图像识别方法及系统，该方法不仅受益于可扩展的网络结构，而且允许在不产生额外成本的情况下搜索不同的层结构，高效地搜索出优秀的图像识别网络模型进行图像识别。
本发明的技术方案是：
一种基于多种群交替进化神经结构搜索的图像识别方法，包括以下步骤：
S01：获取图像数据，根据目标任务确定搜索网络；
S02：构建超网，根据预设参数对超网进行预训练；
S03：通过神经网络的L层结构将网络结构搜索空间划分为多个子空间，从子空间中随机选取N个候选子网络，形成初始化种群；
S04：从多个子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；
S05：得到最优的神经网络模型对图像进行识别。
优选的技术方案中，所述步骤S02中构建超网的方法包括：
将整个搜索空间池A表示为L层的有向无环图，用公式表示为，其中，表示 有向无环图的第L层中的可用操作，搜索空间内的神经网络；
神经网络a中的每一层由从K个候选操作中选出的多个操作组成，即，其中，表示操作配置的特定集合且二进制门表示是否选择了第k个运算，中的选定操作数为以及可能的操作组合 数为，而L层神经网络中包含的操作总数为。
优选的技术方案中，通过均匀采样子网络结构训练来进行超网预训练，超网中 的每个子网络结构由表示，子网络结构的权重从超网权重继承而来，超网的权 重的优化表示为：
其中，E[·]表示期望，(·)表示交叉熵损失，表示具有子网络结构和权重的网络，代表子网是从服从均匀分布的超网空间中采样得到；
对期望值E[·]的最小化是通过从超网空间对子网络结构进行采样后使用随 机梯度下降法更新相应权重来实现的。
优选的技术方案中，所述步骤S03中初始化种群中的个体基因编码由一个的 矩阵表示，其中代表神经结构中各层的数据节点集， 代表每层网络中数据 节点的数量；是描述各层之间数据节点连接的边集，数据节点之间连接的 边代表运算操作，矩阵中对应的值代表着数据节点的连接边对应的操作编码 值。
优选的技术方案中，所述S04中多种群交替进化包括：
S41：根据预设的交叉变异参数以及子代生成策略生成当前子代种群
S42：将其他种群的优秀个体迁移到当前进化种群得到迁移种群；
S43：将父代种群、子代种群和迁移种群合并组成合并种群，将合并种群中 的个体先解码成相应子网络结构并继承超网中的权重后在训练数据集上进行微 调训练后进行准确度性能指标评估。
优选的技术方案中，子网络结构的微调训练过程即是超网权重更新过程；给定 一个多种群，从超网中采样完整的子网络结构的过程是通过从多种群中采样 个体来实现的，子网络结构采样过程为：
其中，表示层子网络的层数索引集，也表示个种群，（）为解码函数，表示从第个种群中采样的个体。
优选的技术方案中，所述步骤S42中得到迁移种群的方法包括：
维护迁移档案，根据多目标进化算法选择当代种群中的优秀个体进入迁移归档集；
根据每个种群的相邻距离确定迁移的个体数量；
根据个体与种群的相似度选择种群的迁移个体，种群中的个体与种群之 间的相似度用下式表示：
Sim =
其中，D表示选择的最佳个体数量；表示种群中第个最佳个体的基因编码，是基因编码的长度；即为两个个体基因在相应位上值的乘积之和， 代表着两个个体的相似程度；Sim用于判断个体与种群之间的相似程度。
本发明还公开了一种基于多种群交替进化神经结构搜索的图像识别系统，包括：
图像获取模块，获取图像数据，根据目标任务确定搜索网络；
超网构建训练模块，构建超网，根据预设参数对超网进行预训练；
初始化模块，通过神经网络的L层结构将网络结构搜索空间划分为多个子空间，从子空间中随机选取N个候选子网络，形成初始化种群；
多种群交替进化模块，从多个子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；
图像识别模块，得到最优的神经网络模型对图像进行识别。
优选的技术方案中，所述多种群交替进化模块中多种群交替进化包括：
S41：根据预设的交叉变异参数以及子代生成策略生成当前子代种群
S42：将其他种群的优秀个体迁移到当前进化种群得到迁移种群；
S43：将父代种群、子代种群和迁移种群合并组成合并种群，将合并种群中 的个体先解码成相应子网络结构并继承超网中的权重后在训练数据集上进行微 调训练后进行准确度性能指标评估。
本发明又公开了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的基于多种群交替进化神经结构搜索的图像识别方法。
与现有技术相比，本发明的有益效果是：
1、该方法不仅受益于可扩展的网络结构，而且允许在不产生额外成本的情况下搜索不同的层结构，搜索出优秀的图像识别网络模型进行图像识别。
2、该方法将整个搜索空间定义为多个相互独立的小区空间，依次在这些小区空间中进行搜索，可以以较小的搜索成本满足模块的多样化需求，在搜索成本和小区多样性之间找到平衡，根据多个群体来简化搜索空间，将冗长的网络代码平均划分为每个群体，减少了搜索单个图像数据集的搜索空间。以较小的搜索成本实现了模块多样化，显著降低了搜索空间的复杂性，促进图像分析的自动化处理。
3、此外，该方法引入了一种种群迁移机制，利用每个种群保留的知识和经验来加速进化过程，大大加快了种群的收敛速度。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本实施例基于多种群交替进化神经结构搜索的图像识别方法的流程图；
图2为本实施例基于多种群交替进化神经结构搜索的图像识别系统的原理框图；
图3为本实施例基于多种群交替进化神经结构搜索的图像识别系统的工作流程图；
图4为本实施例基于多种群交替进化神经结构搜索的医学图像识别方法的流程图；
图5为本实施例基于多种群交替进化神经结构搜索的汽车图像识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例1
如图1所示，一种基于多种群交替进化神经结构搜索的图像识别方法，包括以下步骤：
S01：获取图像数据，根据目标任务确定搜索网络；
S02：构建超网，根据预设参数对超网进行预训练；
S03：通过神经网络的L层结构将网络结构搜索空间划分为多个子空间，从子空间中随机选取N个候选子网络，形成初始化种群；
S04：从多个子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；
S05：得到最优的神经网络模型对图像进行识别。
具体的，步骤S01中还可以设定预设参数，预设参数包括数据集相关参数、网络训练相关参数和搜索算法相关参数。
数据集相关参数包括：a)训练集与验证集的划分比例；b)训练集批次大小；c)验证集批次大小。
网络训练相关参数包括：a)学习率；b)权重的梯度剪切率；c)权重的重量衰减率；d)超网预训练次数；e)超网总训练次数；f)进化过程中种群个体的微调训练次数。
搜索算法相关参数包括：a)种群个数L'；b)种群规模数N'；c)最大迭代次数T；d)个体基因交叉率；e)个体基因变异率；f)迁移归档集大小。
一较佳的实施例，步骤S02中构建超网的方法包括：
将整个搜索空间池A表示为L层的有向无环图，用公式表示为，其中，表示 有向无环图的第L层中的可用操作，搜索空间内的神经网络；
神经网络a中的每一层由从K个候选操作中选出的多个操作组成，即，其中，表示操作配置的特定集合且二进制门表示是否选择了第k个运算，中的选定操作数为以及可能的操作组合 数为，而L层神经网络中包含的操作总数为。
一较佳的实施例，超网预训练通过均匀采样子网络结构训练来进行，
超网中的每个子网络结构由表示，子网络结构的权重从超网权重继 承而来，超网的权重的优化表示为：
其中E[·]表示期望，(·)表示交叉熵损失，表示具有子网络结构和权重的网络，代表子网是从服从均匀分布的超网空间中采样得到；
对期望值E[·]的最小化是通过从超网空间对子网络结构进行采样后使用随 机梯度下降法更新相应权重来实现的。
一较佳的实施例，步骤S03中初始化种群中的个体基因编码由一个的矩阵表 示，其中代表神经结构中各层的数据节点集， 代表每层网络中数据节点的 数量；是描述各层之间数据节点连接的边集，数据节点之间连接的边代表 运算操作(例如卷积、池化等运算)，矩阵中对应的值代表着数据节点的连接 边对应的操作编码值。
一较佳的实施例，步骤S04中多种群交替进化包括：
S41：根据预设的交叉变异参数以及子代生成策略生成当前子代种群
S42：将其他种群的优秀个体迁移到当前进化种群得到迁移种群；
S43：将父代种群、子代种群和迁移种群合并组成合并种群，将合并种群中 的个体先解码成相应子网络结构并继承超网中的权重后在训练数据集上进行微 调训练后进行准确度性能指标评估。
一较佳的实施例，子网络结构的微调训练过程即是超网权重更新过程；给定一 个多种群，从超网中采样完整的子网络结构的过程是通过从多种群中采样个 体来实现的，子网络结构的采样过程为：
其中，表示层子网络的层数索引集，也表示个种群，（）为解码函数，表示从第个种群中采样的个体。
一较佳的实施例，步骤S42中得到迁移种群的方法包括：
维护迁移档案，根据多目标进化算法选择当代种群中的优秀个体进入迁移归档集；
根据每个种群的相邻距离确定迁移的个体数量；
根据个体与种群的相似度选择种群的迁移个体，种群中的个体与种群之 间的相似度用下式表示：
Sim =
其中，D表示选择的最佳个体数量；表示种群中第个最佳个体的基因编码，是基因编码的长度；即为两个个体基因在相应位上值的乘积之和， 代表着两个个体的相似程度；Sim用于判断个体与种群之间的相似程度。
另一实施例中，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的基于多种群交替进化神经结构搜索的图像识别方法。具体的方法与上述描述的基于多种群交替进化神经结构搜索的图像识别方法一致，这里不再赘述。
另一实施例中，如图2所示，一种基于多种群交替进化神经结构搜索的图像识别系统，包括：
图像获取模块10，获取图像数据，根据目标任务确定搜索网络；
超网构建训练模块20，构建超网，根据预设参数对超网进行预训练；
初始化模块30，通过神经网络的L层结构将网络结构搜索空间划分为多个子空间，从子空间中随机选取N个候选子网络，形成初始化种群；
多种群交替进化模块40，从多个子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；
图像识别模块50，得到最优的神经网络模型对图像进行识别。
下面以一最佳的实例为例详细说明基于多种群交替进化神经结构搜索的图像识别系统的工作流程，如图3所示，包括以下步骤：
步骤1：输入数据集并设定预设参数；
步骤2：构建超网并进行预训练，根据预设参数对超网进行预训练；
步骤3：多种群及迁移归档集初始化，根据预设参数初始化多种群以及迁移归档集；
循环判断①：进入多种群交替进化阶段，根据预设最大迭代次数进行次多种群交 替进化循环过程。同时判断当前迭代次数是否达到最大迭代次数，若是则进入步骤9输出 最优网络结构并结束，否则选择种群开始单种群进化过程；
步骤4：子代生成。选择当前需进化的种群，并根据预设的交叉变异参数以及子代 生成策略生成当前子代种群；
步骤5：种群迁移。根据种群迁移机制将其他种群的优秀个体迁移到当前进化种群 得到迁移种群；
步骤6：合并种群的训练及评估。根据权重继承策略评估父代种群、子代种群 和迁移种群中的网络个体；
步骤7：SuperNet超网更新。在步骤6中种群中个体训练期间同步更新超网的权重参数；
步骤8：种群及迁移归档集更新。满足预设的终止代数时进入步骤9，否则返回步骤4；
循环判断②：判断当前第代的多种群交替进化过程是否结束，若是则进入代 的多种群交替进化过程，否则按顺序选择下一个种群进行单种群进化过程；
步骤9：输出最优的网络模型并结束。
步骤1中的预设参数包括数据集相关参数、网络训练相关参数和搜索算法相关参数。
数据集相关参数包括：a)训练集与验证集的划分比例；b)训练集批次大小；c)验证集批次大小。
网络训练相关参数包括：a)学习率；b)权重的梯度剪切率；c)权重的重量衰减率；d)超网预训练次数；e)超网总训练次数；f)进化过程中种群个体的微调训练次数。
搜索算法相关参数包括：a)种群个数L'；b)种群规模数N'；c)最大迭代次数T；d)个体基因交叉率；e)个体基因变异率；f)迁移归档集大小。
步骤2中的构建超网为搭建一个包括所有预定义操作的一个较大网络SuperNet。 由于神经架构通常使用前馈结构，此实例中将整个搜索空间池A表示为L层的有向无环图 (DAG)，可用公式表示为，其中表示DAG的第L层中的可用操作(例如卷积、池化等 等)，因此搜索空间内的神经网络可表示为。神经网络a中的每一 层由从K个候选操作中选出的多个操作组成，即，其中，表示操作配置的特定集合且二进制门表示是否选择了第k个运算。在这种情况下，中的选定操作数为以及可 能的操作组合数为，而L层神经网络中包含的操作总数为。
步骤2中通过均匀采样子网络结构训练来进行超网预训练，超网中的每个子网 络结构由表示，子网络结构的权重从超网权重继承而来，超网的权重的优化 表示为：
公式1
其中E[·]表示期望，(·)表示交叉熵损失，表示具有子网络结构和权重的网络，代表子网是从服从均匀分布的超网空间中采样得到。 公式中对期望值E[·]的最小化是通过从超网空间对子网络结构由进行采样后使用随 机梯度下降法更新相应权重来实现的。实例中对每种可能的架构进行均匀采样，子 网络结构的采样概率服从pi ~ Bernoulli(0.5)，Bernoulli()为伯努利分布。
步骤3中L个种群的初始化代表着L层神经网络各层的子网抽样编码。根据神经网 络的L层结构，搜索空间A被划分L个子集空间。然后从子空间中随机选取N个候选子网 络，形成群体。种群中的个体基因编码由一个的矩阵表示，其中代表神 经结构中各层的数据节点集， 代表每层网络中数据节点的数量；是描 述各层之间数据节点连接的边集，数据节点之间连接的边代表运算操作(例如卷积、池化等 运算)，矩阵中对应的值代表着数据节点的连接边对应的操作编码值。
迁移归档集初始化则是随机选择m个优秀个体组成该种群的迁移归档集。
步骤4中子代生成通过选择、交叉、变异三个操作算子实现。通过选择操作算子根据上一次进化的适应度值来选择优秀的个体进行交叉变异从而产生子代，选择的策略可选的为轮盘赌选择、锦标赛选择、概率选择三种方式之一。交叉的方式为单点交叉、多点交叉两种方式中的一种，单点交叉为两个父代个体选择二进制编码基因中的同一个点进行交叉产生两个全新的子代个体，多点交叉则是选择多个点进行交叉。变异则是选择多点变异。
根据步骤1中预设参数中的变异概率决定二进制为是否需要从0变异为1或者从1 变异为0。当前种群重复选择交叉变异的过程直到达到预定义的子代上限数后结束，得 到当前的子代种群。
步骤5中种群迁移机制包括三个方面：维护迁移档案(步骤8)、确定每个种群的迁 移个体数量以及选择迁移个体(步骤5)。迁移机制根据每个种群的相邻距离确定迁移的个 体数量。种群的相邻距离是每个种群对应的网络层序号之间的差值。同时，根据个体与种群 的相似度来选择种群的迁移个体。种群中的个体与种群之间的相似度用下式表 示：
Sim = 公式2
其中，D表示选择的最佳个体数量；表示种群中第个最佳个体的基因编码；即为两个个体基因在相应位上值的乘积之和，代表着两个个体的相似程度，是基因编码的长度；Sim用于判断个体与种群之间的相似程度。 Sim的值越小，表明种群中选择的迁移个体与种群之间的相似度越低， 目的是在保证个体适应度的同时增加种群的多样性。
步骤6中合并种群的训练与步骤7中SuperNet超网权重更新两个过程是交替进行 的。合并种群是指父代种群、子代种群和迁移种群合并组成的种群。合并种群中的个体先解码成相应子网络结构并继承超网中 的权重后在训练数据集上进行少量epoch数的微调训练后再在验证数据集上进行准确度性能指标评估。子网络结构的微调训练过程即是超网权重更新过程， 其优化过程同步骤2中公式1相同。给定一个多种群，从超网中采样完整的子网络结 构的过程是通过从多种群中采样个体来实现的。而子网络结构的采样过程可以 定义如下：
公式3
其中，表示层子网络的层数索引集，也表示个种群。其中表示从第个种群 中采样的个体。
步骤8中种群更新通过多目标进化算法NSGA-III来实现的，从合并种群中通过 NSGA-III算法以及可选的两个以上预定义的目标(准确率、模型参数数量、FLOPS)来选择预 定义数量N的个体作为下一代的父代种群。
迁移归档集的更新同样是根据多目标进化算法选择当代种群中的优秀个体进入迁移归档集并覆盖之前的个体。
步骤8完成后判断是否达到预设的终止代数，是进入步骤9输出最优的网络模型，否则返回步骤4。
本实施例提供CIFAR数据集上的与其他算法的对比实验结果，如下表1所示。本实 例将CIFAR-10和CIFAR-100训练集分为两部分，即25000张用于训练数据集和25000张 用于验证数据集。总共搜索了500个epoch，超网参数预热阶段持续前10%的时期（50 epoch）。
表1 CIFAR数据集上的对比实验结果
从表中可以看出，本实施例方法在CIFAR-10和CIFAR-100数据集上搜索到的最优 模型在模型精度(ACC)和搜索时间(GDs)上都取得极具竞争力的结果，表现优于大多数竞争 对手。在CIFAR-10和CIFAR100数据集上，算法找到的最优网络模型MPAE-C的分类准确率分 别高达97.51%和84.12%，超越了实验中考虑的所有同行竞争对手；且搜索成本只需要0.4 GDs，远远小于AmoebaNet-A、NASNet-A模型消耗的计算资源(0.4GDs3150GDs，0.4GDs 1800GDs)。
实施例2
医学图像的自动化搜索分类存在分析不友好，难掌握的问题，现在的算法求解往往代价非常大，耗费人力财力资源较多。将本发明的基于多种群交替进化神经结构搜索的图像识别方法应用于医学图像的自动化搜索分类，针对采样数据集自动化地搜索出优秀的医学图像识别网络模型以解决问题。
通过公开的医学开放数据集的集合，获取标准化医学图像处理相关的采样数据。采样数据集包括来自选定来源的10个预处理数据集组成的MedMNIST，以及涵盖主要数据形式(X射线、OCT、超声波、CT)、各种分类任务(二元/多类、有序回归和多标签)和数据规模(从100到100，000)。
基于以上内容，本实施例提供的多种群交替进化搜索算法在医学图像领域的识别流程图，如图4所示，包括以下步骤：
步骤S201：通过公开的医学开放数据集的集合，获取标准化医学图像处理相关的采样数据。
步骤S202：根据多种群交替进化神经结构搜索算法(MPAE)和超网模型针对医学采样训练集自动化地搜索出优秀的网络结构，搜索过程使用多种群来表示的不同模块，并交替地优化每个模块。其具体实施方式与实施案例1中相同。
步骤S203：通过将搜索到的网络结构在医疗数据集上进行最终训练得到完整的医学图像识别网络模型。
从MedMNIST公开的医学开放数据集中如下数据集：PathMNIST用于预测结直肠癌组织学切片的生存情况数据集，DermaMNIST多源常见皮肤色素病变的皮肤镜图像数据集，OCTMNIST关于视网膜疾病的有效光学相干断层扫描(OCT)图像数据集，OrganMNIST{Axial, Coronal, Sagittal}基于肝脏肿瘤分割基准(LiTS)的3D计算机断层扫描(CT)图像数据集等多个医疗数据集。
步骤S203是在完整的MedMNIST数据集(包括训练集与测试集)上进行最优网络结构的重新训练得到准确的网络模型权重参数以及最终的识别精度结果。最终的实验结果与其他算法的对比实验结果如下表2所示。
表2MedMNIST系列数据集上MPAE与其他基准方法在准确率(%)方面的比较
Network Path Derma OCT O-A O-C O-S
ResNet18 86 75 75.8 92.1 88.9 76.2
ResNet50 84.6 72.7 74.5 91.6 89.3 74.6
Auto-sklearn 18.6 73.4 59.5 56.3 67.6 60.1
AutoKeras 86.4 75.6 73.6 92.9 91.5 80.3
Google AutoML Vision 81.2 76.1 73.2 81.6 86.2 70.7
SI-EvoNAS 90.58 76.66 78.14 92.98 91.8 80.14
MPAE 91.88 78.56 80.2 94.24 92.58 81.02
从上表可知，通过本发明算法搜索得到的医学图像识别网络模型具有较高的准确率。
实施例3
将本发明的基于多种群交替进化神经结构搜索的图像识别方法应用于汽车图像的自动化搜索分类，针对采样数据集自动化地搜索出优秀的汽车图像识别网络模型以解决问题。
通过公开的汽车数据集的集合，获取标准化汽车图像处理相关的采样数据。采样数据集包括Stanford Cars和CompCars数据集。Stanford Cars数据集是一个专门用于汽车图像识别分类任务的细粒度分类数据集，该数据集包含196种汽车类型的图像，16185张不同型号的汽车图片，其中8144张为训练集，8041张为测试集，涵盖了细致的类别处理，包括具有不同角度、尺寸和照明条件的汽车图像。综合汽车CompCars数据集包含来自网络和监视两个场景的数据。网络图像数据包含163个汽车品牌和1,716个汽车型号。总共有136,726张整车图像和27,618张汽车零部件图像。监控图像数据包含50,000个在正面视图中捕获的汽车图像。
基于以上内容，本实施例提供的多种群交替进化搜索算法在汽车图像领域的识别流程图，如图5所示，包括以下步骤：
步骤S301：通过公开的汽车开放数据集的集合，获得汽车图像数据集StanfordCars和CompCars并进行预处理。预处理方式可选地包括中心裁剪CenterCrop、尺寸调整Resize、归一化Normalize、数据增强方式中的多种。
步骤S302：通过将汽车图像数据集输入包含整个网络内所有的算子的supernet超网模型中进行训练来为步骤S303中的权重共享做准备。
步骤S303：根据多种群交替进化神经结构搜索算法(MPAE)和超网模型针对输入的汽车采样训练集自动化地搜索出优秀的网络结构。其具体实施方式与实施案例1中相同。
步骤S304：对从步骤S303中不断生成的神经网络模型MPAE进行评估迭代，判断是否达到最大迭代次数，若是则进入下一步，否则继续迭代。
步骤S305：最优模型训练。步骤S305是在完整的汽车数据集(包括训练集与测试集)上进行最优网络结构的重新训练得到准确的网络模型权重参数以及最终的识别精度结果。Stanford Cars和CompCars两个汽车数据集上的最终的实验结果与其他算法的对比实验结果如下表3所示。
表3两个汽车数据集上MPAE与其他基准方法在准确率(%)方面的比较
从上表可知，通过本发明算法搜索得到的汽车图像识别网络模型具有较高的准确率。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种基于多种群交替进化神经结构搜索的图像识别方法，其特征在于，包括以下步骤：
S01：获取图像数据，根据目标任务确定搜索网络；
S02：构建超网，根据预设参数对超网进行预训练；
S03：通过神经网络的L层结构将网络结构搜索空间划分为多个子空间，从子空间中随机选取N个候选子网络，形成初始化种群；
S04：从多个子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；所述多种群交替进化包括：
S41：根据预设的交叉变异参数以及子代生成策略生成当前子代种群；
S42：将其他种群的优秀个体迁移到当前进化种群得到迁移种群；得到迁移种群/>的方法包括：
维护迁移档案，根据多目标进化算法选择当代种群中的优秀个体进入迁移归档集；
根据每个种群的相邻距离确定迁移的个体数量；
根据个体与种群的相似度选择种群的迁移个体；
S43：将父代种群、子代种群/>和迁移种群/>合并组成合并种群，将合并种群中的个体先解码成相应子网络结构/>并继承超网/>中的权重/>后在训练数据集上进行微调训练后进行准确度性能指标评估；
S05：得到最优的神经网络模型对图像进行识别。
2.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法，其特征在于，所述步骤S02中构建超网的方法包括：
将整个搜索空间池A表示为L层的有向无环图，用公式表示为，其中，/>表示有向无环图的第L层中的可用操作，搜索空间内的神经网络/>；
神经网络a中的每一层由从K个候选操作中选出的多个操作/>组成，即，其中，/>表示操作配置/>的特定集合且二进制门表示是否选择了第k个运算，/>中的选定操作数为/>以及可能的操作组合数为/>，而L层神经网络中包含的操作总数为/>。
3.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法，其特征在于，通过均匀采样子网络结构训练来对超网进行预训练，超网中的每个子网络结构由/>表示，子网络结构的权重/>从超网权重/>继承而来，超网的权重/>的优化表示为：
；
其中E[·]表示期望，(·)表示交叉熵损失，/>表示具有子网络结构/>和权重/>的网络，/>代表子网/>是从服从均匀分布/>的超网空间/>中采样得到；
对期望值E[·]的最小化是通过从超网空间对子网络结构/>进行采样后使用随机梯度下降法更新相应权重/>来实现的。
4.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法，其特征在于，所述步骤S03中初始化种群中的个体基因编码由一个的矩阵表示，其中代表神经结构中各层的数据节点集，M代表每层网络中数据节点的数量；是描述各层之间数据节点连接的边集，数据节点之间连接的边代表运算操作，矩阵中/>对应的值代表着数据节点/>的连接边对应的操作编码值。
5.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法，其特征在于，子网络结构的微调训练过程即是超网权重更新过程；给定一个多种群/>，从超网中采样完整的子网络结构/>的过程是通过从多种群/>中采样个体/>来实现的，子网络结构/>采样过程为：
；
其中，表示/>层子网络的层数索引集，也表示/>个种群，/>（）为解码函数，/>表示从第/>个种群中采样的个体/>。
6.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法，其特征在于，所述个体与种群的相似度的计算方法包括：
种群中的个体/>与种群/>之间的相似度用下式表示：
Sim = />；
其中，D表示选择的最佳个体数量；表示种群/>中第/>个最佳个体的基因编码，是基因编码的长度；/>即为两个个体基因在相应位上值的乘积之和，代表着两个个体的相似程度；Sim/>用于判断个体/>与种群/>之间的相似程度。
7.一种基于多种群交替进化神经结构搜索的图像识别系统，其特征在于，包括：
图像获取模块，获取图像数据，根据目标任务确定搜索网络；
超网构建训练模块，构建超网，根据预设参数对超网进行预训练；
初始化模块，通过神经网络的L层结构将网络结构搜索空间划分为多个子空间，从子空间中随机选取N个候选子网络，形成初始化种群；
多种群交替进化模块，从多个子空间中采样多个种群进行交替进化，使用多目标环境选择从合并种群选择前沿个体，以生成下一个父代种群，进行多种群的交替进化；所述多种群交替进化包括：
S41：根据预设的交叉变异参数以及子代生成策略生成当前子代种群；
S42：将其他种群的优秀个体迁移到当前进化种群得到迁移种群；得到迁移种群/>的方法包括：
维护迁移档案，根据多目标进化算法选择当代种群中的优秀个体进入迁移归档集；
根据每个种群的相邻距离确定迁移的个体数量；
根据个体与种群的相似度选择种群的迁移个体；
S43：将父代种群、子代种群/>和迁移种群/>合并组成合并种群，将合并种群中的个体先解码成相应子网络结构/>并继承超网/>中的权重/>后在训练数据集上进行微调训练后进行准确度性能指标评估；
图像识别模块，得到最优的神经网络模型对图像进行识别。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-6任一项所述的基于多种群交替进化神经结构搜索的图像识别方法。
CN202410095592.3A 2024-01-24 2024-01-24 基于多种群交替进化神经结构搜索的图像识别方法及系统 Active CN117611974B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202410095592.3A CN117611974B (zh) 2024-01-24 2024-01-24 基于多种群交替进化神经结构搜索的图像识别方法及系统
US19/009,930 US20250139960A1 (en) 2024-01-24 2025-01-04 Image recognition method and system based on multi-population alternate evolution neural architecture search

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410095592.3A CN117611974B (zh) 2024-01-24 2024-01-24 基于多种群交替进化神经结构搜索的图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN117611974A true CN117611974A (zh) 2024-02-27
CN117611974B CN117611974B (zh) 2024-04-16

Family

ID=89958383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410095592.3A Active CN117611974B (zh) 2024-01-24 2024-01-24 基于多种群交替进化神经结构搜索的图像识别方法及系统

Country Status (2)

Country Link
US (1) US20250139960A1 (zh)
CN (1) CN117611974B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014010A (zh) * 2024-04-09 2024-05-10 南京信息工程大学 基于多种群机制及代理模型的多目标演化神经架构搜索方法
CN119180305A (zh) * 2024-11-26 2024-12-24 南京信息工程大学 基于梯度相似性超网的多目标神经架构搜索方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104687A1 (en) * 2018-09-27 2020-04-02 Google Llc Hybrid neural architecture search
CN112465120A (zh) * 2020-12-08 2021-03-09 上海悠络客电子科技股份有限公司 一种基于进化方法的快速注意力神经网络架构搜索方法
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
CN112508104A (zh) * 2020-12-08 2021-03-16 浙江工业大学 一种基于快速网络架构搜索的跨任务图像分类方法
CN112784949A (zh) * 2021-01-28 2021-05-11 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种基于进化计算的神经网络架构搜索方法和系统
WO2022065771A1 (en) * 2020-09-25 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for neural architecture search
CN114373101A (zh) * 2022-01-14 2022-04-19 东北大学 基于进化策略的神经网络架构搜索的图像分类方法
WO2022126448A1 (zh) * 2020-12-16 2022-06-23 华为技术有限公司 一种基于演化学习的神经网络结构搜索方法和系统
CN114997360A (zh) * 2022-05-18 2022-09-02 四川大学 神经架构搜索算法的演化参数优化方法、系统及存储介质
CN115393632A (zh) * 2022-08-04 2022-11-25 广东工业大学 一种基于进化多目标神经网络架构构造的图像分类方法
WO2023124386A1 (zh) * 2021-12-29 2023-07-06 华为云计算技术有限公司 神经网络架构搜索的方法、装置、设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104687A1 (en) * 2018-09-27 2020-04-02 Google Llc Hybrid neural architecture search
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
WO2022065771A1 (en) * 2020-09-25 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for neural architecture search
CN112465120A (zh) * 2020-12-08 2021-03-09 上海悠络客电子科技股份有限公司 一种基于进化方法的快速注意力神经网络架构搜索方法
CN112508104A (zh) * 2020-12-08 2021-03-16 浙江工业大学 一种基于快速网络架构搜索的跨任务图像分类方法
WO2022126448A1 (zh) * 2020-12-16 2022-06-23 华为技术有限公司 一种基于演化学习的神经网络结构搜索方法和系统
CN112784949A (zh) * 2021-01-28 2021-05-11 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种基于进化计算的神经网络架构搜索方法和系统
WO2023124386A1 (zh) * 2021-12-29 2023-07-06 华为云计算技术有限公司 神经网络架构搜索的方法、装置、设备和存储介质
CN114373101A (zh) * 2022-01-14 2022-04-19 东北大学 基于进化策略的神经网络架构搜索的图像分类方法
CN114997360A (zh) * 2022-05-18 2022-09-02 四川大学 神经架构搜索算法的演化参数优化方法、系统及存储介质
CN115393632A (zh) * 2022-08-04 2022-11-25 广东工业大学 一种基于进化多目标神经网络架构构造的图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG Z等: "Cars: Continuous evolution for efficient neural architecture search", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2020 (2020-12-31), pages 1829 - 1838 *
张世文;李智勇;林亚平;: "基于生态种群捕获竞争模型的多目标Memetic优化算法", 电子学报, no. 08, 31 August 2015 (2015-08-31), pages 26 - 36 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014010A (zh) * 2024-04-09 2024-05-10 南京信息工程大学 基于多种群机制及代理模型的多目标演化神经架构搜索方法
CN119180305A (zh) * 2024-11-26 2024-12-24 南京信息工程大学 基于梯度相似性超网的多目标神经架构搜索方法和系统

Also Published As

Publication number Publication date
CN117611974B (zh) 2024-04-16
US20250139960A1 (en) 2025-05-01

Similar Documents

Publication Publication Date Title
CN111210871B (zh) 基于深度森林的蛋白质-蛋白质相互作用预测方法
CN106570873B (zh) 一种医学图像分割方法
CN113393911B (zh) 一种基于深度学习的配体化合物快速预筛选方法
CN112508104B (zh) 一种基于快速网络架构搜索的跨任务图像分类方法
CN116386729A (zh) 一种基于图神经网络的scRNA-seq数据降维方法
JP2024524795A (ja) グラフニューラルネットワークに基づく遺伝子表現型予測
CN117611974A (zh) 基于多种群交替进化神经结构搜索的图像识别方法及系统
CN117152568B (zh) 深度集成模型的生成方法、装置和计算机设备
CN113571125A (zh) 基于多层网络与图编码的药物靶点相互作用预测方法
WO2023124342A1 (zh) 一种针对图像分类的神经网络结构低成本自动搜索方法
CN116629352A (zh) 一种亿级参数寻优平台
Montecino et al. Two-level genetic algorithm for evolving convolutional neural networks for pattern recognition
CN113362900A (zh) 一种预测n4-乙酰胞苷的混合模型
Babu et al. A simplex method-based bacterial colony optimization algorithm for data clustering analysis
Elghazi et al. Enhancing CNN structure and learning through NSGA-II-based multi-objective optimization
CN114512188B (zh) 基于改进蛋白质序列位置特异性矩阵的dna结合蛋白识别方法
CN108388769B (zh) 基于边驱动的标签传播算法的蛋白质功能模块识别方法
CN119993269A (zh) 基于图神经网络的癌症驱动基因预测方法及系统
CN114202669B (zh) 一种用于医疗图像分割的神经网络搜索方法
CN117976047B (zh) 基于深度学习的关键蛋白质预测方法
Liu et al. High-performance medical data processing technology based on distributed parallel machine learning algorithm
CN117252238A (zh) 医学图像分类神经网络架构搜索方法、系统、设备、介质
CN114741528B (zh) 一种高效构建人类蛋白质复合物图谱的方法与系统
CN118116600A (zh) 一种基于多组学和临床检验数据的结直肠癌预后方法
CN117637035A (zh) 一种基于图神经网络的多组学可信整合的分类模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240227

Assignee: Hunan Longgu Intelligent Technology Co.,Ltd.

Assignor: XIANGTAN University

Contract record no.: X2024980005157

Denomination of invention: Image recognition method and system based on multi group alternating evolutionary neural structure search

Granted publication date: 20240416

License type: Common License

Record date: 20240509

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240227

Assignee: Hunan Jiuzhang Zhiyun Technology Co.,Ltd.

Assignor: XIANGTAN University

Contract record no.: X2024980028006

Denomination of invention: Image recognition method and system based on multi population alternating evolution neural structure search

Granted publication date: 20240416

License type: Common License

Record date: 20241126

EE01 Entry into force of recordation of patent licensing contract