CN116030502A

CN116030502A - 一种基于无监督学习的行人重识别方法和装置

Info

Publication number: CN116030502A
Application number: CN202310323821.8A
Authority: CN
Inventors: 贺菁菁; 徐晓刚; 王军; 张锦明
Original assignee: Zhejiang Gongshang University; Zhejiang Lab
Current assignee: Zhejiang Gongshang University; Zhejiang Lab
Priority date: 2023-03-30
Filing date: 2023-03-30
Publication date: 2023-04-28

Abstract

本发明公开的一种基于无监督学习的行人重识别方法和装置，通过无监督行人重识别行人重识别模型前向传播获取样本的特征向量，利用聚类算法给未标注数据集中每个样本分配类别标签并保存每个聚集的中心向量；在每个样本中，基于当前样本的特征向量及类别标签，通过计算该特征向量均值与聚类中心的距离进行有监督的学习，计算新的聚类中心的中心向量，并更新行人重识别神经网络模型的权重参数，继续下一次迭代，直到收敛。本发明实现了在无标签数据集上的伪标签自动生成，增强了模型对于噪声数据的鲁棒性，大大减小了存储器对于内存空间的高额要求；均值采样计算的方法加快了模型参数更新速度，提高训练效率，提升模型应用的泛化能力。

Description

一种基于无监督学习的行人重识别方法和装置

技术领域

本发明涉及机器学习领域，具体涉及一种基于无监督学习的行人重识别方法和装置。

背景技术

在行人重识别（Person Re-identification,re-ID）任务中，利用无标签数据进行无监督学习的方法得到了广泛关注和应用。目前主流的方式是训练一个深度神经网络模型提取行人的特征表示，再利用一个特征存储器将行人特征向量进行实例级的存储，同时使用聚类方法为存储器中的样本生成伪标签，最后利用伪标签进行有监督的分类模型训练，更新存储器中的特征，达到模型参数更新和调整的效果。在无监督行人重识别中，实例级的特征存储器需较大的内存空间，且带有噪声的伪标签对于特征提取和分类模型都会产生消极的影响，导致模型产生过拟合，减弱泛化能力。同时，聚类得到的集群大小不同也使模型在更新过程类之间产生不一致性，当更新小集群中的所有实例时，在大集群中只能更新一小部分实例特性，难以学习到稳定的样本特征，限制了实际应用效果。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于无监督学习的行人重识别方法和装置，在存储器中只保存聚类得到的类中的一个实例特征值，在存储器的特征更新阶段，将属于同一个类别的样本特征进行均值采样，用该采样特征更新存储器，其具体技术方案如下：

一种基于无监督学习的行人重识别方法，包括以下步骤：

步骤一，构建并初始化用于提取行人特征向量的深度神经网络；

步骤二，使用所述深度神经网络从无标签的行人数据集中提取得到每个样本的行人特征向量，对行人特征向量进行聚类和距离计算得到若干聚类中心及聚类中心对应的中心向量和类别标签，分配类别标签给每个样本得到样本伪标签，并将聚类中心存入存储器中对存储器进行初始化；

步骤三，利用所述样本伪标签获取到新的行人训练数据集；

步骤四，对步骤三得到的新的行人训练数据集使用均值采样得到最终批量样本来进行所述的深度神经网络的第一次迭代训练，并在训练的每次迭代中更新网络参数和存储器中的聚类中心及对应中心向量；

步骤五，在第一次迭代训练收敛后，进行第二次迭代训练，直到达到网络模型训练的收敛条件。

优选的，所述深度神经网络具体为无监督的行人重识别神经网络模型，包括骨干网络和头部网络，所述骨干网络的参数用预先训练的权重进行初始化，头部网络的参数随机初始化；所述骨干网络的参数包括超参数，以及进行行人重识别神经网络模型训练的第一迭代终止条件参数和第二迭代终止条件参数。

优选的，所述步骤二，具体为：利用初始化后的无监督行人重识别神经网络模型以前向传播方式获取无标签的行人数据集中每个样本的行人特征向量；

对所述行人特征向量进行聚类操作，得到N个类别，N为正整数，每个类别有一个聚类中心，每个聚类中心有一个中心向量和类别标签，并保存聚类中心至存储器中；其中，聚类操作具体采用的聚类算法为DBSCAN，距离计算方式为jaccard；

对无标签的行人数据集中的所有样本按N个类别进行划分，并分配所属类别的标签，得到样本伪标签。

优选的，所述步骤三，具体为：遍历无标签的行人数据集中所有的行人样本，若样本的标签为-1，则为离群点，作忽略排除处理，若样本的标签不为-1，则将该样本的行人特征向量加入到新的行人训练数据集；其中，未分类的样本或不属于任何类别的样本定义为离群点，标签为-1。

优选的，所述步骤四，具体为：对所述新的行人训练数据集通过均值采样得到最终批量样本，之后进行第一次迭代训练，与所述存储器中的聚类中心计算分类损失函数，并根据分类损失函数进行一次无监督行人重识别神经网络模型的参数更新，其中分类损失函数表达式为：

，

其中，

表示样本q所属存储器中的类特征向量即中心向量，

越小表示样本q与类

越相近，与其他类越远，

为超参数。

优选的，在第一次迭代训练的每一次迭代的过程中，同时使用动量法将均值采样后的特征更新到存储器中原来的聚类中心对应的中心向量上，具体表达式如下：

，

其中，

为存储器中类别为索引为i的中心向量，

为所属类别索引同为i的均值采样后的特征值，

为新的存储器类别索引为i的中心向量，m为动量值。

优选的，所述均值采样，具体包括：

步骤S101，将新的行人训练数据集中的特征向量按类别进行分组，属于同一个类的样本为一组，从中随机挑选出P个组，得到对应的类别索引Index；

步骤S102，对Index中的类别，分别从中挑选的得到B个特征样本，即总共得到P×B个样本；

步骤S103，分别计算得到每个类别中B个样本的特征均值。

优选的，所述步骤五，具体为：在模型第一次迭代训练收敛，更新完参数之后，进行第二次迭代训练，再判断第二次迭代训练的迭代次数是否达到收敛条件，若没有，则记录训练好的无监督行人重识别神经网络模型，继续重复执行步骤二~步骤四；若达到了则记录好无监督行人重识别神经网络模型的参数，结束训练；其中，在每次迭代中，都会重新聚类和分配样本标签，聚类的个数跟之前迭代的聚类结果没有直接关系，所以类的个数、样本的标签值和聚类中心在每次迭代都不同。

一种基于无监督学习的行人重识别装置，包括一个或多个处理器，用于实现所述的一种基于无监督学习的行人重识别方法。

一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的一种基于无监督学习的行人重识别方法。

有益效果：

1、本发明的方法在特征存储器中只保存聚类得到的类中心，采用均值采样的方式获取小样本集，实现了在无标签数据集上的伪标签自动生成，大大减小了存储器对于内存空间的高额要求，加快了模型参数更新速度，提高训练效率，加速了模型的收敛，提高行人重识别模型在不同场景下的泛化能力。

2、本发明剔除了离群样本点对聚类中心的干扰，避免了随机采样导致的过拟合等问题，在小样本迭代过程中不更改数据标签，降低了标签跳变等噪声数据对于模型稳定性的影响，增强了模型对于噪声数据的鲁棒性。

附图说明

图1是本发明的一种基于无监督学习的行人重识别方法流程示意图；

图2是本发明实施例的均值采用的主要流程示意图；

图3是本发明实施例的一种基于无监督学习的行人重识别装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。

如图1所示，本发明的一种基于无监督学习的行人重识别方法，包括以下步骤内容：

步骤一，构建并初始化用于提取行人特征向量的深度神经网络。

在一个实施方式中，首先构建一个无监督的re-ID行人重识别神经网络模型，例如卷积神经网络CNN模型，并进行初始化。具体的，该神经网络模型至少包含骨干网络，例如Resnet50，保留到网络最后一个全连接层，维数可以固定是1024或者2048或者256，所述全连接层输出得到的即为行人的特征向量；还可以设有头部网络。

其中，骨干网络的参数用预先训练的权重进行初始化，头部网络的参数随机初始化。

其中，行人重识别是指通过将视频或者图像中要查询的行人图片向量化，与数据库中已有的图片进行比对，找出属于同一个ID的图片序列，达到图像检索的效果。在本发明中，所构建的模型可以通过在线进行迭代训练后，存储并可在线进行检索识别时使用甚至更新数据。

其中，初始化包括：将所述网络模型的骨干网络进行初始化，主要是参数的初始化，包括超参数，还包括用于控制深度神经网络进行迭代训练的第一迭代终止条件参数和第二迭代终止条件参数，其中，第一迭代终止条件参数即为第一迭代次数，是小批量中的样本训练的迭代次数。

第一迭代次终止条件参数可以有多种获取方式，在本发明的方案中依据如下的规则得到：所有样本数为S，每个小批量中的样本数为s，则迭代次数T，表达式为

，

其中，

表示向上取整，如

，

。所述第一迭代次数也可以由其他方式获得，如直接指定次数值；第二迭代终止条件参数即为第二迭代次数，是所有样本重新开始训练的迭代次数，可以是50或者100。

步骤二，使用所述深度神经网络从无标签的行人数据集中提取得到每个样本的行人特征向量，对行人特征向量进行聚类和距离计算得到若干聚类中心及聚类中心对应的中心向量和类别标签，分配类别标签给每个样本得到样本伪标签，并将聚类中心存入存储器中对存储器进行初始化。

在一个实施方式中，利用初始化后的无监督行人重识别神经网络模型以前向传播方式获取无标签数据集

中每个样本的行人特征向量

；其中的样本可以是图片，M为正整数。

在一个实施方式中，利用聚类算法对上述无标签数据集中的所有样本的行人特征向量进行聚类，将所述无标签数据集划分为若干类别，将对应行人特征向量的样本划分到不同的聚类中，并获取对应各类的聚类中心，每个聚类中心有一个中心向量和类别标签。

其中，所述聚类算法为DBSCAN，距离计算方式为jaccard，对所有的行人特征向量进行聚类后得到N个类别

，N为正整数，每个类别有一个聚类中心；所述聚类中心可以通过计算归属于同一类别的所有样本的行人特征向量的均值，或者随机挑选一个样本点的行人特征向量得到，保存聚类中心到存储器中。

进一步，将无标签数据集中的所有样本划分到所述N个类别中，并分配所属类别的标签给所有样本，以标识每个样本所属类别，得到样本伪标签，拥有同一个伪标签的样本视为同一类

，

，j∈（1,2，…M），i∈N。

步骤三，利用所述样本伪标签获取到新的行人训练数据集。

在一个实施方式中，遍历无标签的行人数据集中所有的行人样本，未分类的样本或不属于任何类别的样本定义为离群点，标签为-1；在构建用于训练的新数据集时，排除掉离群点，更具体的：若样本的标签为-1，即为离群点，则忽略不计；若样本的标签不为-1，则该样本的行人特征向量加入到新的行人训练数据集。

步骤四，对步骤三得到的新的行人训练数据集使用均值采样得到最终批量样本来进行所述的深度神经网络的第一次迭代训练，并在训练的每次迭代中更新网络参数和存储器中的聚类中心及对应中心向量。

在一个实施方式中，对所述新的行人训练数据集通过均值采样得到最终批量样本，之后进行第一次迭代训练，与所述存储器中的聚类中心计算分类损失函数，并在本次迭代时，根据分类损失函数进行一次无监督行人重识别神经网络模型的参数更新，其中分类损失函数表达式为：

，

其中，

表示样本q所属存储器中的类特征向量即中心向量，

越小表示样本q与类

越相近，与其他类越远，

为超参数。

参阅图2，图2为本发明中的均值采样的一个实施例的主要步骤流程示意图，具体包括：

步骤S101，从新的行人训练数据集中随机获取P个类别：

将新的行人训练数据集中的特征向量按类别进行分组，属于同一个类的样本为一组，从中随机挑选出P个组，得到对应的类别索引Index。

步骤S102，在所述索引对应的类别中，即在每组中分别随机挑选得到B个样本：

对Index中的类别，分别从中挑选的得到B个特征样本，即总共得到P×B个样本；在本步骤中，可以提前将类中的所有样本进行打乱，保持样本挑选的随机性。

步骤S103，计算每个类中样本特征的均值：

将所述每个类别中的B个样本，分别计算得到每个类别中B个样本的特征均值。假设类别

中，挑选出的B（B=2）个样本的特征为：

，

，

则计算均值得到：

。

对于网络模型的参数更新，具体可以取出样本输入数据、样本标签、分类等各项数据，计算输入数据、使用损失函数计算标签、分类损失等，调用反向传播进行梯度下降的优化，统计损失函数的累计值以及分类的正确模型，每次迭代完成时计算正确率等；由此，调用反向传播可以对模型的参数进行一次更新。

一个实施方式中，在每一次迭代的过程中，同时使用动量法将均值采样后的特征更新到存储器中原来的聚类中心对应的中心向量上，实现在每一次迭代中在线更新所述存储器中部分聚类中心原本的特征向量，具体表达式如下：

，

其中，

为存储器中类别为索引为i的类中心特征值（中心向量），

为本次迭代中，所属类别索引同为i的均值采样后的特征值，

为新的存储器类别索引为i的类中心特征值，m为动量值。

由于最终批量样本中不可能包含所有的类别，所以在一次迭代中，只更新最终批量样本中包含的部分聚类中心。

一个实施方式中，迭代执行所述均值采样、无监督行人重识别神经网络参数更新、存储器中的中心向量过程，直到达到模型的收敛条件，比如：是否已经达到了预定的第一迭代次数

，若达到了则认为收敛，满足条件，进入下一步骤，反之则重复执行本步骤进入下一次迭代。

在一个实施方式中，更新完参数之后判断第二次迭代训练的迭代次数是否达到收敛条件，若没有，则记录训练好的无监督行人重识别神经网络模型，继续重复执行步骤二~步骤四；特别的，在每次迭代中，都会重新聚类和分配样本标签，聚类的个数跟之前迭代的聚类结果没有直接关系，所以类的个数、样本的标签值和聚类中心在每次迭代都不同；若达到了则记录好无监督行人重识别神经网络模型的参数，结束训练。比如：是否已经达到了第二迭代次数

，如果达到了

则认为模型足够收敛，满足条件，没有则继续进入下一次迭代。

在实施本发明的技术方案中，通过无监督行人重识别行人重识别模型前向传播获取样本的特征向量，利用聚类算法给未标注数据集中每个样本分配类别标签并保存每个聚集的中心向量；在每个样本中，基于当前样本的特征向量及类别标签，通过计算该特征向量均值与聚类中心的距离进行有监督的学习，计算新的聚类中心的中心向量，并更新行人重识别神经网络模型的权重参数，继续下一次迭代，直到收敛。

本发明的技术方案，针对无监督行人重识别任务中存储实例特征消耗存储空间大、类的参数更新不一致导致的模型训练难等缺陷，设计了存储器只保存类中心的方式，大大缓解了保存所有样本特征的空间消耗，并针对性的提出类中心的实时有监督的更新方法；在以所述第二迭代次数的更新过程中，通过不更改样本的标签标注数据，使数据标签更稳定，缓解了传统无监督re-ID训练时标注数据不稳定导致的难以稳定的学习到样本特征的问题；在训练过程中剔除了离群点对类的影响，采用均值采样的方式获取最终小批量的样本，避免了随机采样导致的过拟合等问题，均值采样大大降低了噪声数据对于模型稳定性的影响，有利于加速模型的收敛。

与前述一种基于无监督学习的行人重识别方法的实施例相对应，本发明还提供了一种基于无监督学习的行人重识别装置的实施例。

参见图3，本发明实施例提供的一种基于无监督学习的行人重识别装置，包括一个或多个处理器，用于实现上述实施例中的一种基于无监督学习的行人重识别方法。

本发明的一种基于无监督学习的行人重识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明一种基于无监督学习的行人重识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于无监督学习的行人重识别方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims

1.一种基于无监督学习的行人重识别方法，其特征在于，包括以下步骤：

步骤三，利用所述样本伪标签获取到新的行人训练数据集；

2.如权利要求1所述的一种基于无监督学习的行人重识别方法，其特征在于，所述深度神经网络具体为无监督的行人重识别神经网络模型，包括骨干网络和头部网络，所述骨干网络的参数用预先训练的权重进行初始化，头部网络的参数随机初始化；所述骨干网络的参数包括超参数，以及进行行人重识别神经网络模型训练的第一迭代终止条件参数和第二迭代终止条件参数。

3.如权利要求1所述的一种基于无监督学习的行人重识别方法，其特征在于，所述步骤二，具体为：利用初始化后的无监督行人重识别神经网络模型以前向传播方式获取无标签的行人数据集中每个样本的行人特征向量；

4.如权利要求3所述的一种基于无监督学习的行人重识别方法，其特征在于，所述步骤三，具体为：遍历无标签的行人数据集中所有的行人样本，若样本的标签为-1，则为离群点，作忽略排除处理，若样本的标签不为-1，则将该样本的行人特征向量加入到新的行人训练数据集；其中，未分类的样本或不属于任何类别的样本定义为离群点，标签为-1。

5.如权利要求4所述的一种基于无监督学习的行人重识别方法，其特征在于，所述步骤四，具体为：对所述新的行人训练数据集通过均值采样得到最终批量样本，之后进行第一次迭代训练，与所述存储器中的聚类中心计算分类损失函数，并根据分类损失函数进行一次无监督行人重识别神经网络模型的参数更新，其中分类损失函数表达式为：

，

其中，

表示样本q所属存储器中的类特征向量即中心向量，

越小表示样本q与类

越相近，与其他类越远，

为超参数。

6.如权利要求5所述的一种基于无监督学习的行人重识别方法，其特征在于，在第一次迭代训练的每一次迭代的过程中，同时使用动量法将均值采样后的特征更新到存储器中原来的聚类中心对应的中心向量上，具体表达式如下：

,

其中，

为存储器中类别为索引为

的中心向量，

为所属类别索引同为

的均值采样后的特征值，

为新的存储器类别索引为

的中心向量，m为动量值。

7.如权利要求5所述的一种基于无监督学习的行人重识别方法，其特征在于，所述均值采样，具体包括：

步骤S103，分别计算得到每个类别中B个样本的特征均值。

8.如权利要求5所述的一种基于无监督学习的行人重识别方法，其特征在于，所述步骤五，具体为：在模型第一次迭代训练收敛，更新完参数之后，进行第二次迭代训练，再判断第二次迭代训练的迭代次数是否达到收敛条件，若没有，则记录训练好的无监督行人重识别神经网络模型，继续重复执行步骤二~步骤四；若达到了则记录好无监督行人重识别神经网络模型的参数，结束训练；其中，在每次迭代中，都会重新聚类和分配样本标签，聚类的个数跟之前迭代的聚类结果没有直接关系，所以类的个数、样本的标签值和聚类中心在每次迭代都不同。

9.一种基于无监督学习的行人重识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1至8中任一项所述的一种基于无监督学习的行人重识别方法。

10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1至8中任一项所述的一种基于无监督学习的行人重识别方法。