CN116884039A - 一种基于图结构的跨模态行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于图结构的跨模态行人重识别方法，属于行人重识别方法技术领域。首先构建训练特征数据集，采用身份平衡抽样策略进行训练，抽取两个模态的不同身份的行人数据；然后通过训练特征数据集生成邻接矩阵去构造无向图结构，通过矩阵乘法进行图构造计算；同时进行两个模态的图注意力学习；并采用多头注意力技术提高图注意力学习的数据精确度。本发明使用多头注意力技术为模态内和模态间图结构分配自适应权重，消除较大变化样本的负面影响，减少了模态差异，并使训练过程稳定、高效。

Description

一种基于图结构的跨模态行人重识别方法

技术领域

本发明涉及行人重识别算法技术领域，具体涉及一种基于图结构的跨模态行人重识别方法。

背景技术

由于“安全城市”、“智慧城市”等建设规划的普及，安全问题受到前所未有的重视，人类的安全意识也在不断提高，计算机视觉中的行人重识别技术能够利用机器处理视频数据，结合多摄像头，来取代人工对监控视频的处理和分析，从而有效地解决了人工检查的不足，以确保社会的安全，在日常生活中有着广泛的应用。行人重识别技术，它是一种图像检索技术，用于确定行人是否曾经出现在监控摄像头网络中。该技术能够快速准确地捕捉行人图像，并在实际应用中表现出色，因此在计算机视觉领域中受到广泛关注，逐渐成为一个热点研究方向。

DaiP等人在“DaiP,JiR,WangH,etal.Cross-modalitypersonre-identificationwith generativeadversarialtraining[C]//IJCAI.2018,1(3):6.”公开了一种基于生成对抗训练的判别器来学习不同模式的判别特征表示，其结构是由一个深度卷积神经网络作为学习图像表示的生成器和一个模态分类器作为鉴别器，它试图区分RGB和红外图像模态，不足之处是当两种模式之间的外观差异很大时，学习很容易受到噪声样本的污染和不稳定。所有这些挑战导致鉴别性差的跨模态特征和不稳定的训练。

中国专利公开号CN116311384A，公开日2023-06-23，发明名称：基于中间模态和表征学习的跨模态行人重识别方法、装置，该专利公开了一种基于联合中间模态和表征学习的跨模态行人重识别方法，利用中间模态生成器将所述两种模态的原始图像映射到统一的特征空间,以生成中间模态图像，其不足之处是全局特征学习方法对背景杂波比较敏感，不能明确地处理模态差异。

发明内容

本发明的目的是针对上述现有技术的不足，本发明提供了一种基于图结构的跨模态行人重识别方法，在考虑模态内的信息与模态间的鉴别分析的同时，还增强对噪声样本的鲁棒性。

为实现上述目的，本发明采用的技术方案为：

一种基于图结构的跨模态行人重识别方法，包括以下步骤：

步骤S1、获取训练特征数据集，采用身份平衡抽样策略进行训练，从训练特征数据集中，随机抽取的n个不同身份中的行人，抽取出m个红外图像和m个可见光图像，在各个训练批次中产生K＝2mn个图像；

步骤S2、对步骤S1中获取的训练特征数据集，生成邻接矩阵从而构造一个无向图G；具体表达式如下：

其中l_i和l_j是两个图节点对应的单热标签，Ⅱ_k是单位矩阵，表示每个节点都连接自己，通过训练特征数据的单热标签之间的矩阵乘法，进行图构造的计算；

步骤S3、进行图注意力学习，学习节点i对于图中另一个节点j的重要性，并且是跨越两种模态之间的，具体公式如下：

e_ij＝a(W_i,W_j)

其中a是共享注意力机制，W_i和W_j表示节点i和j的权重矩阵，e_ij表示图特征中节点i对图特征中另一个节点j的重要性，允许每个图特征参与每个其他图特征。

步骤S4、采用模态内图结构中的多头注意力技术提高图注意力学习的准确性和稳定性，通过学习具有相同结构的多个注意力头h^l和注意力权重w^l，其中l＝1,2···,L，L是总注意力个数，并分别对它们进行优化。

进一步的，所述步骤S3中采用图注意力学习的具体步骤如下：

用表示输入节点特征，它们是池化层的输出，然后，通过公式计算图注意力系数/>

其中Γ是LeakyReLu操作，「，」是串联操作，h是将输入节点特征维度从原有的维度C降为新的维度d的变换矩阵，其中d设置为256，表示一个可学习的加权向量，用以衡量不同特征维度之间的重要性。通过充分利用了两种模态中所有图像之间的关系，使用相同身份的上下文信息从而加强表示效果。

进一步的，所述步骤S4中多头注意力技术具体步骤如下：

步骤S41、通过学习具有相同结构的多个h^l和w^l，其中l＝1,2···,L，L是总注意力个数，并分别对它们进行优化，连接多个头的输出后，图结构的注意力增强特征表示如下式所示：

其中表示图结构的注意力增强特征，φ是ELU激活函数，并引入一个单头结构的图注意力网络层，以更好地指导模态间图结构学习，最终输出节点特征由/>表示；

步骤S42、为了更有效地学习图注意力，我们采用负对数似然损失函数，其公式表示方法如下式所示：

与现有技术相比，本发明具有如下有益效果：

(1)本发明考虑了模态内的信息与模态间的鉴别分析，模态间的差异性有效减少，还增强对噪声样本的鲁棒性。

(2)本发明使用多头注意力技术为模态内和模态间图结构分配自适应权重，消除较大变化样本的负面影响，减少了模态差异，并使训练过程稳定、高效。

附图说明

图1是本发明一种基于图结构的跨模态行人重识别方法的网络结构图；

图2是计算注意力系数过程；

图3是在SYSU-MM01数据集上，当K和L取值不同时Rank-1和mAP的效果图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，一种基于图结构的跨模态行人重识别方法，包括以下步骤：

步骤S1、获取训练特征数据集，采用身份平衡抽样策略进行训练，从训练特征数据集中随机抽取的n个不同身份中的行人，抽取出m个红外图像和m个可见光图像，在各个训练批次中产生K＝2mn个图像；

步骤S2、对步骤S1中获取的训练特征数据集，采用下式，生成邻接矩阵从而构造一个无向图G；

其中l_i和l_j是两个图节点对应的单热标签，Ⅱ_k是单位矩阵，表示每个节点都连接自己，通过训练特征数据集的单热标签之间的矩阵乘法，进行图构造的计算；

步骤S3、进行图注意力学习，图注意力学习了节点i对于图中另一个节点j的重要性，并且是跨越两种模态之间的；

步骤S4、采用模态内图结构中的多头注意力技术提高图注意力学习的准确性和稳定性，通过学习具有相同结构的多个注意力头h^l和注意力权重w^l，其中l＝1,2···,L，L是总注意力个数，并分别对它们进行优化。

所述步骤S3中采用图注意力学习的具体步骤如下：

用表示输入节点特征，它们是池化层的输出，然后，如图2所示，通过公计算图注意力系数/>

其中Γ是LeakyReLu操作，「，」是串联操作，h是将输入节点特征维度从原有的维度C降为新的维度d的变换矩阵，其中d设置为256，表示一个可学习的加权向量，用以衡量不同特征维度之间的重要性。

所述步骤S4中多头注意力技术具体步骤如下：

步骤S41、通过学习具有相同结构的多个h^l和w^l，l＝1,2···,L，L是总注意力个数，并分别对它们进行优化，连接多个头的输出后，图结构的注意力增强特征表示如下式所示：

其中表示图结构的注意力增强特征，φ是ELU激活函数，并引入一个单头结构的图注意力网络层，以更好地指导模态间图结构学习，最终输出节点特征由/>表示；

步骤S42、采用负对数似然损失函数深化学习图注意力，其公式表示方法如下式所示：

最终可得到如图3所示的在SYSU-MM01数据集上，当K和L取值不同时Rank-1和mAP的效果图。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于图结构的跨模态行人重识别方法，其特征在于，包括以下步骤：

步骤S1、获取训练特征数据集，采用身份平衡抽样策略进行训练，从训练特征数据集中随机抽取n个不同身份中的行人，抽取出m个红外图像和m个可见光图像，在各个训练批次中产生K＝2mn个图像；

步骤S2、对步骤S1中获取的训练特征数据集进行处理，生成邻接矩阵从而构造一个无向图G；具体公式如下：

其中l_i和l_j是两个图节点对应的单热标签，Ⅱ_k是单位矩阵，表示每个节点都连接自己，通过训练特征数据集的单热标签之间的矩阵乘法，进行图构造的计算；

步骤S3、进行图注意力学习，学习节点i对于图中另一个节点j的重要性，并且是跨越两种模态之间的，具体公式如下：

e_ij＝a(W_i,W_j)

其中a是共享注意力机制，W_i和W_j表示节点i和j的权重矩阵，e_ij表示图特征中节点i对图特征中另一个节点j的重要性，允许每个图特征参与每个其他图特征；

步骤S4、采用模态内图结构中的多头注意力技术提高图注意力学习的数据精确度，通过学习具有相同结构的多个注意力头h^l和注意力权重w^l，其中l＝1,2···,L，L是总注意力个数，并分别对它们进行优化。

2.根据权利要求1所述的一种基于图结构的跨模态行人重识别方法，其特征在于：所述步骤S3中进行图注意力学习的具体步骤如下：

用表示输入节点特征，它们是池化层的输出，然后，通过公式计算图注意力系数/>

其中Γ是LeakyReLu操作，「，」是串联操作，h是将输入节点特征维度从原有的维度C降为新的维度d的变换矩阵，其中d设置为256，表示一个可学习的加权向量。

3.根据权利要求1所述的一种基于图结构的跨模态行人重识别方法，其特征在于：步骤S4中多头注意力技术的具体步骤如下：

步骤S41、通过学习具有相同结构的多个h^l和w^l，其中l＝1,2···,L，L是总注意力个数，并分别对它们进行优化，连接多个头的输出后，图结构的注意力增强特征表示如下式所示：

其中表示图结构的注意力增强特征，φ是ELU激活函数，并引入一个单头结构的图注意力网络层，指导模态间图结构学习；最终输出节点特征由/>表示；

步骤S42、采用负对数似然损失函数深化学习图注意力，如下式所示：