CN113657561A - 一种基于多任务解耦学习的半监督夜间图像分类方法 - Google Patents

Abstract

本发明公开了一种基于多任务解耦学习的半监督夜间图像分类方法，将白天带标签的样本与夜间无标签的样本，一同输入特征提取网络，其中白天样本提取的特征向量输入分类网络头，采用交叉熵损失函数进行监督；夜间样本提取的特征向量，首先输入分类网络头获得伪标签，再根据伪标签构造正负样本对后输入自监督网络头，采用角度对比损失函数进行监督训练；完成模型多任务训练后，将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头，进行迭代自蒸馏学习，最终实现夜间数据集可以有效分类的效果。

Description

一种基于多任务解耦学习的半监督夜间图像分类方法

技术领域

本发明涉及计算机视觉识别技术领域中的多任务学习，尤其是涉及一种基于多任务解耦学习的半监督夜间图像分类方法。

背景技术

领域迁移是计算机视觉中一个亟待解决的问题，在该问题的定义中，源域和目标域的任务相同，数据不同但相关。这类学习的核心任务是解决两个域数据分布的差异问题。目前通用图像识别算法是在有监督的数据集上训练而成，其在类似分布的图像上已达到较高的性能。然而当迁移到其他目标域的图像时，性能往往会出现极具下降，这是源域和目标域之间的数据分布差异造成的。比如当基于白天数据集训练的网络预测夜间图像时，识别的效果往往会出现大幅降低。

众所周知，目前存在大量开源的白天图像分类数据集，如PASCAL VOC，但是带标签的夜间图像分类数据集却十分缺乏。因此，我们希望利用白天图像的数据集训练网络，并使该网络可以有效迁移到夜间图像分类上，从而提高夜间图像分类的性能。

自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而学习到对下游任务有价值的表征。这种学习方法被证明可以捕捉到图像的判别性特征，对于缺乏标签数据的任务来说是一个有效的解决方法。对大量无标签的夜间图像进行自监督学习，可以使网络学习到夜间图像的特征分布，从而提高夜间图像分类的准确率。

因此，通过将夜间图像分类的任务解耦为白天图像的有监督分类任务和夜间图像的自监督任务，并将两个任务进行多任务学习，可以使模型既具备提取各类判别性特征的能力，又能适应夜间图像的数据分布。然而多任务学习中，各个任务之间存在竞争关系，如何使两个任务相互促进，而不是相互制约，需要设计有效的损失函数。

近年来，知识蒸馏成为一个热门的话题。知识蒸馏通过引入与教师网络相关的软目标作为损失的一部分，以诱导学生网络的训练，从而实现知识迁移。自蒸馏的定义，是自己向自己学习，以与自己相关的软目标，诱导下一代网络的训练。这种方法通常可以增强网络的鲁棒性，避免过拟合，因此可适用于进一步提升模型在夜间图像的性能。

发明内容

为解决现有技术的不足，实现提高夜间图像识别性能的目的，本发明采用如下的技术方案：

一种基于多任务解耦学习的半监督夜间图像分类方法，包括如下步骤：

S1，构建带标签的白天图像分类数据集D；构建夜间图像分类数据集A，其中夜间图像只有部分样本带有标签，其余样本无类别标签；

S2，将白天图像数据集中有标签的样本与夜间图像数据集中无标签的样本，一同输入特征提取网络，输出白天图像特征向量和夜间图像特征向量；所述特征提取网络为深度残差卷积网络；

S3，在特征提取网络层后接入一个多任务学习网络，该网络由一个有监督的分类网络头和一个自监督网络头构成；

S4，对于白天图像特征向量，通过分类网络头进行

损失监督训练；对于夜间图像 特征向量，通过同一分类网络头预测其类别作为伪标签，并根据伪标签构造夜间图像正负 样本对；分类网络头由一个全局平均池化层和全连接层构成；

S5，自监督网络头根据分类网络头的权重参数，对夜间图像正负样本对进行归一 化操作，得到归一化后的特征向量，并采用对比损失

指导特征空间的学习，使正样本相 似，负样本有效区分；

S6，将所述损失监督训练与所述对比损失进行共同监督训练；

S7，将夜间图像数据集中有标签的样本，输入训练完成的特征提取网络与分类网 络头，固定特征提取网络的权重，通过分类网络头进行

损失监督训练，使分类网络头适应 夜间图像的特征分布；进入自蒸馏学习阶段，进行多次迭代更新，利用前一次

损失监督训 练的分类预测结果作为软目标，与真实标签一同参与监督；

S8，在推理阶段，将待测夜间图像输入所述训练完成的特征提取网络与分类网络头，输出图像分类结果。

进一步地，所述S4中，将白天图像特征向量输入分类网络头，输出白天样本类别，通过交叉熵损失函数进行监督：

其中，N表示白天图像数据集中有标签的样本总个数，y ⁱ 表示第i个样本的真实标 签，

表示第i个样本的类别预测概率值。

进一步地，所述S4中，将夜间图像特征向量输入分类网络头进行计算，得到预测的伪标签，并根据伪标签构造夜间图像正负样本对{k,k ₊,k _-} _m ，k ₊为k的正样本，与k属于同一标签，k _-为k的负样本，与k属于不同标签，m表示样本对个数。

进一步地，所述S5中将正负样本特征对进行角度归一化：

其中，x表示输入的特征向量，||x||表示特征向量x的模长，y表示向量x所属的标签，W_y表示分类网络头中全连接层第y行的参数；将正负样本对{k,k ₊,k _-} _m 中的每个样本特征向量进行角度归一化计算，得到归一化后的特征向量{Λk,Λk ₊,Λk _-} _m ：

Λk=Λ(k,W,y)

Λk ₊=Λ(k ₊,W,y)

Λk _-=Λ(k _-,W,y)。

进一步地，所述S5中，采用对比损失指导特征空间的学习，使正样本相似，负样本有效区分，采用如下损失函数：

其中，y^k,y^k+,y^k-分别表示一个样本对中样本k,k ₊,k _-的真实标签，𝜂是超参数，表示 不同类样本之间的距离最小阈值，

表示相似度函数。

进一步地，采用余弦相似度函数对归一化后的特征向量{Λk,Λk ₊,Λk _-} _m 进行相似度比较：

其中，A _i 、B _i 分别代表向量A和B的各分量，其中正样本的相似度

为1，负 样本的相似度

为-1。

进一步地，所述S6的总损失函数为：

当训练epoch达到指定次数后，停止训练。

进一步地，所述S7中，将夜间图像数据集中有标签的样本，输入训练完成的特征提取网络与分类网络头，固定特征提取网络的权重，利用交叉熵损失函数对分类网络头进行监督：

其中，N’表示夜间图像数据集中有标签的样本总个数，y ⁱ表示第i个样本的真实标 签，

表示第i个样本的类别预测概率值。

进一步地，所述S7中，进入自蒸馏学习阶段，进行多次迭代更新，利用前一次

损 失监督训练的分类预测结果作为软目标

，与真实标签y一同参与监督：

其中，λ表示软目标损失所占的比重，经多次迭代更新后，完成自蒸馏训练。

一种基于多任务解耦学习的半监督夜间图像分类方法，将待测图像输入所述训练完成的特征提取网络与分类网络头，输出图像分类结果。

本发明的优势和有益效果在于：

本发明首次提出将多任务学习与知识蒸馏结合赋能于夜间图像分类，利用夜间无标签图像进行自监督学习，使网络在学习白天图像类别特征的同时，自适应地学习到夜间图像的特征分布；通过角度归一化损失函数进行自监督学习，减少自监督损失与有监督损失之间的竞争关系；通过自蒸馏的方法，利用夜间少量带标签的数据进行蒸馏学习，可以避免网络过拟合到目标域而失去泛化能力，同时又能适当地将模型进一步适应到夜间数据中。

附图说明

图1是本发明方法流程示意图。

图2是本发明中多任务解耦学习阶段的示意图。

图3是本发明中正负样本对的示例图。

图4是本发明中自蒸馏学习阶段的示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明通过结合夜间数据的自监督学习与白天数据的有监督学习，训练出具备域自适应能力的特征提取网络，并通过夜间数据集中少量带标签样本对图像识别网络进行进一步的自蒸馏学习，使分类网络头向夜间数据分布特征迁移，从而提高夜间图像识别性能。

如图1、图2所示，本发明的一种基于多任务解耦学习的半监督夜间图像分类方法，包括以下步骤：

步骤1：构建带标签的白天图像分类数据集，构建夜间图像分类数据集，其中只有少量夜间样本带有标签。本实施例采用开源数据集Exclusively Dark（ExDARK）中的12个类别，分别为自行车、船、瓶子、公交车、轿车、猫、椅子、杯子、狗、摩托车、人和桌子。对于上述12个类别，从COCO公开数据集中分别选取对应图像各800张，作为白天图像分类数据集D。此外，将ExDARK数据集分为3部分：从每个类别中分别抽取400张图像，构建无监督夜间图像数据集A；从每个类别中分别抽取10张图像作为少量带标签的夜间图像数据集T；最后剩下的图像作为夜间图像分类性能验证集V，以评估算法有效性；

步骤2：将白天数据集D中带标签的图像样本与夜间数据集A中无标签的图像样本， 一同输入特征提取网络，输出各样本数据的特征向量。特征提取网络为深度残差卷积网络， 本实施例中，采用ResNet50网络，在conv5_x层输出维度为2048的特征向量。网络对所有图 像样本采用

的输入尺寸，并使用随机裁剪、水平翻转的图像增强技术来扩增样本 多样性。每次输入的白天图像样本batch size为32，夜间图像样本batch_size为32，采用8 卡GPU并行训练；

步骤3，在特征提取网络层后接入一个多任务解耦学习网络，该网络由一个有监督的分类网络头和一个自监督网络头构成；

步骤4：构建分类网络头，该分类网络头由一个全局平均池化层和一个全连接层构成。本实施例采用average_pool层和一个维度为[2048，12]的全连接层，其中12是输出的类别个数；

步骤4.1：将白天样本经过步骤2提取的特征向量输入分类网络头，选择最高概率 对应的类别作为该特征点的类别预测结果，采用交叉熵损失函数进行监督，其计算公式

如下：

N表示样本总个数，y ⁱ 表示第i个样本的真实标签，

表示第i个样本的类别预测概 率值；

步骤4.2：将夜间样本经过步骤2提取的特征向量输入分类网络头，获得该样本的伪标签，并根据伪标签构造正负样本对{k,k ₊,k _-} _m ：k ₊为k的正样本，即与k属于同一标签；k _-为k的负样本，即与k属于不同标签，m表示样本对个数。具体构造方法为，在32个夜间样本向量中，首先随机选择一个类别C1，将该类别中的样本随机两两配对，得到一组正样本对集合C1{…}，从其他类别中随机挑选1个样本与C1{…}中的正样本对进行组合，得到多个正负样本对；然后从剩余的其他类别中选取一个类别C2，并重复以上操作，直到得到16个正负样本对。对于不足16个的极端情况，即所有样本均来自同一个类别，此次则无自监督网络的输入。因此m在大多数情况下取值16。图3为本实施例中一个正负样本对示例；

步骤5：构建自监督网络头：将步骤3.2获得的正负样本对{k,k ₊,k _-} _m 以及分类网络头的权重参数W输入自监督网络头，首先将样本特征进行角度归一化，其计算公式如下：

x表示输入的特征向量，||x||表示特征向量x的模长，y表示向量x所属的标签，W_y表示分类网络头中全连接层第y行的参数。角度归一化处理可以缓解多任务学习任务中，附加任务与主要任务之间的竞争关系，即减少自监督任务对有监督任务的负面影响；

将正负样本对{k,k ₊,k _-} _m 中的每个样本特征向量进行角度归一化计算，得到归一化后的特征向量{Λk,Λk ₊,Λk _-} _m ：

Λk=Λ(k,W,y)

Λk ₊=Λ(k ₊,W,y)

Λk _-=Λ(k _-,W,y)

步骤5.1：采用余弦相似度函数对{Λk,Λk ₊,Λk _-} _m 进行相似度比较，其相似度函 数

计算公式如下：

A _i 、B _i 分别代表向量A和B的各分量，其中正样本的相似度

应为1，负样本 的相似度

应为-1；

步骤5.2：采用对比损失指导特征空间的学习，使正样本相似，负样本有效区分，其 损失函数

计算公式如下：

y^k,y^k+,y^k-分别表示一个样本对中样本k,k ₊,k _-的真实标签，𝜂是超参数，表示不同类样本之间的距离应该超过该值；

步骤6：利用步骤4.1与步骤5.2的损失函数，对特征提取网络与多任务解耦学习网络进行共同监督训练，其总损失函数为：

本实施例中，采用SGD优化器，其初始学习率为0.01，当训练epoch达到70时，将学习率降至0.001。当训练epoch达到100次后，停止训练；

步骤7：将夜间数据集中少量带标签的样本输入训练完成的特征提取网络与分类网络头，固定特征提取网络的权重，利用交叉熵损失函数对分类网络头进行进一步监督训练，使分类网络头适应夜间图像特征的数据分布，其计算公式如下：

N’表示样本总个数，y ⁱ表示第i个样本的真实标签，

表示第i个样本的类别预测概 率值；

步骤7.1：如图4所示，在自蒸馏学习阶段，利用前一次的分类预测结果作为软目标

，与真实标签y一同参与监督，其损失函数

的计算公式如下：

λ表示软目标损失所占的比重，本实施例中λ=0.5时，模型性能最佳。基于损失函数

对网络进行反向传播，学习率为0.005，,通过批量梯度下降法不断更新网络参数；

步骤7.2：重复步骤6.1，经过10次迭代更新后，模型前后两次的损失相差小于0.1，完成自蒸馏网络的训练；

步骤8：推理阶段，将待测的夜间图像输入特征提取网络与分类网络头，输出图像分类结果。本实例训练与推理阶段皆在GPU服务器GEFORCE RTX 2080 Ti上实现。

本发明通过将夜间图像分类的任务解耦为白天图像的有监督分类任务和夜间图像的自监督任务，进行多任务学习后训练出具备域自适应能力的特征提取网络，并通过夜间少量带标签样本对图像识别网络进行进一步的自蒸馏学习，使分类网络头学习到的表征向夜间图像特征迁移，从而提高夜间图像识别性能。本实施例采用的验证数据集V在基于ResNet50网络下分类性能达到83.8%，采用本发明的算法可使分类性能达到89.2%，相较于baseline提高了5.4%的准确率，充分体现出本发明的实际效益与应用价值。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (9)

1.一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于包括如下步骤：

S1，构建白天图像分类数据集与夜间图像分类数据集，其中白天图像分类数据集均为有类别标签的样本图像，夜间图像分类数据集中只有部分样本图像带有标签；

S2，将白天图像分类数据集中有标签的样本图像与夜间图像分类数据集中无标签的样本图像，一同输入特征提取网络，输出白天图像特征向量和夜间图像特征向量；

S3，在特征提取网络层后接入一个多任务解耦学习网络，该网络由一个有监督的分类网络头和一个自监督网络头构成；

S4，对于白天图像特征向量，通过分类网络头进行

损失监督训练；对于夜间图像特征 向量，通过分类网络头预测其类别作为伪标签，并根据伪标签构造夜间图像正负样本对；

S5，自监督网络头根据分类网络头的权重参数对夜间图像正负样本对进行归一化操 作，得到归一化后的特征向量，并采用对比损失

指导特征空间的学习，使正样本相似，负 样本有效区分；

S6，将所述分类网络头与所述自监督网络头进行多任务训练；

S7，将夜间图像数据集中有标签的样本，输入训练完成的特征提取网络与分类网络头， 固定特征提取网络的权重，通过分类网络头进行

损失监督训练，使分类网络头适应夜间 图像的特征分布；进入自蒸馏学习阶段，对分类网络头的权重参数进行多次迭代更新，利用 前一次

损失监督训练的分类预测结果作为软目标，与真实标签一同参与监督；

S8，在推理阶段，将待测夜间图像输入所述训练完成的特征提取网络与分类网络头，输出图像分类结果。

2.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S4中，将白天图像特征向量输入分类网络头，输出预测的样本类别，通过交叉熵损失函数进行监督：

其中，N表示白天数据集中有标签的样本总个数，y ⁱ 表示第i个样本的真实标签，

表示 第i个样本的类别预测概率值。

3.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S4中，将夜间图像特征向量输入分类网络头进行计算，得到预测的伪标签，并根据伪标签构造正负样本对{k,k ₊,k _-} _m ，k ₊为k的正样本，与k属于同一标签，k _-为k的负样本，与k属于不同标签，m表示样本对个数。

4.根据权利要求3所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S5中将正负样本特征对进行角度归一化：

其中，x表示输入的特征向量，||x||表示特征向量x的模长，y表示向量x所属的标签，W_y表示分类网络头中全连接层第y行的参数；将正负样本对{k,k ₊,k _-} _m 中的每个样本特征向量进行角度归一化计算，得到归一化后的特征向量{Λk,Λk ₊,Λk _-} _m ：

Λk=Λ(k,W,y)

Λk ₊=Λ(k ₊,W,y)

Λk _-=Λ(k _-,W,y)。

5.根据权利要求4所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S5中，采用如下对比损失函数：

其中，y^k,y^k+,y^k-分别表示一个样本对中样本k,k ₊,k _-的真实标签，𝜂是超参数，表示不同 类样本之间的距离最小阈值，

表示相似度函数。

6.根据权利要求5所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于采用余弦相似度函数对归一化后的特征向量{Λk,Λk ₊,Λk _-} _m 进行相似度比较：

其中，A _i 、B _i 分别代表向量A和B的各分量，其中正样本的相似度

为1，负样本 的相似度

为-1。

7.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S6的总损失函数为：

当训练达到指定次数后，停止训练。

8.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S7中，将夜间图像数据集中有标签的样本，输入训练完成的特征提取网络与分类网络头，固定特征提取网络的权重，利用交叉熵损失函数对分类网络头进行监督：

其中，N’表示夜间图像数据集中有标签的样本总个数，y ⁱ表示第i个样本的真实标签，

表示第i个样本的类别预测概率值。

9.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特 征在于所述S7中，进入自蒸馏学习阶段，进行多次迭代更新，利用前一次

损失监督训练的 分类预测结果作为软目标

，与真实标签y一同参与监督：

其中，λ表示软目标损失所占的比重，经多次迭代更新后，完成自蒸馏训练。

Images