CN114299355A - 模型训练方法、装置及计算机存储介质 - Google Patents

Abstract

本公开提供一种模型训练方法、装置及计算机存储介质，包括构建目标模型的分类分枝和嵌入分枝；将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝执行分类预测，获得所述分类分枝的分类损失函数；将基于无标签的第二原图样本生成的任意两个第二训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的对比损失函数；根据所述分类损失函数、所述对比损失函数，训练所述目标模型。据此，本公开可以降低数据标注成本，并扩充样本数据的训练数量，以提高模型预测结果的稳定性和泛化性。

Description

模型训练方法、装置及计算机存储介质

技术领域

本公开实施例涉及人工智能技术领域，特别涉及一种模型训练方法、装置及计算机存储介质。

背景技术

目前，在训练用于图像分类的深度学习模型时，通常使用的是监督学习的方法，此方法需依赖于大量标注数据以作为数据集，从而实现模型的训练。

然而，目标的数据标注大都是基于人力实现的，不仅存在标注效率较低，且易出错的问题，亦会导致较高的模型训练成本。

有鉴于此，亟需一种可降低训练成本的模型训练方法。

发明内容

鉴于上述问题，本公开提供一种模型训练方法、装置及计算机存储介质，可降低模型训练成本。

本公开第一方面提供一种模型训练方法，包括构建目标模型的分类分枝和嵌入分枝；将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝执行分类预测，获得所述分类分枝的分类损失函数；将基于无标签的第二原图样本生成的任意两个第二训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的对比损失函数；根据所述分类损失函数、所述对比损失函数，训练所述目标模型。

本公开第二方面提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述第一方面所述的模型训练方法中各步骤的各指令。

本公开第三方面提供一种模型训练装置，包括：构建模块，用于构建目标模型的分类分枝和嵌入分枝；训练模块，用于将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝执行分类预测，获得所述分类分枝的分类损失函数，并将基于无标签的第二原图样本生成的任意两个第二训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的对比损失函数，且根据所述分类损失函数、所述对比损失函数，训练所述目标模型。

综上所述，本公开实施例提供的模型训练方案，设计了一种基于双分枝结构的半监督式模型训练方法，可结合使用标注样本与未标注样本，执行模型的训练任务，不仅可降低数据标注成本，亦可大量扩充模型的训练数据集，以提高模型预测结果的稳定性和泛化性。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本公开第一实施例的模型训练方法的流程示意图。

图2为本公开第二实施例的模型训练方法的流程示意图。

图3为本公开第三实施例的模型训练方法的流程示意图。

图4为本公开第四实施例的模型训练方法的流程示意图。

图5为本公开第五实施例的模型训练方法的流程示意图。

图6为本公开第七实施例的模型训练装置的架构示意图。

元件标号

600：模型训练装置；602：构建模块；604：训练模块；610：目标模型；612：分类分枝；614：嵌入分枝。

具体实施方式

为了使本领域的人员更好地理解本公开实施例中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本公开实施例一部分实施例，而不是全部的实施例。基于本公开实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本公开实施例保护的范围。

呈上如背景技术部分所述，现在的模型训练大都需要大量的标注数据来实现，导致模型训练成本较高的问题。有鉴于此，本公开提供一种改进的模型训练方案，可减少模型训练过程中对于标注数据的依赖性。

以下将结合各附图详细说明书跟公开的各具体实施例的实现。

第一实施例

图1示出了本公开第一实施例的模型训练方法的流程示意图。如图所示，本实施例主要包括以下步骤：

步骤S102,构建目标模型的分类分枝和嵌入分枝。

可选地，目标模型例如为图像分类预测模型。

可选地，嵌入分枝可包括两层全连接层。

可选地，分类分枝可包括线性分类器。

步骤S104，将基于有标签的第一原图样本生成的第一训练样本输入分类分枝执行分类预测，获得分类分枝的分类损失函数。

可选地，可针对有标签的第一原图样本执行多次增强处理，获得对应于各次增强处理的各第一训练样本。

于本实施例中，针对有标签的第一原图样本执行各次增强处理后，所获得的各第一训练样本为不完全相同。较佳地，所生成的各第一训练样本为完全不同。

可选地，可利用分类分枝针对第一训练样本执行分类预测，获得第一训练样本的预测分类标签，并基于第一训练样本的真实分类标签和预测分类标签，获得分类分枝的分类损失函数。

步骤S106，将基于无标签的第二原图样本生成的任意两个第二训练样本输入嵌入分枝中执行对比预测，获得嵌入分枝的对比损失函数。

可选地，可针对无标签的第二原图样本执行多次增强处理，获得对应于各次增强处理的各第二训练样本。

于本实施例中，针对无标签的第二原图样本执行各次增强处理后，所获得的各第二训练样本可为不完全相同，较佳地，所生成的各第二训练样本为完全不同。

可选地，可利用嵌入分枝根据所输入的两个第二训练样本执行对比预测，获得两个第二训练样本的比对结果，并基于所述比对结果获得嵌入分枝的对比损失函数。

于本实施例中，针对步骤S104和步骤S106的执行顺序没有限制，可先后执行或同时执行。

步骤S108，根据分类损失函数、对比损失函数，训练目标模型。

具体地，可将分类分枝的分类损失函数与嵌入分枝的对比损失函数相加，并基于加总的损失函数训练目标模型。

综上所述，本实施例的模型训练方法通过构建分类分枝和嵌入分枝，以利用分类分枝针对有标签的训练样本执行分类预测，并利用嵌入分枝针对无标签的训练样本执行对比预测，借由此双分枝的模型架构设计，可以结合使用有标注数据与无标注数据以训练目标模型，不仅可减少训练数据的人工标注成本，以降低模型训练成本，亦可大量扩充无标注的训练数据，以提高模型预测结果的稳定性与泛化性。

第二实施例

图2示出了本公开第二实施例的模型训练方法的流程示意图。本实施例为上述步骤S104的具体实施方案，如图所示，本实施例主要包括以下步骤：

步骤S202,将基于第一原图样本生成的第一训练样本输入分类分枝中执行分类预测，获得第一训练样本的类别预测值。

可选地，可利用卷积神经网络针对第一训练样本执行特征提取，获取第一训练样本的第一提取特征，以供分类分枝基于第一提取特征，针对第一训练样本执行分类预测。

步骤S204，根据第一训练样本的类别预测值、第一训练样本的真实类别、第一预设损失函数换算规则，获得分类分枝的分类损失函数。

于本实施例中，第一预设损失函数换算规则表示为：

其中，L^class表示分类分枝的分类损失函数，i表示第i个第一训练样本，c表示第c个类别，M表示类别的数量；y_ic表示第i个第一训练样本的真实类别，其中，若第i个第一训练样本的真实类别为c，则c的取值为1，若第i个第一训练样本的真实类别非为c，则c的取值为0；p_ic表示第i个第一训练样本属于第c个类别的类别预测值。

第三实施例

图3示出了本公开第三实施例的模型训练方法的流程示意图。本实施例主要示出了上述步骤S106的具体实施方案。如图所示，本实施例主要包括以下步骤：

步骤S302,将基于第二原图样本生成的任意两个第二训练样本输入嵌入分枝中执行对比预测，获得两个第二训练样本的比对结果。

可选地，可利用卷积神经网络针对两个第二训练样本执行特征提取，获取两个第二训练样本对应的两个第二提取特征，以供嵌入分枝基于两个第二提取特征，针对两个第二训练样本执行对比预测。

步骤S304,根据两个第二训练样本的比对结果、第二预设损失函数换算规则，获得两个第二训练样本的样本对比损失值。

于本实施例中，第二预设损失函数换算规则表示为：

其中，L(i,j)表示第i个第二训练样本与第j个第二训练样本的样本对比损失值，k表示第k个第二训练样本，2N表示基于第二原图样本生成的第二训练样本的数量；S_i,j表示第i个第二训练样本与第j个第二训练样本之间的相似值；S_i,k表示第i个第二训练样本与第k个第二训练样本之间的相似值，其中，k不等于i。

步骤S306,基于样本对比损失值，获得嵌入分枝的对比损失函数。

第四实施例

图4示出了本公开第四实施例的模型训练方法的流程示意图。本实施例为上述步骤S106的替换实施方案。如图所示，本实施例主要包括以下步骤：

步骤S402，将基于有标签的第一原图样本生成的任意两个第一训练样本输入嵌入分枝中执行对比预测，获得嵌入分枝的第一对比损失子函数。

具体地，基于两个第一训练样本的对比预测结果，获得嵌入分枝的第一对比损失子函数的具体实施手段可参考上述第三实施例中的各处理步骤，本实施例不再赘述。

步骤S404,将基于无标签的第二原图样本生成的任意两个第二训练样本输入嵌入分枝中执行对比预测,获得嵌入分枝的第二对比损失子函数。

具体地，基于两个第二训练样本的对比预测结果，获得嵌入分枝的第二对比损失子函数的具体实施手段，可参考上述第三实施例中的各处理步骤，本实施例不再赘述。

步骤S406,根据第一对比损失子函数、第二对比损失子函数，获得嵌入分枝的对比损失函数。

第五实施例

图5示出了本公开第五实施例模型训练方法的流程示意图。本实施例为上述步骤S108的具体实施方案。如图所示，本实施例主要包括以下步骤：

步骤S502,根据分类损失函数、对比损失函数、预设函数加和规则，获得加和损失函数。

于本实施例中，预设函数加和规则表示为：

L＝λL^class+(1-λ)L^sim

其中，L表示加和损失函数，λ为权重参数，L^class表示分类分枝的分类损失函数，L^sim表示嵌入分枝的对比损失函数。

步骤S504，根据加和损失函数训练目标模型。

于一实施例中，可当加和损失函数收敛至稳定值时，代表目标模型的训练完成。

于另一实施例中，可设定第一训练样本和第二训练样本的训练数量，并当所有第一训练样本和第二训练样本均预测完成时，代表目标模型的训练完成。

于本实施例中，当判断目标模型训练完成后，可移除嵌入分枝，并输出具有分类分枝的目标模型，以用于后续的分类预测推理。

第六实施例

本公开第六实施例提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述第一实施例至第五实施例中任一实施例所述的模型训练方法中各步骤的各指令。

第七实施例

图6示出了本公开第七实施例的模型训练装置的架构示意图。如图所示，本实施例的模型训练装置600包括：构建模块602、训练模块604。

构建模块602用于构建目标模型610的分类分枝612和嵌入分枝614。

训练模块604用于将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝612执行分类预测，获得所述分类分枝612的分类损失函数，并将基于无标签的第二原图样本生成的任意两个第二训练样本输入所述嵌入分枝614中执行对比预测，获得所述嵌入分枝614的对比损失函数，且根据所述分类损失函数、所述对比损失函数，训练所述目标模型610。

可选地，训练模块604还用于针对有标签的所述第一原图样本执行多次增强处理，获得对应于各次所述增强处理的各所述第一训练样本；针对无标签的所述第二原图样本执行多次增强处理，获得对应于各次所述增强处理的各第二训练样本。

可选地，针对有标签的所述第一原图样本执行各次所述增强处理后，所获得的各所述第一训练样本为不完全相同，或者完全不同。

可选地，针对无标签的所述第二原图样本执行各次所述增强处理后，所获得的各所述第二训练样本为不完全相同，或者完全不同。

可选地，训练模块604还用于将基于所述第一原图样本生成的所述第一训练样本输入所述分类分枝612中执行分类预测，获得所述第一训练样本的类别预测值；根据所述第一训练样本的所述类别预测值、所述第一训练样本的真实类别、第一预设损失函数换算规则，获得所述分类分枝612的所述分类损失函数；所述第一预设损失函数换算规则表示为：

其中，所述L^class表示所述分类损失函数，所述i表示第i个所述第一训练样本，所述c表示第c个类别，所述M表示所述类别的数量，所述y_ic表示第i个所述第一训练样本的所述真实类别，其中，若第i个所述第一训练样本的所述真实类别为所述c，则所述c的取值为1，若第i个所述第一训练样本的所述真实类别非为所述c，则所述c的取值为0，所述p_ic表示第i个所述第一训练样本属于第c个类别的所述类别预测值。

可选地，训练模块604还用于将基于所述第二原图样本生成的任意两个所述第二训练样本输入所述嵌入分枝614中执行对比预测，获得所述两个第二训练样本的比对结果；根据所述两个第二训练样本的比对结果、第二预设损失函数换算规则，获得所述两个第二训练样本的样本对比损失值；基于所述样本对比损失值，获得所述嵌入分枝614的所述对比损失函数；所述第二预设损失函数换算规则表示为：

其中，所述L(i,j)表示第i个所述第二训练样本与第j个所述第二训练样本的所述样本对比损失值，所述k表示第k个所述第二训练样本，所述2N表示基于所述第二原图样本生成的所述第二训练样本的数量；所述S_i,j表示第i个所述第二训练样本与第j个所述第二训练样本之间的相似值；所述S_i,k表示第i个所述第二训练样本与第k个所述第二训练样本之间的相似值。

可选地，训练模块604还用于将基于有标签的所述第一原图样本生成的任意两个所述第一训练样本输入所述嵌入分枝614中执行对比预测，获得所述嵌入分枝614的第一对比损失子函数；将基于无标签的所述第二原图样本生成的任意两个所述第二训练样本输入所述嵌入分枝614中执行对比预测,获得所述嵌入分枝614的第二对比损失子函数；根据所述第一对比损失子函数、所述第二对比损失子函数，获得所述嵌入分枝614的所述对比损失函数。

可选地，训练模块604还用于根据所述分类损失函数、所述对比损失函数、预设函数加和规则，获得加和损失函数；根据所述加和损失函数训练所述目标模型610；所述预设函数加和规则表示为：

L＝λL^class+(1-λ)L^sim

其中，所述L表示加和损失函数，所述λ为权重参数，所述L^class表示所述分类损失函数，所述L^sim表示所述对比损失函数。

可选地，训练模块604还用于利用卷积神经网络针对所述第一训练样本执行特征提取，获取所述第一训练样本的第一提取特征，并针对所述两个第二训练样本执行特征提取，获取所述两个第二训练样本对应的两个第二提取特征；提供所述分类分枝612基于所述第一提取特征，针对所述第一训练样本执行分类预测；提供所述嵌入分枝614基于所述两个第二提取特征，针对所述两个第二训练样本执行对比预测。

可选地，构建模块602还用于在所述目标模型610训练完成后，移除所述嵌入分枝614，并输出具有所述分类分枝612的所述目标模型610。

可选地，所述嵌入分枝614包括两层全连接层。

综上所述，本公开各实施例提供的模型训练方法、装置及计算机存储介质，设计了一种双分枝的半监督的训练机制，可以同时使用已标注和未标注的训练数据集来进行模型训练任务，不仅可减少训练数据的标注成本，以降低模型训练成本，且由于未经标注的训练数据易于获得，因此，可大量扩充模型的训练数据量，从而保证模型的预测效果和泛化性。

最后应说明的是：以上实施例仅用以说明本公开实施例的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (12)

1.一种模型训练方法，其特征在于，包括：

构建目标模型的分类分枝和嵌入分枝；

将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝执行分类预测，获得所述分类分枝的分类损失函数；

将基于无标签的第二原图样本生成的任意两个第二训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的对比损失函数；以及

根据所述分类损失函数、所述对比损失函数，训练所述目标模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：

针对有标签的所述第一原图样本执行多次增强处理，获得对应于各次所述增强处理的各所述第一训练样本；

针对无标签的所述第二原图样本执行多次增强处理，获得对应于各次所述增强处理的各第二训练样本。

3.根据权利要求2所述的模型训练方法，其特征在于，

针对有标签的所述第一原图样本执行各次所述增强处理后，所获得的各所述第一训练样本为不完全相同，或者完全不同；

针对无标签的所述第二原图样本执行各次所述增强处理后，所获得的各所述第二训练样本为不完全相同，或者完全不同。

4.根据权利要求1所述的模型训练方法，其特征在于，所述将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝执行分类预测，获得所述分类分枝的分类损失函数包括：

将基于所述第一原图样本生成的所述第一训练样本输入所述分类分枝中执行分类预测，获得所述第一训练样本的类别预测值；

根据所述第一训练样本的所述类别预测值、所述第一训练样本的真实类别、第一预设损失函数换算规则，获得所述分类分枝的所述分类损失函数；

所述第一预设损失函数换算规则表示为：

其中，所述L^class表示所述分类损失函数，所述i表示第i个所述第一训练样本，所述c表示第c个类别，所述M表示所述类别的数量，所述y_ic表示第i个所述第一训练样本的所述真实类别，其中，若第i个所述第一训练样本的所述真实类别为所述c，则所述c的取值为1，若第i个所述第一训练样本的所述真实类别非为所述c，则所述c的取值为0，所述p_ic表示第i个所述第一训练样本属于第c个类别的所述类别预测值。

5.根据权利要求1所述的模型训练方法，其特征在于，所述将基于无标签的第二原图样本生成的任意两个第二训练样本，输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的对比损失函数包括：

将基于所述第二原图样本生成的任意两个所述第二训练样本输入所述嵌入分枝中执行对比预测，获得所述两个第二训练样本的比对结果；

根据所述两个第二训练样本的比对结果、第二预设损失函数换算规则，获得所述两个第二训练样本的样本对比损失值；

基于所述样本对比损失值，获得所述嵌入分枝的所述对比损失函数；

所述第二预设损失函数换算规则表示为：

其中，所述L(i，j)表示第i个所述第二训练样本与第j个所述第二训练样本的所述样本对比损失值，所述k表示第k个所述第二训练样本，所述2N表示基于所述第二原图样本生成的所述第二训练样本的数量；所述S_i，j表示第i个所述第二训练样本与第j个所述第二训练样本之间的相似值；所述S_i，k表示第i个所述第二训练样本与第k个所述第二训练样本之间的相似值。

6.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：

将基于有标签的所述第一原图样本生成的任意两个所述第一训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的第一对比损失子函数；

将基于无标签的所述第二原图样本生成的任意两个所述第二训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的第二对比损失子函数；

根据所述第一对比损失子函数、所述第二对比损失子函数，获得所述嵌入分枝的所述对比损失函数。

7.根据权利要求1或6所述的模型训练方法，其特征在于，所述根据所述分类损失函数、所述对比损失函数，训练所述目标模型包括：

根据所述分类损失函数、所述对比损失函数、预设函数加和规则，获得加和损失函数；

根据所述加和损失函数训练所述目标模型；

所述预设函数加和规则表示为：

L＝λL^class+(1-λ)L^sim

其中，所述L表示加和损失函数，所述λ为权重参数，所述L^class表示所述分类损失函数，所述L^sim表示所述对比损失函数。

8.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：

利用卷积神经网络针对所述第一训练样本执行特征提取，获取所述第一训练样本的第一提取特征，并针对所述两个第二训练样本执行特征提取，获取所述两个第二训练样本对应的两个第二提取特征；

提供所述分类分枝基于所述第一提取特征，针对所述第一训练样本执行分类预测；

提供所述嵌入分枝基于所述两个第二提取特征，针对所述两个第二训练样本执行对比预测。

9.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：

在所述目标模型训练完成后，移除所述嵌入分枝，并输出具有所述分类分枝的所述目标模型。

10.根据权利要求1所述的模型训练方法，其特征在于，所述嵌入分枝包括两层全连接层。

11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行上述权利要求1至10中任一项所述的模型训练方法中各步骤的各指令。

12.一种模型训练装置，其特征在于，包括：

构建模块，用于构建目标模型的分类分枝和嵌入分枝；

训练模块，用于将基于有标签的第一原图样本生成的第一训练样本输入所述分类分枝执行分类预测，获得所述分类分枝的分类损失函数，并将基于无标签的第二原图样本生成的任意两个第二训练样本输入所述嵌入分枝中执行对比预测，获得所述嵌入分枝的对比损失函数，且根据所述分类损失函数、所述对比损失函数，训练所述目标模型。

Images