CN109816092A - 深度神经网络训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种深度神经网络训练方法，属于计算机技术领域，用于解决现有技术中训练的神经网络在复杂场景下性能较低的问题。所述方法包括：获取设置有预设类别标签的若干训练样本，基于所述若干训练样本，训练神经网络模型；其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值。本申请实施例公开的深度神经网络训练方法，通过自适应提升区分难度较大的训练样本在训练样本中的重要性，避免区分难度较大的样本被训练得到的神经网络错误分类，有助于提升所述神经网络的性能。

Description

深度神经网络训练方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种深度神经网络训练方法、装置、电子设备及存储介质。

背景技术

近年来，深度学习在模式识别领域取得了显著的进展，其关键因素可以包括：网络模型丰富灵活、运算能力强、更适应大数据处理。随着神经网络被应用于不同任务，对于神经网络模型的改进也是本领域技术人员研究的关键问题。现有技术中对神经网络模型的改进主要集中在两个方面：网络结构和损失函数。其中，常用于分类模型训练的损失函数主要是Softmax loss，以及2016年在国际顶会议ECCV上基于Softmax改进的Center loss。然而，申请人通过对现有技术中采用Center loss作为损失函数的神经网络进行研究发现，如果训练神经网络的训练样本中存在噪声较大的样本或区分性较弱的训练样本，利用现有的损失函数训练得到的模型进行测试，对训练得到的神经网络的分类或识别结果的提升都是有限的。因此，结合训练样本的特点进行深度神经网络训练，才能够提升训练得到的神经网络的性能,进而提升应用训练得到的神经网络进行分类识别的准确性。

发明内容

本申请提供一种深度神经网络训练方法，有助于提升训练得到的神经网络的性能，从而提升应用训练得到的神经网络进行分类识别的准确性。

为了解决上述问题，第一方面，本申请实施例提供了一种深度神经网络训练方法，包括：

获取设置有预设类别标签的若干训练样本；

基于所述若干训练样本，训练神经网络模型；

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比，所述相应类别中心为对所述若干训练样本聚类后得到类别中包含所述训练样本的类别的类别中心。

第二方面，本申请实施例提供了一种深度神经网络训练装置，包括：

训练样本获取模块，用于获取设置有预设类别标签的若干训练样本；

模型训练模块，用于基于所述若干训练样本，训练神经网络模型；

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值。

第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的深度神经网络训练方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的深度神经网络训练方法的步骤。

本申请实施例公开的深度神经网络训练方法，通过获取设置有预设类别标签的若干训练样本，基于所述若干训练样本，训练神经网络模型；其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，解决了现有技术中训练得到的神经网络的在复杂场景下性能较低的问题。本申请实施例公开的深度神经网络训练方法，通过改进神经网络的损失函数，自动提升区分难度较大的训练样本在训练样本中的重要性，避免区分难度较大的训练样本被训练得到的神经网络错误分类，有助于提升训练得到的神经网络的性能，从而提升应用得到的神经网络进行分类识别的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一的深度神经网络训练方法流程图；

图2是本申请实施例一的深度神经网络训练方法中聚类结果示意图；

图3是基于本申请实施例一的神经网络训练方法进行对象分类识别的流程图；

图4是本申请实施例三的深度神经网络训练装置结构示意图之一；

图5是本申请实施例三的深度神经网络训练装置结构示意图之二；

图6是本申请实施例三的深度神经网络训练装置结构示意图之三。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

本实施例公开的一种深度神经网络训练方法，如图1所示，该方法包括：步骤110和步骤120。

步骤110，获取设置有预设类别标签的若干训练样本。

在训练神经网络之前，首先需要获取设置有预设类别标签的若干训练样本。

根据具体的应用场景不同，训练样本的形式各不相同。例如，在工服识别应用中，训练样本为工服图像；在人脸活体检测应用场景中，训练样本图像采集设备采集的活体人脸的图像和非活体人脸(如人脸模型、人脸照片)；在声音识别应用场景中，训练样本为一段音频。

根据具体的识别任务输出不同，训练样本的类别标签各不相同。以训练执行工服识别任务的神经网络为例，根据具体的识别任务输出，训练样本的类别可以包括用于指示美团外卖工服和百度外卖工服等不同工服类别的类别标签。以训练执行声音识别任务的神经网络为例，根据具体的识别任务输出，训练样本的类别可以包括用于指示男生和女生等不同声音类别的类别标签。再以训练执行人脸活体检测任务的神经网络为例，训练样本的类别可以包括用于指示活体人脸和非活体人脸两种类别的类别标签。

步骤120，基于所述若干训练样本，训练神经网络模型。

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值。

在本申请的一些实施例中，在训练神经网络模型之前，还包括：对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心。每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比。对训练样本进行聚类的具体方法参见现有技术，本申请实施例中不再赘述。

在获取到设置有预设类别标签的训练样本之后，进一步构建深度神经网络，然后，基于所述训练样本，训练构建的神经网络模型。

本申请具体实施时，主体网络可以选择ResNet(残差网络)，如ResNet50残差网络，然后，通过改进神经网络的损失函数和训练过程，以提升训练得到的神经网络的性能。例如，将所述神经网络的损失函数设置为由softmax损失函数和基于注意力机制的中心损失函数构成的联合损失函数，通过改进神经网络的损失函数，在计算损失函数的输出损失值时，自适应调整与聚类中心距离较大的样本对损失函数输出的损失值得影响，即自适应调整区分难度较大的样本对损失函数输出的损失值得影响，以避免区分难度较大的样本在模型训练过程中被忽视，从而导致训练得到的模型分类或识别的准确率下降。

具体实施时，以神经网络模型的损失函数为：举例，其中，表示损失函数，为softmax损失函数，表示为： 为基于注意力机制的中心损失函数，表示为：

上述公式中，i表示训练样本的标识，m表示训练样本的总数，y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，表示所述损失函数之前最后一个全连接层的权重矩阵的第j列，b_j表示损失函数之前最后一个全连接层偏差b的第j列，表示所述损失函数之前最后一个全连接层的权重矩阵的第y_i列，表示损失函数之前最后一个全连接层偏差b的第y_i列，表示训练样本x_i的第一权值，与聚类中心之间距离成正比，m表示训练样本的数量，T表示转置，λ表示标量。γ表示标量,取值为大于0的数，如γ等于2。

具体实施时，对于初步分类后，距离分类超平面较近的样本在噪声影响下容易错分类到其他类别而导致系统判断错误。如图2所示的初步分类结果示意图，其中样本211、212、221、222距离分类超平面较近，即距离各自的类别中心较远，在噪声影响下，样本211和212容易错分类到类别22中，同理，样本221和222容易错分类到类别21中。如果神经网络的损失函数仅使用Softmax函数，即上述公式中的则会由于仅考虑了样本之间的区分性，而忽视了判别性(不仅仅要分开，还需要有一定的间隔)，从而导致分类效率低下，神经网络模型性能降低。因为在实际情况中，对于一些更新的样本，有的距离分类超平面较近的样本在噪声影响下容易错分类到其他类别而导致系统判断错误。

因此现有技术中通过增加基于注意力机制的中心损失函数综合考虑训练样本的与类别之间的距离对损失值的影响。然而，现有技术中对各训练样本一致对待，无论训练样本距离类别中心的距离大小，训练样本对损失函数输出的损失值的影响都是相同的。而经过反复试验，发明人发现如图2中的训练样本211和212与类别21的类别中心距离对损失函数的损失值的影响不应该相同。以训练工服分类任务的神经网络为例，美团工服和点我达工服都属于美团外卖工服的类别，美团工服通常为距离聚类中心较近的工服，而点我达工服由于数量较少，分类后，点我达工服为距离聚类中心较远的工服。如果在计算损失函数的损失值时，点我达工服与美团工服输出的损失值的影响都是相同的，即，点我达工服与美团工服具有同样的样本权重，则会导致训练好的神经网络在进行工服识别时，误将点我达工服和美团工服分类到不同类别。因此，本实施例通过自适应根据训练样本与聚类中心的距离为训练样本设置相应的权重，来提升区分难度较大的训练样本对损失函数的损失值的影响。具体实施时，训练样本x_i的权重，与聚类中心之间距离成正比。

具体训练过程中，计算机通过执行上述损失函数计算输入的每个训练样本对应的损失函数值，并比较计算得到的损失函数值与样本标签之间的差异；然后，通过不断调整损失函数的参数，反复计算输入的每个训练样本对应的不同参数的损失函数值，最终确定满足损失函数值与样本标签之间的差异最小的参数，作为损失函数的参数。并基于确定的参数，计算输入神经网络的样本对应的输出值。神经网络的输出值对应输入样本的分类结果。

具体训练时，可以通过反向传导和梯度下降法优化神经网络，以使得损失函数输出的损失值最小，从而得到优化后的神经网络。

本申请的一些实施例中，还可以进一步对梯度下降法调整聚类中心的方法进行优化，通过同时考虑训练样本的区分难度设置训练样本在调整聚类中心时的影响，以进一步提升训练得到的网络模型的性能。

神经网络的具体训练过程可以参见现有技术，本实施例中不再赘述。

本申请具体实施时，还可以采用其他网络结构作为神经网络的基础网络结构，任何网络结构的训练过程都存在损失函数的优化训练，本申请对神经网络的具体网络结构不做限定，仅对损失函数的实现和优化方法进行限定。

本申请实施例公开的深度神经网络训练方法，通过获取设置有预设类别标签的若干训练样本，并对标签相同的所述若干训练样本进行聚类，确定类别中心；然后，基于所述若干训练样本，训练神经网络模型；其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，解决了现有技术中训练得到的神经网络的在复杂场景下性能较低的问题。本申请实施例公开的深度神经网络训练方法，通过改进神经网络的损失函数，自适应提升区分难度较大的训练样本在训练样本中的重要性，避免区分难度较大的训练样本被训练得到的神经网络错误分类，有助于提升训练得到的神经网络的性能。

实施例二

基于实施例一，本实施例公开的一种深度神经网络训练方法的优化方案。

具体实施时，在获取到设置有预设类别标签的若干训练样本之后，首先构建神经网络。本实施例中仍然使用ResNet50(残差网络)作为基础网络，构建神经网络，所述神经网络包括多个特征提取层。神经网络通过进行前向传播阶段，依次调用每个特征提取层(如全连接层)的前向函数，得到逐层的输出，最后一层与目标函数比较得到损失函数，计算误差更新值。然后，通过反向传播逐层到达第一层，所有权值在反向传播结束时一起更新。最后一个特征提取层将提取的特征作为神经网络的预测值输入值损失函数，损失函数通过一系列计算，得到预测值和真实标签的差值，确定为神经网络的损失值。训练神经网络的目的就是使预测值和真实标签的差值最小。

在本申请的另一些优选实施例中，第一权值可以通过训练样本与类别中心距离的正态分布函数表示，例如：其中，σ为常数，x_i表示属于类别y_i的一个训练样本，表示类别y_i的中心。由以上公式可以看出，训练样本的区分难度越大，即训练样本x_i与其所属类别中心的距离越大，第一权值取值越大。即训练样本的区分难度越大，在训练神经网络时，其重要性需要相应提升。

在本申请的其他实施例中，计算第一权值还可以通过训练样本与类别中心距离的其他正比例关系公式表示，本实施例不一一例举。

具体到本实施例中，在反向传播的过程中，通过不断调整聚类中心，使得损失函数输出的表示训练样本的预测值域真实值之间误差的损失值最小。具体实施时，通常通过公式来更新聚类中心本申请在更新所述类别中心的更新量时，重点考虑靠近类别中心的要训练样本，弱化远离类别中心的训练样本。因此，在更新所述类别中心时，所述神经网络模型用于根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量。以图2中所述的分类结果为例，在计算值更新所述类别22的类别中心的更新量时，重点考率类似样本222的区分难度较小，即距离类别中心较近的训练样本对更新量的贡献。而类似样本221的区分难度较大，即距离类别中心较远的训练样本对更新量的贡献将被弱化。具体实施时，可以通过为不同的训练样本，根据该训练样本与其所属类别中心的距离对其设置相应的权重，以计算类别中心的更新量

例如，所述根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量包括：根据公式

确定类别中心c_j的变化量，其中，i表示训练样本的标识，m表示训练样本的总数，j和y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，q_i表示第二权值，q_i与训练样本x_i和类别中心c_j之间的距离成反比，δ()为狄拉克函数，当括号内条件满足时δ＝1，反之＝0,α_c为控制类别中心的学习速率的标量，其取值范围为[0，1]。

结合实施例一，以损失函数表示为：其中，基于注意力机制的中心损失函数表示为： 例，说明调整聚类中心的具体方案。

通过计算中心损失值对样本的偏导数，确定类别中心的变化量，具体公式推导过程如下：

进一步的，由此得出：

其中，σ_c为常数，x_i表示属于类别y_i的一个训练样本，表示类别y_i的中心。即在本申请的一些实施例中，第二权值q_i可以通过训练样本与类别中心距离的正态分布函数表示。

在本申请的其他实施例中，第二权值q_i还可以通过训练样本与类别中心距离的其他反比例关系公式表示，本实施例不一一例举。优选的，第二权值的计算方法与第一权值的计算方法匹配。

通过在更新类别中心时，减弱较难区分的训练样本对类别中心的影响，同时提升较容易区分的训练样本对类别中心的影响，可以进一步提升训练得到的神经网络的分类准确性，提升神经网络模型的性能。

在本申请的另一些优选实施例中，所述神经网络模型的损失函数用于：在所述神经网络模型计算所述训练样本的损失值时，通过与所述训练样本的分类占比成反比的第三权值，调整所述训练样本的损失值。

具体的，所述神经网络模型的损失函数表示为：

其中，表示损失函数，i表示训练样本的标识，m表示训练样本的总数，y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，表示所述损失函数之前最后一个全连接层的权重矩阵的第j列，b_j表示损失函数之前最后一个全连接层偏差b的第j列，表示所述损失函数之前最后一个全连接层的权重矩阵的第y_i列，表示损失函数之前最后一个全连接层偏差b的第y_i列，(1-k_i)^γ表示训练样本x_i的第一权值，k_i取值为大于0且小于1的数，且k_i与训练样本x_i与训练样本x_i所属类别中心的距离成反比，表示训练样本x_i的第三权值，的取值与类别y_i的训练样本在全量训练样本中的占比成反比，T表示转置，λ和γ表示标量。具体实施时，k_i可以通过训练样本与类别中心距离的其他反比例关系公式表示。

实施例三

本申请实施例还公开了一种深度神经网络训练方法，应用于分类应用中。如图3所示，所述方法包括：步骤310至步骤370。

步骤310，获取设置有预设类别标签的若干训练样本。

本申请具体实施时，所述训练样本包括以下任意一项：图像、文本、语音。针对于不同的待分类对象，在神经网络模型时，需要获取相应待分类对象的训练样本。本实施例中，以训练用于工服识别的神经网络模型为例，首先，获取设置有不同平台标签的工服图像，如：设置有美团外卖平台标签的工服图像、设置有饿了吗平台标签的工服图像、设置有百度外卖平台标签的工服图像等。

步骤320，对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心。

每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比。

对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心参见实施例二，本实施例不再赘述。

步骤330，基于所述若干训练样本，训练神经网络模型。

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比，所述相应类别中心为对所述若干训练样本聚类后得到类别中包含所述训练样本的类别的类别中心。

之后，基于获取的工服图像训练神经网络模型。

基于获取的工服图像训练神经网络模型时，首先对获取的训练样本中相同类别标签的训练样本进行聚类，并确定每种类别标签的训练样本对应的类别中心。对于聚类得到的每个类别中的训练样本，样本与类别中心的距离表征了该样本的区分难度：样本与类别中心的距离越大，该样本的区分难度越大；反之，样本与类别中心的距离越小，该样本的区分难度越小。

神经网络的训练过程就是，计算机通过执行上述损失函数计算输入的每个训练样本对应的损失函数值，并比较计算得到的损失函数值与样本标签之间的差异；然后，通过不断调整损失函数的参数，反复计算输入的每个训练样本对应的不同参数的损失函数值，最终确定满足损失函数值与样本标签之间的差异最小的参数，作为损失函数的参数的过程。

基于获取的工服图像训练神经网络模型的具体实施方式参见前述实施例一和实施例二，本实施例不再赘述。

步骤340，通过数据采集设备获取与所述训练样本匹配的待分类对象的对象数据。

对于不同的待分类对象，通过相应的数据采集设备获取该待分类对象的对象数据。例如，当待分类对象为工服时，可以通过摄像头采集外卖人员的图像，以获取工服图像数据。

步骤350，获取所述对象数据的分类特征。

根据与训练模型时同样的方法，获取工服图像数据的特征向量，作为分类特征。

步骤360，将所述分类特征输入至训练完成的所述神经网络模型，获得所述神经网络模型的输出结果。

将获取的分类特征输入至签署步骤训练完成的所述神经网络模型，以获得所述神经网络模型的输出结果。

步骤370，根据所述输出结果执行预设操作。

在本申请的一些实施例中，所述根据所述输出结果执行预设操作包括以下任意一项或多项：展示与所述输出结果对应的所述待分类对象的分类结果；根据所述输出结果输出门禁控制信号；根据所述输出结果执行派单操作。

具体而言，对于工服识别应用场景，当待识别对象为工服时，本步骤将输出采集的工服图像分类为相应类别标签的置信度。具体实施时，对于美团外卖平台，当识别到某一外卖人员穿着美团工服时，则可以对该外卖人员执行派单操作；当识别到某一外卖人员穿着百度工服时，则不对该外卖人员执行派单操作。

通过本申请公开的神经网络训练方法，在训练用于工服识别任务的神经网络的过程中，由于美团工服的训练样本非常多，而点我达工服的训练样本比较少，美团工服和点我达工服具有相同的类别标签，因此，可以适当提升每个点我达工服训练样本在样本训练过程中的影响，即提升每个点我达工服对损失函数的输出的损失值的影响，以避免由于某类样本较少导致的该类样本在分类过程中被忽视，从而导致训练得到的神经网络对该类样本分类错误的现象发生。

发明人通过基于相同的训练数据集，训练基于不同损失函数构建的执行工服识别任务的神经网络模型，并通过同一测试数据集对训练得到的神经网络进行测试发现，基于本实施例中公开的损失函数构建的执行工服识别任务的神经网络模型分类准确率有很大提升。例如，以美团专送骑手实际抽检图，即以美团工服图像特征作为测试样本，进行测试时，基于softmax损失函数构建的神经网络的分类准确率为97.39％，以现有技术中基于softmax损失函数和基于注意力机制的中心损失函数构建的神经网络的分类准确率为97.41％，而以本申请公开的基于softmax损失函数和结合了加权运算的基于注意力机制的中心损失函数构建的神经网络的分类准确率为98.17％。以非美团专送骑手抽检图(来自部分众包骑手、注册图以及穿其他工服的骑手抽检图)，即以非美团工服图像特征和非点我达工服图像特征作为测试样本，进行攻击测试时，基于softmax损失函数构建的神经网络的分类为美团工服的概率为0.41％，以现有技术中基于softmax损失函数和基于注意力机制的中心损失函数构建的神经网络的分类同样为美团工服的概率为0.41％，而以本申请公开的基于softmax损失函数和结合了加权运算的基于注意力机制的中心损失函数构建的神经网络的分类为美团工服的概率为0.40％，分类错误率明显下降。

本申请实施例公开的神经网络训练方法，通过获取设置有预设类别标签的若干训练样本，并对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心，然后，基于所述若干训练样本，训练神经网络模型，在线应用过程中，通过数据采集设备获取与所述训练样本匹配的待分类对象的对象数据，并进一步获取所述对象数据的分类特征；之后，将所述分类特征输入至训练完成的所述神经网络模型，获得所述神经网络模型的输出结果，最后，根据所述输出结果执行预设操作，由于所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，并且，每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比，因此，可以提升基于训练得到的模型确定对象分类的准确性，从而准确执行预设操作。

实施例四

本实施例公开的一种深度神经网络训练装置，如图4所示，所述装置包括：

训练样本获取模块410，用于获取设置有预设类别标签的若干训练样本；

模型训练模块420，用于基于所述若干训练样本，训练神经网络模型；

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值。

可选的，如图5所示，所述装置还包括：

聚类模块430，用于对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心；

每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比。

可选的，在更新所述类别中心时，所述神经网络模型用于根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量。

可选的，所述神经网络模型的损失函数用于：在所述神经网络模型计算所述训练样本的损失值时，通过与所述训练样本的分类占比成反比的第三权值，调整所述训练样本的损失值。

进一步可选的，所述神经网络模型的损失函数表示为：

其中，其中，表示损失函数，i表示训练样本的标识，m表示训练样本的总数，y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，表示所述损失函数之前最后一个全连接层的权重矩阵的第j列，b_j表示损失函数之前最后一个全连接层偏差b的第j列，表示所述损失函数之前最后一个全连接层的权重矩阵的第y_i列，表示损失函数之前最后一个全连接层偏差b的第y_i列，(1-k_i)^γ表示训练样本x_i的第一权值，k_i取值为大于0且小于1的数，且k_i与训练样本x_i与训练样本x_i所属类别中心的距离成反比，表示训练样本x_i的第三权值，的取值与类别y_i的训练样本在全量训练样本中的占比成反比，T表示转置，λ和γ表示标量。

在本申请的另一些优选实施例中，其中，σ为常数，x_i表示属于类别y_i的一个训练样本，表示类别y_i的中心。由以上公式可以看出，训练样本的区分难度越大，即训练样本x_i与其所属类别中心的距离越大，k_i越小，第一权值取值越大。即训练样本的区分难度越大，在训练神经网络时，其重要性需要相应提升。

在反向传播的过程中，通过不断调整聚类中心，使得损失函数输出的表示训练样本的预测值域真实值之间误差的损失值最小。具体实施时，通常通过公式来更新聚类中心本申请在更新所述类别中心的更新量时，重点考虑靠近类别中心的要训练样本，弱化远离类别中心的训练样本。进一步可选的，所述根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量包括：

根据公式确定类别中心c_j的变化量，其中，i表示训练样本的标识，m表示训练样本的总数，j和y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，q_i表示第二权值，q_i与训练样本x_i和类别中心c_j之间的距离成反比，δ()为狄拉克函数，当括号内条件满足时δ＝1，反之＝0,α_c为控制类别中心的学习速率的标量，取值范围为[0，1]。

在本申请的一些实施例中，σ_c为常数，x_i表示属于类别y_i的一个训练样本，表示类别y_i的中心。

可选的，所述训练样本包括以下任意一项：图像、文本、语音。

可选的，如图6所示，所述装置还包括：

数据采集模块440，用于通过数据采集设备获取与所述训练样本匹配的待分类对象的对象数据；

特征获取模块450，用于获取所述对象数据的分类特征；

模型调用模块460，用于将所述分类特征输入至训练完成的所述神经网络模型，获得所述神经网络模型的输出结果；

执行模块470，用于根据所述输出结果执行预设操作。

可选的，所述根据所述输出结果执行预设操作包括以下任意一项或多项：

展示与所述输出结果对应的所述待分类对象的分类结果；

根据所述输出结果输出门禁控制信号；

根据所述输出结果执行派单操作。

本申请实施例公开的深度神经网络训练装置，用于实现本申请实施例一和实施例二中所述的深度神经网络训练方法的各步骤，装置的各模块的具体实施方式参见相应步骤，此处不再赘述。

本申请实施例公开的深度神经网络训练装置，通过获取设置有预设类别标签的若干训练样本，并对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心，基于所述若干训练样本，训练神经网络模型；其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，解决了现有技术中训练得到的神经网络的在复杂场景下性能较低的问题。本申请实施例公开的深度神经网络训练装置，通过改进神经网络的损失函数，自适应提升区分难度较大的训练样本在训练样本中的重要性，避免区分难度较大的训练样本被训练得到的网络模型错误分类，有助于提升训练得到的神经网络的性能。

本申请实施例公开的神经网络训练装置，在线应用过程中，通过数据采集设备获取与所述训练样本匹配的待分类对象的对象数据，并进一步获取所述对象数据的分类特征；之后，将所述分类特征输入至训练完成的所述神经网络模型，获得所述神经网络模型的输出结果，最后，根据所述输出结果执行预设操作，由于所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值，并且，每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比，因此，可以提升基于训练得到的模型确定对象分类的准确性，从而准确执行预设操作。

相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一至实施例三所述的深度神经网络训练方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。

本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一至实施例三所述的深度神经网络训练方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请提供的一种深度神经网络训练方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (20)

1.一种深度神经网络训练方法，其特征在于，包括：

获取设置有预设类别标签的若干训练样本；

基于所述若干训练样本，训练神经网络模型；

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值。

2.根据权利要求1所述的方法，其特征在于，所述基于所述若干训练样本，训练神经网络模型的步骤之前，还包括：

对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心；

每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比。

3.根据权利要求2所述的方法，其特征在于，在更新所述类别中心时，所述神经网络模型被配置为根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量。

4.根据权利要求3所述的方法，其特征在于，所述神经网络模型的损失函数用于：在所述神经网络模型计算所述训练样本的损失值时，通过与所述训练样本的分类占比成反比的第三权值，调整所述训练样本的损失值。

5.根据权利要求4所述的方法，其特征在于，所述神经网络模型的损失函数表示为：

其中，表示损失函数，i表示训练样本的标识，m表示训练样本的总数，y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，W_j ^T表示所述损失函数之前最后一个全连接层的权重矩阵的第j列，b_j表示损失函数之前最后一个全连接层偏差b的第j列，表示所述损失函数之前最后一个全连接层的权重矩阵的第y_i列，表示损失函数之前最后一个全连接层偏差b的第y_i列，(1-k_i)^γ表示训练样本x_i的第一权值，k_i取值为大于0且小于1的数，且k_i与训练样本x_i与训练样本x_i所属类别中心的距离成反比，表示训练样本x_i的第三权值，的取值与类别y_i的训练样本在全量训练样本中的占比成反比，T表示转置，λ和γ表示标量。

6.根据权利要求3所述的方法，其特征在于，所述根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量包括：

根据公式确定类别中心c_j的变化量，其中，i表示训练样本的标识，m表示训练样本的总数，j和y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，q_i表示第二权值，q_i与训练样本x_i和类别中心c_j之间的距离成反比，δ()为狄拉克函数，当括号内条件满足时δ＝1，反之＝0,α_c为控制类别中心的学习速率的标量，取值范围为[0，1]。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述训练样本包括以下任意一项：图像、文本、语音。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

通过数据采集设备获取与所述训练样本匹配的待分类对象的对象数据；

获取所述对象数据的分类特征；

将所述分类特征输入至训练完成的所述神经网络模型，获得所述神经网络模型的输出结果；

根据所述输出结果执行预设操作。

9.根据权利要求8所述的方法，其特征在于，所述根据所述输出结果执行预设操作包括以下任意一项或多项：

展示与所述输出结果对应的所述待分类对象的分类结果；

根据所述输出结果输出门禁控制信号；

根据所述输出结果执行派单操作。

10.一种深度神经网络训练装置，其特征在于，包括：

训练样本获取模块，用于获取设置有预设类别标签的若干训练样本；

模型训练模块，用于基于所述若干训练样本，训练神经网络模型；

其中，所述神经网络模型的损失函数用于根据与各所述训练样本的区分难度成正比的第一权值进行加权运算，确定所述神经网络模型的损失值。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

聚类模块，用于对具有相同类别标签的所述若干训练样本进行聚类，确定该类别训练样本的类别中心；

每个所述训练样本的区分难度与所述训练样本距相应类别中心的距离成正比。

12.根据权利要求11所述的装置，其特征在于，在更新所述类别中心时，所述神经网络模型用于根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量。

13.根据权利要求12所述的装置，其特征在于，所述神经网络模型的损失函数用于：在所述神经网络模型计算所述训练样本的损失值时，通过与所述训练样本的分类占比成反比的第三权值，调整所述训练样本的损失值。

14.根据权利要求13所述的装置，其特征在于，所述神经网络模型的损失函数表示为：

其中，表示损失函数，i表示训练样本的标识，m表示训练样本的总数，y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，W_j ^T表示所述损失函数之前最后一个全连接层的权重矩阵的第j列，b_j表示损失函数之前最后一个全连接层偏差b的第j列，表示所述损失函数之前最后一个全连接层的权重矩阵的第y_i列，表示损失函数之前最后一个全连接层偏差b的第y_i列，(1-k_i)^γ表示训练样本x_i的第一权值，k_i取值为大于0且小于1的数，且k_i与训练样本x_i与训练样本x_i所属类别中心的距离成反比，表示训练样本x_i的第三权值，的取值与类别y_i的训练样本在全量训练样本中的占比成反比，T表示转置，λ和γ表示标量。

15.根据权利要求10所述的装置，其特征在于，所述根据与各所述训练样本的区分难度成反比的第二权值进行加权运算，确定相应类别中心的变化量包括：

根据公式确定类别中心c_j的变化量，其中，i表示训练样本的标识，m表示训练样本的总数，j和y_i表示所述神经网络模型中输入至所述损失函数的类别标识，x_i表示属于类别y_i的一个训练样本，q_i表示第二权值，q_i与训练样本x_i和类别中心c_j之间的距离成反比，δ()为狄拉克函数，当括号内条件满足时δ＝1，反之＝0,α_c为控制类别中心的学习速率的标量，取值范围为[0，1]。

16.根据权利要求10至15任一项所述的装置，其特征在于，所述训练样本包括以下任意一项：图像、文本、语音。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

数据采集模块，用于通过数据采集设备获取与所述训练样本匹配的待分类对象的对象数据；

特征获取模块，用于获取所述对象数据的分类特征；

模型调用模块，用于将所述分类特征输入至训练完成的所述神经网络模型，获得所述神经网络模型的输出结果；

执行模块，用于根据所述输出结果执行预设操作。

18.根据权利要求17所述的装置，其特征在于，所述根据所述输出结果执行预设操作包括以下任意一项或多项：

展示与所述输出结果对应的所述待分类对象的分类结果；

根据所述输出结果输出门禁控制信号；

根据所述输出结果执行派单操作。

19.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任意一项所述的深度神经网络训练方法。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9任意一项所述的深度神经网络训练方法的步骤。