CN109784345B - 一种基于无尺度深度网络的农业害虫检测方法 - Google Patents

Abstract

本发明涉及一种基于无尺度深度网络的农业害虫检测方法，该方法包括以下步骤：（1）预处理给定的害虫图像训练数据。（2）构建害虫无尺度目标检测器。（3）提取待测害虫图像的无尺度特征，预测害虫目标的置信度和位置。（4）后置优化获取的害虫目标的置信度和位置。（5）判定待测害虫图像中的害虫目标的位置及数目。本发明通过提取并编码害虫图像无尺度特征，有效解决了人工设置目标参考框缺陷，可适应不同尺度害虫识别，改善小害虫目标的识别与检测性能，提高农业害虫检测精度和鲁棒性。

Description

一种基于无尺度深度网络的农业害虫检测方法

技术领域

本发明涉及精准农业害虫目标检测技术领域，具体涉及一种基于无尺度深度网络的农业害虫检测方法。

背景技术

中国是一个农业大国，农业生产在国民经济中占很大比重，然而害虫的侵袭造成了农业减产，极大地损害农产品品质。对农业害虫的种类和数量进行监测是预测预防农业害虫的前提和关键，具有重要的应用价值和意义。

传统的农业害虫检测方法主要依靠植保专家依据害虫的特征进行人工识别，其检测准确率受专家的知识层次、经验水平以及主观意识的影响，存在一定的主观性和局限性。同时，农业害虫种类繁杂、数量众多，对农业害虫进行检测需耗费大量人力、物力和财力。

随着计算机视觉技术的不断发展，利用深度学习网络进行农业害虫检测取得越来越广泛的应用。现有方法通过设置不同大小的推荐框，实现不同尺度害虫的检测。但是，人为设定的推荐框的尺度是有限的，不能较好地覆盖不同尺度的目标，不能获得和利用害虫目标的无尺度特征，鲁棒性差。同时，由于考虑推荐大量目标框，重复推荐问题严重、检测时间增加，尤其是，对于小目标物体的检测精度低。

发明内容

本发明的目的在于提供一种基于无尺度深度网络的农业害虫检测方法，以克服现有技术中存在的不足，提高农业害虫检测精度和效率。

为实现上述目的，本发明采用了以下技术方案：

一种基于无尺度深度网络的农业害虫检测方法，该方法包括以下步骤：

(1)预处理给定的害虫图像训练数据。

(2)构建害虫无尺度目标检测器。

(3)提取待测害虫图像的无尺度特征，预测害虫目标的置信度和位置。

(4)后置优化获取的害虫目标的置信度和位置。

(5)判定待测害虫图像中的害虫目标的位置及数目。

进一步的，步骤(1)中所述的“预处理给定的害虫图像训练数据”，具体包括以下步骤：

(11)将所有害虫图像训练数据压缩变换到一个固定尺寸。

(12)标注出每张图像中包含害虫目标的最小矩形框，获取害虫真实目标位置的坐标信息。

进一步的，步骤(2)中所述的“构建害虫无尺度目标检测器”，具体包括以下步骤：

(21)随机初始化害虫无尺度目标检测器的深度神经网络的权重和偏置(W，B)，所述深度神经网络的权重W包括深度特征编码器的权重和目标检测子的权重，所述深度特征编码器包括N₁层正卷积模块、N₂层反卷积模块和1层无尺度特征模块，所述目标检测子为单层全连接网络，其输出层包括6个神经元。

(22)采用中心落点法获取无尺度正负样本，使用大小为n×n的滑动窗口在反卷积模块的输出特征图上进行滑动；在每个滑动位置上，将该滑动位置对应的滑动窗口的中心位置映射到原图上，做一个以映射的中心点为原点，以R为半径的圆，若有真实目标框中心点落于该圆周内，则将该滑动窗视为正样本，标记为1；否则视为负样本，标记为0。

所述原图是指输入害虫图像，本发明中指步骤(11)中经过resize操作变换后的害虫图像；所述真实目标框指步骤(12)中标注出的害虫目标的最小矩形框。

(23)根据步骤(22)得到的正负样本集，获得无尺度深度网络学习损失函数L：

其中，k表示样本标号，N_c为批量处理的大小，N_r等于样本数，α为平衡系数，p_k表示预测害虫目标的概率值；

表示对应的样本标签，正样本取1，负样本取0。

表示参数化样本真实边界框，t_k＝{t_x，t_y，t_w，t_h}表示参数化样本预测边界框；

t_x＝x/W_input，t_y＝y/H_input，t_w＝log(w/W_input)，t_h＝log(h/H_input)；对应的，x、y、w、h分别为预测边界框的左上角点的横坐标、纵坐标、宽度和高度；x^*，y^*，w^*，h^*分别为真实边界框的左上角的横坐标、纵坐标、宽度和高度；W_input、H_input分别为输入害虫图像的宽度、高度。

(24)采用BP算法对害虫无尺度目标检测器的深度神经网络的权重和偏置参数进行学习，迭代N次，至目标检测器参数达到最优：

其中，l表示目标检测器网络层数l＝1,2,…,N₁+N₂+2，W^l表示第l层的权值矩阵，B^l表示第l层的偏置参数，η表示学习率。

(25)获取最优无尺度目标检测器，具体地说，包括获取最优特征编码器的参数W^l,B^l，l＝1,2,…,N₁+N₂+1和最优目标检测子的权重与偏置参数：W_c1，W_c2，W_b1，W_b2，W_b3，W_b4，b_c1，b_c1，B_b1，B_b2，B_b3，B_b4,其中，W_c1，W_c2为目标置信度回归权重，b_c1，b_c2为偏置参数，W_b1，W_b2，W_b3，W_b4为位置回归权重，B_b1，B_b2，B_b3，B_b4为偏置参数。

进一步的，步骤(3)中所述的“提取待测害虫图像的无尺度特征，预测害虫目标的置信度和位置”，具体包括以下步骤：

(31)利用步骤(25)中训练好的无尺度目标检测器，得到待测害虫图像的无尺度特征Y：

其中，

为无尺度特征模块权重，

为无尺度特征模块偏置参数，

为反卷积模块的输出，

可由以下公式递推得到：X^l＝σ(W^l*X^l-1+B^l)，X^l为每层输出特征，l表示目标检测器网络层数的索引，l＝1,2,…,N₁+N₂，*表示卷积操作，σ(·)为ReLu函数，X⁰为输入待测害虫图像矩阵。

(32)利用步骤(25)中训练好的最优目标检测子，采用以下公式计算待测害虫图像中每个害虫候选框的置信度c：

其中，

e＝2.72为数学常数。

(33)利用步骤(25)中训练好的最优目标检测子，得到害虫目标位置表示为：

左上角横坐标x＝w_x×W_input，左上角纵坐标y＝w_y×H_input，宽度

和高度

其中，w_x＝σ(W_b1*Y+b_b1),w_y＝σ(W_b2*Y+b_b2)，w_w＝σ(W_b3*Y+b_b3)，w_h＝σ(W_b4*Y+b_b4)。

进一步的，步骤(4)中所述的“后置优化获取的害虫目标的置信度和位置”，具体包括以下步骤：

(41)使用面积补偿策略修正Q和P值，

其中，s表示害虫目标候选框面积，s₁为设定的面积阈值，λ为调节因子，λ的取值范围为(0,1]，并重新计算获得目标置信度

(42)对害虫目标的位置进行后置优化：

(421)根据害虫目标的置信度c对目标候选框排序，并标记置信度最大候选框。

(422)计算置信度值最高的害虫目标候选框与其余每个候选框的交并比。

(423)去除交并比值大于设定阈值N_t的候选框。

(424)对保留的害虫目标候选框重复步骤(421)、(422)和(423)，直至最后一个候选框，迭代结束，输出所有标记的候选框。

进一步的，步骤(5)中所述的“判定待测害虫图像中的害虫目标的位置及数目”，具体包括以下步骤：对步骤(4)获得的所有标记的候选框，给定阈值t_s，选择目标置信度值大于t_s的候选框作为最终的害虫目标检测结果，并计算其数目作为待测害虫图像中害虫总数目。

与现有技术相比，本发明的有益效果在于：

(1)本发明采用中心落点法获取无尺度正负样本，利用深度神经网络编码害虫图像无尺度特征，避免了人工设置目标参考框尺度，可适应不同尺度害虫识别，提高了农业害虫识别的精度和灵活性。

(2)本发明采用面积补偿策略平衡了小目标和大目标的置信度权重，尤其有利于较小害虫目标的识别与检测。

附图说明

图1是本发明的方法流程图；

图2是本发明中害虫无尺度目标检测器结构图；

图3是中心落点法示意图；

图4是本发明中害虫目标置信度和位置后置优化的流程图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示的一种基于无尺度深度网络的农业害虫检测方法，该方法包括以下步骤：

S1、预处理给定的害虫图像训练数据，具体包括以下步骤：

S11、将所有害虫图像训练数据，通过resize操作变换到固定尺寸。resize函数是matlab或者opencv中用于压缩图像至指定尺寸的一个函数。

S12、标注出每张图像中包含害虫目标的最小矩形框，获取害虫真实目标位置的坐标信息。

S2、构建害虫无尺度目标检测器。所述的“构建害虫无尺度目标检测器”，具体包括以下步骤：

S21、随机初始化害虫无尺度目标检测器的深度神经网络的权重和偏置(W，B)，所述深度神经网络的权重W包括深度特征编码器的权重和目标检测子的权重，所述深度特征编码器包括N₁层正卷积模块、N₂层反卷积模块和1层无尺度特征模块。无尺度特征模块输出k个P维无尺度特征向量，所述目标检测子为单层全连接网络，输出层包括6个神经元，其中2个神经元用于预测目标置信度，另外4个神经元用于预测害虫目标位置。

S22、如图3所示，采用中心落点法获取无尺度正负样本，使用大小为n×n的滑动窗口在反卷积模块的输出特征图上进行滑动；在每个滑动位置上，将该滑动位置对应的滑动窗口的中心位置映射到原图上，做一个以映射的中心点为原点，以R为半径的圆，若有真实目标框中心点落于该圆周内，则将该滑动窗视为正样本，标记为1；否则视为负样本，标记为0。

所述原图是指输入害虫图像，本发明中指步骤(11)中经过resize操作变换后的害虫图像；所述真实目标框指步骤(12)中标注出的害虫目标的最小矩形框。

S23、根据步骤S22得到的正负样本集，获得无尺度深度网络学习损失函数L：

其中，k表示样本标号，N_c为批量处理的大小，N_r等于样本数，α为平衡系数，p_k表示预测害虫目标的概率值；

表示对应的样本标签，正样本取1，负样本取0。

表示参数化样本真实边界框，t_k＝{t_x，t_y，t_w，t_h}表示参数化样本预测边界框；

t_x＝x/W_input，t_y＝y/H_input，t_w＝log(w/W_input)，t_h＝log(h/H_input)；对应的，x、y、w、h分别为预测边界框的左上角点的横坐标、纵坐标、宽度和高度；x^*，y^*，w^*，h^*分别为真实边界框的左上角的横坐标、纵坐标、宽度和高度；W_input、W_input分别为输入害虫图像的宽度、高度。

S24、采用BP算法对害虫无尺度目标检测器的深度神经网络的权重和偏置参数进行学习，迭代N次，至目标检测器参数达到最优：

其中，l表示目标检测器网络层数l＝1,2,…,N₁+N₂+2，W^l表示第l层的权值矩阵，B^l表示第l层的偏置参数，η表示学习率。

S25、获取最优无尺度目标检测器，具体地说，包括获取最优特征编码器的参数W^l,B^l，l＝1,2,…,N₁+N₂+1和最优目标检测子的权重与偏置参数：W_c1，W_c2，W_b1，W_b2，W_b3，W_b4，b_c1，b_c1，B_b1，B_b2，B_b3，B_b4,其中，W_c1，W_c2为目标置信度回归权重，b_c1，b_c2为偏置参数，W_b1，W_b2，W_b3，W_b4为位置回归权重，B_b1，B_b2，B_b3，B_b4为偏置参数。

S3、提取待测害虫图像的无尺度特征，预测害虫目标的置信度和位置，具体包括以下步骤：

S31、利用步骤S25训练好的无尺度特征编码器，得到待测害虫图像的无尺度特征：

其中，

为无尺度特征模块权重，

为无尺度特征模块偏置参数，

为反卷积模块的输出，

可由以下公式递推得到：X^l＝σ(W^l*X^l-1+B^l)，X^l为每层输出特征，l表示目标检测器网络层数的索引，l＝1,2,…,N₁+N₂，*表示卷积操作，σ(·)为ReLu函数，X⁰为输入待测害虫图像矩阵。

S32、利用步骤(25)中训练好的最优目标检测子，采用以下公式计算待测害虫图像中每个害虫候选框的置信度c：

其中，

e＝2.72为数学常数。

S33、利用步骤S25中训练好的最优目标检测子，得到害虫目标位置表示为：

左上角横坐标x＝w_x×W_input，左上角纵坐标y＝w_y×H_input，宽度

和高度

其中，w_x＝σ(W_b1*Y+b_b1),w_y＝σ(W_b2*Y+b_b2)，w_w＝σ(W_b3*Y+b_b3)，w_h＝σ(W_b4*Y+b_b4)。

S4、后置优化获取的害虫目标的置信度和位置。

如图4所示，所述“后置优化获取的害虫目标的置信度和位置”，具体包括以下步骤：

S41、使用面积补偿策略修正Q和P值，

其中，s表示害虫目标候选框面积，s₁为设定的面积阈值，λ为调节因子，λ的取值范围为(0,1]，并重新计算获得目标置信度

S42、对害虫目标的位置进行后置优化：

S421、根据害虫目标的置信度c对目标候选框排序，并标记置信度最大候选框。

S422、计算置信度值最高的害虫目标候选框与其余每个候选框的交并比。

S423、去除交并比值大于设定阈值N_t的候选框。

S424、对保留的害虫目标候选框重复步骤(421)、(422)和(423)，直至最后一个候选框，迭代结束，输出所有标记的候选框。

S5、判定待测害虫图像中的害虫目标的位置及数目，具体包括以下步骤：对步骤(4)获得的所有标记的候选框，给定阈值t_s，选择目标置信度值大于t_s的候选框作为最终的害虫目标检测结果，并计算其数目作为待测害虫图像中害虫总数目。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于无尺度深度网络的农业害虫检测方法，其特征在于：该方法包括以下步骤：

(1)预处理给定的害虫图像训练数据；

(2)构建害虫无尺度目标检测器；

(3)提取待测害虫图像的无尺度特征，预测害虫目标的置信度和位置；

(4)后置优化获取的害虫目标的置信度和位置；

(5)判定待测害虫图像中的害虫目标的位置及数目；

步骤(2)中所述的“构建害虫无尺度目标检测器”，具体包括以下步骤：

(21)随机初始化害虫无尺度目标检测器的深度神经网络的权重和偏置(W，B)，所述深度神经网络的权重W包括深度特征编码器的权重和目标检测子的权重，所述深度特征编码器包括N₁层正卷积模块、N₂层反卷积模块和1层无尺度特征模块，所述目标检测子为单层全连接网络，其输出层包括6个神经元；

(22)采用中心落点法获取无尺度正负样本，使用大小为n×n的滑动窗口在反卷积模块的输出特征图上进行滑动；在每个滑动位置上，将该滑动位置对应的滑动窗口的中心位置映射到原图上，做一个以映射的中心点为原点，以R为半径的圆，若有真实目标框中心点落于该圆周内，则将该滑动窗视为正样本，标记为1；否则视为负样本，标记为0；

(23)根据步骤(22)得到的正负样本集，获得无尺度深度网络学习损失函数L：

其中，k表示样本标号，N_c为批量处理的大小，N_r等于样本数，α为平衡系数，p_k表示预测害虫目标的概率值；

表示对应的样本标签，正样本取1，负样本取0；

表示参数化样本真实边界框，t_k＝{t_x,t_y,t_w,t_n}表示参数化样本预测边界框；

t_x＝x/W_input，t_y＝y/H_input，t_w＝log(w/W_input)，t_h＝log(h/H_input)；对应的，x、y、w、h分别为预测边界框的左上角点的横坐标、纵坐标、宽度和高度；x^*,y^*,w^*,h^*分别为真实边界框的左上角的横坐标、纵坐标、宽度和高度；W_input、H_input分别为输入害虫图像的宽度、高度；

(24)采用BP算法对害虫无尺度目标检测器的深度神经网络的权重和偏置参数进行学习，迭代N次，至目标检测器参数达到最优：

其中，l表示目标检测器网络层数l＝1,2,…,N₁+N₂+2,W^l表示第l层的权值矩阵，B^l表示第l层的偏置参数，η表示学习率；

(25)获取最优无尺度目标检测器，具体地说，包括获取最优特征编码器的参数W^l,B^l，l＝1,2,…,N₁+N₂+1和最优目标检测子的权重与偏置参数：W_c1,W_c2,W_b1,W_b2,W_b3,W_b4,b_c1,b_c1,B_b1,B_b2,B_b3,B_b4,其中，W_c1,W_c2为目标置信度回归权重，b_c1,b_c2为偏置参数，W_b1,W_b2,W_b3,W_b4为位置回归权重，B_b1,B_b2,B_b3,B_b4为偏置参数。

2.根据权利要求1所述的一种基于无尺度深度网络的农业害虫检测方法，其特征在于：步骤(1)中所述的“预处理给定的害虫图像训练数据”，具体包括以下步骤：

(11)将所有害虫图像训练数据，通过resize操作变换到固定尺寸；

(12)标注出每张图像中包含害虫目标的最小矩形框，获取害虫真实目标位置的坐标信息。

3.根据权利要求1所述的一种基于无尺度深度网络的农业害虫检测方法，其特征在于：步骤(3)中所述的“提取待测害虫图像的无尺度特征，预测害虫目标的置信度和位置”，具体包括以下步骤：

(31)利用步骤(25)中训练好的无尺度目标检测器，得到待测害虫图像的无尺度特征Y：

其中，

为无尺度特征模块权重，

为无尺度特征模块偏置参数，

为反卷积模块的输出，

可由以下公式递推得到：X^l＝σ(W^l*X^l-1+B^l)，X^l为每层输出特征，l表示目标检测器网络层数的索引，l＝1,2,…,N₁+N₂，*表示卷积操作，σ(·)为ReLu函数，X⁰为输入待测害虫图像矩阵；

(32)利用步骤(25)中训练好的最优目标检测子，采用以下公式计算待测害虫图像中每个害虫候选框的置信度c：

其中，

e＝2.72为数学常数；

(33)利用步骤(25)中训练好的最优目标检测子，得到害虫目标位置表示为：

左上角横坐标x＝w_x×W_input，左上角纵坐标y＝w_y×H_input，宽度

和高度

其中，w_x＝σ(W_b1*Y+b_b1),w_y＝σ(W_b2*Y+b_b2)，w_w＝σ(W_b3*Y+b_b3)，w_h＝σ(W_b4*Y+b_b4)。

4.根据权利要求3所述的一种基于无尺度深度网络的农业害虫检测方法，其特征在于：步骤(4)中所述的“后置优化获取的害虫目标的置信度和位置”，具体包括以下步骤：

(41)使用面积补偿策略修正Q和P值：

其中，s表示害虫目标候选框面积，s₁为设定的面积阈值，λ为调节因子，λ的取值范围为(0，1]，并重新计算获得目标置信度

(42)对害虫目标的位置进行后置优化：

(421)根据害虫目标的置信度c对目标候选框排序，并标记置信度最大候选框；

(422)计算置信度值最高的害虫目标候选框与其余每个候选框的交并比；

(423)去除交并比值大于设定阈值N_t的候选框；

(424)对保留的害虫目标候选框重复步骤(421)、(422)和(423)，直至最后一个候选框，迭代结束，输出所有标记的候选框。

5.根据权利要求4所述的一种基于无尺度深度网络的农业害虫检测方法，其特征在于：步骤(5)中所述的“判定待测害虫图像中的害虫目标的位置及数目”，具体包括以下步骤：对步骤(4)获得的所有标记的候选框，给定阈值t_s，选择目标置信度值大于t_s的候选框作为最终的害虫目标检测结果，并计算其数目作为待测害虫图像中害虫总数目。

Images