CN112036437A - 基于改进yolov3网络的水稻秧苗检测模型及其方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOV3网络的水稻秧苗检测模型及其方法，解决了传统图像处理方法对水稻秧苗检测的适应性和鲁棒性较差，图像处理算法效果不佳的弊端；其技术方案要点包括有对输入的水稻秧苗图像进行多尺度特征提取的特征提取模块、根据多尺度特征提取的特征图对水稻秧苗位置进行预测的多尺度预测模块；多尺度预测模块包括有对多尺度下提取的特征图进行融合构建处理的多尺度融合特征构建模块、根据融合构建的特征图对秧苗位置进行预测的多尺度秧苗位置预测模块，本发明的基于改进YOLOV3网络的水稻秧苗检测模型及其方法，解决复杂水田环境中高低杂草密度、不同光照条件、秧苗缺失情况下水稻秧苗检测鲁棒性和准确性较差的问题。

Description

基于改进YOLOV3网络的水稻秧苗检测模型及其方法

技术领域

本发明涉及人工智能技术领域，特别涉及基于改进YOLOV3网络的水稻秧苗检测模型及其方法。

背景技术

水稻是世界三大粮食作物之一，其栽培面积和总产量仅次于小麦，是全球半数以上人口的主食。目前水稻田采用的除草方式主要是喷洒化学药剂和人工除草，化学药剂的使用容易造成农药残留量超标、环境污染和生态链的破坏等问题，而人工除草耗时费力，效率低下且成本高昂。因此对于水稻机械化除草的需求越来越迫切。水稻机械化除草技术对于减少化学药剂的使用，减少生态环境的污染和提高粮食安全具有非常重大的意义。

水稻秧苗检测是水稻机械化除草的关键环节之一，并且对于精准农业中的精准除草、施肥具有重要的指导作用。通过水稻秧苗检测得到水稻秧苗的位置信息，可以指导除草机构的动作除去水稻封行前的行间杂草。

作物和杂草检测主要有2类方法，第一类是基于图像处理的方法，将作物从背景中分割出来，然后进行作物行中心线检测。第二类是基于深度学习的方法进行作物和杂草检测。由于水田环境非常复杂，水稻秧苗的检测影响因素较多，传统的图像处理方法对水稻秧苗检测的适应性和鲁棒性较差。尤其当水田图像在R，G和B像素强度上变化不显著的时候，当杂草很多或与农作物大小相似时，传统的图像处理算法效果不佳。

发明内容

本发明的目的是提供一种基于改进YOLOV3网络的水稻秧苗检测模型及其方法，解决复杂水田环境中多种情况下的水稻秧苗检测鲁棒性和准确性较差的问题。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于改进YOLOV3网络的水稻秧苗检测模型，包括有对输入的水稻秧苗图像进行多尺度特征提取以获得多尺度的秧苗特征图的特征提取模块、根据多尺度的秧苗特征图对水稻秧苗位置进行预测的多尺度预测模块；

所述多尺度预测模块包括有对多尺度的秧苗特征图进行融合构建处理以获得多尺度的融合特征图的多尺度融合特征构建模块、根据融合特征图中对应的融合特征对秧苗位置进行预测的多尺度秧苗位置预测模块。

作为优选，所述特征提取模块包括有对输入的水稻秧苗图像依次进行倍率采样提取处理以分别得到52尺度秧苗特征图、26尺度秧苗特征图、13尺度秧苗特征图的52尺度特征提取子模块、26尺度特征提取子模块、13尺度特征提取子模块。

作为优选，所述多尺度融合特征构建模块包括有对不同尺度的秧苗特征图进行融合处理的52尺度融合特征构建子模块、26尺度融合特征构建子模块、13尺度融合特征构建子模块。

作为优选，所述52尺度特征提取子模块对52尺度特征提取子模块的输入秧苗特征图进行特征提取以获得包含有52尺度秧苗特征的52尺度秧苗特征图；所述26尺度特征提取子模块对26尺度特征提取子模块的输入秧苗特征图进行特征提取以获得包含有26尺度秧苗特征的26尺度秧苗特征图；所述13尺度特征提取子模块对为13尺度特征提取子模块的输入秧苗特征图进行特征提取以获得包含有13尺度秧苗特征的13尺度秧苗特征图。

一种基于改进YOLOV3网络的水稻秧苗检测模型的检测方法，包括有以下步骤：

获得输入的水稻秧苗图像；

对水稻秧苗图像分别进行不同倍率下采样，通过特征提取模块获得52尺度秧苗特征图、26尺度秧苗特征图、13尺度秧苗特征图；

通过多尺度融合特征构建模块对获取的13尺度秧苗特征图、26尺度秧苗特征图、52尺度秧苗特征图依次进行特征融合以获得13尺度秧苗融合特征图、26尺度秧苗融合特征图、52尺度秧苗融合特征图；

通过多尺度秧苗位置预测模块依次对获得的13尺度秧苗融合特征图、26尺度秧苗融合特征图、52尺度秧苗融合特征图进行预测以获得13尺度秧苗预测结果、26尺度秧苗预测结果、52尺度秧苗预测结果。

作为优选，特征提取模块进行特征提取的具体步骤如下：

对输入的水稻秧苗图经过10个卷积层及3个残差层得到52尺度特征提取子模块的输入卷积层，通过52尺度特征提取子模块提取获得52尺度秧苗特征；

对52尺度特征提取子模块的输出层经过3*3/2*512的卷积核进行卷积得到26尺度特征提取子模块的输入卷积层，通过26尺度特征提取子模块提取获得26尺度秧苗特征；

对26尺度特征提取子模块的输出层经过3*3/2*512的卷积核进行卷积得到13尺度特征提取子模块的输入卷积层，通过13尺度特征提取子模块提取获得13尺度秧苗特征。

作为优选，多尺度融合特征构建模块进行特征融合构建具体步骤如下：

对26尺度特征提取子模块的输出层进行下采样得到13*13*512特征图，并与13尺度特征提取子模块的输出层进行张量拼接，得到13尺度秧苗融合特征图；

对52尺度特征提取子模块的输出层进行下采样后得到26*26*256特征图，对13尺度特征提取子模块的输出层进行上采样获得26*26*512特征图，将下采样得到的26*26*256特征图、上采样获得的26*26*512特征图与26尺度特征提取子模块的输出层进行张量拼接，得到26尺度秧苗融合特征图；

对输入的水稻秧苗图片进行特征提取获得的104尺度输出秧苗特征图进行下采样得到52*52*128特征图，对26尺度特征提取子模块的输出层进行上采样获得52*52*512特征图，将下采样得到的52*52*128特征图、上采样获得的52*52*512特征图与52尺度特征提取子模块的输出层进行张量拼接，得到52尺度秧苗融合特征图。

作为优选，多尺度秧苗位置预测模型的具体预测步骤如下：

13尺度融合特征构建子模块构建获得的13尺度秧苗融合特征经过一组卷积核和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到13尺度的预测结果13*13*18；

26尺度融合特征构建子模块构建获得的26尺度秧苗融合特征经过一组卷积核和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到26尺度的预测结果26*26*18；

52尺度融合特征构建子模块构建获得的52尺度秧苗融合特征经过一组卷积核和1个3*3*256卷积核及1个1*1*18卷积核的卷积得到52尺度的预测结果52*52*18。

综上所述，本发明具有以下有益效果：

基于改进Yolov3网络的水稻秧苗检测模型能够自动提取水稻秧苗特征，该模型在原本的特征提取网络里对接近水稻秧苗尺寸的52尺度特征图采用52尺度特征提取子模块替代原本的残差单元进行加宽网络，在构建各个尺度的融合特征时加入了不同尺度的采样特征，融合后的特征增加了对低层的位置信息和高层的语义信息的结合，得到的各个尺度的水稻秧苗融合特征层次更加丰富，改进后的水稻秧苗检测模型对复杂水田环境中高低杂草密度分布，不同光照条件，水稻秧苗缺失情况下的水稻秧苗检测具有较好的准确性和鲁棒性。

附图说明

图1为检测模型的结构示意框图；

图2为检测模型的网络结构图；

图3为本发明检测方法的流程示意图；

图4为基于改进Yolov3和Yolov3水稻秧苗检测模型的测试p-r曲线图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

根据一个或多个实施例，公开了一种基于改进YOLOV3网络的水稻秧苗检测模型，如图1所示，包括有对输入的水稻秧苗图像进行多尺度水稻秧苗特征提取以获得多尺度的秧苗特征图的特征提取模块、根据特征提取模块提取的多尺度的秧苗特征图对水稻秧苗位置进行预测的多尺度预测模块。

如图1所示，特征提取模块包括有对输入的水稻秧苗图像依次进行倍率采样提取处理的52尺度特征提取子模块、26尺度特征提取子模块、13尺度特征提取子模块。为表述清楚，现举例输入的水稻秧苗图像采用416*416尺度的图像，进行采样提取时，分别进行8倍、16倍和32倍下采样。

多尺度预测模块包括有对特征提取模块提取的不同尺度的秧苗特征图进行融合构建处理以获得多尺度的融合特征图的多尺度融合特征构建模块、根据融合特征图中的多尺度的融合特征对秧苗位置进行预测的多尺度秧苗位置预测模块。其中多尺度融合特征构建模块具体的包括有52尺度融合特征构建子模块、26尺度融合特征构建子模块、13尺度融合特征构建子模块，多尺度秧苗位置预测模块具体的包括有52尺度位置预测子模块、26尺度位置预测子模块、13尺度位置预测子模块。

52尺度特征提取子模块进行提取的输入秧苗特征图具体为：对输入的水稻秧苗图像经过10个卷积层和3个残差层后得到52尺度特征提取子模块的输入卷积层作为52尺度特征提取子模块的输入秧苗特征图。52尺度特征提取子模块对其输入秧苗特征图进行特征提取得到包含有52尺度秧苗特征的52尺度秧苗特征图。

26尺度特征提取子模块进行提取的输入秧苗特征图具体为：对52尺度特征提取子模块的输出层即输出的52尺度秧苗特征图，经过3*3/2*512的卷积核进行卷积得到26尺度特征提取子模块的输入卷积层，得到的即为26尺度特征提取子模块的输入秧苗特征图。26尺度特征提取子模块对其输入秧苗特征图进行特征提取获得包含有26尺度秧苗特征的26尺度秧苗特征图。

13尺度特征提取子模块进行提取的输入秧苗特征图具体为：对26尺度特征提取子模块的输出层即输出的26尺度秧苗特征图，经过3*3/2*512的卷积核进行卷积得到13尺度特征提取子模块的输入卷积层，得到的即为13尺度特征提取子模块的输入秧苗特征图。通过13尺度特征提取子模块提取获得包含有13尺度秧苗特征的13尺度秧苗特征图。三个尺度的特征提取模块依次进行提取。

13尺度融合特征构建子模块融合构建的特征图包括有13尺度特征提取子模块的输出层即提取得到的13尺度秧苗特征图，以及对26尺度特征提取子模块的输出层即提取得到的26尺度秧苗特征图进行下采样得到的13*13*512特征图，将得到的13尺度秧苗特征图及13*13*512特征图这两个特征图进行张量拼接得到13尺度秧苗融合特征图。

同理，26尺度融合特征构建子模块融合构建的秧苗特征图包括有26尺度特征提取子模块的输出层，还包括有对52尺度特征提取子模块的输出层即提取得到的52尺度秧苗特征图进行下采样得到26*26*256特征图以及对13尺度特征提取子模块的输出层进行上采样得到26*26*512特征图，通过将下采样得到的26*26*256特征图、上采样得到的26*26*512特征图以及26尺度特征提取子模块的输出层进行张量拼接得到26尺度秧苗融合特征图。

同理，52尺度融合特征构建子模块融合构建的秧苗特征图包括有52尺度特征提取子模块的输出层，还包括有对输入的水稻秧苗图片进行特征提取获得的104尺度输出秧苗特征图进行下采样得到52*52*128特征图以及对26尺度特征提取子模块的输出层进行上采样得到52*52*512特征图，通过将下采样得到的52*52*128特征图、上采样得到的52*52*512特征图以及52尺度特征提取子模块的输出层进行张量拼接得到52尺度秧苗融合特征图。

多尺度秧苗位置预测模块的13尺度位置预测子模块通过将13尺度秧苗融合特征经过一组卷积核，和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到13尺度的预测结果13*13*18。

26尺度位置预测子模块通过将26尺度秧苗融合特征经过一组卷积核，和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到26尺度的预测结果26*26*18。

52尺度位置预测子模块通过将52尺度秧苗融合特征经过一组卷积核，和1个3*3*256卷积核及1个1*1*18卷积核的卷积得到52尺度的预测结果52*52*18。

原始的Yolov3网络模型在每个尺度特征融合构建处理的时候，采用小尺度特征图上采样和该尺度特征图进行融合的方式，本发明基于改进后的Yolov3模型采用小尺度特征图上采样，大尺度特征图下采样和该尺度特征图进行融合的方式，融合后的特征增加了对低层的位置信息和高层的语义信息的结合，得到的各个尺度的水稻秧苗融合特征层次更加丰富。

根据一个或多个实施例，公开了一种基于改进YOLOV3网络的水稻秧苗检测模型的检测方法，如图2及图3所示，包括有以下步骤：

获得输入的水稻秧苗图像；

对水稻秧苗图像分别进行不同倍率下采样，并通过特征提取模块获得52尺度秧苗特征图、26尺度秧苗特征图、13尺度秧苗特征图；

通过多尺度融合特征构建模块对获取的13尺度秧苗特征图、26尺度秧苗特征图、52尺度秧苗特征图依次进行特征融合以获得13尺度秧苗融合特征图、26尺度秧苗融合特征图、52尺度秧苗融合特征图；

通过多尺度秧苗位置预测模块依次对获得的13尺度秧苗融合特征图、26尺度秧苗融合特征图、52尺度秧苗融合特征图进行预测以获得13尺度秧苗预测结果、26尺度秧苗预测结果、52尺度秧苗预测结果。

具体的，其中特征提取模块进行特征提取的具体步骤如下：

对输入的水稻秧苗图经过10个卷积层及3个残差层得到52尺度特征提取子模块的输入卷积层，通过52尺度特征提取子模块提取获得52尺度秧苗特征；

对52尺度特征提取子模块的输出层经过3*3/2*512的卷积核进行卷积得到26尺度特征提取子模块的输入卷积层，通过26尺度特征提取子模块提取获得26尺度秧苗特征；

对26尺度特征提取子模块的输出层经过3*3/2*512的卷积核进行卷积得到13尺度特征提取子模块的输入卷积层，通过13尺度特征提取子模块提取获得13尺度秧苗特征。

具体的，多尺度融合特征构建模块进行特征融合构建具体步骤如下：

对26尺度特征提取子模块的输出层进行下采样得到13*13*512特征图，并与13尺度特征提取子模块的输出层进行张量拼接，得到13尺度秧苗融合特征图；

对52尺度特征提取子模块的输出层进行下采样后得到26*26*256特征图，对13尺度特征提取子模块的输出层进行上采样获得26*26*512特征图，将下采样得到的26*26*256特征图、上采样获得的26*26*512特征图与26尺度特征提取子模块的输出层进行张量拼接，得到26尺度秧苗融合特征图；

对输入的水稻秧苗图片进行特征提取获得的104尺度输出秧苗特征图进行下采样得到52*52*128特征图，对26尺度特征提取子模块的输出层进行上采样获得52*52*512特征图，将下采样得到的52*52*128特征图、上采样获得的52*52*512特征图与52尺度特征提取子模块的输出层进行张量拼接，得到52尺度秧苗融合特征图。

52尺度特征提取子模块为Inception模块，采用三路卷积加宽网络：第一路卷积采用1*1*64卷积核降低输入秧苗特征图的通道数，然后采用3*3*128和3*3*64两个卷积核进行卷积提取特征；第二路先采用1*1*64卷积核降低输入秧苗特征图的通道数，再采用3*3*128卷积核进行卷积提取特征；第三路通过1*1*64卷积降低输入秧苗特征图的通道数。通过Inception模块三路卷积处理后获得的52尺度秧苗特征图与上/下采样得到的52*52*128特征图、52*52*512特征图进行张量拼接完成52尺度特征融合。其中，Inception模块优选设置为4个，代替原本的残差单元进行加宽网络，能够提取更多特征，可有效减小参数和训练时间。

进一步的，多尺度秧苗位置预测模型的具体预测步骤如下：

将13尺度秧苗融合特征图的13尺度秧苗融合特征经过一组卷积核和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到13尺度的预测结果13*13*18；

将26尺度秧苗融合特征图的26尺度秧苗融合特征经过一组卷积核和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到26尺度的预测结果26*26*18；

将52尺度秧苗融合特征图的52尺度秧苗融合特征经过一组卷积核和1个3*3*256卷积核及1个1*1*18卷积核的卷积得到52尺度的预测结果52*52*18。

为表述清楚，现举一实例，对基于改进的Yolov3和Yolov3的水稻秧苗检测模型使用水稻秧苗测试集进行测试，测试后分别绘制p-r曲线，如图4(a)、(b)所示，(a)图为改进Yolov3的p-r曲线，(b)图为Yolov3的p-r曲线，当置信度阈值是0.5的时候，基于改进Yolov3和Yolov3网络的水稻秧苗检测模型的精度分别是0.82和0.48，因此基于改进Yolov3的水稻秧苗检测算法在精度上提升了大约34％。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (8)

1.一种基于改进YOLOV3网络的水稻秧苗检测模型，其特征是：包括有对输入的水稻秧苗图像进行多尺度特征提取以获得多尺度的秧苗特征图的特征提取模块、根据多尺度的秧苗特征图对水稻秧苗位置进行预测的多尺度预测模块；

所述多尺度预测模块包括有对多尺度的秧苗特征图进行融合构建处理以获得多尺度的融合特征图的多尺度融合特征构建模块、根据融合特征图中对应的融合特征对秧苗位置进行预测的多尺度秧苗位置预测模块。

2.根据权利要求1所述的基于改进YOLOV3网络的水稻秧苗检测模型，其特征是：所述特征提取模块包括有对输入的水稻秧苗图像依次进行倍率采样提取处理以分别得到52尺度秧苗特征图、26尺度秧苗特征图、13尺度秧苗特征图的52尺度特征提取子模块、26尺度特征提取子模块、13尺度特征提取子模块。

3.根据权利要求2所述的基于改进YOLOV3网络的水稻秧苗检测模型，其特征是：所述多尺度融合特征构建模块包括有对不同尺度的秧苗特征图进行融合处理的52尺度融合特征构建子模块、26尺度融合特征构建子模块、13尺度融合特征构建子模块。

4.根据权利要求3所述的基于改进YOLOV3网络的水稻秧苗检测模型，其特征是：所述52尺度特征提取子模块对52尺度特征提取子模块的输入秧苗特征图进行特征提取以获得包含有52尺度秧苗特征的52尺度秧苗特征图；所述26尺度特征提取子模块对26尺度特征提取子模块的输入秧苗特征图进行特征提取以获得包含有26尺度秧苗特征的26尺度秧苗特征图；所述13尺度特征提取子模块对为13尺度特征提取子模块的输入秧苗特征图进行特征提取以获得包含有13尺度秧苗特征的13尺度秧苗特征图。

5.一种基于改进YOLOV3网络的水稻秧苗检测模型的检测方法，其特征是，包括有以下步骤：

获得输入的水稻秧苗图像；

对水稻秧苗图像分别进行不同倍率下采样，通过特征提取模块获得52尺度秧苗特征图、26尺度秧苗特征图、13尺度秧苗特征图；

通过多尺度融合特征构建模块对获取的13尺度秧苗特征图、26尺度秧苗特征图、52尺度秧苗特征图依次进行特征融合以获得13尺度秧苗融合特征图、26尺度秧苗融合特征图、52尺度秧苗融合特征图；

通过多尺度秧苗位置预测模块依次对获得的13尺度秧苗融合特征图、26尺度秧苗融合特征图、52尺度秧苗融合特征图进行预测以获得13尺度秧苗预测结果、26尺度秧苗预测结果、52尺度秧苗预测结果。

6.根据权利要求5所述的基于改进YOLOV3网络的水稻秧苗检测方法，其特征是，特征提取模块进行特征提取的具体步骤如下：

对输入的水稻秧苗图像经过10个卷积层和3个残差层得到52尺度特征提取子模块的输入卷积层，通过52尺度特征提取子模块提取获得52尺度秧苗特征；

对52尺度特征提取子模块的输出层经过3*3/2*512的卷积核进行卷积得到26尺度特征提取子模块的输入卷积层，通过26尺度特征提取子模块提取获得26尺度秧苗特征；

对26尺度特征提取子模块的输出层经过3*3/2*512的卷积核进行卷积得到13尺度特征提取子模块的输入卷积层，通过13尺度特征提取子模块提取获得13尺度秧苗特征。

7.根据权利要求6所述的基于改进YOLOV3网络的水稻秧苗检测方法，其特征是，多尺度融合特征构建模块进行特征融合构建具体步骤如下：

对26尺度特征提取子模块的输出层进行下采样得到13*13*512特征图，并与13尺度特征提取子模块的输出层进行张量拼接，得到13尺度秧苗融合特征图；

对52尺度特征提取子模块的输出层进行下采样后得到26*26*256特征图，对13尺度特征提取子模块的输出层进行上采样获得26*26*512特征图，将下采样得到的26*26*256特征图、上采样获得的26*26*512特征图与26尺度特征提取子模块的输出层进行张量拼接，得到26尺度秧苗融合特征图；

对输入的水稻秧苗图片进行特征提取获得的104尺度输出秧苗特征图进行下采样得到52*52*128特征图，对26尺度特征提取子模块的输出层进行上采样获得52*52*512特征图，将下采样得到的52*52*128特征图、上采样获得的52*52*512特征图与52尺度特征提取子模块的输出层进行张量拼接，得到52尺度秧苗融合特征图。

8.根据权利要求7所述的基于改进YOLOV3网络的水稻秧苗检测方法，其特征是，多尺度秧苗位置预测模型的具体预测步骤如下：

13尺度融合特征构建子模块构建获得的13尺度秧苗融合特征经过一组卷积核和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到13尺度的预测结果13*13*18；

26尺度融合特征构建子模块构建获得的26尺度秧苗融合特征经过一组卷积核和1个3*3*512卷积核及1个1*1*18卷积核的卷积得到26尺度的预测结果26*26*18；

52尺度融合特征构建子模块构建获得的52尺度秧苗融合特征经过一组卷积核和1个3*3*256卷积核及1个1*1*18卷积核的卷积得到52尺度的预测结果52*52*18。

Images