[go: up one dir, main page]

CN116823772A - 车库车辆数量检测方法、装置及电子设备 - Google Patents

车库车辆数量检测方法、装置及电子设备 Download PDF

Info

Publication number
CN116823772A
CN116823772A CN202310779638.9A CN202310779638A CN116823772A CN 116823772 A CN116823772 A CN 116823772A CN 202310779638 A CN202310779638 A CN 202310779638A CN 116823772 A CN116823772 A CN 116823772A
Authority
CN
China
Prior art keywords
vehicle
network
garage
detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310779638.9A
Other languages
English (en)
Inventor
苏志锋
苏沁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202310779638.9A priority Critical patent/CN116823772A/zh
Publication of CN116823772A publication Critical patent/CN116823772A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种车库车辆数量检测方法、装置及电子设备，方法包括：获取待检测的车库车辆图像；将车库车辆图像输入至车辆数量检测模型；其中，车辆数量检测模型包括：主干网络和密度预测分支网络；车辆数量检测模型在训练时还包括检测分支网络，密度预测分支网络的参数量小于检测分支网络的参数量；车辆数量检测模型为基于预设的车库车辆图像训练样本集对主干网络、检测分支网络和密度预测分支网络同时训练后得到的；通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果。本申请通过包括主干网络和密度预测分支网络的车辆数量检测模型来完成车辆数量预测，是一种轻量级的车辆计数模型，对边缘化设备更友好。

Description

车库车辆数量检测方法、装置及电子设备
技术领域
本申请涉及金融行业技术领域，尤其是涉及一种车库车辆数量检测方法、装置及电子设备。
背景技术
在金融行业的贷款业务中，常常会有一些二手车商将车辆抵押给银行，以获得贷款，车辆通常会停在指定车库中，因此，对车库中车辆计数是管理必不可少的环节，可以实现对贷款环节的固定资产方便的管理，进一步可以避免坏账。针对车库中车辆计数，单靠人工手动计数，工作量大且枯燥。业内通用的方式是通过训练车辆检测模型，然后通过模型去检测视频或图像中车辆，根据检测框统计得到车辆数目。上述方法已经可以作为有效手段实现自动化的车辆数量检测管理。但是检测模型较大，消耗的资源成本高，检测仍然会存在漏检的可能。
发明内容
本申请的目的在于提供一种车库车辆数量检测方法、装置及电子设备，通过包括主干网络和密度预测分支网络的车辆数量检测模型来完成车辆数量预测，而车辆数量检测模型在训练阶段是通过对主干网络、检测分支和密度预测分支双分支网络进行训练的，且密度预测分支网络参数量远小于检测分支网络的参数量，而在实际应用中，车辆数量检测模型摆脱了检测分支的束缚，仅仅通过密度预测分支得出车辆数量，是一种轻量级的车辆计数模型，对边缘化设备更友好。
第一方面，本申请实施例提供一种车库车辆数量检测方法，方法包括：获取待检测的车库车辆图像；将车库车辆图像输入至车辆数量检测模型；其中，车辆数量检测模型包括：主干网络和密度预测分支网络；车辆数量检测模型在训练时还包括检测分支网络，密度预测分支网络的参数量小于检测分支网络的参数量；车辆数量检测模型为基于预设的车库车辆图像训练样本集对主干网络、检测分支网络和密度预测分支网络同时训练后得到的；通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果。
在本申请较佳的实施方式中，上述车辆数量检测模型的训练过程如下：获取车库车辆图像训练样本集；样本集中的样本包括标注有车辆检测框信息和车辆密度信息的车库车辆图像；应用训练样本集中的样本训练主干网络和检测分支网络；在训练完成后，再应用训练样本集中的样本同时训练主干网络、检测分支网络和密度预测分支网络，得到车辆数量检测模型。
在本申请较佳的实施方式中，上述获取车库车辆图像训练样本集的步骤，包括：获取车库车辆视频；按天从车库车辆视频中抽取指定数量的帧图像；针对每个帧图像，以车辆中心坐标和车辆宽高进行标注，完成车辆检测框信息的标注；对帧图像中各个车辆引擎盖所在位置的像素值标注为1，遍历所有1的位置，以1的位置为中心，在预设像素范围内按照高斯分布标注每个像素点的概率值，不在预设像素范围内的像素点标注为0，完成车辆密度信息的标注；其中，概率值表征该像素点为车辆中心的可信度。
在本申请较佳的实施方式中，上述密度预测分支网络包括：与主干网络连接的三个并行通道网络；每个通道网络中均包括：第一卷积层、注意力层和padding层；注意力层中包括最大池化层和激活层；三个并行通道网络中的卷积层的卷积核依次增大；最大卷积核的通道网络中，注意力层的最大池化为沿着平面和空间深度两个维度方向的池化；其它两个通道网络中，注意力层的最大池化为沿着空间深度维度方向的池化；三个并行通道网络均连接同一第二卷积层，由第二卷积层输出车辆密度预测结果。
在本申请较佳的实施方式中，上述检测分支网络包括：瓶颈层和预测层；瓶颈层包括concat层，上采样和卷积层；预测层包括不带BN的单卷积层。
在本申请较佳的实施方式中，在模型训练过程中，检测分支部分对应的第一损失值的计算方式如下：通过Iou Loss计算Iou损失值；通过CE Loss计算交叉熵损失值；求取所述Iou损失值和所述交叉熵损失值之和，作为检测分支部分对应的第一损失值；密度预测分支部分通过smooth Loss计算第二损失值；整个模型的总损失值为所述第一损失值和所述第二损失值的加权和。
在本申请较佳的实施方式中，上述通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果的步骤，包括：通过密度预测分支网络输出车库车辆图像对应的车辆密度预测结果；车辆密度预测结果包括车库车辆图像中每个像素点对应的概率值；统计车库车辆图像中概率值超过阈值的像素点的数量，得到车库车辆图像对应的车辆数量检测结果。
第二方面，本申请实施例还提供一种车库车辆数量检测装置，装置包括：图像获取模块，用于获取待检测的车库车辆图像；图像输入模块，用于将车库车辆图像输入至车辆数量检测模型；其中，车辆数量检测模型包括：主干网络和密度预测分支网络；车辆数量检测模型在训练时还包括检测分支网络，密度预测分支网络的参数量小于检测分支网络的参数量；车辆数量检测模型为基于预设的车库车辆图像训练样本集对主干网络、检测分支网络和密度预测分支网络同时训练后得到的；模型预测模块，用于通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果。
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请提供的车库车辆数量检测方法、装置及电子设备中，首先获取待检测的车库车辆图像；然后将将车库车辆图像输入至车辆数量检测模型；该车辆数量检测模型包括：主干网络和密度预测分支网络；车辆数量检测模型在训练时还包括检测分支网络，密度预测分支网络的参数量小于检测分支网络的参数量；车辆数量检测模型为基于预设的训练样本集对主干网络、检测分支网络和密度预测分支网络同时训练后得到的；通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果。该方式中，车辆数量检测模型实际由主干网络和密度预测分支网络构成，而车辆数量检测模型在训练阶段是通过对包含检测和密度预测双分支的网络进行训练的，且密度预测分支网络参数量远小于检测分支，而在实际应用中，车辆数量检测模型摆脱了检测分支的束缚，仅仅通过密度预测分支得出车辆数量，是一种轻量级的车辆计数模型，对边缘化设备更友好。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车库车辆数量检测方法的流程图；
图2为本申请实施例提供的一种车辆数量检测模型的训练过程的流程图；
图3为本申请实施例提供的一种车辆数量检测模型的整体网络结构示意图；
图4为本申请实施例提供的一种车库车辆数量检测装置的结构框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前常规的车辆数量检测模型是通过大量训练样本训练车辆检测模型，然后通过车辆检测模型检测视频或图像中车辆，根据检测框统计得到车辆数目。这种方式中检测模型较大，消耗的资源成本高，检测仍然会存在漏检的可能。
基于此，本申请实施例提供一种车库车辆数量检测方法、装置及电子设备，通过包括主干网络和密度预测分支网络的车辆数量检测模型来完成车辆数量预测，而车辆数量检测模型在训练阶段是通过对主干网络、检测分支和密度预测分支双分支网络进行训练的，且密度预测分支网络参数量远小于检测分支网络的参数量，而在实际应用中，车辆数量检测模型摆脱了检测分支的束缚，仅仅通过密度预测分支得出车辆数量，是一种轻量级的车辆计数模型，对边缘化设备更友好。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种车库车辆数量检测方法进行详细介绍。
图1为本申请实施例提供的一种车库车辆数量检测方法的流程图，该方法包括以下步骤：
步骤S102，获取待检测的车库车辆图像。
待检测的车库车辆图像可以是车库视频采集装置中当前采集到的车库车辆图像，或者是当天视频中的某一帧图像。
步骤S104，将车库车辆图像输入至车辆数量检测模型；其中，车辆数量检测模型包括：主干网络和密度预测分支网络；车辆数量检测模型在训练时还包括检测分支网络，密度预测分支网络的参数量小于检测分支网络的参数量；车辆数量检测模型为基于预设的车库车辆图像训练样本集对主干网络、检测分支网络和密度预测分支网络同时训练后得到的。
在具体实施时，车辆数量检测模型的构建由三部分组成，主干网络以及分别和主干网络连接的密度预测分支网络、检测分支网络；在模型训练时，通过预设的车库车辆图像训练样本集，对上述三部分网络均进行训练，以提高模型检测精准度。在实际模型应用时，将上述检测分支网络部分进行删除，只保留主干网络和密度预测分支网络，这样可以丢掉参数量较大的检测分支网络，从而实现一种轻量型的预测精准度较高的车辆数量检测模型。
步骤S106，通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果。
具体实施时，可以通过密度预测分支网络输出的车辆密度预测结果和阈值进行大小判断，从而确定出车库车辆图像对应的车辆数量检测结果。
本申请实施例提供的车库车辆数量检测方法中，车辆数量检测模型实际由主干网络和密度预测分支网络构成，而车辆数量检测模型在训练阶段是通过对包含检测和密度预测双分支的网络进行训练的，且密度预测分支网络参数量远小于检测分支，在实际应用中，车辆数量检测模型摆脱了检测分支的束缚，仅仅通过密度预测分支得出车辆数量，是一种轻量级的车辆计数模型，对边缘化设备更友好。
本申请实施例还提供一种车库车辆数量检测方法，该方法在上一实施例的基础上实现，该实施例中重点描述模型训练过程。
参见图2所示，上述车辆数量检测模型的训练过程如下：
步骤S202，获取车库车辆图像训练样本集；样本集中的样本包括标注有车辆检测框信息和车辆密度信息的车库车辆图像。
具体实施时，通过以下方式获取训练样本集：
(1)获取车库车辆视频；
(2)按天从车库车辆视频中抽取指定数量的帧图像；比如，通过摄像头录制的二手车车库的视频，将视频数据按天来抽帧，打包形成训练，验证和测试集合。
(3)针对每个帧图像，以车辆中心坐标(如x,y)和车辆宽高(如w,h)进行标注，完成车辆检测框信息的标注；对帧图像中各个车辆引擎盖所在位置的像素值标注为1，遍历所有1的位置，以1的位置为中心，在预设像素范围内(比如，5x5像素范围)按照高斯分布按照高斯分布标注每个像素点的概率值，不在预设像素范围内的像素点标注为0，完成车辆密度信息的标注；其中，概率值表征该像素点为车辆中心的可信度。
步骤S204，应用训练样本集中的样本训练主干网络和检测分支网络；
步骤S206，在训练完成后，再应用训练样本集中的样本同时训练主干网络、检测分支网络和密度预测分支网络，得到车辆数量检测模型。
初始学习率为0.01，Batch_size为64，优化器为SGD，训练过程分为两步，首先固定密度预测分支，单独训练车辆检测分支，也就是针对密度预测分支网络不进行反向传播，可以加快模型收敛速度；第二步全部参数训练，检测分支的学习率降至0.0002，训练模型至损失收敛，至此得到完整模型。
下面详细介绍模型网络结构，在深度学习中，通常将模型分为三个部分：backbone、neck和head。
Backbone：backbone是模型的主要组成部分，即主干网络，通常是一个卷积神经网络(CNN)或残差神经网络(ResNet)等。backbone负责提取输入图像的特征，以便后续的处理和分析。backbone通常具有许多层和许多参数，可以提取出图像的高级特征表示。
Neck：neck是连接backbone和head的中间层。neck的主要作用是对来自backbone的特征进行降维或调整，以便更好地适应任务要求。neck可以采用卷积层、池化层或全连接层等。
Head：head是模型的最后一层，通常是一个分类器或回归器。head通过输入经过neck处理过的特征，产生最终的输出。head的结构根据任务的不同而不同，例如对于图像分类任务，可以使用softmax分类器；对于目标检测任务，可以使用边界框回归器和分类器等。
参见图3所示，本申请实施例中，整个车辆数量检测模型在训练时的网络结构包括：主干网络以及分别与主干网络连接的检测分支网络和密度预测分支网络；其中，检测分支网络又包括：瓶颈层Neck和预测层Head；瓶颈层包括concat层，上采样和卷积层；预测层包括不带BN的单卷积层。密度预测分支网络包括：与主干网络连接的三个并行通道网络；每个通道网络中均包括：第一卷积层、注意力层、padding层；图中仅示出了卷积层和注意力层(如图3中的SE Layer,和CBAM Layer)；注意力层中包括最大池化层和激活层；三个并行通道网络中的卷积层的卷积核依次增大(如依次为3x3、5x5、9x9)；最大卷积核的通道网络中，注意力层的最大池化为沿着平面和空间深度两个维度方向的池化；其它两个通道网络中，注意力层的最大池化为沿着空间深度维度方向的池化；三个并行通道网络均连接同一第二卷积层(如1x1卷积层)，由第二卷积层输出车辆密度预测结果。
卷积块的注意力模块(Convolutional Block Attention Module)，简称CBAM，该模块是一个简单高效的前向卷积神经网络注意力模块。给定一张特征图，CBAM沿着通道(channel)和空间(spatial)两个单独的维度依次推断注意力图，然后将注意力图和输入特征图相乘，进行自适应特征细化。因为CBAM是一个轻量级的通用模块，可以无缝的集成到任何CNN架构中，几乎对效率，算力没有影响，能够实现端到端的训练。
本申请实施例中，主干网络backbone中，组件由卷积层、激活层、池化层构成，子单元结构上采用传统瓶颈结构和shortCut连接结构，通过层层堆叠组成了主干网络。在backbone提取特征后，将特征输入瓶颈层。瓶颈层由concat层、上采样和卷积层组成，输出不同分辨率的特征至预测层；预测层由不带BN的单卷积层构成。假设输入图像大小为640x640经过特征提取后，输出大(80x80),中(40x40)和小(20x20)分辨率的特征且深度为c，然后将上述多个尺寸的特征输入至预测层进行预测。
在构建的上述backbone基础上，继续搭建pipline，其中pipline包括三个并行通道网络。三个并行通道网络结构基本一致，差别在于卷积核的大小以及注意力层中的池化维度；第一个通道网络，输入特征i通过卷积层3x3输出k，输入特征i通过注意力层中的最大池化层和激活层处理后得到j,并将i和j按照空间深度维度方向上逐一相乘，得到输出m；然后将k和m叠加，再通过padding层进行输出。第二个通道网络中，卷积层的卷积核扩大到5x5,再最后接入padding层，对齐特征尺寸。第三通道网络，卷积核扩大至9x9,注意力层的最大池化为沿着维度方向，同样再最后接入padding层，对齐特征。整合3个pipline的结果，通过一个1x1卷积得到最终车辆密度预测结果。
在模型训练过程中，需要计算损失值，如图3所示，检测分支部分对应的第一损失值的计算方式如下：通过Iou Loss计算Iou损失值；通过CE Loss计算交叉熵损失值；求取所述Iou损失值和所述交叉熵损失值之和，作为检测分支部分对应的第一损失值；密度预测分支部分通过smooth Loss计算第二损失值；整个模型的总损失值为所述第一损失值和所述第二损失值的加权和。
即检测分支部分通过Iou损失函数和CE损失函数来实现目标位置回归和类别分类，对应数学公式如下：
areaPredict＝w×h
areaGt＝w_g×h_gt
innerArea＝max((min(xc+w/2,xc_gt-w_gt/2)-max(xc-w/2,xc_gt-w_gt/2)),0)×max((min(yc+h/2,yc_gt+h_gt/2)-max(yc-h/2,yc_gt-h_gt/2)),0)
其中，xc，yc表示预测出的车辆中心点坐标，xc_gt，yc_gt表示标签标注的真实的车辆中心点坐标，w，h表示预测出的车辆宽和高；w_gt，h_gt表示标签标注的真实的车辆宽和高；innerArea表示相交面积；area Predict表示预测车辆区域；areaGt表示真实车辆区域；iouLoss表示Iou损失函数值。
其中，ceLoss表示交叉熵损失函数值；qi表示分类结果为车的真实概率值；pi表示分类结果为车的预测概率值。
由此可得检测分支损失函数为：
loss_det＝iouLoss+ceLoss；
其中，loss_det表示第一损失值。
密度预测分支部分，按照像素点计算smooth Loss,对应数学公式如下：
其中，smoothLoss()表示第二损失值；x_gt表示图像中像素点对应的真实概率值；x_predict表示图像中像素点对应的预测概率值。
由此可以得到总损失函数为：
loss_total＝0.4*loss_det+0.6*smoothLoss。
对模型应用时，通过密度预测分支网络输出车库车辆图像对应的车辆密度预测结果；车辆密度预测结果包括车库车辆图像中每个像素点对应的概率值；统计车库车辆图像中概率值超过阈值的像素点的数量，得到车库车辆图像对应的车辆数量检测结果。也就是在模型应用时，将检测分支删除，仅仅保留backbone和密度预测分支。对密度预测结果中，像素点概率值大于0.8的像素进行统计，即可得到车库的车辆数量统计，完成车辆盘点。
本申请实施例提供的一种车库车辆数量检测方法中，车辆数量检测模型将检测能力融合到backbone，有利于密度预测的准确性提升。其次本发明在测试阶段只保留密度预测分支，极大压缩了模型参数。不仅如此，轻量化的设计提高了运行成本和效率，使得模型易于部署在边缘化设备。当然最重要的是，这种方法推动了二手车管理的车辆盘点环节，提高车辆管理的自动化水平。车辆数量检测模型可以实时跟踪车库的车辆数目，及时发现异常，保护用户财产安全。
基于上述方法实施例，本申请实施例还提供一种车库车辆数量检测装置，参见图4所示，该装置包括：
图像获取模块42，用于获取待检测的车库车辆图像；图像输入模块44，用于将车库车辆图像输入至车辆数量检测模型；其中，车辆数量检测模型包括：主干网络和密度预测分支网络；车辆数量检测模型在训练时还包括检测分支网络，密度预测分支网络的参数量小于检测分支网络的参数量；车辆数量检测模型为基于预设的车库车辆图像训练样本集对主干网络、检测分支网络和密度预测分支网络同时训练后得到的；模型预测模块46，用于通过车辆数量检测模型输出车库车辆图像对应的车辆数量检测结果。
在本申请较佳的实施方式中，上述装置还包括：模型训练模块，用于执行以下车辆数量检测模型的训练过程：获取车库车辆图像训练样本集；样本集中的样本包括标注有车辆检测框信息和车辆密度信息的车库车辆图像；应用训练样本集中的样本训练主干网络和检测分支网络；在训练完成后，再应用训练样本集中的样本同时训练主干网络、检测分支网络和密度预测分支网络，得到车辆数量检测模型。
在本申请较佳的实施方式中，上述模型训练模块，用于获取车库车辆视频；按天从车库车辆视频中抽取指定数量的帧图像；针对每个帧图像，以车辆中心坐标和车辆宽高进行标注，完成车辆检测框信息的标注；对帧图像中各个车辆引擎盖所在位置的像素值标注为1，遍历所有1的位置，以1的位置为中心，在预设像素范围内按照高斯分布标注每个像素点的概率值，不在预设像素范围内按照高斯分布的像素点标注为0，完成车辆密度信息的标注；其中，概率值表征该像素点为车辆中心的可信度。
在本申请较佳的实施方式中，上述密度预测分支网络包括：与主干网络连接的三个并行通道网络；每个通道网络中均包括：第一卷积层、激活层、shortcut、注意力层、padding层；三个并行通道网络中的卷积层的卷积核依次增大；最大卷积核的通道网络中，注意力层的最大池化为沿着维度方向；三个并行通道网络均连接同一第二卷积层，由第二卷积层输出车辆密度预测结果。
在本申请较佳的实施方式中，上述检测分支网络包括：瓶颈层和预测层；瓶颈层包括concat层，上采样和卷积层；预测层包括不带BN的单卷积层。
在本申请较佳的实施方式中，在模型训练过程中，检测分支部分对应的损失函数计算方式如下：通过Iou Loss计算第一损失值；通过ce Loss计算第二损失值；求取第一损失值和第二损失值之和，作为分支部分对应的总损失值；密度预测分支部分通过smoothLoss计算损失值。
在本申请较佳的实施方式中，上述模型预测模块46，用于通过密度预测分支网络输出车库车辆图像对应的车辆密度预测结果；车辆密度预测结果包括车库车辆图像中每个像素点对应的概率值；统计车库车辆图像中概率值超过阈值的像素点的数量，得到车库车辆图像对应的车辆数量检测结果。
本申请实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图5所示，为该电子设备的结构示意图，其中，该电子设备包括处理器51和存储器50，该存储器50存储有能够被该处理器51执行的计算机可执行指令，该处理器51执行该计算机可执行指令以实现上述方法。
在图5示出的实施方式中，该电子设备还包括总线52和通信接口53，其中，处理器51、通信接口53和存储器50通过总线52连接。
其中，存储器50可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线52可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器51读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种车库车辆数量检测方法，其特征在于，所述方法包括：
获取待检测的车库车辆图像；
将所述车库车辆图像输入至车辆数量检测模型；其中，所述车辆数量检测模型包括：主干网络和密度预测分支网络；所述车辆数量检测模型在训练时还包括检测分支网络，所述密度预测分支网络的参数量小于所述检测分支网络的参数量；所述车辆数量检测模型为基于预设的车库车辆图像训练样本集对所述主干网络、所述检测分支网络和所述密度预测分支网络训练后得到的；
通过所述车辆数量检测模型输出所述车库车辆图像对应的车辆数量检测结果。
2.根据权利要求1所述的方法，其特征在于，所述车辆数量检测模型的训练过程如下：
获取车库车辆图像训练样本集；所述样本集中的样本包括标注有车辆检测框信息和车辆密度信息的车库车辆图像；
应用所述训练样本集中的样本训练所述主干网络和检测分支网络；
在训练完成后，再应用所述训练样本集中的样本同时训练所述主干网络、所述检测分支网络和所述密度预测分支网络，得到所述车辆数量检测模型。
3.根据权利要求2所述的方法，其特征在于，获取车库车辆图像训练样本集的步骤，包括：
获取车库车辆视频；
按天从所述车库车辆视频中抽取指定数量的帧图像；
针对每个帧图像，以车辆中心坐标和车辆宽高进行标注，完成车辆检测框信息的标注；对所述帧图像中各个车辆引擎盖所在位置的像素值标注为1，遍历所有1的位置，以1的位置为中心，在预设像素范围内按照高斯分布标注每个像素点的概率值，不在所述预设像素范围内的像素点标注为0，完成车辆密度信息的标注；其中，所述概率值表征该像素点为车辆中心的可信度。
4.根据权利要求1所述的方法，其特征在于，所述密度预测分支网络包括：与所述主干网络连接的三个并行通道网络；每个通道网络中均包括：第一卷积层、注意力层和padding层；所述注意力层中包括最大池化层和激活层；三个并行通道网络中的卷积层的卷积核依次增大；最大卷积核的通道网络中，注意力层的最大池化为沿着平面和空间深度两个维度方向的池化；其它两个通道网络中，注意力层的最大池化为沿着空间深度维度方向的池化；三个并行通道网络均连接同一第二卷积层，由所述第二卷积层输出车辆密度预测结果。
5.根据权利要求1所述的方法，其特征在于，所述检测分支网络包括：瓶颈层和预测层；所述瓶颈层包括concat层，上采样和卷积层；所述预测层包括不带BN的单卷积层。
6.根据权利要求1所述的方法，其特征在于，在模型训练过程中，检测分支部分对应的第一损失值的计算方式如下：通过Iou Loss计算Iou损失值；通过CE Loss计算交叉熵损失值；求取所述Iou损失值和所述交叉熵损失值之和，作为检测分支部分对应的第一损失值；密度预测分支部分通过smooth Loss计算第二损失值；整个模型的总损失值为所述第一损失值和所述第二损失值的加权和。
7.根据权利要求1所述的方法，其特征在于，通过所述车辆数量检测模型输出所述车库车辆图像对应的车辆数量检测结果的步骤，包括：
通过所述密度预测分支网络输出所述车库车辆图像对应的车辆密度预测结果；所述车辆密度预测结果包括所述车库车辆图像中每个像素点对应的概率值；
统计所述车库车辆图像中概率值超过阈值的像素点的数量，得到所述车库车辆图像对应的车辆数量检测结果。
8.一种车库车辆数量检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测的车库车辆图像；
图像输入模块，用于将所述车库车辆图像输入至车辆数量检测模型；其中，所述车辆数量检测模型包括：主干网络和密度预测分支网络；所述车辆数量检测模型在训练时还包括检测分支网络，所述密度预测分支网络的参数量小于所述检测分支网络的参数量；所述车辆数量检测模型为基于预设的车库车辆图像训练样本集对所述主干网络、所述检测分支网络和所述密度预测分支网络同时训练后得到的；
模型预测模块，用于通过所述车辆数量检测模型输出所述车库车辆图像对应的车辆数量检测结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
CN202310779638.9A 2023-06-28 2023-06-28 车库车辆数量检测方法、装置及电子设备 Pending CN116823772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310779638.9A CN116823772A (zh) 2023-06-28 2023-06-28 车库车辆数量检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310779638.9A CN116823772A (zh) 2023-06-28 2023-06-28 车库车辆数量检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116823772A true CN116823772A (zh) 2023-09-29

Family

ID=88142572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310779638.9A Pending CN116823772A (zh) 2023-06-28 2023-06-28 车库车辆数量检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116823772A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202774A (zh) * 2021-12-07 2022-03-18 大连理工大学宁波研究院 密集行人检测方法
CN114973112A (zh) * 2021-02-19 2022-08-30 四川大学 一种基于对抗学习网络的尺度自适应密集人群计数方法
CN115205808A (zh) * 2022-07-30 2022-10-18 重庆长安汽车股份有限公司 一种端到端的车道线检测方法、系统、设备和介质
WO2023019875A1 (zh) * 2021-08-16 2023-02-23 平安科技（深圳）有限公司 车辆损失检测方法、装置、电子设备及存储介质
CN116030245A (zh) * 2023-01-10 2023-04-28 淮阴工学院 一种基于DSLNet网络的车辆检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973112A (zh) * 2021-02-19 2022-08-30 四川大学 一种基于对抗学习网络的尺度自适应密集人群计数方法
WO2023019875A1 (zh) * 2021-08-16 2023-02-23 平安科技（深圳）有限公司 车辆损失检测方法、装置、电子设备及存储介质
CN114202774A (zh) * 2021-12-07 2022-03-18 大连理工大学宁波研究院 密集行人检测方法
CN115205808A (zh) * 2022-07-30 2022-10-18 重庆长安汽车股份有限公司 一种端到端的车道线检测方法、系统、设备和介质
CN116030245A (zh) * 2023-01-10 2023-04-28 淮阴工学院 一种基于DSLNet网络的车辆检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈立潮;徐秀芝;曹建芳;潘理虎;: "引入辅助损失的多场景车道线检测", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) *

Similar Documents

Publication Publication Date Title
WO2021218786A1 (zh) 一种数据处理系统、物体检测方法及其装置
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN107545263B (zh) 一种物体检测方法及装置
CN110533950A (zh) 车位使用状况的检测方法、装置、电子设备及存储介质
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN106780612A (zh) 一种图像中的物体检测方法及装置
CN112132156A (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN110378297A (zh) 一种基于深度学习的遥感图像目标检测方法
Zhang et al. MSFFA-YOLO network: Multiclass object detection for traffic investigations in foggy weather
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN117203678A (zh) 目标检测方法和装置
CN115482523B (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
CN114004966A (zh) 一种道路场景车辆和行人的目标检测算法
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN111444913B (zh) 一种基于边缘引导稀疏注意力机制的车牌实时检测方法
CN117636296A (zh) 一种基于改进LEP-YOLO v7的城市道路交通标志检测与识别方法
CN116958811A (zh) 一种道路积水区域检测方法、系统、设备及介质
CN119625269A (zh) 一种基于改进YOLOv8算法的航拍图像小目标检测方法、系统、介质及处理器
Xiao et al. A real-time system for lane detection based on FPGA and DSP
CN115841672A (zh) 文字检测识别方法、装置及设备
CN115965831A (zh) 一种车辆检测模型训练方法和车辆检测方法
CN119478742B (zh) 基于特征融合与检测头协同优化的无人机目标检测方法
CN116823772A (zh) 车库车辆数量检测方法、装置及电子设备
CN116645502B (zh) 输电线路图像检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination