CN116778432A - 道路异常物体检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及物体检测技术领域，公开了一种道路异常物体检测方法、装置、设备及存储介质，该方法包括：将待检测图像输入至预设异常检测模型中获得对应的异常预测图像，预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；对异常预测图像进行超像素分割获得超像素分割图像；通过预设评分公式对超像素分割图像进行评分，获得异常评分图像；根据异常评分图像确定待检测图像中对应的道路异常物体。本发明通过预设异常检测模型对待检测图像进行图像预处理确定异常预测图像，再进行超像素分割并输出异常评分图来加强定位待检测图像中的道路异常物体，使差异检测更具有针对性，实现对道路异常物体的有效检测。

Description

道路异常物体检测方法、装置、设备及存储介质

技术领域

本发明涉及物体检测技术领域，尤其涉及一种道路异常物体检测方法、装置、设备及存储介质。

背景技术

在现代城市发展中，道路交通线的规划变得越来越便捷，汽车出行已经成为了人们出行的主要交通方式之一。随着汽车保有量日益提高，高级驾驶辅助系统(AdvancedDriving Assistance System，ADAS)已逐渐成为各类汽车的标配功能，ADAS能够通过环境感知和检测、跟踪等功能，在车辆行驶过程中实时地进行数据分析和计算，从而以被动式报警的方式提醒驾驶员或者以主动式干预的方式来接管车辆避免意外的发生。例如准确识别道路异常物体并做出及时的反馈，避免事故的发生。

但是异常物体的出现在汽车道路行驶中可以归结为一种突发的异常情景，最大的特点就是在道路环境中不常见，并且形状复杂，而目前现有的方法对远处及较小的异常物体的检测准确率并不高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种道路异常物体检测方法、装置、设备及存储介质，旨在解决传统的方法对异常物体进行检测的准确率并不高的技术问题。

为实现上述目的，本发明提供了一种道路异常物体检测方法，所述道路异常物体检测方法包括：

将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；

对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像；

通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像；

根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。

可选地，所述预设异常检测模型包括分割模块、合成模块、深度模块和差异模块；所述将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，包括：

将待检测图像输入至所述分割模块中进行语义分割，获得所述待检测图像对应的语义图像和不确定性图像；

将待检测图像、所述语义图像和所述不确定性图像输入至所述合成模块进行图像处理，获得合成图像和异常图像；

将所述待检测图像和所述待检测图像对应的深度视差图输入至所述深度模块中进行特征映射，获得所述待检测图像对应的特征融合图像；

将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述差异模块中进行异常预测，获得所述待检测图像对应的异常预测图像。

可选地，所述将待检测图像、所述语义图像和所述不确定性图像输入至所述合成模块进行图像处理，获得合成图像和异常图像，包括：

获取所述分割模块进行语义分割时所述待检测图像对应的语义映射特征；

将所述语义映射特征输入至所述合成模块进行图像合成，获得所述待检测图像对应的合成图像；

根据预设特征提取器确定所述待检测图像和所述合成图像对应的感知损失；

根据所述感知损失和所述不确定性图像获得所述待检测图像对应的异常图像。

可选地，所述深度模块包括原图网络分支、深度网络分支和上采样模块；将所述待检测图像和所述待检测图像对应的深度视差图输入至所述深度模块中进行特征映射，获得所述待检测图像对应的特征融合图像，包括：

获取所述待检测图像对应的深度视差图，所述深度视差图反映图中物体的距离和形状；

将所述待检测图像输入至所述原图网络分支进行特征映射，获得所述待检测图像对应的原始特征映射图；

将所述深度视差图输入至所述深度网络分支进行特征映射，获得所述深度视差图对应的深度特征映射图；

通过上采样模块对所述原始特征映射图和所述深度特征映射图进行上采样，获得所述待检测图像对应的特征融合图像。

可选地，所述差异模块包括卷积模块、融合模块和解码器模块；所述将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述差异模块中进行异常预测，获得所述待检测图像对应的异常预测图像，包括：

将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述卷积模块中进行卷积处理，获得多个特征映射图像；

将各特征映射图像输入至所述融合模块中进行图像融合，获得融合图像；

根据所述解码器模块对所述融合图像进行卷积过滤，获得所述待检测图像对应的异常预测图像。

可选地，所述对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像，包括：

对所述异常预测图像进行色彩空间转换，并根据转换结果获得各像素对应的五维向量坐标；

对各像素进行聚类，获得多个聚类中心组；

根据所述五维向量坐标获取各聚类中心组的平均向量值，并根据所述平均向量值对各聚类中心组进行聚类收敛，获得所述异常预测图像对应的超像素分割图像。

可选地，所述将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像之前，还包括：

对预设训练数据集进行异常标记，获得标记数据集；

对所述标记数据集进行图像预处理，获得所述标记数据集对应的原始语义图像集、合成图像集、不确定性图像集和异常图像集；

将所述原始语义图像集、所述合成图像集、所述不确定性图像集和所述异常图像集输入至初始模型中进行训练，获得预设异常检测模型。

此外，为实现上述目的，本发明还提出一种道路异常物体检测装置，所述装置包括：

异常预测模块，用于将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；

像素分割模块，用于对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像；

异常评分模块，用于通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像；

异物确定模块，用于根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。

此外，为实现上述目的，本发明还提出一种道路异常物体检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的道路异常物体检测程序，所述道路异常物体检测程序配置为实现如上文所述的道路异常物体检测方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有道路异常物体检测程序，所述道路异常物体检测程序被处理器执行时实现如上文所述的道路异常物体检测方法的步骤。

本发明通过将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；然后对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像；接着通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像；最后根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。本发明通过预设异常检测模型对待检测图像进行图像预处理确定异常预测图像，再进行超像素分割并输出异常评分图来加强定位待检测图像中的道路异常物体，使差异检测更具有针对性，实现对异常物体的有效检测。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的道路异常物体检测设备的结构示意图；

图2为本发明道路异常物体检测方法第一实施例的流程示意图；

图3为本发明道路异常物体检测方法第二实施例的流程示意图；

图4为本发明道路异常物体检测方法第二实施例中深度模块的网络结构图；

图5为本发明道路异常物体检测方法第二实施例中差异模块的网络结构图；

图6为本发明道路异常物体检测方法第三实施例的流程示意图；

图7为本发明道路异常物体检测方法第三实施例的超像素分割结果图；

图8为本发明道路异常物体检测装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的道路异常物体检测设备结构示意图。

如图1所示，该道路异常物体检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对道路异常物体检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及道路异常物体检测程序。

在图1所示的道路异常物体检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明道路异常物体检测设备中的处理器1001、存储器1005可以设置在道路异常物体检测设备中，所述道路异常物体检测设备通过处理器1001调用存储器1005中存储的道路异常物体检测程序，并执行本发明实施例提供的道路异常物体检测方法。

本发明实施例提供了一种道路异常物体检测方法，参照图2，图2为本发明道路异常物体检测方法第一实施例的流程示意图。

本实施例中，所述道路异常物体检测方法包括以下步骤：

步骤S10：将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征。

需要说明的是，本实施例方法的执行主体可以是具有异常物体检测功能的计算服务设备，例如ADAS辅助驾驶设备等，还可以是能够实现相同或相似功能的其他电子设备，例如上述道路异常物体检测设备，本实施例对此不加以限制。此处以上述道路异常物体检测设备(简称检测设备)对本实施例和下述各实施例进行具体说明。

可理解的是，待检测图像是车辆行驶在道路上时拍摄的关于道路场景的原始图像。预设异常检测模型是在检测设备中预先设置的对输入图像进行异常物体预测的模型，所该预设异常检测模型对输入图像进行图像预处理，例如图像语义分割、合成处理、深度特征提取以及异常特征预测，使差异检测更具有针对性，实现对异常物体的有效检测，从而输出异常预测图像。

在具体实现中，检测设备将待检测图像(即原始图像)输入至预设异常检测模型中，模型对待检测图像进行一系列图像预处理，例如图像语义分割、深度特征提取以及异常特征预测，使差异检测更具有针对性，实现对异常物体的有效检测，从而输出异常预测图像。

步骤S20：对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像。

需要说明的是，超像素分割图像是基于超像素分割技术对图像分割将数字图像细分为多个图像子区域(像素的集合，也被称作超像素)获得的图像。超像素分割技术可以将具有相邻位置和相似颜色、纹理、亮度等特征的像素归类，从而以一种小区域的形式对图像进行处理，并且可以突出物体的边界信息，提高图像中较小的像素区域分割精度，从而提高异常预测图像中异常物体的特征。

步骤S30：通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像。

步骤S40：根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。

可理解的是，预设评分公式是在检测设备中预设的评分公式，用于对超像素分割图像中各个超像素区域进行异常评分，将最终的得分与预设阈值相比较，把超出阈值的区域识别为包含异常物体的区域，从而获得异常评分图像。

应理解的是，道路异常物体是通过检测设备对待检测图像进行检测后确定的图像中包含的异常物体。

在具体实现中，检测设备对异常预测图像进行超像素分割，将异常预测图像细分为多个图像子区域(超像素)获得超像素分割图像。然后通过预设评分公式对超像素分割图像中各个超像素区域进行异常评分，获得异常评分图像。最后根据异常评分图像中各评分结果确定待检测图像中对应的道路异常物体。

本实施例通过将待检测图像输入至预设异常检测模型中，模型对待检测图像进行一系列图像预处理，例如图像语义分割、深度特征提取以及异常特征预测，使差异检测更具有针对性，实现对异常物体的有效检测，从而输出异常预测图像。然后检测设备对异常预测图像进行超像素分割，将异常预测图像细分为多个图像子区域(超像素)获得超像素分割图像。接着通过预设评分公式对超像素分割图像中各个超像素区域进行异常评分，获得异常评分图像。最后根据异常评分图像中各评分结果确定待检测图像中对应的道路异常物体。相对于传统的分割方法无法对训练集分布外的物体进行检测，本实施例通过预设异常检测模型进行一系列图像预处理，使差异检测更具有针对性，实现对异常物体的有效检测。然后通过对预设异常检测模型输出的异常检测图进行超像素分割，并输出异常评分图来加强定位输入图像中的异常对象，通过对异常评分公式的设计，使其更关注于道路上的异常，尽量忽略其他场景中的异常，降低假阳性。

参考图3，图3为本发明道路异常物体检测方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，考虑到预设异常检测模型的精确性，所述预设异常检测模型包括分割模块、合成模块、深度模块和差异模块；所述步骤S10包括：

步骤S11：将待检测图像输入至所述分割模块中进行语义分割，获得所述待检测图像对应的语义图像和不确定性图像。

需要说明的是，分割模块、合成模块、深度模块和差异模块是预设异常检测模型中的功能模块，分割模块的输出端与合成模块的输入端连接，合成模块的输出端与差异模块的输入端连接，深度模块的输出端与差异模块的输入端连接。其中，分割模块用于对图像进行语义分割，获取图像中的语义特征，根据语义特征获得语义图和不确定性图(不确定性图包含例如离散度量是softmax熵U和softmax距离D等不确定性值)。合成模块用于对输入图像进一步特征提取，降低语义映射的模糊性，提高图像的显著差异性。深度模块用于对待检测图像进行多尺度信息的特征映射，使基础的分割方法利用到深度图中的补充信息，提高分割的精度，更好地在差异模块中应用。差异模块用于对上述各模块的输入输出图像进行异常检测，通过上述模块的处理，可以减小未知噪声对差异模块比对过程中的影响，使差异检测更具有针对性，实现对道路异常物体的有效检测。

可理解的是，语义图像是分割模块通过分割网络对图像进行语义分割获取的图像，语义分割可以对图像中每个像素点进行密集的预测，获取图像中的语义特征，从而实现逐像素的类别标注。不确定性图像是利用离散度量来量化语义图像预测中的不确定性，例如可使用两个离散度量softmax熵U和softmax距离D。

需要说明的是，语义分割算法常用于图像检测与分类领域，其可以对每个像素点进行密集的预测，从而实现逐像素的类别标注。例如全卷积网络FCN，其优势在于不受输入图像尺寸的影响，并将网络结构中的全连接层替换为跳跃层和反卷积层，从而实现图像的像素级分割。然而，若要求语义分割方法在测试中能识别到所有的类别，就要保证模型在训练中已经见过这些类别。这在一些复杂场景中显然是不现实的，如道路交通场景中突然出现的异常物体。这些异常物体由于并未在模型训练中出现过，很有可能会被当做已知类别预测或者完全预测不到，这对于自动驾驶场景将是致命的。因此，可以利用来自softmax熵U和softmax距离D分布的概率来测量不确定度，并通过简单的统计量将样本分类为分布外样本，降低图像的假阳性预测。

为了便于理解，以分割模块的功能过程进行说明，但并不对本方案进行限定。分割模块获取待检测图像并将其送入分割网络中，来获得语义图像。在获取语义图像的基础上，还计算了两个离散度量来量化待检测图像预测中的不确定性。这两个离散度量可以是softmax熵U和softmax距离D(即两个最大的softmax值之间的差)，它们在理解分割内的误差上是有积极作用的。对于语义图像中的像素x，这两个度量值的计算如下：

其中，p(c)是类别c的softmax概率，可以将这两个量都标准化为[0,1]。

在具体实现中，将待检测图像输入至分割模块中进行语义分割，对图像中每个像素点进行密集的预测获取图像中的语义特征，实现逐像素的类别标注，从而获取图像中的语义特征，再根据语义特征获得语义图和不确定性图。

步骤S12：将待检测图像、所述语义图像和所述不确定性图像输入至所述合成模块进行图像处理，获得合成图像和异常图像。

需要说明的是，合成图像是合成模块通过语义图像中给定的语义映射生成的真实图像，其中合成图像像素与语义图像像素之间存在对应关系，但重新合成的图像与输入图像之间会出现异常外观的差异，因此可以通过这种异常外观差异来定位异常物体。

应理解的是，异常图像是合成模块根据待检测图像与合成图像之间的差异进一步特征映射获取的图像，以提高合成图像与待检测图像之间的显著差异性。

可理解的是，通过合成模块生成的合成图像与待检测图像之间会出现异常外观的差异，因此可以通过这种异常外观差异来定位异常物体。合成模块中可以使用对抗网络，利用分割模块产生的语义特征图合成新的输入图像，更好地利用了输入图像与合成图像之间的特征差异。这种方法的优势在于不依赖分割网络的分割质量，并且不用重新训练分割网络，以提高模型对场景中异常物体的检测效果。

在具体实现中，检测设备通过语义图像中给定的语义映射生成合成，然后根据待检测图像和不确定性图像进一步特征映射获取异常图像，以提高合成图像与待检测图像之间的显著差异性。

步骤S13：将所述待检测图像和所述待检测图像对应的深度视差图输入至所述深度模块中进行特征映射，获得所述待检测图像对应的特征融合图像。

需要说明的是，深度视差图是待检测图像对应的视差图像，相比于普通的待检测图像而言，深度视差图做了进一步地图像处理，可以体现图像中各物体的远近距离以及形状特征等效果。

可理解的是，深度模块利用了待检测图像的RGB原图外观信息和深度视差图的位置与轮廓信息，将两者作为深度模块的输入进行融合，可以使获得的特征融合图像中包含更多信息的特征获得更高的权重值，使基础的分割方法利用到深度视差图中的补充信息，有助于提高分割的精度，更好地在差异模块中应用。

在具体实现中，检测设备将待检测图像和待检测图像对应的深度视差图输入至深度模块中进行特征映射，获得特征融合图像。使基础的分割方法利用到深度视差图中的补充信息，有助于提高分割的精度，更好地在差异模块中应用。

步骤S14：将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述差异模块中进行异常预测，获得所述待检测图像对应的异常预测图像。

需要说明的是，通过差异模块，上述各图像的特征可以被有效地整合和利用，从而提高异常分割图的预测性能。

在具体实现中，将待检测图像、合成图像、特征融合图像、语义图像、异常图像和不确定性图像输入至差异模块中进行特征提取、融合、特征映射等操作对图像中的异常物体进行异常预测，获得异常预测图像。

进一步地，考虑到合成模块的精确性，本实施例中在步骤S12包括：获取所述分割模块进行语义分割时所述待检测图像对应的语义映射特征；将所述语义映射特征输入至所述合成模块进行图像合成，获得所述待检测图像对应的合成图像；根据预设特征提取器确定所述待检测图像和所述合成图像对应的感知损失；根据所述感知损失和所述不确定性图像获得所述待检测图像对应的异常图像。

需要说明的是，预设特征提取器是检测模型中预设的提取器，可以从图像中提取出特征并找到具有最大特征差异的像素点，通过检测到异常对象或分类错误，以表示合成图像的错误特征。

可理解的是，感知损失是对检测图像和合成图像的差异进行计算获得的量化损失。而在异常物体周围的语义映射一般都具有模糊性，正是因为这些模糊性，使语义映射重新生成的合成图像与待检测图像之间具有显著的差异。因此，可由不确定图像中的softmax熵U来衡量模糊性，与上述感知损失进行计算来衡量外观差异，从而获得异常图像。

为了便于理解，以合成模块的合成过程进行说明，但并不对本方案进行限定。合成模块可以通过给定的语义映射特征来生成真实的合成图像，其中像素与像素之间存在对应关系。合成模块通过条件生成对抗网络进行训练，使得输入图像的语义分布能够与合成图像的分布相匹配。由于语义图像本身缺少颜色和外观信息，使得合成图像不能完美的还原颜色和外观，这就可以进行逐像素的比较。因此，可以通过计算待检测图像和合成图像之间的感知差异来比较对象，而不是基于颜色和纹理等底层特征。可以利用ImageNet预训练的VGG作为特征提取器，从中提取出特征并找到具有最大特征差异的像素点。通过检测到异常对象或分类错误，可以发现合成图像的错误特征表示。因此感知差异对这些差异更为敏感，可以通过感知损失来表示它。对于待检测图像的像素x和合成图像的对应像素r，计算感知损失如下：

其中，F⁽ⁱ⁾是VGG网络的第i个特征层输出。由于差异模块检测异常物体的性能和特征层的选择是有关系的，较深的特征层可能会丢失异常物体。因此，可以选取前4层特征层输出，并将此离散度量归一化为[0,1]。

由于在异常物体周围的语义映射特征一般都具有模糊性，正是因为这些模糊性，使语义映射重新生成的合成图像与输入图像之间具有显著的差异。因此，可以由上述不确定性图像中的softmax熵U来衡量模糊性，由感知损失L的计算来衡量外观差异，通过将这两个指标相乘，生成具有深层特征的异常图像A：

进一步地，考虑到深度模块的精确性，所述深度模块包括原图网络分支、深度网络分支和上采样模块；本实施例中在步骤S13包括：获取所述待检测图像对应的深度视差图，所述深度视差图反映图中物体的距离和形状；将所述待检测图像输入至所述原图网络分支进行特征映射，获得所述待检测图像对应的原始特征映射图；将所述深度视差图输入至所述深度网络分支进行特征映射，获得所述深度视差图对应的深度特征映射图；通过上采样模块对所述原始特征映射图和所述深度特征映射图进行上采样，获得所述待检测图像对应的特征融合图像。

需要说明的是，原图网络分支的输出端与深度网络分支的输出端分别与上采样模块的输入端连接，原图网络分支用于提取待检测图像的RGB原图外观等特征信息，深度网络分支用于提取深度视差图位置与轮廓等特征信息，上采样模块用于对原图网络分支和深度网络分支提取的特征映射进行上采样的来恢复这些特征映射的分辨率。

为了便于理解，以深度模块进行特征映射的过程进行说明，但并不对本方案进行限定，如图4所示，图4为本发明道路异常物体检测方法第二实施例中深度模块的网络结构图。深度模块利用了待检测图像(Input)的外观信息和深度视差图(Depth Input)的位置与轮廓信息，并将两者作为深度模块的输入。可以利用ResNet-18作为主干网络来提取特征，网络结构如图4所示。上部分网络编码器(Encoder)中分别利用两个分支提取输入图像的特征，一个是原图网络分支，另一个是深度网络分支。在ResNet-18网络的每一层(Layer)之后，利用Attention Feature Complementary(AFC module)模块融合这两个分支的特征。最终使用空间特征金字塔模块生成具有多尺度信息(Spatial pyramid pooling)的特征映射，通过上采样(UP sampling)的方式来恢复这些特征映射的分辨率，获得特征融合图像(Fusion)。

在上述结构中，可以得到两个特征映射，分别为原始特征映射图O_in＝[O_in1，L，O_inC]和深度特征映射图D_in＝[D_in1，L，D_inC]。在AFC模块中，引入了两个通道注意力机制模块分别处理两个分支的特征图。其利用全局平均池化处理特征图，作为通道描述符，然后添加与之具有相同通道的1×1卷积层(1×1Conv layer)进行全连接，最后再通过sigmoid函数激活卷积结果，并将权重矩阵的值限制在0到1之间。在得到两个分支的注意力权重矩阵后分别与对应输入特征图进行外积。将两个分支的结果相加，得到最终的特征融合特征图像，表示如下：

其中，表示外积，φ表示全局平均池化和1×1卷积计算，σ表示sigmoid函数。通过在原图网络分支和深度网络分支中引入通道注意力机制，可以使特征图中包含更多信息的特征获得更高的权重值，使基础的分割方法利用到深度图中的补充信息。这更有助于提高分割的精度，更好地在差异模块中应用。

进一步地，考虑到差异模块的精确性，所述差异模块包括卷积模块、融合模块和解码器模块；本实施例中在步骤S14包括：将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述卷积模块中进行卷积处理，获得多个特征映射图像；将各特征映射图像输入至所述融合模块中进行图像融合，获得融合图像；根据所述解码器模块对所述融合图像进行卷积过滤，获得所述待检测图像对应的异常预测图像。

需要说明的是，卷积模块的输出端与融合模块的输入端连接，融合模块的输出端和解码器模块的输入端连接。卷积模块用于根据卷积网络对所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像提取特征映射。融合模块用于把在不同分辨率下的特征映射对应连接，并把总的特征映射进行全连接。解码器模块用于对融合模块输出的特征进行卷积过滤。

为了便于理解，以差异模块进行异常预测的过程进行说明，但并不对本方案进行限定，参考图5，图5为本发明道路异常物体检测方法第二实施例中差异模块的网络结构图。差异模块利用多个输入特征来输出异常预测图。这些输入特征包括待检测图像(Input)、合成图像(Synthesized Image)、特征融合图像(Depth Image)、语义图像(Semantic Image)以及分割网络计算得出的不确定性图像(例如softmax距离)和异常图像(Anomaly map)。通过使用差异网络，这些特征可以被有效地整合和利用，从而提高异常分割图的预测性能。网络结构如图5所示。

差异模块包含两种卷积模块(CNN和VGG16卷积模块)，两种融合模块和四个解码器模块。其中CNN卷积与VGG16卷积具有相同的结构。该结构中有三个最大池化层，每个最大池化层之后都会输出一个特征映射，再融合模块输出的最终特征映射，总共输出四个特征映射。该VGG16卷积模块共享对待待检测图像和合成图像编码的权重；CNN卷积模块由一个7×7卷积层和三个3×3卷积层组成，在每一个卷积层之后都会输出一个特征映射；该融合模块用于编码语义图像、合成图像和不确定性图像，用于编码这三种信息的权重是不同的。融合模块将输入图像、语义图像和合成图像在每个不同分辨率下的特征映射对应连接，并把总的特征映射用一个1×1的卷积层进行全连接(Correlation)。最后再将1×1的卷积的结果映射与上述离散特征映射进行逐点相关。融合模块会在每个分辨率下输出一个特征图。解码器模块中使用了四个解码器，其中第一个和第二个解码器的结构相同，包含两个过滤器数量相同的3×3卷积层，两个SPADE归一化SELU层和一个2×2转置卷积层；第三个解码器包含两个不同数量过滤器的3×3卷积层，两个SPADE归一化SELU层和一个2×2转置卷积层；第四个解码器包含两个不同数量过滤器的3×3卷积层，两个SPADE归一化SELU层和一个1×1转置卷积层。第一个解码器获取最低分辨率的特征映射，第二个解码器获取融合模块的特征映射与第一个解码器输出的串联结果作为输出，而后续解码器的输入以此类推。

本实施例通过将待检测图像进行分割处理，将预测的语义图像输入到合成模块中，由合成模块合成与语义图像高度相似的合成图像。由于合成图与输入图像之间存在特征差异，因此可以利用两张图片不同的特征来计算感知差异。为了加强差异模块对异常物体的差异特征提取能力，利用RGB-D网络对待检测图像和深度视差图两个分支分别进行特征提取，再通过通道注意力机制处理两个分支的特征映射，将这两个分支融合成特征融合图像。最终连同所有的处理的图像以及待检测图像全部发送到差异模块参与训练，得到异常预测图，本实施例通过辅助方法和再合成方法互补的特性，减小未知噪声对差异模块比对过程中的影响，使差异检测更具有针对性，实现对异常物体的有效检测，从而提高模块对道路异常物体的检测能力。

参考图6，图6为本发明道路异常物体检测方法第三实施例的流程示意图。

基于上述各实施例，在本实施例中，考虑到超像素分割的精确性，所述步骤S20包括：

步骤S21：对所述异常预测图像进行色彩空间转换，并根据转换结果获得各像素对应的五维向量坐标。

步骤S22：对各像素进行聚类，获得多个聚类中心组。

步骤S23：根据所述五维向量坐标获取各聚类中心组的平均向量值，并根据所述平均向量值对各聚类中心组进行聚类收敛，获得所述异常预测图像对应的超像素分割图像。

需要说明的是，超像素分割技术可以将具有相邻位置和相似颜色、纹理、亮度等特征的像素归类，从而以一种小区域的形式对图像进行处理，并且可以突出物体的边界信息，提高图像中较小的像素区域分割精度。

为了便于理解，以超像素分割过程进行说明，但并不对本方案进行限定。超像素分割是将图像转换到CIELAB颜色空间，并将每个像素的颜色值和位置信息组合成五维向量。通过基于聚类的思想，可以生成一组种子点，并在每个种子点周围搜索距离该种子点最近的像素，并将它们归为一组，直到所有像素点都被分类完毕。然后计算每个超像素(即聚类中心)的平均向量值，重新得到聚类中心，并再次搜索周围像素，直到最终收敛。如图7所示，图7为本发明道路异常物体检测方法第三实施例的超像素分割结果图。左图所示为差异模块输出的异常预测图。有图所示为对应的超像素分割图。从右图中可以看出，经过超像素分割之后，场景被划分成了许多个格子区域，而场景中的物体边界也被清楚的区分了出来，减小处理范围，并利用更精细的特征进行后续处理。

进一步地，基于上述超像素分割，本实施例提出一种异常评分计算的公式，该公式的输入是差异模块的异常预测图。在此基础上，定义第i个超像素中异常物体的得分如下：

其中，α_i是第i个超像素中异常分数的平均值，n_j是第j个超像素中的像素数，p_j是第j个超像素中道路标签概率的平均值，r_i,j是第i个超像素的中心位置和第j个超像素的中心位置之间的欧氏距离，ω是每对超像素的中心位置之间的欧氏距离的中位数。将最终的得分标准化为[0,1]。再通过设定阈值，将计算得出的S_i与阈值相比较，把超出阈值的区域识别为包含异常物体的区域。通过上述的异常评分计算方式，将更关注道路中的异常物体，对这些异常物体赋予更高的评分，锐化每个局部区域的异常图，从而得到更为合理的异常评分结果。

进一步地，考虑到图像异常预测的效率，本实施例中在步骤S10之前，还包括：对预设训练数据集进行异常标记，获得标记数据集；对所述标记数据集进行图像预处理，获得所述标记数据集对应的原始语义图像集、合成图像集、不确定性图像集和异常图像集；将所述原始语义图像集、所述合成图像集、所述不确定性图像集和所述异常图像集输入至初始模型中进行训练，获得预设异常检测模型。

需要说明的是，预设训练数据集可利用Cityscapes数据集作为训练数据集。标记数据集是将Cityscapes数据集中所有的void类标记作为异常，这样可以训练出更加鲁棒的异常检测模型，使模型对异常物体的检测依然具有很好的泛化性和鲁棒性。

在具体实现中，可以利用Cityscapes数据集作为预设训练数据集，评估数据集可以使用Fishyscapes数据集中的FS Lost and Found数据集，测试数据集可以使用Lost andFound数据集和RoadObstacle21数据集。差异模块的训练数据集以Cityscapes数据集为基础，训练之前可以对Cityscapes数据集进行预处理，以获得原始语义图像集、合成图像集、不确定性图像集和异常图像集，然后再将待检测图像集与特征融合图像集共同输入初始模块进行训练，获得预设异常检测模型，从而提高模型的泛华能力。

本实施例通过对预设异常检测模型输出的异常检测图像进行超像素分割，并输出异常评分图来加强定位输入图像中的异常对象，通过对异常评分公式的设计，使其更关注于道路上的异常，尽量忽略其他场景中的异常，降低假阳性，无论是对训练集中见过的还是训练集之外的异常物体都有着较高的检测率，极大地增强了异常物体检测的泛化性，从而提高了道路异常物体检测的准确性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有道路异常物体检测程序，所述道路异常物体检测程序被处理器执行时实现如上文所述的道路异常物体检测方法的步骤。

参照图8，图8为本发明道路异常物体检测装置第一实施例的结构框图。

如图8所示，本发明实施例提出的道路异常物体检测装置包括：

异常预测模块801，用于将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；

像素分割模块802，用于对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像；

异常评分模块803，用于通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像；

异物确定模块804，用于根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。

本实施例通过将待检测图像(即原始图像)输入至预设异常检测模型中，模型对待检测图像进行一系列图像预处理，例如图像语义分割、深度特征提取以及异常特征预测，使差异检测更具有针对性，实现对异常物体的有效检测，从而输出异常预测图像。然后检测设备对异常预测图像进行超像素分割，将异常预测图像细分为多个图像子区域(超像素)获得超像素分割图像。接着通过预设评分公式对超像素分割图像中各个超像素区域进行异常评分，获得异常评分图像。最后根据异常评分图像中各评分结果确定待检测图像中对应的道路异常物体。相对于传统的分割方法无法对训练集分布外的物体进行检测，本实施例通过预设异常检测模型进行一系列图像预处理，使差异检测更具有针对性，实现对异常物体的有效检测。然后通过对预设异常检测模型输出的异常检测图进行超像素分割，并输出异常评分图来加强定位输入图像中的异常对象，通过对异常评分公式的设计，使其更关注于道路上的异常，尽量忽略其他场景中的异常，降低假阳性。

基于本发明上述道路异常物体检测装置第一实施例，提出本发明道路异常物体检测装置的第二实施例。

在本实施例中，所述预设异常检测模型包括分割模块、合成模块、深度模块和差异模块；所述异常预测模块801，还用于将待检测图像输入至所述分割模块中进行语义分割，获得所述待检测图像对应的语义图像和不确定性图像；将待检测图像、所述语义图像和所述不确定性图像输入至所述合成模块进行图像处理，获得合成图像和异常图像；将所述待检测图像和所述待检测图像对应的深度视差图输入至所述深度模块中进行特征映射，获得所述待检测图像对应的特征融合图像；将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述差异模块中进行异常预测，获得所述待检测图像对应的异常预测图像。

进一步地，所述异常预测模块801，还用于获取所述分割模块进行语义分割时所述待检测图像对应的语义映射特征；将所述语义映射特征输入至所述合成模块进行图像合成，获得所述待检测图像对应的合成图像；根据预设特征提取器确定所述待检测图像和所述合成图像对应的感知损失；根据所述感知损失和所述不确定性图像获得所述待检测图像对应的异常图像。

进一步地，所述深度模块包括原图网络分支、深度网络分支和上采样模块；所述异常预测模块801，还用于获取所述待检测图像对应的深度视差图，所述深度视差图反映图中物体的距离和形状；将所述待检测图像输入至所述原图网络分支进行特征映射，获得所述待检测图像对应的原始特征映射图；将所述深度视差图输入至所述深度网络分支进行特征映射，获得所述深度视差图对应的深度特征映射图；通过上采样模块对所述原始特征映射图和所述深度特征映射图进行上采样，获得所述待检测图像对应的特征融合图像。

进一步地，所述差异模块包括卷积模块、融合模块和解码器模块；所述异常预测模块801，还用于将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述卷积模块中进行卷积处理，获得多个特征映射图像；将各特征映射图像输入至所述融合模块中进行图像融合，获得融合图像；根据所述解码器模块对所述融合图像进行卷积过滤，获得所述待检测图像对应的异常预测图像。

进一步地，所述像素分割模块802，还用于对所述异常预测图像进行色彩空间转换，并根据转换结果获得各像素对应的五维向量坐标；对各像素进行聚类，获得多个聚类中心组；根据所述五维向量坐标获取各聚类中心组的平均向量值，并根据所述平均向量值对各聚类中心组进行聚类收敛，获得所述异常预测图像对应的超像素分割图像。

进一步地，所述道路异常物体检测装置还包括模型训练模块805，所述模型训练模块805，用于对预设训练数据集进行异常标记，获得标记数据集；对所述标记数据集进行图像预处理，获得所述标记数据集对应的原始语义图像集、合成图像集、不确定性图像集和异常图像集；将所述原始语义图像集、所述合成图像集、所述不确定性图像集和所述异常图像集输入至初始模型中进行训练，获得预设异常检测模型。

本发明道路异常物体检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种道路异常物体检测方法，其特征在于，所述道路异常物体检测方法包括：

将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；

对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像；

通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像；

根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。

2.如权利要求1所述的道路异常物体检测方法，其特征在于，所述预设异常检测模型包括分割模块、合成模块、深度模块和差异模块；所述将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，包括：

将待检测图像输入至所述分割模块中进行语义分割，获得所述待检测图像对应的语义图像和不确定性图像；

将待检测图像、所述语义图像和所述不确定性图像输入至所述合成模块进行图像处理，获得合成图像和异常图像；

将所述待检测图像和所述待检测图像对应的深度视差图输入至所述深度模块中进行特征映射，获得所述待检测图像对应的特征融合图像；

将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述差异模块中进行异常预测，获得所述待检测图像对应的异常预测图像。

3.如权利要求2所述的道路异常物体检测方法，其特征在于，所述将待检测图像、所述语义图像和所述不确定性图像输入至所述合成模块进行图像处理，获得合成图像和异常图像，包括：

获取所述分割模块进行语义分割时所述待检测图像对应的语义映射特征；

将所述语义映射特征输入至所述合成模块进行图像合成，获得所述待检测图像对应的合成图像；

根据预设特征提取器确定所述待检测图像和所述合成图像对应的感知损失；

根据所述感知损失和所述不确定性图像获得所述待检测图像对应的异常图像。

4.如权利要求2所述的道路异常物体检测方法，其特征在于，所述深度模块包括原图网络分支、深度网络分支和上采样模块；将所述待检测图像和所述待检测图像对应的深度视差图输入至所述深度模块中进行特征映射，获得所述待检测图像对应的特征融合图像，包括：

获取所述待检测图像对应的深度视差图，所述深度视差图反映图中物体的距离和形状；

将所述待检测图像输入至所述原图网络分支进行特征映射，获得所述待检测图像对应的原始特征映射图；

将所述深度视差图输入至所述深度网络分支进行特征映射，获得所述深度视差图对应的深度特征映射图；

通过上采样模块对所述原始特征映射图和所述深度特征映射图进行上采样，获得所述待检测图像对应的特征融合图像。

5.如权利要求2所述的道路异常物体检测方法，其特征在于，所述差异模块包括卷积模块、融合模块和解码器模块；所述将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述差异模块中进行异常预测，获得所述待检测图像对应的异常预测图像，包括：

将所述待检测图像、所述合成图像、所述特征融合图像、所述语义图像、所述异常图像和所述不确定性图像输入至所述卷积模块中进行卷积处理，获得多个特征映射图像；

将各特征映射图像输入至所述融合模块中进行图像融合，获得融合图像；

根据所述解码器模块对所述融合图像进行卷积过滤，获得所述待检测图像对应的异常预测图像。

6.如权利要求1所述的道路异常物体检测方法，其特征在于，所述对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像，包括：

对所述异常预测图像进行色彩空间转换，并根据转换结果获得各像素对应的五维向量坐标；

对各像素进行聚类，获得多个聚类中心组；

根据所述五维向量坐标获取各聚类中心组的平均向量值，并根据所述平均向量值对各聚类中心组进行聚类收敛，获得所述异常预测图像对应的超像素分割图像。

7.如权利要求1所述的道路异常物体检测方法，其特征在于，所述将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像之前，还包括：

对预设训练数据集进行异常标记，获得标记数据集；

对所述标记数据集进行图像预处理，获得所述标记数据集对应的原始语义图像集、合成图像集、不确定性图像集和异常图像集；

将所述原始语义图像集、所述合成图像集、所述不确定性图像集和所述异常图像集输入至初始模型中进行训练，获得预设异常检测模型。

8.一种道路异常物体检测装置，其特征在于，所述装置包括：

异常预测模块，用于将待检测图像输入至预设异常检测模型中，获得所述待检测图像对应的异常预测图像，所述预设异常检测模型用于对输入图像进行图像预处理，并根据预处理后的输入图像确定异常物体特征；

像素分割模块，用于对所述异常预测图像进行超像素分割，获得所述异常预测图像对应的超像素分割图像；

异常评分模块，用于通过预设评分公式对所述超像素分割图像进行评分，获得异常评分图像；

异物确定模块，用于根据所述异常评分图像确定所述待检测图像中对应的道路异常物体。

9.一种道路异常物体检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的道路异常物体检测程序，所述道路异常物体检测程序配置为实现如权利要求1至7中任一项所述的道路异常物体检测方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有道路异常物体检测程序，所述道路异常物体检测程序被处理器执行时实现如权利要求1至7任一项所述的道路异常物体检测方法的步骤。