CN116665166A - 一种适用于不平坦路面场景的智能车辆3d目标检测方法 - Google Patents

Abstract

本发明公开了一种适用于不平坦路面场景的智能车辆3D目标检测方法，车载相机传感器和车载MEMS传感器分别同时获得前视图像数据和车辆加速度信息，对所获得的前视图像数据进行特征提取得到图像特征图F，同时通过获得的车辆加速度信息计算出车辆实时侧倾角和俯仰角，然后基于侧倾角和俯仰角计算出旋转矩阵A，通过旋转矩阵结合相机内外参矩阵得到变换矩阵M，通过变换矩阵M对图像特征图F进行像素坐标的转换，得到图像特征图F’，基于特征图F’做2D特征向3D特征的投影，最后基于3D特征通过3D目标检测头得到3D目标检测的结果。本发明可以更好地消除智能车辆行驶路面不平坦带来的3D目标检测回归的误差，提高实际的检测精度，提高智能车辆的行驶稳定性和安全性。

Description

一种适用于不平坦路面场景的智能车辆3D目标检测方法

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种适用于不平坦路面场景的智能车辆3D目标检测方法。

背景技术

随着技术经济的发展和智能技术的广泛应用，智能驾驶领域已经成为了目前热点的研究方向。其中得益于计算机视觉技术的成熟，智能驾驶感知领域近年来取得了快速的发展。

3D目标检测是智能驾驶感知方向的重要分支。3D目标检测的主要任务是通过对传感器输入数据的处理，输出目标物体的类别预测和准确位置回归，从而帮助车辆躲避障碍规划路线。因此，能够准确地对周围环境进行感知，实现精确可靠的3D目标检测对于智能驾驶至关重要。

尽管基于车载激光雷达传感器的3D目标检测技术已经取得了很好的性能，但考虑到实际的智能驾驶车辆的制造成本及工业落地，近年来，基于车载相机传感器的3D目标检测受到了越来越多的关注。

其中，单目3D目标检测是3D目标检测的重点研究方向之一，其基于单目相机数据进行3D目标检测。

但是现有的单目3D目标检测方法大多基于路面平坦的前提展开，即通常假设自车与检测目标车辆始终处于同一平面上，目标车辆相对于自车上的相机仅仅存在航向角，车辆俯仰角和侧倾角均为0。而在实际的智能驾驶环境下，路面并不会一直处于平坦条件之下，尤其是在非城市化道路上，不平坦路面随处可见，此时目标车辆相对于自车上的相机可能存在俯仰角和侧倾角的变化，若依然按照理想状态下的假设进行3D框预测，则会引入误差，导致3D框的检测精度以及目标位置预测均出现明显的性能下降。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种适用于不平坦路面场景的智能车辆3D目标检测方法，旨在解决当道路平整度和坡度存在轻微波动时，3D目标检测框回归不准确所导致的检测的性能下降的问题。

本发明为解决上述技术问题采用以下技术方案：

一种适用于不平坦路面场景的智能车辆3D目标检测方法，包含以下步骤：

步骤1)，获取车载相机的实时前方道路的图像数据作为前视图像数据；

步骤2)，获取车载MEMS传感器中加速度计所测得的实时车辆加速度数据；

步骤3)，利用获得的实时车辆加速度数据计算车辆实时的侧倾角和俯仰角；

步骤4)，对前视图像数据进行图像特征提取得到像素坐标下的图像特征图F；

步骤5)，通过得到的车辆实时侧倾角和俯仰角计算得到当前的车辆坐标系相对于车辆在平坦路面行驶时的车辆坐标系的旋转矩阵A，并基于旋转矩阵A和相机内外参数得到用于对图像特征图上像素点进行坐标转换的变换矩阵M；

步骤6)，利用变换矩阵M对图像特征图F进行像素坐标的转换，得到转换后的图像特征图F’；

步骤7)，将图像特征图F’的2D特征投影到3D空间，获得3D特征；

步骤8)，采用3D目标检测头对3D特征进行3D目标检测，回归出准确的3D框位置和目标类别信息。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤2)中车载MEMS传感器中加速度计测量得到的实时车辆加速度数据包含a_x、a_y、a_z，a_x、a_y、a_z分别为车辆在车辆坐标系的x轴、y轴、z轴上的加速度。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤3)中侧倾角θ_r和俯仰角θ_p的计算如式：

θ_r＝arctan(a_y/a_z)

θ_p＝arcsin(-a_x)。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤4)中旋转矩阵A为：

所述步骤4)中变换矩阵M为：

式中，i为以自车上的相机为原点构造的相机坐标系，j为以地平面为xz平面构造世界坐标系，z为世界坐标系中物体中心的高度坐标，P为2D图像特征向世界坐标系投影的投影矩阵，其为：

P＝KT

式中，K为车载相机的内参矩阵，T为车载相机的外参矩阵。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤5)中图像特征提取网络包含ResNet-100模型和FPN模型，其中，ResNet-100模型用于图像特征提取，其网络的最后4层作为输出给FPN模型进行多尺度特征融合，得到特征图F。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤6)中利用变换矩阵M对图像特征图F进行基于像素坐标的转换，其公式：

式中，是图像特征图F的每个特征的像素坐标，/>是转换后的图像特征图F’的每个特征的像素坐标。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤7)中2D特征投影到3D空间，获得3D特征的投影矩阵为P，投影关系为：

式中，x,y,z为世界坐标系下点的坐标值，u,v为图像特征图F’的像素坐标。

作为本发明一种适用于不平坦路面场景的智能车辆3D目标检测方法进一步的优化方案，所述步骤8)中3D目标检测头首先将3D特征沿着z轴进行压缩，得到鸟瞰图视角下的特征，再使用三个并行的1×1卷积来对鸟瞰图视角下的特征执行3D目标检测任务，分别预测每个对象的类别，框的大小和方向。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.充分考虑了现实中智能车辆行驶场景下，由路面不平坦导致的车辆发生轻微侧倾和俯仰，从而带来的车载相机外部扰动的情况，可以更好的消除扰动带来的3D目标检测回归的误差，提高实际的检测精度。

2.通过车载MEMS传感器获取实时车辆加速度信息，从而直接推测出实时车辆侧倾角和俯仰角数据，可直接得到图像特征图变换矩阵M，不需要通过前后帧数据或神经网络预测得到M，加快了3D目标检测模型的运行效率，减少了模型参数量，更有利于模型的工业落地和部署。

3.直接在特征提取之后的图像特征图的基础上进行像素坐标的转换，避免了直接在原始图像上直接进行转换，减少了坐标转换的计算量，提高了转换的效率。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

参照图1所示，本发明公开了一种适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，包含以下步骤：

步骤1)，获取车载相机的实时前方道路的图像数据作为前视图像数据；

步骤2)，获取车载MEMS传感器中加速度计所测得的实时车辆加速度数据；

步骤3)，利用获得的实时车辆加速度数据计算车辆实时的侧倾角和俯仰角；

步骤4)，对前视图像数据进行图像特征提取得到像素坐标下的图像特征图F；

步骤5)，通过得到的车辆实时侧倾角和俯仰角计算得到当前的车辆坐标系相对于车辆在平坦路面行驶时的车辆坐标系的旋转矩阵A，并基于旋转矩阵A和相机内外参数得到用于对图像特征图上像素点进行坐标转换的变换矩阵M；

步骤6)，利用变换矩阵M对图像特征图F进行像素坐标的转换，得到转换后的图像特征图F’；

步骤7)，将图像特征图F’的2D特征投影到3D空间，获得3D特征；

步骤8)，采用3D目标检测头对3D特征进行3D目标检测，回归出准确的3D框位置和目标类别信息。

所述步骤2)中车载MEMS传感器中加速度计测量得到的实时车辆加速度数据包含a_x、a_y、a_z，a_x、a_y、a_z分别为车辆在车辆坐标系的x轴、y轴、z轴上的加速度。

所述步骤3)中侧倾角θ_r的计算如式：

所述步骤3)中俯仰角θ_p的计算如式：

θ_p＝arcsin(-a_x)

所述步骤4)中旋转矩阵A为：

所述步骤4)中变换矩阵M为：

式中，i为以自车上的相机为原点构造的相机坐标系，j为以地平面为xz平面构造世界坐标系，z为世界坐标系中物体中心的高度坐标，P为2D图像特征向世界坐标系投影的投影矩阵，其为：

P＝KT

式中，K为车载相机的内参矩阵，T为车载相机的外参矩阵。

所述步骤5)中图像特征提取网络包含ResNet-100模型和FPN模型，其中，ResNet-100模型用于图像特征提取，其网络的最后4层作为输出给FPN模型进行多尺度特征融合，得到特征图F。

所述步骤6)中利用变换矩阵M对图像特征图F进行基于像素坐标的转换，其公式：

式中，是图像特征图F的每个特征的像素坐标，/>是转换后的图像特征图F’的每个特征的像素坐标。

所述步骤7)中2D特征投影到3D空间，获得3D特征的投影矩阵为P，投影关系为：

式中，x,y,z为世界坐标系下点的坐标值，u,v为图像特征图F’的像素坐标。

所述步骤8)中3D目标检测头首先将3D特征沿着z轴进行压缩，得到鸟瞰图视角下的特征，再使用三个并行的1×1卷积来对鸟瞰图视角下的特征执行3D目标检测任务，分别预测每个对象的类别，框的大小和方向。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，包含以下步骤：

步骤1)，获取车载相机的实时前方道路的图像数据作为前视图像数据；

步骤2)，获取车载MEMS传感器中加速度计所测得的实时车辆加速度数据；

步骤3)，利用获得的实时车辆加速度数据计算车辆实时的侧倾角和俯仰角；

步骤4)，对前视图像数据进行图像特征提取得到像素坐标下的图像特征图F；

步骤5)，通过得到的车辆实时侧倾角和俯仰角计算得到当前的车辆坐标系相对于车辆在平坦路面行驶时的车辆坐标系的旋转矩阵A，并基于旋转矩阵A和相机内外参数得到用于对图像特征图上像素点进行坐标转换的变换矩阵M；

步骤6)，利用变换矩阵M对图像特征图F进行像素坐标的转换，得到转换后的图像特征图F’；

步骤7)，将图像特征图F’的2D特征投影到3D空间，获得3D特征；

步骤8)，采用3D目标检测头对3D特征进行3D目标检测，回归出准确的3D框位置和目标类别信息。

2.根据权利要求1所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤2)中车载MEMS传感器中加速度计测量得到的实时车辆加速度数据包含a_x、a_y、a_z，a_x、a_y、a_z分别为车辆在车辆坐标系的x轴、y轴、z轴上的加速度。

3.根据权利要求2所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤3)中侧倾角θ_r和俯仰角θ_p的计算如式：

θ_r＝arctan(a_y/a_z)

θ_p＝arcsin(-a_x)。

4.根据权利要求3所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤4)中旋转矩阵A为：

所述步骤4)中变换矩阵M为：

式中，i为以自车上的相机为原点构造的相机坐标系，j为以地平面为xz平面构造世界坐标系，z为世界坐标系中物体中心的高度坐标，P为2D图像特征向世界坐标系投影的投影矩阵，其为：

P＝KT

式中，K为车载相机的内参矩阵，T为车载相机的外参矩阵。

5.根据权利要求4所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤5)中图像特征提取网络包含ResNet-100模型和FPN模型，其中，ResNet-100模型用于图像特征提取，其网络的最后4层作为输出给FPN模型进行多尺度特征融合，得到特征图F。

6.根据权利要求5所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤6)中利用变换矩阵M对图像特征图F进行基于像素坐标的转换，其公式：

式中，是图像特征图F的每个特征的像素坐标，/>是转换后的图像特征图F’的每个特征的像素坐标。

7.根据权利要求6所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤7)中2D特征投影到3D空间，获得3D特征的投影矩阵为P，投影关系为：

式中，x,y,z为世界坐标系下点的坐标值，u,v为图像特征图F’的像素坐标。

8.根据权利要求7所述的适用于不平坦路面场景的智能车辆3D目标检测方法，其特征在于，所述步骤8)中3D目标检测头首先将3D特征沿着z轴进行压缩，得到鸟瞰图视角下的特征，再使用三个并行的1×1卷积来对鸟瞰图视角下的特征执行3D目标检测任务，分别预测每个对象的类别，框的大小和方向。