CN109784315A - 3d障碍物的跟踪检测方法、装置、系统及计算机存储介质 - Google Patents

Abstract

本发明提供了一种用于3D障碍物的跟踪检测方法、装置、系统及计算机存储介质。该跟踪检测方法包括：确定从当前帧的3D点云和2D图像检测到的当前障碍物在2D图像中的2D图像区所对应的第二2D特征向量；将第二2D特征向量中的每一者与障碍物特征向量集中的每个第一2D特征向量进行比对，以获得多个差值特征向量，其中障碍物特征向量集中存储有表征先前检测到的先前障碍物的第一2D特征向量；对多个差值特征向量执行深度学习计算，以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率；以及根据多个概率值确定当前障碍物与先前障碍物之间的对应关系，以实现障碍物跟踪。

Description

3D障碍物的跟踪检测方法、装置、系统及计算机存储介质

技术领域

本发明涉及障碍物跟踪检测技术，尤其涉及一种用于3D障碍物的跟踪检测方法、一种用于3D障碍物的跟踪检测装置、一种用于3D障碍物的跟踪检测系统，以及一种计算机存储介质。

背景技术

现有的障碍物检测技术主要基于摄像头来进行2D障碍物检测，或者单纯地基于3D激光雷达进行3D障碍物检测。

在自动驾驶车辆的应用中，2D边界框只能为规划单元和决策单元提供有限的信息，然而对于自动驾驶车辆来说，还需要包括车辆尺寸、行驶方向，以及其他车辆与自车的相对位置等详细和准确的车辆3D信息，以进行决策制定。此外，尽管基于2D图像的深度学习技术已在车辆的障碍物检测应用中表现出高检测精度的性能，但是其无法支持速度估算，而车辆速度估算对于具有时间先行的规划算法及障碍物跟踪检测技术却是必不可少的。

摄像机和激光雷达(Light Detection and Ranging，LiDAR)扫描仪是自动驾驶车辆感测系统中最常用的两种传感器。由于透视失真，仅使用摄像机无法获取自动驾驶车辆系统需要使用的准确3D信息。即使采用立体摄像系统，所获取图像的景深估算仍然无法达到令人满意的性能水平。

常见的64光束激光雷达每次扫描可以轻松生成超过100000个点，以获取包括车辆尺寸、行驶方向，以及其他车辆与自车的相对位置等准确的3D信息。然而随着检测空间的扩大，所需激光雷达点云的规模和分辨率会呈三次方增长。由于存储器和计算时间的限制，通过整个点云彻底应用搜索算法或卷积运算是不可行的，追踪准确率受到极大限制，从而导致漏检误检。因此，处理激光雷达点云的主要挑战在于减少计算负担的同时，保持3D空间图案和信息的准确。

综上，本领域亟需一种能够高效地获取高质量的3D空间图案和信息的障碍物跟踪检测技术，以提高自动驾驶车辆的障碍物跟踪检测效率和准确率。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

为了能够高效地获取高质量的3D空间图案和信息，以提高自动驾驶车辆的障碍物跟踪检测效率和准确率，本发明提供了一种用于3D障碍物的跟踪检测方法、一种用于3D障碍物的跟踪检测装置、一种用于3D障碍物的跟踪检测系统，以及一种计算机存储介质。

本发明提供的上述用于3D障碍物的跟踪检测方法，用于对检测到的障碍物执行跟踪，该跟踪检测方法包括：

确定从当前帧的3D点云和2D图像检测到的至少一个当前障碍物在2D图像中的2D图像区所对应的至少一个第二2D特征向量；

将所述至少一个第二2D特征向量中的每一者与障碍物特征向量集中的每个第一2D特征向量进行比对，以获得多个差值特征向量，其中所述障碍物特征向量集中存储有表征先前检测到的至少一个先前障碍物的第一2D特征向量；

对所述多个差值特征向量执行深度学习计算，以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率；以及

根据所述多个概率值确定所述至少一个当前障碍物与所述至少一个先前障碍物之间的对应关系，以实现障碍物跟踪。

优选地，在本发明提供的上述跟踪检测方法中，确定所述至少一个第二2D特征向量可以包括：对所述至少一个当前障碍物在所述2D图像中的2D图像区分别执行特征提取，以生成对应的至少一个2D特征向量以作为所述至少一个第二2D特征向量。

优选地，在本发明提供的上述跟踪检测方法中，所述执行特征提取可以进一步包括：在2D障碍物识别的深度学习框架的图像整体深度特征层，针对每个2D图像区执行ROI池化操作，以生成所述至少一个第二2D特征向量。

可选地，在本发明提供的上述跟踪检测方法中，还可以包括：

将从所述2D图像中的2D图像区提取出的至少一个2D特征向量输入到卷积层及其相关联的线性整流层，以及全联层及其相关联的线性整流层执行计算，以生成至少一个增强的2D特征向量以作为所述至少一个第二2D特征向量。

可选地，在本发明提供的上述跟踪检测方法中，对所述多个差值特征向量执行深度学习计算可以包括：将每一个差值特征向量输入两个全联层执行计算，以获得与所述多个差值特征向量对应的所述多个概率值。

可选地，在本发明提供的上述跟踪检测方法中，所述根据所述多个概率值确定所述至少一个当前障碍物与所述至少一个先前障碍物之间的对应关系，可以包括：

针对每一当前障碍物，将与之具有高于阈值的最大概率值的一先前障碍物与该当前障碍物相匹配；以及

将匹配的当前障碍物和先前障碍物视为同一障碍物，在所述障碍物特征向量集中将对应同一障碍物的第一2D特征向量更新为对应第二2D特征向量，将新识别到的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

优选地，在本发明提供的上述跟踪检测方法中，所述将匹配的当前障碍物和先前障碍物视为同一障碍物可以具体包括：

对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认，响应于确认通过，则将匹配的该当前障碍物和先前障碍物视为同一障碍物；否则将未通过确认的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

优选地，在本发明提供的上述跟踪检测方法中，所述对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认可以包括：

根据该先前障碍物的位置、移动速度和潜在转向，观测点的位置、移动速度和潜在转向，以及时间差确定一空间范围，响应于该当前障碍物处于该空间范围内则确认通过，否则确认失败。

可选地，在本发明提供的上述跟踪检测方法中，还可以包括：

根据被视为同一障碍物的当前障碍物与先前障碍物之间的位置变化和时间差确定该障碍物的速度。

根据本发明的另一方面，本文还提供了一种用于3D障碍物的跟踪检测装置。

本发明提供的上述跟踪检测装置，用于对检测到的障碍物执行跟踪，所述跟踪检测装置包括：

存储器，所述存储器中存储有表征先前检测到的至少一个先前障碍物的第一2D特征向量；以及

耦接至该存储器的处理器，所述处理器配置用于：

确定从当前帧的3D点云和2D图像检测到的至少一个当前障碍物在2D图像中的2D图像区所对应的至少一个第二2D特征向量；

将所述至少一个第二2D特征向量中的每一者与所述障碍物特征向量集中的每个第一2D特征向量进行比对，以获得多个差值特征向量；

对所述多个差值特征向量执行深度学习计算，以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率；

以及

根据所述多个概率值确定所述至少一个当前障碍物与所述至少一个先前障碍物之间的对应关系，以实现障碍物跟踪。

优选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

对所述至少一个当前障碍物在所述2D图像中的2D图像区分别执行特征提取，以生成对应的至少一个2D特征向量，以作为所述至少一个第二2D特征向量。

优选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

在2D障碍物识别的深度学习框架的图像整体深度特征层，针对每个2D图像区执行ROI池化操作，以生成所述至少一个第二2D特征向量。

可选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

将从所述2D图像中的2D图像区提取出的至少一个2D特征向量输入到卷积层及其相关联的线性整流层，以及全联层及其相关联的线性整流层执行计算，以生成至少一个增强的2D特征向量，以作为所述至少一个第二2D特征向量。

可选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

对所述多个差值特征向量执行深度学习计算包括：将每一个差值特征向量输入两个全联层执行计算，以获得与所述多个差值特征向量对应的所述多个概率值。

可选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

针对每一当前障碍物，将与之具有高于阈值的最大概率值的一先前障碍物与该当前障碍物相匹配；以及

将匹配的当前障碍物和先前障碍物视为同一障碍物，在所述障碍物特征向量集中将对应同一障碍物的第一2D特征向量更新为对应第二2D特征向量，将新识别到的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

优选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认，响应于确认通过，则将匹配的该当前障碍物和先前障碍物视为同一障碍物；否则将未通过确认的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

优选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

根据该先前障碍物的位置、移动速度和潜在转向，观测点的位置、移动速度和潜在转向，以及时间差确定一空间范围，响应于该当前障碍物处于该空间范围内则确认通过，否则确认失败。

可选地，在本发明提供的上述跟踪检测装置中，所述处理器可以进一步配置为：

根据被视为同一障碍物的当前障碍物与先前障碍物之间的位置变化和时间差确定该障碍物的速度。

根据本发明的另一方面，本文还提供了一种用于3D障碍物的跟踪检测系统。

本发明提供的上述跟踪检测系统，包括：

图像捕捉装置，用于获取2D图像；

点云数据捕捉装置，用于获取3D点云；以及

上述任意一种跟踪检测装置。

根据本发明的另一方面，本文还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可以实现上述任意一种用于3D障碍物的跟踪检测方法的步骤。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1是本发明的一个实施例提供的用于3D障碍物的跟踪检测方法的流程示意图。

图2是本发明的一个实施例提供的确定空间范围R的方法流程示意图。

图3是本发明的一个实施例提供的用于3D障碍物的跟踪检测装置的结构示意图。

图4是本发明的一个实施例提供的用于3D障碍物的跟踪检测系统的结构示意图。

附图标记

101-104 用于3D障碍物的跟踪检测方法的步骤；

30 用于3D障碍物的跟踪检测装置；

31 存储器；

32 处理器；

40 用于3D障碍物的跟踪检测系统；

41 图像捕捉装置；

42 点云数据捕捉装置。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。

能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。

为了能够高效地获取高质量的3D空间图案和信息，以提高自动驾驶车辆的障碍物跟踪检测效率和准确率，本发明提供了用于3D障碍物的跟踪检测方法的实施例、用于3D障碍物的跟踪检测装置的实施例、用于3D障碍物的跟踪检测系统的实施例，以及计算机存储介质的实施例。

如图1所示，本实施例提供的上述用于3D障碍物的跟踪检测方法，可以用于对检测到的障碍物执行跟踪，该跟踪检测方法可以包括：

101：确定从当前帧的3D点云和2D图像检测到的至少一个当前障碍物在2D图像中的2D图像区所对应的至少一个第二2D特征向量。

在自动驾驶车辆的应用中，上述障碍物可以包括但不限于道路上的其他车辆。在自动驾驶车辆的行驶过程中，这些汽车障碍物相对自车的相对距离不断发生变化，因此需要对这些汽车障碍物进行准确、高效地检测，并进行实时跟踪以进行驾驶决策的制定。

上述障碍物的2D图像可以通过使用摄像头拍照采集来获得。上述3D点云可以通过在使用摄像头拍照的同时，使用激光雷达扫描汽车周边环境来获得。根据激光雷达和摄像头的相对位置关系，以及摄像头的内部参数(焦距，焦点位置等)，激光雷达扫描到的每个障碍物的边界框都可以在相应的2D图像中找到对应的图像区。

本领域的技术人员可以通过现有或将有的技术手段，根据一帧3D点云及其相应的2D图像，准确、高效地检测到当前时刻自车周围的每一个障碍物，以及包括但不限于车辆尺寸、行驶方向和相对位置等详细准确的3D信息。通过将3D点云向2D图像中映射，本领域的技术人员可以确定检测到的障碍物在2D图像中对应的2D图像区。例如，可将3D点云中障碍物边界框的每一个顶点按照点云到图像中的方法，投射到2D图像中，以确定2D图像区的轮廓。

本领域的技术人员可以理解，上述将3D点云向2D图像中映射的方式，只是一种确定2D图像区的具体方案。在其他实施例中，本领域的技术人员也可以采用其他方式来确定上述2D图像区。

本领域的技术人员可以通过对每一个检测到的当前障碍物，在2D图像中的2D图像区分别执行特征提取的方式，生成对应个数的2D特征向量，从而确定上述至少一个第二2D特征向量。该2D特征向量可以是一个多维度向量，用于表征汽车障碍物在2D图像中的相关信息。

上述执行特征提取可以包括：在2D障碍物识别的深度学习框架的图像整体深度特征层(例如：faster rcnn深度学习框架中的Conv5_3层)，针对每个2D图像区执行ROI(Region of Interest)池化操作，以生成上述第二2D特征向量。

作为示例，上述Faster-Rcnn框架的设置参数如下表所示：

表1

上述图像整体深度特征层可以是一种深度学习层，是本领域的技术人员习知的技术手段，详细记载于http://caffe.berkeleyvision.org/tutorial/layers.html。

本领域的技术人员可以理解，上述conv5_3层只是一种具体的图像整体深度特征层。在其他实施例中，相应于采用fast rcnn深度学习框架、MS-Cnn深度学习框架等其他深度学习框架，本领域的技术人员也可以在其他图像整体深度特征层，针对每个2D图像区执行ROI池化操作，以生成每个2D图像区对应的2D特征向量。

可选地，本领域的技术人员也可以将从2D图像中的2D图像区提取出的上述2D特征向量输入到卷积层及其相关联的线性整流层(channel:512,pad 1,kernel 3)，以及全联层(Fully connected layer)及其相关联的线性整流层(channel:256)执行计算，以生成对应个数的增强的2D特征向量，并将其作为上述第二2D特征向量。上述增强的2D特征向量可以进一步包含用于物体追踪的一些特征。

上述卷积层(convolution layer)可以由若干卷积单元组成，每个卷积单元的参数都可以通过反向传播算法最佳化得到。卷积运算的目的包括但不限于提取输入的不同特征。第一层卷积层可能只能提取一些低级的特征(例如：边缘、线条和角等层级)，而更多卷积层所组成的3D特征提取卷积神经网络则能从低级特征中迭代提取更复杂的特征。

102：将至少一个第二2D特征向量中的每一者与障碍物特征向量集中的每个第一2D特征向量进行比对，以获得多个差值特征向量，其中障碍物特征向量集中存储有表征先前检测到的至少一个先前障碍物的第一2D特征向量。

如上所述，在自动驾驶车辆的行驶过程中，汽车障碍物相对自车的相对距离会不断发生变化，因此需要对这些汽车障碍物进行准确、高效地检测，并进行实时跟踪以进行驾驶决策的制定。

本领域的技术人员可以将先前每一帧3D点云和2D图像检测到的至少一个障碍物的至少一个第二2D特征向量存入障碍物特征向量集，以作为第一2D特征向量。

通过将当前帧检测到的障碍物的第二2D特征向量与障碍物特征向量集中的第一2D特征向量进行对比(例如：相减)，即可获得相应个数的差值特征向量，以表征在两帧3D点云和2D图像的时间差内障碍物的相关信息所发生的变化。该差值特征向量可以是与2D特征向量相同纬度的多维度向量。

本领域的技术人员可以理解，障碍物特征向量集中可以包括多个不同障碍物的第一2D特征向量，还可以响应于判断后一帧3D点云和2D图像检测到的某个障碍物与障碍物特征向量集中的一个障碍物为同一个障碍物，将后一帧3D点云和2D图像中该障碍物的第二2D特征向量存入障碍物特征向量集，更新该障碍物的第一2D特征向量，以供之后帧3D点云和2D图像检测到的障碍物进行对比。

103：对多个差值特征向量执行深度学习计算，以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率。

上述深度学习计算可以包括将每一个差值特征向量输入两个全联层(第一层channel 256，第二层channel 2)执行计算，以获得与多个差值特征向量对应的多个概率值。通过上述深度学习计算，可以获得每一个当前障碍物与每一个先前障碍物为同一障碍物的概率。

104：根据多个概率值确定至少一个当前障碍物与至少一个先前障碍物之间的对应关系，以实现障碍物跟踪。

通过预设一判定当前障碍物与先前障碍物是否为同一障碍物的阈值，本领域的技术人员可以针对每一当前障碍物，将与之具有高于该阈值的最大概率值的一先前障碍物与该当前障碍物相匹配；以及

将匹配的当前障碍物和先前障碍物视为同一障碍物，在障碍物特征向量集中将对应同一障碍物的第一2D特征向量更新为对应第二2D特征向量；或将不匹配的，即新识别到的当前障碍物的第二2D特征向量添加到障碍物特征向量集中。

优选地，本领域的技术人员还可以对匹配成功的每对当前障碍物和先前障碍物进一步执行3D位置信息确认。响应于确认通过，再将匹配的该当前障碍物和先前障碍物视为同一障碍物；否则将未通过确认的当前障碍物的第二2D特征向量添加到障碍物特征向量集中，作为一个新的障碍物。

上述对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认可以包括：

根据该先前障碍物的位置、移动速度和潜在转向，观测点的位置、移动速度和潜在转向，以及时间差确定一空间范围。响应于该当前障碍物处于该空间范围内，则认为该障碍物可能在该时间差内到达一新的位置，确认通过；否则，认为该障碍物在该时间差内不可能到达该新的位置，确认失败。

具体地，上述空间范围R可以通过如图2所示的方法确定。

如图2所示，假设观测点(自车)原本在O点；该先前障碍物所在位置为A点，并以135km/h的最快行驶速度，沿着其车体(B-C)方向行驶。

根据该最大速度和上述时间差，可以找到其可能行驶到的最远距离B点和C点。若在该时间差内，自车沿着z轴的正方向也以最快速度行驶，则该障碍物相对于观测点在当前时间点上可能处在的相对区域，可以由多边形BCDE表示。

考虑到在该时间差内，障碍物可能向左或者向右转弯，而不是沿着车体方向向前行驶。为了补偿转弯，可以把直线BC和DE分别平移一段距离d(0.5米)，得到B’C’和D’E’。此时，能够覆盖B’C’D’E’的最小长方形为B’C”D’E”。

同样的，考虑到观测车辆也可能会转弯。为了补偿这个现象，可以将直线C”B’和D’E”绕着O点旋转一定角度θ(0.05)，以得到直线FG和KH，从而确定上述空间范围R。

本领域的技术人员可以理解，如图2所示的确定上述空间范围R的方法，只是一种具体实施方式。在其他实施例中，本领域的技术人员也可以采用其他方式来确定上述空间范围R。

可选地，本领域的技术人员还可以进一步根据被视为同一障碍物的当前障碍物与先前障碍物之间的位置变化和时间差确定该障碍物的速度，从而进行具有时间先行的规划算法及障碍物的跟踪检测。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

根据本发明的另一方面，本文还提供了一种用于3D障碍物的跟踪检测装置的实施例。

如图3所示，本实施例提供的上述跟踪检测装置30，可以用于对检测到的障碍物执行跟踪。该检测装置30可以包括存储器31，以及耦接至该存储器31的处理器32。

上述存储器中可以存储有表征先前检测到的至少一个先前障碍物的第一2D特征向量，用于与至少一个当前障碍物的第二2D特征向量进行比对，从而判断两者是不是同一障碍物。

上述处理器32可以配置用于确定从当前帧的3D点云和2D图像检测到的至少一个当前障碍物在2D图像中的2D图像区所对应的至少一个第二2D特征向量；将该至少一个第二2D特征向量中的每一者与障碍物特征向量集中的每个第一2D特征向量进行比对，以获得多个差值特征向量；对多个差值特征向量执行深度学习计算，以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率；以及根据多个概率值确定至少一个当前障碍物与至少一个先前障碍物之间的对应关系，以实现障碍物跟踪。

本领域的技术人员可以理解，上述处理器32的配置方式，只是一种实现用于3D障碍物的跟踪检测方法的具体方案。在其他实施例中，上述处理器32还可以配置用于实现上述任意一种用于3D障碍物的跟踪检测方法。

根据本发明的另一方面，本文还提供了一种用于3D障碍物的跟踪检测系统40的实施例。

如图4所示，上述检测系统40可以包括用于获取2D图像的图像捕捉装置41；用于获取3D点云的点云数据捕捉装置42；以及上述任意一种跟踪检测装置30。上述图像捕捉装置41可以包括但不限于相机和摄像机。上述点云数据捕捉装置42可以包括但不限于激光雷达。

根据本发明的另一方面，本文还提供了一种计算机存储介质的实施例。

该计算机存储介质上存储有计算机程序。该计算机程序被处理器执行时，可以实现上述任意一种用于3D障碍物的跟踪检测方法的步骤。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

本案描述的处理器可使用电子硬件、计算机软件或其任何组合来实现。此类处理器是实现为硬件还是软件将取决于具体应用和加诸于系统的整体设计约束。作为示例，本公开中呈现的处理器、处理器的任何部分、或处理器的任何组合可用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立的硬件电路、以及配置成执行贯穿本公开描述的各种功能的其他合适的处理组件来实现。本公开中呈现的处理器、处理器的任何部分、或处理器的任何组合的功能性可用由微处理器、微控制器、DSP或其他合适的平台执行的软件来实现。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (20)

1.一种用于3D障碍物的跟踪检测方法，用于对检测到的障碍物执行跟踪，所述跟踪检测方法包括：

确定从当前帧的3D点云和2D图像检测到的至少一个当前障碍物在2D图像中的2D图像区所对应的至少一个第二2D特征向量；

将所述至少一个第二2D特征向量中的每一者与障碍物特征向量集中的每个第一2D特征向量进行比对以获得多个差值特征向量，其中所述障碍物特征向量集中存储有表征先前检测到的至少一个先前障碍物的第一2D特征向量；

对所述多个差值特征向量执行深度学习计算以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率；以及

根据所述多个概率值确定所述至少一个当前障碍物与所述至少一个先前障碍物之间的对应关系以实现障碍物跟踪。

2.如权利要求1所述的跟踪检测方法，其特征在于，确定所述至少一个第二2D特征向量包括对所述至少一个当前障碍物在所述2D图像中的2D图像区分别执行特征提取以生成对应的至少一个2D特征向量以作为所述至少一个第二2D特征向量。

3.如权利要求2所述的跟踪检测方法，其特征在于，所述执行特征提取包括在2D障碍物识别的深度学习框架的图像整体深度特征层针对每个2D图像区执行ROI池化操作以生成所述至少一个第二2D特征向量。

4.如权利要求2所述的跟踪检测方法，其特征在于，还包括：

将从所述2D图像中的2D图像区提取出的至少一个2D特征向量输入到卷积层及其相关联的线性整流层和全联层及其相关联的线性整流层执行计算以生成至少一个增强的2D特征向量以作为所述至少一个第二2D特征向量。

5.如权利要求1所述的跟踪检测方法，其特征在于，对所述多个差值特征向量执行深度学习计算包括将每一个差值特征向量输入两个全联层执行计算以获得与所述多个差值特征向量对应的所述多个概率值。

6.如权利要求1所述的跟踪检测方法，其特征在于，所述根据所述多个概率值确定所述至少一个当前障碍物与所述至少一个先前障碍物之间的对应关系包括：

针对每一当前障碍物，将与之具有高于阈值的最大概率值的一先前障碍物与该当前障碍物相匹配；以及

将匹配的当前障碍物和先前障碍物视为同一障碍物，在所述障碍物特征向量集中将对应同一障碍物的第一2D特征向量更新为对应第二2D特征向量，将新识别到的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

7.如权利要求6所述的跟踪检测方法，其特征在于，所述将匹配的当前障碍物和先前障碍物视为同一障碍物具体包括：

对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认，响应于确认通过则将匹配的该当前障碍物和先前障碍物视为同一障碍物，否则将未通过确认的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

8.如权利要求7所述的跟踪检测方法，其特征在于，所述对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认包括：

根据该先前障碍物的位置、移动速度和潜在转向，观测点的位置、移动速度和潜在转向、以及时间差确定一空间范围，响应于该当前障碍物处于该空间范围内则确认通过，否则确认失败。

9.如权利要求6所述的跟踪检测方法，其特征在于，所述跟踪检测方法还包括：

根据被视为同一障碍物的当前障碍物与先前障碍物之间的位置变化和时间差确定该障碍物的速度。

10.一种用于3D障碍物的跟踪检测装置，用于对检测到的障碍物执行跟踪，所述跟踪检测装置包括：

存储器，所述存储器中存储有表征先前检测到的至少一个先前障碍物的第一2D特征向量；以及

耦接至该存储器的处理器，所述处理器配置用于：

确定从当前帧的3D点云和2D图像检测到的至少一个当前障碍物在2D图像中的2D图像区所对应的至少一个第二2D特征向量；

将所述至少一个第二2D特征向量中的每一者与所述障碍物特征向量集中的每个第一2D特征向量进行比对以获得多个差值特征向量；

对所述多个差值特征向量执行深度学习计算以生成对应的多个概率值，每个概率值指示一当前障碍物与一先前障碍物为同一障碍物的概率；以及

根据所述多个概率值确定所述至少一个当前障碍物与所述至少一个先前障碍物之间的对应关系以实现障碍物跟踪。

11.如权利要求10所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

对所述至少一个当前障碍物在所述2D图像中的2D图像区分别执行特征提取以生成对应的至少一个2D特征向量以作为所述至少一个第二2D特征向量。

12.如权利要求11所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

在2D障碍物识别的深度学习框架的图像整体深度特征层针对每个2D图像区执行ROI池化操作以生成所述至少一个第二2D特征向量。

13.如权利要求11所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

将从所述2D图像中的2D图像区提取出的至少一个2D特征向量输入到卷积层及其相关联的线性整流层和全联层及其相关联的线性整流层执行计算以生成至少一个增强的2D特征向量以作为所述至少一个第二2D特征向量。

14.如权利要求10所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

对所述多个差值特征向量执行深度学习计算包括将每一个差值特征向量输入两个全联层执行计算以获得与所述多个差值特征向量对应的所述多个概率值。

15.如权利要求10所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

针对每一当前障碍物，将与之具有高于阈值的最大概率值的一先前障碍物与该当前障碍物相匹配；以及

将匹配的当前障碍物和先前障碍物视为同一障碍物，在所述障碍物特征向量集中将对应同一障碍物的第一2D特征向量更新为对应第二2D特征向量，将新识别到的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

16.如权利要求15所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

对匹配成功的每对当前障碍物和先前障碍物执行3D位置信息确认，响应于确认通过则将匹配的该当前障碍物和先前障碍物视为同一障碍物，否则将未通过确认的当前障碍物的第二2D特征向量添加到所述障碍物特征向量集中。

17.如权利要求16所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

根据该先前障碍物的位置、移动速度和潜在转向，观测点的位置、移动速度和潜在转向、以及时间差确定一空间范围，响应于该当前障碍物处于该空间范围内则确认通过，否则确认失败。

18.如权利要求15所述的跟踪检测装置，其特征在于，所述处理器进一步配置为：

根据被视为同一障碍物的当前障碍物与先前障碍物之间的位置变化和时间差确定该障碍物的速度。

19.一种用于3D障碍物的跟踪检测系统，包括：

图像捕捉装置，用于获取2D图像；

点云数据捕捉装置，用于获取3D点云；以及

如权利要求10-18中任一项所述的跟踪检测装置。

20.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述方法的步骤。