CN115147798A - 可行驶区域预测方法、模型、装置及车辆 - Google Patents

Abstract

本发明提供一种可行驶区域预测方法、模型、装置及车辆，该模型包括网格化模块、点特征提取模块、散点化模块、特征提取主干模块，以及语义分割预测模块，通过基于目标点云进行特征提取和语义分割，一方面不再依赖于图像的分割精度，受距离影响较小，另一方面，模型采用模块化的方案，能够实现模块化的拼接，泛化性佳，能够解决多场景的问题。

Description

可行驶区域预测方法、模型、装置及车辆

技术领域

本申请实施例涉及计算机技术领域，具体涉及一种可行驶区域预测方法、模型、装置及车辆。

背景技术

可行驶区域的确定对于自动驾驶技术的落地实施具有重要的影响，它能够为车辆提供某区域是可行驶或不可行驶的信息，为自动驾驶的路径规划提供输入。不可行驶区域主要包括了道路上的一些静态的障碍物，例如水马、锥桶、栅栏、马路牙子等，可行驶区域如道路、桥梁、隧道等。

相关技术中，可行驶区域的确定可以基于视觉技术和基于激光点云技术。其中，基于视觉的方案，例如使用单目或者双目摄像头，其需要将输入的图像作可行驶区域的语义分割，加上一定的后处理解算出图像上的区域在车身坐标系下的三维几何位置。但该方法严重依赖于摄像头的标定以及图像的分割精度，而且随着距离的远近，存在着平方的误差。基于激光点云的方案则可对三维点云直接进行可行驶区域的分割，例如RANSAC(RandomSample Consensus)平面拟合等。虽然此方法相较于基于视觉的图像的分割加后处理几何位置更为精准，但因为车辆的可行驶区域场景多变，存在较多的特例场景，例如桥面或者高架匝道等，传统算法对于此类场景往往不能依靠一套固定规则去解决，而需要特例特解，泛化性差、不能解决多场景问题。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种可行驶区域预测方法、模型、装置及车辆，以解决上述技术问题。

在第一方面，本发明提供的一种可行驶区域预测模型，所述可行驶区域预测模型包括：

网格化模块，用于对目标点云进行网格划分，得到三维栅格数据和多个网格，所述三维格栅数据包括用于表征各所述目标点在各所述网格中的索引信息，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

点特征提取模块，用于对各所述网格中的目标点进行点特征提取，得到各所述目标点的点特征以生成各所述网格的网格张量；

散点化模块，用于将各所述网格张量根据所述索引信息排布于网格特征图，生成鸟瞰图特征；

特征提取主干模块，用于对所述鸟瞰图特征进行网格特征提取，得到多尺度特征，所述多尺度特征包括多尺度鸟瞰图特征和多尺度体素特征中至少之一；

语义分割预测模块，用于对所述多尺度特征进行特征融合，并基于所述索引信息确定特征融合后的所述多尺度特征与各所述目标点的索引信息，得到各目标点的预测标签，基于各所述目标点的预测标签确定所述目标点云的预测结果，所述预测结果包括所述车辆待行驶区域中的可行驶区域和不可行驶区域。

于本发明的一实施例中，所述目标点的激光扫描信息包括第一坐标信息、第二坐标信息、第三坐标信息和反射率，所述网格化模块包括：

划分模块，用于根据预设网格尺寸和各所述目标点的激光扫描信息确定各所述目标点在网格图上的索引信息，基于所述索引信息将各所述目标点划分为多个网格，所述网格包括支柱或体素；

特征维度确定模块，用于确定各所述网格的网格中心点，并确定各所述目标点相对所在网格的网格中心点的偏移信息，基于所述偏移信息、激光扫描信息和网格中心点的网格中心信息确定所述目标点的特征维度，以生成所述目标点的升维信息；

栅格数据记录模块，用于记录各所述目标点在各所述网格的网格图中的索引信息。

于本发明的一实施例中，所述划分模块还用于：

获取各所述索引信息对应的所述目标点的初始数量，若所述初始数量大于预设数量阈值，对所述目标点进行采样丢弃，直到剩余的所述目标点的初始数量等于所述预设数量阈值。

于本发明的一实施例中，所述点特征提取模块包括：

点特征提取子模块，用于通过多层感知机网络对各所述目标点的升维信息进行点特征提取，得到点特征子张量；

点特征池化模块，用于对各所述目标点的点特征子张量进行最大值池化处理，得到各所述网格的网格张量。

于本发明的一实施例中，若所述网格张量包括支柱张量，所述特征提取主干模块包括支柱特征图生成模块和二维卷积层，所述支柱特征图生成模块用于根据基于支柱张量生成的所述鸟瞰图特征确定支柱特征图，所述二维卷积层用于对所述柱特征图进行卷积以提取二维多尺度特征信息；

若所述网格张量包括体素张量，所述特征提取主干模块包括体素特征图生成模块和三维卷积层，所述体素特征图生成模块用于根据基于体素张量生成的所述鸟瞰图特征确定体素特征图，所述三维卷积层用于对所述体素特征图进行卷积以提取三维多尺度特征信息。

于本发明的一实施例中，所述特征提取主干模块包括特征提取网络和多尺度网络；

所述特征提取网络的生成方式包括，由基础卷积模块、批量归一化模块、激活模块构成基本单元，基于多个所述基本单元构成基本模块，基于多个所述基本模块构成所述特征提取网络，所述基本模块的第一层设置有预设层偏移量，以使所述鸟瞰图特征基于所述预设层偏移量进行下采样；

所述多尺度网络用于对各所述基本模块输出的下采样张量进行上采样和卷积处理，以使所述下采样张量恢复为预设尺寸的多尺度特征。

于本发明的一实施例中，所述语义分割预测模块包括：

语义分割子模块，用于若所述多尺度特征的特征尺度与预设原始尺度相同，基于所述多尺度特征进行特征融合生成体素语义特征张量，若所述多尺度特征的特征尺度与预设原始尺度不同，对所述多尺度特征进行上采样以使所述多尺度特征的特征尺度与预设原始尺度相同，基于上采样后的所述多尺度特征进行特征融合生成体素语义特征张量，所述体素语义特征张量的特征维度包括输出特征和高度；

预测子模块，用于将所述体素语义特征张量在特征维度上基于预设函数确定最大响应值，以及所述最大响应值的索引信息，确定所述目标点的预测标签；

预测结果确定模块，用于根据各所述目标点的预测标签确定所述目标点云的预测结果。

于本发明的一实施例中，所述可行驶区域预测模型还包括训练模块，所述训练模块包括以下至少之一：

训练样本集，包括样本点云，所述样本点云中的各样本点标注有样本标签；

参数优化模块，用于基于预设损失函数、样本标签和所述可行驶区域预测模型对所述样本点云进行预测生成的预测标签确定误差，通过所述误差反向传播以对所述可行驶区域预测模型的参数进行更新，直到所述预设损失函数收敛，完成对所述可行驶区域预测模型的训练。

于本发明的一实施例中，所述训练模块还包括：

样本标签重映射模块，用于对所述样本点云进行标签重映射处理，生成各所述样本点的重映射标签；

样本点云体素化模块，用于对样本点云进行体素化处理，得到多个样本体素；

样本体素标签确定模块，用于将所述样本体素中对应样本点数量最多的重映射标签确定样本体素标签；

空白标签赋值模块，用于对无样本点的所述样本体素进行预设标签赋值。

在第二方面，本发明提供的一种可行驶区域预测方法，所述方法包括：

获取目标点云，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

将所述目标点云输入如上述任一项所述的可行驶区域预测模型，以预测所述车辆待行驶区域的可行驶区域和不可行驶区域。

于本发明的一实施例中，所述可行驶区域预测装置包括如上述任一项所述的可行驶区域预测模型。

在第三方面，本发明提供的一种车辆，所述车辆包括：

第一目标点云获取模块，用于获取目标点云，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

点云数据发送模块，用于将所述目标点云发送至服务器，所述服务器包括如上述任一项所述的可行驶区域预测模型；

第一预测结果获取模块，用于获取所述服务器根据所述可行驶区域预测模型对所述目标点云预测的预测结果，所述预测结果包括可行驶区域和不可行驶区域。

在第四方面，本发明提供的一种车辆，所述车辆包括：

第二目标点云获取模块，用于获取目标点云，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

预测模块，所述预测模块包括如上述任一项所述的可行驶区域预测模型；

第二预测结果获取模块，用于获取所述预测模块根据所述可行驶区域预测模型对所述目标点云预测的预测结果，所述预测结果包括可行驶区域和不可行驶区域。

本发明的有益效果：本发明中的可行驶区域预测方法、模型、装置及车辆，该模型包括用于对目标点云进行网格划分的网格化模型，用于对各网格中的目标点进行点特征提取，得到各网格目标点的点特征以生成各网格的网格张量的点特征提取模块，用于将各网格张量根据网格索引信息排布于网格特征图生成鸟瞰图特征的散点化模块，用于对鸟瞰图特征进行网格特征提取得到多尺度特征的特征提取主干模块，以及用于对多尺度特征进行特征融合，并基于网格索引信息确定特征融合后的多尺度特征与各网格目标点的索引信息，得到各目标点的预测标签，基于各网格目标点的预测标签确定网格目标点云的预测结果的语义分割预测模块，通过基于目标点云进行特征提取和语义分割，一方面不再依赖于图像的分割精度，受距离影响较小，另一方面，模型采用模块化的方案，能够实现模块化的拼接，泛化性佳，能够解决多场景的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的可行驶区域预测模型的结构示意图；

图2是本申请的一示例性实施例示出的网格化模块的结构示意图；

图3是本申请的一示例性具体的实施例示出的可行驶区域预测模型的结构示意图；

图4是本申请的一示例性实施例示出的可行驶区域预测方法的流程图示意图；

图5是本申请的一示例性实施例示出的车辆的结构示意图；

图6是本申请的另一示例性实施例示出的车辆的结构示意图；

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图；

图8是本申请的一示例性实施例示出的通过本实施例中的可行驶区域预测模型所输出的预测结果示意图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

体素化(Voxelization)是将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据集，其不仅包含模型的表面信息，而且能描述模型的内部属性。

PointNet网络是一种处理无序点云的开拓性网络结构，给端到端的点云特征提取开拓了一种新的思路，这种网络利用多重神经网络将无序点云映射到高维特征空间，然后利用最大池化层抽样保留最突出的点云特征。由于该网络难以获取点与点之间的结构特征，对全局特征的获取不足，因此难以直接应用于大规模点云的语义分割。

点云是指目标表面特性的海量点集合。本发明实施例所针对的目标点云可以为激光点云，激光点云为根据激光测量原理得到的点云，包括三维坐标(X，Y，Z)和激光反射强度(Intensity，或称反射率)。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。

可行驶区域的确定对于自动驾驶技术的落地实施具有重要的影响，它能够为车辆提供某区域是可行驶或不可行驶的信息，为自动驾驶的路径规划提供输入。不可行驶区域主要包括了道路上的一些静态的障碍物，例如水马、锥桶、栅栏、马路牙子等，可行驶区域如道路、桥梁、隧道等。

相关技术中，可行驶区域的确定可以基于视觉技术和基于激光点云技术。其中，基于视觉的方案，例如使用单目或者双目摄像头，其需要将输入的图像作可行驶区域的语义分割，加上一定的后处理解算出图像上的区域在车身坐标系下的三维几何位置。但该方法严重依赖于摄像头的标定以及图像的分割精度，而且随着距离的远近，存在着平方的误差。基于激光点云的方案则可对三维点云直接进行可行驶区域的分割，例如RANSAC(RandomSample Consensus)平面拟合等。虽然此方法相较于基于视觉的图像的分割加后处理几何位置更为精准，但因为车辆的可行驶区域场景多变，存在较多的特例场景，例如桥面或者高架匝道等，传统算法对于此类场景往往不能依靠一套固定规则去解决，而需要特例特解，泛化性差、不能解决多场景问题。

发明人发现，相关技术中基于点云的深度学习的语义分割算法由于点的无序性，其相较于传统的图像深度学习算法，有较多的算法类别，大致是针对于输入的表征来分类，如基于投影图(Projection-based)、基于体素(Voxel-based)、基于点(Point-based)和基于混合方法(Hybrid-based)的方法。比较流行的且能实时地在车端运行的有基于投影图的方案，它可完全沿用计算机视觉的开发流程，准确率跟泛化性较传统的点云算法都提高不少，但其往往会单独地使用一个网络去分割可行驶区域，造成车端与其他网络模型抢占资源，造成推理时延较大，不能满足实时性的要求。

可见，虽然视觉的图像算法比较成熟，但是存在天然的缺陷，无法准确计算可行驶区域的几何位置和在夜间场景容易失效；相关技术中点云处理算法无法解决多场景的问题；单一的点云深度学习网络无法与其他深度学习算法共享计算资源造成车端的实时性有所欠缺。

为解决这些问题，本申请的实施例分别提出一种可行驶区域预测模型、一种可行驶区域预测方法、一种可行驶区域预测装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品，以下将对这些实施例进行详细描述。

请参阅图1，图1是本申请的一示例性实施例示出的可行驶区域预测模型的结构示意图。如图1所示，在一示例性的实施例中，可行驶区域预测模型100至少包括101-105，详细介绍如下：

网格化模块101，用于对目标点云进行网格划分，得到三维栅格数据和多个网格，其中，网格三维格栅数据包括用于表征各网格目标点在各网格中的索引信息，目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

点特征提取模块102，用于对各网格中的目标点进行点特征提取，得到各网格目标点的点特征以生成各网格的网格张量；

散点化模块103，用于将各网格张量根据网格索引信息排布于网格特征图，生成鸟瞰图特征；

特征提取主干模块104，用于对鸟瞰图特征进行网格特征提取，得到多尺度特征，多尺度特征包括多尺度鸟瞰图特征和多尺度体素特征中至少之一；

语义分割预测模块105，用于对多尺度特征进行特征融合，并基于网格索引信息确定特征融合后的多尺度特征与各网格目标点的索引信息，得到各目标点的预测标签，基于各网格目标点的预测标签确定网格目标点云的预测结果，网格预测结果包括车辆待行驶区域中的可行驶区域和不可行驶区域。

在一个可选的实施例中，目标点云是需要确定其中的可行驶区域的点云数据，目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合，该目标点云可以用于确定道路环境，由目标设备如车辆等道路行驶设备通过激光雷达等方式进行周围环境扫描得到。目标点云包括多个目标点的属性信息，目标点的属性信息包括该目标点的三维坐标(横坐标X(第一坐标信息)，纵坐标Y(第二坐标信息)及竖坐标Z(第三坐标信息))以及该目标点的激光反射率(Intensity，反射率)。其中激光雷达可以为多线激光雷达或单线激光雷达。

对目标点云进行网格划分的方式与对目标点云进行体素化处理类似，如上述所述，目标点云包括4个维度N*4，横坐标X(第一坐标信息)，纵坐标Y(第二坐标信息)及竖坐标Z(第三坐标信息)以及反射率，且是无序的，通过本实施例提供的网格化模块可以实现将无序的目标点云进行特征提取，将其映射到具有固定尺度的特征张量上。其包括了三个部分，点云的体素化(通过下述划分模块实现)，体素特征提取(通过下述特征维度确定模块实现)，体素的规则化(通过下述栅格数据确定模块实现)。

请参阅图2，图2是本申请的一示例性实施例示出的网格化模块的结构示意图。如图2所示，在一个可选的实施例中，目标点的激光扫描信息包括第一坐标信息(x轴)、第二坐标信息(y轴)、第三坐标信息(z轴)和反射率(Intensity)(N×4)，此时，网格化模块101包括：

划分模块1011，用于根据预设网格尺寸和各目标点的激光扫描信息确定各目标点在网格图上的索引信息，基于索引信息将各目标点划分为多个网格，该网格包括支柱或体素；

特征维度确定模块1012，用于确定各网格的网格中心点，并确定各目标点相对所在网格的网格中心点的偏移信息，基于偏移信息、激光扫描信息和网格中心点的网格中心信息确定目标点的特征维度，以生成所述目标点的升维信息；

栅格数据记录模块1013，用于记录各目标点在各网格的网格图中的索引信息。

在一个可选的实施例中，划分模块还用于获取各索引信息对应的目标点的初始数量，若初始数量大于预设数量阈值，对目标点进行采样丢弃，直到剩余的目标点的初始数量等于预设数量阈值。

例如，划分模块可以将无序的目标点云按照预设规则体素化为固定的规则，首先可以先将将点云按照预设的体素尺寸进行体素化，一种示例性的体素尺寸为[0.25,0.25,4.5](预设网格尺寸)，对应了x，y，z轴方向上的量化步长。所有在范围内的点根据体素尺寸量化步长得到了在体素图上的对应的索引信息，索引信息相同的目标点落在了同一个体素内，并将超过数量上限64(预设数量阈值)的目标点经过随机采样丢弃，也即，通过获取索引信息相同的目标点的数量作为初始数量，当初始数量大于预设数量阈值时，则对索引信息相同的目标点进行随机采样丢弃，直到剩下的目标点的数量等于预设数量阈值为止，若初始数量小于或等于预设数量阈值，则不需要进行随机采样丢弃，直接基于索引信息相同的各目标点生成一个体素(网格)。一同编码的还有每个目标点相对于体素内点的坐标均值(几何中心点)x_c,y_c,z_c的偏移量dx_c,dy_c,dz_c(偏移信息)，以及相对于体素的中心点x_p，y_p(网格中心信息)的偏移量dx_p,dy_p，组成了单个目标点的特征维度[x,y,z,intensity,dx_c,dy_c,dz_c,dx_p,dy_p]。

一种可选的的对目标点云进行网格划分的方式为：将目标点云数量在x-y面上创建多个支柱，得到多个支柱张量，对每个柱中所包括的空位进行扩充，在一个可选的实施例中，扩充的空位特征将不会进入后续的模型处理阶段。将目标点云数量在x-z面上创建多个支柱、将目标点云数量在z-y面上创建多个支柱的方式与在x-y面上的方式类似，在此不再赘述。

另一种可选的的对目标点云进行网格划分的方式为将目标点云以预设分辨率进行体素化处理，得到多个体素，每一个垂直列中的体素集合被编码为一个固定长度。

在一个可选的实施例中，点特征提取模块包括：

点特征提取子模块，用于通过多层感知机网络对各目标点的升维信息进行点特征提取，得到点特征子张量；

点特征池化模块，用于对各目标点的点特征子张量进行最大值池化处理，得到各网格的网格张量。

例如，可以通过点特征提取子模块如多层感知机网络(MLP)进行对各目标点的升维信息进行特征提取，最终映射到64维(64维为一种示例，本领域技术人员可以根据需要进行设定)的张量，接着再进行一步最大值池化(通过点特征池化模块)，每个网格就只有一个64维的张量，将这些张量通过散点化模块，按照网格化时候的索引信息有序地排布在网格特征图上就构成了后续网络所需的鸟瞰图特征(特征鸟瞰图)，此时的鸟瞰图特征形状为64x400x400，其中，64为维度，400为张量的长和宽。

在一个可选的实施例中，若网格张量包括支柱张量，特征提取主干模块包括支柱特征图生成模块和二维卷积层，支柱特征图生成模块用于根据基于支柱张量生成的鸟瞰图特征确定支柱特征图，二维卷积层用于对支柱特征图进行卷积以提取二维多尺度特征信息；

若网格张量包括体素张量，特征提取主干模块包括体素特征图生成模块和三维卷积层，体素特征图生成模块用于根据基于体素张量生成的鸟瞰图特征确定体素特征图，三维卷积层用于对体素特征图进行卷积以提取三维多尺度特征信息。

在一个可选的实施例中，特征提取主干模块包括特征提取网络和多尺度网络；

特征提取网络的生成方式包括，由基础卷积模块、批量归一化模块、激活模块构成基本单元，基于多个基本单元构成基本模块，基于多个基本模块构成特征提取网络，基本模块的第一层设置有预设层偏移量，以使鸟瞰图特征基于预设层偏移量进行下采样；

多尺度网络用于对各基本模块输出的下采样张量进行上采样和卷积处理，以使下采样张量恢复为预设尺寸的多尺度特征。

在一个可选的实施例中，该特征提取主干模块主要用于将特征鸟瞰图(鸟瞰图特征)进一步做特征提取。该特征提取主干模块使用了基础的卷积(基础卷积模块)，批量归一化(批量归一化模块)，激活函数(激活模块)作为基本单元，并使用若干组基本单元构成一个模块，多个模块构成整个网络。在每个模块的第一层使用了步长为2的偏移量(预设层偏移量的一种可选的示例)，使得特征张量进行2倍的下采样。以特征提取网络包括3个模块为例，如此，网络最终使用了3个模块，共输出[64,200,200],[128,100,100],[256,50,50]的特征张量。这三个张量再被送入多尺度网络中经过上采样以及卷积操作恢复到[128,200,200]的特征向量。

在一个可选的实施例中，点特征提取模块对于算力需求较少，但是特征提取不充分，可以后续根据部署的算力平台来调整特征提取主干模块的形式。例如可以使用3D的特征图以保留z轴的局部信息，提取更加有效的特征，在此不赘述。

需要说明的是，本实施例中特征提取网络中的特征提取主干模块可以在模块化设计中替换成任意的常见的网络，包括但不限于MobileNet，ResNet等，以满足不同算力情况下的算力要求以及精度指标。

在一个可选的实施例中，该可行驶区域预测模型还包括特征共享接口，以实现将通过本实施例所提取到的鸟瞰图特征和多尺度特征分享给其他需要上述特征信息的模块，如目标检测模块等。

在一个可选的实施例中，语义分割预测模块包括：

语义分割子模块，用于若多尺度特征的特征尺度与预设原始尺度相同，基于多尺度特征进行特征融合生成体素语义特征张量，若多尺度特征的特征尺度与预设原始尺度不同，对多尺度特征进行上采样以使多尺度特征的特征尺度与预设原始尺度相同，基于上采样后的多尺度特征进行特征融合生成体素语义特征张量，体素语义特征张量的特征维度包括输出特征和高度；

预测子模块，用于将体素语义特征张量在特征维度上基于预设函数确定最大响应值，以及最大响应值的索引信息，确定目标点的预测标签；

预测结果确定模块，用于根据各目标点的预测标签确定目标点云的预测结果。

例如，该语义分割预测模块主要将上一步(特征提取主干模块)的三个[128,200,200]网络进一步做特征的变化。先进一步特征融合，使用1x1的卷积核在特征维度上进行融合，然后使用上采样将特征张量恢复到原始的尺度[384,400,400]上，最后经过一步卷积模块将特征映射到32x2维，得到[64,400,400]的张量。32为标签体素图的高度，2为做预测的维度，以本发明实施例中包括可行驶区域和背景(不可行驶区域)两个类别。最后经过一步张量的变化，将特征维度变成输出特征和高度两个维度，即[2,400,400,32]的张量。进行预测的时候，将语义分割子模块的输出[2,400,400,32]在特征维度上进行softmax+argmax操作得到了最大响应值的索引信息即为最终所在体素的标签。

在一个可选的实施例中，可行驶区域预测模型还包括训练模块，训练模块包括以下至少之一：

训练样本集，包括样本点云，其中，样本点云中的各样本点标注有样本标签；

参数优化模块，用于基于预设损失函数、样本标签和可行驶区域预测模型对样本点云进行预测生成的预测标签确定误差，通过误差反向传播以对可行驶区域预测模型的参数进行更新，直到预设损失函数收敛，完成对可行驶区域预测模型的训练。

例如，可以将可行驶区域预测模型所输出的预测标签和真实标签两个张量送入到预设损失函数中得到误差值(误差)，再经过反向传播计算各个参数的梯度，通过Adam优化器得到每一轮的新参数，以实现对可行驶区域预测模型的参数进行更新，如此往复得到了最终训练完的可行驶区域预测模型。

在一个可选的实施例中，为了使得最后的可行驶区域预测模型输出的预测结果能够更加准确，并且对于可行驶区域的前景(不可行驶区域)部分更加鲁棒，预设损失函数可以使用交叉熵损失以及Lovasz损失加权的方案。可行驶区域预测模型在训练时的输出与处理过的真实值进行误差计算得到误差，再利用误差进行反向传播，计算和更新当前的可行驶区域预测模型的各个参数。

在一个可选的实施例中，训练模块还包括：

样本标签重映射模块，用于对样本点云进行标签重映射处理，生成各样本点的重映射标签，例如将样本标签为A的样本点云重新赋予可行驶区域标签，对其他样本标签赋予不可行驶区域标签，其中样本标签A可以为道路标签等本领域技术人员所设置的标签；

样本点云体素化模块，用于对样本点云进行体素化处理，得到多个样本体素，此处的体素化处理方式与上述网格化处理方式类似，在此不做赘述；

样本体素标签确定模块，用于将样本体素中对应样本点数量最多的重映射标签确定样本体素标签，例如，可以采用多数投票的方式，将样本体素中出现次数最多的重映射标签作为该样本体素的重映射标签；

空白标签赋值模块，用于对无样本点的样本体素进行预设标签赋值，有些样本体素中不存在样本点，此时可以将该样本体素赋予预设重映射标签(预测标签)，但需要说明的是，该标签在后续训练的过程中作为忽略样本。

例如，样本点云的初始数据可以采用室外大型场景点云数据集SemanticKITTI，该数据集包含了22个连续的序列,一共2种语义标签。训练集选用了其中的0至10，其中序列8选为验证集合,测试集选用了剩余的序列11至21。选取有语义标注的点云范围-50m<x<50m,-50m<y<50m,-3m<z<1.5m为训练数据，丢弃所有在此范围外的点云。标签映射方面，将所有标注为road的标签映射为可行驶区域标签0，其他所有的标签映射为背景类1(不可行驶区域标签)。对这些数据，为了能够送入模型进行训练，还需要将所有的语义标签根据所在体素，进行多数投票，即将所有落在相同体素内的语义标签按照最多出现的标签赋值，多数标签即代表了此体素的标签。另外点云体素化的同时，对于不存在任何点的体素赋值为新的标签2，此标签将在训练的时候作为忽略样本，不参与梯度的反向传播。标签的张量尺寸为[400,400,32]。

本申请实施例所提供的可行驶区域预测模型，基于目标点云进行特征提取和语义分割，一方面不再依赖于图像的分割精度，受距离影响较小，另一方面，模型采用模块化的方案，能够实现模块化的拼接，泛化性佳，能够解决多场景的问题。

本申请实施例所提供的可行驶区域预测模型，还具有以下有益效果：

1.特征提取主干模块可以在模块化设计中采用任意的常见的网络，包括但不限于MobileNet，ResNet等，以满足不同算力情况下的算力要求以及精度指标，使得该模型的泛化性更佳，通用性更好。

2.该模型采用了模块化的方案，可以直接使用常见的点云检测网络的主干架构进行无缝地拼接，更可根据对于精度的要求将基于鸟瞰图的主干部分替换成基于3D卷积的主干获取更全面的局部信息，所需也只是将语义分割的模块直接接在对应的输出上即可达到模块化拼接的目的。

3.模型训练时对SemanticKITTI进行了数据预处理，包括了对原始数据集的标签的重映射，以及三维点云的体素化，完成三维点云从无序到有序的转换，适配了模型所提出结构的输出和训练要求。

4.因数据集中的前景可行驶区域点数较少，背景较多，本发明使用了加权的交叉熵损失，提高了前景类别可行驶区域部分提的类别权重，提高了在训练中的效率和精度。

参见图3，图3是本申请的一具体的示例性实施例示出的可行驶区域预测模型的结构示意图。如图3所示，提出了灵活自由的模块化的基于深度学习的激光点云可行驶区域语义分割模型，激光点云数据(PointCloud，N×4)被体素化处理(voxelization，网格划分)后得到三维格栅数据GridIndex,N×3,以及多个网格(体素Voxels/支柱Pillars，M_max×N_max×C_init)，通过以下点特征提取模块和散点化模块的处理，得到特征鸟瞰图，再通过以下两种特征提取主干模块中至少之一对特征鸟瞰图的鸟瞰图特征进行网格特征提取，得到多尺度特征：

1、VFE(Stacked Voxel Feature Encoding，多层的体素特征编码)&scaltter maxby||C||，得到VoxelFearureMap(体素特征图)，C_v×D×H×W，再进行三维卷积3D conv，得到MultiScaleVoxelFearures(多尺度体素特征)，Cⁱ×D×Hⁱ×Wⁱ,i∈scales，再进行一次卷积1×1×1conv；

2、PFE(Stacked Pillar Feature Encoding，多层的支柱特征编码)&scalttermax by||C||，得到PillarsFearureMap(支柱特征图)，C_p×H×W，二维卷积2D conv，得到MultiScaleBEVFearures(多尺度鸟瞰图特征)，Cⁱ×Hⁱ×Wⁱ,i∈scales。

然后再进行语义分割与预测，继续参见图3，对MultiScaleBEVFearures进行1×1conv+upsample+conv，得到BEVSemanticFearures(鸟瞰图语义特征)，C^seg×H×W；

基于BEVSemanticFearures和经1×1×1conv处理的MultiScaleVoxelFearures，得到VoxelSemanticFearure(体素语义特征)，C^cls×D×H×W，经过argmax操作，得到VoxelSemanticLabel(体素语义标签)，D×H×W，基于经过indexing by grid index x,y,z(网格化坐标索引)后的GridIndex和VoxelSemanticLabel(体素语义标签，即网格的预测标签)，得到PointSemanticLabel(点语义标签，即目标点的预设标签)。

上述模型诣在提高可行驶区域准确度与泛化性能的同时，增加分割网络利用共享网络(shared backbone)，综合降低车端感知推理的资源消耗的能力。为实现上述目标，本实施例提供了一种模块化的设计思路，其包含了以下的步骤：

1.使用激光点云数据集训练可行驶区域语义分割的深度学习网络，训练样本为激光点云，标签为逐点的语义标签。特征提取网络使用了与鸟瞰图网络(PointPillars)相同的网络结构，其主要包含了体素化模块(网格化模块)，PointNet特征提取模块(点特征提取模块)，散点化模块，主干特征网络模块和多尺度特征提取模块(特征提取主干模块)。分割部分则对PointPillars的输出进一步进行特征融合，上采样，卷积和特征张量形状重排使其能够输出三维坐标系下每个体素中各个类别的概率。由于用于训练的数据集为三维点云，而且每个点云都附带了真实的语义标签，然而网络的输出以及损失函数的输入需要将真实的点转化为固定大小的体素网格(Voxel Grid)。在此，本发明使用了多数投票的方式，对于归类到同一个网格内的多个点的标签，使用网格内最多次出现的语义标签为该网格的最终语义标签。

2.将需推理的目标点云输入训练好的可行驶区域语义分割网络模型(可行驶区域预测模型)，得到了体素化后的每个网格的标签，再根据体素化时每个点云得到的网格索引在预测体素空间中索引得出预测的是否为可行驶区域的标签。

为了使得最后的网络输出能够更加准确，并且对于可行驶区域的前景部分更加鲁棒，使用了交叉熵损失以及Lovasz损失加权的方案。网络在训练时的输出与处理过的真实值进行误差计算得到预测误差，再利用预测误差(误差)进行反向传播，计算和更新当前的网络参数。该具体的模型包括以下几个部分：

1.样本数据处理。

室外大型场景点云数据集SemanticKITTI包含了22个连续的序列，一共2种语义标签。本模型的训练集选用了其中的0至10，其中序列8选为验证集合,测试集选用了剩余的序列11至21。选取有语义标注的点云范围-50m<x<50m,-50m<y<50m,-3m<z<1.5m为训练数据，丢弃所有在此范围外的点云。标签映射方面，将所有标注为road的标签映射为可行驶区域标签0，其他所有的标签映射为背景类1。对这些数据，为了能够送入模型进行训练，还需要将所有的语义标签根据所在体素，进行多数投票，即将所有落在相同体素内的语义标签按照最多出现的标签赋值，多数标签即代表了此体素的标签。另外点云体素化的同时，对于不存在任何点的体素赋值为新的标签2，此标签将在训练的时候作为忽略样本，不参与梯度的反向传播。标签的张量尺寸为[400,400,32]。

2.无序点云到规则张量的特征提取。

原始的点云输入包括了4个维度，x，y，z坐标值以及点的反射率intensity值，且是无序的，维度为Nx4。此步骤诣在将无序的点云进行特征提取，将其映射到具有固定尺度的特征张量上。其包括了三个部分，点云的体素化，体素特征提取，体素的规则化。

点云的体素化为固定的规则，需要先将点云按照预设的体素尺寸进行体素化，在此选取的体素尺寸为[0.25,0.25,4.5]，对应了x，y，z轴方向上的量化步长。所有在范围内的点根据体素尺寸量化步长得到了在体素图上的对应的索引，索引值相同的点落在了同一个体素内，并将超过数量上限64的所有点经过随机采样丢弃。一同编码的还有每个点相对于体素内点的坐标均值x_c,y_c,z_c的偏移量dx_c,dy_c,dz_c，以及相对于体素的中心点x_p，y_p的偏移量dx_p,dy_p，组成了单个目标点的特征维度[x,y,z,intensity,dx_c,dy_c,dz_c,dx_p,dy_p]。

这些点后续被送入一个多层感知机网络(MLP)进行特征的提取，最终映射到64维的张量，接着再进行一步最大值池化，每个体素就只有一个64位的张量，将这些张量按照体素化时候的索引值有序地排布在体素特征图上就构成了后续网络所需的规则张量，特征鸟瞰图，此时的张量形状为64x400x400，64为维度，400为张量的长和宽。

3.特征提取主干网络。

该模块主要用于将上一步提取得到的初始的特征鸟瞰图进一步做特征提取。该网络使用了基础的卷积，批量归一化，激活函数作为基本单元，并使用若干组构成一个模块，多个模块构成整个网络。在每个模块的第一层使用了步长为2的偏移量，使得特征张量进行2倍的下采样。如此，网络最终使用了3个模块，共输出[64,200,200],[128,100,100],[256,50,50]的特征张量。这三个张量再被送入多尺度网络中经过上采样以及卷积操作恢复到[128,200,200]的特征向量。

4.语义分割头。

该模块主要将上一步的三个[128,200,200]网络进一步做特征的变化。先进一步特征融合，使用1x1的卷积核在特征维度上进行融合，然后使用上采样将特征张量恢复到原始的尺度[384,400,400]上，最后经过一步卷积模块将特征映射到32x2维，得到[64,400,400]的张量。32为标签体素图的高度，2为做预测的维度，在此只有可行驶区域和背景(不可行驶区域)两个类别。最后经过一步张量的变化，将特征维度变成输出特征和高度两个维度，即[2,400,400,32]的张量。

5.训练模块。

将此输出和真实标签两个张量送入到损失函数中得到误差值，再经过反向传播计算各个参数的梯度，通过Adam优化器得到每一轮的新参数，如此往复得到了最终训练完的网络。

6.预测模块。

在使用训练完的模型进行预测的时候，将语义分割头的输出[2,400,400,32]在特征维度上进行softmax+argmax操作得到了最大响应值的索引即为最终所在体素的标签。

需要说明的是，关于特征主干网络的替换。图3所示的流程示意图中还用粗虚线框选了可替换的模块，由于算力的考虑，鸟瞰图特征的特征提取网络对于算力需求较少，但是特征提取不充分，可以后续根据部署的算力平台来调整主干网络的形式。例如示意图列出的使用3D的特征图以保留z轴的局部信息，提取更加有效的特征，在此不赘述。

请参阅图8，图8是本申请的一示例性实施例示出的通过本实施例中的可行驶区域预测模型所输出的预测结果示意图。如图8所示，其中M区域为可行驶区域，其余区域为不可行驶区域。

请参阅图4，图4是本申请的一示例性实施例示出的可行驶区域预测方法的流程图。如图4所示，在一示例性的实施例中，可行驶区域预测方法至少包括步骤S201，详细介绍如下：

步骤S401，获取目标点云，目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合，对目标点云的具体说明可参见上述实施例中的描述。

步骤S402，将目标点云输入任一实施例的可行驶区域预测模型，以预测目标点云的可行驶区域和不可行驶区域。

需要说明的是，上述实施例所提供的可行驶区域预测方法与上述实施例图1所提供的可行驶区域预测模型属于同一构思，其中各个模块和单元执行操作的具体方式已经在模型实施例中进行了详细描述，此处不再赘述。上述实施例所提供的可行驶区域预测模型在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

通过本实施例提供的可行驶区域预测方法，能够更加准确便捷快速的确定可行驶区域。

本申请实施例还提供了一种可行驶区域预测装置，该装置包括有上述任一实施例所述的可行驶区域预测模型。

需要说明的是，上述实施例所提供的可行驶区域预测装置与上述实施例图1所提供的可行驶区域预测模型属于同一构思，其中各个模块和单元执行操作的具体方式已经在模型实施例中进行了详细描述，此处不再赘述。上述实施例所提供的可行驶区域预测模型在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

请参阅图5，图5是本申请的一示例性实施例示出的一种车辆的结构示意图。如图5所示，在一示例性的实施例中，该车辆500至少包括501-503，详细介绍如下：

目标点云获取模块501，用于获取目标点云，目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

第一点云数据发送模块502，用于将目标点云发送至服务器504，服务器504包括如上述任一项实施例所述的可行驶区域预测模型；

第一预测结果获取模块503，用于获取服务器根据可行驶区域预测模型对目标点云预测的预测结果，预测结果包括可行驶区域和不可行驶区域。

通过上述车辆可以更加准确便捷快速的确定可行驶区域，时延更小，行驶更为安全。

请参阅图6，图6是本申请的另一示例性实施例示出的一种车辆的结构示意图。如图6所示，在一示例性的实施例中，该车辆600至少包括601-603，详细介绍如下：

第二目标点云获取模块601，用于获取目标点云，目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

预测模块602，预测模块包括如上述任一项实施例所述的可行驶区域预测模型；

第二预测结果获取模块603，用于获取预测模块根据可行驶区域预测模型对目标点云预测的预测结果，预测结果包括可行驶区域和不可行驶区域。

可选的，该车辆还包括显示模块，用于显示上述预测结果，也即将预测结果中的可行驶区域进行可视化处理。

通过上述车辆可以更加准确便捷快速的确定可行驶区域，时延更小，行驶更为安全，将上述可行驶区域预测模型配置在车辆本地，可以节约与服务器的通信时间，避免由于网络故障、服务器故障等导致的可行驶区域确定不及时的问题，更有利于车辆预测行驶路径和辅助车辆驾驶人员进行路径选取。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的可行驶区域预测方法。可选的，该电子设备的存储装置中还存储有可行驶区域预测模型，以实现对目标点云的可行驶区域的预测。

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(Central Processing Unit，CPU)701，其可以根据存储在只读存储器(Read-Only Memory，ROM)702中的程序或者从储存部分1208加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output，I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分707；包括硬盘等的储存部分708；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入储存部分708。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的可行驶区域预测方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的可行驶区域预测方法。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种可行驶区域预测模型，其特征在于，所述可行驶区域预测模型包括：

网格化模块，用于对目标点云进行网格划分，得到三维栅格数据和多个网格，所述三维格栅数据包括用于表征各所述目标点在各所述网格中的索引信息，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

点特征提取模块，用于对各所述网格中的目标点进行点特征提取，得到各所述目标点的点特征以生成各所述网格的网格张量；

散点化模块，用于将各所述网格张量根据所述索引信息排布于网格特征图，生成鸟瞰图特征；

特征提取主干模块，用于对所述鸟瞰图特征进行网格特征提取，得到多尺度特征，所述多尺度特征包括多尺度鸟瞰图特征和多尺度体素特征中至少之一；

语义分割预测模块，用于对所述多尺度特征进行特征融合，并基于所述索引信息确定特征融合后的所述多尺度特征与各所述目标点的索引信息，得到各目标点的预测标签，基于各所述目标点的预测标签确定所述目标点云的预测结果，所述预测结果包括所述车辆待行驶区域中的可行驶区域和不可行驶区域。

2.如权利要求1所述的可行驶区域预测模型，其特征在于，所述目标点的激光扫描信息包括第一坐标信息、第二坐标信息、第三坐标信息和反射率，所述网格化模块包括：

划分模块，用于根据预设网格尺寸和各所述目标点的激光扫描信息确定各所述目标点在网格图上的索引信息，基于所述索引信息将各所述目标点划分为多个网格，所述网格包括支柱或体素；

特征维度确定模块，用于确定各所述网格的网格中心点，并确定各所述目标点相对所在网格的网格中心点的偏移信息，基于所述偏移信息、激光扫描信息和网格中心点的网格中心信息确定所述目标点的特征维度，以生成所述目标点的升维信息；

栅格数据记录模块，用于记录各所述目标点在各所述网格的网格图中的索引信息。

3.如权利要求2所述的可行驶区域预测模型，其特征在于，所述划分模块还用于：

获取各所述索引信息对应的所述目标点的初始数量，若所述初始数量大于预设数量阈值，对所述目标点进行采样丢弃，直到剩余的所述目标点的初始数量等于所述预设数量阈值。

4.如权利要求2所述的可行驶区域预测模型，其特征在于，所述点特征提取模块包括：

点特征提取子模块，用于通过多层感知机网络对各所述目标点的升维信息进行点特征提取，得到点特征子张量；

点特征池化模块，用于对各所述目标点的点特征子张量进行最大值池化处理，得到各所述网格的网格张量。

5.如权利要求2所述的可行驶区域预测模型，其特征在于，

若所述网格张量包括支柱张量，所述特征提取主干模块包括支柱特征图生成模块和二维卷积层，所述支柱特征图生成模块用于根据基于支柱张量生成的所述鸟瞰图特征确定支柱特征图，所述二维卷积层用于对所述柱特征图进行卷积以提取二维多尺度特征信息；

若所述网格张量包括体素张量，所述特征提取主干模块包括体素特征图生成模块和三维卷积层，所述体素特征图生成模块用于根据基于体素张量生成的所述鸟瞰图特征确定体素特征图，所述三维卷积层用于对所述体素特征图进行卷积以提取三维多尺度特征信息。

6.如权利要求2所述的可行驶区域预测模型，其特征在于，所述特征提取主干模块包括特征提取网络和多尺度网络；

所述特征提取网络的生成方式包括，由基础卷积模块、批量归一化模块、激活模块构成基本单元，基于多个所述基本单元构成基本模块，基于多个所述基本模块构成所述特征提取网络，所述基本模块的第一层设置有预设层偏移量，以使所述鸟瞰图特征基于所述预设层偏移量进行下采样；

所述多尺度网络用于对各所述基本模块输出的下采样张量进行上采样和卷积处理，以使所述下采样张量恢复为预设尺寸的多尺度特征。

7.如权利要求6所述的可行驶区域预测模型，其特征在于，所述语义分割预测模块包括：

语义分割子模块，用于若所述多尺度特征的特征尺度与预设原始尺度相同，基于所述多尺度特征进行特征融合生成体素语义特征张量，若所述多尺度特征的特征尺度与预设原始尺度不同，对所述多尺度特征进行上采样以使所述多尺度特征的特征尺度与预设原始尺度相同，基于上采样后的所述多尺度特征进行特征融合生成体素语义特征张量，所述体素语义特征张量的特征维度包括输出特征和高度；

预测子模块，用于将所述体素语义特征张量在特征维度上基于预设函数确定最大响应值，以及所述最大响应值的索引信息，确定所述目标点的预测标签；

预测结果确定模块，用于根据各所述目标点的预测标签确定所述目标点云的预测结果。

8.如权利要求1-7任一项所述的可行驶区域预测模型，其特征在于，所述可行驶区域预测模型还包括训练模块，所述训练模块包括以下至少之一：

训练样本集，包括样本点云，所述样本点云中的各样本点标注有样本标签；

参数优化模块，用于基于预设损失函数、样本标签和所述可行驶区域预测模型对所述样本点云进行预测生成的预测标签确定误差，通过所述误差反向传播以对所述可行驶区域预测模型的参数进行更新，直到所述预设损失函数收敛，完成对所述可行驶区域预测模型的训练。

9.如权利要求8所述的可行驶区域预测模型，其特征在于，所述训练模块还包括：

样本标签重映射模块，用于对所述样本点云进行标签重映射处理，生成各所述样本点的重映射标签；

样本点云体素化模块，用于对样本点云进行体素化处理，得到多个样本体素；

样本体素标签确定模块，用于将所述样本体素中对应样本点数量最多的重映射标签确定样本体素标签；

空白标签赋值模块，用于对无样本点的所述样本体素进行预设标签赋值。

10.一种可行驶区域预测方法，其特征在于，所述方法包括：

获取目标点云，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

将所述目标点云输入如权利要求1-9任一项所述的可行驶区域预测模型，以预测所述车辆待行驶区域的可行驶区域和不可行驶区域。

11.一种可行驶区域预测装置，其特征在于，所述可行驶区域预测装置包括如权利要求1-9任一项所述的可行驶区域预测模型。

12.一种车辆，其特征在于，所述车辆包括：

第一目标点云获取模块，用于获取目标点云，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

点云数据发送模块，用于将所述目标点云发送至服务器，所述服务器包括如权利要求1-9任一项所述的可行驶区域预测模型；

第一预测结果获取模块，用于获取所述服务器根据所述可行驶区域预测模型对所述目标点云预测的预测结果，所述预测结果包括可行驶区域和不可行驶区域。

13.一种车辆，其特征在于，所述车辆包括：

第二目标点云获取模块，用于获取目标点云，所述目标点云为车辆待行驶区域中多个目标点的激光扫描信息集合；

预测模块，所述预测模块包括如权利要求1-9任一项所述的可行驶区域预测模型；

第二预测结果获取模块，用于获取所述预测模块根据所述可行驶区域预测模型对所述目标点云预测的预测结果，所述预测结果包括可行驶区域和不可行驶区域。

Images