CN120783303A - 车道线生成方法、装置、电子设备、存储介质及程序产品 - Google Patents

Abstract

本申请提供了一种车道线生成方法、装置、电子设备、存储介质及程序产品；方法包括：获取原始道路图像，其中，所述原始道路图像中包括多个像素点；对所述原始道路图像进行车道线语义分割处理，得到所述原始道路图像中的每一像素点的车道线概率；基于每一像素点的车道线概率，从所述原始道路图像中确定出至少一条由连续像素点构成的二维车道线；基于每条二维车道线的质心点的数量和所述质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线；将所述目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。通过本申请，能够提高对车道线的感知能力，准确地识别并生成车道线。

Description

车道线生成方法、装置、电子设备、存储介质及程序产品

技术领域

本申请涉及互联网技术领域，尤其涉及一种车道线生成方法、装置、电子设备、存储介质及程序产品。

背景技术

高精度数字地图是自动驾驶领域中的一项关键技术，对实现智慧城市至关重要。在这些地图中，车道线作为关键要素，为自动驾驶系统提供了必要的导航和定位信息。然而，现有的车道线生成方法存在一些局限性。

相关技术中，车道线的生成依赖于人工绘制，即通过激光雷达点云和图像数据，由专业绘制员手动标注车道线的物理属性和位置。此外，基于深度学习的语义分割方法也被用于直接从图像中提取车道线。尽管这些方法在车道线生成方面取得了一定的成效，但它们都存在一个问题：生成的车道线与实际车道线之间可能存在偏差。这种不一致性可能会导致车辆在识别车道线时出现误差，影响车辆的导航和驾驶安全。

发明内容

本申请实施例提供一种车道线生成方法、装置、电子设备、存储介质及程序产品，能够提高车辆对车道线的感知能力，准确地识别并生成车道线。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种车道线生成方法，所述方法包括：获取原始道路图像，其中，所述原始道路图像中包括多个像素点；对所述原始道路图像进行车道线语义分割处理，得到所述原始道路图像中的每一像素点的车道线概率；基于每一像素点的车道线概率，从所述原始道路图像中确定出至少一条由连续像素点构成的二维车道线；基于每条二维车道线的质心点的数量和所述质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线；将所述目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

本申请实施例提供一种车道线生成装置，包括：数据获取模块，用于获取原始道路图像，其中，所述原始道路图像中包括多个像素点；语义分割模块，用于对所述原始道路图像进行车道线语义分割处理，得到所述原始道路图像中的每一像素点的车道线概率；车道线识别模块，用于基于每一像素点的车道线概率，从所述原始道路图像中确定出至少一条由连续像素点构成的二维车道线；车道线筛选模块，用于基于每条二维车道线的质心点的数量和所述质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线；车道线映射模块，用于将所述目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

在上述方案中，所述语义分割模块还用于：采用具有预设卷积核的卷积处理层，对所述道路鸟瞰图像进行卷积处理，得到所述道路鸟瞰图像的通道特征权重；对所述道路鸟瞰图像进行非对称卷积处理，得到所述道路鸟瞰图像的空间特征权重；基于所述通道特征权重和所述空间特征权重，确定所述道路鸟瞰图像的卷积注意力特征；对所述卷积注意力特征进行下采样处理，得到下采样特征，对下采样特征进行上采样处理，得到包含每一像素点的车道线概率的道路鸟瞰图像。

在上述方案中，所述语义分割模块还用于：采用具有不同尺度的非对称卷积层，对所述道路鸟瞰图像进行非对称卷积计算，得到所述道路鸟瞰图像的非对称卷积特征；采用所述具有预设卷积核的卷积处理层，对所述非对称卷积特征进行卷积处理，得到所述空间特征权重。

在上述方案中，车道线识别模块还用于：遍历所述原始道路图像中的每一像素点，将车道线概率在预设车道线概率范围内的像素点，确定为所述车道线像素点；将连续的所述车道线像素点确定为二维车道线。

在上述方案中，所述车道线生成装置还包括：质心点确定模块，用于在确定出所述二维车道线之后，针对所述二维车道线中的任一像素点，将所述二维车道线中垂直于车道线方向且连接所述像素点的线段的中点，确定为所述像素点在所述二维车道线上的质心点；其中，沿着所述车道线方向，所述二维车道线上具有多个质心点。

在上述方案中，车道线筛选模块还用于：获取每条二维车道线上的全部质心点对应的像素点的车道线概率；确定所述全部质心点对应的像素点的车道线概率的平均值，得到车道线概率均值；遍历全部二维车道线，将所述质心点的数量大于预设数量阈值，且所述车道线概率均值大于预设概率阈值的二维车道线，确定为所述目标二维车道线。

在上述方案中，车道线映射模块还用于：获取云端下发的局部路面模型；根据所述局部路面模型，确定所述目标二维车道线上每一像素点的局部三维坐标，其中，所述局部三维坐标为所述目标二维车道线在局部三维坐标系下的坐标；将所述局部三维坐标映射到目标坐标系下，得到具有三维车道线的道路图像。

本申请实施例提供一种电子设备，所述电子设备包括：

存储器，用于存储计算机可执行指令；处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的车道线生成方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的车道线生成方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的车道线生成方法。

本申请实施例具有以下有益效果：本申请实施例通过对车道线像素点的语义分割可以有效地从复杂的道路场景中提取出车道线信息，通过对车道线的识别可以有效地从语义分割后的概率图中提取出车道线的具体位置和形状，通过对目标车道线的筛选可以进一步提高车道线识别的准确性，有助于减少误识别和噪声干扰，通过对车道线的三维映射提高车辆对复杂道路环境的适应能力，如在弯曲道路或道路损坏区域，车辆能够更准确地识别和跟踪车道线，提高了车辆对车道线的感知能力，有助于实现更安全、更可靠的自动驾驶。

附图说明

图1是本申请实施例提供的车道线生成系统的结构示意图；

图2是本申请实施例提供的电子设备的结构示意图；

图3A是本申请实施例提供的车道线生成方法的一个可选的流程示意图；

图3B是本申请实施例提供的通过语义分割得到原始道路图像中的每一像素点的车道线概率的流程示意图；

图3C是本申请实施例提供的通过语义分割得到道路鸟瞰图像中的每一像素点的车道线概率的流程示意图；

图3D是本申请实施例提供的通过非对称卷积处理得到道路鸟瞰图像的空间特征权重的流程示意图；

图3E是本申请实施例提供的确定二维车道线的流程示意图；

图3F是本申请实施例提供的筛选目标二维车道线的流程示意图；

图3G是本申请实施例提供的二维车道线映射到三维车道线的一个可选的流程示意图；

图4A是本申请实施例提供的车道线生成方法的另一个可选的流程示意图；

图4B是本申请实施例提供的二维车道线映射到三维车道线的另一个可选的流程示意图；

图5是本申请实施例提供的车道线语义分割网络的结构示意图；

图6是本申请实施例提供的卷积注意力模块的结构示意图；

图7是本申请实施例提供的锚定高度模型的应用效果示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的，一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。

除非另有定义，本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

本申请实施例中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)鸟瞰图，是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。简单地说，就是在空中俯视某一地区所看到的图像，比平面图更有真实感。

2)车道线，在道路的路面上用线条向交通参与者传递引导、限制、警告等交通信息的标识。其作用是管制和引导交通，可以与标志配合使用，也可单独使用。例如：单虚线、单实线、双虚线、双实线、左实右虚线、左虚右实线等。

3)掩膜(mask)，是一种用于屏蔽或突出图像中特定区域的二值图像或矩阵。掩膜通常与原始图像进行像素级的逻辑运算，以选择性地修改或分析图像的某些部分。

4)通用横墨卡托格网系统(UNIVERSAL TRANSVERSE MERCARTOR GRID SYSTEM，UTM)坐标，是一种平面直角坐标，这种坐标格网系统及其所依据的投影已经广泛用于地形图，作为卫星影像和自然资源数据库的参考格网以及要求精确定位的其他应用。

5)卷积核(Convolution Kernel)，是一个在图像处理和信号处理中使用的数学概念，通常是一个小型矩阵，用于与输入数据(如图像的像素值)进行卷积运算。卷积核定义了在卷积过程中如何将输入数据的局部区域与核内的权重相乘并求和，以产生输出数据的一个元素。

6)Sobel核，是一组用于图像处理中边缘检测的离散微分算子，由X方向(水平)和Y方向(垂直)的两个3x3的核(Kernel)组成。这些核分别用于计算图像中每个像素点在水平方向和垂直方向的梯度幅度，从而确定图像中物体的边缘。

7)ERFNet，是“Efficient Residual Factorized Network”的缩写，它是一种用于实时语义分割的深度卷积神经网络架构。该网络的特点是结构简单、参数少、速度快，这使得它非常适合于资源受限的环境，比如在本申请中的自动驾驶车辆或移动设备上进行实时图像处理。

8)云端，是指远程服务器和数据中心，本地终端可以通过网络连接这些服务器和数据中心。云端能够为本地终端提供各种计算服务、存储服务和应用程序等。

9)随机抽样一致算法(Random sample consensus，RANSAC)，采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，相比最小二乘方法，它融合了剔除不合格数据的思想，因此对于有部分错误数据的数据样本，能够更快更准的给出辨识结果。

10)透视变换矩阵，是计算机图形学中用于实现透视投影效果的一种数学工具。可以用于进行视角变换、几何校正和比例调整等，以使原始图像中的每个点应用到鸟瞰图像的正确位置。

相关技术中，车道线的生成依赖于人工绘制，即通过激光雷达点云和图像数据，由专业绘制员手动标注车道线的物理属性和位置。此外，基于深度学习的语义分割方法也被用于直接从图像中提取车道线。尽管这些方法在车道线生成方面取得了一定的成效，但它们都存在一个问题：生成的车道线与实际车道线之间可能存在偏差。这种不一致性可能会导致车辆在识别车道线时出现误差，影响车辆的导航和驾驶安全。

基于相关技术中所存在的上述问题，本申请实施例提供一种车道线生成方法、装置、电子设备、存储介质及程序产品，能够提高车辆对车道线的感知能力，准确地识别并生成车道线。

参见图1，图1是本申请实施例提供的车道线生成系统100的架构示意图，为实现本申请实施例示出的车道线生成方法，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。终端400用于实施本申请实施例提供的车道线生成方法。

参见图2，图2是本申请实施例提供的电子设备40的结构示意图，图2所示的电子设备40，可以是上述车道线生成系统中的终端，也可以是上述车道线生成系统中的服务器，又或者是上述车道线生成系统中的终端与服务器的结合。电子设备40包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(Digital Signal Processor，DSP)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(Random Access Memory，RAM)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(Universal SerialBus，USB)等；呈现模块453，用于经由与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；输入处理模块454，用于对来自输入装置432的用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器450中的车道线生成装置455，其可以是程序和插件等形式的软件，包括以下软件模块：数据获取模块4551、语义分割模块4552、车道线识别模块4553、车道线筛选模块4554和车道线映射模块4555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的车道线生成方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、可编程逻辑器件(Programmable Logic Device，PLD)、复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或其他电子元件。

在一些实施例中，终端或服务器可以通过运行各种计算机可执行指令或计算机程序来实现本申请实施例提供的车道线生成方法。举例来说，计算机可执行指令可以是微程序级的命令、机器指令或软件指令。上述的计算机可执行指令可以是任意形式的指令，上述计算机程序可以是任意形式的应用程序、模块或插件。

下面，将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的车道线生成方法，如前所述，实现本申请实施例的车道线生成方法的电子设备可以是终端、服务器，又或者是二者的结合。因此下文中不再重复说明各个步骤的执行主体。

参见图3A，图3A是本申请实施例提供的车道线生成方法的流程示意图，将结合图3A示出的步骤进行说明。

步骤101，获取原始道路图像，其中，原始道路图像中包括多个像素点。

在一些实施例中，可以通过部署在车辆上的摄像头捕捉实时道路场景来获取原始道路图像，或者从车辆传感器系统中获取预先记录的图像数据。此外，原始道路图像也可以从外部来源中获取的，如交通监控摄像头或其他车辆传输的数据。图像中的像素点是指构成数字图像的最小单元，在数字图像处理中，一幅图像被划分成一个由许多小方格组成的网格，这些小方格就是像素，每个像素点可以存储一定的信息，例如可以是颜色的强度值。

例如，车辆的前置摄像头可以每隔一定时间间隔捕捉一张道路图像，或者根据车辆的运动状态实时连续捕捉图像。这些图像可以是彩色图像或灰度图像，具体取决于图像处理系统的需求和传感器的性能，本申请实施例对此不做限定。

通过步骤101，能够为后续的车道线识别和生成提供了基础数据，这确保了本申请实施例能够处理最新的道路信息，进而提高车辆对当前道路环境的感知能力，从而提高行驶的安全性和准确性。

步骤102，对原始道路图像进行车道线语义分割处理，得到每一像素点的车道线概率，其中，车道线概率是像素点为车道线像素点的概率。

在一些实施例中，可以使用机器学习或深度学习模型对原始道路图像进行车道线语义分割处理，如使用卷积神经网络(CNN)模型或其变种，来分析原始道路图像数据并预测每个像素点属于车道线的概率，步骤102可以在车辆的本地计算平台或远程服务器上进行，本申请实施例对比不做限定。车道线像素点指的是在原始道路图像中属于车道线的那些像素点。

例如，可以采用一个预先训练好的卷积神经网络模型，该模型已经通过大量的标注道路图像学习了车道线的特征。当接收到新的原始道路图像输入时，该模型将输出一个与输入图像大小相同的概率图，其中在该概率图中，每个像素对应的值表示该像素属于车道线的概率。

通过步骤102，可以有效地从复杂的道路场景中提取出车道线信息。这种方法提高了车辆对车道线的识别能力，使得车辆在行驶过程或自动驾驶过程中能够更准确地感知道路结构，从而在行驶过程或自动驾驶过程中做出更安全、更合理的决策。

步骤103，基于每一像素点的车道线概率，从原始道路图像中确定出至少一条由连续像素点构成的二维车道线。

在一些实施例中，通过图像处理算法遍历原始道路图像中的每一像素点，基于每一像素点的车道线概率，以识别并连接成车道线的连续像素点。可以通过设定一个概率阈值，来判断像素点是否属于车道线的一部分。

例如，可以设定一个车道线概率阈值，如0.6。在遍历过程中，只有当像素点的车道线概率高于车道线概率阈值时，才将该像素点视为车道线像素点。可以将多个在空间上相邻的车道线像素点连接形成的区域作为二维车道线。为了提高二维车道线识别的鲁棒性，还可以采用图像形态学操作，如膨胀和腐蚀，来优化车道线的连续性和完整性。

通过步骤103，可以有效地从语义分割后的概率图中提取出车道线的具体位置和形状，进而有助于在车辆自动驾驶过程中准确地理解车道的边界，从而在车道保持、变道和导航等操作中提供关键信息。

步骤104，基于每条二维车道线的质心点的数量和质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线。

在一些实施例中，对步骤103确定的每条二维车道线进行分析，计算二维车道线上质心点的数量，并评估这些质心点对应的像素点的车道线概率。通过比较这些参数与预设的阈值，可以筛选出代表实际车道线的目标二维车道线。

例如，可以定义一个质心点的数量阈值和一个车道线概率的预设概率阈值。对于全部二维车道线，计算每条二维车道线上质心点的总数，并求出这些质心点对应像素点的车道线概率的平均值，得到车道线概率均值。如果某条二维车道线的质心点数量大于预设的预设数量阈值，且其车道线概率均值高于预设的预设概率阈值，则可以认为这条车道线是目标二维车道线。

通过步骤104，可以进一步提高车道线识别的准确性，有助于减少误识别和噪声干扰，进而确保车辆自动驾驶过程中能够依赖于最准确的车道线信息进行决策，从而提升行驶的安全性和可靠性。

步骤105，将目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

在一些实施例中，将识别并筛选出的目标二维车道线从图像坐标系转换至世界坐标系，从而构建出具有三维信息的车道线模型，可以结合车辆的定位信息和高精地图数据来实现。

例如，可以使用车辆的GPS定位和航向信息，以及云端下发的局部路面模型，将二维车道线上的每个像素点映射到三维空间中的对应位置。这样，原本在二维图像中的车道线就变为了三维空间中的立体车道线，从而为自动驾驶的车辆提供了更加丰富的道路结构信息。

通过步骤105，增强了车辆自动驾驶过程中对车道线的感知能力，为车辆提供了更为精确的导航和路径规划依据，有助于自动驾驶车辆在复杂多变的真实交通环境中做出更准确的行为决策，提高了自动驾驶的安全性和效率。

在一些实施例中，参见图3B，图3A示出的步骤102可以通过以下步骤1021至步骤1023实现，下面具体说明。

步骤1021，对原始道路图像进行鸟瞰图映射，得到道路鸟瞰图像。

在一些实施例中，可以将摄像头捕捉的原始道路透视图像转换为俯视图。这种转换可以通过透视变换算法实现，以便从车辆的角度更好地分析和识别车道线。例如，可以使用车辆的高度信息和摄像头的安装参数来计算透视变换矩阵。应用这个透视变换矩阵到原始道路图像上，可以将原始道路透视图像中的车道线转换为鸟瞰图中的车道线，从而简化车道线的识别过程。

通过步骤1021，可以减少因透视效应导致的车道线扭曲，尤其是在复杂道路条件下，使得后续的车道线识别和提取更加准确和高效，进而能够为车辆自动驾驶过程提供更直观的道路表示，有助于提高车道线识别算法的性能。

步骤1022，对道路鸟瞰图像进行车道线语义分割处理，得到包含每一像素点的车道线概率的道路鸟瞰图像。

在一些实施例中，可以使用深度学习模型对道路鸟瞰图像进行车道线语义分割处理，如卷积神经网络(CNN)或其变种，来分析道路鸟瞰图像数据并预测每个像素点属于车道线的概率。这种处理可以在车辆的本地计算平台或远程服务器上进行，本申请实施例对此不做限定。

例如，可以采用一个预先训练好的卷积神经网络模型，该模型已经通过大量的标注道路鸟瞰图像学习了车道线的特征。当接收到新的道路鸟瞰图像输入时，模型将输出一个与输入图像大小相同的概率图，其中每个像素的值表示该像素属于车道线的概率。

通过步骤1022，可以有效地从复杂的道路场景中提取出车道线信息，进而提高了车辆对车道线的识别能力，使得车辆能够更准确地理解道路结构，从而在行驶过程中做出更安全、更合理的决策。

步骤1023，对包含每一像素点的车道线概率的道路鸟瞰图像进行鸟瞰图反映射，得到包含每一像素点的车道线概率的原始道路图像。

在一些实施例中，对包含每一像素点的车道线概率的道路鸟瞰图像进行鸟瞰图反映射，意味着将之前转换得到的鸟瞰图概率信息逆向转换回原始的道路图像坐标系。这个过程使用了之前计算的透视变换矩阵的逆矩阵。

例如，当鸟瞰图中的车道线概率信息被提取并处理后，可以通过应用透视变换矩阵的逆矩阵将这些信息映射回原始的道路图像。这样，原始图像中的每个像素点都将被赋予一个车道线概率值，这些值是在鸟瞰视图中的对应像素点基础上计算得出的。

通过步骤1023，可以在原始道路图像中保留车道线识别的结果，以消除前视图视角下原始道路图像中的线与线之间的透视畸变，为后续的车道线提取和三维映射提供了准确的基础，确保了自动驾驶过程中能够在原始的道路图像坐标系下准确理解和处理车道线信息。

在一些实施例中，参见图3C，图3B示出的步骤1022可以通过以下步骤10221至步骤10225实现，下面具体说明。

步骤10221，采用具有预设卷积核的卷积处理层，对道路鸟瞰图像进行卷积处理，得到道路鸟瞰图像的通道特征权重。

在一些实施例中，使用具有预设结构和参数的卷积核来提取道路鸟瞰图像的特征。这些卷积核被设计用来识别和强调与车道线相关的视觉特征，如视觉特征可以是边缘、角点、纹理等。

例如，可以采用一系列卷积层，其中每个卷积层使用不同的卷积核来提取不同层次的特征。这些卷积核可以是人工设计的，如将Sobel核用于边缘检测，或者通过学习算法自动优化得到，以最大化车道线识别的性能。

通过步骤10221，可以有效地提取出图像中与车道线相关的特征，为后续的车道线识别提供关键信息，进而增强了车辆自动驾驶过程对道路环境的感知能力，特别是在复杂或低质量的图像条件下，能够提高车道线识别的准确性和鲁棒性。

步骤10222，对道路鸟瞰图像进行非对称卷积处理，得到道路鸟瞰图像的空间特征权重。

在一些实施例中，使用不同尺寸的卷积核来分析图像数据，以捕捉不同方向和尺度的空间特征。这种处理可以帮助网络模型更好地理解车道线的形状和方向，尤其是在车道线可能出现的各种弯曲和变换中。

例如，可以采用具有不同尺度和方向的非对称卷积核，如水平卷积核和垂直卷积核，来分别捕捉水平方向和垂直方向的车道线特征。这些卷积核可以有不同的步长和填充方式，以确保在多个尺度上捕获车道线的细节。

通过步骤10222，可以更准确地捕捉到车道线的空间特征，如车道线的方向和曲率。这种方法提高了自动驾驶系统对车道线形状和结构的理解能力，使得车辆能够更准确地识别和跟踪车道线，即使在复杂的道路条件下也能保持稳定的行驶轨迹。

步骤10223，基于通道特征权重和空间特征权重，确定道路鸟瞰图像的卷积注意力特征。

在一些实施例中，结合通道特征权重和空间特征权重，可以通过注意力机制来强化网络对图像中重要特征的响应。这种机制可以帮助网络聚焦于与车道线识别最相关的区域，提高车道线检测的准确性和鲁棒性。

例如，可以使用一个卷积层来融合从不同卷积核提取的通道特征和空间特征。通过计算这些特征的加权和，可以生成一个注意力图，其中每个像素的值表示该像素对车道线识别的重要性。这个注意力图随后可以用于指导后续的卷积操作，使得网络更加关注于车道线所在的区域。

通过步骤10223，可以提高网络模型对噪声和遮挡的鲁棒性，显著提高车辆自动驾驶过程在复杂道路环境中的车道线识别能力，有助于减少车道线误识别和漏识别，确保车辆能够准确理解道路结构并做出相应的驾驶决策。

步骤10224，对卷积注意力特征进行下采样处理，得到下采样特征；。

在一些实施例中，对包含卷积注意力特征的特征图进行空间维度的缩减和扩展。下采样可以用于减少特征图的大小，减少计算复杂度，而上采样则用于恢复特征图的细节，以便在更高的分辨率下进行车道线概率的预测。下采样特征是指通过下采样操作从原始数据中提取出的较低维度的特征表示(较低分辨率特征图)。

步骤10225，对下采样特征进行上采样处理，得到包含每一像素点的车道线概率的道路鸟瞰图像。

在一些实施例中，将之前通过下采样获得的较低分辨率特征图，通过上采样处理转换为与原始输入图像相同分辨率的特征图，每个像素点都会被赋予一个车道线概率的值。

例如，可以使用池化层进行下采样，如最大池化或平均池化，以减少特征图的空间维度。随后，可以通过上采样操作，如反卷积或插值，来增加特征图的分辨率。在这个过程中，还可以结合使用卷积层来进一步细化特征，确保上采样后的特征图仍然包含车道线的关键信息。通过步骤10224和步骤10225，可以在保持计算效率的同时，恢复和细化车道线特征，从而提高车道线概率预测的准确性，进而有助于车辆自动驾驶过程在多种道路条件下，如曲线道路或车道线不清晰的情况，能够保持对车道线的准确识别和跟踪。

在一些实施例中，参见图3D，图3C示出的步骤10222可以通过以下步骤102221至步骤102222实现，下面具体说明。

步骤102221，采用具有不同尺度的非对称卷积层，对道路鸟瞰图像进行非对称卷积计算，得到道路鸟瞰图像的非对称卷积特征。

在一些实施例中，使用一系列卷积层对道路鸟瞰图像进行非对称卷积计算，每个卷积层具有不同的卷积核尺寸和偏置。这些卷积核尺寸在水平和垂直方向上有所不同，以捕捉不同尺度的车道线特征。

例如，可以采用一系列卷积核尺寸为1×n和n×1的卷积层，其中n为不同的整数。这些非对称卷积核能够分别捕捉图像水平方向和垂直方向上的车道线特征。例如，一个1×5的卷积核可以捕捉水平方向上的连续线条特征，而一个5×1的卷积核则可以捕捉垂直方向上的线条特征。

通过步骤102221，可以捕捉到车道线在不同尺度下的特征，从而提高了车道线检测的准确性和鲁棒性，进而有助于在自动驾驶过程中在复杂道路环境中更好地识别和跟踪车道线，提高了自动驾驶的可靠性和安全性。

步骤102222，采用具有预设卷积核的卷积处理层，对非对称卷积特征进行卷积处理，得到空间特征权重。

在一些实施例中，可以使用具有特定结构的预设卷积核来进一步提取和强调车道线特征，这些预设卷积核可以被设计为识别车道线特定的模式，如直线条、曲线条或边缘。

例如，可以采用一系列卷积层，其中每个卷积层使用不同的卷积核来提取不同层次的特征。这些卷积核可以是人工设计的，如将Sobel核用于边缘检测，或者通过学习算法自动优化得到，以最大化车道线识别的性能。

通过步骤102222，可以更准确地捕捉到车道线的空间特征，如车道线的方向和曲率，进而提高了车辆自动驾驶过程中对车道线形状和结构的理解能力，使得车辆能够更准确地识别和跟踪车道线，即使在复杂的道路条件下也能保持稳定的行驶轨迹。

在一些实施例中，参见图3E，图3A示出的步骤103可以通过以下步骤1031至步骤1032实现，下面具体说明。

步骤1031，遍历原始道路图像中的每一像素点，将车道线概率在预设车道线概率范围内的像素点，确定为车道线像素点。

在一些实施例中，遍历原始道路图像中的每一像素点，比较每个像素点的车道线概率与预设的概率阈值，如果一个像素点的车道线概率高于该阈值，则该像素点被标记为车道线像素点。

例如，预设的车道线概率阈值可以是0.5，也即预设车道线概率范围为0.5～1。这意味着，如果一个像素点的车道线概率大于或等于0.5，则该像素点被确定为车道线像素点。这个阈值可以根据实际应用场景和需求进行调整，以确保准确性和鲁棒性。

通过步骤1031，可以有效地从语义分割后的概率图中提取出车道线的具体位置，进而有助于在自动驾驶过程中准确地识别车道的边界，从而在行驶过程中做出更安全、更合理的决策。通过设定车道线概率范围，可以减少误识别和噪声干扰，提高车道线识别的准确性。

步骤1032，将连续的车道线像素点确定为二维车道线。

在一些实施例中，连接相邻的车道线像素点，并基于这些连接的像素点在图像中的位置和车道线概率，构建出二维车道线。这个过程可以使用图像形态学操作，如膨胀和腐蚀，来连接和填充车道线像素点。

例如，可以使用形态学膨胀来连接车道线像素点，使得在预设阈值范围内的连续像素点被合并为一个更大的区域。然后，可以使用腐蚀操作来去除不连续的或噪声部分，从而得到一条连续的车道线。

通过步骤1032，可以更准确地识别出车道线的实际位置和形状，进而有助于在自动驾驶过程中更精确地理解道路结构，从而在行驶过程中做出更安全、更合理的决策。还有助于减少误识别和噪声干扰，提高车道线识别的准确性。

在一些实施例中，在图3A示出的步骤103之后，还可以执行以下步骤，下面具体说明。

在确定出二维车道线之后，针对二维车道线中的任一像素点，将二维车道线中垂直于车道线方向且连接该像素点的线段的中点，确定为该像素点在二维车道线上的质心点。其中，沿着车道线方向，二维车道线上具有多个质心点。

在一些实施例中，计算连接车道线像素点的线段的中点位置，这些线段垂直于车道线方向，并穿过车道线像素点。中点的位置可以通过几何方法计算得出，并被视为该像素点在二维车道线上的质心点。

例如，可以假设车道线像素点在图像中的位置为(x,y)，并计算垂直于车道线方向且通过该像素点的线段的中点坐标。这个中点坐标可以通过计算(x±a,y)得出，其中a是车道线像素点与中点之间的距离。

通过上述步骤，可以减少误识别和噪声干扰，进而在后续步骤中更准确地识别车道线的形状和位置，进而有助于在自动驾驶过程中更精确地理解道路结构，从而在行驶过程中做出更安全、更合理的决策。通过在车道线方向上具有的多个质心点，可以更准确地描述车道线的弯曲和变形，进一步提高车道线识别的鲁棒性。

在一些实施例中，参见图3F，图3A示出的步骤104可以通过以下步骤1041至步骤1043实现，下面具体说明。

步骤1041，获取每条二维车道线上的全部质心点对应的像素点的车道线概率。

在一些实施例中，遍历二维车道线上的每个质心点，并查询该质心点在原始道路图像中的对应位置，从车道线概率图中提取该位置的像素点的车道线概率值。

例如，可以遍历二维车道线上的所有质心点，并记录每个质心点在原始道路图像中的坐标，使用这些坐标在车道线概率图中查找对应的像素点的车道线概率值。

步骤1042，确定全部质心点对应的像素点的车道线概率的平均值，得到车道线概率均值。

在一些实施例中，对每条二维车道线上的所有质心点对应的像素点的车道线概率值进行统计计算。

例如，可以对每条二维车道线上的所有质心点对应的像素点的车道线概率值进行求和，然后除以该车道线上的质心点数量，以得到该车道线的车道线概率均值。

通过步骤1042，可以评估车道线在图像中的整体表现和连续性，减少误识别和噪声干扰，进而有助于在自动驾驶过程中更准确地理解道路结构，从而在行驶过程中做出更安全、更合理的决策。通过评估车道线概率均值，可以在后续步骤确保识别出的车道线与实际车道线相符，减少误差和误识别。

步骤1043，遍历全部二维车道线，将质心点的数量大于预设数量阈值，且车道线概率均值大于预设概率阈值的二维车道线，确定为目标二维车道线。

在一些实施例中，比较每条车道线上的质心点数量和车道线概率均值与预设的阈值。如果某条车道线的质心点数量大于预设的数量阈值，且车道线概率均值大于预设的概率阈值，则该车道线被确定为目标二维车道线。

例如，预设的数量阈值可以是24，概率阈值可以是0.8。这意味着，如果某条车道线的质心点数量大于24个，且其车道线概率均值高于0.8，则该车道线被确定为目标二维车道线。这些阈值可以根据实际应用场景和需求进行调整，以确保准确性和鲁棒性。

通过步骤1043，可以减少误识别和噪声干扰，提高车道线识别的准确性和鲁棒性，进而有助于在自动驾驶过程中更准确地理解道路结构，从而在行驶过程中做出更安全、更合理的决策。通过设定预设阈值，可以确保识别出的车道线与实际车道线相符，减少误差和误识别。

在一些实施例中，参见图3G，图3A示出的步骤105可以通过以下步骤1051至步骤1053实现，下面具体说明。

步骤1051，获取云端下发的局部路面模型。

在一些实施例中，获取云端下发的局部路面模型涉及从远程服务器或云端数据库中下载与当前车辆位置相关的路面模型数据。这些数据可以包含车辆周围一定范围内的道路表面信息，用于车辆定位和车道线识别。

例如，当车辆的GPS定位系统确定车辆位置后，车辆将位置信息发送至云端。云端根据车辆的位置信息，从预先存储的地图数据库中检索出相应的局部路面模型数据，并将其发送回车辆端。

通过步骤1051，能够获得与当前车辆位置相关的详细道路信息，包括路面的高度、坡度、曲率等参数，有助于车辆在复杂道路条件下，如弯曲道路或道路损坏区域，保持对车道线的准确识别和跟踪，从而提高行驶的安全性和可靠性。

步骤1052，根据局部路面模型，确定目标二维车道线上每一像素点的局部三维坐标，其中，局部三维坐标为目标二维车道线在局部三维坐标系下的坐标。

在一些实施例中，根据局部路面模型确定目标二维车道线上每一像素点的局部三维坐标涉及将二维图像上的车道线像素点映射到三维空间中的对应位置，需要结合车辆的定位信息、相机参数和局部路面模型来实现。

例如，可以使用车辆的GPS定位和相机安装参数，结合云端下发的局部路面模型，来计算二维车道线像素点在三维空间中的坐标。这个过程涉及到透视变换或相似变换等几何算法。

通过步骤1052，能够将二维图像上的车道线信息转换为三维空间中的位置信息，进而为车辆提供了更丰富的道路结构信息，有助于提高车辆对复杂道路环境的适应能力，如在弯曲道路或道路损坏区域，车辆能够更准确地识别和跟踪车道线，从而提高行驶的安全性和可靠性。

步骤1053，将局部三维坐标映射到目标坐标系下，得到具有三维车道线的道路图像。

在一些实施例中，将局部三维坐标映射到目标坐标系下涉及将计算出的每个像素点的局部三维坐标转换到全局坐标系或车辆坐标系中。这一步骤对于在车辆的导航和路径规划系统中整合不同来源的数据至关重要。

例如，可以使用坐标变换算法，如旋转和平移矩阵，来将局部三维坐标转换到车辆坐标系或全局坐标系中，涉及到计算相机坐标系与世界坐标系之间的转换关系。

通过步骤1053，车辆能够将局部路面模型与车辆的整体导航系统相结合，生成一个包含三维车道线的完整道路图像，为车辆提供了一个更全面的道路感知能力，有助于提高车辆对复杂道路环境的适应能力，如在弯曲道路或道路损坏区域，车辆能够更准确地识别和跟踪车道线，从而提高行驶的安全性和可靠性。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

参见图4A，图4A是本申请实施例提供的车道线生成方法的一个可选的流程示意图，下面将结合图4A示出的步骤进行说明。车道线生成方法包括以下步骤201至步骤207：

步骤201，获取原始道路图像，其中，原始道路图像中包括多个像素点。

在一些实施例中，通过部署在车辆上的单目相机捕捉实时道路场景来获取原始道路图像。

步骤202，对原始道路图像进行鸟瞰图映射，得到道路鸟瞰图像。

在一些实施例中，首先，假设车辆在理想平面上行驶，那么虚拟相机图像(道路鸟瞰图像)与车辆前视图图像(原始道路图像)之间应满足单应性变换关系。通过应用单应性变换矩阵，可以将前视图图像转换到鸟瞰图视角。

单应性变换矩阵的获取可以通过四点法实现。具体操作如下：在鸟瞰图上预先标记四个固定点；在前视图图像中，分别识别这四个固定点对应的观测像素点；基于这四个点(前视图中的像素点与其在鸟瞰图上的对应点)，计算单应性变换矩阵H；使用计算出的单应性变换矩阵H，将前视图图像通过变换转换到鸟瞰图视角下。通过这种方式，可以实现从原始道路图像到鸟瞰图的映射，为后续的车道线识别和分析提供了一种俯视角度的图像表示。

步骤203，对道路鸟瞰图像进行车道线语义分割处理，得到包含每一像素点的车道线概率的道路鸟瞰图像。

在一些实施例中，为了提高车道线分割的精度，本申请实施例提出了一种基于ERFNet改进的语义分割网络。如图5所示，该网络在传统ERFNet的基础上，在网络下采样层之前加入了卷积注意力模块，以扩大感受野并提升语义分割的精度。

相关技术中的卷积网络模型通常使用小卷积核，这代表着较小的感受野，导致网络难以捕捉全局的语义信息。为了解决这一问题，本申请实施例在下采样前引入了卷积注意力模块。卷积注意力模块的结构如图6所示，图6中K代表卷积操作，数字代表卷积操作的卷积核大小，P代表填充(Padding)操作，数字代表填充大小，卷积注意力模块采用3×3的深度卷积(图6中的K3)来聚合局部信息，并通过非对称卷积(图6中的K1*5+K5*1、K1*7+K7*1、K1*11+K11*1)在降低参数量的同时，提高不同尺度信息的融合效果。这些非对称卷积核具有不同的尺寸，能够捕捉到不同尺度的特征。最后，通过1×1卷积(图6中的最后一个K1)学习不同通道间的关系，指导网络学习不同尺度的空间特征。

通过这种改进，网络能够更有效地提取和融合全局上下文信息，从而提高车道线分割的准确性。

本申请实施例中的卷积注意力模块用数学表达可表述为以下公式(1)至(3)：

α＝Conv_1×1(F_in) (1)

其中，α为通道特征权重；F_in为输入特征图；Att为空间特征权重，Conv_1×1代表使用1×1的卷积核进行卷积操作；Scale_i表示使用不同尺度的非对称卷积；F_out为输出特征图。

步骤204，对包含每一像素点的车道线概率的道路鸟瞰图像进行鸟瞰图反映射，得到包含每一像素点的车道线概率的原始道路图像。

在一些实施例中，首先，对于在步骤202中通过单应变换映射至鸟瞰图视角下的每个像素点，通过计算变换矩阵的逆，即H^-1，可以实现坐标系的逆变换。这种变换将鸟瞰图视角下的像素点反映射回前视图视角下，并输出每个像素点属于车道线的概率。

为了提高车道线分割的精度，步骤202至步骤204采用了一种改进的语义分割网络算法。该算法首先利用相机标定参数将单目相机图像转换至鸟瞰图视角，这样做可以消除前视图视角下线与线之间的透视畸变。接着，使用优化的语义分割网络对车道线进行语义分割，以提高语义分割的精度。最后，将鸟瞰图视角下的图像转换回原始的前视图视角，从而获得原始图像中的车道线分割效果。通过步骤202至步骤204，可以在原始道路图像中保留车道线识别的结果，为后续的车道线提取和三维映射提供了准确的基础，确保了车辆自动驾驶过程能够在原始的道路图像坐标系下准确理解和处理车道线信息。

步骤205，基于每一像素点的车道线概率，从原始道路图像中确定出至少一条由连续像素点构成的二维车道线。

在一些实施例中，采用连续掩膜搜索方法来识别车道线。

例如，对经步骤204得到的单帧图像(即带有每个像素点为车道线的概率的前视图)进行逐行扫描。在每一行中，搜索并标记出分割为车道线的掩膜像素点。对于找到的像素点，如果它们在空间上是连续的，则将这些连续的像素点作为一个车道线簇进行保存。

通过这种方式，可以从原始道路图像中提取出至少一条由连续像素点构成的二维车道线，为后续的车道线分析和应用提供了基础。

步骤206，基于每条二维车道线的质心点的数量和质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线。

在一些实施例中，首先进行控制点质心的计算：遍历之前保存的连续像素点。当横向遍历像素点并检测到车道线类别时，记录这些像素的位置，并计算它们连续像素的中点作为质心，以此作为车道线分割的中心采样点；然后，为了滤除异常分割的像素点，执行异常分割像素滤除操作：获取输出的每个采样像素点的概率，如果某条车道线的质心点数少于阈值th_c(与图像分辨率相关，对于64×1024分辨率的图像，默认阈值为24)，并且该车道线上所有质心像素点的平均概率大于阈值th_g(默认语义分割概率阈值为0.7)，则将这些像素点视为异常分割，并从掩膜中删除；最后，为了适配高精地图中常用的三维折线建模车道线的方式，需要对语义分割的结果进行进一步采样：基于掩膜采样的车道线采样点算法采用逐行扫描的方式，搜索每一条车道线在该行的连续像素，计算这些连续像素的质心，得到车道线分割中心的采样点。

通过这些步骤，可以从至少一条二维车道线中筛选出目标二维车道线，提高车道线识别的准确性和鲁棒性。

步骤207，将目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

在一些实施例中，可以将每个簇的车道线质心点通过GPS位置信息映射至UTM世界坐标系下，通过随机抽样一致算法进行车道线拟合。

在一些实施例中，图4B，图4A示出的步骤207可以通过以下步骤2071至步骤2078实现，下面具体说明。

具体操作分为以下几个步骤：

步骤2071，接收云端下发的局部地图。

在一些实施例中，当车辆端检测到车道线时，会同步上传当前车辆的GPS位置至云端，云端接收到位置信息后，触发三维重建指令，并下发当前路段的局部地图。

步骤2072，局部道路模型匹配。

在一些实施例中，车辆端获取云端地图中的路面模型后，根据相机的位姿计算出局部路面模型。利用这个局部锚点路面模型，实现路面要素的三维重建。

步骤2073，通用平面建模。

在一些实施例中，使用平面法向量n和原点到平面的距离d来表示平面P^r。

平面上的点p应满足以下公式(4)：

n^Tp-d＝0 (4)

其中，^T表示转置，n^T是法向量n的转置，p是平面上的任意一点的坐标，d是原点到平面的距离。

步骤2074，地面平面建模。

在一些实施例中，地面平面通常使用系数来建模，在世界坐标系下描述为以下公式(5)：

z＝P^r(x,y)＝P_ax+P_by+P_c (5)

其中，(P_a,P_b,P_c)是地面平面模型的三个系数，z表示高程(即垂直于地面的方向)，x和y表示平面上的水平坐标，P^r表示地面平面模型，由系数P_a、P_b和P_c唯一确定。

步骤2075，道路片段平面建模。

在一些实施例中，每个道路片段存储了一个道路模型，可以按照道路片段为单位进行建模。在无坡度的道路上，使用通用平面模型可以准确描述道路平面。注意到使用通用平面模型时，实际的道路片段所处的位置坐标通常较大，从数值表达的稳定性上，引入道路片段r的中心r^c＝(x₀,y₀,z₀)，从而平面模型可改写为以下公式(6)：

n^T(p-r^c)-d＝0 (6)

其中，T表示转置，n^T是法向量n的转置，r^c为道路片段r的中心，p是平面上的任意一点的坐标，d是原点到平面的距离，可以用三维坐标(x₀,y₀,z₀)来表示。

步骤2076，计算相机坐标系下的局部平面。

在一些实施例中，已知相机的六自由度全局位姿，可以通过以下公式(7)至(8)计算理想平面模型在相机坐标系下的局部平面：

其中，n^c为在相机坐标系下描述的局部平面法向量，n^w为在世界坐标系下描述的道路平面P^r的法向量，为相机坐标系到世界坐标系的旋转矩阵，n^c由世界坐标系下的法向量n^w通过旋转矩阵变换得到；d^c为在相机坐标系下描述的局部平面距离，d^w为世界坐标系下描述的道路平面的距离，为相机坐标系到世界坐标系的平移矩阵，d^c由世界坐标系下的距离d^w减去平移向量与n^w的点积得到。

步骤2077，锚定高度模型下的三维重建。

在一些实施例中，路面由一系列平面构成，需要判断像素是否位于特定平面内。锚定高度模型的应用效果如图7所示，点a₀₀、点a₁₀、点a₀₁、点a₁₁、点a₀₂、点a₁₂、点a₀₃和点a₁₃为道路鸟瞰图像中的锚点，锚定高度模型是通过计算像素对应的观测射线与给定平面的交点，可以确定车道线是否位于锚点所在的平面，并映射至局部相机坐标系下获得三维车道线坐标。

当使用锚定高度模型时，路面由一系列平面构成，若要恢复一个像素的三维信息，需要事先知道该像素位于哪一个平面内。判断一个像素是否位于某一个平面内，本质上是判断该像素对应的观测射线与给定平面是否相交的问题。给定一个车道线像素观测u，对应的归一化像素平面点以及一个锚定高度模型的三个锚定高度点a_1:3＝{a₁,a₂,a₃}，这些点定义了平面内的一个区域，锚定高度模型的公式为以下公式(9)至(10)：

d＝n^Ta₁ (10)

其中，n是由锚定高度点a₁和a₂定义的平面法向量，通过计算这两个点向量的叉乘并归一化得到，×表示向量叉乘，||...||表示向量的欧几里得范数；d是锚定高度点a₁到平面的距离，n^T是法向量n的转置，可以通过法向量n的转置与a₁的点积计算得到。

步骤2078，世界坐标系下的车道线三维重建。

在一些实施例中，对于车道线上拟合的控制点像素U＝(u,v)，其在归一化的相机坐标系下的对应点可以通过以下公式(11)计算得到：

其中，为目标像素在归一化的相机平面下的对应点的坐标，K^-1为相机内参矩阵K的逆矩阵，用于将像素坐标转换为三维空间坐标，U为车道线上拟合的控制点像素的坐标。

该目标像素在局部相机坐标系下的三维位置可以通过以下公式(12)计算得到：

其中，p^c为目标像素在局部相机坐标系下的三维位置，d为相机坐标系下局部平面的距离，n为局部平面法向量，n^T为局部平面法向量n在相机坐标系下的转置，R^c为相机坐标系到世界坐标系的旋转矩阵，为目标像素在归一化的相机平面下的对应点的坐标。

最终，其在世界坐标系下的位置可以通过以下公式(13)计算得到：

p^w＝R_cp^c+t_c (13)

其中，p^w为目标像素在世界坐标系下的位置，R_c为相机坐标系到世界坐标系的旋转矩阵，p^c为目标像素在局部相机坐标系下的三维位置，t_c为相机坐标系到世界坐标系的平移向量。

公式(11)至公式(13)描述了如何将平面模型从世界坐标系转换到相机坐标系，并进一步计算出目标像素在相机坐标系下的三维位置，然后将其转换到世界坐标系下，以便在世界坐标系中进行分析和处理。

通过步骤2071至步骤2078，车辆能够从云端获取局部地图和地面描述，结合自身的位姿信息(在世界坐标系下的六自由度位姿)，计算在相机坐标系下的局部路面模型，最后通过局部路面模型，对车道线进行三维重建(即将二维图像上的车道线坐标(u,v)转换到三维世界中的(x,y,z)坐标系中)，从而生成具有三维车道线的道路图像，能够解决由于道路不平坦以及车辆悬架系统的作用，单目相机帧中的局部道路平面是不断变化从而导致车道线无法统一的问题。

下面继续说明本申请实施例提供的车道线生成装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的车道线生成装置455中的软件模块可以包括：

数据获取模块4551，用于获取原始道路图像，其中，原始道路图像中包括多个像素点；语义分割模块4552，用于对原始道路图像进行车道线语义分割处理，得到每一像素点的车道线概率，其中，车道线概率是像素点为车道线像素点的概率；车道线识别模块4553，用于基于每一像素点的车道线概率，从原始道路图像中确定出至少一条由连续像素点构成的二维车道线；车道线筛选模块4554，用于基于每条二维车道线的质心点的数量和质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线；车道线映射模块4555，用于将目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

在一些实施例中，语义分割模块4552还用于：采用具有预设卷积核的卷积处理层，对道路鸟瞰图像进行卷积处理，得到道路鸟瞰图像的通道特征权重；对道路鸟瞰图像进行非对称卷积处理，得到道路鸟瞰图像的空间特征权重；基于通道特征权重和空间特征权重，确定道路鸟瞰图像的卷积注意力特征；对卷积注意力特征进行下采样处理，得到下采样特征；对下采样特征进行上采样处理，得到包含每一像素点的车道线概率的道路鸟瞰图像。

在一些实施例中，语义分割模块4552还用于：采用具有不同尺度的非对称卷积层，对道路鸟瞰图像进行非对称卷积计算，得到道路鸟瞰图像的非对称卷积特征；采用具有预设卷积核的卷积处理层，对非对称卷积特征进行卷积处理，得到空间特征权重。

在一些实施例中，车道线识别模块4553还用于：遍历原始道路图像中的每一像素点，将车道线概率在预设车道线概率范围内的像素点，确定为车道线像素点；将连续的车道线像素点确定为二维车道线。

在一些实施例中，车道线生成装置还包括：质心点确定模块，用于在确定出二维车道线之后，针对二维车道线中的任一像素点，将二维车道线中垂直于车道线方向且连接像素点的线段的中点，确定为像素点在二维车道线上的质心点；其中，沿着车道线方向，二维车道线上具有多个质心点。

在一些实施例中，车道线筛选模块4554还用于：获取每条二维车道线上的全部质心点对应的像素点的车道线概率；确定全部质心点对应的像素点的车道线概率的平均值，得到车道线概率均值；遍历全部二维车道线，将质心点的数量大于预设数量阈值，且车道线概率均值大于预设概率阈值的二维车道线，确定为目标二维车道线。

在一些实施例中，车道线映射模块4555还用于：获取云端下发的局部路面模型；根据局部路面模型，确定目标二维车道线上每一像素点的局部三维坐标，其中，局部三维坐标为目标二维车道线在局部三维坐标系下的坐标；将局部三维坐标映射到目标坐标系下，得到具有三维车道线的道路图像。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例上述的车道线生成方法。

本申请实施例提供一种计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的车道线生成方法，例如，如图3A示出的车道线生成方法。

在一些实施例中，计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(Hyper TextMarkup Language，HTML)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，计算机可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。

综上所述，本申请实施例通过语义分割、车道线识别、筛选和三维映射，提高了车辆对车道线的感知能力，有助于实现更安全、更可靠的自动驾驶；通过鸟瞰图映射和反映射，能够减少透视效应带来的车道线扭曲，提高车道线识别的准确性；采用预设卷积核和非对称卷积处理，能够增强车道线特征的提取，提高车道线识别的鲁棒性；通过非对称卷积层的应用，能够捕捉到不同尺度下的车道线特征，增强车道线检测的准确性和适应性；通过遍历像素点并设定概率阈值，能够从概率图中提取出准确的车道线位置，减少误识别；通过确定车道线上的质心点，能够更准确地描述车道线的形状和位置，提高车道线识别的准确性；通过设定质心点数量和概率阈值，能够从多条车道线中筛选出最符合实际车道线特征的目标车道线，减少误差和误识别；将二维车道线映射到三维空间，能够为车辆自动驾驶提供更丰富的道路结构信息，提高车辆的导航和路径规划能力。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种车道线生成方法，其特征在于，包括：

获取原始道路图像，其中，所述原始道路图像中包括多个像素点；

对所述原始道路图像进行车道线语义分割处理，得到每一像素点的车道线概率，其中，所述车道线概率是像素点为车道线像素点的概率；

基于每一像素点的车道线概率，从所述原始道路图像中确定出至少一条由连续像素点构成的二维车道线；

基于每条二维车道线的质心点的数量和所述质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线；

将所述目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始道路图像进行车道线语义分割处理，得到每一像素点的车道线概率，包括：

对所述原始道路图像进行鸟瞰图映射，得到道路鸟瞰图像；

对所述道路鸟瞰图像进行车道线语义分割处理，得到包含每一像素点的车道线概率的道路鸟瞰图像；

对所述包含每一像素点的车道线概率的道路鸟瞰图像进行鸟瞰图反映射，得到包含每一像素点的车道线概率的原始道路图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述道路鸟瞰图像进行车道线语义分割处理，得到包含每一像素点的车道线概率的道路鸟瞰图像，包括：

采用具有预设卷积核的卷积处理层，对所述道路鸟瞰图像进行卷积处理，得到所述道路鸟瞰图像的通道特征权重；

对所述道路鸟瞰图像进行非对称卷积处理，得到所述道路鸟瞰图像的空间特征权重；

基于所述通道特征权重和所述空间特征权重，确定所述道路鸟瞰图像的卷积注意力特征；

对所述卷积注意力特征进行下采样处理，得到下采样特征；

对所述下采样特征进行上采样处理，得到包含每一像素点的车道线概率的道路鸟瞰图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述道路鸟瞰图像进行非对称卷积处理，得到所述道路鸟瞰图像的空间特征权重，包括：

采用具有不同尺度的非对称卷积层，对所述道路鸟瞰图像进行非对称卷积计算，得到所述道路鸟瞰图像的非对称卷积特征；

采用所述具有预设卷积核的卷积处理层，对所述非对称卷积特征进行卷积处理，得到所述空间特征权重。

5.根据权利要求1所述的方法，其特征在于，所述基于每一像素点的车道线概率，从所述原始道路图像中确定出至少一条由连续像素点构成的二维车道线，包括：

遍历所述原始道路图像中的每一像素点，将车道线概率在预设车道线概率范围内的像素点，确定为所述车道线像素点；

将连续的所述车道线像素点确定为二维车道线。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定出所述二维车道线之后，针对所述二维车道线中的任一像素点，将所述二维车道线中垂直于车道线方向且连接所述像素点的线段的中点，确定为所述像素点在所述二维车道线上的质心点；其中，沿着所述车道线方向，所述二维车道线上具有多个质心点。

7.根据权利要求1所述的方法，其特征在于，所述基于每条二维车道线的质心点的数量和所述质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线，包括：

获取每条二维车道线上的全部质心点对应的像素点的车道线概率；

确定所述全部质心点对应的像素点的车道线概率的平均值，得到车道线概率均值；

遍历全部二维车道线，将所述质心点的数量大于预设数量阈值，且所述车道线概率均值大于预设概率阈值的二维车道线，确定为所述目标二维车道线。

8.根据权利要求1所述的方法，其特征在于，所述将所述目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像，包括：

获取云端下发的局部路面模型；

根据所述局部路面模型，确定所述目标二维车道线上每一像素点的局部三维坐标，其中，所述局部三维坐标为所述目标二维车道线在局部三维坐标系下的坐标；

将所述局部三维坐标映射到目标坐标系下，得到具有三维车道线的道路图像。

9.一种车道线生成装置，其特征在于，所述装置包括：

数据获取模块，用于获取原始道路图像，其中，所述原始道路图像中包括多个像素点；

语义分割模块，用于对所述原始道路图像进行车道线语义分割处理，得到每一像素点的车道线概率，其中，所述车道线概率是像素点为车道线像素点的概率；

车道线识别模块，用于基于每一像素点的车道线概率，从所述原始道路图像中确定出至少一条由连续像素点构成的二维车道线；

车道线筛选模块，用于基于每条二维车道线的质心点的数量和所述质心点对应的像素点的车道线概率，从至少一条二维车道线中筛选出目标二维车道线；

车道线映射模块，用于将所述目标二维车道线映射至目标坐标系下，得到具有三维车道线的道路图像。

10.一种电子设备，其特征在于，包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。

12.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。