CN116409326B - 一种车道线跟踪方法及车道线跟踪系统 - Google Patents
一种车道线跟踪方法及车道线跟踪系统Info
- Publication number
- CN116409326B CN116409326B CN202310295526.6A CN202310295526A CN116409326B CN 116409326 B CN116409326 B CN 116409326B CN 202310295526 A CN202310295526 A CN 202310295526A CN 116409326 B CN116409326 B CN 116409326B
- Authority
- CN
- China
- Prior art keywords
- lane line
- current frame
- lane
- result
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种车道线跟踪方法及车道线跟踪系统，涉及自动驾驶技术领域。本发明利用CNN‑LSTM模型对上一帧的实际车道线检测结果进行预测，得到当前帧的车道线第一预测结果，利用CNN网络对特征提取的优势，将CNN网络用于对车道线检测结果进行特征提取，然后将提取到的特征向量输入到LSTM网络中对车道线进行预测，该实施例将CNN网络与LSTM网络相结合，在原有的LSTM网络中新加入卷积层和池化层，从而提高了车道线的预测精度。然后利用匈牙利算法对当前帧的实际车道线检测结果和当前帧的车道线第一预测结果进行关联，得到第一集合，并对其进行拟合，从而得到车道线跟踪结果，将预测的车道线和实际检测的车道线融合成更加精准的车道线，提高了车道线跟踪效果。
Description
技术领域
本发明涉及自动驾驶技术领域，特别是涉及一种车道线跟踪方法及车道线跟踪系统。
背景技术
车道线跟踪技术是自动驾驶技术中感知模块的重要功能之一，在自动驾驶过程中起着重要的作用，由于道路环境的复杂性，所以对车道线跟踪技术提出了更高要求。另外，为了保障驾驶员的安全，车道线跟踪技术需要达到一定的实时性和准确性才能够使用。卡尔曼滤波是一种传统的车道线跟踪技术，卡尔曼滤波的方法是根据车道线的短期历史运动状态来预测后一帧车道线的位置，该方法对于比较理想的车道线有较好的跟踪效果。对于中断、遮挡或模糊等比较多的车道线，或者车辆运动状态有较大改变的情况下，现有方法得到的车道线预测结果的精度较差，导致车道线跟踪效果较差。
发明内容
本发明第一方面的一个目的是要提供一种车道线跟踪方法，解决现有技术中车道线预测精度较差的技术问题。
本发明第一方面的另一个目的是要提高车道线跟踪的稳定性。
本发明第二方面的目的是要提供一种车道线跟踪系统。
根据本发明的第一方面的目的，本发明提供了一种车道线跟踪方法，包括以下步骤：
获取上一帧的实际车道线检测结果和当前帧的实际车道线检测结果；
利用CNN-LSTM模型对上一帧的所述实际车道线检测结果进行预测，得到当前帧的车道线第一预测结果；
利用匈牙利算法对当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果进行关联，得到第一关联结果，所述第一关联结果包括匹配的当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果的第一集合；
对所述第一集合进行拟合，得到车道线跟踪结果。
可选地，所述第一关联结果还包括未匹配的当前帧的所述实际车道线检测结果的第二集合以及未匹配的当前帧的所述车道线第一预测结果的第三集合。
可选地，利用匈牙利算法对当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果进行关联，得到第一关联结果的步骤，具体包括以下步骤：
根据当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果计算交并比值；
将第一目标交并比值对应的当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果作为所述第一集合，所述第一目标交并比值为大于预设值的所述交并比值。
可选地，根据当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果计算交并比值的步骤，之后还包括以下步骤：
将第二目标交并比值对应的当前帧的所述实际车道线检测结果作为所述第二集合，对应的当前帧的所述车道线第一预测结果作为所述第三集合，所述第二目标交并比值为小于或等于所述预设值的所述交并比值。
可选地，将第二目标交并比值对应的当前帧的所述实际车道线检测结果作为所述第二集合，对应的当前帧的所述车道线第一预测结果作为所述第三集合的步骤，之后还包括以下步骤：
若所述实际车道线线检测结果连续预设时长内出现在所述第二集合中，则将该实际车道线检测结果删除。
可选地，将第二目标交并比值对应的当前帧的所述实际车道线检测结果作为所述第二集合，对应的当前帧的所述车道线第一预测结果作为所述第三集合的步骤，之后还包括以下步骤：
对所述第三集合中的所述车道线第一预测结果进行初始化处理。
可选地，根据当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果计算交并比值的步骤，具体包括以下步骤：
将当前帧的所述实际车道线检测结果中的点分别向左和向右延伸预设长度，以分别得到两个第一边缘点，并将当前帧的所述车道线第一预测结果中的每个点分别向左和向右延伸预设长度，以分别得到两个第二边缘点；
将所有所述第一边缘点依次连接，以得到第一区域，并将所有所述第二边缘点依次连接，以得到第二区域；
计算所述第一区域与所述第二区域的交集区域和并集区域之比，从而得到所述交并比值。
可选地，获取上一帧的实际车道线检测结果和当前帧的实际车道线检测结果的步骤，之后还包括以下步骤：
利用扩展卡尔曼滤波算法对上一帧的所述实际车道线检测结果进行预测，得到当前帧的车道线第二预测结果；
利用匈牙利算法对当前帧的所述实际车道线检测结果和当前帧的所述车道线第二预测结果进行关联，得到第二关联结果，所述第二关联结果包括匹配的当前帧的所述实际车道线检测结果和当前帧的所述车道线第二预测结果的第四集合；
对所述第一集合和所述第四集合进行拟合，得到车道线跟踪结果。
可选地，所述第二关联结果还包括未匹配的当前帧的实际车道线检测结果的第五集合以及未匹配的当前帧的车道线第二预测结果的第六集合。
根据本发明第二方面的目的，本发明还提供了一种车道线的跟踪系统，包括：
控制模块，所述控制模块包括存储器和处理器，所述存储器内存储有计算程序，所述计算程序被所述处理器执行时用于实现上述的跟踪方法。
本发明利用CNN-LSTM模型对上一帧的实际车道线检测结果进行预测，得到当前帧的车道线第一预测结果，利用CNN网络对特征提取的优势，将CNN网络用于对车道线检测结果进行特征提取，然后将提取到的特征向量输入到LSTM网络中对车道线进行预测，上述技术方案将CNN网络与LSTM网络相结合，在原有的LSTM网络中新加入卷积层和池化层，从而提高了车道线的预测精度。然后利用匈牙利算法对当前帧的实际车道线检测结果和当前帧的车道线第一预测结果进行关联，得到匹配到的当前帧的实际车道线检测结果和当前帧的车道线第一预测结果的第一集合，并对第一集合进行拟合，从而得到车道线跟踪结果，将预测的车道线和实际检测的车道线融合成更加精准的车道线，从而提高了车道线跟踪效果。
进一步地，本发明不仅仅利用CNN-LSTM模型对上一帧的实际车道线检测结果预测当前帧的车道线第一预测结果，还利用扩展卡尔曼滤波算法对上一帧的实际车道线检测结果预测当前帧的车道线第二预测结果，再利用匈牙利算法对两者分别进行关联，从而得到第一集合和第四集合，并对第一集合和第四集合进行拟合，得到车道线跟踪结果，从而提高了车道线跟踪的稳定性。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的车道线跟踪方法的示意性流程图；
图2是根据本发明另一个实施例的车道线跟踪方法的示意性流程图；
图3是根据本发明又一个实施例的车道线跟踪方法的示意性流程图；
图4是根据本发明一个实施例的第一区域与第二区域的交集区域的示意性图；
图5是根据本发明一个实施例的第一区域与第二区域的并集区域的示意性图；
图6是根据本发明再一个实施例的车道线跟踪方法的示意性流程图；
图7是根据本发明一个实施例的车道线跟踪系统的示意性连接框图。
附图标记：
100-车道线跟踪系统，10-控制模块，11-存储器，12-处理器，30-实际车道线，40-预测车道线。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1是根据本发明一个实施例的车道线跟踪方法的示意性流程图。如图1所示，在一个具体的实施例中，车道线跟踪方法包括以下步骤：
步骤S100，获取上一帧的实际车道线检测结果和当前帧的实际车道线检测结果；
步骤S200，利用CNN-LSTM模型对上一帧的实际车道线检测结果进行预测，得到当前帧的车道线第一预测结果；
步骤S300，利用匈牙利算法对当前帧的实际车道线检测结果和当前帧的车道线第一预测结果进行关联，得到第一关联结果，第一关联结果包括匹配的当前帧的实际车道线检测结果和当前帧的车道线第一预测结果的第一集合；
步骤S400，对第一集合进行拟合，得到车道线跟踪结果。
在步骤S200中，CNN-LSTM模型中CNN网络表示卷积神经网络(ConvolutionalNeural Networks)，LSTM网络表示长短期记忆网络(long-short-term memory)。
该实施例针对LSTM网络对车道线位置变化规律特征提取较弱的问题，利用CNN网络对特征提取的优势，将CNN网络用于对车道线检测结果进行特征提取，然后将提取到的特征向量输入到LSTM网络中对车道线进行预测，该实施例将CNN网络与LSTM网络相结合，在原有的LSTM网络中新加入卷积层和池化层，从而提高了车道线的预测精度。
该实施例将预测的车道线和实际检测的车道线融合成更加精准的车道线，从而提高了车道线跟踪效果。
在该实施例中，CNN网络中卷积层卷积核数量n＝64，卷积核宽度FH＝2，填充边界P＝0，卷积核的步幅S＝1，池化的窗口w＝1，激活函数使用ReLU函数，LSTM网络中层神经元个数n＝32，模型的损失函数为均方误差损失函数，优化函数为Adam函数，批量归一化数量Batch size＝10，设置迭代次数epoch为200。
在该实施例中，第一关联结果还包括未匹配的当前帧的实际车道线检测结果的第二集合以及未匹配的当前帧的车道线第一预测结果的第三集合。可以理解为，经过匈牙利算法得出的关联结果包括三个集合，该实施例选择三个集合中当前帧的实际车道线检测结果和当前帧的车道线第一预测结果的集合进行拟合，从而提高了车道线跟踪效果。
图2是根据本发明另一个实施例的车道线跟踪方法的示意性流程图。如图2所示，在该实施例中，步骤S300具体包括以下步骤：
步骤S310，根据当前帧的实际车道线检测结果和当前帧的车道线第一预测结果计算交并比值；
步骤S320，将第一目标交并比值对应的当前帧的实际车道线检测结果和当前帧的车道线第一预测结果作为第一集合，第一目标交并比值为大于预设值的交并比值。
步骤S330，将第二目标交并比值对应的当前帧的实际车道线检测结果作为第二集合，对应的当前帧的车道线第一预测结果作为第三集合，第二目标交并比值为小于或等于预设值的交并比值。其中，步骤S320和步骤S330没有先后顺序关系。
这里，用表示第t帧的第i条车道线检测结果，用表示第t帧的第i条车道线第一预测结果，若交并比值时，则将车道线匹配结果即为其中k表示第k条车道线跟踪结果，第t帧的车道线匹配结果集合记为Pt，也就是第一集合，其中，A表示预设值。
在该实施例中，在步骤S330之后，还包括以下步骤：
若实际车道线线检测结果连续预设时长内出现在第二集合中，则将该实际车道线检测结果删除。这里，可以理解为，若当前的实际车道线检测结果为匹配到车道线第一预测结果，则在之后连续预设时长内，每一时刻的实际车道线检测结果都没有匹配到车道线第一预测结果，则将该实际车道线检测结果删除。这里预设时长可以设置成3帧～6帧之间的任一数值，例如可以为3帧、5帧或6帧等，在一个优选的实施例中，预设时长为5帧。
在该实施例中，在步骤S330之后，还包括以下步骤：
对第三集合中的车道线第一预测结果进行初始化处理。这里，初始化处理方法具体为，若连续预设时长内均出现车道线第一预测结果，则将车道线第一预测结果作为新的一条车道线。这里的预设时长可以设置成2帧～4帧之间的任一数值，例如可以为2帧、3帧或4帧等，在一个优选的实施例中，预设时长为3帧。
在该实施例中，在步骤S100之前，还包括以下步骤：
若实际车道线检测结果第一次出现，则对该实际车道线检测结果进行初始化处理，只有该实际车道线检测结果连续预设时长出现时才对该实际车道线检测结果的下一帧进行预测。这里的预设时长可以设置成2帧～4帧之间的任一数值，例如可以为2帧、3帧或4帧等，在一个优选的实施例中，预设时长为3帧。
图3是根据本发明又一个实施例的车道线跟踪方法的示意性流程图，图4是根据本发明一个实施例的第一区域与第二区域的交集区域的示意性图，图5是根据本发明一个实施例的第一区域与第二区域的并集区域的示意性图。如图3至图5所示，在该实施例中，步骤S310还包括以下步骤：
步骤S311，将当前帧实际车道线检测结果中的点分别向左和向右延伸预设长度，以分别得到两个第一边缘点，并将当前帧车道线第一预测结果中的每个点分别向左和向右延伸预设长度，以分别得到两个第二边缘点；
步骤S312，将所有第一边缘点依次连接，以得到第一区域，并将所有第二边缘点依次连接，以得到第二区域；
步骤S313，计算第一区域与第二区域的交集区域和并集区域之比，从而得到交并比值。这里，第一区域与第二区域的交集区域和并集区域分别参见图4和图5，实际车道线30具有第一区域，预测车道线40具有第二区域，两者具有交集区域和并集区域。
图6是根据本发明再一个实施例的车道线跟踪方法的示意性流程图。如图6所示，在该实施例中，在步骤S100之后，还包括以下步骤：
步骤S210，利用扩展卡尔曼滤波算法对上一帧的实际车道线检测结果进行预测，得到当前帧的车道线第二预测结果；
步骤S220，利用匈牙利算法对当前帧的实际车道线检测结果和当前帧的车道线第二预测结果进行关联，得到第二关联结果，第二关联结果包括匹配的当前帧的实际车道线检测结果和当前帧的车道线第二预测结果的第四集合；
步骤S400’，对第一集合和第四集合进行拟合，得到车道线跟踪结果。这里，步骤S210和步骤S200之间没有先后顺序关系。
在步骤S210中，由于扩展卡尔曼滤波算法具有非线性拟合能力，所以利用扩展卡尔曼滤波算法对车道线进行预测，使得车道线跟踪结果更精确和稳定。
该实施例不仅仅利用CNN-LSTM模型对上一帧的实际车道线检测结果预测当前帧的车道线第一预测结果，还利用扩展卡尔曼滤波算法对上一帧的实际车道线检测结果预测当前帧的车道线第二预测结果，再利用匈牙利算法对两者分别进行关联，从而得到第一集合和第四集合，并对第一集合和第四集合进行拟合，得到车道线跟踪结果，从而提高了车道线跟踪的稳定性。这里，第四集合的形成条件与第一集合的形成条件相同，也就是根据当前帧的实际车道线检测结果和当前帧的车道线第二预测结果计算交并比值，然后将第三目标交并比值对应的当前帧的实际车道线检测结果和当前帧的车道线第二预测结果作为第四集合。
在该实施例中，第二关联结果还包括未匹配的当前帧的实际车道线检测结果的第五集合以及未匹配的当前帧的车道线第二预测结果的第六集合。这里，第五集合的形成条件与第二集合的形成条件相同，且对第五集合的处理方式与第二集合的处理方式相同，第六集合的形成条件与第三集合的形成条件相同，且对第六集合的处理方式与第三集合的处理方式相同。即将第四目标交并比值对应的当前帧的实际车道线检测结果作为第五集合，对应的当前帧的车道线第二预测结果作为第六集合，第四目标交并比值为小于或等于预设值的交并比值。
该实施例利用CNN-LSTM模型直接对车道线检测结果进行预测，极大的提高了车道线跟踪速度，由于LSTM网络强大的非线性拟合能力，使得车道线跟踪结果更精确和稳定。
图7是根据本发明一个实施例的车道线跟踪系统的示意性连接框图。如图7所示，在该实施例中，车道线的跟踪系统100包括控制模块10，控制模块10包括存储器11和处理器12，存储器11内存储有计算程序，计算程序被处理器12执行时用于实现上述的跟踪方法。处理器12可以是一个中央处理单元(central processing unit，简称CPU)，或者为数字处理单元等等。处理器12通过通信接口收发数据。存储器11用于存储处理器12执行的程序。存储器11是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何介质，也可以是多个存储器11的组合。上述计算程序可以从计算机可读存储介质下载到相应计算/处理设备或者经由网络(例如因特网、局域网、广域网和/或无线网络)下载到计算机或外部存储设备。这里，控制模块10可以是车身控制器。
就本实施例的描述而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器11中。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (9)
1.一种车道线跟踪方法，其特征在于，包括以下步骤：
获取上一帧的实际车道线检测结果和当前帧的实际车道线检测结果；
利用CNN-LSTM 模型对上一帧的所述实际车道线检测结果进行预测，得到当前帧的车道线第一预测结果；
利用匈牙利算法对当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果进行关联，得到第一关联结果，所述第一关联结果包括匹配的当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果的第一集合；
对所述第一集合进行拟合，得到车道线跟踪结果；
其中，获取上一帧的实际车道线检测结果和当前帧的实际车道线检测结果的步骤，之后还包括以下步骤：
利用扩展卡尔曼滤波算法对上一帧的所述实际车道线检测结果进行预测，得到当前帧的车道线第二预测结果；
利用匈牙利算法对当前帧的所述实际车道线检测结果和当前帧的所述车道线第二预测结果进行关联，得到第二关联结果，所述第二关联结果包括匹配的当前帧的所述实际车道线检测结果和当前帧的所述车道线第二预测结果的第四集合；
对所述第一集合和所述第四集合进行拟合，得到车道线跟踪结果。
2.根据权利要求1所述的车道线跟踪方法，其特征在于，所述第一关联结果还包括未匹配的当前帧的所述实际车道线检测结果的第二集合以及未匹配的当前帧的所述车道线第一预测结果的第三集合。
3.根据权利要求2所述的车道线跟踪方法，其特征在于，利用匈牙利算法对所述当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果进行关联，得到第一关联结果的步骤，具体包括以下步骤：
根据当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果计算交并比值；
将第一目标交并比值对应的当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果作为所述第一集合，所述第一目标交并比值为大于预设值的所述交并比值。
4.根据权利要求3所述的车道线跟踪方法，其特征在于，根据当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果计算交并比值的步骤，之后还包括以下步骤：
将第二目标交并比值对应的当前帧的所述实际车道线检测结果作为所述第二集合，对应的当前帧的所述车道线第一预测结果作为所述第三集合，所述第二目标交并比值为小于或等于所述预设值的所述交并比值。
5.根据权利要求4所述的车道线跟踪方法，其特征在于，将第二目标交并比值对应的当前帧的所述实际车道线检测结果作为所述第二集合，对应的当前帧的所述车道线第一预测结果作为所述第三集合的步骤，之后还包括以下步骤：
若所述实际车道线检测结果连续预设时长内出现在所述第二集合中，则将该实际车道线检测结果删除。
6.根据权利要求5所述的车道线跟踪方法，其特征在于，将第二目标交并比值对应的当前帧的所述实际车道线检测结果作为所述第二集合，对应的当前帧的所述车道线第一预测结果作为所述第三集合的步骤，之后还包括以下步骤：
对所述第三集合中的所述车道线第一预测结果进行初始化处理。
7.根据权利要求3-6中任一项所述的车道线跟踪方法，其特征在于，根据当前帧的所述实际车道线检测结果和当前帧的所述车道线第一预测结果计算交并比值的步骤，具体包括以下步骤：
将当前帧的所述实际车道线检测结果中的点分别向左和向右延伸预设长度，以分别得到两个第一边缘点，并将当前帧的所述车道线第一预测结果中的每个点分别向左和向右延伸预设长度，以分别得到两个第二边缘点；
将所有所述第一边缘点依次连接，以得到第一区域，并将所有所述第二边缘点依次连接，以得到第二区域；
计算所述第一区域与所述第二区域的交集区域和并集区域之比，从而得到所述交并比值。
8.根据权利要求1所述的车道线跟踪方法，其特征在于，所述第二关联结果还包括未匹配的当前帧的实际车道线检测结果的第五集合以及未匹配的当前帧的车道线第二预测结果的第六集合。
9.一种车道线跟踪系统，其特征在于，包括：
控制模块，所述控制模块包括存储器和处理器，所述存储器内存储有计算程序，所述计算程序被所述处理器执行时用于实现根据权利要求1-8中任一项所述的车道线跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310295526.6A CN116409326B (zh) | 2023-03-17 | 2023-03-17 | 一种车道线跟踪方法及车道线跟踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310295526.6A CN116409326B (zh) | 2023-03-17 | 2023-03-17 | 一种车道线跟踪方法及车道线跟踪系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116409326A CN116409326A (zh) | 2023-07-11 |
| CN116409326B true CN116409326B (zh) | 2025-11-18 |
Family
ID=87055793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310295526.6A Active CN116409326B (zh) | 2023-03-17 | 2023-03-17 | 一种车道线跟踪方法及车道线跟踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116409326B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127513A (zh) * | 2019-12-02 | 2020-05-08 | 北京交通大学 | 一种多目标跟踪方法 |
| CN115471522A (zh) * | 2022-07-29 | 2022-12-13 | 重庆长安汽车股份有限公司 | 道路的路沿线拟合与跟踪方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101578434B1 (ko) * | 2011-08-04 | 2015-12-17 | 엘지전자 주식회사 | 차선 인식 장치 및 그 방법 |
| CN106056100B (zh) * | 2016-06-28 | 2019-03-08 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
| CN109002745A (zh) * | 2017-06-06 | 2018-12-14 | 武汉小狮科技有限公司 | 一种基于深度学习和跟踪技术的车道线实时检测方法 |
| CN112487908B (zh) * | 2020-11-23 | 2022-11-18 | 东南大学 | 基于车载视频的前方车辆压线行为检测和动态追踪方法 |
| CN114463720B (zh) * | 2022-01-25 | 2022-10-21 | 杭州飞步科技有限公司 | 一种基于线段交并比损失函数的车道线检测方法 |
-
2023
- 2023-03-17 CN CN202310295526.6A patent/CN116409326B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127513A (zh) * | 2019-12-02 | 2020-05-08 | 北京交通大学 | 一种多目标跟踪方法 |
| CN115471522A (zh) * | 2022-07-29 | 2022-12-13 | 重庆长安汽车股份有限公司 | 道路的路沿线拟合与跟踪方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116409326A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313763A (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| EP3714290A1 (en) | Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles | |
| CN110789517A (zh) | 自动驾驶横向控制方法、装置、设备及存储介质 | |
| CN111508025B (zh) | 三维位置估计装置以及程序 | |
| WO1999044173A1 (en) | Road profile prediction | |
| EP3714285A1 (en) | Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles | |
| US20200189527A1 (en) | Information processing system, program, and information processing method | |
| US20160275694A1 (en) | Image processor, photographing device, program, apparatus control system, and apparatus | |
| JPWO2020137069A1 (ja) | 位置推定システム | |
| CN113212442A (zh) | 一种轨迹感知车辆驾驶分析方法及系统 | |
| CN111352430A (zh) | 路径规划方法、装置及机器人 | |
| CN116409326B (zh) | 一种车道线跟踪方法及车道线跟踪系统 | |
| CN111126209A (zh) | 车道线检测方法及相关设备 | |
| CN114170275A (zh) | 一种基于卡尔曼滤波的车道线处理方法及系统 | |
| CN110824496B (zh) | 运动估计方法、装置、计算机设备和存储介质 | |
| CN115257814B (zh) | 预测车辆换道的方法、装置、设备及存储介质 | |
| US20250336090A1 (en) | Map information update method, landmark generation method, and feature point distribution adjustment method | |
| CN118334084B (zh) | 红外目标跟踪方法、装置、设备和存储介质 | |
| CN115578413A (zh) | 一种行人轨迹预测方法、装置及服务器 | |
| CN109918567B (zh) | 出行方式推荐方法及装置 | |
| WO2021081816A1 (zh) | 一种数据处理方法、装置和可移动平台 | |
| CN114612757B (zh) | 一种基于深度学习的多源导航图像融合方法及系统 | |
| CN116520338A (zh) | 目标车辆距离的确定方法、装置、电子设备和存储介质 | |
| CN111829533B (zh) | 一种数据检测方法、装置、设备和存储介质 | |
| CN115861896A (zh) | 目标跟踪方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |