[go: up one dir, main page]

CN115081187A - 无人驾驶环境分层特征建模方法、系统及其存储介质 - Google Patents

无人驾驶环境分层特征建模方法、系统及其存储介质 Download PDF

Info

Publication number
CN115081187A
CN115081187A CN202210549171.4A CN202210549171A CN115081187A CN 115081187 A CN115081187 A CN 115081187A CN 202210549171 A CN202210549171 A CN 202210549171A CN 115081187 A CN115081187 A CN 115081187A
Authority
CN
China
Prior art keywords
picture
pseudo
environment
layer pseudo
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210549171.4A
Other languages
English (en)
Inventor
罗玉涛
梁伟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210549171.4A priority Critical patent/CN115081187A/zh
Publication of CN115081187A publication Critical patent/CN115081187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人驾驶环境分层特征建模方法、系统及其存储介质。该方法包括步骤无人驾驶车辆获取自身周围的环境信息并分层；对分层的环境信息分别进行编码，获得表征对应类型环境信息的伪图片；将伪图片输入卷积神经网络中进行分层特征提取；使用聚类算法对不同层次的伪图片各自分别对应的环境的分层特征进行聚类，并用聚类结果反向传播训练卷积神经网络后，再对后续的分层特征进行聚类建模。本发明相比现有技术，通过对环境特征分层提取、场景类型分层聚类的结合，使分层特征在聚类后更为显著、更为稠密，功能上具备全面、完备的描述了无人驾驶场景环境的基础。

Description

无人驾驶环境分层特征建模方法、系统及其存储介质
技术领域
本发明属于无人驾驶汽车的技术领域，具体涉及一种无人驾驶环境分层特征建模方法。
背景技术
目前，无人驾驶汽车仍很难落地于真实场景，其中一个难点在于实际交通驾驶环境复杂多变，交通构成要素种类多、数量多、物理特性各异，且具有不同的动态时变特性所造成的无人驾驶场景建模困难。
现有的建模方法通常只关注如何描述无人驾驶场景的显性特性，而没有对无人驾驶场景的底层元特征进行挖掘，导致场景分类的完备性欠佳，遇到场景发生结构重大变化或存在突发情况时造成场景特征分析失效的问题。另外，场景中的不同元特征之间的物理特征和动态特性皆不尽相同，很难用同一种建模理论进行统一，而无人驾驶决策需要接受统一形式的场景特征信息，场景中不同层次维度的特征难以统一建模，这进一步加大了场景特征提取的难度。此外，现有的建模方法依靠从图像进行语义分割进行建模，无法准确高效表征环境特征。
发明内容
为了克服现有技术存在的一个或者多个缺陷与不足，本发明的第一目的在于提供一种无人驾驶环境分层特征建模方法，第一目的在于提供一种无人驾驶环境分层特征建模系统，第三目的在于提供一种存储介质，从而实现对复杂场景下的无人驾驶环境进行有效建模。
为了达到上述目的，本发明采用以下的技术方案。
一种无人驾驶环境分层特征建模方法，包括步骤如下：
无人驾驶车辆获取自身周围的环境信息，并相应地将环境信息分为交通智体、路网设施、临时设施、气候环境、交通规则五个层次；
对交通智体、路网设施、临时设施、气候环境、交通规则五个层次的环境信息分别进行编码，获得表征对应类型环境信息的交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片；
将交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片输入卷积神经网络中进行分层特征提取；
使用聚类算法对交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片各自分别对应的环境的分层特征进行聚类，并用聚类结果反向传播训练，训练到卷积神经网络收敛后，再对后续的分层特征进行聚类建模。
优选地，卷积神经网络为残差卷积神经网络Resnet50；
聚类算法为k-means算法。
进一步地，使用残差卷积神经网络Resnet50进行分层特征提取的过程为：
将交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片均分别分为RGB三个通道，设定每个层次的伪图片宽度均为W、高度均为H，则每个层次特征的伪图片的维度Dim＝[H,W,3]，设定进行聚类所需的类数为k，把五个层次的伪图片的通道进行叠加，得到维度Dim＝[H,W,15]的伪图片集；
将伪图片集输入到残差卷积神经网络Resnet50中进行卷积计算，提取无人驾驶环境的元特征得到重构语义图
Figure BDA0003653830990000021
设f(θ)表示残差卷积神经网络Resnet50的映射，残差卷积神经网络Resnet50的训练过程为一个从给定训练集X＝{x1,x2,...,xn}找到最优参数θ*使得f(θ*)能够描述环境信息输入的通用特征的过程，该过程如下式所示：
Figure BDA0003653830990000031
其中，n表示图片编号，N表示图片总数量，yn表示聚类伪标签，xn表示输入图像，θ表示卷积神经网络参数向量，fθ()表示θ下图像的映射，gW()表示图像分类函数，l()表示多类别逻辑回归损失函数。
再进一步地，k-means算法对分层特征进行聚类的过程为：
根据下式对重构语义图
Figure BDA0003653830990000032
以几何准则将元特征聚类成k个不同的组，并为重构语义图
Figure BDA0003653830990000033
中的每个像素点赋予像素标签y：
Figure BDA0003653830990000034
其中，d表示输入数据的维度，即伪图片的像素数，k表示标签总类别数，C表示聚类中心矩阵，d×k表示中心矩阵C的维度，y为像素标签。
更进一步地，其特征在于，用聚类结果反向传播训练到卷积神经网络收敛的过程为：
根据像素标签y和重构语义图
Figure BDA0003653830990000035
之间的像素误差损失对残差卷积神经网络Resnet50进行反向传播，计算残差卷积神经网络Resnet50的损失函数Loss如下式：
Figure BDA0003653830990000036
其中，
Figure BDA0003653830990000037
表示聚类标签的估计值；
判断损失函数Loss的计算结构是否已经收敛；若收敛，则代表残差卷积神经网络Resnet50训练结束，分层特征完成聚类；若未收敛，则继续训练。
优选地，无人驾驶车辆包括无人驾驶预测系统；对交通智体进行编码得到交通智体层伪图片的步骤为：
将环境信息中的车辆、行人、非机动车进行标注，以蓝色方框代表本车周边的其他车辆、行人、非机动车，不同深浅的颜色表示不同时刻的、行人、非机动车位置，以颜色最深的方框代表、行人、非机动车在当前的t时刻的位置，将颜色逐渐变浅用以代表t+1、t+2、…、t+n时刻、行人、非机动车的位置，t时刻以后、行人、非机动车的位置由无人驾驶预测系统进行预测，方框的大小按BoundingBox的比例进行缩小，标注完成后输出为交通智体层伪图片。
一种无人驾驶环境分层特征建模系统，用于实现前述任一项的无人驾驶环境分层特征建模方法，包括环境信息获取模块、环境信息分层编码模块、环境信息分层特征提取模块、环境信息聚类模块；
环境信息获取模块用于采集无人驾驶车辆自身周围的环境信息，并将信息传送到环境信息分层编码模块；
环境信息分层编码模块用于对环境信息进行分层编码，得到交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片五个层次的伪图片，并将这五个层次的伪图片传送到环境信息分层特征提取模块；
环境信息分层特征提取模块用于对交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片进行分层特征提取，并将提取到的分层特征传送到环境信息聚类模块；
环境信息聚类模块用于对分层特征进行聚类以实现对环境信息的建模。
一种存储介质，包括可执行程序，可执行程序被执行时实现前述任一项的无人驾驶环境分层特征建模方法。
本发明技术方案与现有技术相比，具有如下有益效果：
通过对环境特征分层提取、场景类型分层聚类的结合，使分层特征在聚类后更为显著、更为稠密；伪图片分层的方式，有利于分层特征之间的叠加或转换，降低了环境特征提取的难度，使不同层次分层特征之间耦合性降低避免复杂度过高，功能上具备全面、完备的描述了无人驾驶场景环境的基础。
附图说明
图1为本发明的一种无人驾驶环境分层特征建模方法的总体流程示意图；
图2为本发明无人驾驶环境分层特征建模方法的数据处理的示意图；
图3为本发明无人驾驶环境分层特征建模方法的特征提取和聚类的示意图；
图4为本发明的一种无人驾驶环境分层特征建模系统的框架结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1至图3所示所示，本实施例的一种无人驾驶环境分层特征建模方法，具体步骤如下：
S1、在无人驾驶的场景下，车辆从自身的感知定位系统及无人驾驶预测系统获取所探测到的环境信息及所预测到的周边车辆轨迹，对离散的环境信息进行整理分类得到动态障碍、道路形态、静态障碍、气候、交规、交通设施、车辆位置与速度这些环境信息；
S2、将步骤S1获取到的环境信息进行场景编码，获得五个层次的伪图片，并限定以车辆自身为伪图片的中心位置，伪图片的y轴指向车辆自身行驶的方向，y轴的正方向与车辆的速度方向一致，x轴与车辆自身行驶的方向垂直，具体编码过程包括：
S21、交通智体编码：将环境信息中动态交通参与者进行提取并标注，动态交通参与者包含车辆、行人、非机动车，以蓝色方框代表本车周边的其他车辆、行人、非机动车，不同深浅的颜色表示不同时刻的、行人、非机动车位置，以颜色最深的方框代表、行人、非机动车在当前的t时刻的位置，将颜色逐渐变浅用以代表t+1、t+2、…、t+n时刻、行人、非机动车的位置，t时刻以后、行人、非机动车的位置由无人驾驶预测系统给出，方框的大小按BoundingBox的比例进行缩小，标注完成后输出为交通智体层伪图片；交通智体层伪图片主要包括交通环境中具有主观能动性的动态交通参与者，交通智体的主观能动性强，动态特性明显，轨迹与意图预测难度高；
S22、路网设施编码：用不同色块代表由不同路网设施导致的禁止通行区域或可通行区域，标注完成后输出为路网设施层伪图片；路网设施层伪图片主要描述交通路网的连接关系以及道路线、路灯、指示牌、绿化带等交通设施信息，是交通要素中最基本的要素类别，如无重大变故这类要素基本不发生变化；
S23、临时设施编码：用不同色块代表由不同临时设施导致的禁止通行区域或可通行区域，所使用的色块与步骤S22可以重复，标注完成后输出为临时设施层伪图片；临时设施层伪图片主要描述突发性的临时障碍，例如静止的事故车辆、临时施工设施等，这类要素是道路上的临时性障碍物，不属于路网结构，具有很强的突发性；
S24、气候环境编码：根据气候的类型，用不同的颜色及颜色深浅对车辆所处的区域进行上色，标注完成后输出为气候环境层伪图片；气候环境层伪图片主要用于描述当前无人驾驶场景下的天气及光照情况，天气与光照具有一定的动态特性，且其对于车辆的影响主要体现在能见度、路面湿滑情况等方面；
S25、交通规则编码：用不同颜色的色块或线条代表交通规则中的不同区域，如红色代表交通规则中禁止通行的区域、橙黄色代表交通规则中紧急情况下允许通行的区域、绿色代表交通规则中允许通行的区域，标注完成后输出为交通规则层伪图片；交通规则层伪图片用于描述是否允许越线、是否允许超车等人为规则限制，这一类要素没有实体，但对车辆的行为起到约束限制作用；
S3、将步骤S2所生成的五个层次的伪图片提取元特征后进行深度聚类，将不同层次的伪图片整合到同一语义图中，从而实现对无人驾驶环境的建模；元特征应该满足独立性和完备性两个要求，独立性指元特征能够描述一类相似要素的特征，元特征之间互不耦合，即元特征之间所描述的要素无重合，完备性指所有的元特征通过组合的方式可以描述所有的场景；具体过程包括：
S31、将五个层次的伪图片均分别分为RGB三个通道，设定每个层次的伪图片宽度均为W、高度均为H，则每个层次特征的伪图片的维度Dim＝[H,W,3]，设定进行聚类所需的类数为k，把五个层次的伪图片的通道进行叠加，得到维度Dim＝[H,W,15]的伪图片集；
S32、将伪图片集输入到残差卷积神经网络Resnet50中进行卷积计算，提取无人驾驶环境的元特征得到重构语义图
Figure BDA0003653830990000071
若用f(θ)表示残差卷积神经网络Resnet50的映射，则残差卷积神经网络Resnet50的训练过程为一个从给定训练集X＝{x1,x2,...,xn}找到最优参数θ*使得f(θ*)能够描述环境信息输入的通用特征的过程，该过程如下式所示：
Figure BDA0003653830990000072
其中，n表示图片编号，N表示图片总数量，yn表示聚类伪标签，xn表示输入图像，θ表示卷积神经网络参数向量，fθ()表示θ下图像的映射，gW()表示图像分类函数，l()表示多类别逻辑回归损失函数；
S33、根据下式的k-means算法对重构语义图
Figure BDA0003653830990000081
以几何准则将元特征聚类成k个不同的组，并为重构语义图
Figure BDA0003653830990000082
中的每个像素点赋予像素标签y：
Figure BDA0003653830990000083
其中，d表示输入数据的维度，即伪图片的像素数，k表示标签总类别数，C表示聚类中心矩阵，d×k表示中心矩阵C的维度，y为像素标签；
S34、根据像素标签y和重构语义图
Figure BDA0003653830990000084
之间的像素误差损失对残差卷积神经网络Resnet50进行反向传播计算残差卷积神经网络Resnet50的损失函数Loss，损失函数Loss如下式：
Figure BDA0003653830990000085
其中，
Figure BDA0003653830990000086
表示聚类标签的估计值；
S35、判断损失函数LosS的计算结构是否已经收敛；若收敛，则代表残差卷积神经网络Resnet50训练结束，分层特征完成聚类；若未收敛，则返回步骤S32继续训练；
S4、将完成训练的残差卷积神经网络Resnet50与k-means算法结合用于对后续的伪图片，对无人驾驶环境分层特征进行建模。
本实施例相比现有技术，其有益效果在于：
通过对环境特征分层提取、场景类型分层聚类的方式，从车辆的感知、定位系统输出的中提取出独立、完备的元特征，使分层特征在聚类后更为显著、更为稠密；伪图片分层的方式，降低了环境特征提取的难度，使不同层次分层特征之间耦合性降低避免复杂度过高，同时也有利于分层特征之间的叠加或转换，功能上具备全面、完备的描述了无人驾驶场景环境的基础，也提升了后续对场景信息的使用效率，方便灵活快速地使用分层特征来构建无人驾驶场景下的环境。
实施例2
如图4所示，本实施例的无人驾驶环境分层特征建模系统用于执行前述实施例1中的无人驾驶环境分层特征建模方法，无人驾驶环境分层特征建模系统包括环境信息获取模块、环境信息分层编码模块、环境信息分层特征提取模块、环境信息聚类模块。
环境信息获取模块用于采集无人驾驶车辆自身周围的环境信息，并将信息传送到环境信息分层编码模块。
环境信息分层编码模块用于对环境信息进行分层编码，得到交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片五个层次的伪图片，并将这五个层次的伪图片传送到环境信息分层特征提取模块。
环境信息分层特征提取模块用于对交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片进行分层特征提取，并将提取到的分层特征传送到环境信息聚类模块。环境信息分层特征提取模块的具体结构优选为残差卷积神经网络Resnet50。
环境信息聚类模块用于对分层特征进行聚类以实现对环境信息的建模。
本实施例相比现有技术，其有益效果在于：
通过对环境信息的分层提取和聚类，提升了环境信息的使用效率，可方便灵活快速使用分层特征来构建无人驾驶场景下的环境。
实施例3
本实施例的一种存储介质，存储有可执行程序，该可执行程序执行时用于实现实施例1中的无人驾驶环境分层特征建模方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式都包含在本发明的保护范围之内。

Claims (8)

1.一种无人驾驶环境分层特征建模方法，其特征在于，包括步骤如下：
无人驾驶车辆获取自身周围的环境信息，并相应地将环境信息分为交通智体、路网设施、临时设施、气候环境、交通规则五个层次；
对交通智体、路网设施、临时设施、气候环境、交通规则五个层次的环境信息分别进行编码，获得表征对应类型环境信息的交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片；
将交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片输入卷积神经网络中进行分层特征提取；
使用聚类算法对交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片各自分别对应的环境的分层特征进行聚类，并用聚类结果反向传播训练，训练到卷积神经网络收敛后，再对后续的分层特征进行聚类建模。
2.根据权利要求1所述无人驾驶环境分层特征建模方法，其特征在于，所述卷积神经网络为残差卷积神经网络Resnet50；
所述聚类算法为k-means算法。
3.根据权利要求2所述无人驾驶环境分层特征建模方法，其特征在于，使用残差卷积神经网络Resnet50进行分层特征提取的过程为：
将交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片均分别分为RGB三个通道，设定每个层次的伪图片宽度均为W、高度均为H，则每个层次特征的伪图片的维度Dim＝[H,W,3]，设定进行聚类所需的类数为k，把五个层次的伪图片的通道进行叠加，得到维度Dim＝[H,W,15]的伪图片集；
将伪图片集输入到残差卷积神经网络Resnet50中进行卷积计算，提取无人驾驶环境的元特征得到重构语义图
Figure FDA0003653830980000011
设f(θ)表示残差卷积神经网络Resnet50的映射，残差卷积神经网络Resnet50的训练过程为一个从给定训练集X＝{x1,x2,...,xn}找到最优参数θ*使得f(θ*)能够描述环境信息输入的通用特征的过程，该过程如下式所示：
Figure FDA0003653830980000021
其中，n表示图片编号，N表示图片总数量，yn表示聚类伪标签，xn表示输入图像，θ表示卷积神经网络参数向量，fθ()表示θ下图像的映射，gW()表示图像分类函数，l()表示多类别逻辑回归损失函数。
4.根据权利要求3所述无人驾驶环境分层特征建模方法，其特征在于，k-means算法对分层特征进行聚类的过程为：
根据下式对重构语义图
Figure FDA0003653830980000022
以几何准则将元特征聚类成k个不同的组，并为重构语义图
Figure FDA0003653830980000023
中的每个像素点赋予像素标签y：
Figure FDA0003653830980000024
其中，d表示输入数据的维度，即伪图片的像素数，k表示标签总类别数，C表示聚类中心矩阵，d×k表示中心矩阵C的维度，y为像素标签。
5.根据权利要求4所述无人驾驶环境分层特征建模方法，其特征在于，用聚类结果反向传播训练到卷积神经网络收敛的过程为：
根据像素标签y和重构语义图
Figure FDA0003653830980000025
之间的像素误差损失对残差卷积神经网络Resnet50进行反向传播，计算残差卷积神经网络Resnet50的损失函数Loss如下式：
Figure FDA0003653830980000026
其中，
Figure FDA0003653830980000031
表示聚类标签的估计值；
判断损失函数Loss的计算结构是否已经收敛；若收敛，则代表残差卷积神经网络Resnet50训练结束，分层特征完成聚类；若未收敛，则继续训练。
6.根据权利要求5所述无人驾驶环境分层特征建模方法，其特征在于，无人驾驶车辆包括无人驾驶预测系统；对交通智体进行编码得到交通智体层伪图片的步骤为：
将环境信息中的车辆、行人、非机动车进行标注，以蓝色方框代表本车周边的其他车辆、行人、非机动车，不同深浅的颜色表示不同时刻的、行人、非机动车位置，以颜色最深的方框代表、行人、非机动车在当前的t时刻的位置，将颜色逐渐变浅用以代表t+1、t+2、…、t+n时刻、行人、非机动车的位置，t时刻以后、行人、非机动车的位置由无人驾驶预测系统进行预测，方框的大小按BoundingBox的比例进行缩小，标注完成后输出为交通智体层伪图片。
7.一种无人驾驶环境分层特征建模系统，其特征在于，包括环境信息获取模块、环境信息分层编码模块、环境信息分层特征提取模块、环境信息聚类模块；
所述环境信息获取模块用于采集无人驾驶车辆自身周围的环境信息，并将信息传送到环境信息分层编码模块；
所述环境信息分层编码模块用于对环境信息进行分层编码，得到交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片五个层次的伪图片，并将这五个层次的伪图片传送到环境信息分层特征提取模块；
所述环境信息分层特征提取模块用于对交通智体层伪图片、路网设施层伪图片、临时设施层伪图片、气候环境层伪图片、交通规则层伪图片进行分层特征提取，并将提取到的分层特征传送到环境信息聚类模块；
所述环境信息聚类模块用于对分层特征进行聚类以实现对环境信息的建模。
8.一种存储介质，包括可执行程序，其特征在于，所述可执行程序被执行时实现权利要求1至6任一项所述的无人驾驶环境分层特征建模方法。
CN202210549171.4A 2022-05-20 2022-05-20 无人驾驶环境分层特征建模方法、系统及其存储介质 Pending CN115081187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210549171.4A CN115081187A (zh) 2022-05-20 2022-05-20 无人驾驶环境分层特征建模方法、系统及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210549171.4A CN115081187A (zh) 2022-05-20 2022-05-20 无人驾驶环境分层特征建模方法、系统及其存储介质

Publications (1)

Publication Number Publication Date
CN115081187A true CN115081187A (zh) 2022-09-20

Family

ID=83248839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210549171.4A Pending CN115081187A (zh) 2022-05-20 2022-05-20 无人驾驶环境分层特征建模方法、系统及其存储介质

Country Status (1)

Country Link
CN (1) CN115081187A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN113255490A (zh) * 2021-05-15 2021-08-13 成都理工大学 一种基于k-means聚类合并的无监督行人重识别方法
WO2022033810A1 (de) * 2020-08-14 2022-02-17 Zf Friedrichshafen Ag Computerimplementiertes verfahren und computerprogrammprodukt zum erhalten einer umfeldszenen-repräsentation für ein automatisiertes fahrsystem, computerimplementiertes verfahren zum lernen einer prädiktion von umfeldszenen für ein automatisiertes fahrsystem und steuergerät für ein automatisiertes fahrsystem
CN114202743A (zh) * 2021-09-10 2022-03-18 湘潭大学 自动驾驶场景下基于改进faster-RCNN的小目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
WO2022033810A1 (de) * 2020-08-14 2022-02-17 Zf Friedrichshafen Ag Computerimplementiertes verfahren und computerprogrammprodukt zum erhalten einer umfeldszenen-repräsentation für ein automatisiertes fahrsystem, computerimplementiertes verfahren zum lernen einer prädiktion von umfeldszenen für ein automatisiertes fahrsystem und steuergerät für ein automatisiertes fahrsystem
CN113255490A (zh) * 2021-05-15 2021-08-13 成都理工大学 一种基于k-means聚类合并的无监督行人重识别方法
CN114202743A (zh) * 2021-09-10 2022-03-18 湘潭大学 自动驾驶场景下基于改进faster-RCNN的小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
（德）汉斯-莱奥-罗斯著，王红等译: "未来交通与出行的安全性", 30 March 2022, 北京：机械工业出版社, pages: 158 - 164 *

Similar Documents

Publication Publication Date Title
US11989847B2 (en) Photorealistic image simulation with geometry-aware composition
Mehra et al. ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions
US11574462B1 (en) Data augmentation for detour path configuring
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
US12154320B2 (en) Data augmentation for vehicle control
CN108062569B (zh) 一种基于红外和雷达的无人车驾驶决策方法
US12233784B2 (en) Data augmentation for driver monitoring
CN118485835B (zh) 基于模态分歧差异融合的多光谱图像语义分割方法
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
CN114049422B (zh) 基于数字孪生与图像转换的数据增强方法及系统
CN113284042B (zh) 一种多路并行图像内容特征优化风格迁移方法及系统
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
CN114815810A (zh) 无人机协同的水上清洁机器人路径规划方法及设备
CN115358942A (zh) 一种课程学习与师生学习相结合的图像去雾方法
CN116883667B (zh) 基于困难类别感知机制的夜间街景语义分割方法
CN115081187A (zh) 无人驾驶环境分层特征建模方法、系统及其存储介质
CN110147733A (zh) 一种跨域的大范围场景生成方法
CN120426982A (zh) 一种结合城市级神经辐射场先验与时域增强的占据栅格预测方法
CN120057020A (zh) 用于计算基础平台的基于世界模型理解的端到端控制方法
Kong et al. GADA-SegNet: Gated attentive domain adaptation network for semantic segmentation of LiDAR point clouds
CN116883963B (zh) 一种基于改进YOLOv5的人行横道检测方法
CN112733934B (zh) 复杂环境下的多模态特征融合道路场景语义分割方法
Chen Road target detection method based on improved YOLOv8
CN117953425A (zh) 一种基于双轨异构型的人群密度估计方法
US20230196130A1 (en) System and method of evaluating and assigning a quantitative number for assets in connection with an autonomous vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination