CN116097128B - 用于对车辆位置进行确定的方法和设备 - Google Patents
用于对车辆位置进行确定的方法和设备Info
- Publication number
- CN116097128B CN116097128B CN202080103841.9A CN202080103841A CN116097128B CN 116097128 B CN116097128 B CN 116097128B CN 202080103841 A CN202080103841 A CN 202080103841A CN 116097128 B CN116097128 B CN 116097128B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- determining
- correction
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
Abstract
本公开描述了一种用于基于稳定地标来对车辆的校正位置进行确定的方法和装置。该方法包括:对车辆的最近已知位置矢量进行确定;使用成像设备对车辆的附近区域内的图像进行捕获;基于先前构建的车辆的附近区域的参考地图,来对所捕获的图像内的稳定地标进行识别;基于所确定的车辆的最近已知位置矢量和所识别的稳定地标,来对车辆的位置的校正进行确定;以及基于所确定的校正,来对车辆的更新位置进行确定。
Description
技术领域
本发明总体上涉及对车辆位置进行确定,并且更具体地涉及基于全球导航卫星系统(GNSS)、惯性测量单元(IMU)、以及建立的稳定地标的组合来对车辆位置进行准确定位。
背景技术
随着自动驾驶变得越来越可行,在车辆内实现完全或部分自动系统所需的工具和技术必须提供足够准确和有用的数据,以利用该数据来处理和执行各种自动功能。自动车辆系统的关键方面是在任何给定时间都对车辆在其环境中的准确位置进行确定。这不仅允许车辆从起点准确地导航到目的地,还确保车辆不会与附近的车辆、行人、基础设施等发生碰撞。
自动驾驶系统需要具有子车道准确度的定位,这通常转化为分米级精度。在晴朗的天气和开阔的条件(诸如存在于高速公路上的那些条件)下,这可以通过使用包括实时运动学(RTK)或精确点定位(PPP)的高精度GNSS技术来完成。然而,在具有密集定位的建筑物和其他各种密集基础设施的城市条件下,GNSS经常受到信号阻碍物、多路径传播和其他负面影响。这妨碍了GNSS传感器以足够的准确度对车辆进行定位的能力。对该障碍的解决方案包括实施附加的定位方法来增强GNSS对受阻区域中的位置进行确定,这些定位方法包括航位推算、IMU测量的集成、视觉里程计、基于摄像装置或LIDAR测量的同步定位和测绘(SLAM,simultaneous localization and mapping)算法、地图或点云匹配、关于特征和/或地标的定位、以及上述各者的组合。
这些方法可以被分类为两个独立的类别——惯性方法和基于地图的方法。惯性方法包括实现IMU、视觉里程计、以及SLAM算法的方法。这些方法被用于基于当前传感器读数对车辆位置的估计值进行确定,而无需关于车辆的当前环境的任何先验知识。这些方法的缺点是当GNSS信号丢失时,车辆位置估计会偏离其校正值。这种偏离随着时间或从最近已知正确位置行进的距离而增大。
基于地图的方法(包括基于特征或地标的地图或点云匹配和定位)使用关于环境的先验知识,诸如先前生成的参考地图,来对车辆位置进行确定。这允许基于已知的周围环境的细节来对车辆位置估计的偏离进行补偿。当与GNSS耦合时,与惯性方法相比,基于地图的方法提供了更高的准确度,因为在准确的GNSS信号变得不可用时,位置估计与行进的时间或距离无关。在已知的基于地图的方法的某些版本中,首先生成特定区域的地图,例如,基于先前捕获的图像或用于构建参考地图的点云数据来生成。然后,当车辆导航通过该区域并且不能准确地接收到GNSS信号时,车辆会从车载成像设备捕获当前图像,并且系统尝试将所捕获的图像与先前生成的地图进行匹配以对车辆的准确位置进行确定。
然而,当前基于地图的方法通常效率低下并且需要对多个参考地图的可能性进行分析以对最佳匹配进行确定,这需要时间和计算能力,该计算能力在行进的车辆上可能不容易获得。因此,期望一种在城市条件下对车辆位置进行确定的改进方法。
发明内容
本公开提供了一种用于基于最近已知位置(last known position)、稳定地标、以及车辆的当前周围环境的参考地图的组合来对车辆的位置进行确定的方法。在实施方式中,车辆的附近区域的参考地图是预先确定的,并且对稳定地标进行识别并且定位在该地图内。为了确定将什么量作为稳定地标,需要在一段时间内捕获感兴趣的区域的多个图像,并且将保持恒定且不变的特征视为是稳定的。
一旦地标被识别为稳定的,该地标就可以用作地图内的参考点,以与最近已知位置耦合而对车辆的位置进行确定。在本公开的实施方式中,对车辆的位置矢量进行确定,其中该位置矢量表示车辆行进时的速度和方向。在难以确定当前位置矢量的城市背景或类似环境中,对最近已知位置矢量进行确定,并且基于最近已知位置矢量和车辆的当前附近区域内的稳定地标来进一步对当前位置的校正进行确定。
车辆的附近区域的图像例如通过车载摄像装置进行捕获,并且将该图像用于对车辆的当前位置进行确定。所捕获的图像可以包括稳定地标以及指示摄像装置的方向以建立车辆的位置的数据。在另外的实施方式中,惯性测量单元(IMU)被实现为在基于GNSS信号的位置准确度下降到阈值以下之后的一段时间内对车辆的位置进行确定,从而延长最近已知位置被确定为准确的时间。在从IMU检索到的数据的准确度低于IMU阈值之后,将基于参考地图和所捕获的图像来对车辆位置的校正进行计算。
至少通过参考该综述、下面的详细描述和附图,前述的实施方式和本文描述的实施方式的其他优点对于本领域的普通技术人员将是显而易见的。
附图说明
图1是根据实施方式的用于对至少一个稳定地标进行识别的方法的流程图;
图2是根据实施方式的用于对车辆的位置进行确定的方法的流程图;以及
图3是根据实施方式的装置的框图。
具体实施方式
在位置确定的准确度在延长的时间段内低于阈值时,与惯性方法相比,基于地图的方法可以为自动驾驶应用提供更好的位置估计,因为惯性方法保持有效的时间可能是非常有限的。然而,现有的基于地图的方法面临着许多挑战。由其他车辆、临时基础设施等引起的环境和遮挡在时间上的可变性在对捕获的当前图像与参考地图之间的匹配进行有效且准确地确定方面存在障碍。诸如道路标志或交通信号灯等的地标可能会消失或被移动,车道标记可能会磨损,树叶、雪、泥土、临时或半永久性交通标志等的出现或消失都会显著改变由自动驾驶车辆的成像设备感知的环境。参考地图很快就会变得过时,并且仅仅依赖不准确的地图会导致不正确的位置确定。由于这些未知的变化,地图匹配算法或特征匹配算法可能会失败,从而使车辆没有位置或位置不正确。此外,仅仅依赖基于地图的方法可能会带来额外的挑战,因为在不依赖于最近已知位置的情况下从GNSS位置直接转移到基于地图的位置需要在短时间段内进行图像与地图的积极匹配,但是往往车辆的速度使得这种快速匹配很难(如果不是不可能的话)在保持准确位置估计的同时准确地执行。
一种用于对车辆位置进行确定的方法的一个实施方式涉及:创建具有稳定地标的参考地图,并且使用参考地图结合GNSS和IMU系统来对车辆的准确当前位置进行确定。当根据单独GNSS可以确定的车辆当前位置的准确度低于阈值时,可以使用所公开的方法。
下面的讨论对包括稳定地标的参考地图的生成进行了描述。这可以在除了其位置被确定的车辆以外的车辆上执行,因为参考地图需要在延长的时间段内捕获大量图像以确定什么量作为稳定地标。然后可以对所生成的参考地图进行存储以供车辆将来访问,例如,在图2中描述的方法期间使用。
图1是根据实施方式的用于对至少一个稳定地标进行识别的方法100的流程图。
在步骤110处,在一段时间内由成像设备对各种地理区域的多个图像进行捕获。成像设备可以包括摄像装置、LIDAR传感器等。例如,配备有一个或更多个成像设备的车辆导航穿过不同的地理区域,并且在一段时间内从每个区域的多个方向和有利点捕获图像。在实施方式中,一段时间是至少一年,从而允许在每个季节捕获图像。
在步骤120处,接收与显示在捕获图像内的一个或更多个地标相关的地理参考空间信息。地理参考空间信息包括与图像内的地标有关的兴趣点,这些兴趣点与物理位置相关联。这种关联可以手动执行或使用自动标记,例如,经由计算机视觉、机器学习等来执行。在实施方式中,地理参考空间信息是基于从LIDAR采集的信息、从移动测绘系统采集的信息、或从所收集的被使用摄影测量法而处理成3D点云的图像采集的信息来确定的。
在步骤130处,对一段时间内同一区域的图像内的地理参考空间信息进行比较。例如,可以在秋天对该区域的第一图像进行捕获,在冬天对第二图像进行捕获,在春天对第三图像进行捕获,以及在夏天对第四图像进行捕获。将在某些图像中出现各种对象、元素、或兴趣点,但不会在其他图像中出现。例如,可能在春季和夏季时间在树上出现叶子,但在秋季或冬季可能会不存在。类似地,临时交通项目,诸如绕行标志或交通锥,可能会在第一图像中出现,但不会在第二图像、第三图像、或第四图像中出现。相比之下,例如,树或灯柱可能始终存在于该区域的每个图像中。
在步骤140处,从地理参考空间信息中去除在一段时间内变化的图像的元素。剩余元素被指定为稳定地标。在实施方式中,仅容易识别的地标被指定为稳定地标,例如,大型矩形建筑物或桥梁,这允许更有效且更快的识别。
在步骤150处,对稳定地标的地理参考空间信息进行预处理以使地理参考空间信息与三维地图相关。在实施方式中,三维地图是在没有稳定地标的情况下预先生成的。预处理包括将稳定地标的兴趣点(诸如角部、识别的形状或颜色等)与三维地图内的已知位置坐标进行匹配。在实施方式中,地理参考空间信息的预处理包括以下中的至少一者:体积结构创建;密集深度计算;以及特征点检测。因此,预处理包括将稳定地标与三维地图内的已知位置相关联。对该地图进行更新以包括稳定地标,并且可以将该地图用作参考地图以对如本文所讨论的车辆位置进行确定。
地图可以包括图像、点云数据、两者的组合等。在实施方式中,地图还包括与每个稳定地标相关联的特征点。特征点可以包括特征描述符,这些特征描述符记录每个稳定地标的兴趣点(诸如角部或识别的形状),以允许以有效的方式执行将由车辆捕获的图像与地图进行匹配。
附加地,将稳定地标的定位信息嵌入参考地图内。因此,地图包括地理参考空间和图像信息,将稳定地标相对于外部标准(例如,纬度坐标和经度坐标)以及相对于稳定地标在其周围环境中的位置而与设置位置相关联,例如,其中将稳定地标识别为位于两个或更多个其他稳定地标之间。稳定地标的位置在分米级准确度内被识别。可以基于参考地图来构建视觉索引,其中该索引包括图像与其位置之间的关联。
当基于GNSS的位置确定低于所需的阈值时,行进车辆可以使用参考地图和其中识别的稳定地标来对当前位置进行确定。在实施方式中,将参考地图保存在车辆的远程可访问或车载上可访问的存储器中,使得该地图可以在需要时由车辆的定位装置访问。
图2是用于在车辆导航通过区域并且基于GNSS的位置确定的准确度低于所需的阈值时对车辆位置进行确定的方法200的流程图。由于区域内基础设施或物体对GNSS信号的阻碍、GNSS信号的多路径传播、被用于位置确定的GNSS卫星落在地平线以下时接收到的GNSS信号减弱等,可能会发生低于阈值或错过(crossing)阈值。例如,GNSS通常使用三个或更多个卫星信号来对位置进行确定。如果来自一颗或更多颗卫星的信号无法被行进车辆的GNSS接收器接收到或使用,诸如由于上述原因,则错过了所需的阈值,并且GNSS变得不足以为车辆提供准确的位置确定。
在步骤210处,对基于GNSS的位置确定的准确度是否低于所需的阈值进行确定。如果是低于所需的阈值,则该方法在步骤220继续,否则该方法重复在步骤210处的确定。在实施方式中,仅在设定时间段之后才确定错过所需的阈值。在又一实施方式中,步骤210是可选的步骤,并且连续执行方法200而不考虑GNSS信号的强度或可用性。
在步骤220处,对车辆的最近已知位置矢量进行确定。位置矢量包括车辆行进时的速度和方向。最近已知位置矢量基于可以直接从车辆或从GNSS接收器确定的最近已知速度和可以从车载指南针确定的最近已知方向。在实施方式中,最近已知位置矢量是基于车辆的被认为足够准确的最近已知位置(诸如基于GNSS的位置)来确定的。在实施方式中,最近已知位置矢量与当前车辆速度耦合以对所估计的当前位置进行确定。
在实施方式中,除了GNSS信号之外,还可以基于惯性测量单元(IMU)来对车辆的最近已知位置矢量进行确定。最近已知位置矢量的确定可以仅仅基于GNSS,并且仅在错过所需的阈值之后才采用IMU。
在另外的实施方式中,在基于GNSS的位置确定低于所需的阈值之后,仅仅基于IMU对最近已知位置矢量进行确定。IMU可以与车辆的内部里程表一起使用,以对自错过阈值以来车辆行进了多远进行确定。在又一实施方式中,IMU被配置成利用GNSS对数据不断地进行确定,并且最近已知位置矢量总是基于来自GNSS和IMU两者的数据。
IMU在有限的时间段内提供足够的准确度,例如,在错过阈值之后5秒或更短时间内准确性在1分米内。然而,在实施方式中,即使在有限的时间段之后也从IMU对位置矢量进行确定,并且对车辆位置的近似值进行确定而不是对最近已知位置矢量进行确定。
在步骤230处,对车辆行进时的附近区域的一个或更多个图像进行捕获,例如,利用诸如车装式摄像装置等的车载成像设备进行捕获。附近区域可以包括围绕车辆设置半径的距离,或从安装在车辆上的成像设备看到的视野,例如,车辆的前方或周围的可见景观。
在步骤240处,从所捕获的一个或更多个图像中识别车辆的附近区域内的稳定地标并且将该稳定地标与参考地图进行比较。稳定地标是在车辆环境图像中可识别的特征,它被确定为永久性或半永久性的,从而该稳定地标可以作为参考点被依赖。
在实施方式中,基于先前构建的车辆的附近区域的参考地图来对稳定地标进行识别,其中参考地图例如,图1中讨论的参考地图包括被确定为作为参考点是可靠的一个或更多个稳定地标。参考地图可以被本地存储在车辆内,或被远程存储在例如可从车辆访问的外部或基于云的服务器上。使用计算机视觉、机器学习、尺度不变特征变换(SIFT,scale-invariant feature transform)特征检测算法等将参考地图的稳定地标与所捕获的图像中的所识别的稳定地标进行匹配。
在步骤250处,基于最近已知位置矢量和所识别的稳定地标来对校正进行确定。校正可以被表示如下:先前构建的参考地图被定义为M。在时间t的最近已知位置矢量X的估计是已知的,并且对来自车载成像设备的图像I进行捕获。对最近已知位置矢量X的校正x'进行确定,该校正x'使f(t)与M在位于X+x'处的虚拟摄像装置上的投影之间的相似性的可能性最大化。该校正使用已知的优化算法,诸如最小二乘法平差、随机样本一致性(RANSAC)等来确定。
在实施方式中,将虚拟摄像装置放置在X+x'处以在所校正的位置处构建车辆的附近区域的图像,使得所构建的人工图像与由真实摄像装置捕获到的真实图像最相似。如果找到校正x',则确定该位置为具有高准确度的已知位置,并且将校正应用于最近已知位置矢量。如果未找到校正,或者如果相似性的可能性低于阈值,则丢弃图像I。在这种情况下,可以仅仅基于IMU来扩展位置估计而无需校正x',并且然后对下一个图像进行处理。
在实施方式中,使用视觉索引从数据库中检索多个视觉上相似的图像帧,其中多个视觉上相似的图像帧中的每个图像帧描绘了车辆的附近区域内的场景。视觉索引与先前构建的参考地图相关联,其中视觉上相似的图像与参考地图内的位置相关联。多个视觉上相似的图像帧被用于对摄像装置位置进行估计并且对校正x'进行确定。
作为示例,视觉上相似的图像帧是先前收集的,如图1中讨论的方法所呈现的。图像可以以设定的间隔(例如,每米)从道路捕获,以及从该道路的每条车道捕获。因此,视觉索引包含来自多个视角的场景的多个图像。对校正的确定涉及将当前所捕获的图像与视觉索引内的与当前所捕获的图像最相似的图像进行匹配。这种匹配是使用成像匹配算法来执行的。
摄像装置位置相对于特定参考图像的估计可以是基于特征匹配的,该特征匹配产生一组2D-3D对应关系,其由表示。使用最小求解器和RANSAC,利用一组内点(inlier)对查询图像的位置ωq进行估计,使得重投影误差被如下表示为:
其中,重投影误差足够小,例如,低于误差阈值,并且ωr是存储在地图中的参考图像的位置。π表示摄像装置投影,并且ωc表示摄像装置相对于车辆的位置。如果确定了足够稳健的估计,则可以通过ωq使所有内点的重投影误差的总和优化。
在另外的实施方式中,将来自不同参考图像的内点集和位置估计进行聚集并且执行对所有重投影误差的总和的一次或更多次优化。
在步骤260处,基于校正来对更新位置进行确定。在实施方式中,更新位置包括位置定位的调节,例如,所更新的一组GPS坐标。在另外的实施方式中,更新位置还包括对车辆的速度的调节。
图3为根据本公开的实施方式的装置300的框图。在实施方式中,装置300可以被实现为用于车辆中以对如结合图2所描述的当前位置进行确定的定位装置。在另外的实施方式中,装置300可以被实现为用于车辆中以被用于收集如结合图1所讨论的参考地图的构建的图像的收集装置。
装置300包括处理器310,处理器310以可操作方式耦合到数据存储设备320和存储器330。处理器310通过执行限定这类操作的计算机程序指令来控制装置300的整体操作。计算机程序指令可以被存储在数据存储设备320或其他计算机可读介质中,并且当期望执行计算机程序指令时被加载到存储器330中。因此,至少图1至图3的方法步骤可以由存储在存储器330和/或数据存储设备320中的计算机程序指令限定并且由执行计算机程序指令的处理器310控制。例如,计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码以至少执行由图1至图2的方法步骤限定的算法。
装置300还包括一个或更多个网络接口,网络接口用于经由网络(未示出)与其他设备进行通信。装置300还包括:GNSS接收器340,该GNSS接收器340被配置成从定位卫星系统接收信号;以及可选的IMU 360,该IMU 360被配置成对安装有装置300的车辆的惯性测量值(诸如加速度、角速率、取向等)进行确定。装置300还可以包括:成像设备370,诸如摄像装置或LIDAR传感器,该成像设备370被配置成对设定附近区域内的车辆的环境的静止图像、视频或两者进行捕获。装置300的各种元件经由总线380彼此连接。
处理器310可以包括通用微处理器和专用微处理器两者,并且可以是装置300的唯一处理器或多个处理器之一。例如,处理器310可以包括一个或更多个中央处理单元(CPU)。处理器310、数据存储设备320和/或存储器330可以包括一个或更多个专用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA),可以由一个或更多个专用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA)来补充,或者被并入一个或更多个专用集成电路(ASIC)以及/或者一个或更多个现场可编程门阵列(FPGA)中。
数据存储设备320和存储器330各自包括有形的非暂态计算机可读存储介质。数据存储设备320和存储器330均可以包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDR RAM),或其他随机存取固态存储器设备,并且可以包括非易失性存储器,诸如一个或更多个磁盘存储设备(诸如内部硬盘和可移动盘)、磁光盘存储设备、光盘存储设备、快闪存储器设备、半导体存储器设备(诸如可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字通用盘只读存储器(DVD-ROM)盘)、或其他非易失性固态存储设备。
本领域的技术人员将容易地认识到:实际计算机、计算机系统或计算设备的任何实现方式都可以具有其他结构并且可以包含其他部件,并且出于说明目的,装置300仅仅是一些部件的高级表示。
本文描述的所有系统和方法可以使用数字电路系统或者使用一台或更多台计算机(该计算机使用众所周知的计算机处理器、存储器单元、存储设备、计算机软件和其他部件)来实现。通常,计算机包括用于执行指令的处理器和用于存储指令和数据的一个或更多个存储器。计算机还可以包括或耦合到一个或更多个大容量存储设备,诸如一个或更多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。
本文描述的所有系统和方法也可以使用以客户端-服务器关系操作的计算机来实现。通常,在这样的系统中,客户端计算机远离服务器计算机定位并且交互经由网络进行。客户端-服务器关系可以由在它们各自的客户端和服务器计算机上执行的计算机程序来限定和控制。在当前的公开内容中,车辆可以配备有独立的网络连接,或者可以依赖于通过诸如蜂窝电话等的辅助设备访问外部数据。
本文描述的所有系统和方法可以使用有形地包含在信息载体中,例如,包含在非暂态机器可读存储器中的计算机程序产品来实现,用于由可编程处理器执行;并且本文描述的方法步骤可以使用可由这样的处理器执行的一个或更多个计算机程序来实现。计算机程序可以是计算机程序指令集,该计算机程序指令集可以由计算机直接或间接使用以执行特定活动或产生特定结果。计算机程序可以以任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、部件、子例程或其他适用于计算环境的单元。
前述详细描述应该被理解为在每个方面都是说明性和示例性的,而不是限制性的,并且本文公开的发明构思的范围不是根据具体实施方式确定的,而是根据专利法允许的全部范围所解释的权利要求确定的。应当理解的是,本文所示出和描述的实施方式仅是对发明构思的原理的说明,并且在不脱离本发明构思的范围和精神的情况下,本领域技术人员可以实施各种修改。在不脱离本发明构思的范围和精神的情况下,本领域技术人员可以实施各种其他特征组合。
Claims (17)
1.一种用于对车辆的位置进行确定的方法,所述方法包括:
对所述车辆的最近已知位置矢量进行确定;
使用成像设备对所述车辆的附近区域内的图像进行捕获;
基于先前构建的所述车辆的附近区域的参考地图,来对所捕获的图像内的稳定地标进行识别;
基于所述最近已知位置矢量和所述稳定地标,来对所述车辆的位置的校正进行确定,其中,对所述车辆的位置的校正进行确定还包括:
将所捕获的图像与视觉索引内的与所捕获的图像最相似的图像进行匹配,其中,将所捕获的图像与视觉索引内的与所捕获的图像最相似的图像进行匹配是基于特征匹配和使重投影误差最小化的,其中,所述重投影误差被表示为:
其中,π表示所述成像设备的投影,ωc表示所述成像设备相对于所述车辆的位置,ωq是查询图像的位置,以及ωr是存储在所述参考地图中的参考图像的位置,Xi是所述最近已知位置矢量,以及xi是所述校正;以及
基于所确定的校正,来对所述车辆的更新位置进行确定。
2.根据权利要求1所述的方法,其中,当所述车辆的基于导航卫星系统的位置确定的位置准确度低于所需的阈值时,执行对所述车辆的位置的校正进行确定。
3.根据权利要求1所述的方法,其中,至少部分地基于惯性测量单元来对所述车辆的所述最近已知位置矢量进行确定。
4.根据权利要求3所述的方法,其中,当从所述惯性测量单元检索到的数据的准确度低于阈值时,执行对所述车辆的位置的校正进行确定。
5.根据权利要求1所述的方法,其中,所述成像设备包括摄像装置和LIDAR传感器中的至少一者。
6.根据权利要求1所述的方法,其中,所述先前构建的参考地图是基于与稳定地标相关的地理参考空间信息的,其中,所述稳定地标是基于在一段时间内捕获的图像来确定的。
7.一种用于对车辆的位置进行确定的装置,所述装置包括:
全球导航卫星系统(GNSS)接收器,所述全球导航卫星系统接收器被配置成对所述装置的位置进行确定;
成像设备;
处理器;以及
存储器,所述存储器用于对用于对车辆的位置进行确定的计算机程序指令进行存储,所述计算机程序指令在所述处理器上执行时,使所述处理器执行包括以下的操作:
基于所述全球导航卫星系统接收器,来对所述车辆的最近已知位置矢量进行确定;
使用所述成像设备对车辆的附近区域内的图像进行捕获;
基于先前构建的所述车辆的附近区域的参考地图,来对所捕获的图像内的稳定地标进行识别;
基于所确定的所述车辆的最近已知位置矢量和所识别的稳定地标,来对所述车辆的位置的校正进行确定,其中,对所述车辆的位置的校正进行确定还包括:
将所捕获的图像与视觉索引内的与所捕获的图像最相似的图像进行匹配,其中,将所捕获的图像与视觉索引内的与所捕获的图像最相似的图像进行匹配是基于特征匹配和使重投影误差最小化的,其中,所述重投影误差被表示为:
其中,π表示所述成像设备的投影,ωc表示所述成像设备相对于所述车辆的位置,ωq是查询图像的位置,以及ωr是存储在所述参考地图中的参考图像的位置,Xi是所述最近已知位置矢量,以及xi是所述校正;以及
基于所确定的校正,来对所述车辆的更新位置进行确定。
8.根据权利要求7所述的装置,其中,当所述车辆的基于导航卫星系统的位置确定的位置准确度低于所需的阈值时,执行对所述车辆的位置的校正进行确定。
9.根据权利要求7所述的装置,其中,至少部分地基于惯性测量单元来对所述车辆的所述最近已知位置矢量进行确定。
10.根据权利要求9所述的装置,其中,当从所述惯性测量单元检索到的数据的准确度低于阈值时,执行对所述车辆的位置的校正进行确定。
11.根据权利要求7所述的装置,其中,所述成像设备包括摄像装置和LIDAR传感器中的至少一者。
12.根据权利要求7所述的装置,其中,所述先前构建的参考地图是基于与稳定地标相关的地理参考空间信息的,其中,所述稳定地标是基于在一段时间内捕获的图像来确定的。
13.一种非暂态计算机可读介质,所述非暂态计算机可读介质存储有计算机程序指令,所述计算机程序指令用于对车辆的位置进行确定,所述计算机程序指令在处理器上执行时,使所述处理器执行包括以下的操作:
对所述车辆的最近已知位置矢量进行确定;
使用成像设备对车辆的附近区域内的图像进行捕获;
基于先前构建的所述车辆的附近区域的参考地图,来对所捕获的图像内的稳定地标进行识别;
基于所述最近已知位置矢量和所述稳定地标,来对所述车辆的位置的校正进行确定,其中,对所述车辆的位置的校正进行确定还包括:
将所捕获的图像与视觉索引内的与所捕获的图像最相似的图像进行匹配,其中,将所捕获的图像与视觉索引内的与所捕获的图像最相似的图像进行匹配是基于特征匹配和使重投影误差最小化的,其中,所述重投影误差被表示为:
其中,π表示所述成像设备的投影,ωc表示所述成像设备相对于所述车辆的位置,ωq是查询图像的位置,以及ωr是存储在所述参考地图中的参考图像的位置,Xi是所述最近已知位置矢量,以及xi是所述校正;以及
基于所确定的校正,来对所述车辆的更新位置进行确定。
14.根据权利要求13所述的非暂态计算机可读介质,其中,当所述车辆的基于导航卫星系统的位置确定的位置准确度低于所需的阈值时,执行对所述车辆的位置的校正进行确定。
15.根据权利要求13所述的非暂态计算机可读介质,其中,至少部分地基于惯性测量单元来对所述车辆的所述最近已知位置矢量进行确定。
16.根据权利要求15所述的非暂态计算机可读介质,其中,当从所述惯性测量单元检索到的数据的准确度低于阈值时,执行对所述车辆的位置的校正进行确定。
17.根据权利要求13所述的非暂态计算机可读介质,其中,所述成像设备包括摄像装置和LIDAR传感器中的至少一者。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2020/000477 WO2022055382A1 (en) | 2020-09-10 | 2020-09-10 | A method and device for determining a vehicle position |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116097128A CN116097128A (zh) | 2023-05-09 |
| CN116097128B true CN116097128B (zh) | 2025-09-12 |
Family
ID=80470546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080103841.9A Active CN116097128B (zh) | 2020-09-10 | 2020-09-10 | 用于对车辆位置进行确定的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11846520B2 (zh) |
| EP (1) | EP4211423B1 (zh) |
| JP (1) | JP7595152B2 (zh) |
| CN (1) | CN116097128B (zh) |
| WO (1) | WO2022055382A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019527832A (ja) * | 2016-08-09 | 2019-10-03 | ナウト, インコーポレイテッドNauto, Inc. | 正確な位置特定およびマッピングのためのシステムおよび方法 |
| US11604476B1 (en) | 2018-10-05 | 2023-03-14 | Glydways Inc. | Road-based vehicle guidance system |
| US11070947B2 (en) * | 2019-07-25 | 2021-07-20 | Ford Global Technologies, Llc | Distributed wireless network assisted object location |
| CN117053812A (zh) * | 2020-03-30 | 2023-11-14 | 御眼视觉技术有限公司 | 使用电子地平线导航交通工具 |
| US20230092861A1 (en) * | 2021-09-20 | 2023-03-23 | GM Global Technology Operations LLC | Communication-based vehicle safety message generation and processing |
| CN115014377A (zh) * | 2022-06-27 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种导航方法、系统及存储介质 |
| CN115393724B (zh) * | 2022-09-21 | 2025-07-22 | 中国平安财产保险股份有限公司 | 一种基于图片对象表征的地点识别方法及相关设备 |
| JP7632430B2 (ja) * | 2022-10-18 | 2025-02-19 | トヨタ自動車株式会社 | 制御システム、制御方法、制御プログラム |
| JP7601074B2 (ja) * | 2022-10-18 | 2024-12-17 | トヨタ自動車株式会社 | 制御装置、制御方法、制御プログラム |
| DE102023201619A1 (de) * | 2023-02-22 | 2024-08-22 | Volkswagen Aktiengesellschaft | Verfahren zum Kartographieren von Umgebungsmarkern |
| US20250069255A1 (en) * | 2023-08-22 | 2025-02-27 | Qualcomm Incorporated | Rapid localization for vision-aided positioning |
| CN118505098A (zh) * | 2024-05-14 | 2024-08-16 | 北京兆驰供应链管理有限公司 | 一种物流定位跟踪实时查阅方法 |
| CN119502956B (zh) * | 2024-11-25 | 2025-05-23 | 酷睿程(北京)科技有限公司 | 位置检测方法、车辆控制方法、设备、车辆、介质和芯片 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9201424B1 (en) * | 2013-08-27 | 2015-12-01 | Google Inc. | Camera calibration using structure from motion techniques |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4436632B2 (ja) | 2003-08-19 | 2010-03-24 | コマツエンジニアリング株式会社 | 位置誤差補正機能を持つ測量システム |
| US8447519B2 (en) | 2010-11-10 | 2013-05-21 | GM Global Technology Operations LLC | Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors |
| JP2013050411A (ja) | 2011-08-31 | 2013-03-14 | Aisin Aw Co Ltd | 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法 |
| JP5801209B2 (ja) | 2012-01-06 | 2015-10-28 | Kddi株式会社 | カメラ姿勢推定装置、プログラム |
| JP6325806B2 (ja) | 2013-12-06 | 2018-05-16 | 日立オートモティブシステムズ株式会社 | 車両位置推定システム |
| JP2016080460A (ja) | 2014-10-15 | 2016-05-16 | シャープ株式会社 | 移動体 |
| CN118816908A (zh) * | 2015-02-10 | 2024-10-22 | 御眼视觉技术有限公司 | 用于自主车辆导航的稀疏地图 |
| US11370422B2 (en) * | 2015-02-12 | 2022-06-28 | Honda Research Institute Europe Gmbh | Method and system in a vehicle for improving prediction results of an advantageous driver assistant system |
| KR20180101717A (ko) * | 2016-01-08 | 2018-09-13 | 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 | 맵들을 사용하는 차량 컴포넌트 제어 |
| JP6380422B2 (ja) | 2016-02-05 | 2018-08-29 | トヨタ自動車株式会社 | 自動運転システム |
| US11313684B2 (en) * | 2016-03-28 | 2022-04-26 | Sri International | Collaborative navigation and mapping |
| US9672446B1 (en) * | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
| US10859395B2 (en) * | 2016-12-30 | 2020-12-08 | DeepMap Inc. | Lane line creation for high definition maps for autonomous vehicles |
| US10380890B2 (en) * | 2017-02-08 | 2019-08-13 | Baidu Usa Llc | Autonomous vehicle localization based on walsh kernel projection technique |
| JP6922348B2 (ja) | 2017-03-31 | 2021-08-18 | 富士通株式会社 | 情報処理装置、方法、及びプログラム |
| KR102326077B1 (ko) * | 2017-06-15 | 2021-11-12 | 엘지전자 주식회사 | 3차원 공간의 이동 객체를 식별하는 방법 및 이를 구현하는 로봇 |
| US10935978B2 (en) | 2017-10-30 | 2021-03-02 | Nio Usa, Inc. | Vehicle self-localization using particle filters and visual odometry |
| US11450026B2 (en) | 2017-12-27 | 2022-09-20 | Sony Corporation | Information processing apparatus, information processing method, and mobile object |
| JP6923750B2 (ja) * | 2018-03-28 | 2021-08-25 | パイオニア株式会社 | 自己位置推定装置、自己位置推定方法、プログラム及び記憶媒体 |
| US20190316929A1 (en) * | 2018-04-17 | 2019-10-17 | Faraday&Future Inc. | System and method for vehicular localization relating to autonomous navigation |
| JP2020056740A (ja) | 2018-10-04 | 2020-04-09 | 三菱電機株式会社 | 位置補正システム、車載機、位置補正方法、および位置補正プログラム |
| KR20200044420A (ko) | 2018-10-19 | 2020-04-29 | 삼성전자주식회사 | 위치 추정 방법 및 장치 |
| JP7326720B2 (ja) * | 2018-10-26 | 2023-08-16 | 富士通株式会社 | 移動体位置推定システムおよび移動体位置推定方法 |
| CN111212375B (zh) | 2018-11-20 | 2021-08-03 | 华为技术有限公司 | 定位位置调整方法及其装置 |
| US11227168B2 (en) * | 2019-01-08 | 2022-01-18 | Qualcomm Incorporated | Robust lane association by projecting 2-D image into 3-D world using map information |
| US20220270358A1 (en) * | 2019-09-05 | 2022-08-25 | NetraDyne, Inc. | Vehicular sensor system calibration |
| US11373389B2 (en) * | 2020-06-23 | 2022-06-28 | Tusimple, Inc. | Partitioning images obtained from an autonomous vehicle camera |
-
2020
- 2020-09-10 US US17/276,470 patent/US11846520B2/en active Active
- 2020-09-10 WO PCT/RU2020/000477 patent/WO2022055382A1/en not_active Ceased
- 2020-09-10 JP JP2023516263A patent/JP7595152B2/ja active Active
- 2020-09-10 EP EP20953450.2A patent/EP4211423B1/en active Active
- 2020-09-10 CN CN202080103841.9A patent/CN116097128B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9201424B1 (en) * | 2013-08-27 | 2015-12-01 | Google Inc. | Camera calibration using structure from motion techniques |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4211423A1 (en) | 2023-07-19 |
| JP2023541424A (ja) | 2023-10-02 |
| US11846520B2 (en) | 2023-12-19 |
| WO2022055382A1 (en) | 2022-03-17 |
| US20220074757A1 (en) | 2022-03-10 |
| EP4211423A4 (en) | 2024-05-29 |
| EP4211423B1 (en) | 2025-08-06 |
| CN116097128A (zh) | 2023-05-09 |
| JP7595152B2 (ja) | 2024-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116097128B (zh) | 用于对车辆位置进行确定的方法和设备 | |
| EP2133662B1 (en) | Methods and system of navigation using terrain features | |
| JP7147119B2 (ja) | 自律的な自己位置推定のためのデバイス及び方法 | |
| KR102425272B1 (ko) | 디지털 지도에 대한 위치를 판별하기 위한 방법 및 시스템 | |
| CN102565832B (zh) | 用附加车载视觉传感器加强gps或gps/传感器车辆定位的方法 | |
| Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
| EP3842735B1 (en) | Position coordinates estimation device, position coordinates estimation method, and program | |
| CN108627175A (zh) | 用于识别车辆位置的系统和方法 | |
| CN115135963B (zh) | 用于在场景地图中生成3d参考点的方法 | |
| JP2009053059A (ja) | 対象特定装置、対象特定方法および対象特定プログラム | |
| CN110146910A (zh) | 一种基于gps与激光雷达数据融合的定位方法及装置 | |
| JP2020153956A (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| JP2009076096A (ja) | 対象特定装置 | |
| JP2012208525A (ja) | 静止物地図生成装置 | |
| CN113838129A (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| CN109596121A (zh) | 一种机动站自动目标检测与空间定位方法 | |
| JP7665207B2 (ja) | Gpsデバイスの精度を改善するための修正関数を作成するための方法 | |
| CN116147613A (zh) | 利用交叉传感器特征点参考生成环境模型并定位的方法和系统 | |
| CN116380088B (zh) | 车辆定位方法、装置、车辆及存储介质 | |
| JP2008065087A (ja) | 静止物地図生成装置 | |
| CN115409910B (zh) | 一种语义地图构建方法、视觉定位方法及相关设备 | |
| WO2025147376A1 (en) | Camera based localization, mapping, and map live update concept | |
| CN117075140A (zh) | 一种应用于动态环境的双匹配鲁棒激光定位方法及系统 | |
| CN113227713A (zh) | 生成用于定位的环境模型的方法和系统 | |
| WO2025207878A1 (en) | Method and system for map building using perception and motion sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |