[go: up one dir, main page]

CN111683203B - 栅格地图生成方法、装置及计算机可读存储介质 - Google Patents

栅格地图生成方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111683203B
CN111683203B CN202010538044.5A CN202010538044A CN111683203B CN 111683203 B CN111683203 B CN 111683203B CN 202010538044 A CN202010538044 A CN 202010538044A CN 111683203 B CN111683203 B CN 111683203B
Authority
CN
China
Prior art keywords
image data
grid map
learning model
pose
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010538044.5A
Other languages
English (en)
Other versions
CN111683203A (zh
Inventor
赵放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Priority to CN202010538044.5A priority Critical patent/CN111683203B/zh
Publication of CN111683203A publication Critical patent/CN111683203A/zh
Priority to KR1020217042773A priority patent/KR102745326B1/ko
Priority to PCT/CN2021/099338 priority patent/WO2021249469A1/zh
Application granted granted Critical
Publication of CN111683203B publication Critical patent/CN111683203B/zh
Priority to US17/563,732 priority patent/US11972523B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2464—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using an occupancy grid
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Electromagnetism (AREA)

Abstract

本发明实施例涉及通信技术领域，公开了一种栅格地图生成方法、装置和计算机可读存储介质，栅格地图生成方法包括：获取拍摄装置拍摄的原始图像数据，以及拍摄装置拍摄原始图像数据时的位姿数据；将原始图像数据和位姿数据输入预设学习模型，得到第一图像数据，其中，预设学习模型根据位姿数据对原始图像数据进行第一动态物体滤波，以得到第一图像数据；将第一图像数据和位姿数据融入预设学习模型，得到融合学习模型；根据融合学习模型和位姿数据得到原始图像数据的栅格地图。本发明提供的栅格地图生成方法、装置和计算机可读存储介质能够在生成无障碍物的栅格地图的同时，降低栅格地图的生成成本。

Description

栅格地图生成方法、装置及计算机可读存储介质
技术领域
本发明实施例涉及通信技术领域，特别涉及一种栅格地图生成方法、装置及计算机可读存储介质。
背景技术
随着计算机技术、传感器技术及机器人技术的迅速发展，机器人自主导航技术也取得了很大进展。对于机器人的运动导航而言，最重要的是为机器人预先建立全局可用的栅格地图，以实现运动规划和导航。当前大部分商用机器人采取的方案是激光雷达配合轮式里程计，实现全局地图重建和栅格地图的生成。
发明人发现现有技术中至少存在如下问题：对于一些低成本的机器人而言，激光雷达和轮式里程计价格高昂，不利于机器人的流水化生产；将激光雷达和轮式里程计更换为其他便宜的设备，难以生成导航可用的栅格地图。
发明内容
本发明实施方式的目的在于提供一种栅格地图生成方法、装置及计算机可读存储介质，其能够在生成无障碍物的栅格地图的同时，降低栅格地图的生成成本。
为解决上述技术问题，本发明的实施方式提供了一种栅格地图生成方法，包括：
获取拍摄装置拍摄的原始图像数据，以及所述拍摄装置拍摄所述原始图像数据时的位姿数据；将所述原始图像数据和所述位姿数据输入预设学习模型，得到第一图像数据，其中，所述预设学习模型根据所述位姿数据对所述原始图像数据进行第一动态物体滤波，以得到所述第一图像数据；将所述第一图像数据和所述位姿数据融入所述预设学习模型，得到融合学习模型；根据所述融合学习模型和所述位姿数据得到所述原始图像数据的栅格地图。
本发明的实施方式还提供了一种栅格地图生成装置，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的栅格地图生成方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的栅格地图生成方法。
本发明的实施方式相对于现有技术而言，通过获取拍摄装置拍摄的原始图像数据和拍摄装置拍摄所述原始图像数据时的位姿数据，从而能够结合得到的位姿数据和原始图像数据来进行基于TSDF模型(即预设学习模型，预设学习模型也可以是其他模型)的地图重建(TSDF能适应不同分辨率，并存在一定的噪声滤除能力)；在栅格地图的生成过程中，通过将原始图像数据和位姿数据输入预设学习模型，得到第一图像数据，由于预设学习模型能够根据位姿数据对原始图像数据进行第一动态物体滤波，从而减少了动态物体对最终生成结果的影响；最后，将第一图像数据和位姿数据融入预设学习模型，得到融合学习模型，并根据融合学习模型和位姿数据得到原始图像数据的栅格地图，从而快速的生成了导航可用的栅格地图，由于获取原始图像数据的拍摄装置和获取位姿数据的装置(如位姿传感器)的成本较低，从而能够在生成无障碍物的栅格地图的同时，降低栅格地图的生成成本。
另外，在得到所述融合学习模型之后，还包括：根据所述位姿数据，从位姿数据库中获取所述原始图像数据的共视帧，其中，所述位姿数据库中存储有所述拍摄装置拍摄历史图像数据时的历史位姿数据；根据所述共视帧和所述融合学习模型，构建局部3D栅格地图；根据所述局部3D栅格地图对所述第一图像数据进行第二动态物体滤波，得到第二图像数据；根据所述第二图像数据更新所述融合学习模型，得到全局学习模型；所述根据所述融合学习模型和所述位姿数据得到所述原始图像数据的栅格地图，包括：根据所述全局学习模型和所述位姿数据得到所述原始图像数据的栅格地图。
另外，所述根据所述位姿数据，从位姿数据库中获取所述原始图像数据的共视帧，包括：判断所述位姿数据库中是否存在与所述位姿数据的偏差在预设范围内的历史位姿数据；在判定存在时，将所述历史位姿数据对应的历史图像数据作为所述共视帧。
另外，所述根据所述共视帧和所述融合学习模型，构建局部3D栅格地图，包括：根据所述共视帧和所述融合学习模型生成3D局部障碍物地图和无障碍物地图；根据所述3D局部障碍物地图和所述无障碍物地图构建所述局部3D栅格地图。
另外，所述根据所述局部3D栅格地图对所述第一图像数据进行第二动态物体滤波，得到第二图像数据，包括：判断所述第一图像数据中是否有在所述3D局部障碍物地图中出现、在所述无障碍物地图中未出现的物体；在判定是时，更新所述无障碍物地图，并根据更新后的所述无障碍物地图对所述第一图像数据进行第二动态物体滤波，得到所述第二图像数据。
另外，所述根据所述融合学习模型和所述位姿数据得到所述原始图像数据的栅格地图，包括：根据所述共视帧，得到2D占据障碍物图和2D无障碍物地图；将所有存在障碍物的点设置为0，所述2D无障碍物地图中大于预设阈值的点设置为1，得到所述栅格地图。
另外，所述预设学习模型根据所述位姿数据对所述原始图像数据进行第一动态物体滤波，包括：获取所述原始图像数据中的每个点的SDF值与所述预设学习模型中对应点存储的原始SDF值的差值；对所述差值进行二值化处理，得到第一掩膜图；根据所述第一掩膜图对所述原始图像数据进行第一动态物体滤波，得到所述第一图像数据。
另外，在得到二值化的掩膜图的掩膜图之后，还包括：将所述原始图像数据和所述第一掩膜图进行泛红填充，得到第二掩膜图；所述根据所述第一掩膜图对所述原始图像数据进行第一动态物体滤波，得到所述第一图像数据，包括：根据所述第二掩膜图对所述原始图像数据进行第一动态物体滤波，得到所述第一图像数据。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式提供的栅格地图生成方法的流程图；
图2是根据本发明第二实施方式提供的栅格地图生成方法的流程图；
图3是根据本发明第三实施方式提供的动态物体滤波的流程图；
图4是根据本发明第四实施方式提供的栅格地图生成方法的另一种流程图；
图5是根据本发明第三实施方式提供的栅格地图生成装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。
本发明的第一实施方式涉及一种栅格地图生成方法，具体流程如图1所示，包括：
S101：获取拍摄装置拍摄的原始图像数据，以及拍摄装置拍摄原始图像数据时的位姿数据。
具体的说，本实施方式可以通过RGB-D摄像头拍摄原始图像数据，通过惯性测量单元(IMU)得到拍摄原始图像数据时RGB-D摄像头的位姿数据，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置，位姿数据包括RGB-D摄像头在三维空间中的角速度和加速度，可以根据位姿解算出物体的姿态。
需要说明的是，RGB-D摄像头和惯性测量单元均可安装在机器人上，从而为后续栅格地图的生成提供更可靠的数据。可以理解的是，本实施方式并不对原始图像数据和位姿数据的获取装置作具体限定，可以根据实际需求选择不同的获取装置安装在机器人上。
S102：将原始图像数据和位姿数据输入预设学习模型，得到第一图像数据。
具体的说，本实施方式的预设学习模型优选为TSDF模型(TSDF能适应不同分辨率，并存在一定的噪声滤除能力)，TSDF模型能够根据位姿数据对原始图像数据进行第一动态物体滤波，从而得到第一图像数据。
需要说明的是，本实施方式中的预设学习模型根据位姿数据对原始图像数据进行第一动态物体滤波，可以为：获取原始图像数据中的每个点的SDF值与预设学习模型中对应点存储的原始SDF值的差值；对差值进行二值化处理，得到第一掩膜图；根据第一掩膜图对原始图像数据进行第一动态物体滤波，得到第一图像数据。具体的说，TSDF模型本身存储的为符号距离值(SDF)：SDF(x)＝z(x)-D(u)，其中u表示图像像素点，x表示u对应的TSDF模型中的3D坐标点，如果原始图像数据中存在动态物体，那么其计算得到的SDF值和TSDF模型对应点存储的SDF值差异会很大，因此，可以利用这两个SDF值的差异来构建动态物体的原始Mask图，公式表示为：M(D)＝SDF(D)-SDF'(D)，其中，M(D)为所述差值，SDF(D)为TSDF模型中对应点存储的原始SDF值，SDF`(D)为原始图像数据中的像素点的SDF值。在得到原始Mask图后，为了使图像更加精确，可以对原始Mask图进行二值化处理，得到第一掩膜图，二值化阈值为t＝γτ2。可以理解的是，本实施方式中二值化阈值的大小可以根据实际需求设置，并不对此作具体限定。
优选地，为了进一步提高图像的精确度，确保能够准确无误的滤除原始图像数据中的2D动态物体，本实施方式在得到第一掩膜图之后，还可以将原始图像数据和第一掩膜图进行泛红填充，得到第二掩膜图；再根据第二掩膜图对原始图像数据进行第一动态物体滤波，得到第一图像数据。具体的说，即先将原始图像数据和第一掩膜图分割成多个区域，然后从每个区域中的一个像素点开始，以此向周边的像素点扩充着色，直到封闭区域内的所有像素点都被填充新颜色为止，通过每个区域被填充的颜色的不同，确定哪个区域需要被清除。
S103：将第一图像数据和位姿数据融入预设学习模型，得到融合学习模型。
S104：根据融合学习模型和位姿数据得到原始图像数据的栅格地图。
关于步骤103至步骤S104，具体的说，本实施方式可以利用整数追逐的二维算法版本，结合融合学习模型和位姿数据得到供机器人导航和运动规划使用的2D栅格地图，具体实现方式在第二实施方式中有详细描述，此处不再赘述。
本发明的实施方式相对于现有技术而言，通过获取拍摄装置拍摄的原始图像数据和拍摄装置拍摄所述原始图像数据时的位姿数据，从而能够结合得到的位姿数据和原始图像数据来进行基于TSDF模型(即预设学习模型，预设学习模型也可以是其他模型)的地图重建(TSDF能适应不同分辨率，并存在一定的噪声滤除能力)；在栅格地图的生成过程中，通过将原始图像数据和位姿数据输入预设学习模型，得到第一图像数据，由于预设学习模型能够根据位姿数据对原始图像数据进行第一动态物体滤波，从而减少了动态物体对最终生成结果的影响；最后，将第一图像数据和位姿数据融入预设学习模型，得到融合学习模型，并根据融合学习模型和位姿数据得到原始图像数据的栅格地图，从而快速的生成了导航可用的栅格地图，由于获取原始图像数据的拍摄装置和获取位姿数据的装置(如位姿传感器)的成本较低，从而能够在生成无障碍物的栅格地图的同时，降低栅格地图的生成成本。
本发明的第二实施方式涉及一种栅格地图生成方法，本实施方式是在第一实施方式的基础上做了进一步的改进，具体改进之处在于：在本实施方式中，会再次对第一图像数据进行第二动态物体滤波，得到第二图像数据，并根据第二图像数据得到原始图像数据的栅格地图，从而能够生成更精确的栅格地图，提高栅格地图生成方法的可靠性。
本实施方式的具体流程如图2所示，包括：
S201：获取拍摄装置拍摄的原始图像数据，以及拍摄装置拍摄原始图像数据时的位姿数据。
S202：将原始图像数据和位姿数据输入预设学习模型，得到第一图像数据。
S203：将第一图像数据和位姿数据融入预设学习模型，得到融合学习模型。
本实施方式的步骤S201至步骤S203与第一实施方式的步骤S101至步骤S103类似，为了避免重复，此处不再赘述。
S204：根据位姿数据，从位姿数据库中获取原始图像数据的共视帧。
具体的说，判断位姿数据库中是否存在与位姿数据的偏差在预设范围内的历史位姿数据；在判定存在时，将历史位姿数据对应的历史图像数据作为共视帧。可以理解的是，位姿数据包括姿态角、加速度等多种参数，本实施方式判断位姿数据库中是否存在与位姿数据的偏差在预设范围内的历史位姿数据，也可以为判断某一参数的偏差是否在预设范围内，以位姿数据中的姿态角为例，可以判断位姿数据库中是否存在与姿态角在预设范围内的历史姿态角。可以理解的是，本实施方式并不对预设范围的大小做具体限定，可以根据实际需求设置不同的预设范围。
S205：根据共视帧和融合学习模型，构建局部3D栅格地图。
具体的说，本实施方式根据共视帧和融合学习模型，构建局部3D栅格地图，可以为：根据共视帧和融合学习模型生成3D局部障碍物地图和无障碍物地图；根据3D局部障碍物地图和无障碍物地图构建局部3D栅格地图。
S206：根据局部3D栅格地图对第一图像数据进行第二动态物体滤波，得到第二图像数据。
具体的说，本实施方式中据局部3D栅格地图对第一图像数据进行第二动态物体滤波，得到第二图像数据，可以为：判断所述第一图像数据中是否有在3D局部障碍物地图中出现、在无障碍物地图中未出现的物体；在判定是时，更新所述无障碍物地图，并根据更新后的所述无障碍物地图对第一图像数据进行第二动态物体滤波，得到第二图像数据。也就是说，对于某个空间坐标，若3D局部障碍物地图中表明当前点为障碍物，但无障碍物地图中表示当前点为可通行区域，则将该点视为动态物体，将该点的障碍物信息删除。
总的来说，3D动态物体滤除的主要步骤可分为：1、从位姿数据库中寻找和当前帧(即原始图像数据)存在共视的关键帧子集S；2、利用S中的每一个共视帧，针对当前的TSDF模型，利用整数追逐算法生成3D局部障碍物地图G0和无障碍物地图Gf，共同构成局部3D栅格地图；3、对于局部3D栅格地图中的某个点x，若Gf(x)>0，G0(x)>0，则表明3D局部障碍物地图中当前点为障碍物，但无障碍物地图中表示当前点为可通行区域，此时将G0(x)设置为0，即将该点的障碍物信息删除；4、利用更新的G0对共视帧的图像数据进行更新，将对应点的原始图像数据进行更新，同时利用更新后的图像数据对TSDF模型进行更新。
值得一提的是，如图3所示，整个3D动态物体滤除为对称的两部分，分为当前帧的前向滤除和前一帧的后向滤除，两次滤除过程本质都是一样的，只是滤除的主体不同，前向滤除是以当前帧为中心，当前帧的图像数据并没有融合进TSDF模型中；后向滤除是以当前帧的前一帧为中心，首先将当前帧的图像数据融合进TSDF模型中，同时将前一帧从TSDF模型分离出来。
S207：根据第二图像数据更新融合学习模型，得到全局学习模型。
S208：根据全局学习模型和位姿数据得到原始图像数据的栅格地图。
关于步骤S207至步骤S208，具体的说，本实施方式中根据全局学习模型和位姿数据得到原始图像数据的栅格地图，可以为：根据共视帧得到2D占据障碍物图和2D无障碍物地图，将所有存在障碍物的点设置为0，所述2D无障碍物地图中大于预设阈值的点设置为1，得到所述栅格地图。也就是说，在生成栅格地图的过程中，先通过光纤投影得到2D占据障碍物图和2D无障碍物地图；然后以障碍物优先(在前述的步骤中，已经将动态物体全部滤除了，因此整个场景中只存在动态物体)，当某个点的2D占据障碍地图表明存在障碍时，就直接将该点最终的栅格状态设置为障碍物(设置为0)，再判断可通行区域，将2D无障碍物地图中大于预设阈值的点设置为1，得到最终的栅格地图。
为了便于理解，下面对本实施方式中栅格地图的生成方法进行具体的说明：
如图4所示，对于每一次的位姿数据和原始图像数据的输入，首先利用已有的TSDF模型对当前原始图像数据进行2D动态物体滤波，然后将滤波后的图像结合位姿数据融合进TSDF模型中，得到融合TSDF模型；同时，将当前的位姿数据保存到数据库内，并在数据库内搜索和当前帧存在共视的帧，并利用这些帧结合TSDF模型构建局部的3D栅格地图，以对其中存在的动态物体进行滤除，并据此更新TSDF模型。在得到最终的TSDF模型(即全局学习模型)后，利用设计的GPU光线投影算法，快速的生成导航可用的栅格地图。
值得一提的是，为了生成栅格地图，本实施方式还会将地板预先从TSDF模型中滤除，以防最终将地板视为障碍物。由于在机器人中，相机到底盘的高度是已知的，因此本实施方式通过当前帧到底盘的距离作为判定门限，来滤除地板，避免了“传统的栅格地图生成时，将地面视为水平面，因此直接将z方向上某个值视为地板，但在实际情况中，地板可能并不和z轴一致平行，甚至可能存在坡度，从而导致最后生成的栅格地图不精确”的情况的发生，提高了栅格地图的精度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种栅格地图生成装置，如图5所示，包括：
至少一个处理器501；以及，
与至少一个处理器501通信连接的存储器502；其中，
存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述栅格地图生成方法。
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种栅格地图生成方法，其特征在于，包括：
获取拍摄装置拍摄的原始图像数据，以及所述拍摄装置拍摄所述原始图像数据时的位姿数据；
将所述原始图像数据和所述位姿数据输入预设学习模型，得到第一图像数据，其中，所述预设学习模型根据所述位姿数据对所述原始图像数据进行第一动态物体滤波，以得到所述第一图像数据；
将所述第一图像数据和所述位姿数据融入所述预设学习模型，得到融合学习模型；
根据所述融合学习模型和所述位姿数据得到所述原始图像数据的栅格地图；
所述预设学习模型根据所述位姿数据对所述原始图像数据进行第一动态物体滤波，包括：
获取所述原始图像数据中的每个点的SDF值与所述预设学习模型中对应点存储的原始SDF值的差值；
对所述差值进行二值化处理，得到第一掩膜图；
根据所述第一掩膜图对所述原始图像数据进行第一动态物体滤波，得到所述第一图像数据。
2.根据权利要求1所述的栅格地图生成方法，其特征在于，在得到所述融合学习模型之后，还包括：
根据所述位姿数据，从位姿数据库中获取所述原始图像数据的共视帧，其中，所述位姿数据库中存储有所述拍摄装置拍摄历史图像数据时的历史位姿数据；
根据所述共视帧和所述融合学习模型，构建局部3D栅格地图；
根据所述局部3D栅格地图对所述第一图像数据进行第二动态物体滤波，得到第二图像数据；
根据所述第二图像数据更新所述融合学习模型，得到全局学习模型；
所述根据所述融合学习模型和所述位姿数据得到所述原始图像数据的栅格地图，包括：
根据所述全局学习模型和所述位姿数据得到所述原始图像数据的栅格地图。
3.根据权利要求2所述的栅格地图生成方法，其特征在于，所述根据所述位姿数据，从位姿数据库中获取所述原始图像数据的共视帧，包括：
判断所述位姿数据库中是否存在与所述位姿数据的偏差在预设范围内的历史位姿数据；
在判定存在时，将所述历史位姿数据对应的历史图像数据作为所述共视帧。
4.根据权利要求2或3所述的栅格地图生成方法，其特征在于，所述根据所述共视帧和所述融合学习模型，构建局部3D栅格地图，包括：
根据所述共视帧和所述融合学习模型生成3D局部障碍物地图和无障碍物地图；
根据所述3D局部障碍物地图和所述无障碍物地图构建所述局部3D栅格地图。
5.根据权利要求4所述的栅格地图生成方法，其特征在于，所述根据所述局部3D栅格地图对所述第一图像数据进行第二动态物体滤波，得到第二图像数据，包括：
判断所述第一图像数据中是否有在所述3D局部障碍物地图中出现、在所述无障碍物地图中未出现的物体；
在判定是时，更新所述无障碍物地图，并根据更新后的所述无障碍物地图对所述第一图像数据进行第二动态物体滤波，得到所述第二图像数据。
6.根据权利要求2所述的栅格地图生成方法，其特征在于，所述根据所述融合学习模型和所述位姿数据得到所述原始图像数据的栅格地图，包括：
根据所述共视帧，得到2D占据障碍物图和2D无障碍物地图；
将所有存在障碍物的点设置为0，所述2D无障碍物地图中大于预设阈值的点设置为1，得到所述栅格地图。
7.根据权利要求1所述的栅格地图生成方法，其特征在于，在得到第一掩膜图之后，还包括：
将所述原始图像数据和所述第一掩膜图进行泛红填充，得到第二掩膜图；
所述根据所述第一掩膜图对所述原始图像数据进行第一动态物体滤波，得到所述第一图像数据，包括：
根据所述第二掩膜图对所述原始图像数据进行第一动态物体滤波，得到所述第一图像数据。
8.一种栅格地图生成装置，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的栅格地图生成方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的栅格地图生成方法。
CN202010538044.5A 2020-06-12 2020-06-12 栅格地图生成方法、装置及计算机可读存储介质 Active CN111683203B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010538044.5A CN111683203B (zh) 2020-06-12 2020-06-12 栅格地图生成方法、装置及计算机可读存储介质
KR1020217042773A KR102745326B1 (ko) 2020-06-12 2021-06-10 그리드 맵 생성 방법, 장치 및 컴퓨터 판독 가능 저장 매체
PCT/CN2021/099338 WO2021249469A1 (zh) 2020-06-12 2021-06-10 栅格地图生成方法、装置及计算机可读存储介质
US17/563,732 US11972523B2 (en) 2020-06-12 2021-12-28 Grid map generation method and device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010538044.5A CN111683203B (zh) 2020-06-12 2020-06-12 栅格地图生成方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111683203A CN111683203A (zh) 2020-09-18
CN111683203B true CN111683203B (zh) 2021-11-09

Family

ID=72454068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010538044.5A Active CN111683203B (zh) 2020-06-12 2020-06-12 栅格地图生成方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11972523B2 (zh)
KR (1) KR102745326B1 (zh)
CN (1) CN111683203B (zh)
WO (1) WO2021249469A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111683203B (zh) 2020-06-12 2021-11-09 达闼机器人有限公司 栅格地图生成方法、装置及计算机可读存储介质
CN114090706B (zh) * 2021-10-11 2024-11-05 深圳元戎启行科技有限公司 地图管理方法、装置及计算机可读存储介质
CN116168173B (zh) * 2023-04-24 2023-07-18 之江实验室 车道线地图生成方法、装置、电子装置和存储介质
KR20250103219A (ko) * 2023-12-28 2025-07-07 성균관대학교산학협력단 이상 탐지 방법 및 장치, 그 학습 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998011465A1 (en) * 1996-09-13 1998-03-19 Electronic Systems Engineering Company Method and apparatus for sequential exposure printing of ultra high resolution digital images using multiple sub-image generation and a programmable moving-matrix light valve
CN106997614A (zh) * 2017-03-17 2017-08-01 杭州光珀智能科技有限公司 一种基于深度相机的大规模场景3d建模方法及其装置
CN109389641A (zh) * 2017-08-02 2019-02-26 北京贝虎机器人技术有限公司 室内地图综合数据生成方法及室内重定位方法
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及系统
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110967011A (zh) * 2019-12-25 2020-04-07 苏州智加科技有限公司 一种定位方法、装置、设备及存储介质
CN111123949A (zh) * 2019-12-31 2020-05-08 深圳前海达闼云端智能科技有限公司 机器人的避障方法、装置、机器人及存储介质
CN111239761A (zh) * 2020-01-20 2020-06-05 西安交通大学 一种用于室内实时建立二维地图的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
JP7036732B2 (ja) 2015-11-04 2022-03-15 ズークス インコーポレイテッド 自律車両のためのシミュレーションシステムおよび方法
MY195922A (en) * 2016-09-14 2023-02-27 Irobot Corp Systems and Methods for Configurable Operation of a Robot Based on Area Classification
US10222215B2 (en) * 2017-04-21 2019-03-05 X Development Llc Methods and systems for map generation and alignment
CN108920584B (zh) * 2018-06-25 2020-10-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置
CN109387204B (zh) * 2018-09-26 2020-08-28 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN109558471B (zh) * 2018-11-14 2020-10-16 广州广电研究院有限公司 栅格地图的更新方法、装置、存储介质和系统
CN109895100B (zh) * 2019-03-29 2020-10-16 深兰科技（上海）有限公司 一种导航地图的生成方法、装置及机器人
CN110310362A (zh) * 2019-06-24 2019-10-08 中国科学院自动化研究所 基于深度图及imu的高动态场景三维重建方法、系统
CN110260856A (zh) * 2019-06-26 2019-09-20 北京海益同展信息科技有限公司 一种建图方法和装置
CN111683203B (zh) * 2020-06-12 2021-11-09 达闼机器人有限公司 栅格地图生成方法、装置及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998011465A1 (en) * 1996-09-13 1998-03-19 Electronic Systems Engineering Company Method and apparatus for sequential exposure printing of ultra high resolution digital images using multiple sub-image generation and a programmable moving-matrix light valve
CN106997614A (zh) * 2017-03-17 2017-08-01 杭州光珀智能科技有限公司 一种基于深度相机的大规模场景3d建模方法及其装置
CN109389641A (zh) * 2017-08-02 2019-02-26 北京贝虎机器人技术有限公司 室内地图综合数据生成方法及室内重定位方法
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及系统
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110967011A (zh) * 2019-12-25 2020-04-07 苏州智加科技有限公司 一种定位方法、装置、设备及存储介质
CN111123949A (zh) * 2019-12-31 2020-05-08 深圳前海达闼云端智能科技有限公司 机器人的避障方法、装置、机器人及存储介质
CN111239761A (zh) * 2020-01-20 2020-06-05 西安交通大学 一种用于室内实时建立二维地图的方法

Also Published As

Publication number Publication date
KR102745326B1 (ko) 2024-12-19
WO2021249469A1 (zh) 2021-12-16
KR20220035879A (ko) 2022-03-22
US11972523B2 (en) 2024-04-30
CN111683203A (zh) 2020-09-18
US20220122321A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
CN111683203B (zh) 栅格地图生成方法、装置及计算机可读存储介质
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN112037260A (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
EP3974778B1 (en) Method and apparatus for updating working map of mobile robot, and storage medium
CN106548486B (zh) 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN111123949A (zh) 机器人的避障方法、装置、机器人及存储介质
CN106599108A (zh) 一种三维环境中多模态环境地图构建方法
CN113989451A (zh) 高精地图构建方法、装置及电子设备
WO2019161813A1 (zh) 动态场景的三维重建方法以及装置和系统、服务器、介质
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN112652065A (zh) 三维社区建模方法、装置、计算机设备及存储介质
CN118089666B (zh) 一种适用于低重叠度无人机影像的摄影测量方法及系统
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN116917936A (zh) 双目相机外参标定的方法及装置
KR20200056613A (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
US20250292506A1 (en) Information processing method, information processing device, and information processing system
KR20230029981A (ko) 포즈 결정을 위한 시스템 및 방법
CN111982076A (zh) 一种单镜头无人机飞行参数设置方法
CN115790621A (zh) 高精地图更新方法、装置及电子设备
CN119323772B (zh) 一种基于rgbd视觉分割算法的语义地图构建方法
CN112907654B (zh) 多目相机外参数优化方法、装置、电子设备及存储介质
CN115661360A (zh) 一种空地融合精细化三维建模方法
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN117542042B (zh) 三维对象检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 201100 2nd floor, building 2, No. 1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.

CP03 Change of name, title or address
PP01 Preservation of patent right

Effective date of registration: 20250924

Granted publication date: 20211109

PP01 Preservation of patent right