[go: up one dir, main page]

CN111476812A - 地图分割方法、装置、位姿估计方法和设备终端 - Google Patents

地图分割方法、装置、位姿估计方法和设备终端 Download PDF

Info

Publication number
CN111476812A
CN111476812A CN202010259485.1A CN202010259485A CN111476812A CN 111476812 A CN111476812 A CN 111476812A CN 202010259485 A CN202010259485 A CN 202010259485A CN 111476812 A CN111476812 A CN 111476812A
Authority
CN
China
Prior art keywords
point
map
correlation
points
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010259485.1A
Other languages
English (en)
Inventor
张宇
戴玮辰
江家骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010259485.1A priority Critical patent/CN111476812A/zh
Publication of CN111476812A publication Critical patent/CN111476812A/zh
Priority to US17/221,063 priority patent/US11741615B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及地图分割方法、装置、位姿估计方法和设备终端，该地图分割方法包括：获取地图点数据并根据所述地图点数据构建对应的点图，点图包含各个地图点所构成的节点以及对应的边，对点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿，根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性，判断点间相关性是否小于预设相关度阈值，当点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使所述静态点和所述动态点分离以完成所述地图的分割，上述地图分割方法，排除了动态点的影响，为后续的位姿估计奠定基础。

Description

地图分割方法、装置、位姿估计方法和设备终端
技术领域
本发明涉及图像处理领域，尤其涉及一种地图分割方法、装置、位姿估计方法和设备终端。
背景技术
基于视觉的位姿的位姿估计方法能利用时序图像来估计传感器的六自由度位姿，然而，上述位姿估计方法的应用场景严格受限于静态环境假设。在实际应用中，基于静态环境假设的视觉位姿估计方法会因为视野中存在移动干扰物体而使估计精度下降。
发明内容
鉴于此，本发明提供一种地图分割方法、装置、位姿估计方法和设备终端，对于包含动态场景的地图，能够利用静态点之间具有分布的相关性，而动态点与静态点之间不具备相关性的思想，进而将不相关点之间的边移除，从而完成动态点和静态点之间的分离，进而完成地图分割，排除了动态点的影响，为后续的利用静态数据点完成位姿估计奠定基础。
一种地图分割方法，地图包括静态点和动态点，地图分割方法包括：
获取地图点数据并根据所述地图点数据构建对应的点图，点图包含各个地图点所构成的节点以及对应的边；
对点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿；
根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性；
判断点间相关性是否小于预设相关度阈值；
当点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使所述静态点和所述动态点分离以完成所述地图的分割。
在一个实施例中，获取地图点数据并根据所述地图点数据构建对应的点图的步骤包括：
对输入的传感器数据进行特征点提取和特征点匹配，得到对应的地图点数据；
采用三角剖分方法对所述地图点数据进行处理，以构建对应的点图。
在一个实施例中，用于进行测量的测量公式如下：
Figure BDA0002438757150000021
其中，yik表示点图中第i个地图点在k时刻对应的测量与估计值，s(.)表示传感器模型，R(.)用于实现世界坐标系到传感器坐标系的转换，g(Xik)＝s(R(Xik))表示采用传感器模型对第i个地图点在k时刻进行观测所对应的模型观测值，Xik表示第i个地图点在k时刻对应的待估计状态变量，Tk表示传感器在k时刻对应的位姿，Pi表示第i个地图点对应的齐次坐标，nik表示高斯噪声，nik服从高斯分布N(uik,Cik)，uik表示高斯噪声的均值，Cik表示高斯噪声的方差，i和k均属于正整数。
在一个实施例中，地图分割方法还包括：
在采用所述传感器模型进行观测时，采用最大似然估计的方法对待估计状态变量进行对应的观测。
在一个实施例中，根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性的步骤中对应的计算公式采用以下公式：
Figure BDA0002438757150000031
其中，Zijk表示点图中第i个地图点和第j个地图点之间在k时刻对应的点间相关性，yjk表示点图中第j个地图点在k时刻对应的测量与估计值，lijk表示k时刻连接第i个地图点和第j个地图点的边，h(lijk)表示第i个地图点和第j个地图点在k时刻的点间相关性所对应的模型观测值，Pj表示第j个地图点对应的齐次坐标，nijk表示噪声。
在一个实施例中，采用求解预设目标函数极值的方法对待估计状态变量的测量误差和点间相关性的模型观测误差进行优化，预设目标函数如下：
Figure BDA0002438757150000032
其中，J(X)表示预设目标函数，ey,ik(X)表示待估计状态变量的测量误差，ez,ijk(Xg)表示点间相关性的模型观测误差，Cijk为Zijk的协方差，X表示待估计状态变量，Xg表示待估计状态变量中的齐次坐标。
此外，还提供一种位姿估计方法，位姿估计方法采用上述任一种地图分割方法，位姿估计方法还包括：
确定分割后的地图中各个部分的连通域；
选取各个连通域中体积最大的连通域作为目标静态点集；
对目标静态点集进行处理以完成对应的位姿估计。
此外，还提供一种地图分割装置，地图分割装置包括：
点图生成模块，用于获取地图点数据并根据所述地图点数据构建对应的点图，点图包含各个地图点所构成的节点以及对应的边；
测量模块，用于对点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿；
点间相关性计算模块，用于根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性；
相关性判断模块，用于判断点间相关性是否小于预设相关度阈值；
分隔模块，用于当点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使所述静态点和所述动态点分离以完成所述地图的分割。
此外，还提供一种设备终端，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述地图分割方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器运行时执行上述地图分割方法。
上述地图包括静态点和动态点，上述地图分割方法通过获取地图点数据并根据所述地图点数据构建对应的点图，点图包含各个地图点所构成的节点以及对应的边，对点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿，根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性，判断点间相关性是否小于预设相关度阈值，当点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以完成静态点和动态点的分离，能够利用静态点之间具有分布的相关性，而动态点与静态点之间不具备相关性的思想，进而将不相关点之间的边移除，从而完成包含动态场景的地图中动态点和静态点之间的分离，进而完成地图的分割。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1为一个实施例中提供的一种地图分割方法的流程示意图；
图2为一个实施例中提供的得到点图的方法流程示意图；
图3为一个实施例中提供的位姿估计方法的流程示意图；
图4为一个实施例中提供的一种地图分割装置的结构框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
图1为一个实施例中提供的一种地图分割方法的流程示意图，地图包括静态点和动态点，该地图分割方法包括：
步骤S110，获取地图点数据并根据所述地图点数据构建对应的点图，点图包含各个地图点所构成的节点以及对应的边。
其中，上述地图点数据属于三维地图点数据，在获取到上述地图点数据之后，需要进一步构建一个图来表达各个地图点之间的相关性。初始图的每条边表示了相连两点之间可能存在的相关性，这里为便于叙述，将包含所有边的图表示为图G。
由于初始图G中边数过多，为降低计算复杂度，需要构建点图以减少边的数量，进而保证每一个点只与对应的相邻点相连且能够最大程度上体现出初始图G的信息，损失程度最小。
在一个实施例中，上述点图采用稀疏点图。
步骤S120，对点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿。
其中，点图中各个节点对应的齐次坐标以及获取节点时所对应的传感器位姿均为待估计状态变量，其中，位姿通常用旋转平移矩阵来进行表示。
其中，上述点图表示了初始时刻相邻节点之间的相关性。
步骤S130，根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性。
其中，对于点图中任意两个相邻节点而言，连接两个相邻点之间的边通常表示对应的点间相关性。因此，在获得点图中各个节点各自的待估计状态变量对应的测量与估计值时，可进一步根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性。
步骤S140，判断点间相关性是否小于预设相关度阈值。
其中，不具有一致性的相邻点所对应的边在随机采样一致性的迭代过程中会被当成奇异值剔除，如果这条边的所有观测皆为奇异值，则该条边从点图中剔除。
其中，视觉中的移动物体通常会造成干扰，然而由于动态点和静态点不具有相关性，通过比较点间相关性与预设相关度阈值的大小，进入后续步骤S150。
步骤S150，当点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使所述静态点和动态点分离，以完成上述地图分割。
其中，由于动态点和静态点之间的相关性较低，因此，当点间相关性小于预设相关度阈值时，即可将对应的相邻节点所对应的边剔除以使得静态点和动态点进行分离，进而完成上述地图分割。
上述地图分割方法，对于包含动态场景的地图点数据，能够利用静态点之间具有分布的相关性，而动态点与静态点之间不具备相关性的思想，进一步在构建点图的基础上，计算点图中相邻点之间的点间相关性，进而将上述点间相关性与预设相关度阈值进行比较，将对应的相邻节点所对应的边剔除以使得静态点和动态点进行分离，将不相关点之间的边移除，从而进而完成上述地图分割，为后续准确的进行位姿估计奠定了基础。
在一个实施例中，如图2所示，步骤110包括：
步骤S112，对输入的传感器数据进行特征点提取和特征点匹配，得到对应的地图点数据。
其中，对于不同的传感器具有不同的输入形式，但通常以图片帧为主。对于RGB单目相机为图像输入，对于RDB-D相机，输入除了图片外还有各个点的深度信息，双目相机则是左右两个图片序列，输入的图片将以时间作为序列。
视觉特征是指在图像局部区域，利用像素梯度大小与方向等信息构建的特征表示，可采用不同的特征点提取算法对上述图片进行特征点提取，得到特征点信息。例如可采用尺度不变特征变换匹配算法(SIFT算法)或Fast特征提取算法。
其中，在提取得到特征点信息时，还需要对连续视图的特征点进行匹配，一般采用基于描述子的方法或基于光流的方法，其中，基于描述子的方法中，通过视觉描述子，如SIFT和SURF(加速稳健特征算法)等视觉特征描述子来获得对应关系，光流是指空间运动物体在观察成像平面上的像素运动的瞬时速度，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
其中，由于每个相机对应的传感器模型不同，对应的三维转换处理方式也不尽相同，例如，对于单目相机，信息为空间射影变换后的投影信息；对于RGB-D相机，由于直接获取得到各个点的深度信息，因此可以直接获得各个三维地图点的信息；对于双目相机，由于拥有左右两端具有相同时间戳的图片序列，因而可以使用立体视觉解算的方法进行解算，得到对应的三维形式的地图点数据。
步骤S114，采用三角剖分方法对地图点数据进行处理，以构建对应的点图。
其中，采用三角剖分方法，通过构建三角化的拓扑结构，每一个三角提的外切圆不包含其它点，这样就可以保证每一个点只与其相邻点相连，进而构建点图，大大简化了后续过程的计算量且能够最大程度体现初始图G的信息，损失最小。
在一个实施例中，用于进行测量的测量公式如下：
Figure BDA0002438757150000091
其中，yik表示点图中第i个地图点在k时刻对应的测量与估计值，s(.)表示传感器模型，R(.)用于实现世界坐标系到传感器坐标系的转换，g(Xik)＝s(R(Xik))表示采用传感器模型对第i个地图点在k时刻进行观测所对应的模型观测值，Xik表示第i个地图点在k时刻对应的待估计状态变量，Tk表示传感器在k时刻对应的位姿，Pi表示第i个地图点对应的齐次坐标，nik表示高斯噪声，nik服从高斯分布N(uik,Cik)，uik表示高斯噪声的均值，Cik表示高斯噪声的方差，i和k均属于正整数。
在一个实施例中，上述传感器模型采用非线性传感器模型。
在一个实施例中，地图分割方法还包括：在采用传感器模型进行观测时，采用最大似然估计的方法对上述状态变量Xik进行对应的观测。
在一个实施例中，步骤S130中对应的计算公式采用以下公式：
Figure BDA0002438757150000101
其中，Zijk表示点图中第i个地图点和第j个地图点之间在k时刻对应的点间相关性，yjk表示点图中第j个地图点在k时刻对应的测量与估计值，lijk表示k时刻连接第i个地图点和第j个地图点的边，h(lijk)表示第i个地图点和第j个地图点在k时刻的点间相关性所对应的模型观测值，Pj表示第j个地图点对应的齐次坐标，nijk表示噪声。
在一个实施例中，采用求解预设目标函数极值的方法对待估计状态变量的测量误差和点间相关性的模型观测误差进行优化，预设目标函数如下：
Figure BDA0002438757150000102
其中，在上述公式(3)中，J(X)表示预设目标函数，ey,ik(X)表示待估计状态变量的测量误差，ez,ijk(Xg)表示点间相关性的模型观测误差，Cijk为Zijk的协方差，X表示待估计状态变量，Xg表示待估计状态变量中的齐次坐标，Cik表示高斯噪声的方差，i和k均属于正整数。
通过采用上述求解预设目标函数极值的方法对待估计状态变量的测量误差和点间相关性的模型观测误差进行优化，能够使得在准确的观测到待估计状态变量的基础上，进一步实现对点间相关性的准确观测，从而能够在优化的过程当中，将不具有一致性的边所对应的观测在随机采样的迭代过程当中当作奇异值进行剔除。如果一条边所有的观测值均为奇异值，则该条边需要从点图中进行剔除，由于所有动态点与静态点间不具有相关性，通过优化去除所有不具备一致性的边就完成了动态点与静态点的分离，从而完成上述地图的分割。
此外，如图3所示，还提供一种位姿估计方法，位姿估计方法采用上述任一种地图分割方法，位姿估计方法还包括：
步骤S210，确定分割后的地图中各个部分的连通域。
其中，在上述地图完成分割之后，得到了静态点对应的连通区域以及动态点对应的连通区域，由于静态点对应的连通区域以及动态点对应的连通区域的连通域的体积特征不同，可根据该特征进行进一步筛选。
在一个实施例中，采用深度优先搜索的算法确定分割后的地图中各个部分的连通域。
步骤S220，选取各个连通域中体积最大的连通域作为目标静态点集。
其中，若存在多个连通域，不同的连通域分别表示具备不同运动状态的独立物体上的点集合。在大部分场景中，所创建地图中体积最大的连通域通常由静态点构成，这是因为：一方面在通过一段时间累积构建的局部地图中，静态场景的空间体积一般较大，另一方面，静态点在三维空间中一般呈均匀分布，而在相同物体上的动态点，由于相机只能观测到物体的单侧表面，导致其分布一般只会集中在某一表面上。因此，动态点构成的连通域体积将远小于静态点构成的连通域体积。
于是，可选取各个连通域中体积最大的连通域作为目标静态点集。
步骤S230，对目标静态点集进行处理以完成对应的位姿估计。
其中，在获得上述目标静态点集之后，可进一步使用传统的光束平差方法对已获得的目标静态点集进行位姿估计与解算。
在一个实施例中，采用光速平差法对目标静态点集进行处理以完成对应的位姿估计。
上述位姿估计方法，通过采用上述地图分割方法，利用静态点之间具有分布的相关性，而动态点与静态点之间不具备相关性的思想，进而将不相关点之间的边移除，从而完成包含动态场景的地图中动态点和静态点之间的分离，进而完成地图的分割，以获得目标静态点集，进一步采用深度优先搜索的算法确定经过分离后的地图中各个部分的连通域，然后选取各个连通域中体积最大的连通域作为目标静态点集，最后采用光速平差法对目标静态点集进行处理以完成对应的位姿估计，克服了基于静态环境假设的视觉位姿估计方法会因为视野中存在移动干扰物体而使估计精度下降的缺点，极大的提高了位姿估计的准确度。
此外，如图4所示，还提供一种地图分割装置300，地图分割装置300包括：
点图生成模块310，用于获取地图点数据并根据地图点数据构建对应的点图，点图包含各个地图点所构成的节点以及对应的边。
测量模块320，用于对点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿。
点间相关性计算模块330，用于根据测量与估计值计算点图中任意两个相邻节点之间的点间相关性。
相关性判断模块340，用于判断点间相关性是否小于预设相关度阈值。
分隔模块350，用于当点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使静态点和动态点分离以完成地图的分割。
此外，还提供一种设备终端，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述地图分割方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器运行时执行上述地图分割方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种地图分割方法，其特征在于，所述地图包括静态点和动态点，所述地图分割方法包括：
获取地图点数据并根据所述地图点数据构建对应的点图，所述点图包含各个地图点所构成的节点以及对应的边；
对所述点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，所述待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿；
根据所述测量与估计值计算所述点图中任意两个相邻节点之间的点间相关性；
判断所述点间相关性是否小于预设相关度阈值；
当所述点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使所述静态点和所述动态点分离以完成所述地图的分割。
2.根据权利要求1所述的地图分割方法，其特征在于，所述获取地图点数据并根据所述地图点数据构建对应的点图的步骤包括：
对输入的传感器数据进行特征点提取和特征点匹配，得到对应的地图点数据；
采用三角剖分方法对所述地图点数据进行处理，以构建对应的点图。
3.根据权利要求1所述的地图分割方法，其特征在于，用于进行所述测量与估计值的测量与估计值公式如下：
Figure FDA0002438757140000011
其中，yik表示所述点图中第i个地图点在k时刻对应的测量与估计值，s(.)表示传感器模型，R(.)用于实现世界坐标系到传感器坐标系的转换，g(Xik)＝s(R(Xik))表示采用所述传感器模型对所述第i个地图点在k时刻进行观测所对应的模型观测值，Xik表示所述第i个地图点在k时刻对应的待估计状态变量，Tk表示传感器在k时刻对应的位姿，Pi表示所述第i个地图点对应的齐次坐标，nik表示高斯噪声，nik服从高斯分布N(uik,Cik)，uik表示高斯噪声的均值，Cik表示高斯噪声的方差，i和k均属于正整数。
4.根据权利要求3所述的地图分割方法，其特征在于，所述地图分割方法还包括：
在采用所述传感器模型进行观测时，采用最大似然估计的方法对所述待估计状态变量进行对应的观测。
5.根据权利要求3所述的地图分割方法，其特征在于，所述根据所述测量与估计值计算所述点图中任意两个相邻节点之间的点间相关性的步骤中对应的计算公式采用以下公式：
Figure FDA0002438757140000021
其中，Zijk表示所述点图中第i个地图点和第j个地图点之间在k时刻对应的点间相关性，yjk表示所述点图中第j个地图点在k时刻对应的测量与估计值，lijk表示k时刻连接所述第i个地图点和所述第j个地图点的边，h(lijk)表示所述第i个地图点和所述第j个地图点在k时刻的点间相关性所对应的模型观测值，Pj表示所述第j个地图点对应的齐次坐标，nijk表示噪声。
6.根据权利要求5所述的地图分割方法，其特征在于，采用求解预设目标函数极值的方法对所述待估计状态变量所对应的测量误差和所述点间相关性所对应的模型观测误差进行优化，所述预设目标函数如下：
Figure FDA0002438757140000031
其中，J(X)表示所述预设目标函数，ey,ik(X)表示所述待估计状态变量的测量误差，ez,ijk(Xg)表示所述点间相关性的模型观测误差，Cijk为Zijk的协方差，X表示所述待估计状态变量，Xg表示所述待估计状态变量中的齐次坐标。
7.一种位姿估计方法，其特征在于，所述位姿估计方法采用权利要求1至6中任一种地图分割方法，所述位姿估计方法还包括：
确定所述分割后的地图中各个部分的连通域；
选取各个连通域中体积最大的连通域作为目标静态点集；
对所述目标静态点集进行处理以完成对应的位姿估计。
8.一种地图分割装置，其特征在于，所述地图包括静态点和动态点，所述地图分割装置包括：
点图生成模块，用于根据地图点数据构建对应的点图，所述点图包含各个地图点所构成的节点以及对应的边；
测量模块，用于对所述点图中各个节点所对应的待估计状态变量进行测量与估计，得到对应的测量与估计值，所述待估计状态变量包括节点的齐次坐标和获取节点时所对应的传感器位姿；
点间相关性计算模块，用于根据所述测量与估计值计算所述点图中任意两个相邻节点之间的点间相关性；
相关性判断模块，用于判断所述点间相关性是否小于预设相关度阈值；
分隔模块，用于当所述点间相关性小于预设相关度阈值时，将对应的相邻节点所对应的边剔除以使所述静态点和所述动态点分离以完成所述地图的分割。
9.一种设备终端，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述设备终端执行权利要求1至6中任一项所述的地图分割方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序在被处理器运行时执行权利要求1至6中任一项所述的地图分割方法。
CN202010259485.1A 2020-04-03 2020-04-03 地图分割方法、装置、位姿估计方法和设备终端 Pending CN111476812A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010259485.1A CN111476812A (zh) 2020-04-03 2020-04-03 地图分割方法、装置、位姿估计方法和设备终端
US17/221,063 US11741615B2 (en) 2020-04-03 2021-04-02 Map segmentation method and device, motion estimation method, and device terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010259485.1A CN111476812A (zh) 2020-04-03 2020-04-03 地图分割方法、装置、位姿估计方法和设备终端

Publications (1)

Publication Number Publication Date
CN111476812A true CN111476812A (zh) 2020-07-31

Family

ID=71749711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010259485.1A Pending CN111476812A (zh) 2020-04-03 2020-04-03 地图分割方法、装置、位姿估计方法和设备终端

Country Status (2)

Country Link
US (1) US11741615B2 (zh)
CN (1) CN111476812A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000294A1 (zh) * 2021-07-23 2023-01-26 深圳市大疆创新科技有限公司 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862255B (zh) * 2020-07-17 2024-07-26 上海联影医疗科技股份有限公司 正则化图像重建方法、系统、可读存储介质和设备
CN116051915B (zh) * 2023-02-22 2024-09-10 东南大学 基于聚类与几何残差的动态场景rgb-d slam方法
CN116542526B (zh) * 2023-07-05 2023-09-19 山东省标筑建筑规划设计有限公司 一种国土空间规划中的灾害风险的评估方法、装置和设备
CN118015294B (zh) * 2024-03-12 2024-09-17 飞燕航空遥感技术有限公司 一种基于三维Alpha-shape算法的从点云中提取地面点的方法和系统
CN120544087B (zh) * 2025-07-29 2025-10-28 杭州秋果计划科技有限公司 一种目标载体状态估计方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272523A (zh) * 2018-08-13 2019-01-25 西安交通大学 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348904B1 (ko) * 2012-01-20 2014-01-09 한국과학기술원 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272523A (zh) * 2018-08-13 2019-01-25 西安交通大学 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEICHEN DAI等: "RGB-D SLAM in Dynamic Environments Using Points Correlations", pages 3 - 6 *
蒂莫西.D巴富特: "机器人学中的状态估计", 西安交通大学出版社, pages: 295 - 296 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000294A1 (zh) * 2021-07-23 2023-01-26 深圳市大疆创新科技有限公司 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质

Also Published As

Publication number Publication date
US11741615B2 (en) 2023-08-29
US20210312637A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP7300438B2 (ja) Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
US10225473B2 (en) Threshold determination in a RANSAC algorithm
CN112367514A (zh) 三维场景构建方法、装置、系统和存储介质
CN118212141A (zh) 用于混合深度正则化的系统和方法
CN114529946A (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
EP4066162A1 (en) System and method for correspondence map determination
CN108010123B (zh) 一种保留拓扑信息的三维点云获取方法
Ait Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
Sheng et al. Geometric occlusion analysis in depth estimation using integral guided filter for light-field image
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
JP2016508652A (ja) 画像シーケンスにおける物体のオクルージョンの決定
WO2018171008A1 (zh) 一种基于光场图像的高光区域修复方法
CN108230395A (zh) 双视角图像校准及图像处理方法、装置、存储介质和电子设备
US20150138193A1 (en) Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium
Rossi et al. Joint graph-based depth refinement and normal estimation
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112927251A (zh) 基于形态学的场景稠密深度图获取方法、系统及装置
CN111739071B (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
Huang et al. ES-Net: An efficient stereo matching network
JP2023065296A (ja) 平面検出装置及び方法
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200731

RJ01 Rejection of invention patent application after publication