CN111553975B - 一种手持式三维扫描系统的实时回环检测方法 - Google Patents

Abstract

本发明提供了一种手持式三维扫描系统的实时回环检测方法，首先为关键帧数据添加时序标签，再通过高斯卷积方法进行融合，最后结合多边形求交的原理，实现在更大场景范围内进行实时回环检测，并且与词袋模型方法联合使用，大大提高了回环检测的灵敏度。

Description

一种手持式三维扫描系统的实时回环检测方法

技术领域

本发明涉及三维扫描系统，尤其涉及一种手持式三维扫描系统的实时回环检测方法。

背景技术

采用结构光进行三维扫描时，通常数据拼接过程是依靠点云拼接算法逐帧进行的，当拼接误差小于一定误差时，视为拼接成功。随着扫描的进行，每一帧的拼接误差不断累积和传递，并且与扫描帧数正相关，如果不消除这些误差，将对整个扫描的结果产生严重影响，比如扫描模型出现扭曲，断裂，进而导致扫描数据无法满足使用需求。目前消除误差比较有效的办法是判断相机是否回到了以前经过的位置，即回环检测。如果发现相机运动回到了以前经过的某个位置，则说明相机运动出现闭环，将闭环信息用于闭环优化算法，通过回环优化算法的优化就可以让扫描结果更加准确。

词袋模型方法是目前一种比较有效的回环检测方法，但使用该算法进行回环检测时，受限于扫描窗口的尺寸(词袋模型算法需要对每一帧数据进行特征检测，特征点的数量取决于单帧数据量，而单帧数据量是由扫描窗口尺寸决定的)，所以只能在小范围内进行回环检测(实质是单帧数据间相似度的快速判断)，不能在更大的场景范围内进行回环检测，因此使用该算法进行回环检测时往往不够灵敏，尤其是扫描窗口尺寸远小于被扫描物体尺寸时。

发明内容

本发明的目的在于针对上述现有技术的不足，提供了一种手持式三维扫描系统的实时回环检测方法，实现在更大场景范围内进行实时回环检测，大大提高了回环检测的灵敏度。

为实现上述目的，本发明采用了如下技术方案：

一种手持式三维扫描系统的实时回环检测方法，包括以下步骤：

S1、对扫描拼接成功后的每一帧点云P和对应的相机位姿R，其中P＝{p₁,p₂,...,p_N}；计算R和上一帧点云P'对应的相机位姿R'之间的变换矩阵O，其中

S2、提取O中的三维线性变换部分计算旋转量r，r＝arccos(0.5×(a₁₁+a₂₂+a₃₃-1))；提取O中的三维平移变换部分计算平移量t，

S3、当关键帧数据库中的帧数大于帧阈值d_min时，开始进行回环检测；

S4、对距当前关键帧为d_min的点云P'，通过高斯卷积方法进行融合：取半径为1的权重矩阵

以M为卷积核对点云深度值进行卷积；

S5、通过相机成像方程重新计算点云P'中每一个点的坐标；

S6、对点云P'通过Delaunay三角算法剖分获得该帧点云的三角化拓扑关系；

S7、将点云P'的三角化拓扑关系和每个点的坐标加入AABB(Axis AlignedBounding Box)二叉树T；

S8、通过最小二乘法将点云P'拟合为平面：设平面方程为z＝a₀x+a₁y+a₂，求解方程组

得到该帧的方向向量V，V＝(a₀,a₁,a₂)；

S9、在D中取距当前帧最近的d_min帧作为检测组，剩余帧作为被检测组。求检测组中关键帧方向向量的平均值V'；

以检测组时序的中值对应的关键帧点云K作为检测帧，通过Ray-AABB碰撞检测算法检测以点云K的几何中心Q为起点，V'为方向的射线与T是否存在交点。

进一步，还包括以下步骤：

S10、若不存在交点，则说明不存在回环；

若存在交点，计算检测帧K和相交帧K'的法向点乘s，s＝a·b；

若s小于0，说明检测帧K和相交帧K'不同向，则不存在回环；

否则分别取检测帧K和相交帧K'邻近的d_min/3帧，通过Super4PCS(Super 4-pointsCongruent Sets)算法进行粗匹配，匹配结束后计算点云重叠率λ。

进一步，还包括以下步骤：

S11、若重叠率λ大于0.5，计算对应点云UV坐标中的x_min,y_min,x_max,y_max，提取UV坐标处于此范围的点云再次进行ICP(Iterative Closest Point)拼接。

进一步，还包括以下步骤：

S12、所述步骤S11循环进行，记录每次拼接的重叠率λ和拼接误差δ；

若重叠率λ和拼接误差δ趋于稳定，并且拼接误差δ满足要求则说明存在回环，随即中断执行步骤S11并将回环信息发送给回环优化算法用于执行优化。

进一步，所述步骤S1～所述步骤S12随扫描的进行循环执行。

进一步，步骤S2进一步包括：

若所述旋转量r大于旋转阈值r_min或t大于平移阈值t_min，则将该帧点云作为关键帧点云存入关键帧数据库D；D中的关键帧按加入时间从1开始排序。

本发明的有益效果为：通过为单帧数据添加时序标签，结合多边形求交的原理，实现在更大场景范围内进行实时回环检测，并且与词袋模型方法联合使用，大大提高了回环检测的灵敏度。

附图说明

图1为一种手持式三维扫描系统的实时回环检测方法的原理示意图；

图2为实施例一的示意图之一；

图3为实施例一的示意图之二。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，S1、对扫描拼接成功后的每一帧点云P和对应的相机位姿R，其中P＝{p₁,p₂,...,p_N}，p＝(x,y,z)。计算R和上一帧点云P'对应的相机位姿R'之间的变换矩阵O，其中

S2、提取O中的三维线性变换部分计算旋转量r，r＝arccos(0.5×(a₁₁+a₂₂+a₃₃-1))。提取O中的三维平移变换部分计算平移量t，

若r大于旋转阈值r_min或t大于平移阈值t_min，则将该帧点云作为关键帧点云存入关键帧数据库D。D中的关键帧按加入时间从1开始排序。

S3、当关键帧数据库中的帧数大于帧阈值d_min时，开始进行回环检测。

S4、对距当前关键帧为d_min的点云P'，通过高斯卷积方法进行融合：取半径为1的权重矩阵

以M为卷积核对点云深度值进行卷积。

S5、通过相机成像方程重新计算点云P'中每一个点的坐标。

S6、对点云P'通过Delaunay三角算法剖分获得该帧点云的三角化拓扑关系。

S7、将点云P'的三角化拓扑关系和每个点的坐标加入AABB(Axis AlignedBounding Box)二叉树T。

S8、通过最小二乘法将点云P'拟合为平面：设平面方程为z＝a₀x+a₁y+a₂，求解方程组

得到该帧的方向向量V，V＝(a₀,a₁,a₂)。

S9、在D中取距当前帧最近的d_min帧作为检测组，剩余帧作为被检测组。求检测组中关键帧方向向量的平均值V'。以检测组时序的中值对应的关键帧点云K作为检测帧，通过Ray-AABB碰撞检测算法检测以点云K的几何中心Q为起点，V'为方向的射线与T是否存在交点。

S10、若不存在交点，则说明不存在回环。若存在交点，计算检测帧K和相交帧K'的法向点乘s，s＝a·b。若s小于0，说明检测帧K和相交帧K'不同向，则不存在回环。否则分别取检测帧K和相交帧K'邻近的d_min/3帧，通过Super4PCS(Super 4-points Congruent Sets)算法进行粗匹配，匹配结束后计算点云重叠率λ。

S11、若重叠率λ大于0.5，计算对应点云UV坐标中的x_min,y_min,x_max,y_max，提取UV坐标处于此范围的点云再次进行ICP(Iterative Closest Point)拼接。

S12、步骤S11循环进行，记录每次拼接的重叠率.λ和拼接误差δ。若重叠率λ和拼接误差δ趋于稳定，并且拼接误差δ满足要求则说明存在回环，随即中断执行步骤11并将回环信息发送给回环优化算法用于执行优化。

S13、步骤S1～S12随扫描的进行循环执行。

实施例一：

在Intel Core i5通用计算平台上安装搭载该算法的手持式三维扫描系统进行连续扫描，由于拼接误差不断累积，导致模型在相同位置出现错位，如图2所示(A处)。此时算法在50ms左右检测到扫描过程存在回环，并将回环信息传递给闭环优化算法，及时纠正了当前相机姿态，消除了错位导致的异常，如图3(B处)，使扫描顺利进行。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种手持式三维扫描系统的实时回环检测方法，其特征在于，包括以下步骤：

S1、对扫描拼接成功后的每一帧点云P和对应的相机位姿R，其中P＝{p₁,p₂,...,p_N}；计算R和上一帧点云P'对应的相机位姿R'之间的变换矩阵O，其中

S2、提取O中的三维线性变换部分计算旋转量r，r＝arccos(0.5×(a₁₁+a₂₂+a₃₃-1))；提取O中的三维平移变换部分计算平移量t，

S3、当关键帧数据库中的帧数大于帧阈值d_min时，开始进行回环检测；

S4、对距当前关键帧为d_min的点云P'，通过高斯卷积方法进行融合：取半径为1的权重矩阵

以M为卷积核对点云深度值进行卷积；

S5、通过相机成像方程重新计算点云P'中每一个点的坐标；

S6、对点云P'通过Delaunay三角算法剖分获得该帧点云的三角化拓扑关系；

S7、将点云P'的三角化拓扑关系和每个点的坐标加入AABB(Axis Aligned BoundingBox)二叉树T；

S8、通过最小二乘法将点云P'拟合为平面：设平面方程为z＝a₀x+a₁y+a₂，求解方程组

得到该帧的方向向量V，V＝(a₀,a₁,a₂)；

S9、在D中取距当前帧最近的d_min帧作为检测组，剩余帧作为被检测组， 求检测组中关键帧方向向量的平均值V'；

以检测组时序的中值对应的关键帧点云K作为检测帧，通过Ray-AABB碰撞检测算法检测以点云K的几何中心Q为起点，V'为方向的射线与T是否存在交点。

2.根据权利要求1所述的一种手持式三维扫描系统的实时回环检测方法，其特征在于，还包括以下步骤：

S10、若不存在交点，则说明不存在回环；

若存在交点，计算检测帧K和相交帧K'的法向点乘s，s＝a·b；

若s小于0，说明检测帧K和相交帧K'不同向，则不存在回环；

否则分别取检测帧K和相交帧K'邻近的d_min/3帧，通过Super4PCS(Super 4-pointsCongruent Sets)算法进行粗匹配，匹配结束后计算点云重叠率λ。

3.根据权利要求2所述的一种手持式三维扫描系统的实时回环检测方法，其特征在于，还包括以下步骤：

S11、若重叠率λ大于0.5，计算对应点云UV坐标中的x_min,y_min,x_max,y_max，提取UV坐标处于此范围的点云再次进行ICP(Iterative Closest Point) 拼接。

4.根据权利要求3所述的一种手持式三维扫描系统的实时回环检测方法，其特征在于，还包括以下步骤：

S12、所述步骤S11循环进行，记录每次拼接的重叠率λ和拼接误差δ；

若重叠率λ和拼接误差δ趋于稳定，并且拼接误差δ满足要求则说明存在回环，随即中断执行步骤S11并将回环信息发送给回环优化算法用于执行优化。

5.根据权利要求4所述的一种手持式三维扫描系统的实时回环检测方法，其特征在于：所述步骤S1～所述步骤S12随扫描的进行循环执行。

6.根据权利要求1所述的一种手持式三维扫描系统的实时回环检测方法，其特征在于，步骤S2进一步包括：

若所述旋转量r大于旋转阈值r_min或t大于平移阈值t_min，则将该帧点云作为关键帧点云存入关键帧数据库D；D中的关键帧按加入时间从1开始排序。

Images