CN111213181B - 用于节点向量化的方法和系统 - Google Patents

Abstract

本发明涉及一种用于在多个360度图像内向量化节点的方法。所述方法包括在所述多个360度图像中的第一360度图像中识别一组感兴趣的点；在所述多个360度图像中的第二360度图像中识别对应的一组感兴趣的点；以及使用两组感兴趣的点的三角测量计算所述感兴趣的点的三维坐标。还公开了系统和软件。

Description

用于节点向量化的方法和系统

技术领域

本发明涉及图像处理领域，更确切地，但并非排他地，本发明涉及处理360度图像。

背景技术

360°相机是相当新的商品。360°相机可以使个人能够沿相机路径捕获场景并在他的手机、电脑或虚拟现实(Virtual Reality,VR)头盔上显示对应的360°视频。

期望的是通过使用节点来增强这些360°图像或视频以生成三维网格或识别感兴趣的点。

一些增强现实技术(例如探戈台(Tango platform)或霍罗伦斯(Hololens))能够在使用二维相机捕获物理场景期间创建节点。这些技术使用发射波信号(通常是红外射线)并接收它们的反射的特定硬件装置来收集场景中全部点或部分点(即，角落)的距离和/或颜色。这些技术从这些节点创建三维网格。不幸的是，该三维网格经常有缺陷，因为当在室外或强光下使用时，该技术有显著限制。

还有将一组节点与物理场景的照片组合的技术。示例性的，马特珀特(Matterport)研发了他们自己所有的相机。该相机具有光学镜头和多个传感器(红外信号和陀螺仪)，从而能够通过围绕场景的一个位置上的吊舱的纵轴旋转来捕获连续的(非360°)照片、距离和颜色测量值。在场景中相隔每一米重复该操作，马特珀特软件构建了整个场景中每个地方和对应的体素的拼合的360°照片。用户可以为体素附加内容，但是这取决于体素的精度，而当光太强时，体素的精度对传感器来说又是一个问题，并且无法在室外使用。此外，由于图像是每米间隔的，当显示场景时会增加图像间的模糊变形。图像使用陀螺仪数据来稳定。

本发明的目的是提供一种节点向量化方法和系统，其能克服现有技术的缺点，或者至少提供一种有用的选择。

发明内容

根据本发明的第一方面，提供一种用于在多个360度图像内向量化节点的方法，包括：

a)在多个360度图像中的第一360度图像中识别一组感兴趣的点；

b)在多个360度图像中的第二360度图像中识别对应的一组感兴趣的点；以及

c)使用两组感兴趣的点的三角测量来计算所述感兴趣的点的三维坐标。

本发明的其他方面描述在权利要求中。

附图说明

现在通过参考以下附图以示例的方式来描述本发明的实施例，在附图中：

图1示出了图示根据本发明的实施例的系统的框图；

图2示出了图示根据本发明的实施例的方法的流程图；

图3示出了图示根据本发明的实施例的方法的流程图；

图4示出了图示根据本发明的实施例的多个360度图像中的感兴趣的点识别的图；

图5示出了图示根据本发明的实施例的360度图像样本中的潜在的感兴趣的点的识别的图；

图6示出了图示根据本发明的实施例的对感兴趣的点的三角测量以生成节点的图。

具体实施方式

本发明提供一种用于360度图像的节点向量化方法和系统。

发明人发现可以处理连续的360度图像以识别感兴趣的点，而无需使用传感器捕获的距离数据。

在图1中，示出了根据本发明的实施例的系统100。

示出了一个或多个处理器101。一个或多个处理器101被配置为识别在360度图像内的一组感兴趣的点并使用两组或更多组感兴趣的点之间的三角测量计算感兴趣的点的三维坐标。处理器(一个或多个)101可以被配置为使用图像处理方法来识别感兴趣的点。该图像处理方法可以利用一个或多个视觉特征来识别感兴趣的点，例如，该方法可以检测被具有高局部对比度的像素包围的点。

示出了一个或多个存储器102。该存储器102被配置为存储多个360度图像和感兴趣的点。

参考图2，将描述根据本发明实施例的用于在多个360度图像内向量化节点的方法。

可以使用360度相机从真实世界场景中捕获360度图像。可以理解，360度相机可以包括一系列通用的球面镜和图像传感器，图像传感器配置为从场景中捕获稍后会被拼合在一起以生成场景的360度图像的一系列图像。在替代实施例中，360度相机可以包括单个透镜和图像传感器，图像传感器配置为在不同方向捕获多个图像并将捕获的图像拼合在一起以形成360度图像。在另一个实施例中，360度相机可以包括两个鱼眼透镜，这两个鱼眼透镜捕获两个180度图像，这两个180度图像被拼合在一起以形成360度图像。

可以理解，在使用术语360度图像或180度图像时，该图像可以不用捕获围绕相机水平面的全部360或180度视图，并且可以不捕获围绕相机竖直平面的全部360或180度视图。例如，在一个实施例中，360度图像可以捕获围绕相机的一个球面，除球面底部部分外。

在步骤201中，识别(例如，通过处理器(一个或多个)101)多个360度图像中的第一360度图像中的一组感兴趣的点。

可以使用与360度图像相关的图像处理方法识别组内每个感兴趣的点。该图像处理方法可以使用一个或多个视觉特征来识别感兴趣的点。视觉特征可以与感兴趣的点附近的一组像素相关。在一个实施例中，图像处理方法使用360度图像内的一组像素中的高对比度来识别感兴趣的点(例如，如关于图5所述)。

在步骤202中，识别(例如，也通过处理器(一个或多个)100)多个360度图像中的第二360度图像中的对应的一组感兴趣的点。第一360度图像和第二360度图像在识别对应的一组感兴趣的点之前可以是竖直对齐的。

该对应的组中感兴趣的点中的每一个可以通过使用它们与从第一360度图像中识别的感兴趣的点的在视觉特征和二维坐标中的相似性来识别。

360度图像可以是有顺序的，以及可以是从沿着真实世界位置中的路径移动的360度相机捕获的，使得360度图像在彼此不同的位置处捕获。这些360度图像之间的相对距离或者它们的位置可以被计算，并且可以与每个360度图像关联存储。

在步骤203中，可以(例如，由处理器(一个或多个)101)使用三角测量(例如，如关于图6所述)计算感兴趣的点的三维坐标。

在一个实施例中，感兴趣的点和它们相关的三维坐标可以用来生成三维网格。

参考图3，将描述根据本发明实施例的用于在多个360度图像中向量化节点的方法300。

在本发明的一个实施例中，分析一位置的连续的360°图像以获得这些图像中的许多强感兴趣的点，然后显示稳定化的图像和感兴趣的点。

在本实施例中，可以使用在其透镜间具有微小视差的相机从而能够得到拼合的360度图像，即总是可以很好的捕获距离相机70厘米处的真实场景的任意区域，每个360°拼合图像的像素是清楚的并准确地代表场景。

本发明可以包括以下四个步骤：

1)在步骤301中使用360°相机捕获——低视差，优选4K最小值——通常使用三星盖尔360(Samsung Gear 360)、另一个360度相机、或专有360度相机；

2)在步骤302中的场景参数化(第一图像中的竖直线确定，基于视频捕获的步幅的图像频率的选择)——可以由于内部质量服务定义，可以滑动或自动执行；

3)在步骤303中的内部程序执行方法以识别感兴趣的点以及确定它们的三维坐标——如下所述，以及

4)在步骤304中显示稳定的图像和感兴趣的点以及三维网格，例如统一应用(Unity application)。

识别感兴趣的点和确定它们的三维坐标的方法

使用向量化算法来限定给定位置/场景的一组360°图像中的一定数量的感兴趣的点的坐标(X/Y/Z)。

该算法包括一定数量的步骤，所述步骤从前两个360°图像开始：

1)加载距离足够远例如8厘米-10厘米的两个图像——这可以是提供高精度的最佳距离(然而，在一些实施例中可以使用距离近于8厘米的图像)——通常从每秒30帧视频中加载三分之一图像；

2)在这两个图像中选择感兴趣的点；

3)使用第一图像的方位角设置相机的方位参考；

4)固定两个图像间的距离为等于1的单位——作为为图像组设置比例；

5)图像分析：计算每个图像中选定(自动的)数量的感兴趣的点的二维坐标，以及它们在三维网格中的三维坐标，将该二维坐标和三维坐标配对；

6)评估第二图像的相机的方位；

7)使用三角测量算法计算两个图像的感兴趣的点的三维坐标。

然后开始通过相同的过程分析第三图像：

1)加载第三图像；

2)选择第三图像的感兴趣的点；

3)将感兴趣的点的二维坐标和它们在三维网格中的三维坐标配对；

4)在第三图像中评估相机的方位和位置；

5)在第三图像中重新运行坐标配对算法——将更精确，这是因为现在会更好地知道第三图像的位置和方位；

6)重新运行相机的方位和位置的评估——以提高准确性；

7)使用三角测量算法计算三维网格的感兴趣的点的三维坐标；

8)检查该第三图像没有距离第二图像太近——标准是第二图像和第三图像共有的感兴趣的点的数量，如果太近，该算法不会保留该第三图像，并且会开始分析第四个图像。

每个图像一一重复相同的处理，直到场景的最后一个图像为止。

一旦场景的所有图像都被完全分析，一个算法选择距离最相等的图像作为显示的图像——可以提供距离参数。

使用第一图像上定义的竖直线定向图像。

可以沿固定方向或沿相机的方向定向图像。

可以通过对两个连续的图像进行内插来生成一些图像，从而通过构造使显示平滑。

之后，将图像聚集为视频或一系列相对稳定的距离相等的图像。

感兴趣的点可以用于构建三维网格。该三维网格可以用于给出位置的三维图，并且也可以绑在任何其他补充的三维网格(例如，谷歌地球(Google Earth)坐标，或任何其他坐标参照)。

子过程的进一步细节如上所述：

图像竖直方位

可以使用矩阵和向量(本征)运算来找到旋转矩阵，该旋转矩阵通过使用两个梯度以找到在相机操作者的两条轴线上的斜率(使用第一图像上手动或自动定义的竖直线)，从而纠正相机操作者的非竖直位置。

选择感兴趣的点

点检测器——来自OpenCV的ORB可以用来选择360度图像中的感兴趣的点。

可以使用通常对几何变换是不变的，并且具有可承受的计算时间的检测器。点的数目可以配置为最大化SLAM的精度。每张图像5000至10000点之间可以得到好的结果。ORB检测器用来检测每张图像的感兴趣的点并计算它们的二维坐标。可以由ORB检测器使用对比度标准通过一批像素来定义感兴趣的点。

配对

例如，对于图像中检测到的每个二维点，将图像中的点的二维坐标与其在三维网格中的三维坐标通过以下方式配对：

1)加载三维网格中具有离最后五个图像中的二维点最接近的ORB描述符的点；

2)将搜索限制为150像素的距离；以及

3)在一些CPU核上并行搜索。

评估相机的方位和位置

使用OpenGV库通过以下方式来计算每个360°图像的位置和方位：

1)使用配对结果——每个感兴趣的点的二维与三维坐标；

2)使用OpenGV RANSAC算法来限制配对错误的影响；以及

3)使用OpenGV PNP非线性优化来执行几次迭代以找到每张图像最精确的位置和方位。

二次配对

通过以下方式以比第一次配对的精度更佳的精度将图像中的点的二维坐标与其在三维网格中的三维坐标配对，例如：

1)将对相机位置的准确评估用于将三维网格投影在二维图像上；

2)识别三维网格中具有离最后五个图像中的二维点最接近的ORB描述符的点；以及

3)将搜索限制到20像素的距离。

相机的位置与方位的二次评估

使用OpenGV库通过以下方式计算每张360°图像的位置和方位：

1)使用第二配对结果——每个感兴趣的点的二维和三维坐标；

2)使用OpenGV RANSAC算法来限制配对错误的影响；以及

3)使用Open GV PNP非线性优化来执行几次迭代以找到每张图像的最精确的位置和方位。

可以提供该迭代过程(相机的双重配对和评估)来提高感兴趣的点的位置的准确度。

感兴趣的点的三角测量

可以使用库VPP来通过以下方式计算每个感兴趣的点的三维坐标：

1)使用与三维网格的点组成一对的每个感兴趣的点的两个二维坐标、两个位置和两个视点；以及

2)三角测量与当前图像的二维点组成一对的三维网格的每个点。

添加与三维网格还没有对应关系的感兴趣的点

通过以下方式添加当前图像的新的感兴趣的点：

1)对在最后两个图像中检测到的、但尚未三角测量过的感兴趣的点配对和三角测量；以及

2)仅当重投影误差低于10像素时在三维网格中添加感兴趣的点。

图像变形

在已知图像之间添加新图像从而进一步平滑该系列图像的播放。

通过识别一个循环的两个图像中的相同位置来纠正节点的偏差

当捕获到一个循环(即，在同一个360°视频中相机经过完全相同的位置两次)时，沿相机路径对所有数据点(包括相机位置和感兴趣的点的坐标)进行纠正，来消除相同位置的两个图像之间的坐标差。

选择关键图像

仅保留足够清晰以通过以下方式改善结果并减少计算时间的360°图像：

如果当前图像中检测到的感兴趣的点中少于70％的点被用于评估相机位置，那么当前图像被标记为关键图像。

对用于显示的图像的采样

在所有向量化过程之后，对拍摄的图像进行采样以减少相机操作者步幅变化，使得通过以下方式使图像尽可能等距离：

1)给定一个距离参数，例如，8厘米；

2)从关键图像的样本中：选择第一个图像，然后是距离第一个图像更接近给定距离参数的图像，以此类推；以及

3)从所有拍摄的图像中：选择第一个图像，然后是距离第一个图像更接近给定距离参数的图像，以此类推。

生成三维网格

在所有向量化过程之后，使用所有感兴趣的点来生成位置的三维网格。

图4示出了根据本发明实施例的两个360度图像401和402内的感兴趣的点的样本的识别。

出于说明目的，这两个360度图像不反映360度图像中期望的直线的曲率。此外，仅示出了识别的感兴趣的点的样本。

在图像401中，识别了以下一组的感兴趣的点：401a、401b和401c(例如，使用图5的方法)。

在图像402中，识别了以下对应的一组的感兴趣的点：402a、402b和402c(例如，部分使用图5的方法)。

图5示出了使用对比度算法确定360度图像的部分501内的感兴趣的点。

这一部分包括一个7像素乘6像素的块。该块内的子块是比块内其余部分更暗的阴影。基于靠近该点的像素组将在502处的点识别为具有高对比度的点。

图6示出了使用三角测量计算针对感兴趣的点的节点的三维坐标。

将第一360度图像中的一组感兴趣的点601a、601b、601c中的每一个映射到第二360度图像中对应的对应的感兴趣的点602a、602b、602c。每个映射的感兴趣的点(例如，601a和602a)具有二维坐标，并且使用第一360度图像和第二360度图像之间的距离，三角测量可以用于确定感兴趣的点的三维坐标。

本发明一些实施例的潜在益处是用于感兴趣的点的节点可以通过更便宜、更简单的硬件和更快的捕获模式加入到360度图像中，并且在更多不同的环境条件中可以检测和添加更精确的节点。

尽管通过本发明的实施例的描述说明了本发明，尽管相当详细地描述了实施例，申请人的目的并不是如此详细地限制或以任何方式限制附加的权利要求的范围。额外的益处和修改对本领域技术人员是显而易见的。因此，本发明在其更宽广的方面并不被具体细节、代表性装置和方法、以及示出和描述的说明性示例限制。因此，可能与该具体细节有所不同而并不超出申请人的总的发明构思的范围或精神。

Claims (16)

1.一种用于在由相同的360度相机顺序捕获的多个360度图像内向量化节点的方法，包括：

从所述多个顺序捕获的360度图像中选择第一360度图像和第二360度图像，其中，所述多个顺序捕获的360度图像中的每一个和与所述360度相机沿其移动的路径对应的位置相关联，并且所述多个顺序捕获的360度图像由相同的所述360度相机捕获，以及基于和与所述第一360度图像相关联的位置的不同超出最小阈值的、与所述第二360度图像相关联的位置来选择所述第二360度图像；

在所述多个顺序捕获的360度图像中的所述第一360度图像中识别第一组感兴趣的点，其中，所述第一组感兴趣的点中的每个感兴趣的点是基于该感兴趣的点附近的多个像素值来识别的；

在所述多个顺序捕获的360度图像中的所述第二360度图像中识别与所述第一组感兴趣的点对应的第二组感兴趣的点，其中，所述第二360度图像是在所述第一360度图像之后捕获的，以及所述第二组感兴趣的点是基于在视觉特征上与所述第一组感兴趣的点的相似性来识别的；以及

使用所述第一组感兴趣的点和所述第二组感兴趣的点这两者的三角测量来计算所述感兴趣的点的三维坐标。

2.根据权利要求1所述的方法，其中，基于超过阈值的至少一个视觉特征来在所述第一360度图像内识别所述第一组感兴趣的点。

3.根据权利要求2所述的方法，其中，所述视觉特征是对比度。

4.根据权利要求2所述的方法，其中，所述视觉特征与所述360度图像中每个感兴趣的点附近的一组像素相关。

5.根据权利要求1所述的方法，其中，在识别所述第二组感兴趣的点之前，所述第二360度图像与所述第一360度图像竖直对齐。

6.根据权利要求1所述的方法，还包括生成用于所述第一组感兴趣的点的特征的步骤。

7.根据权利要求6所述的方法，其中，利用所述用于所述第一组感兴趣的点的所述特征识别所述第二组感兴趣的点。

8.根据权利要求1所述的方法，其中，所述多个顺序捕获的360度图像是所述360度相机沿着真实世界的路径移动而捕获的。

9.根据权利要求8所述的方法，其中，所述多个顺序捕获的360度图像中的每一个是所述360度相机在不同位置处捕获的。

10.根据权利要求9所述的方法，其中，所述360度相机是摄像机。

11.根据权利要求8所述的方法，其中，所述多个顺序捕获的360度图像彼此距离不同。

12.根据权利要求1所述的方法，其中，所述多个顺序捕获的360度图像中的每一个与真实世界中的位置相关联。

13.根据权利要求1所述的方法，还包括使用所述三维坐标生成三维网格的步骤。

14.根据权利要求1所述的方法，还包括将所述三维坐标中的每一个与相同的真实世界位置的现有三维网格匹配。

15.一种用于在由相同的360度相机顺序捕获的多个360度图像内向量化节点的系统，包括：

一个或多个处理器，被配置用于：

从所述多个顺序捕获的360度图像中选择第一360度图像和第二360度图像，其中，所述多个顺序捕获的360度图像中的每一个和与所述360度相机沿其移动的路径对应的位置相关联，并且所述多个顺序捕获的360度图像由相同的所述360度相机捕获，以及基于和与所述第一360度图像相关联的位置的不同超出最小阈值的、与所述第二360度图像相关联的位置来选择所述第二360度图像；

在所述多个顺序捕获的360度图像中的所述第一360度图像中识别第一组感兴趣的点，其中，所述第一组感兴趣的点中的每个感兴趣的点是基于该感兴趣的点附近的多个像素值来识别的；

在所述多个顺序捕获的360度图像中的所述第二360度图像中识别与所述第一组感兴趣的点对应的第二组感兴趣的点，其中，所述第二360度图像是在所述第一360度图像之后捕获的，以及所述第二组感兴趣的点是基于视觉特征与所述第一组感兴趣的点的相似性来识别的；以及

使用所述第一组感兴趣的点和所述第二组感兴趣的点这两者的三角测量来计算所述感兴趣的点的三维坐标；以及

存储器，被配置用于存储所述多个顺序捕获的360度图像和所述感兴趣的点中的每一个的三维坐标。

16.一种计算机存储介质，存储有计算机程序，所述计算机程序被至少一个处理器执行时实现权利要求1至14中任一项所述的方法。