CN112017222A - 视频全景拼接与三维融合方法及装置 - Google Patents

Abstract

本申请实施例提供一种视频全景拼接与三维融合方法及装置，方法包括：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示；本申请能够有效解决视频不连续问题，增加视频可读性。

Description

视频全景拼接与三维融合方法及装置

技术领域

本申请涉及视频处理领域，具体涉及一种视频全景拼接与三维融合方法及装 置。

背景技术

随着人们对生活和工作的环境的安全性要求的不断提高，建筑物的安全防范系统的重要性就越来越突出。其中，视频监控系统以其直观、方便、信息内容丰富 的特点越来越受到人们的重视，由此视频成为安全防范系统的重要组成部分。

综上所述传统监控在重要卡口或者区域所体现出的缺陷，亟需要提出一种改善方式，而近年来随着计算机、网络、图像处理、计算机图形学以及传输技术的发 展，视频监控技术也得到飞速发展。现在的许多监控依然是按照单个摄像机的方 式以9宫格或者更多的小视频展示在屏幕上，虽然摄像机覆盖范围广，但是每个 摄像机的画面存在不连贯，细节容易丢失，监控死角多、地理位置不明确等许多 问题，因此给犯罪分子提供了可乘之机。

发明内容

针对现有技术中的问题，本申请提供一种视频全景拼接与三维融合方法及装 置，能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实时掌 握全局，不漏过每一个监控角落，具有很大的实际应用价值。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种视频全景拼接与三维融合方法，包括：

获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画 面进行图像预处理；

对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相 邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两 个实时视频画面的变换关系；

对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所 述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行 显示。

进一步地，所述获取多个具有重叠区域的相邻摄像机的实时视频画面，并对 所述实时视频画面进行图像预处理，包括：

根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均 加权处理；

对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。

进一步地，所述对经过所述图像预处理后的实时视频画面进行特征提取和特 征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点 确定所述相邻两个实时视频画面的变换关系，包括：

对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；

对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之 间的汉明距离；

根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征 点；

根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画 面的变换关系并保存。

进一步地，所述对所述相邻两个实时视频画面进行色差优化处理，并根据变 换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图 像，包括：

根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色 彩矫正；

根据所述摄像机的数量和视频画面分辨率，建立全景图像；

对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。

进一步地，所述通过三维融合技术将所述全景图像实时渲染到预设三维模型 相应位置处进行显示，包括：

确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散 点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；

根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。

第二方面，本申请提供一种视频全景拼接与三维融合装置，包括：

图像预处理模块，用于获取多个具有重叠区域的相邻摄像机的实时视频画面， 并对所述实时视频画面进行图像预处理；

变换关系确定模块，用于对经过所述图像预处理后的实时视频画面进行特征 提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹 配特征点确定所述相邻两个实时视频画面的变换关系；

全景图像生成模块，用于对所述相邻两个实时视频画面进行色差优化处理， 并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应 的全景图像；

三维融合模块，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。

进一步地，所述图像预处理模块包括：

图像降噪单元，用于根据预设二维高斯滤波核函数对所述实时视频画面的各 像素点的值进行平均加权处理；

图像灰度化单元，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。

进一步地，所述变换关系确定模块包括：

特征提取单元，用于对所述实时视频画面进行特征提取，得到对应的特征点 和特征描述符；

粗匹配单元，用于对各所述特征点进行粗匹配，并根据所述特征描述符确定 两个所述特征点之间的汉明距离；

精匹配单元，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时视 频画面的匹配特征点；

变换关系计算单元，用于根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。

进一步地，所述全景图像生成模块包括：

色彩矫正单元，用于根据相邻两个实时视频画面之间的色彩矫正参数和预设 全局调节参数进行色彩矫正；

全景图像建立单元，用于根据所述摄像机的数量和视频画面分辨率，建立全 景图像；

重叠优化单元，用于对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。

进一步地，所述三维融合模块包括：

离散点对确定单元，用于确定目标区域的三维模型和所述全景图像的多个离 散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅 格化坐标构成；

三维融合单元，用于根据所述离散点对确定所述全景图像的映射关系，并根据 所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景 视频的三维融合图像。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的视频 全景拼接与三维融合方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该 计算机程序被处理器执行时实现所述的视频全景拼接与三维融合方法的步骤。

由上述技术方案可知，本申请提供一种视频全景拼接与三维融合方法及装置， 通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通 过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画 面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使 得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的 可乘之机。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的 附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之一；

图2为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之二；

图3为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之三；

图4为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之四；

图5为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之五；

图6为本申请实施例中的视频全景拼接与三维融合装置的结构图之一；

图7为本申请实施例中的视频全景拼接与三维融合装置的结构图之二；

图8为本申请实施例中的视频全景拼接与三维融合装置的结构图之三；

图9为本申请实施例中的视频全景拼接与三维融合装置的结构图之四；

图10为本申请实施例中的视频全景拼接与三维融合装置的结构图之五；

图11为本申请一具体实施例中的高斯滤波3x3模板的参数示意图；

图12为本申请一具体实施例中的某个场景相邻视频画面的特征匹配示意图；

图13为本申请一具体实施例中的某个场景相邻视频画面全景拼接的二维图像 示意图；

图14为本申请一具体实施例中的实时视频全景拼接与三维融合的效果示意图 之一；

图15为本申请一具体实施例中的实时视频全景拼接与三维融合的效果示意图 之二；

图16为本申请实施例中的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描 述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施 例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例，都属于本申请保护的范围。

考虑到近年来随着计算机、网络、图像处理、计算机图形学以及传输技术的 发展，视频监控技术也得到飞速发展。而现在的许多监控依然是按照单个摄像机 的方式以9宫格或者更多的小视频展示在屏幕上，虽然摄像机覆盖范围广，但是 每个摄像机的画面存在不连贯，细节容易丢失，监控死角多、地理位置不明确等 许多问题，因此给犯罪分子提供了可乘之机的问题，本申请提供一种视频全景拼 接与三维融合方法及装置，通过计算机视觉以及图像处理技术，将多个具有重叠 区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用 计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时 全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监 控态势，减少了犯罪分子的可乘之机。

为了能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实 时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值，本申请提供一 种视频全景拼接与三维融合方法的实施例，参见图1，所述视频全景拼接与三维融 合方法具体包含有如下内容：

步骤S101：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述 实时视频画面进行图像预处理；

步骤S102：对经过所述图像预处理后的实时视频画面进行特征提取和特征匹 配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定 所述相邻两个实时视频画面的变换关系；

步骤S103：对所述相邻两个实时视频画面进行色差优化处理，并根据变换关 系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

步骤S104：通过三维融合技术将所述全景图像实时渲染到预设三维模型相应 位置处进行显示。

从上述描述可知，本申请实施例提供的视频全景拼接与三维融合方法，能够 通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通 过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画 面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使 得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的 可乘之机。

在本申请的视频全景拼接与三维融合方法的一实施例中，参见图2，还可以具 体包含如下内容：

步骤S201：根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的 值进行平均加权处理；

步骤S202：对经过所述平均加权处理后的实时视频画面进行灰度化处理，得 到对应的灰度图像。

可选的，由于前端视频采集装备的生产，安装以及周围环境等因素的影响， 使得获取的视频图像质量存在差异，而图像质量的好坏直接影响后续图像特征提 取以及特征匹配的效果，因此提前进行图像预处理是必要也是必不可少的步骤， 具体为：图像降噪，图像灰度化。

具体为：由于自然界中大部分的事物在样本足够多的情况下分布都近似接近 于高斯分布，而我们所获取的图像中的像素有成千上万且每个像素都相互独立， 因此在图像降噪阶段，我们使用高斯滤波地方法。具体的高斯滤波的核函数可以 分为一维，二维以至到多维，下面我们简单介绍一维和二维高斯滤波的核函数，

一维高斯滤波的密度函数，如下：

其中，μ是均值，σ是标准差

二维高斯滤波的核函数如下所示：

由于图像是二维的因此我们在进行图像降噪过程中，使用二维高斯核函数， 一般地图像处理中我们选择方差为0。通俗地讲高斯滤波就是对整幅图像进行平均 加权地过程，每一个像素点地值，都有其本身和领域内的其他像素点的值经过加 权平均后得到。具体操作过程是：给定一个模板(或者称为卷积，掩膜)逐行逐 列的扫描图像中的每一个像素，用模板确定的领域内的像素的加权平均值去替代 模板中心像素点的值。在本发明中，我们使用卷积模板是正方形3x3的卷积。具 体的模板设计如图11所示；

由于在特征提取阶段，需要灰度图，因此图像预处理的第二个阶段我们进行 彩色图像的灰度化，。在这一步中我们直接使用OpenCV自带的函数cvtColor进行 灰度化，得到每个视频画面的灰度图像。

在本申请的视频全景拼接与三维融合方法的一实施例中，参见图3，还可以具 体包含如下内容：

步骤S301：对所述实时视频画面进行特征提取，得到对应的特征点和特征描 述符；

步骤S302：对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所 述特征点之间的汉明距离；

步骤S303：根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面 的匹配特征点；

步骤S304：根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个 实时视频画面的变换关系并保存。

可选的，对预处理后的图像，使用SIFT(Scale-invariant feature transform)和SURF(Speeded Up Robust Features)特征提取相结合的方法对图像进行特征点的提 取，获取每幅图像的特征点以及对应的特征描述符；

在特征匹配阶段由于场景的复杂性以及外界的影响，本发明中对特征匹配设 置两种匹配方式，分别是手动匹配和自动匹配。对于自动匹配，对上述得到的每 幅图像的特征点进行第一次匹配得到粗匹配点，在本次匹配中我们使用暴力匹配 算法，将每两个特征点按照描述符计算汉明距离；然后进行第二次精确匹配，在 本发明中，使用的精确匹配的距离阈值设置为可选的，选择范围介于0.4到0.8之 间。通过第二次的精确匹配，我们获得了相邻图像的精确匹配点。对于手动匹配， 直接使用鼠标手动选择对应相邻图像的对应的特征点，进行匹配。

根据上述计算得到的相邻图像的匹配点，利用RANSAC(Random SampleConsensus)算法计算相邻图像之间的变换关系，并将变换关系矩阵保存到文件，方 便下一次使用。

在本申请的视频全景拼接与三维融合方法的一实施例中，参见图4，还可以具 体包含如下内容：

步骤S401：根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节 参数进行色彩矫正；

步骤S402：根据所述摄像机的数量和视频画面分辨率，建立全景图像；

步骤S403：对所述相邻两个实时视频画面在所述全景图像中的重合区域进行 重叠优化，得到经过所述重叠优化处理后的全景图像。

可选的，由于相邻相机会因为朝向以及自身感光元器件等因素导致所采集的 图像会存在色差，如果直接进行拼接，会产生肉眼可见的拼接缝，严重影响拼接 效果和用户的使用感受，因此本发明提出一种色差图像的自适应调整方法。首先 计算相邻视频画面之间的色彩矫正参数，具体做法为：假设有n幅待拼接的图像P₁， P₂，…P_n,其中P_i和P_i+1是具有重叠区域的相邻两幅视频画面，而设

与

是相邻 视频画面的重叠区域，则视频待拼接图像P_i的一个色彩通道的矫正参数，由以下 公式计算得到：

公式(3)中：M：相邻视频画面的重叠区域；

S_i(s)：第i幅图像中像素点s的像素值；

S_i+1(s)：第i+1幅图像中像素点s的像素值；

γ：指定参数，通常设置为2.2；

同时为了避免图像过于饱和，本发明中有设定一个全局调节参数g_c，用来调 节整个拼接序列的色彩值。由于我们的视频图像一般都是R，G，B三通道的，则 需要分别为每个通道计算色彩补偿值与色彩调节值，具体地色彩调节值的计算公 式如下：

最后，由色彩矫正参数和全局调节参数对视频画面进行色彩矫正的公式如下：

S_c,i(s)＝(g_cα_c,i)^1/γS_c,i(s) (5)

其中，S_c,i(s)是指视频画面P_i在通道c∈{R,G,B}上的像素点的像素值。

S32、依据全景拼接相机的数量建立全景映射图像，本发明中的全景图像依据 相机数量和每个相机的视频画面分辨率决定。假设全景拼接的相机有N个，每个 独立相机的视频画面分辨率为：WxH，则生成的全景图像的分辨为：(WxN)xH。 如果选择的拼接相机个数是奇数，则选择中间相机作的视频画面最为参考画面， 此时中间相机到全景图像的映射关系是单位矩阵，平移矩阵中的x方向(也就是 对应视频的宽)为视频画面的分辨率的大小，平移矩阵中的y方向(也就是对应 的视频的高)为0；以一种情况具体说明一下全景图的生成过程：假设存在n(n 为奇数)个相机，分别是P₁,P₂,P₃…P_n,由上述计算得到的相邻相机视频画面之间 的变换矩阵为：H₁，H₂，H₃…H_n-1,变换矩阵的下标表示当前相机i和当前相机 往右的相机i+1的变换关系。由以上的描述找到中间的相机编号为：(1+n)/2。设 P_(1+n)/2为参考相机，则参考相机到全景图像的变换为单位矩阵，设为I，平移矩阵 设为T，则参考相机像素点到全景图像的变换公式如下：

P_p＝T*I*P_R (6)

其中，P_p代表全景图中某一个像素的位置,为齐次坐标；

P_c代表参考图像中某一个像素的位置，为齐次坐标；

I，T分别代表旋转和平移矩阵，为3x3的矩阵；

进一步地，参考图像左边的图像，也就是序号：

每幅图像像素点到 全景图的变换关系由如下公式计算：

特别地，如果

则公式(7)变为：

对于参考图像右边的图像，也就是：

每个图像的像素点到全景图像 的变换关系计算公式如下：

其中

特别地，如果

则公式(9)变形为：

最后由以上公式(6)到(10)就可以将每一幅图像映射到全景图。

寻找相邻图像在全景图中的重合区域，优化全景图像中相邻图像重叠区域， 生成全景图。如果不优化全景图中相邻图像的重叠区域，全景图中重叠区域会因 为像素过于饱和失去一些细节，在全景图像中相邻视频画面重叠区域像素计算公 式如下：

P_(m,n+0)＝P_i,(m,n+0)*α+P_i+1,(m,n+0)*(1-α) (11)

P_(m,n+1)＝P_i,(m,n+1)*α+P_i+1,(m,n+1)*(1-α) (12)

P_(m,n+2)＝P_i,(m,n+2)*α+P_i+1,(m,n+2)*(1-α) (13)

α＝((width*ratio)-(n-s))/(width*ratio) (14)

其中，P_(m,n+k)表示全景图像中第k(k＝0,1,2)个通道重叠区域位置(m,n)的像素值；

P_i,(m,n+k)，P_i+1,(m,n+k)分别表示图像i和图像i+1中第k(k＝0,1,2)个通道重叠区域位置(m,n)的像素值。

width表示相邻视频画面重叠区域宽度；

ratio表示相邻视频画面重叠区域重合比例；

s表示相邻视频画面重叠区域的起始位置；

通过上述步骤后，全景图像生成结束，接下来传到客户端进行配置显示。

在本申请的视频全景拼接与三维融合方法的一实施例中，参见图5，还可以具 体包含如下内容：

步骤S501：确定目标区域的三维模型和所述全景图像的多个离散点对，其中， 所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；

步骤S502：根据所述离散点对确定所述全景图像的映射关系，并根据所述映 射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的 三维融合图像。

可选的，为了精确确定全景视频的位置，首先选用一张静态全景图片作为参 考进行编辑，分别在三维场景和对应的全景图片中选出多个二元组点对，每一个 点对由一个三维场景点坐标和一个二维全景图栅格化坐标构成。

由于需要根据上述步骤中离散点对来插值求得整个全景图的映射关系，所以 选择合适的插值方法对最终的全景映射结果至关重要，2具体为：

由于全景图像是二维的，如果直接在三维空间中对相应的三维选点进行插值 会造成插值结果的透视畸变，因此本发明将屏幕空间作为插值空间，采用在屏幕 空间中对三维选点进行插值，将三维空间中三维选点通过投影变换转为屏幕空间 中的二维点。

通常的插值方法会以插值点到离散点的距离作为选择相邻离散点的判定依 据，选取距离最近的几个点作为相邻离散点，然后根据相邻离散点的值计算插值 点的值，这种方法对于离散点分布较为均匀的情况表现良好，但在离散点分布不 均匀的情况通常会导致插值图像出现较大的扭曲，原因就是最近距离判定会导致 多个插值点的相邻离散点重合，插值结果有交叠，同时在相邻离散点分布接近一 条线的情况下也会导致插值结果扭曲，因此本发明采用德劳内三角剖分方法对所 有离散点组成的空间域进行剖分，德劳内三角剖分具有最大化生成三角形内角的 良好性质，从而有效避免狭长三角形的生成。

本发明采用基于重心坐标的三角形插值，以上述步骤中生成的三角形作为插 值域，根据插值点与三角形三个顶点组成的三个三角形的面积确定重心坐标，用 该重心坐标进行采样点插值。

虽然德劳内三角剖分方法比较稳定，但是在插值区域边缘仍然有可能会存在 狭长的三角形，造成插值图像的扭曲，因此本发明提出一种无监督的狭长三角形 自动消除算法，该算法先通过遍历当前三角剖分的所有三角形判断出最外围的一 组三角形，根据狭长三角形的最长边与该边上高的比值确定是否符合狭长三角形 的定义，如果存在狭长三角形则删除并在当前遍历结束后重新执行该遍历算法， 直到当前遍历不再存在狭长三角形为止，算法终止。

根据上述步骤中插值得出的坐标对全景视频进行采样生成最终的全景视频三 维融合。

为了能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实 时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值，本申请提供一 种用于实现所述视频全景拼接与三维融合方法的全部或部分内容的视频全景拼接 与三维融合装置的实施例，参见图6，所述视频全景拼接与三维融合装置具体包含 有如下内容：

图像预处理模块10，用于获取多个具有重叠区域的相邻摄像机的实时视频画 面，并对所述实时视频画面进行图像预处理；

变换关系确定模块20，用于对经过所述图像预处理后的实时视频画面进行特 征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述 匹配特征点确定所述相邻两个实时视频画面的变换关系；

全景图像生成模块30，用于对所述相邻两个实时视频画面进行色差优化处理， 并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应 的全景图像；

三维融合模块40，用于通过三维融合技术将所述全景图像实时渲染到预设三 维模型相应位置处进行显示。

从上述描述可知，本申请实施例提供的视频全景拼接与三维融合装置，能够 通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通 过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画 面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使 得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的 可乘之机。

在本申请的视频全景拼接与三维融合装置的一实施例中，参见图7，所述图像 预处理模块10包括：

图像降噪单元11，用于根据预设二维高斯滤波核函数对所述实时视频画面的 各像素点的值进行平均加权处理；

图像灰度化单元12，用于对经过所述平均加权处理后的实时视频画面进行灰 度化处理，得到对应的灰度图像。

在本申请的视频全景拼接与三维融合装置的一实施例中，参见图8，所述变换 关系确定模块20包括：

特征提取单元21，用于对所述实时视频画面进行特征提取，得到对应的特征 点和特征描述符；

粗匹配单元22，用于对各所述特征点进行粗匹配，并根据所述特征描述符确 定两个所述特征点之间的汉明距离；

精匹配单元23，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时 视频画面的匹配特征点；

变换关系计算单元24，用于根据所述匹配特征点和预设随机抽样一致算法确 定所述相邻两个实时视频画面的变换关系并保存。

在本申请的视频全景拼接与三维融合装置的一实施例中，参见图9，所述全景 图像生成模块30包括：

色彩矫正单元31，用于根据相邻两个实时视频画面之间的色彩矫正参数和预 设全局调节参数进行色彩矫正；

全景图像建立单元32，用于根据所述摄像机的数量和视频画面分辨率，建立 全景图像；

重叠优化单元33，用于对所述相邻两个实时视频画面在所述全景图像中的重 合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。

在本申请的视频全景拼接与三维融合装置的一实施例中，参见图10，所述三 维融合模块40包括：

离散点对确定单元41，用于确定目标区域的三维模型和所述全景图像的多个 离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像 栅格化坐标构成；

三维融合单元42，用于根据所述离散点对确定所述全景图像的映射关系，并 根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到 全景视频的三维融合图像。

为了更进一步说明本方案，本申请还提供一种应用上述视频全景拼接与三维 融合装置实现视频全景拼接与三维融合方法的具体应用实例，具体包含有如下内 容：

一种视频全景拼接与三维融合技术方法与流程，包括：

S1、获取多个具有重叠区域的相邻摄像机的实时视频画面，并在所述的实时 视频画面上通过图像处理技术进行预处理图像；

S2、对所述的实时视频画面利用特征提取与匹配技术，获取相邻视频画面的 匹配特征点并根据匹配的特征点计算相邻视频画面图像的变换关系

S3、首先对S2中相邻视频画面进行色差优化，然后依据相邻视频画面的变换 关系将视频画面进行变形，然后生成相应的全景图；

S4、客户端加载三维模型，并将S3中输出的全景图作为纹理，通过前述的三 维融合技术实时地将全景图展示到模型对应位置。

本发明通过对多个具有重叠区域的相机视频画面进行无缝拼接并利用GPU加 速图像处理，使得输出的全景画面流畅无卡顿，满足人眼观看的需求。最后将全 景视频通过特殊手段利用GPU技术实时渲染到三维模型中，实现了虚拟模型与现 实视频的完美融合与展示。

以下结合实施例对本发明的特征和性能作出进一步地详细描述：

S1、获取多个具有重叠区域的相邻摄像机的实时视频画面，并在所述的实时 视频画面上通过图像处理技术进行预处理图像：

以新疆某地为例，首先打开全景生成配置软件，通过设备列表获取多个相邻 且有重叠区域的摄像机获取实时监控画面，然后选择配置拼接参数，一般情况下 默认即可，点击“开始”按钮，后台会自动按照我们的描述进行图像预处理，最 终将匹配的特征展示到画面中。

S2、所述的实时视频画面利用特征提取与匹配技术，获取相邻视频画面的匹 配特征点并根据匹配的特征点计算相邻视频画面图像的变换关系：

在全景拼接领域，特征点检测和匹配的鲁棒性，很大程度上影响着视频全景 拼接的一致性。本例中所所测试的场景为新疆某地方。通过使用SURF和SIFT相 结合的特征点方法以及后续的自动匹配，最终的得到相邻两幅图像的匹配点，如 图12所示。可以明显看到正确匹配的数量占据大多数，为后续继续使用RANSAC 算法计算相邻视频画面的之间的变换关系提供了强有力的基础。

S3、首先对S2中相邻视频画面进行色差优化。然后依据相邻视频画面的变换 关系将视频画面进行变形，然后生成相应的全景图，生成的全景图如图13所示；

S4、客户端加载三维模型，并将S3中输出的全景图作为纹理，通过前述的三 维融合技术实时地将全景图展示到模型对应位置，最终的显示效果如图14，图15 所示。

有上述内容可知，本申请至少还可以实现如下技术效果：

1、本申请通过对获取的多个相机的实时视频画面进行图像预处理以及分情况 分场所实现的手动和自动特征匹配，一方面提高了相邻视频画面的特征匹配准确 性和速度，另一方面使得本应用的申请可以适应多种复杂环境，有效地改善了视 频拼接的弊端。

2、本申请中采用选取中间相机视频画面作为参考，有效地改善了两端视频画 面在全景图中的变形。同时采用局部分颜色通道和全局自适应地方法调节由于相 机本身和外界环境影响造成地视频画面的色差问题，进一步地提高了图像拼接的 质量以及用户的直观感受，最后设置相邻视频画面重叠区域像素计算方式以及相 邻视频画面重叠比例，可以明显的降低由于相机的安装位置而造成的拼接画面的 鬼影问题。

3、本申请通过屏幕空间上的编辑点进行插值，有效地改善了三维空间中直接 插值造成的插值结果透视畸变，同时采用德劳内(Delaunay)三角剖分确定插值顶 点，有效避免了狭长三角形带来的插值扭曲，最后对于插值边缘区域可能存在的 狭长三角形，本申请提出了一种无监督自动消除算法，从而确保各种情况下最终 生成的插值图像都不会出现明显的扭曲。

4、本申请的视频全景拼接与三维融合技术方法与流程适用于多种现实环境。 本申请可以使得安保人员高效的把控监控区域的整体态势以及一旦发生危险可以 迅速方便快捷定位到具体位置，实现了视频与地理位置的相结合，完美地解决的 视频分散，发生危险定位困难地理位置不明确的特点。

从硬件层面来说，为了能够有效解决视频不连续问题，增加视频可读性，使 得使用人员可以实时掌握全局，不漏过每一个监控角落，具有很大的实际应用价 值，本申请提供一种用于实现所述视频全景拼接与三维融合方法中的全部或部分 内容的电子设备的实施例，所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信； 所述通信接口用于实现视频全景拼接与三维融合装置与核心业务系统、用户终端 以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、 平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以 参照实施例中的视频全景拼接与三维融合方法的实施例，以及视频全景拼接与三 维融合装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶 盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。 其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。

在实际应用中，视频全景拼接与三维融合方法的部分可以在如上述内容所述 的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根 据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对 此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以 包括处理器。

上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进 行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心 一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调 度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括 单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的 服务器结构。

图16为本申请实施例的电子设备9600的系统构成的示意框图。如图16所示， 该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中 央处理器9100。值得注意的是，该图16是示例性的；还可以使用其他类型的结构， 来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，视频全景拼接与三维融合方法功能可以被集成到中央处理器 9100中。其中，中央处理器9100可以被配置为进行如下控制：

步骤S101：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述 实时视频画面进行图像预处理；

步骤S102：对经过所述图像预处理后的实时视频画面进行特征提取和特征匹 配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定 所述相邻两个实时视频画面的变换关系；

步骤S103：对所述相邻两个实时视频画面进行色差优化处理，并根据变换关 系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

步骤S104：通过三维融合技术将所述全景图像实时渲染到预设三维模型相应 位置处进行显示。

从上述描述可知，本申请实施例提供的电子设备，通过计算机视觉以及图像 处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为 一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型 位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随 时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。

在另一个实施方式中，视频全景拼接与三维融合装置可以与中央处理器9100 分开配置，例如可以将视频全景拼接与三维融合装置配置为与中央处理器9100连 接的芯片，通过中央处理器的控制来实现视频全景拼接与三维融合方法功能。

如图16所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、 音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并 不是必须要包括图16中所示的所有部件；此外，电子设备9600还可以包括图16 中没有示出的部件，可以参考现有技术。

如图16所示，中央处理器9100有时也称为控制器或操作控件，可以包括微 处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子 设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性 存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败 有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该 存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或 触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行 图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存 储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息， 可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存 储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有 时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储 部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备 9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据， 例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储 器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行 电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通 信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输 出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110， 如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机) 9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131 提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。 音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处 理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机 上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端 的视频全景拼接与三维融合方法中全部步骤的一种计算机可读存储介质，所述计 算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述 实施例中的执行主体为服务器或客户端的视频全景拼接与三维融合方法的全部步 骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤S101：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述 实时视频画面进行图像预处理；

步骤S102：对经过所述图像预处理后的实时视频画面进行特征提取和特征匹 配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定 所述相邻两个实时视频画面的变换关系；

步骤S103：对所述相邻两个实时视频画面进行色差优化处理，并根据变换关 系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

步骤S104：通过三维融合技术将所述全景图像实时渲染到预设三维模型相应 位置处进行显示。

从上述描述可知，本申请实施例提供的计算机可读存储介质，通过计算机视 觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技 术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应 的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保 人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算 机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软 件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计 算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、 光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图 中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提 供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程 数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理 设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以 特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令 产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或 方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得 在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从 而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多 个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之 处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频全景拼接与三维融合方法，其特征在于，所述方法包括：

获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；

对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；

对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。

2.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：

根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；

对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。

3.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：

对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；

对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；

根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；

根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。

4.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：

根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；

根据所述摄像机的数量和视频画面分辨率，建立全景图像；

对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。

5.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：

确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；

根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。

6.一种视频全景拼接与三维融合装置，其特征在于，包括：

图像预处理模块，用于获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；

变换关系确定模块，用于对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；

全景图像生成模块，用于对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

三维融合模块，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。

7.根据权利要求6所述的视频全景拼接与三维融合装置，其特征在于，所述图像预处理模块包括：

图像降噪单元，用于根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；

图像灰度化单元，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。

8.根据权利要求6所述的视频全景拼接与三维融合装置，其特征在于，所述变换关系确定模块包括：

特征提取单元，用于对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；

粗匹配单元，用于对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；

精匹配单元，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；

变换关系计算单元，用于根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。

9.根据权利要求6所述的视频全景拼接与三维融合装置，其特征在于，所述全景图像生成模块包括：

色彩矫正单元，用于根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；

全景图像建立单元，用于根据所述摄像机的数量和视频画面分辨率，建立全景图像；

重叠优化单元，用于对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。

10.根据权利要求6所述的视频全景拼接与三维融合装置，其特征在于，所述三维融合模块包括：

离散点对确定单元，用于确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；

三维融合单元，用于根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。

Images