CN104506775A - 基于立体视觉匹配的图像采集抖动消除方法及装置 - Google Patents

Abstract

本发明适用智能终端及图像处理领域，提供了一种基于立体视觉匹配的图像采集抖动消除方法，所述方法包括：采用FAST特征点检测提取前后两帧图像的特征兴趣点；采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；由转换矩阵F修正抖动后带来的偏移得到修正后的图片。本发明提供的方法具有对多帧图像防抖动的优点，并且计算速度快。

Description

基于立体视觉匹配的图像采集抖动消除方法及装置

技术领域

本发明属于智能终端及图像处理领域，尤其涉及一种基于立体视觉匹配的图像采集抖动消除方法及装置。

背景技术

随着生活水平不断地提高，目前图像采集、手机拍照已经成为人们生活必不可少的一部分。但由于拍摄技术以及外界物体运动等影响，徒手拍照的图像可能会出现抖动模糊等现象，这时人们往往会借助外界的固定平衡装置，如三脚架、位移检测传感单元等来辅助拍摄图像。通过额外的辅助工具，虽然可以有效地解决图像采集防抖动的问题，但同时也给拍摄带来不便，必须随身携带庞大的工具。后期图像处理的方法，使得拍摄不借助外界的工具的前提下也可以解决抖动模糊的问题。有时候人们拍摄时会同时拍摄几张，但这样在不同时刻拍摄的图片由于徒手的抖动问题，往往会给拍摄图像带来很明显的抖动。

随着科技水平的不断提高，手持移动设备都具有了相机拍摄的功能，相机获取图像的过程是外部场景的光线通过光学镜头聚焦在图像传感器上形成光学图像，并通过一定时间的积分，使得光学图像转化为数字图像。在这个过程中，必须保持光学图像在图像传感器上的静态性，否则获得积分图像就会发生模糊抖动，影响图像质量。，前业界采用图像拍摄抖动去除主要光学防抖以及电子防抖。

专利CN200510108036.2与CN200510108037.7通过获取帧间图像的全局相对运动矢量来判断当前图像是否存在抖动，并通过此全局相对运动矢量对图像进行抖动补偿。专利CN200910188891.7以及专利CN201210013718.5分别提出使用加速度计以及位移检测传感单元来检测相机是否存在抖动问题，最后根据检测发生的抖动位移来修正图像抖动发生的变化，但这种方法需要额外的硬件辅助，增大了方案成本设计。专利CN201010526514通过控制快门阈值的控制以及对图像进行滤波降噪处理来改善图像抖动模糊质量，但这种方法只适合单帧图像的抖动问题消除。

目前大部分现有技术均是针对相机拍摄防抖动的问题是基于单幅图像抖动模糊来解决的，但有时用户需要手持拍照连续几帧图像或者动态的视频，这时如果通过徒手拍摄图像，往往很容易发生抖动的现象，这也是手持设备拍照最大问题之一。

发明内容

本发明实施例的目的在于提供一种基于立体视觉匹配的图像采集抖动消除方法及装置，其解决现有技术的无法解决多帧图像抖动的问题。

本发明实施例是这样实现的，一方面，提供一种基于立体视觉匹配的图像采集抖动消除方法，所述方法包括：

采用FAST特征点检测提取前后两帧图像的特征兴趣点；

采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；

根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；

由转换矩阵F修正抖动后带来的偏移得到修正后的图片。

可选的，所述采用FAST特征点检测提取前后两帧图像的特征兴趣点具体包括：

采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。

另一方面，提供一种基于立体视觉匹配的图像采集抖动消除装置，所述装置包括：

提取单元，用于采用FAST特征点检测提取前后两帧图像的特征兴趣点；

匹配单元，用于采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；

求解单元，用于根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；

修正单元，用于由转换矩阵F修正抖动后带来的偏移得到修正后的图片。

可选的，所述提取单元具体用于

采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。

在本发明实施例中，本发明提供的技术方案基于FAST特征点以及ORB描述子匹配的算法运算效率非常高，在嵌入式设备如手机、平板电脑等有限的内存空间存储以及计算资源的产品中拥有很好的应用前景。本发明提出的立体视觉匹配算法计算复杂度非常低，在运行效率方面有着很大的优势。通过立体视觉匹配的图像抖动修正，可以有效地解决徒手拍摄照片或视频不稳定的问题，在未来的图像采集等方面有着很大的应用前景。

附图说明

图1是本发明提供的一种基于立体视觉匹配的图像采集抖动消除方法的流程图；

图2是本发明提供的FAST特征点检测示意图；

图3是本发明提供的对前后帧拍摄的图像特征点匹配的结果示意图；

图4(a)为徒手拍摄的前帧图像效果图；

图4(b)为徒手拍摄的后帧图像效果图；

图4(c)为采用本发明提供的方法进行修正后的效果图；

图5(a)为未修正效果图1；

图5(b)为采用本发明提供的方法修正后的效果图1；

图6(a)为未修正效果图2；

图6(b)为采用本发明提供的方法修正后的效果图2；

图7(a)为未修正效果图3；

图7(b)为采用本发明提供的方法修正后的效果图3；

图8(a)为未修正效果图4；

图8(b)为采用本发明提供的方法修正后的效果图4。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明具体实施方式提供一种基于立体视觉匹配的图像采集抖动消除方法，上述方法由手机或其他的智能设备(例如ipad、PDA等)执行，当然在实际应用中，也可以由其他的智能设备执行，本发明具体实施方式并不局限执行该方法设备或装置的具体表现形式。该方法如图1所示，包括：

101、采用FAST特征点检测提取前后两帧图像的特征兴趣点(即特征点)；

102、采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；

103、根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；

104、由转换矩阵F修正抖动后带来的偏移得到修正后的图片。

本发明在图像处理层面上提出了给予立体视觉匹配的方法对帧间图像的抖动变换矩阵进行求解，有效地解决了图像抖动带来的问题。基于FAST特征点以及ORB描述子匹配的算法运算效率非常高，在嵌入式设备如手机、平板电脑等有限的内存空间存储以及计算资源的产品中拥有很好的应用前景。本发明提出的立体视觉匹配算法计算复杂度非常低，在运行效率方面有着很大的优势。通过立体视觉匹配的图像抖动修正，可以有效地解决徒手拍摄照片或视频不稳定的问题，在未来的图像采集等方面有着很大的应用前景。

FAST特征点检测算法来源于corner的定义，基于每个特征点周围图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点：

$N=\underset{x\∀\left(\mathrm{circile}\left(p\right)\right)}{\mathrm{\Σ}}|I\left(x\right)-I\left(p\right)|\≥{\mathrm{\ϵ}}_d$

其中，I(x)为以I(p)，预设半径的圆周上任意一点的灰度值，I(p)为圆心的灰度值，ε_d为给定阈值。如果N大于给定阈值ε，一般为周围圆圈点的四分之三，则认为p是一个特征兴趣点。

可选的，上述101的实现方法具体可以为：

采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔90度角提取4个点，如图2所示的点1、5、13、9；获取提取的4个点灰度值与候选特征点灰度值之差；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。本发明图2中采用半径为3，共有16个周边像素点比较，具体如图2所示，。为了提高比较的效率，通常只使用16个点中的一部分的像素点来比较，即FAST-N。采用此种方法可以加快FAST特征点检测的速度，减少候选特征点的数量。

可选的，上述102的实现方法具体可以为：

基于ORB描述子的方案来匹配FAST特征兴趣点。ORB(英文全称：OrientedBRIEF)描述子具有方向性。其特征点的主方向是通过矩的计算来求解，公式如下：

$M_{\mathrm{ij}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^i{y}^{j}I(x,y)$

$c_x=\frac{M_{10}}{M_{00}},c_y=\frac{M_{01}}{M_{00}}$

$C_{\mathrm{ori}}={\tan }^{-1}\left(\frac{c_y}{c_x}\right)$

M₁₀、M₀₀分别对应特征点的一阶矩与零阶矩，C_ori为特征点的主方向。在确定特征点的主方向后，利用局部图像领域内随机点对的灰度大小关系来建立局部图像的特征描述子，得到的二值特征描述子不仅匹配速度快，而且存储要求内存低，因此在手机等嵌入式设备中具有很好应用背景。图3所示为本发明对前后帧拍摄的图像特征点匹配的结果。

可选的，上述103的实现方法具体可以为：

假设帧间图像的位移变化如下公式所示：

${\stackrel{\→}{M}}^{\′}=R\stackrel{\→}{M}+t$

其中M为前一帧相机的位置，M’为后一帧相机的位置，R，t分别为两帧间相机旋转矩阵与位移矩阵，M归一化处理后得到m，则：

${\stackrel{\→}{m}}^{\′}\·t\×{\stackrel{\→}{m}}^{\′}={\stackrel{\→}{m}}^{\′}\·t\×\left(R\stackrel{\→}{m}\right)$

${\stackrel{\→}{m}}^{\′}F\stackrel{\→}{m}=0$

根据匹配好的点对，利用八点法可以求解出转换矩阵F。

如图4(a)、图4(b)为徒手拍摄的前后帧图像，由于两帧图像在不同时刻拍摄，徒手会带来抖动的问题，如图4(c)为采用本发明提供的方法进行修正后的效果图，(c)与(b)之间的抖动问题基本已经被消除。

本发明算法已通过大量的试验验证，通过徒手拍摄不同的物体，将直接未修正的前后帧图像合成结果与通过立体视觉匹配算法处理后的修正前后帧图像合成结果进行对比，如附图所示，可以看出，通过立体视觉匹配修正后的结果可以非常有效地解决图像抖动问题。

其中，图5(a)为未修正效果图，图5(b)为修正后的效果图；

图6(a)为未修正效果图，图6(b)为修正后的效果图；

图7(a)为未修正效果图，图7(b)为修正后的效果图；

图8(a)为未修正效果图，图8(b)为修正后的效果图。

本发明还提供一种基于立体视觉匹配的图像采集抖动消除装置，所述装置包括：

提取单元，用于采用FAST特征点检测提取前后两帧图像的特征兴趣点；

匹配单元，用于采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；

求解单元，用于利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；

修正单元，用于根据转换矩阵F修正抖动后带来的偏移得到修正后的图片。

可选的，所述提取单元具体用于

采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。

上述装置可以为移动终端，平板电脑或PDA等智能设备。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于立体视觉匹配的图像采集抖动消除方法，其特征在于，所述方法包括：

采用FAST特征点检测提取前后两帧图像的特征兴趣点；

采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；

根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；

由转换矩阵F修正抖动后带来的偏移得到修正后的图片。

2.根据权利要求1所述的方法，其特征在于，所述采用FAST特征点检测提取前后两帧图像的特征兴趣点具体包括：

采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。

3.一种基于立体视觉匹配的图像采集抖动消除装置，其特征在于，所述装置包括：

提取单元，用于采用FAST特征点检测提取前后两帧图像的特征兴趣点；

匹配单元，用于采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；

求解单元，用于根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；

修正单元，用于由转换矩阵F修正抖动后带来的偏移得到修正后的图片。

4.根据权利要求3所述的装置，其特征在于，所述提取单元具体用于

采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。