基于SURF,算法的实时拼接研究

冯向东

（成都理工大学工程技术学院，四川乐山 614000）

伴随着信息时代的飞速发展，人们能从相机和手机等设备中获得大量的图像及视频等信息。但单一设备所能获得的场景是十分窄小的，完全不足以满足实际工作的需要[1]。为此，想要拥有更高的分辨率、更大视野的景像，就需要使用多个设备来获取图像，并对视频影像进行拼接，以便扩大视野范围。视频拼接技术完全可以降低人工成本，同时增强人们对周边环境的识别与感知能力，在多个领域有着及其广泛的应用，其重要性也越来越高[2-4]。

现阶段，图像拼接作为视频拼接的基础，国内外有着大量细致的研究。2004 年时，Lowe[5]提出尺度不变的特征变换(Scale-Invariant Feature Transform，SIFT)算法，在图像缩放、旋转以及比例变换等方面，其鲁棒性都很好，因而建立在特征点的匹配算法成为了研究的热点，但是其计算复杂，无法满足工程实践中的实时性要求。针对SIFT 的不足，后续大量的研究[6-10]对其进行了补充。由于视频拼接有比图像拼接更加复杂的问题，因此视频拼接的研究相对较少，主要集中在如何降低计算复杂程度，及提高运行的实时性方面[11-15]。

文中在SURF 算法的基础上对图像特征点加以检测，并运用网格运动统计算法[16]快速剔除误匹配点，以增加图像拼接结果的配准精度和正确率，同时提升实时性。通过实验可知，该拼接方法不但能够获得很好的拼接效果，也能实时地完成视频的拼接。

人所共知，人眼若想看到一段流畅画面，其视频的播放速度必须要超过每秒24 帧。故在进行视频拼接时，应保证每秒完成超过24 帧图像的处理。在这个过程中，特征点的提取与匹配会消耗大量的时间。然而，在实际的生活中，多数摄像头的位置都比较固定，如广场、火车站、商场等地的监控设备。为了减少拼接时间，采用固定的、且有一定重叠区域的摄像头来采集视频数据，无需对每帧图像都采取一次特征点的提取及匹配，仅处理第一帧图像即可。在得到第一帧图像匹配的变换Hessian 矩阵H之后，利用该矩阵进行图像融合即可。考虑到某些设备使用过程中可能会发生移动，只需要每隔一定时间重新提取及匹配一次特征点，通过修正矩阵H来进行图像融合，从而持续、准确地获得连续拼接为全景的图像。

1.1 特征点检测

SURF 算法使用的是积分图像，这样可以显著减少计算时间。设(x,y)是图像中的某一个像素点，则该点的积分图像便可以定义为图像原点与该点所围的矩形区域中所有像素点的值之和，即：

若想计算图1 中灰色区域内的像素和，便可以使用式（2）来提高计算速度。

图1 积分图像

尺度空间理论是SURF 算法中特征点的检测方法，它将Hessian 矩阵的行列式作为一个判别式，用来寻找局部最大值。构建Hessian 矩阵，是为了生成图像中稳定的突变点。经过高斯滤波后，图像中像素点的Hessian 矩阵可定义为：

为提高整个过程的计算速度，SURF 算法采用了盒子滤波器[17]对高斯滤波板近似替代，进行卷积运算。首先需要将复杂的二阶高斯微分简化，仅用几个较为简单的值来表示之后的模板。比如二阶高斯微分的滤波器中σ=1.2，则模板能设置为9×9 大小，在对斑点检测及图像滤波时，其可作为最小的尺度空间值。用Dxx、Dxy以及Dyy表示模板和图像卷积，则Hessian 矩阵简化为：

其中，ω是为了平衡Hessian 矩阵，使高斯核与近似的高斯核能够保持一致。如果σ的取值不同，且对应的模板尺寸也不同，则ω的取值也不同。为了简化式（4），通常将ω定义为同一个常数，文中实验取ω=0.9。

SURF 使用不同大小盒子滤波的模板，来获取Hessian 矩阵行列式的反应图，使得该策略能够在最初的图像中，使用大小不同的滤波器都有完全相同的速度。9×9 的滤波器的输出通常会被当作最初的标度层。由于滤波器所具有的特定结构与积分图像存在有离散性，滤波器尺寸可以逐渐变大（如15×15、21×21、27×27），进而构建金字塔形状的图像。

在建立尺度空间以后，假设使用3×3 的滤波模板，每组都选取相邻的三层相应图像，共计27 点。其模板中心位置的点大于设定阈值即作为取样原点，并对它周围的26 个点进行取样，若该原点的Hessian 矩阵判别式的值大于其余26 个点的值，则该点将被看成特征点。

1.2 确定特征点的方向

SURF 算法考虑的是检测点在半径为6σ、像素边长为4σ的Haar 小波响应，并且响应值通过高斯函数对特征点与像素点间的距离进行加权，进而保持其旋转不变性。这个过程就需要以特征点作为中心，构造一个半径为6σ的区域，这里的σ指特征点的尺度大小；
再通过这个特征点旋转覆盖60°扇形区域内所有特征点在x和y方向上边长为4σ的Haar小波。为了区别各点的贡献，需要赋与不同的权值系数，使离特征点越近的点，具有越大的作用，最后把60°扇形区域内的所有值相加。如此，获得整个圆形区域内新的向量(mw,θw)，最后将其中最长的向量作为该特征点的主方向。

其数学计算公式为：

1.3 特征点的描述

SURF会在特征点旁边选择一个正方形，这个正方形的方向是上文确定的主方向。将该正方形分为16个部分，每个部分都有25个像素，对于x和y方向的Haar小波，x和y方向都以主方向为参考。Haar小波包括水平值之和、垂直值之和、水平绝对值之和、垂直绝对值之和。

由于该研究是建立在视频拼接上的，因此实时性尤其重要，可以通过降低维数来加快特征提取的速度。将原本SURF 算法所用的20σ×20σ窗口，改为10σ×10σ窗口，并把窗口划分为2×2 个子窗口，这样特征向量的维数就变成2×2×4=16，即从64维降低到16 维。虽然降低维数会降低特征描述符的独特性，但可以显著提高运算速度。

1.4 图像融合

视频图像的融合是为了消除伪影现象和拼接缝，使拼接所得的视频图像能够符合人们的感官视觉要求。融合效果对视频拼接的质量有着直接的影响，与此同时，为保证视频的流畅度，对融合效率也有着较高要求。文中采用加权平均融合算法，其不仅易于实现，具备很快的运算速度，融合图像存在的信噪比也得以提高。

虽然加权平均法易于实现，而且还能够抑制噪声，但也会抑制图像中的显著部分，这将大大降低拼接图像的对比度。为克服这个不足，通过选取不同的权值，使其从第一幅图像能够逐步过渡到另一幅，其加权因子也将会随着两幅图像中叠加区域宽度的不断变化而改变。令加权因子分别为w1和w2，其计算公式为：

其中，xmin、xmax分别是两幅图像中叠加区域的横坐标对应的起始位置与结束位置。

两幅图像的像素值加权融合的计算方式如下：

显然，当x逐渐增大时，w1逐渐从0 变到1，w2逐渐从1 变到0，通过式（7）能够实现从f2到f1的过渡，这个过渡转换过程是较为平缓的，故可以较好地对合成缝隙进行铲除。

2.1 图像融合实验

为验证文中视频图像SURF 算法的效果，首先利用同一型号相机采集同帧的两幅图像。拍摄时，选择有大量树木作为干扰的区域拍摄图像，以增加算法的拼接难度，采集图像如图2 所示。传统SIFT 算法的图像拼接效果图如图3 所示。SURF 算法的图像拼接效果图如图4 所示。图像拼接的有效区域如图5 所示。

图2 采集图像

图3 传统SIFT算法的图像拼接效果图

从图3 可以看出，由于图像存在树叶干扰，传统的SIFT 算法无法完成图像拼接。从图4 可以看出，SURF 算法很好地实现了图像拼接。但由于两个相机摆放位置和角度的原因，重合区域较少，在图5 中能够展示在荧幕上的有效区域有所减少。

图4 SURF算法的图像拼接效果图

图5 图像拼接的有效区域

2.2 视频拼接实验与分析

通过国内某机场外采集的实时移动场景来测试实时拼接系统的有效性以及稳定性。

监控视频帧图像和视频拼接帧图像效果分别如图6、7 所示。

图6 监控视频帧图像

从图7 可以看出，拼接视频帧图像清晰自然，且没有出现明显的视差伪影，达到了较好的拼接效果。

图7 视频拼接帧图像效果

但首帧图像需要经过初始化阶段，拼接耗时较长，平均耗时达到400 ms 以上。若视频的每帧图像都进行重复步骤，不满足实时性要求。若按前所述，特征点的提取与匹配只考虑在第一帧图像上进行，得到变换矩阵H，之后的图像利用该矩阵进行融合，且每隔一段时间进行一次修正H，便可准确得到完整的全景视频图像，平均耗时可以降为50 ms，满足视频拼接对实时性的要求。

文中主要在视频拼接中，对视频图像融合与视频图像配准的SURF 算法进行了深入研究。通过提高特征点的提取速度，以及提高配准的准确率和精度，进一步加快了配准的速度以及提高了图像融合的效果。实验结果表明，该算法能够有效抑制视差伪影，其拼接图像无明显接缝，并且可以实现实时拼接，拼接的视觉效果较好。