基于邻域一致性的无人机航拍图像配准过程控制技术

李亚娟

(安康学院 电子信息技术研究中心，陕西 安康 725000)

邻域一致性是一种新的图像处理方法，该理论认为相似像素点的排列关系会影响整个图像的拼接方式，且任何一幅图像中，都存在完全一致的像素节点。“邻域”是一种范围化量词，是指由多个非中心节点组成的物理集合空间，该空间以中心节点为原点，所有集合节点与原点之间的物理距离完全相等[1]。在邻域空间中能够充分描述像素点的相似性，在样本空间足够大的情况下，节点与节点之间的相似性会逐渐被一致性取代，这也是邻域一致性原则并不排斥非完全相同像素节点的主要原因。近年来，随着图像处理等多种技术的发展，邻域一致性原则也被广泛应用于各大图像处理领域之中，特别是对于无人机航拍图像来说，原点周围所有像素点的排列行为都受到邻域一致性原则的影响与约束[2]。

无人机是以机载计算机和无线电遥控装置作为控制设备的不载人飞行器，结构相对简单，能够完成各类不适宜有人飞机执行的任务[3]。航拍也叫航空摄影或空中摄影，能够从空中拍摄局部区域的完整地质特征，借助相关图像处理软件，实现采样像素节点的拼接与排序。当前的深度去噪自动编码器的目标检测算法通过分辨航拍信息频域特征的方式，确定相邻像素节点之间的相似性程度，再根据待采样图像之间的重叠度关系，计算像素点与像素点之间的匹配关系[4]。然而此方法并不能有效控制无人机航拍图像采样节点之间的重叠度，并不能在图像拼接的过程中避免像素点的错误匹配行为，导致图像匹配效果下降。为避免上述情况的发生，引入邻域一致性原则，设计无人机航拍图像配准过程控制技术。

无人机航拍图像配准过程控制的实施，以航拍图像的融合处理为基础，在邻域一致性方法的支持下，本章节将针对具体融合方法展开设计。

1.1 配准区域划定

为了有效控制无人机航拍图像采样节点之间的重叠程度，应在邻域一致性原则的支持下，划定配准区域。所谓配准区域是指无人机航拍图像采样节点的原始存在区域，一般来说，在该区域环境中，根据邻域一致性所选取原点的位置始终保持不变，而在不考虑其他干扰条件的情况下，所需处理的无人机航拍像素点越多，则表示邻域组织中所包含的采样节点数量越多，反之则越少[5-6]。

假设δ1,δ1,…,δn表示n个不同的邻域像素点配比系数，c1,c2,…,cn表示n个不同的无人机航拍图像采样指标，v1,v2,…,vn表示n个不同的邻域像素重叠特征。联立上述物理量，可将n个不同的无人机航拍图像采样点配置表达式定义为：

(1)

假设α表示配准区域内像素搜索系数的初始取值，Δχ表示单位时间内的无人机航拍图像信息搜索量，εmin表示航拍图像最小特征值，εmax表示航拍图像最大特征值。在上述物理量的支持下，联立公式(1)，可将基于邻域一致性的配准区域划定表达式定义为：

(2)

若配准区域划定结果不发生改变，则可以认为配准区域划定过程具有相对稳定性。

1.2 图像标注点识别

图像标注点识别过程也是无人机航拍图像节点的二次标注过程，整幅无人机航拍图像可以被分解成多个小型物理区间，且每一区间之内节点之间的度量映射关系都不会发生改变。若单纯采用一次标注方式，会阻碍原点与邻域像素点之间的信息互通，从而使得无人机航拍拼接图像的质量受到影响[7-8]。而在图像标注点识别技术的作用下，所有配准区域内的节点划定条件均呈现出绝对稳定的状态，此时邻域一致性的作用能够被充分激发，从而提取无人机航拍图像的配准特征，以供主机元件对其进行精准的拼接与识别处理。

假设γ1、ι1表示两个不同的无人机航拍图像节点一次标注系数，γ2、ι2表示两个不同的无人机航拍图像节点二次标注系数，在邻域一致性原则下，γ1≠ι1、γ2≠ι2的不等式条件同时成立，且γ1恒大于γ2、ι1恒大于ι2。在上述物理量的支持下，联立公式(2)，可将基于邻域一致性的无人机航拍图像标注点识别条件定义为：

(3)

式中，X1、X2表示无人机航拍图像中两个不同的度量映射系数。为了使所有无人机航拍像素点都能实现处理，所有图像标注点识别指令都必须满足邻域一致性原则的约束。

1.3 一致性测度值

对于无人机航拍图像而言，一致性测度值既保证了领域像素区域内图像节点之间的信息互通，也可以在已知标注点识别权限的基础上，对待配准节点处的图像特征进行加工[9]。

在图1所示的无人机航拍图像中，A1、A2为两个完全独立的邻域一致性测度节点，且二者的横、纵坐标均不相等。设d表示点A1到点A2的竖直距离、l表示点A1到点A2的水平距离。联立上述物理量，竖直距离d、水平距离l计算公式为：

图1 无人机航拍图像的一致性测度标记

(4)

其中：S表示无人机航拍图像邻域配准搜索区内的节点标记系数，x1、y1表示A1点的横纵坐标，x2、y2表示A2点的横纵坐标。

设η表示基于邻域一致性原则的无人机航拍图像测度标准系数，γ表示配准节点的领域特征值。联立公式(3)、公式(4)，可将无人机航拍图像的一致性测度值计算结果表示为：

(5)

邻域一致性原则只能作用于单一的无人机航拍图像，因此一致性测度值指标的计算结果必须适应配准节点的实时排列方式[10]。

在邻域一致性原则的支持下，按照航拍图像地理定位、采样灰度计算、图像重叠关系分析的处理流程，完成对无人机航拍图像的初步预处理。

2.1 航拍图像地理定位

航拍图像地理定位能够确定像素点所处空间位置，按照邻域一致性原则对原始配准区间进行规划，从而将相似或完全一致的节点整合到同一区间之中，以供配准主机的直接调取与利用[11-12]。

从功能性角度来看，航拍图像地理定位就是为了消除干扰性节点对目标节点定位的影响，使得独立像素点空间内的节点对象能够得到快速配准。

图2为一个边长等于ϖ1的独立像素点空间，其中N为该空间所包含的航拍图像节点个数，目标节点为V′。在上述物理量的支持下，联立公式(5)，可将航拍图像地理定位原则表示为：

图2 航拍图像地理定位原理

(6)

式中，β为定位标度指标。一般来说，独立像素点空间内所包含的航拍图像节点个数越多，定位条件的划分也就越细致。

2.2 采样灰度

采样灰度是指无人机航拍图像在邻域采用空间中所表现出来的灰度水平，待配准处理的像素点数量越多，相关图像节点的分布状态也就越密集，反之则越稀疏[13-14]。在航拍图像的地理位置空间中，相邻两个像素节点的物理坐标不可能完全一致，且随着横、纵指标数值的改变，像素点所处的空间位置也会不断变化。为使整个无人机航拍图像的采样灰度水平趋于相对平均的数值状态，必须确保图像尺寸、像素分布密度等指标的物理数值均处于一个相对稳定的取值范围之内。

设f为航拍像素点取值系数，D为像素点取值特征值，a1、a2为两个不同的无人机航拍图像尺寸取值条件，ρ表示像素节点的分布密度。在上述物理量的支持下，联立公式(6)，可将基于邻域一致性的航拍图像采样灰度计算表达式定义为：

(7)

采样灰度作为一项关键参考指标，其数值水平直接影响邻域一致性原则对于无人机航拍图像配准节点的约束能力。

2.3 图像重叠关系

无人机航拍图像的重叠关系主要包含重点区域重叠、边缘区域重叠两种形式，其具体表现特征如下：

1)重点区域重叠：重点区域重叠可以继续细分为完全重叠、部分重叠两种形式。其中，完全重叠是指两幅待拼接无人机航拍图像的关键配准区域呈全覆盖状态，两种不相关的节点特征混合在一起，使得采集到的像素样本的灰度水平大幅提升[15]；
部分重叠是指两幅待拼接无人机航拍图像的关键配准区域呈现出不完全覆盖的表现状态，此情况下所采集到像素样本的灰度水平具有较大差异[16]。

2)边缘区域重叠：边缘区域重叠是指两幅待拼接无人机航拍图像的关键配准区域完全独立，但其边缘区域的节点混合在一起。由于其节点混合位置并不处于关键配准区域内，所以并不会对无人机航拍图像的拼接结果造成影响[17-18]。

3.1 坐标变换

由图3所示的坐标体系可知，x轴表示配准处理的水平操作方向，变换后坐标轴为x*；
y轴表示配准处理的竖直操作方向，变换后坐标轴为y*；
z轴表示了配准处理的空间操作方向，变换后坐标轴为z*。

3.2 几何校正

(8)

式中，ΔW表示单位时间内的像素节点拼接总量。为获得较为精确的像素点配准结果，任何一幅无人机航拍图像在实施拼接处理之前，都必须实施几何校正处理[22]。

3.3 配准过程控制

边界特征点提取是控制无人机航拍图像配准配准过程的关键环节，可在邻域一致性原则的基础上，将所有相似的像素节点整合到一起，从而统一不同尺度区间的拼接特征，使得整幅无人机航拍图像呈现出相对平衡的状态。在实施边界特征点提取之前，必须将待拼接的无人机航拍图像完全对正，使得相邻像素节点之间的物理距离不断缩小，当距离指标取值属于(0,1)时，即可认为两幅无人机航拍图像能够实现精确配准。

设ϑ为最小的无人机航拍图像拼接系数，j0为原图像中的配准节点定义项，ζ0为原图像中的配准标度向量，jn为拼接图像中的配准节点定义项，ζn为拼接图像中的配准标度向量。在上述物理量的支持下，可将无人机航拍图像边界特征点提取表达式定义为：

(9)

在实际应用过程中，只有特征点提取原则不发生变化，主机元件才能对无人机航拍图像进行配准处理。选择无人机航拍图像中一定数量的边界特征点，将这些特征点作为配准过程控制点。

在选定无人机航拍图像配准过程控制点之后，定义该点描述符为以该点为中心的局部窗口的一组灰度旋转不变量，描述符向量用下述公式表示:

(10)

式中，Ix与Iy分别为一维高斯核在x轴、y轴对无人机航拍图像的一次卷积，Ixx、Iyy分别为在x轴、y轴的两次卷积，Ixy表示为二维高斯核对无人机航拍图像的卷积。

对描述符向量v进行分割处理，分割结果分别用v1、v2表示，二者之间的距离为dM，结合对角矩阵Dl以及正交矩阵P对v进行标准化处理，结果如下：

(11)

就可以在各个方向使用相同大小的网格单元进行分割，计算vn的熵，具体的计算公式如下：

(12)

式中，pi表示vn处于向量空间网格的概率。

结合熵值计算结果，对于无人机航拍图像配准过程控制点分布质量进行控制，则控制点加权中心计算公式如下：

(13)

式中，(xi,yi)表示第i个无人机航拍图像配准过程控制点在图像坐标系下的坐标，wi表示控制点权重。

控制点分布质量计算公式如下所示：

(14)

式中，M、N分别为无人机航拍图像公共区域的行数和列数。Qi值越大，其余控制点到控制点加权中心的距离增大，那么其余控制点离散程度与均匀程度增加。

尺度空间极值约束了像素节点之间配准映射关系的稳定性，当原航拍图像与待拼接图像中像素节点数量完全相等时，尺度空间极值越大，则表示拼接处理后的图像尺寸越大；
反之若尺度空间极值相对较小，则表示拼接处理后的图像尺寸较小[23-24]。设e表示由原航拍图像指向待拼接图像的像素点映射系数，e∈[1,+∞)这一表达式恒成立。ue表示像素点映射系数等于e时的像素尺度，umin表示像素尺度权限指标的最小取值，R表示无人机航拍图形中的空间划分标度系数，一般来说，R的数值结果越大，则表示像素节点之间的配准映射关系越稳定，λ表示既定的像素配准指标。可将尺度空间极值的计算表达式定义为：

(15)

在确保原图像与拼接后图像不出现重叠关系的情况下，尺度空间极值与控制点分布质量值应尽可能向着其极大值结果趋近，以此保证配准结果的精准性。

通过上述过程完成基于邻域一致性的无人机航拍图像配准过程控制技术研究。

选取如图4所示的无人机设备作为实验对象，将航摄相机安置于无人机设备之上，令其在5 km×5 km实验区域中保持相对稳定的飞行状态，记录在实验过程中，各项指标参量的具体数值变化情况。

图4 实验用无人机

部分实验样本数据如图5所示。

图5 部分实验样本数据

本次实验的具体实验流程如下：

步骤一：采用基于邻域一致性的快速配准算法对航摄像机进行控制，将所得指标参量作为实验组数据；

步骤二：采用基于深度去噪自动编码器的目标检测算法对航摄相机进行控制，将所得指标参量作为对照组数据；

步骤三：分析实验组、对照组数据变量的具体变化情况；

无人机航拍图像采样点之间的像素重叠关系能够反映像素点错误匹配情况，一般情况下，采样点之间的像素重叠关系越明显(即像素重叠关系的计算数值越大)，则表示像素点错误匹配概率越高；
反之，若采样点之间的像素重叠关系越细微(即像素重叠关系的计算数值越小)，则表示像素点错误匹配概率越低。

具体的像素重叠关系(O指标)计算表达式如下：

(16)

其中:i1、i2为两个不同的重叠度指标，ΔΩ为无人机航拍区域的面积数值。

图6反映了实验组、对照组i1指标的数值变化情况。

图6 i1指标的数值变化曲线

分析图6可知，随着航拍区域边长数值的不断增大，实验组、对照组i1指标均呈现不断增大的变化状态，但明显对照组i1指标的上升幅度更明显。单就对照组曲线来看，当航拍区域边长由0增大至1 km时，其i1指标的上升幅度最大，达到了317；
单就实验组曲线来看，当航拍区域边长由4 km增大至5 km时，其i1指标的上升幅度最大，达到了117。从极限值角度来看，对照组i1指标最大值700与实验组i1指标最大值499相比，上升了201。

图7反映了实验组、对照组i2指标的数值变化情况。

图7 i2指标的数值变化曲线

分析图7可知，当航拍区域边长处于0～1 km的区间之内时，对照组i2指标数值始终小于对照组，而从此时刻开始，对照组i2指标则开始快速增大；
实验组i2指标虽然能够保持不断增大的数值变化趋势，但其均值水平始终低于对照组。从极限值角度来看，对照组i2指标最大值达到了890，与实验组i2指标最大值723相比，上升了167。

已知本次实验所取无人机航拍区域的面积为25 km2，即ΔΩ=25 km2，联合图5、图6中i1指标与i2指标的取值结果，对像素重叠关系(O指标)进行计算，具体计算结果如表1所示。

表1 无人机航拍图像采样点之间的像素重叠关系

分析表1可知，随着航拍区域边长数值的增大，对照组O指标始终保持不断增大的数趋势，将0节点排斥在外，可知对照组像素重叠关系指标最小值为1 673.76、最大值为24 920.00，二者之间的物理差值为23 246.24。实验组O指标虽然也能够保持不断增大的数值变化状态，但其均值水平始终相对较低，将0节点排斥在外，可知实验组像素重叠关系指标最小值为615.68、最大值为14 431.08，二者之间的物理差值为13 815.40，远低于对照组差值水平。

对比了实验组与对照组的无人机航拍图像配准控制效果，结果如图8和图9所示。

图8 实验组航拍效果图

图9 对照组航拍效果图

分析图8和图9中的结果可知，实验组的无人机航拍图像特征点匹配更为精准，配准效果更好。而对照组无人机航拍图像特征点匹配效果差，导致配准质量下降，证明该方法的无人机航拍图像配准控制效果较差。

综上可知，本次实验的结论如下：

1)在基于深度去噪自动编码器的目标检测算法的作用下，无人机航拍图像采样点之间像素重叠指标的数值结果始终相对较大，表明该方法并不能较好地避免像素点错误匹配行为的出现；

2)在基于邻域一致性的快速配准方法的作用下，无人机航拍图像采样点之间像素重叠指标的数值结果始终相对较小，表明该方法能够较好解决像素点错误匹配问题，更为符合实际应用需求。

本文主要通过对配准区域进行重新划定，又根据图像标注点识别结果，完成对无人机航拍图像的初步预处理。根据图像融合处理结果提取特征点，将特征点作为配准过程控制点，根据控制点分布质量与尺度空间极值实现无人机航拍图像配准过程控制，保证尺度空间极值计算结果能够稳定在合理的取值区间之内，不但使无人机航拍图像采样节点之间的明显重叠关系得到较好缓解，也使得图像拼接过程中的像素点错误匹配问题得以解决。从实用性角度来看，随着这种新型基于邻域一致性的无人机航拍图像配准过程控制技术的应用，重叠度指标的数值计算结果出现了明显缩小的变化趋势，与基于深度去噪自动编码器的目标检测算法相比，这种新型方法确实具备更强的实用性价值。