面向自主空中加油任务的目标检测技术研究

张西林，何亚坤，张恪易，王君秋

中国航空研究院，北京 100029

为延长飞机的续航能力、作战半径和争取更多空中任务时间，提升现代战机的智能化水平，自主空中加油（AAAR）技术受到了广泛关注。目前的空中加油技术主要有硬式加油和软式加油两种方式[1]。其中，软式加油是指在执行加油任务时，加油机会拖出一条或多条末端为一个伞状锥套的软管，再由受油机通过识别锥套来控制探头位置实现精准对接。其具有加油过程相对简单、可同时为多架战机加油等优点，目前被广泛应用。

由于视觉传感器采集到的图片易受到湍流、光照、云雾等影响，如何对研究目标进行精准和快速检测跟踪获得相关研究人员的重视[2-4]。实现软式空中加油过程的自动化检测跟踪，是顺应现代化战场态势、提升战机性能、提高飞行员安全保障的重要支撑，因此对锥套目标进行检测是自主空中加油技术对接阶段的重要环节[5]。Choi 等[6]对YOLOv4 算法做了改进，将CSPDarknet53-tiny 作为骨干网络，并使用CSP Block模块，增强了卷积神经网络的学习能力，在一定程度上提高了检测的准确性，但是这种方法增加了10%～20%的计算量。有学者采用仿生视觉的手段，在锥套识别时借鉴鹰眼视觉的注意力机制，利用目标的色调值、饱和度及亮度三个特征作为初级特征，融合特征得到显著图，从而提高加油锥套的检测准确率[7]。Campa等[8]在锥套上加入光学特征标记点，并使用迭代算法，使特征标记点在部分丢失的情况下仍能正确识别锥套。John等[9]设计出一套专门应用于自主空中加油的VisNav传感器，通过在目标锥套框架上固定几个基于发光二极管（LED）的信标，在传感器框架上固定一个基于位置感应二极管（PSD）的光学传感器来实现选择性或智能识别，将误差水平在10m 范围内精确到1cm。Naresh 等[10]在空中加油有雾和夜间条件下，在锥套区域提供适当的光照强度，采用多变量分割和基于形状识别的锥套检测算法。然而，自主空中加油任务的视觉检测技术部分要能够满足较高的大气湍流、存在遮挡、视觉采集存在形变、不同视场角等多重条件下的加油任务，并满足不同加油场景下的检测实时性，一直是研究的重点和难点。

针对空中加油任务中锥套检测问题，本文提出了基于深度学习的锥套目标检测改进算法，实现了空中锥套位置的实时检测。首先，构造了一组由软式自主空中加油图像组成的锥套目标数据集，其中包含了不同大小、视角、纹理、背景和光照条件的锥套目标。其次，通过对比几种主流检测算法在上述加油锥套数据集中的检测效果，根据检测结果对网络模型进行改进，并对其性能进行对比分析。试验总结出了软式加油锥套的检测方法效果差异，并验证了经过改进的模型能够更有效地检测空中加油的锥套目标。

在软式自主空中加油的对接阶段，加油机在前释放锥套并保持稳定平飞，受油机位于加油机下后方位置进行缓慢靠近。其中受油机探头附近位置安装有摄像机，在相对运动的状态下对锥套进行目标检测及跟踪。两者的相对坐标系统如图1所示。

图1 软式加油的坐标系统Fig.1 The coordinate system of AAAR

如图1 所示，位于受油机上相机坐标系原点为摄像机的光学中心，锥套坐标系的原点为锥套的中心，两者的方向相同[11]。假设存在两个向量分别位于两坐标系中，它们分别为

在式（4）中存在三个坐标轴，在三个坐标轴上的欧拉角的角度旋转可以分别表示为

在空中加油过程中，受油机和锥套之间的旋转被限定在一定的范围内，这一点可以忽略不计。因此，锥套和相机坐标系中的矢量转换可以表示为

利用等式（8）可以建立并求解位置参数方程。在整个对接过程中，锥套的目标检测技术作为后续锥套跟踪的前向输入[12-13]，在自主空中加油对接阶段整体视觉任务中的关系如图2所示。

图2 锥套目标检测及整体视觉任务关系Fig.2 The drogue detection and overall vision task

考虑到空中加油应用场景下为锥套单一对象的目标检测，且锥套无公开数据集进行训练和测试，为了完成锥套的目标检测任务，需要在离线状态下完成数据集构建、数据标记、模型训练以及模型的改进和优化等任务。

2.1 加油锥套检测数据集的构建

优秀的数据集有助于训练得到好的卷积网络模型。加油锥套目前尚无公开数据集，本文构造了一套适用于软式自主空中加油的锥套数据集。首先收集了包含目标部分遮挡、不同尺度和不同背景且可分辨的实际加油锥套数据集，经过人工标注获得目标标签，并对此数据集进行扩增。扩增方式包括图像旋转模拟不同角度目标、图像颜色填充模拟不同背景、图像增加高斯噪声模拟光照强度、图像增加对比度模拟传感器采集清晰度等。扩增后的数据集是一套可用于加油锥套目标检测的完备数据集，数据集部分展示如图3所示。

图3 自主空中加油锥套数据集示例(图片来源于网络公开自主空中加油视频)Fig.3 The example of drogue dataset (The pictures are from public AAAR video)

2.2 锥套的目标检测流程

卷积神经网络因其在特征提取方面的优势，已经成为自主锥套目标检测系统中目标检测和跟踪的主流框架。该类方法中双阶段算法一般以Faster RCNN 等算法为核心，首先通过生成区域建议（region proposol）对目标进行初步定位和筛选，再对候选区域进行进一步分类和识别。以YOLO 系列算法为核心的单阶段检测框架，更有助于满足战场实际环境对算法时效性的客观要求。

使用2.1 节构造的检测数据集训练基于Faster RCNN和YOLO的锥套目标检测模型。通过比较单双阶段几种算法的性能，遴选出性能表现较好的YOLOv5 进行基于MobileNet-V1、V2 和V3 的模型轻量化，分析不同主干特征提取网络对检测准确性和速度的影响。根据各自网络的检测结果适当修改算法以适应空中加油任务中视觉检测技术的实际需求。锥套目标检测系统基本流程如图4所示。

图4 锥套目标检测系统基本流程Fig.4 Basic process of drogue detection system

传统检测技术提取的目标特征相对简单，普适性较低，难以满足空中加油任务对复杂环境的要求。而基于深度学习的目标检测算法对复杂场景的稳健性高，能够自动发现检测并基于特征对目标进行分类，是当前目标检测领域研究的热点[14]。因此，开展基于当前单双阶段主流智能检测算法的自主空中加油锥套目标检测技术研究。

3.1 基于改进的Faster RCNN检测算法

Faster RCNN算法大致可分为4个主要模块：特征提取网络生成共享特征层，区域建议网络生成候选框，ROI池化统一候选框尺寸，分类和回归模块用于获取目标种类和精准位置。本文选取ResNet作为特征提取网络。

在网络模型判断目标的类别时，会设定阈值与置信度评分来进行判断，如果候选框的评分高于阈值，即判定为目标类别。本文选取的置信度判断分值为0.5。考虑到空中加油任务中锥套识别为单一目标，Faster RCNN算法经常会存在前向加油机发动机等圆形物体误识别的情况。

本文根据真假目标之间得分的差距，在分类层加入自适应的置信度筛选模块，将候选框的置信分数这一离散数组分开，并将数组按照从大到小的方法降序排列，选取置信度最大值作为置信度阈值，置信度变化函数如式（9）所示

Ck表示候选框得分，在经过检测网络之后，各个候选区域可以得到锥套所属类别的置信度分数，将数组的值进行降序排列之后，去掉小于阈值0.5的值，取出最大值，可以得到最终求取的单一数值。经过以上方法，改进的Faster RCNN模型的网络结构如图5所示。

图5 经改进的Faster RCNN网络结构Fig.5 Improved Faster RCNN network structure

3.2 基于改进的YOLOv5的检测算法

YOLO 系列网络是单阶段目标检测算法，其运行速度较双阶段算法较快，可满足空中加油任务中实时检测的要求。其中YOLOv3、YOLOv5 和YOLOX 算法最具代表性。YOLO的网络结构大体均由输入端、Backbone、特征融合模块 和YOLO Head 共4 个 部 分 组 成。YOLOv3 采 用DarkNet53作为其Backbone，如图6所示。

图6 DarkNet53网络结构Fig.6 DarkNet53 network structure

YOLOv5s 主干部分使用了Focus 网络结构，将4 个独立的特征层进行堆叠，增加了特征提取的丰富性；
并采用Mosaic 数据增强的方法提高了训练模型的鲁棒性；
多正样本匹配方法增加了正样本的数量，在训练时，每一个真实框可以由多个先验框负责预测。2021年提出的YOLO系列新网络YOLO X在分类回归层采用Decoupled Head，如图7所示，将分类和回归分开实现。同时采用Anchor Free 思想，不使用先验框，将下采样的大小信息引进来，采用标签分配关联方式，将正样本锚框所对应的位置的正样本预测框挑选出来。YOLOX 还采用SimOTA 正样本数量动态分配方法，为不同大小的目标动态匹配正样本。

图7 YOLOX的Decoupled HeadFig 7 Decoupled Head of YOLOX

通过对比分析发现，强大的特征提取和特征融合模块让YOLOv5s 检测网络在本文数据集检测精确度上表现很好，为了在保持检测精确度的同时加快检测速度，本文将YOLOv5s 的主干特征提取网络CSPDarkNet改为轻量化网络MobileNet系列来进行试验评估。

4.1 单双阶段算法对比试验

试验采用英伟达GeForce RTX3080 图形处理器，内存为32G，处理器为Intel（R） Core（TM）i7-10750H CPU @3.6GHz，展 开 基 于YOLOv3、YOLOv5、YOLOX 和Faster RCNN 的4 组试验，这4 个网络是单阶段目标检测算法、双阶段检测算法的代表算法。试验采用数据集均为自制的加油锥套数据集，测试集设置为9∶1，训练的终止条件为训练代数终止（80个epoch）。图8所示为对YOLOv3、YOLOv5、YOLOX和Faster-RCNN的4种算法的检测结果对比。

图8 不同算法检测示意图Fig.8 Diagram of different detection algorithms

图8 中左侧图片代表常规图片的检测结果，右侧列出了经过添加高斯噪声、旋转、改变对比度和颜色扩充等常见数据增强手法获得的图片。4种方法的各个指标值的情况陈列见表1。

表1 单双阶段4种算法的试验数据性能对比Table 1 Performance comparison between experimental data of four algorithms

YOLO 系列作为单阶段检测算法，在检测速度上远远快于双阶段算法Faster RCNN。Faster RCNN 在检测精度性能上远远好于同时期的YOLOv3 单阶段检测算法，但是检测速度上明显变慢，这符合单双阶段目标检测的特点。在识别率上，YOLOv5、YOLOX在检测总体性能上较优，具体体现为在当前测试集中，P 和R 都达到了1，mAP@0.5：0.95也达到了0.8以上。为了体现算法的工程应用价值，同时考虑到机载计算资源有限，引入模型参数量（Params）以及内存使用量（Memory Access Cost）两个指标，用以评价模型复杂度和运行内存占用情况，结果发现YOLOv5s的计算结果最低，分别为7.060M 和8.19G（见表2）。这得益于YOLOv5 强大的特征提取模块CSP 结构、特征融合模块PAN和Mosaic数据增广方法。

表2 改进的YOLOv5及其轻量化模型试验性能对比及分析Table 2 Experimental performance comparison and analysis of YOLOv5 and its light weight model

4.2 YOLOv5模型轻量化对比试验

通过试验对比分析，YOLOv5 系列模型无论在识别精度还是运算复杂度评价上均表现较优，因此还对YOLOv5s模型进行进一步试验，将主干网络分别替换成MobileNet系列网络的轻量化改造。

将YOLOv5s 的主干特征提取网络（Backbone）分别换成MobileNet-V1、V2 和V3，这些主干网络的复杂度：CSPDarkNet＞MobileNetV3＞MobileNetV2＞Mo-bileNetV1，网络复杂度越高，对于特征提取的能力会越强，与之对应的就是推理时间变慢。从试验结果可以看出，在加油锥套数据集中也符合这个规律。相对而言，经过轻量化的网络模型参数量和内存使用量均明显降低，但通过对比分析明显发现，Mv1-YOLOv5s 虽然速度很快，但是精确度性能有所降低，Mv3-YOLOv5s在提升了速度和降低模型复杂度的基础上，召回率（反映漏检情况）也稍稍有所降低。训练过程中由于轻量化改造的网络没有相关预训练模型，所以采取从主干网络进行训练。由图9 可以看出，由于网络变得轻量化，复杂度相应降低，训练损失收敛得越快，但是整体相差不大。

图9 训练过程损失函数对比Fig.9 Comparison between loss function of the training process

本文研究了基于深度学习的自主空中加油锥套目标检测技术。针对软式空中加油任务自主对接过程，对比单双阶段主流检测算法在所构建加油锥套数据集中的检测效果，结合加油任务的实际需求，在Faster RCNN 网络添加了自适应置信度筛选模块，并在YOLO 算法中进行轻量化改进，在有效提取目标信息的同时提高了对加油锥套的检测性能。经过对识别精度及模型复杂度等指标的对比分析，验证了经过改进的模型能够更有效检测空中加油的锥套目标，总结出了实际应用中软式加油锥套的检测方法效果差异。