融合注意力的自适应元学习岩性分类研究

马明刚，潘月梁，彭泽豹，王龙宝

(1.浙江宁海抽水蓄能有限公司，浙江 宁海 315600；
2.河海大学计算机与信息学院，江苏 南京 211100)

岩性识别作为地质勘探、施工质量监控等工作中的重要环节，在水利、电力、矿业等领域被广泛研究。常规的岩性识别方法包括肉眼观察[1]、薄片鉴定和试验分析[2]，但识别周期长，识别成本高以及主观性强。自动化岩性识别手段包括传统图像处理技术和机器学习方法，传统图像处理手段包括提取和量化岩石图像信息、利用滤波技术进行岩石色彩和纹理分析等[3-5]。然而，受限于试验数据类别和颜色通道数量，在分析中存在计算量大、复杂度高、周期长等问题。机器学习模型手段包括多层感知机分类岩石薄片[5]，支持向量机提取岩石颜色、纹理特征，进行岩石薄片岩性分类[6]，主成分分析法构建岩性单元的特征向量比值，增强岩性的可识别性[7]，AlexNet神经网络构建岩石新鲜剖面的岩性分类模型[8]，以及结合迁移学习建立深度学习模型进行岩性识别[9-10]等。以上对于岩石图像岩性分类的研究，多集中在提取岩石图像中的特征信息，无法在少量样本下进行训练至参数收敛。

然而，由于行业的特殊性，岩石图像存在种类多、数量少的特点，部分类别样本数量匮乏，造成数据样本分布非常不均匀，如按常规深度学习方法进行训练，会造成网络的过拟合，无法取得令人满意的结果。同时，研究对象多为岩石薄片图像而非光学图像，不符合野外实时分类的要求。为此，本文提出基于一种融合注意力自适应元学习的岩性分类方法，以岩石光学图像为输入对象，能在少样本场景和有限的计算资源下，根据积累先验知识快速学习新的识别任务，在岩石图像特征分布不均衡的条件下，实现少样本场景下的岩石分类问题。

在经典的元学习算法基础上融合注意力机制，提出融合注意力的自适应元学习岩性分类方法，解决岩石图像数据集特征提取不充分以及权值更新缺乏自适应情况，致使岩性分类的准确率较低的问题。

1.1 元学习理论

元学习被称为“学习如何学习”[11]，元学习的提出是针对传统深度学习模型，在少样本场景下存在的泛化性能有所欠缺、不能快速适应新任务的问题，其目标在于设计一种有着与人类相似的学习能力深度的学习模型，利用先前的学习中提取的先验知识，仅仅使用少量的数据获得相关经验进行快速学习[12-13]。

基于优化方法的元学习基本思路为：将元学习视为一个双层循环优化的问题，分别是基础学习器层面和元学习器层面，包括LSTM元学习器、MAML、iMAML，此外，以MAML算法作为基本框架，衍生出了一系列优秀的元学习算法，包括LLAMA、BMAML、PLATIPUS等，应用概率论的理论在MAML的基础上进行扩展，提供多个方案来解决任务。

在图像分类任务中，基于优化的方法重点在于学习图像之间最容易作为分类依据的关键特征，即学习如何快速适应新任务的能力。但MAML算法由于其梯度下降学习机制，内层循环存在训练瓶颈，学习率的设置严重影响内层循环的梯度下降效率，且需要人工干预。

1.2 融合注意力的自适应元学习岩性分类方法

岩性分类的目标是识别输入岩石图像的岩石类别。提出的融合注意力的自适应元学习岩性分类方法(Adaptive Meta-Learning with Fused Attention，FA-AML)包括融合注意力的特征提取网络和自适应元网络。

FA-AML由基础学习器以及自适应元网络组成。其中，基础学习器包含融合注意力的残差注意网络和分类层；
自适应元网络则根据每个步骤的当前权重和梯度值生成学习率与正则项系数超参数。FA-AML可以在少样本场景下充分提取岩石图像特征，获得最具区分性的特征信息，解决岩石图像特征分布不均衡的问题。同时，在元学习训练过程中每个内部循环迭代能够适应给定的任务，解决权值更新适应性问题。整体框架见图1。

图1 FA-AML整体框架

1.2.1 融合注意力的特征提取网络

在少样本的岩性分类场景中，由于缺乏足够的岩石图像数据，没有足够的数据使得网络微调至拟合，因此深层网络架构往往在少样本条件下是没有用的。注意力机制的提出使得深度学习模型更有效和更有目的性，利用注意力机制巧妙地提取岩石图像中的重要信息而忽略无关信息，提高网络的表征能力。

为充分地嵌入岩石图像特征，设计岩石图像特征提取网络MLA-ResNet-12，将改进的卷积注意力模块嵌入至残差网络ResNet-12，更有效地提取岩石图像特征，缓解特征分布不均衡的问题，自适应引导分类。改进后的卷积注意力模块见图2。该注意力模块包含2个分支：空间注意力与通道注意力(见图3)，提取这2个主要维度中有意义的岩石图像特征。

图2 注意力模块

图3 注意力模块2个分支

在乘法过程中，空间注意力和通道注意力并行计算，能够在有限的样本数据中获得足够的特征信息。空间注意力模块给出了在网络学习过程中关注的位置的描述，而通道注意力模块给出了在学习过程中的内容。同时，采用挤压激励网络策略，通过额外的全局最大池化操作，在单层中提取更多的通道信息，并在通道注意力模块中尝试通过2个分支的组合获得更好的特征。

1.2.2 超参数自适应元网络

超参数自适应元网络(HAML)在MAML的基础上引入一个小型的元网络，自动更新超参数(学习率与正则项系数)，使训练在任务条件下的内环更新更有效，其自适应规则与基于梯度下降的优化算法有相似之处。其中，每个权值的学习率可以由过去梯度的累积矩来调节，这些超参数是由一个元网络生成的，该元网络经过明确的训练，以实现对看不见的例子的泛化。该方法具有自适应学习速率和正则化超参数的能力，可控制权值更新的方向和幅度。

综合基础学习器以及自适应元网络解决岩石图像样本数量少、样本分布不均衡的问题，达到一个良好的岩性分类效果。

2.1 Rock-ImageNet数据集描述

岩石图像数据集Rock-ImageNet是通过岩石数据库、网络搜索、某大坝现场无人机拍摄等不同手段采集所得。对样本数据集进行逐一人工筛选，剔除模糊、对焦不清晰的岩石图像，根据岩性将样本进行分类整理、常规几何变换，制作成2 437张20类常见岩石图像。岩石数据集图像示例见图4。

图4 岩石数据集图像示例

在元数据集制作中，首先对上述数据集进行小样本任务划分，从数据集的类别中随机抽取若干类别的图像，再在剩余的类别中再抽取若干类别的图像作为试验验证集图像，最后剩余类别的样本作为测试集图像。具体分类情况为：9类元训练集、5类元验证集、6类元测试集。

2.2 超参数设置与评价指标

2.2.1 超参数设置

融合注意力的特征提取网络由4个融合注意力的残差单元构成，每个残差块包含3个卷积层、64个滤波器(3×3)、批量归一化层、ReLU函数。此外，将注意力模块中的空间注意力调节器参数T设置为1倍epochs捕捉岩石图像中的细节信息，以便更好地进行岩性分类。同时，对于所引入的超参数生成网络，采用了1个层间ReLU激活的3层MLP。超参数生成网络在每一个内环更新步骤时都是基于基础学习器网络的梯度和权值的分层均值。

对于岩石图像数据集的N-way K-shot分类问题，采用经典的5-way 1-shot和5-way 5-shot的epoch小样本任务设定。网络训练损失函数选择交叉熵函数E，即

(1)

式中，pi(j)和qi(j)分别为在第i个类别中的第j个样本的真实值与预测值。

损失函数的E值越小，预测值与真实值越接近。因此，模型训练的最终目标是希望损失函数的值达到最小。试验过程中，批处理(batch size)设置为16，超参数生成网络的初始学习率为1×10-4，训练次数取值(epoch)为100，每次训练元任务数设置为1×102，初始权重衰减为1×10-6。

2.2.2 评价指标

评价指标使用测试阶段的测试准确率来评价所提模型的分类性能，其中测试准确率简称为准确率。训练阶段，每个epoch训练结束，对网络模型进行评估验证并统计验证结果，每个epoch的验证准确率为验证结果的平均值。测试阶段，在元测试集上随机构建1×102个测试任务，用于测试模型性能，测试结果平均值作为测试准确率。其中，每次任务置信区间为95%。

3.1 性能对比试验

为了验证所提出的元学习方法的性能，在自建岩石图像数据集Rock-ImageNet上进行性能对比试验，将FA-AML和以下方法进行比较：

(1)匹配网络。基于注意力和记忆力机制，利用余弦距离作为网络的度量函数，计算网络根据对支持样本和查询样本进行编码后结果的相似度确定查询样本的类别属性。

(2)原型网络。通过平均每个类支持示例的提取特征计算类代表或原型，预测最接近的类原型为输出类。

(3)关系网络。该网络包含嵌入模块和关系模块。其中，嵌入模块用于提取数据样本特征；
关系模块由卷积网络构成，利用样本间的特征相似度进行计算从而完成分类。

(4)MAML(4-CONV)。以4层的卷积网络(4-CONV)作为特征提取网络，MAML创造一种独特的模型训练结构，双层循环结构的训练过程能够有效地使模型不再倾向于数据本身，而是针对新的不同任务适应层面，即尽可能学习一种快速适应新的任务的能力。

(5)MAML(ResNet-12)。与MAML(4-CONV)唯一不同的是利用残差网络ResNet-12作为特征提取网络。

不同元学习方法图像分类对比试验结果见表1。从表1可知，FA-AML在自建岩石数据集的试验效果均优于其他基线方法，达到了良好的分类性能。对于5-way 1-shot任务，所提出的FA-AML比匹配网络、原型网络、关系网络、MAML(4-CONV)以及MAML(ResNet-12)分别提高了5.84%、1.83%、0.93%、4.02%和1.79%。在5-way 5-shot中，FA-AML比匹配网络、原型网络、关系网络、MAML(4-CONV)以及MAML(ResNet-12)分别提高了6.81%、4.05%、1.52%、3.96%和2.54%。所提出的FA-AML方法在5-way 1-shot、5-way 5-shot设置下的平均增益比其他5种方法分别高出2.88%和3.58%。另外，在5-way 5-shot设置下，FA-AML算法的分类准确率达到了75.28%，初步达到了少样本情境下岩石图像分类效果的要求。

表1 不同元学习方法图像分类对比试验结果 %

从性能对比发现，融合注意力机制的自适应元学习FA-AML效果高于传统的元学习分类算法，相比于采用ResNet12作为特征提取网络的MAML算法也有较大提升。原因是因为在引入注意力机制对特征提取网络进行了优化，并且增加了超参数自适应环节，提升了分类的准确性。

匹配网络作为元学习中的度量学习的经典模型分类效果一般。原型网络提出原型点的概念，将同类嵌入向量的均值作为该类的原型点，通过聚类思想进行分类，相较于匹配网络分类效果有所提升。而同样属于度量学习的关系网络，利用关系网络抽取样本特征并进行比对，使用可学习的度量函数，提升度量学习方法的精度和通用性，分类效果明显优于匹配网络以及原型网络。MAML作为元学习中的经典算法，选取不同的特征提取骨干网络时，分类效果有明显差异，使用ResNet-12作为特征提取网络的MAML算法比使用4CONV作为特征提取网络的MAML算法分类准确率在岩石数据集上分别提升了1.93%和4.12%，可能是因为ResNet-12的网络结构比4CONV的网络结构更复杂，提取特征更具充分。

融合注意力的自适应元学习FA-AML整体分类效果最佳，其分类准确率有显著提升的原因是：

(1)针对特征提取网络的不足，融合注意力机制使得特征提取网络在少样本情景下充分提取岩石图像最具区分性特征，缓解岩石图像数据集存在的特征分布不均衡的问题，从而提高了网络的表征能力。

(2)针对元学习的训练数据维度差异问题，引入1个超参数自适应网络动态生成学习率与正则项系数的超参数，使得每个内环迭代都能快速适应给定的岩石图像分类任务。

3.2 注意力模块和自适应元网络有效性试验

设置消融试验验证融合注意力的特征提取网络模块和自适应元网络的有效性。

以融合注意力的ResNet-12网络与不添加注意力机制的ResNet-12网络作为对照组，超参数更新均采用自适应元网络控制，在Rock-ImageNet上进行试验。试验设置5-way 1-shot及5-way 5-shot这2种场景。试验结果见表2。从表2可知，同样选择ResNet-12网络作为基准网络，融合注意力的MLA-ResNet-12特征提取网络表型更好，在Rock-ImageNet上分别提升了1.34%和2.21%，说明融合注意力的特征提取网络可以有效提取最具区分性的图像特征，缓解样本分布导致的特征分布不均衡问题，从而帮助模型学习到更好的特征表示，提升模型的分类性能。

表2 特征提取网络模块有效性试验结果 %

为验证超参数自适应元网络在面向岩石图像分类任务上的有效性，将超参数自适应元网络应用于MAML、MAML以及自适应元网络应用与随机初始化作为对照组，以MLA-ResNet-12作为特征提取网络，分别在2个数据集上进行试验，结果见表3。从表3可知，在Rock-ImageNet数据集上，自适应元网络FA-AML应用于MAML时可以取得最好的分类性能，比只使用MAML框架时分别提升1.05%和1.84%，即使应用于参数随机初始化时，也有显著的性能提升，说明超参数自适应元网络通过使学习率和正则化系数适应基础学习器的当前学习状态，能够有效提升少样本场景下岩石图像的分类性能。

表3 自适应元网络有效性试验结果 %

本文针对岩石图像样本少、种类多以及样本分布不均衡的问题，提出融合注意力的自适应元学习岩性分类方法FA-AML，从特征提取、超参数更新2个方面进行研究。通过混合通道注意力与空间注意力的卷积注意力模块，嵌入包含4个残差块的残差网络ResNet-12，构建残差注意力网络MLA-ResNet-12，用于提取岩石图像最具区分性特征，解决特征分布不均衡的问题。对于网络的超参数更新，引入一个小型的元网络，对学习率和正则化系数进行自适应更新，提高模型在不同种类岩石分类的泛化性能。结果表明，本文提出的融合注意力的自适应元学习能够充分提取图像特征，提高权值自适应能力，同时具有良好的岩石图像分类效果。