基于改进ResUnet的高分辨率遥感影像道路信息提取

胡煦航，程小龙，朱滨，傅静雅

(1.江西理工大学 土木与测绘工程学院，江西 赣州 341000；
2.福建省测绘院，福州 350001)

道路信息作为遥感信息的重要组成部分，在抢险救灾、智能驾驶、导航地图中展现着重要的作用，如何从高分辨率遥感影像中提取完整的道路信息也成为了遥感领域的热点与难点之一。

传统的方法[1-3]在道路信息的提取上已经初见成效，但是对于抗遮挡问题和环境适应性问题很难克服。深度学习的方法则是近些年发展的方向，越来越受到国内外学者的重视，研究如何将深度学习的方法运用到遥感图像道路提取中具有重大的价值[4]。戴激光等[5]针对神经网络在训练中分辨率降低以及梯度消失的问题，提出了基于多尺度卷积神经网络的方法，相对于UNet与传统方法取得了较大的优势；
Zhong等[6]使用全卷积神经网络(fully convolutional network,FCN)在马萨诸塞州道路数据集上进行道路提取，获得了不错的成果；
贺浩等[7]提出了一种基于编码器-解码器网络的遥感影像道路提取方法，通过对称的结构以及极少数的下采样，保留了更多的道路局部信息；
王舒洋等[8]提出了航拍图像跨数据域特征迁移道路提取方法，针对与新数据泛化能力不足的问题所提出的方法，对于没有迁移的结果，获得了很大的提升，但是迁移过程是不可控的，可能会导致道路信息的损耗；
Wang等[9]提出一种坐标-密集-全局模型的道路信息提取改进方法，将坐标加入特征图之中，结合密集块与注意力模块，可以达到增强边界信息的效果；
针对道路边界信息提取不完整、质量差的问题，赫晓慧等[10]提出了EDRnet，运用两组EDR组合提升了提取结果的完整性；
Zhang等[11]结合残差学习框架[12]以及UNet网络[13]，提出了深度残差UNet运用于遥感影像道路信息的提取；
相较于深度残差学习框架，Huang等[14]提出了一种紧密连通的卷积网络DenseNet，减轻了消失梯度的问题，增强了特征传播，鼓励了特征重用，并大大减少了参数数量，改善了整个网络中的信息流和梯度，这使得模型易于训练。

在ResUnet运用残差块传递信息过程中会造成信息的损耗甚至丢失，残差块中通过跳过本层卷积模块而直接达到下一层的“高速”路径被称为“恒等映射”，恒等映射这种保留特征的方式会限制网络的表达能力，影响分割的精确度以及准确性。针对这种情况，受到了DenseNet和ResUnet的启发，本文对ResUnet进行改进，使用4个Dense块堆叠的结构作为编码器的主要结构。DenseNet使用密集的连通来连接多级特征图，能够形成输入层与其他层之间直接的连接通道，从而减少了在信息传递过程中的损耗。当具有相当的计算能力时，密集块比残差块所需的训练参数量要少[15]，在Dense块之间加入空间通道压缩与激活模块，从空间与通道两方面并行对输出的特征图进行重新校准，增强有意义的特征，抑制无意义特征；
在桥接部分加入注意力机制，扩大感受野，捕获多尺度信息。感受野是指特征映射到输入空间区域的大小。感受野越大，则对应的全局信息越丰富，更有助于神经网络的识别与推断。

1.1 ResUnet介绍

UNet是生物医学分割任务中非常受欢迎的网络结构，它编码器-解码器的对称结构以及对应编码器与解码器之间存在直接连接结构，使得UNet能够捕获更多的上下文信息和只需要少数样本就能取得优秀的结果。基于网络越深性能越好的观点，残差网络能够通过恒等映射跳过卷积层，直接将上一层的信息传递到下一层从而保留特征，残差块的结构如图1所示。由残差单元构成的UNet，同时保留了残差网络和UNet的优点。残差网络简化了网络训练，使得梯度爆炸问题得到了缓解，能够建立更深层的网络结构；
残差单元中所设计的恒等映射能够促进UNet的低层信息到高层信息的传递，使得能在减少参数的同时达到更好的分割效果，同时UNet相对应的编码器与解码器之间的连接可以帮助上采样层更好地恢复图像的细节。但是残差块中的恒等映射只能帮助信息以上一层传递到下一层形式的逐层传递，在传递中通过复合操作会产生信息的损耗或者消失，不利于对图像特征的识别，而且残差块会造成塌陷域问题，降低网络的学习能力[16]。基于这种情况下，对ResUnet进行改进，引入密集网络中的Dense块替代残差块。残差块的运行工作原理如式(1)所示。

xl=Hl(xl-1)+xl-1

(1)

式中：xl为第l层所输出的特征；
Hl(·)为第l层中如卷积、采样、归一化等操作的复合函数；
xl-1为第l-1层所输出的特征。

图1 Dense块与残差块的对比图

1.2 ResUnet的改进

对原有的ResUnet进行了三方面的改进：①在编码器部分使用密集单元替代了原有的残差单元；
②在每一个密集单元之间加入空间通道压缩与激活模块，利用对通道以及空间的挤压重新校准特征图，再对校准之后的特征图进行激活，激活之后经过转置输入下一个密集块；
③利用空洞空间卷积池化金字塔模块作为桥接部分，扩大感受野，提供多尺度信息，使得分割更加完整。

1)密集块替代残差块。如果卷积网络在输入层和输出层之间存在较直接的连接，则可以进行更深入、更准确和有效的训练。文献[14]编写了DenseNet。DenseNet将先前层的特征图都用作输入，并且将自身的特征图也用作后续的层的输入，这样可以直接形成从输入层到输出层以及后续层之间的连接，从而减少了在层与层信息传递所带来的损耗，得一个L层的Dense块可以具有L(L+1)/2个连接。但是即便是有如此多的连接，在参数量方面，Dense块的参数量还是比残差块要少。图1展示了一个层数为4的Dense块与残差块相比，Dense块并不是通过极深的网络去体现能力，主要是通过特征重用，将不同层的特征图连接起来，为后续层的输入增加了多样性，提高了模型的效率；
并且Dense块中每一个卷积都输出k个特征图，超参数k被命名为增长率，在结构中一般当k是一个较小的数的时候，就可以获得优秀的性能。所以它在减轻梯度爆炸的同时增强了特征传递，鼓励了特征重用，减少了参数数量。在本文中增长率k设置为16，随机失活率是20%。DenseNet运行工作原理如式(2)所示。

xl=Hl([x0，x1，…，xl-1])

(2)

式中：xl为第l层所输出的特征；
Hl(·)为第l层中如卷积、采样、归一化等操作的复合函数；
[x0，x1，…，xl-1]为从第0层到第l-1层所产生的特征的串联。

2)空间通道压缩与激活模块的使用。空间通道压缩与激活模块[17]由两个部分组成，其结构如图2所示。空间压缩和通道激励模块[18]首先是对空间进行压缩，使得全局信息嵌入，之后通过激活函数对通道进行激活，随着网络的学习，对通道的激活进行自适应的调整，从而强调重要的通道忽略无关的通道。通道压缩和空间激励模块与空间压缩和通道激励模块同理，通过对通道进行压缩之后对空间进行激活，从而强调了重要的空间位置，忽略了无关的空间位置，这对于分割来说是非常重要的。运用空间通道压缩与激活模块，通过对空间与通道的缩放以及激活达到了对重要的空间位置以及通道进行增强的目的，对输入的特征图进行重新校准，对特征进行筛选，增强了有意义的特征而且忽略了无关特征，可以使得分割更加准确，分割边界更加平滑。

图2 空间通道压缩与激活结构图

3)空洞空间卷积池化金字塔模块桥接。空洞空间卷积池化金字塔模块[19]有多个不同采样率的卷积层，利用0填充扩大卷积层的感受野，形成空洞卷积，结构如图3所示。通过不同采样率的卷积收集多尺度信息，每一个卷积层都是并联运行，在卷积之后添加批量归一化处理[20]。空洞空间卷积池化金字塔模块在许多分割网络中已经显示出优秀的结果，本文运用空洞空间卷积池化金字塔模块作为桥接部分，承接编码器与解码器之间的连接部分，通过不同的空洞率扩大感受野，并行的卷积层能够获取更多有意义的多尺度信息。

图3 空洞空间卷积池化金字塔模块结构

改进的网络如图4所示，改进后的网络具有比ResUnet更少的模型参数量，在模型深度比ResUnet大的同时，能够提高信息提取完整性和保证改进的模型对复杂环境的适应性。

图4 本文设计的网络结构

为了验证改进后ResUnet网络结构的精确性以及有效性，本文在马萨诸塞州道路数据集[21]上进行测试，并且与原有的ResUnet网络结构进行对比。

2.1 数据集制作

马萨诸塞州道路数据集是由Mihn和Hinton所制作的，包括了从城市到城镇到农村约500 km2的空间。数据集一共包括1 171张影像，1 108张影像运用于训练，14张影像运用于验证，49张影像运用于测试。数据集中所有图像的大小为1 500像素×1 500像素，分辨率为1.2 m。影像中包含了高速公路、乡村土路、沥青路，以及具有干扰性的铁轨、河流、海洋等。

在马萨诸塞州道路数据集中一张影像的大小是1 500像素×1 500像素，通过设置将原数据集裁剪为224像素×224像素，重叠度设置为14，增加数据集。通过随机裁剪、水平反转、垂直翻转、随机添加噪声等方法对数据集进行数据增强，获得20 000张训练集影像，其中训练集与验证集的比例为9∶1，对测试集进行相同操作获得49组测试集影像。

2.2 模型训练

本实验在Intel(R)Xeon(R)Gold 5122 CPU @ 3.60 GHz 3.59 GHz 2处理器上、128 GB内存、Windows10系统下运行，NVIDIA Quadro P5000 GPU加速。模型基于以Tensorflow为后端的Keras深度学习框架所完成。

将马萨诸塞州道路数据集中的原图和标签图输入改进的网络，输入的强度图像经过多次卷积运算及空间与通道校准操作，进行特征提取，图像尺寸缩小，产生抽象的特征图，然后利用空洞空间卷积池化金字塔模块桥接部分，通过多重采样率采集多尺度信息，再通过上采样与编码器中相同大小的特征图进行级联输入残差块进行解码，恢复到与输入图像相同的尺寸，从而对每个像素都产生了一个预测。模型的损失函数为二元交叉熵函数，在训练过程中使用自适应矩估计(adaptive moment estimation,Adam)优化算法进行优化，加快收敛，初始学习率设置为0.001，批大小设置为8，本文的模型在70个回合内达到收敛。

2.3 实验结果分析

在马萨诸塞州道路数据集上，将所改进的模型与原有的ResUnet进行了比较，将精确度、召回率、F1分数以及Dice系数作为评估指标。使用马萨诸塞州道路数据验证集中49张测试照片进行验证，结果如表1所示。

表1 不同模型在测试集上的道路提取结果对比

从对比表可以得到结果，ResUnet模型运用残差模块与编码器-解码器相结合的结构，在道路信息提取的精确度、召回率、F1分数、Dice系数分别达到了87.99%、80.59%、84.25%、81.60%；
改进的ResUnet模型在各项指标上都有提升，精确度达到了88.62%，召回率、F1分数、Dice系数分别达到了84.19%、86.35%、83.22%，与ResUnet相比分别提高了0.63%、3.60%、2.10%、1.62%。在运行时间上，改进的网络提取49张测试集影像花费了约39 s，平均每一组影像小于一秒；
而ResUnet提取49张测试集影响花费了约41 s，改进的网络比ResUnet在分割速度上快了约2 s。在训练参数上面，改进的网络只需要训练24.6×106的参数，比ResUnet所需要训练31.4×106参数要少，可以充分地证明所改进的网络比之前获得了较大的提升。图5展示了在训练过程中验证集精度与损失的变化曲线，从图中可以看出，在网络模型达到收敛的时候，改进的网络无论是精度还是损失值都要优于原有的网络。

图5 两组模型的训练过程曲线

从定量的角度来分析，改进的模型已经超过了ResUnet网络。图6显示两组模型对于测试集影像提取的可视化对比，第一列为测试集影像，第二列为地面真值，第三列为ResUnet的提取结果，第四列为改进方法的提取结果。从实验结果可以看到，第一行测试集影像中，对路面两组模型都识别成功，但是ResUnet所提取的结果中十字路口路面出现了断裂、不连接的情况，改进的模型提取效果更完整；
在第二行影像中，出现了呈条带状的房屋，而且同路面贴在一起，这对路面的提取出现了一定的干扰，ResUnet在提取过程中出现了无法提取的结果，所改进的网络总体上来说要优于ResUnet；
在第三行影像和第四行影像中，训练集影像中道路存在被遮挡的现象，在第三行中路面出现比较严重的遮挡，ResUnet识别到了但是未能提取到，出现了一段空缺，而第四行影像中道路发生了断断续续的遮挡，改进的模型很好地对被部分遮挡的道路进行识别与分割，这因为在训练集中包含了被树木所部分遮挡的路面信息，所改进网络对此进行了充分的识别。

图6 马萨诸塞州道路数据集可视化比较结果

2.4 讨论

相较于原有的模型，改进的模型具有更大的网络深度，在提高了网络深度的同时还添加了注意力模块，从而训练所需要的时间多于原有的模型。在对于道路的识别中，最主要的遮挡来自于树木的遮挡以及房屋对道路边缘的掩盖和影像中其他物体投影对路面颜色的改变。在本文实验数据集中，包含了因物体的投影遮挡而改变了道路的颜色或者边缘信息的样本，也存在被树木完全遮挡的样本。从图7中可以看出，在被树木遮挡的地区，特别是道路与道路相连接处和遮挡较严重地方，原有的模型所提取的结果出现了路面断裂不连接的情况，改进的网络则对这些情况进行了效果很好的提取，结果表明，虽然改进的网络训练时间多于原有网络，但是在有树木遮挡的情况下具有良好的抗遮挡性，在复杂的场景下具有良好的适应性。

图7 被遮挡区域提取效果

针对遥感影像中道路的特点，本文结合DenseNet网络模型，提出了一种对ResUnet改进的遥感影像道路提取网络。该网络以编码器-解码器结构为基础，使用多个Dense块所叠加的结构替换了原有的编码器，并且在每一个Dense块之间加入了转置层和空间通道压缩与激活模块，这可以方便信息的传播以及对于空间和通道的重新校准，桥接部分使用了空洞空间卷积池化金字塔模块，扩大感受野，提取多尺度信息。在马萨诸塞州道路数据集上的实验结果表明，本文所提的网络各项精度指标表现优异，精确度、召回率、F1分数以及Dice系数分别达到了88.62%、84.19%、86.35%、83.22%，具有一定的抗遮挡以及推理能力，具有良好的鲁棒性。但由于增加了网络深度和多个注意力模块，改进的网络训练所需要的时间多于ResUnet，接下来的工作将主要专注于如何去缩短训练时间，提高网络的抗遮挡能力，优化分割结果。