基于改进Cascade,RCNN的风管平面二维图纸识别

杨墨逸， 赵云凡,2， 邓雪原

(1. 上海交通大学 a. 船舶海洋与建筑工程学院；
b. 上海市公共建筑和基础设施数字化运维重点实验室， 上海 200240；
2. 中国建筑第八工程局有限公司, 上海 200112)

据国家统计局数据显示，自2003年起，国内每年竣工房屋面积均在20亿m2以上[1]，累计竣工房屋总面积稳定增长，城市化水平迅速提高。城市化高速发展的同时也带来了既有建筑量大面广，设备功能退化，设备运维困难等严重问题[2]。为提高资源利用效率，提高建筑设备运维管理水平将是建设领域适应新时代“高质量、绿色发展”战略的重要发展方向。

建筑机电设备是建筑整体的重要组成部分，主要包括给排水、采暖、通风、空调、电气系统，用于保障建筑内部良好的环境，直接影响建筑的运维和能源利用效率[3]，而风管设备是采暖、通风和空调系统最主要的组成部分。现代建筑设备多样，管线密集，空间分布情况复杂，在信息不完善的情况下，风管设备的运营维护很难开展。传统的风管设备运维，需要工程师查看纸质竣工备案资料[4]，流程繁琐，耗费大量人力物力，并且过程容易出错。

建筑信息模型(Building Information Modeling，BIM)是集成建筑全生命周期信息的数字化表达方法，能够提高建筑信息的交互性[5]，可用于建筑设备的信息集成和管理应用，为运维过程中的分析和决策提供辅助[6]，提高运维效率和质量。Pardis等提出了一套基于BIM的设备管理框架和流程，用于在全生命周期管理中收集、管理、交换设备信息，该流程在实际项目运维中进行了成功测试[7]，为之后的研究提供了参考。田佩龙将建筑设备自动化系统集成至BIM，实现了对设备状态的动态监测，并在停车场、水厂等的智能运维中得到了应用[6]。

BIM模型包含几何信息、语义信息和拓扑信息，几何信息指的是对象的形状和位置；
拓扑信息表示对象间的空间联系；
语义信息用于描述专门属性，比如设备的功能、材质等。建筑设备的BIM重建方法可以从矢量图纸、3D点云模型或二维光栅图像中自动提取设备的几何信息、拓扑信息和部分语义信息，比如设备的类型、位置和尺寸。在实际应用中，设备BIM可以辅助设备管理人员进行诸如资产管理、设备状态监测和定期检查等任务，有效提高设备管理效率[7]。然而很多既有建筑仅有纸质的图纸资料，信息整合困难，人工重建模型费时费力[8]。因此，本文提出一种自动化的图纸识别方法：使用改进的CascadeRCNN目标检测算法识别风管平面图纸中的设备，提取二维光栅图像中的设备类别和位置信息，为既有建筑的设备运维和BIM重建提供必要的数据基础。

目前针对既有建筑的信息模型重建方法主要有基于二维矢量图、基于3D点云和基于二维光栅图像三种。

使用二维矢量图重建BIM模型的方法提取经过预处理后的CAD矢量图信息，构建BIM模型的精细化程度相对较高。Cho等[8]将经过充分预处理后的机电设备CAD图中的对象分为物理设备、文字和注释三类，对每一类组件采用了不同信息检索方法，实现了对简单风管系统的信息提取和BIM模型重建。Yin等[9]开发了一套自动识别CAD立面图信息的方法，可获取立面图中对象的偏移量和高度，根据立面图信息生成外墙 BIM 模型，填补了针对建筑立面图研究的空缺。基于二维矢量图的方法获得的几何信息相对准确，但不适用于没有矢量图纸的大部分既有建筑[4]。

基于3D点云的技术利用激光扫描仪等设备采集并生成3D点云数据，通过对点云数据的处理构建BIM模型，该方法不需要CAD矢量图，得到了较多的研究[10]，近两年的研究主要着眼于提高数据采集质量以及从点云模型中识别对象。为提高扫描数据的质量，Wang Qian等[10]提出了一种不需要先验BIM的扫描规划方法，该方法可根据用户对数据质量需求确定最佳扫描位置和参数，比人工制定的扫描计划效率更高、获取数据更加完整、数据冗余更少。Wang Chao等[11]介绍了一种从3D点云模型中自动提取建筑几何形状的方法，但研究对象仅限于建筑外表面。Kim等[12]开发了一种基于曲率信息和卷积神经网络的分类方法，可以自动识别工业厂房点云数据中管道的直管和弯头构件，但识别对象仅限于圆管。该类方法需要数据丰富的完整点云模型，但数据采集设备只能获取表面数据[13]，受遮挡影响很大，获取建筑内部的管道和设备数据非常困难。

基于二维光栅图像的方法在经济性和适用性[13]方面更有优势。Lu等[14]于2017年提出了一套识别二维图纸中结构构件的半自动化方法，该方法通过识别特殊符号确定构件的位置，使用光学字符识别(OCR)提取图纸中的文字信息，最后将识别出的信息进行梳理，为构建IFC模型提供结构化的数据基础。Lu[15]在2019年改进并完善了工作流程，使用不同的技术分别实现了建筑框架几何信息提取、建筑信息完善与集成、IFC生成共三个模块，初步完成了对实际建筑的数字孪生几何模型构建，但此方法仅研究建筑和结构图纸。Zhao等[16]提出一种融合了图像处理、深度学习和OCR技术的新型混合方法，成功从包含轴网和梁柱的结构图像中提取对象的信息，生成了IFC格式的结构BIM模型。基于二维光栅图像的方法流程包括识别、匹配和生成，首先识别图像中的目标对象和标注文本，提取目标对象和文本的类别和位置信息，其次根据位置将对象和文本匹配，如将截面尺寸标注匹配到特定的对象，最后统一坐标系，根据梳理好的信息生成BIM模型。目前，该类方法的研究对象局限于建筑和结构平面图，仅支持识别种类有限的建筑和结构对象，未见该方法用于风管平面二维图纸识别的研究。

基于以上现状，本文提出使用目标检测算法识别风管平面二维图纸中的设备对象的方法，实现从图纸中自动提取设备的位置和类别信息。

目标检测是计算机视觉领域的基本任务之一，目的是识别图片中对象的类别和位置，在人脸识别、工业制造、行人检测等领域应用广泛。随着深度学习的发展，基于深度学习的目标检测算法逐渐成为该领域的主流。根据检测步骤的不同，深度学习目标检测算法可分为单阶段和两阶段目标检测算法。两阶段算法先对输入图像进行候选区域生成，然后对候选区域进行目标分类和边界框回归，如RCNN、Faster RCNN[17]等；
单阶段算法省略了生成候选区域的过程，采用一套网络完成特征提取、目标分类和位置回归，如YOLO系列[18]，RetinaNet[19]等。两阶段算法在检测精度上占优，单阶段算法检测速度更快[20]。

从识别精度和速度方面对任务需求进行分析。本研究的对象是二维光栅图像，不需要用于高帧率视频，主流检测算法每秒检测多张图像的速度均满足研究要求。相较而言，图纸中存在多类的目标对象，目标的漏检或错检会直接影响后续BIM重建过程中信息匹配的准确性。因此，本研究对算法的检测精度要求较高，对检测速度要求偏低。

Cascade RCNN算法为高精度的二阶段目标检测算法[21]，在多个通用目标检测任务中有更好的表现[22]，以在COCO数据集[23]中的表现为例，各目标检测算法识别精度统计如表1，对比中控制算法骨干网络近似，表中数据来自MMLab公开的实验结果[22]，mAP为检测精度衡量指标，计算方法在2.3节中详细说明。从表中可以看出，Cascade RCNN的检测精度最高，更适合用于类别数量多、定位要求高的本研究，因此选取其为本研究的基础算法架构。另外，3.3.3节表7中各算法模型在本研究数据集中的实验对比结果显示，基础Cascade RCNN算法比Faster RCNN，YOLOv3等算法在本研究中都有更好的体现，选用Cascade RCNN作为本文的基础架构是合适的。

表1 各目标检测算法在COCO数据集中的表现

基于此，本文通过数字图像处理技术和Cascade RCNN算法识别风管平面二维图纸中的设备，并根据实际识别需求改进算法，减少分类和定位错误，提高算法的检测精度。最后将改进结果与其他算法对比，验证了算法改进后的优越性能。

2.1 图像预处理

本文研究对象为实际工程图纸，实际风管平面图以建筑平面布置图作为底图，为突出表达本专业设计，底图通常较浅。建筑底图会影响风管设备的识别效果，为提高检测精度，引入二值化方法进行灰度过滤，在清晰保留风管设备图的情况下尽可能过滤掉建筑底图。

二值化采用opencv中THRESH_BINARY函数实现，函数根据输入的灰度阈值进行二值化处理，灰度大于阈值的统一设为255，灰度小于等于阈值的设为0。因图像质量存在差异，底图灰度会有不同，为使每张图像都能恰好过滤掉建筑底图，各图像所需的灰度阈值也会有差别。经统计分析，本文研究的图像中，底图像素数量仅次于背景，因此取阈值为图像灰度分布中出现频数次高的灰度值的0.95倍，即阈值略小于底图灰度值。此方法可以自动确定每张图片的恰当阈值，不必逐张手动调试，灰度过滤效果如图1，2，既可以保留灰度值较小的风管专业设计，又可以充分去除底图，消除了建筑底图对风管设备识别的干扰。

图1 过滤底图前的图像

图2 过滤底图后的图像

2.2 Cascade RCNN算法的改进

Cascade RCNN算法架构如图3，由骨干网络、特征金字塔(FPN)[26]、区域提议网络(RPN)和级联检测器组成，图中Conv1～5代表骨干网络中的卷积层，F2～F5为特征提取后输出的特征图，P2～P5为经过特征融合后输出的用于预测的特征图，B1～B3表示边界框回归，C1～C3表示分类，B3和C3分别为最终输出的边界框和类别。骨干网络对输入的图片进行特征提取生成特征图，FPN将特征图进行自深至浅的融合，生成信息更加丰富的特征图用于预测，RPN阶段区分特征图中的前景和背景，生成候选区域输入级联检测器进行分类和位置回归。与Faster RCNN不同的是，Cascade RCNN使用多阶段级联检测器，每阶段的检测器设置不同的交并比(IOU)阈值， 越往后IOU阈值越高，三个阶段分别为0.5,0.6,0.7，每阶段过滤一部分负样本，将回归结果输入下一级更高精度的检测器，最终达到提高网络检测精度的效果。

图3 Cascade RCNN算法架构

2.2.1 骨干网络

(1)残差网络ResNet

He 等人于2015年提出残差网络ResNet[27]，创造性地引入残差结构解决了传统网络(如VGG[28])中因层数加深引起的网络退化问题，在多个目标检测任务中获得第一名，是各类视觉任务中最常用的骨干网络之一[20]。根据网络深度不同，典型的残差网络分为ResNet50和ResNet101，其中ResNet101更深，复杂度更高，通常特征提取能力也更强。ResNet50和ResNet101中的残差单元如图4，其中x表示输入，网络学习到的残差为F(x)，最终输出的特征为F(x)+x，即便当残差为0时，等价于做x的恒等映射，保障了网络性能不会下降。图中act为激活函数，第一步1×1卷积将256维通道降低为64维，然后通过3×3和1×1卷积在最后恢复为256维，在保持精度的情况下减少了参数量。本研究中需要识别的风管设备类型多样，需要特征提取能力较强的骨干网络，因此采用ResNet101作为基线模型的骨干网络。

图4 残差单元示意

(2)多尺度特征网络Res2Net

本研究中需要识别的对象的采样粒度不同，同一目标对象在不同图像中有不同的尺寸，因此需要能够有效提取多尺度特征的骨干网络。Res2Net通过在单个残差单元内构造分层的残差连接结构，构建了一种新的基础单元，此种结构可在基础单元级别提取多尺度特征，增加每层网络的感受野[29]。图5为Res2Net基础单元，Res2Net将ResNet基础残差单元中的3×3卷积替换为虚线框内带层级的残差连接结构，图中x1～x4为残差连接结构的输入，k2～k3代表3×3卷积，y1～y4为残差连接结构的输出。这样的构造使得单元的输入最少可以不经过3×3卷积，最多可以经过3个3×3卷积，感受野更加丰富，同时输出的包含不同大小感受野结果的组合，有利于提取全局及局部的多尺度信息。

图5 Res2Net单元模块示意

实际图纸中风管设备种类众多，尺寸、采样粒度差异较大，为提高骨干网络的多尺度特征提取能力，本研究在ResNet的基础上引入Res2Net模块。

2.2.2 可变形卷积DCNv2

常规卷积在N×N的固定区域上进行，无法适应目标物体的几何形变，本研究中的目标对象形态众多且不规则，常规卷积不能很好地适应几何形变的特征提取要求。可变形卷积(DCNv1)[30]在常规卷积中引入了偏移量，可进行尺寸、角度和比例的变换。该方法对每个采样点进行可学习的偏移，令卷积区域变形为不规则的卷积，寻找并覆盖有效信息的区域。DCNv2[31]在DCNv1的基础上，对每个采样点的偏移赋予权重系数，用于评估引入的区域是否为感兴趣的区域，进一步保证了有效信息的准确提取。DCNv2还将可变形卷积层从conv5扩展到conv3～conv5，增强了网络对各类几何形变的特征提取能力，不仅能获取更多的有效信息，而且获取的信息更加准确。效果示意如图6，7，图中圆圈代表卷积的采样点，可变形卷积可以覆盖信息更有效的区域，提取更好的图像特征。

图6 常规卷积采样示意

图7 可变形卷积采样示意

风管平面图中的设备形态各异，几何形状和比例各不相同，本研究将骨干网络中的conv3～conv5改进为采用DCNv2的可变形卷积层，在更有效的区域进行卷积，以适应不同形态的目标物体。

2.2.3 Soft NMS算法

Cascade RCNN算法预测过程中会在真实目标附近生成多个预测框，非极大值抑制算法(Non-maximum suppression，NMS)用于去除重复的预测框，使每个物体仅保留一个检测结果。经典NMS算法会强制将与置信度最高预测框重叠较多的预测框的置信度清零[17]，当两个目标比较靠近时，其中一个目标预测框会被清除，导致靠近的目标被漏检。风管平面图纸中部分区域设备密集，检测框会产生重叠，为减少漏检风险，将经典NMS算法改为Soft NMS算法。

Soft NMS基于重叠部分的大小对相邻预测框进行置信度衰减[32]，而非强制将其置信度清零，从而降低目标漏检的风险。线性加权衰减公式如式(1)。公式表明，如果一个预测框与某置信度最高的预测框重叠过多，其置信度会降低很多，反之，如果重叠较少，其置信度也降低较少。

(1)

式中：bi为当前预测框；
si为当前预测框的置信度分数；
M为选中的最高置信度预测框；
Nt为设定的IOU阈值；
Nt通常为0.5或0.7。

图纸中存在部分风管设备平面布置密集，常有设备位置相近或检测框部分重叠的情况，Soft NMS的引入可以有效减少漏检邻近目标的情况，定位效果也比使用经典NMS更好[32]。

2.3 评价指标

本文采用的评价指标为mAP，AP75和dAP。其中mAP用于整体评估算法识别精度，AP75用于评价算法的定位准确度，dAP用于量化分析算法的错误类型。本研究中评价指标结果为模型在300张验证集上推理验证后计算而来。

从《平凡的世界》看路遥创作史诗性追求的得失 ………………………………………………… 张文哲（1．68）

(1)查准率(Precision)和查全率(Recall)

查准率为检测到的正确目标物体在所有检测框中的占比，查全率为正确检测到的物体在所有真实目标中的占比。

(2)

(3)

式中：TP(True Positive)为正确检测的预测框数量；
FP(False Positive)为检测错误的预测框数量；
FN(False Negative)为未检测出的目标物体数量。

(2)平均精度均值(Mean Average Precision，mAP)

精度均值(Average Precision，AP)为查准率在查全率上的积分，体现为Precision-Recall曲线与坐标轴围住的面积。计算公式为：

(4)

式中：r表示查全率；
p(r)为查准率对查全率的函数。

平均精度均值mAP为所有类AP的均值，常用于评价目标检测性能。公式为：

(5)

式中：N为类别数量；
AP(i)为第i类目标的AP值。本文中mAP计算方法与COCO数据集[23]的方法一致，对定位精度的要求比VOC的指标更加严格，即下文中提到的mAP均为IOU阈值从0.5～0.95，步长0.05取值后计算的平均精度均值的平均值。

(3)精度均值差值dAP

目标检测过程会出现误检、漏检等多类错误，为准确区分并衡量各种错误的严重程度，以针对性地分析和改进算法劣势， Daniel Bolya等[33]提出一套对算法进行错误类别分析的指标。该评价方法将错误分为六类：分类错误(cls)指预测框定位准确但分类错误；
定位错误(loc)为分类准确但定位偏差大；
分类且定位错误(cls+loc)指预测框在真实目标附近，但分类错误且定位偏差大；
重复检测(dup)指的是对单个真实目标产生多个置信度较高的预测框；
背景误判(bkg)指的是将背景检测为目标物体，体现为预测框与真实目标重叠过少；
遗漏错误(miss)指除了分类错误和定位错误外，所有没有被检测到的真实目标。

精度均值差值dAP用于量化评价每类错误对检测精度的影响。通过纠正某一类的错误，对比纠正前后mAP提升情况，体现此类错误的严重程度。假设纠正前mAP值为mAP0，纠正某类错误后，值变为mAP1，则：

dAP=mAP1-mAP0

(6)

3.1 实验环境

本文实验的环境如表2。

表2 实验环境

3.2 实验设置

3.2.1 图像处理与数据集制作

本研究使用自建的COCO格式[23]数据集进行训练。数据集图像采集自商业、办公楼、学校等多个国内项目的图纸，图例符合规范GB/T 50114—2010《暖通空调制图标准》[34]，管道布置合理，贴近实际工程情况。图像为JPG格式，尺寸为1200×800像素，经预处理后采用LabelImg标注为VOC数据集格式，后转换为COCO数据集格式，以便更好地使用mAP，AP75等评价指标。数据集经过离线增强后共3000张图片，按照9∶1随机分为训练集和验证集，即验证集有300张图片仅用于计算评价指标从而评估算法性能，不参与训练。

风管设备种类众多，为贴近实际情况，将目标构件共分为18类，覆盖了图纸中的常见风管设备，包括直管(ZG)、立管(LG)、弯管(WG)、斜直管(XZG)、变径(BJ)、S型弯管(SXWG)、三通(SAT)、四通(SIT)、4类不同样式的风口(FK1～FK4)、4类不同样式的阀门(FM1～FM4)以及2类风机(FJ1，FJ2)。括号内为针对该类别设置的标签。

3.2.2 训练及验证

训练中采用了合理的学习率策略，使模型收敛至平稳，保证最终结果能精确反应模型性能。训练基准学习率为0.0025，学习率在前500次迭代中线性升温至0.0025，在第17次和第20次训练轮次分别调整为基准学习率的1/10和1/100，在第24轮次之后停止训练。优化器采用动量随机梯度下降法，动量系数设为0.9，权重衰减系数为0.0001。

3.3 实验结果及分析

3.3.1 基线模型分析

本研究使用以ResNet101为骨干网络的Cascade RCNN算法为基线模型，分析基线模型实验结果，针对性地改进算法，通过评价指标的提升体现改进方法的效果。为判断模型复杂度是否恰当，将基线模型与骨干网络为ResNet50的网络进行对比，确认基线模型选取是否恰当。实验结果如表3，数据表明，以ResNet101为骨干网络的算法比ResNet50在识别精度和定位准确度上都更有优势，网络深度是适合的。

表3 基线模型骨干网络结果对比

基线模型的错误分析结果见表4，dAP数值越大说明该类错误越多。数据显示，算法的主要错误为分类错误、定位错误、背景误判和检测遗漏。

表4 基线模型错误类别分析

3.3.2 消融实验

考虑到实际风管平面图中设备类型众多，各类设备符号的尺度、形态差别较大，针对基线模型中分类与定位错误及背景误判偏多的情况，在基线算法中融入Res2Net模块，加强网络提取多尺度特征的能力；
在骨干网络conv3～conv5中融入可变形卷积DCNv2，以提高网络对目标物体几何形变的适应能力；
将经典NMS改为Soft NMS，减少相近目标的漏检风险，同时提高定位精度。在本研究中，Soft NMS采用0.5和0.7两个IOU阈值进行实验，选取最合适的阈值。

消融实验结果如表5，模型B已在表3中说明，表5中Soft表示Soft NMS。对比模型A和F，说明改进后算法的平均精度和定位精度都得到了提高，mAP从78.7%提升至80.8%，AP75从92%提升至93.4%。改进后错误也有明显降低，分类错误从1.47%降低至1.28%，定位错误从0.11%降低至0.01%，背景误判从0.33%降低为0.17%。消融试验中模型A和C结果表明，Res2Net的融入给模型的平均识别精度带来了1.6%的提升；

E和F的对比说明Soft NMS的IOU阈值取值0.5比0.7更加合适；
对比C和D，发现合适阈值的Soft NMS引入对AP75的提升比较明显，即整体上提升了定位精度；
D和F的对比表明，可变形卷积DCNv2的融入使平均精度均值又提升了0.4%，定位错误基本消除，背景误判错误也有明显降低。综上所述，本文改进方法有效提升了算法的平均识别精度和定位精度。

表5 消融实验结果 %

使用改进Cascade RCNN算法对风管平面图纸进行识别，示例识别效果如图8，图像中共有21个风管设备，均被准确识别和定位。部分识别结果如表6，以图像左上角为像素坐标原点，向右x轴正向，向下y轴正向，表中为识别框的左上角和右下角像素坐标位置，类别正确且定位准确，其中类别标签的含义在3.2.1节中有说明。结果表明，算法可以充分、准确地识别风管平面图中的设备，提取设备的类别和位置信息。

图8 改进算法识别效果

表6 部分识别提取结果

3.3.3 对比试验

将本文算法与多个先进的目标检测算法进行对比。其中，YOLOv3为基于锚框的单阶段算法[18]，借鉴了残差网络和特征金字塔的思想，采用多尺度特征图对不同大小的目标进行检测，骨干网络为Darknet53，包含卷积层和残差模块，适合与本文算法进行对比。Faster RCNN为两阶段的代表算法，融入特征金字塔，提高算法先进性，进行合适的横向对比。FCOS为2019年提出的无锚框一阶段算法[24]，在检测精度上优于很多基于锚框的算法。

各算法性能数据如表7，表中R2表示Res2Net，D表示DCNv2，S表示Soft NMS，可以看出改进后的Cascade RCNN算法比Cascade RCNN[21]，FCOS[24]，Faster RCNN[17]，RetinaNet[19]，YOLOv3[18]的平均识别精度分别高出2.1%，4.2%，4.5%，6.4%、8.1%，达到了先进水平。用FPS指标衡量检测速度，指每秒可以检测的图像数量。从表中可以看出，在对Cascade RCNN的改进中，随着模型复杂度的增加，检测速度逐渐降低，但均达到每秒检测多张的要求，满足本研究的需求。

表7 各算法模型检测性能对比

本研究中的改进有效提升了模型的识别精度，但仍存在部分设备样本数量过少、小目标检测精度低的问题。比如样本数量过少的FM4类别，改进模型检测的AP仅为68.7%，与均值80.8%相差较大。另外，改进模型对于32×32像素面积以下的小目标检测mAP仅为24.7%，相对80.8%也有很大差距。之后可考虑针对少样本、小目标的低检测精度问题进行进一步的优化。

本文提出了识别风管平面图纸的方法，使用改进的Cascade RCNN算法识别平面图中的风管设备，提取设备的类别和位置信息。改进Cascade RCNN时，针对风管平面图设备类型多样、形态各异的实际特点，使用Res2Net为骨干网络，丰富每层网络的感受野，提高网络对多尺度特征的提取能力；
在网络中融入可变形卷积DCNv2，使卷积区域可以灵活地适应目标物体的几何形变；
使用Soft NMS算法替代经典NMS，减少相近目标漏检的风险并提高网络的定位精度，使改进后的Cascade RCNN算法更适合识别风管平面图。实验表明，本文改进的方法有效提高了识别和定位精度，能够准确识别风管平面图中的风管设备，提取平面图中的设备类别和位置信息，为建筑风管设备的BIM重建和运维提供数据基础。

本文的研究仍处于探索阶段，无法反应设备在实际建筑中的位置，后续研究可考虑识别建筑轴网标头，建立建筑轴线坐标系和图像坐标系的转换方法，结合风管设备的定位高度信息，通过坐标转换定位风管设备在实际建筑中的空间位置。此外，还可考虑结合抗干扰能力强的OCR技术，采用合适的相似度评价指标，将图纸中的尺寸标注信息与设备进行匹配，最终形成完整的原样BIM模型。