基于红外图像识别技术的道路与桥梁故障诊断

刘 凯

(北京新航程开发建设有限公司,北京 102600)

随着现代社会的发展，图像处理技术被广泛应用于各个领域，如人脸识别、人体检测、目标感知等，人们对高质量图像的要求越来越高，高质量的图像可以提高图像处理的精度和效率。现如今，交通系统是支撑整个社会运行的最重要的基础系统之一，然而，经过岁月的积累，某些城市的道路与桥梁存在安全隐患，随时有可能出现故障，因此，有必要对道路与桥梁的状态进行有效监控，快速、准确地识别目标图像中的故障情况，从现有的研究成果来看，图像识别技术仍然是一大难题。

针对上述问题，文献[4]研究了基于YOLO模型的检测方法，YOLO模型是一个深度卷积神经网络(Convolutional Neural Network,CNN)模型，特别适合应用与无人机等硬件设备视频监测。该方法对4种桥梁上的6个部位的图像检测准确率平均达到93.7%，在图形处理器上可以以20fps的速度运行。然而，该模型的计算成本对于边缘计算来说过于昂贵。文献[5]结合了模糊聚类算法与Canny算子，实现道路与桥梁图像中缺陷的识别，进而计算缺陷的具体直径。该方法能够识别出几乎所有的缺陷边缘，但它也包含了大量的冗余信息，这会给缺陷的识别带来一定的干扰。

基于上述技术的不足，本研究基于红外线扫描技术设计了道路桥梁智能监控系统，该系统包含大数据图像识别中心，并采用装有红外对射光栅的故障监控机进行数据监测和分析，实现集图像识别、数据管理和应用于一体，道路桥梁智能监控系统框架如图1所示。

图1 道路桥梁智能监控系统框架

在图1中，故障监控机通过红外线扫描监测道路与桥梁中各个部位的健康状况，基于单片机芯片的控制系统能够让故障监控机自动运行。根据路径规划模块中的GPS定位系统设计好行动路线，以便在日后的重复拍摄时固定拍摄角度，规范案例库及减少图像配准和识别难度。对采集到的道路与桥梁图像信息进行实时传输，以实现特殊情况应急处理。

在远山与高原地区，系统中存在各种强干扰源，使用故障检测机包含有滤波器等抗干扰仪器及信号处理算法来提高信号传输的质量和速度，并通过移动通信模块连接至技术人员的手机端，通过输入命令短信达到远程控制的效果。故障检测机采集到的图像数据会传输至图像识别中心，根据本研究所构建的分层图像融合算法框架进行集中处理，并得出相应的诊断结果，进行数据可视化探讨进一步的故障解决方案，并将该结果储存数据库中。

2.1 红外线光栅结构硬件设计

本研究故障监控机由红外对射光栅、无线编码信号发射模块和电源及箱体构成。其中光栅由两排二极管组成，分别起发光和接收作用。两排二极管分别竖直排列安装，其间距需保证相同。在两排二极管基础上组建二极管控制电路，就构成了系统使用的基本光栅对发射器和接收器，如图2所示。

图2 机体和对射光栅结构示意图

如图2所示，发射器和接收器采用多束红外光对射，发射器向接收器以低频率发射的方式发出红外光，该系统就是利用红外光栅的这一功能特性完成监测防护工作的。红外光栅使用低频率发射，对家用电器绝无干扰，采用变频互射技术，无须精确对齐，避免了可视光干扰，增加了其可用性，完全适用于本系统。

故障监控机需放置在需要监控防范的区域边界顶点位置，一台故障监控机的发射器向道路与桥梁发射红外光束，如果该检测点出现故障，就会发出报警信号，警报器则会闪亮并发出警报声。故障监控机中的无线信号发射器被触发后发出固定频率、固定编码的无线信号至技术人员移动端，技术人员在接收到短信后，便会发送相应的控制命令进行处理，关于故障监控机接收到命令消息的图如图3所示。

图3 故障监控机接收到命令消息的流程图

在收到信号时，故障监控机会通过解码器进行解码，经过对码识别后，工作人员会判断是哪一台故障监控机发出报警信号。故障监控机的主控面板示意图如图4所示。

图4 故障监控机的主控面板示意图

图4中输入和输出指示区的四个接线柱是当防护区域内需要接入工作电源时外接电源的输入和输出端，交流220 V或380 V均可接入，可通过最大电流30 A。指示灯亮则表明接线准确。在安装好对射光栅后，则可开启电源进行实时监测。控制面板在左下方，本系统采用菜单方式引导用户进行设置。设置时，用户可通过键盘上的*键和#键选择需要的设置项，并按“确认”键进行设置。系统设置只能在待机状态下进行，设置过程中不响应任何报警；
设置结束后退出，系统自动进入休眠状态，此时用户必须根据需要重新选择监测方式。其中指示灯包括直流、移动、报警和拨号四种状态，如遇情况则指示灯会发亮。

故障监控机由内置的移动通信模块通过手机卡接收其他移动电话发送的特定格式的控制短信，故障监控机经过软件编码识别即可执行相应的系统控制功能。如用其他手机给故障监控机发送短信“开启电源”，故障监控机收到后将回复短信“操作成功！”，移动通信模块接收的短信简单易懂，容易操作。

2.2 分层图像融合框架

为了提高故障监控机红外识别的精度以及效率，本研究设计了一种新型的分层图像融合框架，从而提高稀疏表示的精度。该框架如图5所示。

图5 分层图像融合框架

图5所示的分层图像融合框架包括几何分类、高低频分量训练词典两个步骤。首先，道路与桥梁红外源图像块可以通过高斯分布特征提取技术，将道路与桥梁图像分为三种高斯图像面片类型：平滑面片、随机面片和主方向面片。随后，为了降低图像噪声的影响，根据不同底层规则将面片分为高频率噪声分量与低频率分量类型，最后融合训练词典。以下段落将明确解释分层图像融合的具体算法过程：

2.2.1 几何分类

假设输入道路与桥梁红外源源图像到拆分为若干个小图像面片：

=(,,…,)

(1)

式(1)中，是指源图像面片集合，是指图像面片，是指面片数量。基于平滑阈值可以对平滑和非平滑面片进行分类。其中，随机面片和主方向面片均属于非光滑面片，二者之间的进一步分类过程分为两步：第一步，计算每个道路与桥梁红外源图像像素的梯度(=1，2，…，)，是指源图像编号，=(1，2，…，)，由和坐标梯度()和()组成。图像向量中每个像素的梯度值为：

(2)

第二步，分解每个图像面片的梯度值，其公式为：

(3)

式(3)中，是指图像面片的梯度，是的梯度值分解，是代表主方向向量的对角线2×2矩阵。当获得时，可以计算主方向量度，的计算方法如式(4)所示：

(4)

式(4)中，越小，相应的图像向量越随机。在这种情况下，应计算阈值以区分道路与桥梁源图像的随机和主方向面片。作为道路与桥梁红外源图像的有效低通滤波器，本研究采用二维高斯模糊函数用于平滑分类的平滑、随机和主方向面片，其公式如下：

(5)

式(5)中，是水平轴上距原点的距离，是垂直轴上到原点的距离，σ是高斯分布的标准偏差，σ是可变的，这会影响道路与桥梁源红外图像的平滑程度。

2.2.2 高低频分量训练词典

图像面片的选择是词典构建的重要步骤，面片通常分为高频分量和低频分量。根据高频分量和低频分量的不同特点，采用不同的词典训练方法：

(1)高频分量。

假设输入道路与桥梁红外图像具有个灰度级，并将其分割为个具有×像素的图像面片。首先，通过计算每个灰度级的像素数，获取直方图对每个图像面片(=1，2，…，)的向量进行计数。利用和图像面片大小s×s，图像面片的灰度概率可以通过式(6)计算：

=(×)

(6)

其次，使用每个图像面片的灰度概率计算每个图像面片的熵；
最后，减少信息熵较低的图像面片，在该步骤中，为信息性图像面片选择设置阈值。对于一个图像面片，如果E>，该图像面片将保留用于词典训练。

假设输入图像被分割成个信息图像面片，则使用OMP算法对每个图像面片(=1，2，…，)进行稀疏编码，将每个图像面片编码为稀疏系数，然后利用Max-L1融合规则对系数进行融合。该融合规则如式(7)所示：

(7)

式(7)中，是指对应源图像面片的融合向量，是对应于每个图像面片的稀疏系数，是指OMP算法函数值，是由所提出的OMP算法训练的词典。

(2)低频分量。

本研究采用基于L2-范数的加权平均方法对低频分量进行融合。首先，计算相应高频分量的L2-范数=‖‖，假设约束矩阵具有满秩，L2-范数最小化公式如下：

min‖‖,x=

(8)

式(8)中，是指2-范数值，为参数。为了减少计算量，在L2-范数中引入了拉格朗日乘子：

(9)

式(10)中，是指引入的拉格朗日乘数。然后通过式(10)得到融合后的低频分量：

(10)

综上所述，根据Max-L1与加权平均融合规则，将融合后的高频分量和低频分量进行组合，形成最终的融合图像，其公式为：

=+

(11)

式(11)中，是指输入道路与桥梁红外源图像，和分别是指低频和高频分量。对融合图像块进行词典学习，以提高图像道路与桥梁红外识别精度，进而用于下一步故障诊断工作。

为了验证本研究所采用的红外线图像识别技术的实用性与可靠性，本研究以某市区双塔单跨地锚式悬索桥为例，设计了相关实验。该悬索桥主跨1385m，南北塔高186m，主缆采用预制平行索股法架设。以主跨跨中桥面为监测研究区域，进行连续48h的红外线扫描识别，将采集图像与监测数据构建成实验数据集，得到该桥梁相关状态系数如表1所示。

表1 桥梁相关状态系数

本研究分析了训练过程，并将其与文献[5]所采用的模糊聚类算法进行了比较，为了防止数据出现过拟合现象，本研究对这两种算法框架进行Adam优化，具体实现程序相关代码见表2。

表2 实验相关参数表

评判指标采用融合矩阵，其定义式为：

(12)

式(12)中，是指道路与桥梁图像信息，是指图像信息的总数量，是指需要调整的融合权重值，是指经过调整后的融合性标准。当趋近于0时，表明道路与桥梁图像融合性好。根据式(12)分别计算文献[5]模糊聚类算法和分层图像融合框架在2TB实验数据集内不同数据量所得到数据融合值，通过MATLAB软件系统进行仿真对比，对比结果如图6所示。

如图6所示，根据值越小数据融合性越好的准则，本研究所采用的分层图像融合框架比文献[5]中所采用的模糊聚类算法图像信息融合性更好，随着数据量不断增加，这种优势也越来越大，这是因为传统的模糊聚类算法产生了大量冗余簇群，而分层图像融合框架通过阈值将源图像的随机和主方向面片进行区分，解决了迭代训练过程中产生冗余簇群的问题。根据实验可以得出结论，本文所研究的分层图像融合框架更具有实用性。

图6 数据融合性对比结果图

为了进一步评估分层图像融合框架识别精度进行验证，采用BP神经网络模型与、文献[4]所采用的YOLO模型与本研究所提分层图像融合模型进行对比，假设桥梁图像分割窗口设为60×100，该窗口内最优阈值设置为213，灰度相似性阈值设置为20.5，分割步长为3×3，最后将截屏窗口分割结果映射到原图像中。按照上述分割方法继续分割，直至目标设备从原图像中完全分割出来，采用故障检测率(Fault Detection Rate，FDR)、误检率(False Alarm Rate，FAR)和漏检率(Missing Alarm Rate，MAR)作为评估指标，分析10000张图7(a)的图像分割效果，评估指标计算结果见表3如图7所示。

表3 评估指标计算结果

图7 (a)源部件图像；
(b)BP模型；
(c)YOLO模型；
(d)本文模型

从表3结果可以看出，运用本方法处理桥梁部件图像的MAR、FAR参数比另外两种算法模型得到的参数小，而且非常接近于0，说明利用本方法处理图像分割错误率极低，监测得到的图像数据精度高，表明分层图像融合框架更具有可靠性。

为了解决道路与桥梁的故障诊断问题，提出了一种道路桥梁智能监控系统，该系统主要技术内容有：

(1)设计装有红外对射光栅的故障监控机进行红外识别监测，能够自行控制移动并通过移动通信进行远程操控。

(2)提出了一种基于分层词典学习的图像融合框架，该框架集成了逐层的深度学习技术，用于探索和提取详细、关键的图像信息，消除了源图像面片的冗余几何信息。提高了红外图像识别的效率。

此外，以某市区双塔单跨地锚式悬索桥进行了实验分析，该检测方法十分高效可靠，适应现代交通领域的发展。然而，在实验过程中，研究人员发现该故障监控机无法提取全部图像特征点，尤其在一些恶劣环境下，因此，针对红外光栅监测设备的机械构造还需进一步研究。