基于Inception-LSTM-Attention的冷水机组传感器偏差故障诊断方法

李冬辉，刘功尚，高龙

(天津大学 电气自动化与信息工程学院，天津，300072)

在现代的工、商业及民用建筑中，制冷空调系统在调节室内温度和湿度方面发挥着重要的作用。冷水机组是制冷空调系统的核心组成部分，也是其主要耗能设备[1]。冷水机组传感器负责实时监测系统性能及记录数据。然而，在系统长期运行中，大多数传感器无法始终保持正常运行状态，不可靠的测量数据不仅会影响室内环境，也会导致不必要的能源浪费[2]。因此，寻找一种有效的冷水机组传感器故障诊断方法对于保证制冷空调系统的正常运行有重要意义。

近年来，许多研究学者对制冷空调系统的传感器故障诊断技术进行了深入研究。其中，基于数据驱动的传感器故障诊断方法取得了较大的进展[3-6]。这类方法不需要建立精确的数学模型，也无需依赖专家经验与知识。基于主成分分析(principal component analysis,PCA)的传感器故障诊断方法是一种常用的数据驱动方法。张弘韬等[7]结合PCA 算法的原理给出了以Q 统计量、Q 贡献率为检验标准的传感器故障检测和诊断流程，然后引入不同类型的传感器故障，分析得到不同故障条件下的故障检测和诊断特性。LI等[8]将密度聚类算法与PCA 相结合，用于冷水机组传感器故障检测与诊断，提高了故障检测与诊断的灵敏度与可靠性。HU 等[9]提出了一种自适应PCA 的方法并将其用于冷水机组传感器故障检测策略中，提高了冷水机组传感器在微小故障下的故障检测准确率。然而，PCA 的方法对服从高斯分布的数据的特征提取效果较为明显，但冷水机组系统的多变量数据具有非高斯性，同时其数据间具有非线性关系，在一定程度上限制了PCA 在冷水机组传感器故障诊断中的应用。

深度学习技术因其具有处理大量数据并能够从数据中有效提取特征的能力而被广泛应用于传感器故障诊断领域[10-11]。

卷积神经网络(convolutional neural network,CNN)是深度学习中的一种常用方法，其能有效地提取数据中的深层特征。吴耀春等[12]将多传感器振动信号转换成多传感器特征面集合并将其作为深度卷积神经网络的输入，利用深度卷积网络结构实现对多通道特征面的自适应层级化融合与提取，最终由分类器输出诊断结果。WEN 等[13]将传感器信号转换为二维图像并将其作为LeNet-5 网络的输入，利用LeNet-5 网络提取转换后的二维图像的特征，避免了手工选取特征，有效提高了传感器故障诊断的准确率。

长短时记忆网络(long short-term memory,LSTM)是深度学习技术中另一种重要的方法，作为循环神经网络(recurrent neural network,RNN)的一种变体，LSTM可以较好地提取数据中存在的时序特征，同时其特殊的门控结构可以在一定程度上解决RNN中的梯度消失问题。GAO等[14]将双向LSTM和典型相关分析相结合，该方法能够自动从冷水机组系统原始运行数据中提取非线性特征和时间特征，然后通过设计残差生成器来生成方向残差向量，并通过累积残差向量法提高了传感器故障的可检测性。LEI等[15]提出一种基于LSTM的端到端的故障诊断框架，利用LSTM直接从多元时间序列数据中学习特征，通过LSTM的门控机制捕获长期依赖关系，结果表明，该方法能够有效地对多个传感器采集的原始时间序列信号进行故障诊断。

针对以上2种方法的特点，许多学者考虑将两种方法相结合用于传感器故障诊断。XU等[16]将多个传感器采集到的信号转换成多通道图像，然后利用CNN对图像进行特征提取与融合，后将CNN输出的特征输入到LSTM中提取时间特征，最终输出故障诊断结果。ZHAO 等[17]提出一种CNNBLSTM的模型，首先通过CNN提取局部特征，然后利用双向LSTM提取时间依赖关系，研究结果表明该模型的性能优于单一的CNN或LSTM的性能。

CNN 与LSTM 相结合的方法虽取得了一定程度的进展，但仍存在一定的不足。首先，CNN 虽然可以提取传感器数据的局部特征，但其卷积核尺度较为单一，且卷积核尺度的选取会影响故障诊断的效果。其次，该方法中LSTM最终的输出仅依赖于最后时刻隐藏状态的输出，在输入序列过长时存在丢失序列信息的问题，且传感器时序数据中不同时间节点数据的重要程度常常不同，这使得LSTM的输出结果无法较好地保留传感器时序数据的全局信息。为解决上述问题，本文作者提出一种基于Inception-LSTM-Attention 的冷水机组传感器偏差故障诊断方法，该方法通过Inception模块提取冷水机组传感器数据的多尺度实时特征，同时在LSTM 网络中加入注意力机制，有效解决LSTM无法较好地保留传感器时序数据全局信息的问题。该方法无需先验知识与人工特征的提取，可以直接从冷水机组传感器数据中提取特征信息，实现端到端的故障诊断。通过压缩式冷水机组实验平台采集传感器数据，并通过实验验证和对比分析验证本文所提方法的有效性。

1.1 卷积神经网络

CNN 因其具有参数共享和稀疏连接的优点而被广泛应用于计算机视觉领域。CNN 可以通过卷积、池化等操作从输入数据中提取特征，具有强大的特征提取能力。典型的CNN 结构主要包括卷积层、池化层和全连接层[18]。

卷积层的主要作用是对输入数据进行特征提取，卷积层中有多个卷积核，每个卷积核均以稀疏连接的方式遍历输入数据并进行卷积操作，后经过激活函数进行非线性映射得到输出特征图。具体计算过程如下：

式中：f(x)为输入x经过激活后的输出值。

池化层的作用是对卷积层的输出进行下采样操作，主要包括最大池化和平均池化2种方式。池化操作一方面可以使提取到的特征更加抽象，过滤冗余信息，另一方面可以减少网络参数，加快模型训练速度。本文采用最大池化方式，具体计算过程如下：

经过多次卷积、池化操作后，通过全连接层将提取到的特征信息映射到输入数据对应的标签上，对于本文的多分类任务而言，可用Softmax分类器得到最终的分类结果。

1.2 Inception模块

Inception模块是SZEGEDY等[19]提出的一种新的神经网络结构，其核心思想是在同一个卷积层中设置多个通道来增加网络宽度，每个通道分别使用不同尺度的卷积核来对输入数据进行特征提取，本文使用结构如图1所示的Inception 模块。Inception模块有两个特点：一是使用不同尺度的卷积核对输入数据进行卷积或池化操作，并最终在特征维度上进行拼接，多尺度的卷积核可以使提取到的特征更为丰富，增加了网络宽度，提高了网络对尺度的适应性；
二是每个通道都引入了1×1的卷积核，增加网络非线性能力的同时降低了计算的复杂程度。

图1 Inception模块结构Fig.1 Structure of Inception module

1.3 长短时记忆网络

LSTM是HOCHREITER等[20]针对RNN在训练时易出现的梯度消失和梯度爆炸问题所提出的一种改进模型。LSTM的主要特点是其引入了门控机制和细胞状态的概念，即通过门控机制来提高或降低信息到细胞状态的能力，有效克服了RNN 处理长期依赖方面的不足。

LSTM 的结构如图2所示。图2 中，“+”和“×”分别表示加法运算和乘法运算。LSTM单元模型包括遗忘门ft、输入门it和输出门ot。其中遗忘门的作用是将细胞状态中的信息进行选择性遗忘，即决定上一时刻(t-1)的细胞状态ct-1有多少保留到当前时刻的细胞状态ct中；
输入门负责更新细胞状态，将新的信息选择性地记录在当前时刻的细胞状态ct中；
输出门则用来控制当前时刻的细胞状态ct输出到LSTM 单元输出值ht中的比例。LSTM单元的具体表达式如下：

图2 LSTM结构Fig.2 Structure of LSTM

式中：Wf，Wi，Wo和Wc分别为遗忘门、输入门、输出门、输入单元状态的权重；
bf，bi，bo和bc分别为遗忘门、输入门、输出门、输入单元状态的偏置；
ht-1为上一时刻的输出；
xt为当前时刻的输入；
σ和tanh分别代表sigmoid函数和tanh函数。

1.4 注意力机制

注意力机制是受人脑思考问题时注意力资源分配机制的启发而提出的一种深度学习方法，最初被用于自然语言处理领域[21]。人类大脑在思考问题时会将更多注意力集中在更为重要的区域，以获取更多有价值的信息，而对于不重要的区域则加以抑制，排除无用信息的干扰。本文将注意力机制与LSTM相结合，通过给LSTM不同时间步的隐藏输出分配不同权重系数的方式来提高重要信息的影响程度，降低非重要信息的干扰，最大化保留传感器时间序列的全局信息，在一定程度上解决因输入序列过长而存在的信息丢失问题。

2.1 Inception-LSTM-Attention模型原理

本文提出一种将Inception 模块与融合注意力机制的LSTM 相结合的Inception-LSTM-Attention网络模型，以提高冷水机组传感器偏差故障的诊断准确率。该模型充分利用Inception 模块的多尺度特征提取能力挖掘冷水机组传感器序列的实时特征，同时利用融合注意力机制的LSTM学习传感器时序数据中存在的时间相关关系，最大化提取时序数据中的全局信息。此外，在Inception-LSTM-Attention串行模型的基础上增加了跳跃连接支路缓解网络中存在的梯度消失问题，最终实现对冷水机组传感器的偏差故障诊断。

2.2 Inception-LSTM-Attention模型结构

本文提出的Inception-LSTM-Attention 模型结构如图3所示。将冷水机组各个传感器采集到的数据进行重构，以重构得到的二维数据作为网络模型的输入。图3中，输入部分的表示第M个输入样本中第1 个时间步下第1 个传感器的读数信息。首先通过Inception 模块对输入样本进行多尺度的特征提取，Inception模块因其自身包含了多个不同尺度的卷积核而可以自适应地从输入样本中提取深层特征，一方面无需进行人工特征的提取，避免了对专家知识和经验的依赖，另一方面采用不同尺度的卷积核对输入进行特征提取，可以最大化地提取故障数据中的特征。然后，将Inception模块进行特征提取后的结果输入到LSTM中，提取不同传感器存在的不同时间相关性，进一步学习时序数据中存在的时间依赖关系。同时，在LSTM中加入注意力机制，给LSTM不同时间步的隐藏输出赋予不同的权重，目的是让LSTM最终的输出综合各个时间节点的输出，提升重要信息的影响力，最大程度地保留时间序列的全局信息，使得最终的输出结果不仅仅是依赖最后一个时间步的隐藏状态。此外，本文在Inception-LSTM-Attention 串行模型的基础上设计了跳跃连接支路，即将Inception模块的输出与LSTM-Attention的输出在最终输出前通过concat层进行拼接，缓解网络中存在的梯度消失问题。最终通过Softmax分类器输出分类结果，实现故障诊断。

图3 Inception-LSTM-Attention模型结构Fig.3 Structure of Inception-LSTM-Attention model

2.3 基于Inception-LSTM-Attention 的冷水机组传感器偏差故障诊断流程

图4所示为基于Inception-LSTM-Attention的冷水机组传感器偏差故障诊断流程，其诊断流程主要分为以下几个步骤。

图4 冷水机组传感器偏差故障诊断流程Fig.4 Deviation fault diagnosis processes of chiller sensor

1)从压缩式冷水机组实验平台中采集传感器数据并进行分组和标签化处理，各组分别对应各个传感器发生故障和无传感器发生故障的正常情况。

2)将偏差故障引入除无故障组别外的各组数据中，并进行Z-score标准化。同时按照4:1的比例将各组数据划分为训练集和测试集。

3)初始化网络参数，使用训练集对网络模型进行训练，模型提取特征信息并通过反向传播更新网络参数。本文使用交叉熵函数作为模型训练的损失函数，其表达式如式(10)所示，并采用Adam优化算法更新参数。

式中：yi与分别为第i个样本的实际概率分布与预测概率分布；
M为样本数量；
L为损失值。

4)判断网络训练次数k是否达到预先设定的迭代次数N，如果是，那么停止训练并保存模型，否则继续训练。

5)将测试集数据输入到已训练好的网络模型中进行故障诊断，输出诊断结果。

3.1 实验数据集

本文的实验数据集来自压缩式冷水机组实验平台，如图5所示。该实验平台主要包括压缩机、冷凝器、蒸发器、电子膨胀阀、主控柜以及读取冷水机组传感器数据的上位机等部分。本文主要诊断10 种冷水机组传感器的偏差故障，因冷水机组中多个传感器同时发生故障的概率极低，故本文只考虑同一时刻只有1 个传感器发生故障的情况。

图5 压缩式冷水机组实验平台Fig.5 Experimental platform of compression chiller

实验中，打开设备使其正常工作，每隔1 min采集1次数据，剔除异常数据后共得到42 416组数据。将数据按照顺序等分为11份，分别对应10种传感器发生故障和1种正常情况，并对各份数据进行标签化处理，同一标签下的数据按照4:1划分为训练集数据和测试集数据。数据集具体描述如表1所示。

表1 实验数据集Table 1 Data set of experiment

根据各个传感器的精度，考虑到所加偏差故障应在传感器读数误差的允许范围之外，且偏差故障不宜过大，据此确定压力类、温度类各传感器的偏差故障拟合范围。同时，为保证实验结果的完备性，在各传感器的偏差故障拟合范围内设定相应的故障步长，使得各传感器在实验中均包含了多个不同程度的正负偏差故障。对各个传感器数据分别拟合偏差故障的具体情况如表2 和表3所示。引入偏差故障后，采用Z-score 标准化对数据集进行处理，Z-score标准化的公式如下：

表2 压力类传感器偏差故障拟合情况Table 2 Simulation of deviation fault of pressure sensor

表3 温度类传感器偏差故障拟合情况Table 3 Simulation of deviation fault of temperature sensor

式中：μ为数据的平均值，σ′为数据的标准差。经过标准化处理后的数据均值为0，方差为1。

3.2 模型结构参数

经过多次传感器故障诊断实验并调整模型参数，得到最终的模型结构参数。在本文提出的Inception-LSTM-Attention 模型中，输入的维度为20×10，其中20 表示输入样本中包含的采样点个数，10表示传感器数量。Inception模块中共有4个并行通道，分别对输入进行特征提取，其中卷积层的结构参数(1，1，32)/(3，3，32)含义如下：首先通过1×1 的卷积核进行特征提取(通道数量为32个)，后串行连接3×3的卷积核(通道数量为32个)；
LSTM 的神经元个数设置为200；
最后加入全连接层，使用Softmax 激活函数实现对故障类别的映射，得到故障诊断结果。具体的模型参数如表4所示。表4 中，输出尺寸(None，20，10，1)分别指图像的批次、高度、宽度和深度。

表4 模型参数Table 4 Parameters of model

模型的训练设置如下：采用Adam优化器优化交叉熵损失函数，学习率为0.001，批次取值为64，使用dropout 抑制过拟合，且dropout 为0.4，迭代次数为20。

3.3 偏差故障诊断实验结果与分析

3.3.1 模型训练过程

利用无传感器发生故障和10 种传感器分别发生故障的11 组数据进行故障分类，验证本文所提方法的有效性。图6所示为Inception-LSTMAttention模型的训练过程。从图6可以看出：随着迭代次数的增加，模型在训练集的诊断准确率逐渐增加，同时损失函数值逐渐减小；
当迭代次数为15时，诊断准确率和损失函数值趋于平稳。

图6 模型训练过程Fig.6 Model training process

3.3.2 模型测试结果与分析

模型训练完成后保存模型，并使用测试集来测试模型性能。

1)压力类传感器。压力类传感器得到的测试结果分别如表5、表6和图7所示。

由表5、表6和图7可知：P1～P4压力传感器的偏差故障诊断准确率均随着所加压力偏差故障的增大而增大，且正负偏差故障的故障诊断准确率有较好的对称性。对于P1 和P4 的较小偏差故障(±0.02 MPa)，其故障诊断准确率均在90.9%以上；
对于P2和P3的较小偏差故障(±0.05 MPa)，其故障诊断准确率均在88.5%以上。P1～P4压力传感器的偏差故障诊断平均准确率分别为96.76%，95.21%，94.49%和96.59%，即本文提出的Inception-LSTMAttention模型能够对冷水机组压力类传感器的偏差故障进行有效诊断，且有较高的准确率。

图7 压力类传感器在不同压力偏差故障下的故障诊断准确率Fig.7 Fault diagnosis accuracy rate of pressure sensors under different pressure deviation faults

表5 P1和P4在不同压力偏差故障下的故障诊断准确率Table 5 Fault diagnosis accuracy rate of P1 and P4 under different pressure deviation faults

表6 P2和P3在不同压力偏差故障下的故障诊断准确率Table 6 Fault diagnosis accuracy rate of P2 and P3 under different pressure deviation faults

2)温度类传感器。温度类传感器得到的测试结果分别如表7～9和图8所示。

图8 温度类传感器在不同温度偏差故障下的故障诊断准确率Fig.8 Fault diagnosis accuracy rate of temperature sensors under different temperature deviation faults

由表7～9 和图8 可知：T1～T6 这6 个温度传感器的偏差故障诊断准确率均随着所加温度偏差故障的增大而增大，且正负偏差故障的故障诊断准确率有较好的对称性。对于T1，T5和T6的较小偏差故障(±0.3 ℃)，T3 和T4 的较小偏差故障(±1.0 ℃)以及T2的较小偏差故障(±1.5 ℃)，其故障诊断准确率均在87.6%以上。T1～T6 这6 个温度传感器的偏差故障诊断平均准确率分别为96.01%，98.54%，94.45%，94.28%，95.14%和96.95%，即本文提出的Inception-LSTM-Attention 模型能够对冷水机组温度类传感器的偏差故障进行有效诊断，且有较高的准确率。

表7 T1，T5和T6在不同温度偏差故障下的故障诊断准确率Table 7 Fault diagnosis accuracy rate of T1,T5 and T6 under different temperature deviation faults

从压缩式冷水机组的各压力、温度传感器的偏差故障诊断结果来看，本文提出的Inception-LSTM-Attention模型可以对各传感器不同程度的正负偏差故障进行准确、有效地诊断。Inception-LSTM-Attention模型因其强大的特征提取能力可以从压缩式冷水机组传感器数据中充分挖掘传感器序列的多尺度实时特征及传感器时序数据中存在的时间相关关系，并最终高效地完成故障诊断。

3.4 不同方法对比实验

为验证本文所提方法的可靠性，将本文方法与PCA，CNN，Inception和Inception-LSTM这4种方法进行对比。其中CNN，Inception 和Inception-LSTM这3种方法的具体结构参数如表10所示。

表10 不同方法结构参数Table 10 Structure parameters of different methods

分别在相同的数据集上使用不同对比方法进行传感器偏差故障诊断实验。

3.4.1 压力类传感器

压力类传感器得到的测试结果如表11所示。

表11 不同方法下压力类传感器偏差故障诊断准确率Table 11 Deviation fault diagnosis accuracy rate of pressure sensors under different methods %

表8 T3和T4在不同温度偏差故障下的故障诊断准确率Table 8 Fault diagnosis accuracy rate of T3 and T4 under different temperature deviation faults

表9 T2在不同温度偏差故障下的故障诊断准确率Table 9 Fault diagnosis accuracy rate of T2 under different temperature deviation faults

3.4.2 温度类传感器

温度类传感器得到的测试结果如表12所示。

由表11 和表12 可知：对于压缩式冷水机组中的各压力、温度传感器，本文所提方法的传感器偏差故障诊断准确率均比其他4种方法的高，模型表现较为稳定。基于PCA 的故障诊断方法需对输入数据进行降维处理，会在一定程度上丢失部分数据信息。基于CNN 的方法仅包含单一尺度的卷积核，无法充分提取冷水机组传感器数据的实时特征。基于Inception 模块的方法虽有多尺度的卷积核，在一定程度上提高了网络的特征提取能力，但卷积/池化结构无法充分提取冷水机组传感器数据中包含的时序特征。基于Inception-LSTM 的方法将Inception模块的多尺度特征提取能力与LSTM的时序特征提取能力相结合，可以在一定程度上解决Inception 模块中仅包含卷积/池化结构而无法学习传感器时序数据中存在的时间相关关系的问题，但该方法中LSTM的输出仅依赖于最后时刻隐藏状态的输出，无法较好地保留时序数据中的全部关键信息。而本文所提方法则是在Inception-LSTM 模型的基础上加入了注意力机制，使得LSTM最终的输出综合了各个时间节点的输出，而不仅仅是依赖最后一个时间步的隐藏状态，同时，注意力机制可以提高重要信息的影响程度，降低非重要信息的干扰。最终的对比实验结果表明，本文提出的基于Inception-LSTM-Attention 的方法取得了最高的故障诊断准确率，体现了所提方法的有效性及优势。

表12 不同方法下温度类传感器偏差故障诊断准确率Table 12 Deviation fault diagnosis accuracy rate of temperature sensors under different methods

1)本文方法直接将经过偏差故障拟合并标准化处理后的冷水机组传感器数据作为网络模型的输入，利用Inception-LSTM-Attention 模型进行端到端的故障诊断，避免了先验知识及人工特征提取等主观因素带来的局限性。

2)本文方法针对冷水机组中的各压力、温度传感器的偏差故障诊断平均准确率均在94%以上，且对于各压力传感器的较小偏差故障诊断准确率保持在88.5%以上，各温度传感器的较小偏差故障诊断准确率保持在87.6%以上。同时，对各传感器的正负偏差故障的诊断准确率均有较好的对称性。

3)本文方法将Inception 模块与融合注意力机制的LSTM相结合，使模型不仅可以提取传感器时序数据的多尺度实时特征，还可以捕捉不同传感器存在的不同时间相关关系，同时增加注意力机制来提高时序特征中重要信息的影响程度，使得LSTM最终的输出综合了各个时间节点的输出，更好地保留了传感器时序数据的全局信息，充分刻画了冷水机组传感器数据中的复杂数据特征。本文方法在冷水机组各传感器上的偏差故障诊断准确率均比PCA， CNN， Inception 和Inception-LSTM这4种对比方法的高，模型表现比较稳定。