基于Bi-LSTM的电子装备故障预测方法研究

倪祥龙，石长安，麻曰亮，刘 磊，何 健

(中国人民解放军63891部队，河南 洛阳 471003)

电子装备在军队武器装备系统中占有重要地位，其性能优劣将直接影响到武器系统综合作战效能乃至战场态势。随着电子技术的不断发展和制造工艺的逐步提升，电子装备结构日趋复杂，对维修保障提出了更高的要求。作为新理念，故障预测与健康管理(Prognostics and Health Management，PHM)技术已经在各国军事和民用部门得到广泛的研究，并被用于武器装备维修保障领域[1]。

PHM技术[2]是指利用传感器采集到的各种数据，通过智能推理算法来诊断和预测系统或部件故障，评估其健康状态和寿命，并提供一系列的视情维修和健康管理决策，保障系统或部件可靠运行，其系统框架如图1所示。故障预测是PHM技术的核心之一，主要包括系统健康状态评估、性能参数趋势预测、剩余寿命(Remaining Useful Life，RUL)预测等。故障预测方法一般分为基于模型和基于数据驱动两种[3-4]：基于模型的预测方法主要是根据对象的物理失效模型(如磨损、疲劳和老化等)来进行预测，不同的物理失效具有不同的失效演化规律；
基于数据驱动的故障预测方法不需要系统的先验知识，只需要利用历史数据和先进的智能算法建立预测模型，便可对当前部件进行故障预测。基于模型的预测方法在很大程度上依赖于物理系统领域的专业知识，模型通常表现出较弱的泛化能力[3]，随着系统越来越复杂，基于模型的故障预测方法已经逐渐不再适用于PHM；
与此同时，随着状态监测技术的发展，能获取的监测数据越来越多，数据驱动方法呈现出较强的适应能力，用于PHM技术的优势越来越明显，逐渐成为故障预测的主流方法。

图1 PHM技术系统框架

故障预测的研究对象大多为时间序列数据，一般做法是对历史时序数据进行分析，从而获得未来数据的发展趋势。因此，对历史数据合理的记忆、提取和应用，成为时间序列数据预测效果优劣的关键。循环神经网络(Recurrent Neural Network，RNN)是一种以时间序列数据作为网络输入、在序列演进方向进行递归，并将节点链式连接到深度神经网络。由于该网络可实现对历史数据的记忆功能，因此，被广泛应用在RUL预测领域。文献[5]将经验模式分解得到的能量熵作为RNN的输入，从而实现机械设备运行状态的预测。文献[6]将各种特征相结合输入到RNN中实现滚动轴承的RUL预测，取得了很高的预测精度。尽管RNN在处理时间序列数据方面，提供了较好的解决方案，但是由于梯度消失问题的存在，导致RNN在实际应用中“记忆能力受限”，往往只能学习到网络短时间步长内的依赖关系[7]。

长短时记忆网络(Long Short-Term Memory，LSTM)基于RNN解决了随着时间的增加会发生梯度下降或者梯度爆炸的问题，进一步解决了获取长期记忆的问题，已被应用于工具磨损、燃料电池电压输出、锂离子电池单元容量和轴承健康状态等预测领域[7]。文献[8]对历史数据的特征进行优化提取，并利用LSTM网络模型实现了电池的RUL预测。文献[9]将一维卷积神经网络(Convolutional Neural Network，CNN)与LSTM相结合，在更好地学习锂离子电池老化规律的基础上实现了电池容量预测。文献[10]利用LSTM实现滚动轴承的RUL预测，并验证了基于LSTM的RUL预测方法比BP神经网络和支持回归向量机的预测方法更具有效性。文献[11]构建了一种基于多尺度排列熵和 LSTM的RUL预测模型，实现了设备退化过程的有效预测，并且达到了较好的实验效果。LSTM模型尽管对长序列学习模型效果较好，但是常用的单向LSTM模型输出往往受最后时刻状态的影响，序列开始部分的影响在长序列传播过程中趋于消失；
同时，LSTM模型的构建方法是将“过去”的信息整合起来，然后辅助处理当前信息，然而大部分系统的性能退化过程实际上是一个在时间上具有前后依赖关系的连续变化过程，当前信息的处理也有必要整合“未来”的信息。

双向长短时记忆网络(Bi-Directional Long Short-Term Memory，Bi-LSTM)由前向LSTM和后向LSTM共同构成，前向LSTM获取输入序列的过去信息，后向LSTM获取输入序列的未来信息，实现过去和未来信息的充分利用。与LSTM网络相比，Bi-LSTM对强调顺序的数据表达能力更强[12]。文献[13]通过奇异值分解方法提取得到刀具磨损特征值，然后借助Bi-LSTM有效预测了刀具磨损情况。文献[14]提出一种基于Bi-LSTM的循环神经网络结构用于轴承的RUL预测，并通过设计接收随机长度样本的Bi-LSTM网络进行训练，进一步提升模型的泛化能力。文献[15]将一维CNN和Bi-LSTM相结合应用于航空发动机RUL预测，通过Bi-LSTM对性能退化量进行时间序列预测，得到性能退化的未来趋势，再通过设定性能退化阈值得到更准确的RUL预测结果。综上所述，Bi-LSTM能够较好地处理时序数据，并能有效地用于刀具、轴承、发动机等机械系统的故障预测，但其是否适用于电子装备的故障预测仍有待进一步验证。因此，本文提出基于Bi-LSTM的电子故障预测方法，验证了Bi-LSTM应用于电子装备故障预测有效性，且该方法提高了电子装备故障预测结果的准确性。

1.1 长短时记忆网络(LSTM)

LSTM是RNN的变体，LSTM通过设置多个门结构，能同时记录长期和短期的信息，解决RNN模型训练过程中可能出现的梯度消失问题(即丢失前面的信息)。经典RNN模型和LSTM模型的结构如图2所示，可以看出，LSTM模型结构相比于经典RNN更为复杂。经典RNN单元中只有1个tanh激活函数，而LSTM单元中含有3种不同控制作用的门结构，分别是遗忘门、输入门和输出门，这些门结构用于学习一些有用的长期信息，放弃一些无意义的信息。LSTM常被用于语义分类、轨迹预测和动作分类等[16-17]。

图2 RNN和LSTM单元结构

图中，xt为输入序列，即用于故障预测的系统状态监测信息；
ht为隐含层输出，即每个LSTM单元的学习结果；
ft为遗忘门；
it为输入门；
Ot为输出门；
tanh为激活函数；
σ为sigmoid激活函数；
W为权重矩阵；
*为点对乘积。

(1)遗忘门：LSTM按照指定顺序处理时间序列数据，某时间段数据蕴含的信息中存在有用的，也有无用的。遗忘门的作用就是决定哪些信息进行保留，哪些信息直接忽略。遗忘门的输出为

ft=σ(Wf·[ht-1,xt]+bf)

(1)

式中：Wf为遗忘门的权重量；
bf为遗忘门的偏置量。

(2)输入门：信息经过遗忘门的取舍后进入到输入门中，输入门的作用是判断哪些参数需要进行更新，以及怎么更新。输入门的输出为

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

式中：Wi和WC分别为相应的权重；
bi和bC分别为相应的偏置；
Ct为当前的单元状态值。

(3)输出门：信息经过遗忘门和输入门的筛选之后到达输出门，输出门的作用是决定输出哪些信息。输出门的输出为

Ot=σ(WO·[ht-1,xt]+bO)

(5)

ht=Ottanh(Ct)

(6)

式中：WO为输出门的权重量；
bO为输出门的偏置；
ht为当前单元的输出值。

LSTM的优点在于处理本单元信息时能够参考先前单元的信息，缺点在于没有参考后续单元的信息[16-17]。但对于某些问题，不仅跟先前单元信息有关，还跟后续单元信息有关，例如反映系统性能退化过程的状态参数，由于传感器采集过程中存在的观测不准确或数据不确定性等原因，先前时刻和后续时刻采集的参数均有助于确认当前时刻参数的准确性。于是，能够同时学习前向和后向数据规律的双向长短时记忆网络(Bi-LSTM)应运而生。

1.2 双向长短时记忆网络(Bi-LSTM)

Bi-LSTM是一种LSTM网络的变体，既能学习先前时刻的信息，也能学习未来时刻的信息[18]。Bi-LSTM通过同时向前和向后两方向的LSTM推算，一方面解决了LSTM推算中只考虑单向时序的问题，另一方面改善了LSTM推算中存在的权重受时序影响大的问题。Bi-LSTM网络结构[7]如图3所示。

图3 Bi-LSTM网络结构

(7)

(8)

(9)

在复杂系统中，系统状态很少能被直接观察到，需要通过传感器测量值X得到无量纲健康指数来表示系统状态Y。为了得到系统性能退化过程模型，本文提出基于Bi-LSTM实现系统性能状态跟踪的方法。

设系统的故障阈值为Yf、工作时间为Ts时系统性能参数的累积退化量为Y(Ts)，Y(Ts)

RULs=inf{tr,Y(Ts+tr)≥Yf|Y(Ts)

(10)

根据PHM技术的基本流程，可得基于Bi-LSTM的电子装备故障预测方法步骤，具体如下：

(1)状态监测数据采集，借助合适的传感器对电子装备工作过程中能够反映系统状态的参数进行监测采集，并记录；

(2)退化特征参数提取，从采集的状态监测数据中提取能够反映系统性能变化趋势的特征参数，即健康度；

(3)退化特性分析，对提取得到的退化特征参数进行分析，确认退化特征参数的变化趋势和演变规律；

(4)退化过程模型建立，根据退化特征参数属性设置Bi-LSTM模型参数，并将退化特征参数输入Bi-LSTM模型中进行训练；

(5)RUL预测，根据工作时间情况和故障阈值，基于训练后的Bi-LSTM模型进行RUL计算和预测。

模拟电路作为电子装备不可或缺的重要组成部分，其运行情况关系到整个电子装备的性能和功能，开展模拟电路的故障预测研究对于电子装备PHM技术发展具有重要意义。

3.1 模拟电路健康度提取方法

3.1.1 模拟电路的健康状态特征表述

模拟电路故障预测中特征提取的目的在于提取随元件退化而规律变化的性能数据，本文借助一种无需信号处理和理论计算的简单方法来提取特征参数。对模拟电路应用扫频激励源作为输入源，在整个响应频段中均匀提取特定频点的信号值作为特征，如图4所示。

图4 模拟电路特定频点信号值提取方法

Fv=[V1,V2, …,Vm]

(11)

式中：V1,V2, …,Vm为提取的频率响应信号，在此即为电压；
m为特征频点数量。

3.1.2 模拟电路的健康度计算方法

以“健康度”表示元件的退化程度，在模拟电路的元件从完好慢慢退化的过程中，元件的参数值逐步偏离标称值，对应的元件健康度逐渐下降。相关系数可以反映不同变量之间相关关系的密切程度[19]，适用于量化表征元件的健康度。皮尔逊积矩相关系数(Pearson Product-Moment Correlation Coefficient，PPMCC)常被用于研究变量之间的线性相关程度，具有计算量低的优点[20]，因此，本文选择用PPMCC计算模拟电路健康度。

PPMCC可通过计算两个向量的线性关系(如电压和频率)，传递两个向量之间的紧密程度[19]，公式如下：

(12)

3.2 模拟电路退化仿真和健康度提取

为提取模拟电路中元器件的健康度，假设每个测试元件的参数值在元件退化过程中均匀变化，每次变化在时间上对应一个时间单位，即一个时间点，然后在每个时间点利用Pspice软件的AC Sweep功能从起始频率到截止频率对被测电路进行一次扫频激励。

本文选取某雷达接收机带通滤波放大器的模拟电路开展故障预测方法研究。某带通滤波放大器模拟电路如图5所示，含有5个运算放大器(U1，U2，U3，U4和U5)，运算放大器的VCC和VDD接线情况如图左上角所示；
输入为1 V的正弦波信号。选取带通滤波放大器模拟电路中的电阻R5、电容C7和运算放大器U1作为电路健康度计算元件，该模拟电路性能退化实验的交流扫频的起始频率和终止频率分别设置为1 Hz和100 kHz。各个测试元件的初始标称值V标称值、仿真最终值V最终值、一个时间单位内的变化量V单位变化量和仿真最终时间T最终时间如表1所示。

图5 某带通滤波放大器模拟电路

表1 某带通滤波放大器模拟电路实验参数

仿真计算得到放大器模拟电路中各元件的健康度，如图6中“仿真值”所示。电阻R5的健康度如图6(a)所示，可以发现R5的健康度从1开始逐渐递减，即当电阻等于标称值健康度为1，随着仿真设置的电阻参数偏离量增大健康度逐渐降低。不过，图中R5仿真健康度是在理想情况下计算得到的，没有考虑实际情况下元件容差、热噪声干扰、测量误差等不确定性因素的影响。为使R5健康度更加贴近实际，根据工程经验在提取的R5健康度中注入其信号强度2%的高斯白噪声表示元件容差、热噪声干扰、测量误差等不确定性因素的影响[19-21]。添加了高斯白噪声的电阻R5健康度如图6(a)中“加噪声”所示。与此类似，可以得到电容C7和运算放大器U1的健康度，如图6(b)～(c)所示。

图6 元件健康度

3.3 模拟电路故障预测及结果分析

取前400个时间点的健康度数据作为训练数据，后200个时间点的健康度数据作为测试数据，用于验证RNN、LSTM和Bi-LSTM三种预测方法的优劣。训练时，各预测方法的参数设置如下：(1)基于RNN方法时，RNN单元的隐藏层数量为250个，最大训练次数为2 500次，每次训练迭代3次；
(2)基于LSTM方法时，LSTM单元的隐藏层数量为250个，最大训练次数为2 500次，每次训练迭代3次，数据最小批数为120个；
(3)基于Bi-LSTM方法时，第一层和第二层LSTM单元的隐藏层数量为250，最大训练次数为2 500次，每次训练迭代3次，数据最小批数为120。

图7～9表示基于Bi-LSTM的R5，C7和U1的健康度训练与预测结果。可以发现，随着时间的推移, 三种方法的预测结果均逐渐偏离测试数据，且相同时间点时基于RNN的预测结果偏离最大，基于Bi-LSTM的预测结果整体偏离最小。

图7 R5健康度训练与预测结果

图8 C7健康度训练与预测结果

为进一步评价三种方法的预测结果优劣性，建立均方根误差(Root Mean Square Error，RMSE)、平均误差(Mean Error，ME)和标准差(Standard Deviation，SD)三个参数作为评价指标，各个参数的定义如下：

图9 U1健康度训练与预测结果

(13)

(14)

(15)

式中：bi和ai分别为健康度真值和预测值；
n为数值的数量。可以发现，eRMSE,eME和eSD的绝对值越小，表示预测值越接近于健康度真值，代表预测效果越好。

放大器模拟电路性能退化趋势预测结果评价指标如表2所示，可以发现，在退化趋势较为稳定、不发生突变的情况下，如电阻R5和电容C7，基于Bi-LSTM预测结果的eRMSE、eME和eSD的绝对值均是最小的，即基于Bi-LSTM的预测效果最好，LSTM次之，RNN最差，说明Bi-LSTM更适用于模拟电路平稳退化过程的退化趋势预测。

表2 放大器模拟电路性能退化趋势预测结果情况

取tRUL实际为50，100和150三个时刻(即测试数据为450，500和550)作为故障时间，开展剩余寿命预测结果评价。故障预测时，考虑到测试数据波动较大会对故障预测结果产生较大影响，故取故障时间点前后9个健康度的均值作为故障阈值，例如当tRUL实际=50(即测试数据为450)时，其健康故障阈值为测试数据集第446～454个健康度的均值。为进一步评估故障预测结果的准确性，利用绝对误差和相对误差对RUL预测结果进行量化评估，预测结果与tRUL实际的绝对误差和相对误差分别为

C绝对=|tRUL预测-tRUL实际|

(16)

(17)

可以发现，tRUL预测越接近tRUL实际，绝对误差和相对误差越小，反之则绝对误差和相对误差越大；
两者的区别在于绝对误差只反映tRUL预测与tRUL实际的偏差大小，而相对误差反映的是tRUL预测与tRUL实际的偏差大小相对于tRUL实际的偏差比例，即考虑了随着时间推移预测结果不确定性越来越大的影响。三种情况的剩余寿命预测结果及绝对误差和相对误差如图10和表3所示。可见，除tRUL实际=150时，U1的预测结果外，三种预测方法中RNN的预测效果最差，Bi-LSTM的预测效果最好。当tRUL实际=50时，RNN，LSTM和Bi-LSTM三种方法的预测R5的结果偏差分别是28%，22%和18%。当tRUL实际=150时，U1的健康度演变趋势在tRUL实际>100(即测试数据集个数第500个后)发生变化，偏离历史数据的变化趋势，导致基于历史数据训练得到的模型预测效果变差。

图10 预测结果相对误差

表3 元件剩余寿命预测结果及相对误差

雷达发射机多工作在高频率、高电压的复杂电磁环境下，是雷达常见故障的模块。为保证雷达发射机正常运行，必须对其关键部件开展PHM技术研究。

4.1 雷达发射机状态监测数据介绍

高压电源是雷达发射机的重要组成部分，其状态的好坏直接关系到整个系统的射频质量和寿命，对发射机性能的影响巨大，且高压电源也是易发生故障的模块。栅控行波管在雷达发射机系统中地位十分重要，其好坏直接影响雷达发射机的状态正常与否。文献[22]中给出了某型雷达发射机全寿命周期内等间隔采集的高压电源的纹波电压、栅控行波管的管体电流和收集极电流的状态监测实验值，如图11～13所示，共60组数据。由图11可知，纹波电压随着高压电源使用时间的延长，其健康状况逐渐变差，纹波电压总体呈非线性上升趋势，且增加的幅度也在逐渐加大；
由图12～13可知，行波管的管体电流呈非线性增加趋势，而收集极电流呈非线性减少趋势，随着行波管使用时间的增加，管体电流增加和收集极电流减少的速度变快。

图11 高压电源纹波电压测试值

图12 行波管管体电流测试值

4.2 发射机故障预测及结果分析

将文献[12]中雷达发射机的状态监测实验值用于验证基于Bi-LSTM的故障预测方法有效性。取前50个时间点的健康度数据作为训练数据，后10个时间点的健康度数据作为测试数据，用于验证故障预测结果的优劣。RNN，LSTM和Bi-LSTM三种方法训练参数设置与3.3节一样。

图13 行波管收集极电流测试值

图14～16表示基于Bi-LSTM的纹波电压、管体电流和收集极电流的训练与预测结果。可以发现，随着时间的推移，三种方法的预测结果均逐渐偏离测试数据，且相同时间点时基于RNN的预测结果偏离最大，基于Bi-LSTM的预测结果偏离最小。

图14 纹波电压训练与预测结果

雷达发射机性能退化趋势预测结果评价指标如表4所示。可以发现，无论是纹波电压、管体电流还是收集极电流，基于Bi-LSTM预测结果的eRMSE，eME和eSD均是最小的，即基于Bi-LSTM的预测效果最好，LSTM次之，RNN最差。预测结果表明本文提出的基于Bi-LSTM的电子装备故障预测方法相较于传统的RNN方法预测效果更好、精度更高。

图15 管体电流训练与预测结果

图16 收集极电流训练与预测结果

表4 雷达发射机性能退化趋势预测结果情况

取tRUL实际=5时(即测试数据为第55次测量值)作为故障时间，开展剩余寿命预测结果评价。剩余寿命预测结果及绝对误差和相对误差如表5和图17所示，可以看出，三种预测方法中Bi-LSTM的预测效果明显好于RNN和LSTM。利用RNN和LSTM对纹波电压进行故障预测时，绝对误差为1.61和1.63，相对误差为32.2%和32.6%；
而利用Bi-LSTM进行故障预测时，绝对误差和相对误差分别只有0.61和12.2%，明显小于RNN和LSTM的预测结果。

图17 预测结果相对误差

表5 剩余寿命预测结果相对误差

为提高电子装备PHM技术水平，提升故障预测准确性，提出基于Bi-LSTM的电子装备故障预测方法。通过雷达带通滤波放大器模拟电路仿真数据案例和雷达发射机状态监测实际数据案例分析，充分说明Bi-LSTM具有更好的时序数据处理能力，基于Bi-LSTM的故障预测方法优于RNN和LSTM，能够提高电子装备故障预测测准确性。研究表明，虽然电子装备和机械装备千差万别，但只要反映两者性能退化过程的参数演变趋势特点相似，基于数据驱动的故障预测方法即可参考互用，达到提高故障预测准确性的目的，其限制明显少于基于模型的故障预测方法。