基于CNN-BiLSTM的锂电池剩余使用寿命概率密度预测

刘 泽，张 闯，齐 磊，金 亮，刘素贞

(1.河北工业大学电气工程学院，天津 300130；
2.华北电力大学电气与电子工程学院，北京 102206)

锂离子电池具有制造成本低、高效、环保等优点，被广泛应用于电动汽车、军事装备、航空航天等领域。随着锂离子电池循环充放电，其性能不断退化，作为电气装备的重要组件，可能会导致设备故障，进而引发严重的安全事故[1]。为确保锂离子电池安全正常使用，开展锂离子电池的剩余使用寿命(remaining useful life，RUL)预测具有重要意义。

多年来，国内外学者通过数学或电化学模型对锂离子电池的内部动态变化过程进行分析，以实现电池的寿命预测。然而，锂离子电池内部状态不可测，其电化学反应过程受到实际工况以及外部温度、湿度等环境的影响，使得其模型的建立较为复杂且泛化性较弱。随着传感技术的迅猛发展，多类型、海量的锂离子电池性能退化数据被获取，基于数据驱动的寿命预测逐渐成为了研究热点。文献[2]考虑到极限学习机(extreme learning machine，ELM)的缺点和电池数据的增加，将宽度学习(broad learning，BL)与ELM 结合，提高了预测精度和效率。但由于模型的参数是随机产生的，导致模型预测结果稳定性较差。文献[3]把灰色理论与BP 神经网络相融合，相比于单一的BP 神经网络，具有更高的估算精度；
但该模型可能会陷入局部极值，导致训练失败。虽然传统的机器学习获得了较好的预测准确度，但其精度受限于复杂的特征提取，预测稳定性难以保障。

随着计算机运算性能的提升和算法的不断创新，深度学习网络凭借着复杂的结构，则可以避免特征工程提取，将数据输入到网络就可实现良好的预测。利用快速搜索聚类对电池的特征进行过滤选择，将选定的特征输入到堆叠降噪自编码器网络进行电池的RUL 预测，得到了较好的预测结果。以上锂离子电池预测为点预测，而不同工况条件下预测的结果往往具有不确定性。相较于确定的点预测，概率密度预测可以描述未来任意循环周期下的锂离子电池容量概率密度分布信息，文献[4]研究了非线性分位数回归问题，提出了神经网络分位数回归模型，进而给出了概率密度预测方法；
文献[5]将其应用于资产收益与风险的预测研究。

锂离子电池容量衰减过程在时间上前后相互关联，在考虑当前信息的同时也有必要考虑到将来的状态。双向长短时记忆循环神经网络(bidirectional long short-term memory,BiLSTM)可以整合向前和向后两个方向的结果作为最终结果的输出，适用于具有时间序列的预测。文献[6]利用BiLSTM神经网络自动提取了深层的轴承振动信息，实验证实了故障预测较高的准确度。尽管BiLSTM 在处理时间序列上有强大的能力，但在输入多维数据时其非线性拟合不足。文献[7]利用卷积神经网络(convolution neural network，CNN)将充电循环期间测得的电压、电流和电荷容量的等时间间隔离散值作为输入，在线估算锂离子电池容量。由于CNN 可以捕获相邻数据序列之间的局部特征，而无法对时间序列进行有效的表达，因此，可以考虑与循环神经网络模型结合，提升预测精度。

本文提出了一种CNN-BiLSTM 模型与分位数回归相结合的方法，对电池的RUL 进行概率密度预测。将CNNBiLSTM 相融合来预测不同分位数下的锂离子容量，进而得到容量概率密度分布和锂离子电池的RUL 概率密度分布。

1.1 卷积神经网络

CNN 是包含卷积运算和深层结构的前馈神经网络，卷积层使用卷积核对局部区域进行卷积输入数据以生成相应的特征；
池化层对其进行下采样，实现数据的降维；
而全连接层将提取到的局部特征变为特征向量，最后再传入到BiLSTM 神经网络进行预测，结构如图1所示。卷积层采用式(1)计算：

图1 卷积神经网络结构

式中：ω为卷积核；
g为卷积核的大小；
xi:i+g-1为i到i+g-1 的特征向量；
b为偏置项。得到特征矩阵G，即G=[c1,c2,……c6]，然后经过池化层，对卷积层进行下采样得到维度较小的特征，这里采用其最大值，如式(2)，最终将池化层提取到的特征输入到全连接层。

1.2 双向长短时记忆循环神经网络

图2 为LSTM 神经元细胞的内部工作图，主要通过遗忘门、输入门和输出门三个基本机构实现控制。

图2 长短时记忆循环神经网络结构

LSTM 最核心的部分是遗忘门和输入门，其可以实现有效的长期记忆。遗忘门可以忽略以前的无用信息，Sigmoid为遗忘门的控制层，决定当前时刻输入的xt和上一时刻输出的ht-1通过或者部分通过，如式(3)所示：

输入门可以控制当前时刻数据流入细胞，输入门的Sigmoid 层决定哪些值可以更新，tanh 层用来生成新的候选值向量，如式(4)、式(5)：

神经元细胞的旧状态Ct-1更新为Ct，如式(6)：

输出门的输出值ht是通过上一时刻ht-1和当前时刻输入xt经过sigmoid 层，与一个经过tanh 层的最近时刻Ct的状态相乘计算而得到的。该过程的计算公式为：

式中：W和b为对应公式的权重和偏置项；
σ为sigmoid 激活函数；
tanh 为双曲正切函数。

BiLSTM 是LSTM 的变体结构，由前向LSTM 与后向LSTM 层构成，从两个相反的方向获取信息，可以同时考虑数据的历史和将来信息，能够挖掘数据更加深层次的时间序列规律，提高预测精度，BiLSTM 的结构如图3 所示。在每个时间t，输入同时提供向前与向后的LSTM 的神经网络，其输出最终结果可以表示为：

图3 双向长短时记忆循环神经结构

1.3 分位数回归

分位数回归是响应变量S与解释变量X的条件分位数之间一种线性关系的模型[8]。即：

式中：QS(τ|X)为分位数τ取值在0 到1 的条件下，解释变量X对应的响应变量S的估计值；
回归系数向量β(τ)=[β0(τ),β1(τ),β2(τ)X2,……,βk(τ)]’，随分位数τ的变化而变化。

参数向量β的最优估计值可以通过如下公式求解：

其中ρτ(·)为检验函数，其具体求解过程为：

2.1 基于CNN-BiLSTM 的预测模型

本文提出基于CNN-BiLSTM 的模型，如图4 所示。

图4 CNN-BiLSTM 结构

在锂离子电池RUL 的预测过程中，每次恒流-恒压充电，循环次数、电压、内阻抗均对应一个共同的电池容量。而卷积神经网络中的卷积核可以捕获测得数据间的相关性，通过实现局部权值共享，从而可以挖掘老化数据相邻局部范围内的共同特性。在卷积层中，输入循环次数、电压、内阻抗特征由卷积核提取。然后，通过全连接层将其转化为特征向量输出到BiLSTM 神经网络。BiLSTM 层利用滑动时间窗口对CNN 提取到的特征进行时间序列学习，获得内部时间特征和退化趋势的变化规律。在BiLSTM 神经网络训练过程中，将输出的结果与样本标签值对比，把误差进行反向传播更新BiLSTM 的节点权重，最后通过全连接层将其结果输出。

2.2 CNN-BiLSTM 神经网络分位数回归

本文将CNN-BiLSTM 神经网络与分位数回归结合，提出了一种CNN-BiLSTM 神经网络分位数回归模型，构造如下的分位数回归损失函数。

当τ在0 到1 之间不断取值时，通过优化器不断优化权重w偏置b，使Loss 函数达到最小。最终可以得到不同分位数下输入数据x对应预测值，即：。

2.3 核密度估计

核密度估计是一种不依赖任何分布，从数据样本自身去得到估计值的概率密度分布[9]。对于一个预测点，不同分位数下得到一组{x1,x2,……xi,xj,xn}数据，可以通过如下公式得到核密度估计。

式中：为估计数据的标准差，在本文中采用高斯核函数(Gaussian kernel function，GKF)。

式中：λ 为带宽的平滑参数，影响分布的形状。

2.4 评价指标

为了衡量锂离子电池RUL 的预测精度，采用多个评价指标来评估本文模型的效果，包括预测剩余寿命的绝对误差、相对精度、预测容量的平均绝对误差、均方根误差以及预测容量区间覆盖率和平均宽度[10]。

(1)剩余寿命的绝对误差(absolute error，AE)、剩余寿命的相对精度(relative accuracy，RA)、容量的平均绝对误差(mean absolute error，MAE)和容量的均方根误差(root-meansquare error，RMSE)是评价实际真实值与预测值(概率密度预测模型的众数或中位数)的偏差，其数学公式如下：

式中：RP为预测剩余寿命循环次数；
RT为真实剩余寿命循环次数；
n为预测电池容量的循环周期数；
x(i)为第i个周期电池容量的真实值，xˉ(i)为电池容量预测值。

(2)区间覆盖率表示实际值落在预测区间的比例，是评估预测区间准确度和可靠性的重要指标，采用式(21)计算。

式中：N为测试集的总个数；
CP为区间覆盖率。

式中：pi为第i个循环周期的容量；
Ii为第i个循环周期的预测区间。

区间覆盖率尽管越高越好，但是当区间足够大时，覆盖率成为1，失去了意义，因此需要与预测区间平均宽度共同去衡量。

(3)预测区间平均宽度(mean width percentage，MWP)表示在置信度下电池容量预测区间上界与下界的差值，本文选取90%置信区间，预测区间平均宽度越小，表示其锐度越高。

3.1 数据集构建

本文采用马里兰大学CALCE 的CX2 电池数据集，该电池的额定容量为1.35 Ah。所有CX2电池都经历相同的循环充放电过程：以恒定电流0.5C充电，直到电压达到4.2 V，然后维持4.2 V 直到电流降至0.05 A；
以恒定电流0.5C放电，直到电压降至3 V。电池容量一般降至额定容量的70%认为电池失效，达到了寿命终点(end of life，EOL)，本文选用的数据集的电池EOL 为0.945 Ah，共进行了1 262 次循环。电池容量的退化趋势是一个非线性波动较大的过程，如果选用数据早期退化的过程进行预测，会使预测结果产生较大的误差，所以选用训练集为原始数据集的80%，测试集为原始数据集的20%。

3.2 模型参数设置

本文分位数τ的取值范围为[0.01，0.99]，其间隔为0.01，共计99 个数据，经过多次手动调参实验，最终得到CNNBiLSTM 分位数回归模型的主要超参数，如表1 所示。

表1 超参数设置

本文的模型是用python 软件编写，软件框架是基于keras神经网络库的Tensorflow 框架。

3.3 预测结果分析对比

图5 展示了在低置信区间(40%)和高置信区间(90%)条件下的预测区间。从图5 中可以看到，本文所提方法的预测区间与实际值波动大致相同，40%置信区间比90%置信区间的宽度要窄，且预测结果的90%置信区间可以基本包含真实值，但后期预测区间明显变宽，这是由于后期电池的容量退化趋势加速，容量再生也变得浮动较大，而模型是利用前期数据训练得到的，对后期容量的预测结果不确定性增大，因此会导致后期的预测区间变宽。

图5 不同置信区间的预测结果对比

基于已训练的模型可以预测每个循环周期下的容量和剩余使用寿命的概率密度分布。以其中一个循环周期为例，图6 为真实容量达到失效阈值0.945 Ah 时，第1 262 次循环周期的预测容量概率密度曲线。图7 为达到阈值条件时预测循环次数概率密度曲线。从两张图可以看出，真实值在概率密度曲线峰值附近，且更靠近预测的中位数。通过本文方法描述电池剩余使用寿命的不确定性，能够为使用者提供较为丰富的电池容量信息。

图6 第1 262次循环周期的容量概率密度

图7 达到阈值条件下的预测循环次数概率密度

为了证明使用本文方法预测的有效性，将使用统计学中代表性的中位数与众数作为点预测结果，图8 为实际值与预测结果的对比图，可以看出中位数预测结果相对于众数可以更好地吻合容量的实际值，但是在估计电池剩余容量时，众数也有重要的参考价值。

图8 众数和中位数点预测与真实值对比

为了进一步说明本文所提出电池RUL 概率密度预测模型的性能，选用同超参数下BiLSTM、LSTM 和CNN 模型的预测得到中位数与其对比进行评估，如表2 所示。

表2 模型对比评估

表2 中CP 与MWP 值均为90%置信区间下预测得到的，通过表2 得出CNN、LSTM、BiLSTM、CNN+BiLSTM 中位数预测RMSE的指标分别改进了0.010 4、0.009 7、0.009 2、0.008 3。MAE 的指标分别改进了0.013 6、0.012 7、0.012 1、0.010 4。此外，AE 的指标分别改进了7、6、3、1。说明了CNN对于模型预测精度有提升作用。

本文提出了一种CNN-BiLSTM 与分位数相结合的概率密度预测，并通过算例进行验证，得出结论如下：

(1)采用双向长短时记忆循环神经网络与卷积神经网络相结合，实现分位数概率密度预测，相比点预测，本方法不仅可以使用中位数或者众数实现点预测，而且可以获得任意循环充放电周期下锂离子电池容量和剩余使用寿命的完整概率分布。

(2)本文提出CNN+BiLSTM 模型的中位数的AE 值、RMSE 值和MAE 值均低于CNN、BiLSTM 和LSTM 模型。尽管CNN+BiLSTM 模型在90% 置信区间下MWP 的值比BiLSTM 的高，但其他评价指标是最高。因此，本文模型的预测精度整体而言是最好的。由于本文模型采用多个模型的组合，结构变得复杂，计算量增大，因此，优化算法结构、提升计算效率将在以后的工作中进一步开展。