基于复阻抗咽造影的吞咽事件检测与智能识别方法

杨宇祥 余绍帅 林海军 李建闽 张 甫

(湖南师范大学工程与设计学院 长沙 410081)

吞咽是一个复杂的神经肌肉反射性生理活动，涉及超过50对肌肉协同工作[1]。受增龄性疾病的影响，全球数百万人患有吞咽障碍，在老年人群及中枢神经系统疾病、神经肌肉疾病等常见疾病的并发症中尤为普遍[2]。吞咽障碍不仅会使患者由于进食障碍而产生恐惧和抑郁心理，还会伴随食物误吸、渗漏和残留，造成患者脱水和营养不良，引发呼吸道感染、(吸入式)肺炎、窒息，甚至危及生命[1]。研究表明，吞咽障碍早期筛查是降低吞咽障碍发病率的关键，可降低约40%的残疾率、10%的肺炎发生率和护理率[3]。近年来，美国心脏与卒中协会、欧洲吞咽障碍学会相继把吞咽障碍早期筛查作为一项关键检测技术[4]，我国也发布了《中国吞咽障碍康复评估与治疗专家共识》[5]等，吞咽障碍早期筛查技术的重要性日益凸显。

重复唾液吞咽试验(Repetitive Saliva Swallowing Test, RSST)是一种简单的吞咽障碍筛查方法，它的判断方法是计算30 s内重复性干咽的次数，如果干咽次数少于3次，则判断为具有吞咽障碍的可能性[6]。RSST无需任何特殊设备，但对实验操作经验要求较高，且主观性较强，在医疗机构的日常检测中已很少采用。电视荧光吞咽造影检查(Video-Fluoroscopic Swallowing Study, VFSS)又称改良钡餐吞咽检查，被认为是诊断吞咽障碍的金标准[7]，可实时捕捉经钡剂造影模拟食物和液体在口腔、咽腔和食道中的传输过程，甚至在食物进入呼吸道的情况下，它可以确定有多少物质进入了呼吸道[4]。但VFSS需配备昂贵的X射线透视设备和专业操作人员，且具有放射性辐射，不能重复使用[8]。此外，VFSS主要针对吞咽过程相关肌肉组织的结构学与形态学等器质性病变特征分析，而对于症状较轻的早期吞咽功能性病变特征很容易被漏诊或忽略[9]。因此，VFSS的主要角色是对吞咽障碍疾病的确诊，而不适合于吞咽功能的日常评估和吞咽障碍的早期筛查。

鉴于吞咽障碍的普遍性和深远影响，早期发现吞咽障碍对于设计适当的护理计划和改善患者预后至关重要[9]。由于目前还没有可供护士日常使用的吞咽障碍筛查工具，为了有效地识别潜在的吞咽障碍患者，现阶段的通用做法是利用无创、廉价的筛查技术对住院患者进行大面积检测，对筛选出的疑似吞咽障碍患者做早期干预或进行基于VFSS的诊断[10]。在此过程中，对吞咽事件(如干咽、咀嚼和喝水等吞咽动作)的准确识别是临床筛查的关键步骤[11]；
而对于治疗目的的自动刺激或神经假体设备来说，能够对吞咽事件进行检测和分类也是至关重要的[12]。因此，吞咽事件识别成为吞咽障碍筛查和治疗过程中的一个必不可少的关键环节[13]。

为了进一步提高对吞咽障碍筛查的准确度和便捷性，近年来许多学者利用加速度、压力、声音等传感器检测吞咽信号，提出了一些新的无创且易于实现的吞咽事件检测方法。Damouras等人[14]通过加速度传感器检测吞咽信号，对固体、液体吞咽识别率较高，但是其测量过程复杂，不适合便携式监测。Farooq等人[15]通过喉头仪以检测吞咽信号，将所测得的电流变化形状同时显现出来并记录，对食物的分类达到90.1%。Kalantarian等人[16]通过压电传感器检测吞咽过程中咽喉部的皮肤运动，能够对测试者所吞咽的薯条、三明治和水等3种吞咽事件进行分类，分类准确率为86.0%。Mirtchouk等人[17]提出了一种由音频传感器和运动传感器组成的多模式传感系统来采集人体的吞咽信号并对食物类型进行分类，其分类精确率为82.7%。Bi等人[18]通过颈部高保真麦克风记录进食过程中的声音信号并进行食物类型识别，其识别率为86.6%。Inoue等人[19]通过鼻插管式流量传感器和压电传感器记录吞咽声信号，并使用线性预测编码和支持向量机算法识别吞咽事件，其分类准确率约为86.0%。总体来说，上述方法均易受外部环境噪声或运动伪迹的影响，通常只能在实验室内进行，识别率不高。

阻抗咽造影(Impedance PharyngoGraphy,IPG)[20]是一种基于吞咽过程中颈部肌肉电阻抗动态描记的吞咽事件检测新方法，可在很大程度上克服环境噪声和运动伪迹的影响，且具有无创、便携、连续实时监测等突出优点[21]。吞咽过程可分为4个生理阶段：准备期、口腔期、咽喉期和食道期[22]。相关研究表明，IPG波形可表征吞咽相关器官的运动特征，并用于评估吞咽功能，其中IPG阻抗的百分比变化反映了吞咽过程中口腔期和咽喉期所涉及器官的活动水平；
咽喉期的IPG持续时间反映了吞咽运动的平滑度；
IPG计数反映了出现的吞咽反射次数，进而有助于表征可能存在的颈部狭窄[20]。

然而，受微弱信号检测手段的局限性，传统的IPG技术采用模拟包络检波，只能检测阻抗幅值而忽略相位信息，虽然实现简单，但重复性差，灵活性低[21]。研究表明，肌阻抗的相位信息随人疾病发展而发生变化，例如肌萎缩性脊髓侧索硬化症的检测[23]和多发性肌炎和皮肌炎的检测[24]。因此，IPG信号若能同时考虑相位信息和幅值信息，将有助于对吞咽信号的全面分析。

为了进一步挖掘和提升传统IPG技术检测吞咽事件的性能，本文利用周期信号整周期采样的计算特性，提出一种基于整周期数字锁相放大原理的复阻抗咽造影(Complex Impedance PharyngoGraphy,CIPG)检测方法，搭建基于现场可编程门阵列(Field Programmable Gate Array, FPGA) 的CIPG检测平台以同时提取吞咽事件动作过程的复阻抗幅值和相位信息，并设计基于连续小波变换(Continuous Wavelet Transform, CWT)和GoogLeNet相结合的吞咽事件智能识别算法，最后通过吞咽事件识别实验证明本文所提的CIPG检测技术及智能识别算法具有更优的识别准确率。

2.1 整周期数字锁相放大原理

锁相放大是一种针对交变信号进行相敏检波的微弱信号检测技术，其核心工作原理是正交解调(即IQ解调)，可大幅度抑制噪声，改善测量的信噪比。锁相放大可以分为模拟和数字两种形式，其中数字锁相放大利用数字信号处理的方式实现相敏检波，克服了模拟锁相放大的温度漂移、不稳定、谐波失真等缺点，数字锁相放大器备受青睐，已逐渐取代模拟锁相放大器[25]。在基于数字锁相放大的微弱信号幅相检测过程中，需要一个截止频率极低的低通滤波器(LPF)，以滤除IQ解调后的高频分量而保留直流分量，但是LPF的效果往往不是很好，微弱信号的幅值和相位检测结果失真且波动剧烈[26]。为了降低LPF的设计难度，减小数字锁相放大检测结果的失真和输出波动，本文提出一种基于整周期采样的整周期数字锁相放大算法，该方法充分利用了周期信号整周期采样的计算特性，在数字IQ解调计算过程中自动消除了高频分量，大大降低了传统数字锁相放大器对LPF的设计要求，且只需一个信号周期即可实现完整的IQ解调，大大提高了数字锁相放大的速度。整周期数字锁相放大器的基本结构如图1所示。

图1 整周期数字锁相放大原理图

设交变待测信号x(t)如式(1)所示

其中，A,ϕ和f分别表示待测信号的幅值、初相角和频率。式(1)对应的离散序列如式(2)所示

其中，fs为采样率。

设两路同频正交参考序列rs[n]和rc[n]如式(3)所示

其中，fr为正交参考信号的频率。

信号x[n] 分别与正交参考序列rc[n]和rs[n]相乘实现相敏检波的功能，对应的同相分量(I)和正交分量(Q)如式(4)所示

其中，N表示序列的长度。将式(2)、式(3)代入代(4)，并利用欧拉公式ejθ=cosθ+j sinθ得

其中，若正交参考信号的频率fr与待测信号的频率f相等，且满足整周期采样条件式(6)，即

其中，p属于正整数，则可根据等比数列求和公式证明：式(5)中频率非零分量的累加和为零，即

因此，根据式(7)最终可得数字IQ解调的值如式(8)所示

最终，待测信号x(t)的幅值和相位可根据式(9)计算

与传统的数字锁相放大算法相比，整周期数字锁相放大算法的前提是满足式(6)所示的信号整周期采样条件，即采样点数N恰好覆盖信号x[n]的正整数p个周期(p≥1)，从而使得数字IQ解调后的2倍频分量的累加和为零，如式(7)所示。因此，理论上整周期数字整周期锁相放大后不存在高频分量，但由于实际量化误差和信号波动等因素仍然会造成少量残余高频分量，一般仍需在数字IQ解调后加一级FIR低通滤波器滤除残余高频分量。

2.2 复阻抗咽造影系统设计

在上述整周期数字锁相放大原理的基础上，本文设计了一种基于FPGA的复阻抗咽造影(CIPG)检测系统，其硬件原理结构图如图2所示。该CIPG系统主要由直接数字合成器(Direct Digital Synthesizer, DDS)、数模转换器(Digital-to-Analog Converter, DAC)、恒流源、电极系统、差分放大器、模数转换器(Analog-to-Digital Converter,ADC)、基于FPGA的整周期数字锁相放大器及低通滤波器等组成。图2中，颈部复阻抗测量采用经典的4电极法以克服电极与皮肤之间接触阻抗对测量的影响[27]，其中外侧的I+和I–为一对电流激励电极，位于颈部两侧的胸锁乳突肌附近；
内侧的V+和V–为一对电压检测电极，位于两侧的颈总动脉和颈内动脉附近(图中左下角椭圆虚线区域)。日本学者Kusuhara的研究指出图2中椭圆虚线区域涵盖咽喉的食管和气管，吞咽动作可引起阻抗的显著的规律性变化[20]。

图2中，CIPG系统首先由DDS和DAC产生一个频率为50 kHz、峰峰值为1 V的正弦电压信号，并通过低通滤波器滤除DAC的高频量化噪声。随后，将正弦电压信号送入镜像恒流源，转换为1 mA的电流信号，并通过电流激励电极(I+，I–)注入人体。电压检测电极(V+，V–)与高输入阻抗的差分运算放大器相连，获得的电压响应信号经低通滤波器消除高频分量后送入ADC进行同步整周期采样，得到电压的离散采样序列，缓存至FPGA。在FPGA上搭建整周期数字锁相放大器，利用DDS同步产生的两路正交参考信号进行解调，得到CIPG的幅值(A)和相位(ϕ)信息，并经串口通信将解调信号上传到计算机上，通过LabVIEW编写的数字示波器进行CIPG信号的实时显示与保存。为了实现整周期采样，一个关键的因素是DDS与DAC, ADC的工作时钟都必须由FPGA统一同步控制。经过调试，该CIPG系统可每秒进行1000次复阻抗测量，即每秒获得1000组阻抗幅值和相位数据，连续描记可获得阻抗幅值和相位的1维时间序列。

图2 复阻抗咽造影(CIPG)系统硬件原理结构图

典型的CIPG信号如图2右侧所示，它是1维时间序列。为了从1维的CIPG信号中识别出不同类型的吞咽动作，本文设计了基于连续小波变换(CWT)和GoogLeNet相结合的吞咽智能识别算法，其算法结构如图3所示。本算法首先利用CWT将获取的1维CIPG信号映射为2维小波尺度图，并将其调整为224×224×3的RGB图像；
用于训练的CIPG数据经CWT转换为RGB图像后送入GoogLeNet，进行特征提取后存入特征模板库；
用于测试的CIPG数据也经CWT转换为RGB图像并送入GoogLeNet，提取特征后与特征模板库进行匹配，最终识别为喝水、干咽、吃面包、吃酸奶、咳嗽等5种吞咽事件中的一种。

3.1 基于连续小波变换的数据转换

在获取CIPG1维时间序列后，为了增加数据维度和去噪，本文利用连续小波变换(CWT)将1维CIPG信号转换为2维图像信号。假设CIPG信号为a(x)∈L2(R)，a(x)的连续小波变换定义为

(1) 初始值给定。设S为尺度，fs为采样频率，FC为小波中心频率，则S对应的实际频率Fa为

(2) 小波基的选取。对CIPG信号a(x)进行小波变换，本文采用db5小波基，尺度序列长度设为100，变换后的尺度序列S计算公式为

其中，a为整数序列，取值范围为1～100。

(3) 小波尺度图的构造。将尺度和小波基确定后，利用式(11)—式(13)将CIPG信号进行小波变换，从而生成CIPG所对应的尺度图。

3.2 基于GoogLeNet的智能识别算法

在利用CWT将CIPG1维时间序列转换为2维图像的基础上，本文设计了基于GoogLeNet的吞咽智能识别算法。GoogLeNet是卷积神经网络(Convolutional Neural Network, CNN)的一种，常用于图像领域，处理2维数据[28]。

图3所示的GoogLeNet网络中，输入为224×224×3像素的RGB图像，将图像进行零均值化的预处理操作，使用7×7的卷积核进行特征提取，将输出图像卷积后进行修正线性单元(ReLU)操作(ReLU是激活函数，能提高计算速度)，之后再经过3×3的最大池化层将输出图像进行ReLU操作，使用3×3的卷积核再次进行特征提取(卷积核的滑动步长设置为1，填充宽度为1)。卷积后再次进行ReLU操作，经过3×3的最大池化层，再进行ReLU操作，从而分析浅层的特征提取网络。随后，通过相同的Inception模型提取图像特征并加以整合，使特征值更丰富图像更易识别。通过GoogLeNet网络结构的平均池化层和批量归一化模块(Batch-Normalization)，使输入数据分布更加稳定，加快网络收敛速度，同时也可以在一定程度上缓解梯度消失问题，最后采用分类层的Softmax作为分类器，输出吞咽识别结果。

图3 基于CWT与GoogLeNet的吞咽智能识别算法结构图

4.1 CIPG实验数据采集

利用本文开发的CIPG系统，选取9名健康志愿者进行吞咽实验，志愿者平均年龄为25岁。图4(a)为吞咽事件检测的现场照片，图中受试者采用坐姿，4片ECG电极(3M Red DotTM 2560，3M Health Care, Germany)分别贴在脖子两侧并与图2所示的CIPG系统相连，构成4电极阻抗测量模式。

分别对9名志愿者进行连续监测，志愿者在被监测期间多次执行喝水、干咽、吃面包、吃酸奶、咳嗽等动作，总共获得各种吞咽动作的CIPG数据共687条记录，训练集共500条记录，即每种吞咽动作100条记录，测试集分5类。分别为干咽、喝水、吃面包、吃酸奶、咳嗽，每种样本对应测试样本个数为59, 39, 35, 32, 22。图4(b)为某志愿者1次完整吞咽实验的CIPG连续监测数据示例，图中上半部为阻抗幅值的时间序列，下半部为阻抗相位的时间序列，持续时间为310 s。

4.2 吞咽事件的特征提取

图4中，喝水、干咽、吃面包、吃酸奶、咳嗽等吞咽事件中均包含多个周期性重复变化信号，表示对应的吞咽事件相关动作的重复。为直观对比起见，图5(a)、图5(c)给出了喝水和干咽两种吞咽事件所对应的CIPG信号时序图，图中红色实线和蓝色虚线分别表示阻抗幅值和相位变化时序图，持续时间约为8 s，并根据国际惯例将其分解为准备期、口腔期、咽喉期和食管期等4个阶段。在这4个阶段中，阻抗幅值和相位在准备期基本平稳，而在口腔期阻抗幅值略有上升；
在咽腔期，阻抗幅值陡降，而阻抗相位陡升(相位为负值)；
到了食管期，阻抗幅值和相位又逐渐回归正常值。由此可见，CIPG信号在咽腔期具有明显的变化特征，可为吞咽动作的自动识别提供判据。

图4 某受试者的CIPG连续监测信号

图5 喝水和干咽事件所对应的CIPG阻抗幅值和相位变化时序图及其对应的2维RGB图像对比

在利用CIPG系统获得各种吞咽动作的复阻抗时间序列数据集的基础上，将一部分数据抽取出来建立吞咽事件识别算法的训练数据集，剩余部分作为测试数据集。将1维CIPG时间序列数据按图3所示的流程进行处理，其中在CWT阶段，由于每个数据库的小波变换采样频率不同，因此使用了重采样功能将所有频率参数重建为128 Hz，并将每个2维小波尺度图转换成224×224×3的RGB图像，以符合GoogLeNet网络的输入。图5(b)、图5(d)分别表示喝水和干咽事件对应的2维RGB图像。之后将2维RGB图像送入GoogLeNet网络进行特征提取，来自训练数据集的特征存入特征模板库，而来自测试数据集的特征则用于识别。

4.3 混淆矩阵

为了更加直观地区分吞咽事件的分类结果，本文引入混淆矩阵对测试结果进行精度分析。混淆矩阵是评估精度的一种标准格式，具有可视化分类精度的优点，其中，精确率(Precision, P)和召回率(Recall, R)的定义如式(13)所示

其中，FN(False Negatives)为假阴率，表明实际是正样本预测成负样本；
TP (True Positives)为真阳率，表明实际是正样本预测成正样本；
FP (False Positives)为假阳率，表明负样本预测为正样本。

F1 (F1-Measure)为精确率和召回率的调和均值，表达在精确率和召回率都最高的情况下，取得平衡，其定义为

为了比较CIPG对传统IPG技术的改进效果，本识别实验进行了基于幅值信息vs基于幅值+相位信息的对比识别实验。为此，本文建立了相应的幅值混淆矩阵和幅值+相位混淆矩阵，分别如图6(a)、图6(b)所示。

4.4 吞咽事件识别结果

表1为基于幅值信息与基于幅值+相位信息的吞咽事件识别对比实验结果。在基于幅值信息的吞咽事件识别实验中，干咽、喝水、吃面包、吃酸奶、咳嗽的精确率P分别为82.0%, 90.0%, 85.0%,87.0%和91.3%，F1的值均大于70.0%，图6(a)所示的混淆矩阵表明GoogLeNet网络在最后一次迭代之后的精确率高达86.1%(图6(a)右下角)；
在基于幅值+相位信息的吞咽事件识别实验中，5种吞咽事件的精确率P分别为93.4%, 94.7%, 97.1%, 96.9%和100.0%，F1的值均大于90.0%，图6(b)所示的混淆矩阵表明GoogLeNet网络在最后一次迭代之后的精确率高达95.7%(图6(b)右下角)。通过上述对比实验结果可以看出，本文提出的基于幅值+相位信息的识别指标优于基于单一幅值信息的识别方法，证明本文提出的CIPG技术优于传统的IPG技术。

表1 吞咽事件识别对比实验结果(%)

图6 用于吞咽事件识别的混淆矩阵对比

表2对比了本文与文献中基于不同传感器及智能算法的吞咽识别实验效果，可以看出本文提出的方法具有更高的识别精确率。

表2 不同的吞咽事件识别方法性能对比

本文提出了一种基于整周期数字锁相放大原理的复阻抗咽造影(CIPG)检测方法，该方法巧妙利用了整周期采样周期信号的计算特性，在数字IQ解调计算过程中自动消除了高频分量，大大降低了传统数字锁相放大器对低通滤波器的设计要求，且只需一个信号周期即可实现完整的IQ解调，大大提高了数字锁相放大的速度；
研制了基于FPGA的CIPG检测系统，该系统可动态描记吞咽过程的复阻抗(阻抗幅值+相位)信息(每秒高达1000次复阻抗测量)；
设计了基于连续小波变换(CWT)和GoogLeNet相结合的吞咽事件智能识别算法，吞咽对比识别实验表明，仅利用阻抗幅值信息时的吞咽事件识别准确率为86.1%，而同时利用阻抗幅值和相位信息时的识别准确率达到了95.7%，后者的准确率高于其他算法。本文的研究证实了CIPG检测技术和吞咽事件智能识别算法的有效性与优越性，后续研究将着眼于针对吞咽障碍患者的吞咽功能评估实验，即利用CIPG系统对特定人群进行吞咽功能连续监测，建立相应的吞咽障碍风险评估模型，最终形成一套基于CIPG检测与智能算法的吞咽障碍早期筛查方法。