基于深度网络术前评估膀胱癌患者淋巴结状态的模型构建

王丽鹃，刘自晓，黄浩霖，胡 伟，汪 洋，刘 洋，秦卫军，卢虹冰，徐肖攀

(空军军医大学：1军事生物医学工程学系军事医学信息技术教研室，2西京医院泌尿外科，3西京医院放射科，陕西 西安 710032)

膀胱癌是泌尿系统常见的恶性肿瘤，位居全球男性癌症发病率第6位，病死率第9位[1-2]，而淋巴结转移是膀胱癌预后差重要原因[3-4]，一旦发生盆腔淋巴结转移，患者5年生存率将大大降低[淋巴结阳性患者5年生存率(15%～31%)vs淋巴结阴性患者5年生存率(>60%)][5]，且淋巴结转移病例复发的概率远超阴性病例[淋巴结阳性患者复发概率(80%)vs淋巴结阴性患者复发概率(30%)]。此外，术前淋巴结评估对治疗策略的选择，特别是对于术前是否采用新辅助化疗和术中决定淋巴清扫范围等具有指导作用[4,6]，因此，准确预测淋巴结状态对于患者治疗策略的制定及预后评估具有重要意义。

近年来随着机器学习方法的快速发展，构建基于影像的术前评估淋巴结转移的模型得到广泛关注[7-11]。针对膀胱癌淋巴结转移，国内中山大学林天歆团队分别基于对比增强计算机断层扫描(contrast enhanced computed tomography，CECT)和磁共振成像，构建了影像组学列线图[12-13]，用于评估及预测膀胱癌患者淋巴结转移，其中基于CECT的模型在训练集及测试集的受试者工作特征曲线下面积(area under the receiver operating characteristic curve，AUC)分别达到0.926 2和0.898 6[12]，显示出良好的评估性能，表明影像组学在预测膀胱癌患者淋巴结转移方面具有潜力。构建列线图模型需要专业的医生勾画肿瘤区域，引入了更多的人为因素，由于影像中还蕴含着大量非人工特征有待深度挖掘，对其充分利用或可进一步提高诊断效能。因此，本文拟采用多中心公共数据，研究基于膀胱癌患者术前CECT与深度学习框架构建预测模型，从影像中充分挖掘与淋巴结转移相关的影像特征，实现膀胱癌淋巴结转移的准确预测。

1.1 材料

从癌症影像档案数据库收集到来自多中心的120例膀胱癌患者的影像数据。通过数据排除标准：①MRI等其他模态影像(n=14);②非增强CT和质量差的影像(n=6);③N分期不明确影像(n=14)；
④造影剂充盈膀胱影像(n=6)，最终共纳入来自4个中心的80例膀胱癌患者CECT数据，其中男性63例，女性17例；
<60岁13例，≥60岁67例；
淋巴结阳性患者27例，淋巴结阴性患者53例。数据采集所使用的仪器来自4家公司，分别是东芝、飞利浦、通用电气和西门子，采集参数：球管电压100～140 kV；
电流95～795 mA；
旋转时间0.5～1.5 s；
分辨率320～500 dp；
层厚1.25～2.5 mm，影像矩阵为512×512。

本研究使用的电脑型号为联想30DJA32SCW，系统为Windows 10，服务器配置为：Intel(R)Core(TM)i7-10700 CPU @2.90GHz；
GPU：GEFORCE RTX 3080；
RAM：32 GB，主要软件模块为Pytorch 1.11.0和Anaconda 4.12.0。

1.2 方法

为了扩大数据集，经过大量尝试本实验最终从每个患者的三维CECT影像中提取8层图像，并剔除部分患者中无膀胱组织的层，然后按照7∶3的比例将数据随机划分为训练集和测试集。考虑本实验数据较少，因此在模型训练前对训练集进行了扩增，采用循环位移和添加高斯噪声两种方法，最终训练集的数据扩增至3 321幅。测试集使用原始数据175幅。

1.2.1 窗口位置调节 由于采集的实验数据来自不同的CT设备，且不同组织结构的CT值变化范围较大，为了获得更多与膀胱癌患者淋巴结状态相关的细节，需要对CECT图像进行窗宽和窗位调整，以获得最佳灰度窗口[14-15]。医学上腹部CT检查窗宽常设定为300～500 HU，窗位为30～50 HU，本实验设置的窗宽为400 HU，窗位为40 HU。具体转换公式：最小窗口位=(2×窗位-窗宽)/2.0+0.5；
最大窗口位=(2×窗位+窗宽)/2.0+0.5。计算出最后的窗口范围是(-397.5，240.5)HU，为了方便后续实验，进一步将相应的CT值转化成0～255的灰度值(图1)。

A：原始图像；
B：调节窗口位置后的图像。

1.2.2 模型构建 为有效提取膀胱癌患者CECT图像的特征，构建基于深度学习的淋巴结转移预测模型，本研究采用预训练的ResNet18网络(图2)，该网络带有一个残差学习分支结构，可以将上一层的输出映射并堆叠到下一层，且不会增加额外的参数和计算复杂度，同时还解决了随着网络层数增加带来的梯度消失问题。为了更好地使用预训练权重，本实验通过中心剪裁、尺寸缩放等操作将图像调整为224×224像素，并且为了提高模型的泛化性和鲁棒性，在网络中还对训练集的图像进行了中心剪裁和水平翻转等数据增强结构。

图2 ResNet18深度网络框架

为提高深度网络对膀胱肿瘤、瘤周区域及淋巴结区域的关注度，有效提取相关区域的影像特征，减少非目标区域特征对网络预测效能的影响，本文在ResNet18网络框架的基础上，引入通道注意力，并对比分析了在不同网络中通道注意力机制和空间注意力机制在膀胱癌淋巴结转移预测中的效能,证明了通道注意力机制的有效性。

最后，模型中采用的优化器为适应性矩估计优化器，初始学习率设置为0.000 01。该优化器可对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长。

2.1 四模型不同注意力机制结果分析

由于本研究为多中心小数据集，因此在构建模型时首先对4种深度卷积神经网络(ResNet18、VGG19、ShuffleNetV2、DensNet121)的基础模型结果进行了对比(图3)，发现ResNet18和VGG19的预测效能较好，敏感度和特异度均在90%以上，表明这两个网络判断膀胱癌患者淋巴结转移的假阳性率和假阴性率较低。另外由于注意力机制能使网络聚焦于局部信息，定位与任务相关的感兴趣区域，因此，为了进一步改善网络对膀胱癌淋巴结转移预测的综合性能，在本实验中构建了基于通道和空间注意力机制的模型，以验证两种注意力机制对模型性能改善的贡献。首先在引入空间注意力机制的模型中发现，ResNet18、ShuffleNetV2、DensNet121这3个模型综合性能有所提升，表明空间注意力机制能有效关注与膀胱癌淋巴结转移相关的区域。接下来本实验对比了通道注意力机制对预测结果的影响，通过对不同的通道增强或者抑制，得到每一个特征通道的权重，从而获得重要特征通道，聚焦感兴趣区域，最终发现引入通道注意力机制的4个模型的综合性能都有所提升，特别是ResNet18模型的AUC提升5%，敏感度提升4%，特异度提升3%，准确率提升3%。最后在模型中同时引入通道和空间两种注意力机制，发现模型的综合性能整体变差，尚不如未引入注意力机制的模型，这表明在多中心小样本数据集中同时引入通道注意力机制和空间注意力机制可能会使模型参数冗余并过于强化特征，最终导致网络整体性能变差(表1)。结果表明，本研究构建的基于ResNet18的通道注意力机制模型可以有效改善影像学评估术前敏感度和特异度的问题，有望解决部分患者分期过高或者分期不足的问题。

表1 4种模型在测试样本中的综合预测效能

A：基础模型；
B：加入空间注意力机制模型；
C：加入通道注意力机制模型；
D：加入空间和通道注意力机制模型。ResNet18、VGG19、ShuffleNetV2、DensNet121：4种深度卷积神经网络。

2.2 损失函数对比

通过对交叉熵损失函数和焦点损失函数的性能进行比较，发现焦点损失函数在训练网络时对预测淋巴结转移概率有更小的偏差，表明在多中心小样本数据集中使用焦点损失函数可以较好地解决数据不平衡的问题，从而改善多中心小样本数据集的分类效能(图4)。

图4 2种损失函数在模型中的表现

本研究构建的基于通道注意力机制的ResNet18网络模型可以有效改善影像学在术前评估膀胱癌淋巴结转移的敏感度和特异度，为解决患者N分期过高或分期不足的问题奠定了基础。相较影像组学模型，深度学习网络可有效避免感兴趣区域的勾勒及特征提取等问题，并且在引入通道注意力机制后，深度网络比林天歆团队构建的传统网络在AUC上提升了近5%，表明本研究构建的基于通道注意力机制的卷积神经网络在术前准确评估膀胱癌患者淋巴结状态的有效性和准确性方面有巨大潜力，可为淋巴结微转移的检测、指导手术决策和辅助治疗提供重要信息，特别是盆腔淋巴结清扫范围的确定和新辅助化疗的使用等。

本研究还存在一些不足之处，首先，数据集过小，且缺少N3期的样本，这将导致模型的泛化性能不足，后期还需要对该模型进行更大样本量的多中心验证。其次，在数据预处理时，对数据集进行了扩增，这可能会高估模型的性能。另外，该模型中只使用了患者的CECT影像信息，尚未引入临床因素，如临床各项检测指标等，其加入有望进一步提升模型的性能。