基于深度学习的多模态肺结节数据分析及预测建模
摘要
肺癌作为全球发病率第二和死亡率第一的癌症，对人类健康构成严重威
胁。早期诊断和治疗是提高肺癌患者生存率的关键。肺结节是肺癌在影像上
的早期表现，因此准确分割和分类肺结节对肺癌患者的早期诊断至关重要。
融合肺结节影像和临床信息，建立基于深度学习的肺结节自动分割模型和多
模态良恶性分类模型具有重要意义，可为肺癌的早期诊断提供理论依据和有
效手段。
然而，基于深度学习的肺结节分割与分类仍面临着诸多问题和挑战：（1）
计算机断层扫描（ComputerizedTomography，CT）图像中肺结节大小和形态
差异大，传统的分割模型效果不佳；（2）传统深度学习模型可能关注非结节
的噪声导致过拟合；（3）在多模态分类模型中，临床信息不能有效的和影像
数据融合。因此，本研究致力于改进算法，以实现对CT影像中肺结节的精
准分割，并构建多模态分类模型，进行结节良恶性分类，以提高肺结节的早
期诊断率。本研究的主要成果包括：
（1）为了有效地分割出不同大小和形态的肺结节，本研究提出了结合多
尺度卷积注意力（Multi-ScaleConvolutionalAttention，MSCA）模块的Unet++
肺结节分割模型。对比了不同分割网络的效果，以及加入MSCA后的UNet++
的分割效果。实验结果表明，结合了MSCA的Unet++在分割肺结节方面表
现更佳。相对于Unet++的基线模型，Dice相似性系数（DiceSimilarity
Coefficient，DSC）提升了2.6%。
（2）为了使模型专注于更符合意义的区域，提高模型的泛化性，本研究
对传统的Mask注意力机制进行了改进，提出了一种基于浅层卷积神经网络
（ConvolutionalNeuralNetwork，CNN）学习权重矩阵的注意力机制模块
（MaskWeightAttentionModule，MWAM）。比较了不同基模型的预测效果，
通过消融实验选择效果最优的MWAM结构。实验结果表明，ResNet-50结合
MWAM模块后预测效果优于其他基线模型，网络模型在泛化性上有了提升，
在内部和外部测试集上都取得了更高的曲线下面积（AreaUndertheCurve，
-I-
AUC）、敏感性和特异性。此外，梯度加权类激活映射的热力图展示，结合
MWAM之后，模型更加关注于结节及其周围区域。
（3）为了更充分地融合图像特征与临床信息数据，本研究提出一种改进
的降噪自编码特征提取模型，通过对传统自编码器进行改良，在多模态数据
上实现更有效的特征融合。实验结果显示，相对于直接将临床信息数据嵌入
到CNN的全连接层中，这种方法在内部和外部测试集上表现出更高的AUC，
达到了0.968。
综上所述，本研究围绕CT图像肺结节的精准分割与良恶性诊断构建了
一个分割模型和一个多模态分类模型，显著提高肺结节诊断的准确性，减少
误诊和漏诊的风险，为实现肺癌的早期诊断提供了坚实的理论基础和有效的
手段。
关键词肺结节；深度学习；多模态数据融合；肺结节分割；良恶性分类
-II-
MultimodalLungNoduleDataAnalysisand
PredictiveModelingBasedonDeepLearning
Abstract
Lungcancer,rankingsecondgloballyinincidenceandfirstinmortality,poses
aseverethreattohumanhealth.Earlydiagnosisandtreatmentarecrucialfor
improvingthesurvivalrateoflungcancerpatients.Pulmo