基于多模态学习的心律失常诊断方法研究
摘要
心血管疾病的高发病率与死亡率备受社会关注，其中心律失常作为心血管疾病的常
见症状之一，对其进行准确地诊断十分重要，可以有效预防心血管疾病的发生。然而，
人工诊断心律失常存在漏诊、误诊和效率低等问题，因此，开发一种智能心律失常诊断
算法具有重要研究价值和社会意义。目前已有的心律失常智能诊断算法主要基于心电图
信息进行分析，但是心电图数据所包含的患者信息相对有限，难以模拟医生的完整诊断
过程，在实际应用中具有一定的局限性。本研究采用多模态机器学习技术，综合分析患
者的多种检查数据，包括心电图、生化检查、个人体征信息和超声心动图检查所见数据，
以实现对患者心律失常情况更加精准的诊断。本文的主要工作可分为以下几个方面。
针对没有开源多模态心律失常数据集的问题，采用回顾性研究的方式，使用医院的
脱敏既往病历构建包含心电图、超声心动图报告、生化检查数据、体征信息的多模态心
律失常数据集。
针对心律失常多模态数据集构建过程中心电图数据存在的高噪声问题，提出基于生
成对抗网络的心电图波形提取方法，生成器网络以端对端的方式直接从原始心电图数据
中提取心电波形。基于有监督学习的机器学习方法需要对数据集进行标注处理，对心电
图数据中的心电波形进行标注是一件费时费力的工作，并且数据标注的精度会影响后续
模型的训练效果。为了减少对心电图数据标注的依赖，采用仿真数据生成方法来生成仿
真数据，进而完成模型训练。与基线算法相比，提出方法的骰子相似系数和交并比分数
分别从0.851和0.741提升至0.879和0.786，达到了人工标注的平均水平。此外，相对
于基线方法，本文提出的方法不需要对数据进行预处理操作，在心电图波形提取速度方
面得到大幅度提升。
针对心律失常诊断困难的问题，提出一种基于多模态学习的心律失常诊断模型。使
用深度学习模型分别提取患者不同类型检查数据的深层特征，通过特征融合的方式，对
提取的特征进行多模态融合，从而实现心律失常的自动化诊断。相对于现有的研究，提
出的模型能够综合更多的患者信息，实现更加精确的诊断效果。通过实验验证与分析，
提出的多模态诊断模型在测试集上的F1值、精确率和召回率上均得到了明显的提升。
此外，对模型进行消融实验验证了多模态学习在心律失常诊断中的有效性。
关键词：多模态学习；心律失常诊断；生成对抗网络；心电图；波形提取
基于多模态学习的心律失常诊断方法研究
Abstract
Thehighincidenceandmortalityrateofcardiovasculardiseaseshaveattractedpublic
attention.Amongthem,cardiacarrhythmiaasacommonsymptomofcardiovasculardisease,
accuratediagnosisisveryimportant,whichcaneffectivelypreventtheoccurrenceof
cardiovasculardiseases.However,manualdiagnosisofcardiacarrhythmiahasproblemssuch
asmisseddiagnosis,misdiagnosis,andlowefficiency.Therefore,developinganintelligent
cardiacarrhythmiadiagnosticalgorithmhasimportantresearchvalueandsocialsignificance.
Currentlyexistingintelligentdiagnosticalgorithmsforcardiacarrhythmiamainlyrelyon
analysisofelectrocardiogram(ECG)data.However,theinformationinclude