基于多模态表示学习的阿尔兹海默症识别模型研究.pdf

摘要

阿尔兹海默症是最常见的老年疾病，俗称为老年痴呆。其治疗难度大、周期

长且费用高昂，目前还未找到有效的治愈方法。在病理学中研究发现，阿尔兹海

默症在被确诊之前具有较长的潜伏期，称为轻度认知障碍阶段。此阶段若及时被

发现并加以科学的预防干预和规范的辅助治疗，可以极大的减缓其转化为阿尔兹

海默症的速度和降低其转变为阿尔兹海默症的几率。因此如何科学且精准的诊断

出处于轻度认知障碍阶段的患者对于阿尔兹海默症识别的研究具有重要意义。近

年来，深度学习的飞速发展为阿尔兹海默症识别的研究提供了一个新的视角。本

文主要基于深度学习技术使用语音模态的NCMMSC2021数据集和图像模态的

PET2020数据集，从以下两个方面来开展多模态表示学习的阿尔兹海默症识别的

研究：

（1）基于语音模态的阿尔兹海默症识别研究。本文在前人相关的研究基础

上，从语音模态数据对阿尔兹海默症识别进行了更全面的探究，选用声谱图、梅

尔声谱图和梅尔频率倒谱系数作为音频特征，针对单一音频特征及其特征融合情

况，利用基于不同预训练网络设计的分类模型展开了研究。

（2）基于图像模态和集成学习的阿尔兹海默症识别研究。本文提出了利用

语音特征转化为图像的方法和利用预训练模型来研究阿尔兹海默症的识别。在此

基础上，对转化得到的图像进行了简单有效的去噪处理。此外，鉴于阿尔兹海默

症识别研究中往往数据较难获取，且数据规模偏小，在大规模预训练模型中可能

会存在过拟合的问题。本文采用了集成学习的方法来降低过拟合的影响，通过使

用投票集成学习，识别性能得以进一步提升。

本文所提出的方法在NCMMSC2021数据集中取得了0.9244的准确率，远

高于数据提供方发布的基线模型0.7980的准确率，也优于百度研究院0.8992的

准确率；该方法在PET2020数据集中也取得了0.9950的准确率，显著优于数据

提供方发布的基线模型0.8640的准确率。这些实验结果充分证明了本文所提出

方法的优异性和普适性。为加强理论研究与工程实践的紧密联系，考虑到当前阿

尔兹海默症的临床诊疗现状，最后本文将所提出的模型设计成阿尔兹海默症识别

系统，并对系统的设计理念、实现方法、前端主要界面进行了阐述。

关键词：深度学习；语音模态；图像模态；阿尔兹海默症；集成学习.

I

Abstract

Alzheimersdiseaseisthemostcommonseniledisease,commonlyknownas

seniledementia.Sinceitstreatmentisdifficult,longperiodandexpensive,thereisno

effectivecuresofar.StudiesinpathologyhavefoundthatAlzheimersdiseasehasa

longincubationperiodbeforediagnosis,calledmildcognitiveimpairmentstage.At

thisphase,ifitcanbetimelydiscoveredandhandledwithscientificprevention

interventionandstandardadjuvanttherapy,itwillgreatlyslowdownthespeedand

probabilityofitstransformationintoAlzheimersdiseasesimultaneously.Therefore,

howtoscientificallyandaccuratelydiagnosepatientsatthestageofmildcognitive

impairmentisofgreatsignificancefortheresearchofAlzheimersdisea