基于多类型语音数据的帕金森病辅助检测方案研究与设计.pdfVIP

摘要

帕金森病在病程早期会出现无法稳定发音、声音质量减弱等语音障碍症状。为分析受试

者的言语能力，专家基于上述生理现象设计了包括持续元音、重复音节以及情景对话在内的

多类型语料。许多研究人员采用机器学习技术分析受试者朗读上述语料的语音，成功开展了

基于语音的帕金森病辅助检测。但由于语音样本易受采集环境差异、个体差异、受试者母语

语种差异等非病理因素的影响，给机器学习模型带来了更多的混淆因素。导致模型的检测准

确率下降，且无法适用于跨语种场景下的检测。因此，有必要研究和设计更加高效稳定的病

情检测模型，去除非病理因素的影响，服务分布更加广泛区域的人群。

针对当前单类型语料语音无法全面地反映受试者的发声状况，且易受采集环境差异、个

体差异等因素影响，导致模型误判。本论文首先分析了多类型语料获得的多源语音数据，能

够提供更加全面的病理信息，有助于去除非病理性因素的影响。接着为充分利用基于多类型

语料获得的多源语音数据，本论文提出一种用于帕金森病辅助检测的多源语音信息融合模型。

模型通过多个支路分别学习各单源语音数据中的特有信息，以及共有信息，从而全面提取多

源数据所携带的病理信息。为实现多源语音数据中的信息交互，本论文所提模型引入多头注

意力机制进行更细粒度的信息融合。为进一步确保特有信息和共有信息的提取，模型将对特

有信息和共有信息实施正交约束，实现更好地提取病理信息。在自采数据集上的多个对比实

验显示，所提模型在帕金森病检测的准确率、敏感度和F1分数等各项性能指标上均优于基于

单源语音数据的模型；同时，共有信息与特有信息的有效整合，也使得所提模型展现出比其

它信息融合模型更好的性能。

当前帕金森病语音数据集具有小样本量、受试者来源单一语种人群等特点。同时已有研

究也发现不同语种人群受发音习惯差异的影响，不同语种语音数据的概率分布不一致。为避

免语种差异带来的影响，导致模型无法在跨语种场景下发挥应有的性能，本论文提出一种基

于迁移学习的跨语种检测模型。首先，模型将自注意力编码器和多层神经网络级联组成特征

提取器，用于提取语音的高阶语义表达并将语音特征解耦为两个向量；然后，模型设置了双

重迁移对抗训练模块，特征提取器通过其输出的两个向量分别参与两个目标任务不一致的对

抗训练，显式地分离域不变病理信息和域信息。最终，实现减少多语种语音数据间的差异，

提取跨语种语音数据中的域不变病理信息。通过在自采数据集以及国外公开的MaxLittle数据

集上进行模型训练，实验结果表明所提模型在跨语言的场景中仍能实现较高的检测准确率，

相较于传统的模型能够在准确率、敏感度和F1分数等各项性能指标上均有提升。

关键词:帕金森病，语音信号处理，深度学习，多源信息融合，跨语种分析

Abstract

Parkinsonsdiseasepresentsearlyinthecourseofthediseasewithspeechdisorderssuchas

unstablepronunciationandweakenedvoicequality.Inordertoanalyzethesubjectsspeechabilities,

expertshavedesignedvarioustypesoflanguagematerialsbasedonthephysiologicalphenomena

mentionedabove,includingsustainedvowels,repeatedsyllables,andcontextualdialogues.Many

researchershaveemployedmachinelearningtechniquestoanalyzethespeechofsubjectsreadingthe

aforementionedlanguagematerials,successfullyconductingspeech-basedParkinsonsdisease

detection.However,theinfluenceofnon-pathologicalfactorssuchasdifferencesinthecollection

environ