基于多模态信息融合的在线医疗医生服务质量评价方法研究.pdf

摘要

近年来，互联网医疗发展迅速，市场规模已达上百亿元。然而，互联网医

疗平台在高速发展的过程中，也产生了一些问题：医生的服务质量参差不齐；

平台存在大量形式复杂、处理困难、难以定量的多模态数据。如何利用这些多

模态数据来提高对医生服务质量的预测效果，是在线医疗平台亟待解决的问题。

基于此，本文以好大夫在线网站的医生文本、图片以及音频等多模态数据

为研究对象，深入研究多模态信息融合与医生服务质量的关系。首先，本文设

计出一套医生服务质量评价指标体系，并从中选择患者评分、礼物数量、患者

数量作为医生服务质量的测度，之后本文将患者评分、礼物数量、患者数量进

行离散化处理，将其转化为多标签分类问题。其次，本文使用BERT模型提取文

频特征，并用LSTM模型进行分类，并评估模型的分类效果。之后，本文设计出

一种基于注意力机制的多模态数据融合模型，并将之前实验中提取的文本、图

像、音频特征向量输入到融合模型中进行分类。最后，本文将不同模型的分类

效果进行对比分析并得出结论。

本文的研究结果表明，相比于其他的医生服务质量测度，基于注意力机制

的多模态数据融合模型能够更好地对礼物数量标签进行分类，精确率达到0．92，

召回率达到0．90，Fl值达到0．91，说明医生多模态信息与礼物数量的相关度更

高。因此，医疗平台对医生服务质量进行评价时，应更多参考礼物数量指标。

本文通过对比实验，还发现基于注意力机制的多模态数据融合模型分类效果好

于其他单模态算法模型，说明医生多模态信息与医生服务质量相关度更高。因

此，在线医疗平台应鼓励医生更多地分享多模态信息，加强医生与患者的交流，

从而提高医生的服务质量，推动互联网医疗高质量发展。

关键词：在线医疗；多模态数据融合；多模态特征提取；深度学习

ABSTRACT

Inrecenthasthemarketsizehas

heaithcare

years，Internetdevelopedrapidly,and

reachedtensofbillionsoftheof

yuan．However,inprocessrapiddevelopment，Intemet

healthcarehasalsosomeofservicesvaries

generatedproblems：thequalityphysician

hasaamountofmultimodaldatathatisanddifficult

widely；theplatformlargecomplex

toandtoandthemultimodaldatato

processanalyzeimprove

processquantify．How

evaluationoftheservicesinintemethealthcareisan

qualityofphysicianurgentproblem

forIntemethealthcare

platforms．

Basedonthesistakesthemultimodaldataofand

this，thisdoctors’text，images

HaodfOnlinewebsiteastheresearchthe

audioofobject，andinvestigatesrelationship

betweenmultimodalinformationfusionandse