一种基于类别先验信息的问题检索语言模型.pdf

第28卷第4期 中文信息学报 V01．28，No．4 Jul．，2014 2014年7月 OFCHINESEINFORMATIONPROCESSING JOURNAL 文章编号：1003—0077(2014)04—0098—06 一种基于类别先验信息的问题检索语言模型 吉宗诚1‘2，王斌1 (1．中国科学院计算技术研究所，北京100190； 2．中国科学院大学，北京100049) 摘 要：社区问答系统已经积累了大量的以层次类别结构进行组织的问题答案对。为了能够重用这些非常宝贵的 历史问题答案对资源，设计出一个非常有效的问题检索模型至关重要。在该文中，我们在语言模型建模的框架下 提出了一种新的基于问题类别先验信息的方法来提高相似问题检索的性能。特别地，我们将叶子类别语言模型看 作是Dirichlet超参来对一元语言模型的参数进行加权，从而提出了一种新的基于类别先验信息的语言模型。该方 法具有严格的数学推导依据。在来源于Yahoo!Answers的真实的大量数据集上做了实验比较和分析，实验结果 表明我们提出的方法比之前简单的线性插值的方法具有非常显著的性能提升。 关键词：社区问答；问题检索；类别；类别先验信息；语言模型 中图分类号：TP391 文献标识码：A A ModelBasedon Priorfor Retrieval Language Category Question Binl JIZongchen91～，WANG of of 1001 (1．Institute AcademySciences，Beijing90，China； ComputingTechnology，Chinese ofChinese of 100049，China) 2．University AcademySciences，Beijing havebeen archivesof Abstract：CommunityQuestionAnswering(CQA)servicesbuildinguplarge question—answer are intoa of reusetheinvaluablehistorical pairs，whichorganizedhierarchycategories．To question—answerpairs，it effective this anovel based isessentialto QuestionRetrieval(QR)models．Inpropose approach develop paper，we the on of withinthe frameworkfor QR