一种结合有监督学习的动态主题模型一种结合有监督学习的动态主题模型.pdf

北京大学学报(自然科学版) 第 5l卷 第 2期 2015年 3月 ActaScientiarumNaturalium UniversitatisPekinensis，Vo1．51，No．2(Mar．2015) doi：10．13209~．0479—8023．2015035 一 种结合有监督学习的动态主题模型 蒋卓人 陈燕 ， 高良才 汤帜 刘晓钟。 1．大连海事大学交通运输管理学院，大连 116026；2．北京大学计算机科学技术研究所。北京 100080； 3．DepartmentofInformationandLibraryScience，IndianaUniversityBloomington，Bloomington，IN 47405； 十通信作者，E—mail：chenyan — dlmu@163．tom 摘要 针对传统主题模型存在的不足，提出一种新 的结合有监督学习的动态主题模~(SupervisedDynamic TopicModel，S-DTM)。该模型不仅能够随时间的变化对语言进行动态建模，而且结合有监督学习技术，在主 题变分推理 中加入标签约束，从而建立主题与标签之间的映射关系，提高主题的表达解释能力。通过在一个 跨越 25年 “以 自然语言处理领域的中文期刊论文为主导”的中文语料库上 的实验，证明该模型相较于静态的 有监督主题模型和无监督的动态主题模型，具有更好的语义解释概括能力，能更准确地反映文档的主题结构， 更精确地捕捉主题一词汇概率分布的动态演化。 关键词 有监督学习；动态主题模型；变分推理 中图分类号 TP18 A SupervisedDynamicTopicM odel JIANG Zhuoren1CHEN Yan1llGAO Liangcai2TANG Zhi2LIU Xiaozhong3 ， ， ， ， 1．CollegeofTransportationM anagement，DalianMaritimeUniversity,Dalian116026；2．InstituteofComputerScience Technology PekingUniversity，Beijing100080；3．DepartmentofInformationandLibraryScience，IndianaUniversityBloomington，Bloomington， IN47405；十Correspondingauthor,Em·ail：chenyan— dlmu@163．com Abstraet AninnovativeSupervisedDynamicTopicMode1fS—DTM)isdevelopedforovercomingthe1imitation oftranditionaltopicmodels．S—DTM modelsthetime—varyinglanguagedynam icsandiScombinedwith supervised learningtechnologybyaddinglabelrestrictionintopicvariationalinference．Itmakesthetopic．1abelmappingand improvestheinterpretabilityoftopics．A setofexperimentsisconductedonatwenty—five—year-spanningChinese journalpapercorpusthatismainlyfocusingonnaturallanguageprocessing．Experimentresultsshow that