概率主题模型.ppt

概率主题模型Probabilistic Topic Models 目 录 引言 TF-IDF模型 LSI模型（Latent Semantic Index，潜在语义索引） 概率主题模型简介 一元混合模型（Mixture of unigrams） PLSI模型（Probabilistic Latent Semantic Index, 概率潜在语义索引） LDA模型（Latent Dirichlet Allocation） 模型描述 抽取算法 TF-IDF模型 主要思想： 建立一个矩阵|V|*|D|, |V|词典中单词的个数，|D|语料库中文本的 TF：对于每一个词，在所有文本中出现的次数 IDF：包含这个词的文本数的倒数 贡献： 不足： 不对语义进行识别 存储空间、计算量非常大 长度不固定的文本 长度固定的矩阵 LSI模型（Latent Semantic Index，潜在语义索引） 奇异值分解： 对角矩阵 行代表一个词，列代表一个文档 概率主题模型 主要思想 文档是若干主题的混合分布 每个主题又是一个关于单词的概率分布 一元混合模型（Mixture of unigrams） 一元模型：每个文本的词语都是独立地从一个多项式分布产生 简单直观的词频概率模型，没有考虑文本的主题 一元混合模型（Mixture of unigrams） 首先选择一个主题z，然后根据条件多项式 独立地生成该文本的N个词语，每个文本的概率为： 这个模型只允许一篇文本有一个主题 p(z)是z的分布 p(w|z)可看作一个k×|V|的矩阵 一元混合模型（Mixture of unigrams） V = {Film, Music, Tax, Million, Student, Teacher, School｝，T = {Arts, Budgets, Education}. k = 3 p(w|z)是3×7矩阵，若p(w|z)的第1行表示主题{Education}， 这个主题的文本中{Student, Teacher, School}的词频会高些，该行的行向量所表示的分布 p(w|z)会在{Student, Teacher, School}附近出现峰值 若第2行表示主题{Budgets}，p(w|z)就会在 {TAX,MILLION}附近出现峰值 在生成一篇文档前先随机选出p(w|z)的第z行（根据分布p(z)）；再依次随机选出第z行的w1,w2,…, wN列（每次选取都根据分布p(w|z)）,这就生成了文本中的所有单词 PLSI模型（Probabilistic Latent Semantic Index, 概率潜在语义索引） 放弃了LSI所用的矩阵转换的方法，采用生成模型 引入了“潜在主题”—一个随机生成过程当中的潜在变量 PLSI模型（续） PLSI 是一个k*|D|矩阵 是先验概率：只建立在已见的训练集的基础上，训练集之外的未见文本，没有一个合适的先验概率 训练样本增加，矩阵的大小也线性增加，存在过度拟合问题 离散，不同主题之间在概率上是相互独立的 LDA模型（Latent Dirichlet Allocation） 非监督机器学习 识别隐含的主题信息 Dirichlet概率分布，连续分布，可以给未知文本分配属于某个主题集的概率，产生一个主题的集合 LDA模型（续） 假设有 个主题，所给文本中的第 个词汇 可以表示如下： ，潜在变量，表明第 个词汇记号 取自该主题 ，词汇 记号属于主题 的概率 ，给出主题 属于当前文本的概率 LDA模型（续） 表示对于主题 ， 个词汇上的多项分布 表示对于文本 ， 个主题上的多项分布 LDA模型（续） 文本上的主题分布 主 题 主题上的单词分布 单 词 文 本 LDA模型（续） LDA概率主题模型生成文本的过程： 根据泊松分布 得到文本的单词数目 根据Dirichlet分布 得到该文本的一个主题分布概率向量 对于该文本 个单词中的每一个单词 从 的多项式分布随机选择一个主题 从主题 的多项式条件概率分布选择一个单词作为 LDA模型（续） Choose parameter θ ～ p(θ);For each of the N words w:Choose a topic z ～ p(z|θ);Choose a word w ～ p(w|z