深度学习在自然语言处理的应用v.pptVIP

* 探讨与思考 与CRF的比较及区别与联系 CRF:线性 VS DL:非线性 CRF:高维离散特征 VS: DL:低维连续特征 结论：非线性模型对于低维连续特征有效，对高维离散特征无效 DL在推荐系统方面应用方法的思考 不成熟的初步思路 我个人看好DL在NLP方面的作用 与传统方法比有明显优点 发展初期：机会多、挑战大 NLP方向博士生的黄金时代 非常容易想到很多New Idea 一把新的锤子，很多钉子可以去敲 * 广告时间 * Thanks! * 不同粒度语言单元的表示-短语/句子/文档 方法一：单词词向量取和（Summrization） 很多情况都做此种简化处理 过于简单,但是仔细思考有一定道理 方法二：单词词向量加权求和 Huang’s Work 权重：类似于IDF 方法三：RNN * 不同粒度语言单元的表示-短语/句子/文档 方法四：Matrix-Vector NN * 不同粒度语言单元的表示-短语/句子/文档 方法五：卷积神经网络 * 大纲 深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考 * RAE(Recursive AutoEncoders) 推导短语及句子级别的Word Embedding表示 * Neural Tensor Networks 表达多个实体之间的关系 /两个单词之间某种操作 * Neural Tensor Networks * 卷积网络（ Convolutional Deep Neural Network ） 全局特征选择与融合/不定长转换为定长表示 * 大纲 深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考 * 语言模型 * 语言模型 Bilinear-LM * 语言模型 RNNLM * 深度学习用于中文分词-思路1 * 深度学习用于中文分词-思路2 * 深度学习用于中文分词 两者思路基本相同 基于字的Word Embedding+三层神经网络+BEMS标记序列分类 思路2引入全局的Viterbi解码（分类后处理） 效果：和主流分词算法效果接近 CRF/Maxent+二元特征 类似思路同样可以套用到POS/NER/Parser等场景 这是利用Word Embedding解决NLP问题最直观的NLP应用思路 考虑探索下非标准三层神经网络结构的复杂模型 * 深度学习用于知识挖掘 两大类问题 现有知识库的新知识推理 CYC,WordNet,FreeNet…… 目前的文献做法大思路基本一致 已知实体用Word Embedding表示 实体关系用Tensor Network建模 后向传播+SGD训练 从自由文本中挖掘结构化知识 * 现有知识库的新知识推理 * 现有知识库的新知识推理 最小化目标函数： 正例： 负例： * 从自由文本中挖掘结构化知识 整体结构 词法级特征 * 从自由文本中挖掘结构化知识 句子级特征抽取：卷积网络 * 机器翻译（通用模型） 最常见的通用模型：Encoder-Decoder Model Encoder Decoder 语义向量 * 机器翻译（Encoder-Decoder具体例子） ACL2014 Best Paper：Fast and Robust Neural Network Joint Models for Statistical Machine Translation 网络结构 语言模型 翻译模型 * 机器翻译-很多地方可以引入DL 单词对齐 短语对齐 短语重排序 语言模型 翻译模型 联合模型 翻译结果重排序 …………… 单词对齐 * 情感计算 核心的两个问题 句子级的Word Embedding表示 前面讲过这个问题 如何将情感倾向编码到各级Word Embedding中 半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中 * Paraphrase(整体框架) S1：The judge also refused to