自然语言处理-02词向量学习.pdfVIP

词向量

01

WordVector

02层级softmax

/ContentsSoftmax

负采样

03

NegativeSampling

词向量

WordVector

词向量

WordVector

深度学习应用于自然语言处理之前，传统的词表达通常采用one-hot方式表达

将

自[0,0,0,0,0,0,0,1,0,……，0,0,0,0,0,0,0]1.向量维度取决于语料库中

然[0,0,0,0,1,0,0,0,0,……，0,0,0,0,0,0,0]词数，导致维数

语宁波[0,0,0,1,0,0,0,0,0,……，0,0,0,0,0,0,0]2.向量之间相互独立，看不

言[0,0,0,0,0,0,0,0,0,……，1,0,0,0,0,0,0]出关联关系

转

化词向量可以将one-hot编码转化为低维度的连续值，也就是稠密向量

成

机

器

理1.词向量中语义上相近的

解词距离接近

符2.词向量中语法上相近的

号词距离接近

词向量

WordVector

计算相似度作为神经网络的输入句子/文档表示

➢寻找相似词➢文本分类

➢无监督句子/文档表示

➢信息检索查询扩展

➢知识推演➢分析➢有监督句子/文档表示

➢文档判别

词向量学习模型

WordVectorLearning

神经网络语言模型

WhattoResearch

词向量是在训练语言模型的同时获得的，而语言模型就是判断给定字符串为自然语言的概率P(w1，w2，...，wn)，

其中w1，w2，...，wn依次表示字符串中的各个词。如果P大于某个阈值，就认为该字符串为自然语言。

n-gram

语言模型

从下往上依次为该模型的输入层、隐藏层和输出层。

（1）首先根据训练集生成词典D；