word2vec分享.pdf

word2vec Tylerwang 2015.4.30 Word2vec是什么 • word2vec是一个将单词转换成向量形式的工具。 通过转换，可以把对文本内容的处理简化为向量 空间中的向量运算，计算出向量空间上的相似度， 来表示文本语义上的相似度。 词向量 • 把自然语言中的一个词表示成一个向量 – One-hot Representation 例如： • “话筒”表示为[0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...] • “麦克”表示为[0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 ...] – 存在两个问题 • 维数灾难 • 词汇鸿沟：任意两个词之间都是孤立的，不能体现词和词之 间的关系 词向量 • Distributional Representation – 将词表示为： • 通过训练将每个词映射成K维实数向量，通过词之 间的距离（比如cosine相似度、欧氏距离等）来判 断它们之间的语义相似度。 • 具体表示为如[0.792, −0.177, −0.107, 0.109, 0.542, ...]，常见维度几十到几百 – 可解决“词汇鸿沟”问题 • 可以通过计算向量之间的距离（欧式距离、余弦距 离等）来体现词与词的相似性 又叫Word Represention”或Word Embedding 霍夫曼树 霍夫曼编码 词频越高，编码的长度越短，从根节点到相应词的路径越短 语言模型 • 判断一句话是不是正常人说出来的，用数学符 号描述为 – 给定一个字符串w1,w2,...,wt,计算它是自然语言的 p(w , w ,..., w ) 概率 1 2 t ，一个很简单的推论是 p (w , w ,..., w ) p (w ) p (w | w ) p (w | w , w ) ...p (w | w ,w ,..., w ) 1 2 t 1 2 1 3 1 2 t 1 2 t1 – 例如，有个句子大家,喜欢,吃,苹果 • P(大家，喜欢，吃，苹果)=p(大家)p(喜欢|大家)p(吃|大家, 喜欢)p(苹果|大家,喜欢,吃) T p(s)  p(w , w ,..., w ) p(w | Context ) – 简单表示为 1 2 T i i i1 • 计算p(w | Context ) 问题 i i 神经网络语言模型 神经网络语言模型 • 输入是向量，也会被更新，每次查询C矩阵 • 论文中输入向量间用catenation, word2vec 用sum • 输入层和输出层之间构建一层传递关系， 可更快传导输入word 的变化 • 可以选择双曲正切或者sigmoid 神经网络语言模型 • N: 词语window大小，当前词前后多少个词 • D: 词向量维度 • H: hidden layer节点数 • V: 词汇表vocabulary大小 • 复杂度：N * D + N * D * H + N *D * V + H * V • 第三第四项复杂度最高，word2vec去掉第 三项，优化第四项(用hs或者