单词和短语的分布式表示和他们的组合性.docx

单词和短语的分布式表示和他们的组合性 文摘 最近推出的Skip-gram模型是一种有效的方法来学习高品质的分布式向量表 示，它捕捉了大量num-ber精确的语法和语义词的关系和方法。在本文中我们提 出几个扩展，提高质量的向量和训练速度。 通过频繁的二次抽样，使我们的学习 得到显著加速同时也学更多的定期字表示。我们还描述了一个简单的 alterna-tive 层次，softmax称为负采样。 词表示有着特定的局限性，他们无法代表习惯用语。例如，“加拿大”和“空 气”不能容易地组合以获得“加拿大航空公司， 通过这个例子中，我们提出了用 于查找文本短语的简单方法，这个便使得学习良好的向量表示和为数百