跨语言词向量-赵一飞-2018.02.1.pdfVIP

ThenameoftheDepartmentBeijingForestStudio

北京理工大学信息系统及安全对抗实验中心部门名称

跨语言词向量

博士研究生赵一飞

2018年02月04日

内容提要

•基础回顾

•背景

•跨语言词向量简介

•基于词对齐平行语料的CWE训练

•GAN-CWE

•QA

2

基础回顾

基础回顾

基础回顾

•词向量回顾

–词向量、词嵌入、wordvector、wordembedding

–理论基础：词的意思就是其上下文

–训练方法：填词预测

4

基础回顾

5

基础回顾

banking[0.792,−0.177,−0.107,0.109,−0.542,…]

6

背景

背景

背景

•近似同构（ApproximateIsomorphism）

–Mikolovetal.,2013a

8

背景

•跨语言NLP存在的问题

–单语言下训练的模型无法适用于其他语言

–某些小语种语料匮乏，人工标注成本过高，NLP发展受限

–不同语种之间存在特征空间异构

•灵感

–通过探寻不同语种之间词的关系解决上述问题

9

跨语言词向量简介

跨语言词向量简介

跨语言词向量

•跨语言词向量/Cross-lingualword

embedding(CWE)

•跨越语种障碍的词向量

•跨语言词向量按照训练数据分类

–单词级别平行

–句子级别平行

–文档级别平行

–无需平行语料

11

单词级别平行

•单词对齐（Word-levelalignment）

–Dog/狗

–Cat/猫

•单词可比(Word-levelcomparable)

—Kitty/猫

12

句子级别平行

•句子对齐（Sentence-levelalignment）

–Thedogchasesthecat.

–狗追猫。

•句子可比(Sentence-levelcomparable)

—Thedogchases