词向量的语义学规范化.docVIP

词向量的语义学规范化 　　摘 要：采用深度学习方法学到的词向量，与语言学义素还有距离，向传统语义学义素系统靠拢是有意义的。这里提出了避让原则，和提取向量或“呼唤”向量，相应地，概率语言模型有所改变。本文找到了两种规范词向量的方法：学习中注入自组织核心和学到词向量的线性变换矩阵，把向量分量排列规范化，表示出名字。讨论中涉及语言语义学对词向量学习处理的各种启发。 　　关键词：人工智能；深度学习；自然语言处理；词向量；语义 　　中图分类号：H030 文献标识码：A 收稿日期：2016-02-01 　　一、相关工作 　　本文最后所列的参考文献[2]曾经提出模式自动机想法，模式是满足关系的一组要素：f（x1，x2，...，xn）。模式自动机是模式的变动： f’（x’1，x’2，...，x’n）=F[f（x1，x2，...，xn）]。模式关系满足时有不动点。神经元网可看成模式： V=W.U 。 对矩阵和向量调整方法和终止条件看成模式自动机。每个可变项有“信息硬度级”：“目标，已知，假设，未知”。学习推理过程中，“已知”的项作为知识不变，而要求可变项随自己变动，这就成为自组织核心。 　　参考文献[3]、[4]、[5]是对词向量的研究及综述，通过不同的参数和语料库，可以学习50～1000维的词向量，能进行语义计算，如：V（罗马）=V（巴黎）-V（法国）+ V（意大利）。依照语义学，词向量应该能够表示义素，但义素不知名，组合而不分离，顺序随机，没有语义轴――对立关系。 　　参考文献[7]研究了词义联合，如果两词的向量是a、b，分别有矩阵A、B，联合词义向量是c=f（B.a+A.b），解释是b词，对a词进行一些修饰变化，反之亦然。 　　参考文献[6]给出机器翻译方法，利用词向量之间空间关系守恒原理，对两种语言分别进行无监督学习，提供部分双语对照语料，学习源语言到目标语言的线性变换V（d）=W?V（s），之后对源语言单词的向量做变换，在目标语言向量空间找到余弦最近向量，相应词就是翻译结果。 　　二、语义避让、呼唤向量和新模型 　　1.语义避让 　　描述词义的向量的各个特征应该是互相补充关系，不应混淆，所以应该各安其位。比如，描述实质的名词和修饰名词的形容词，应在同一向量中，各有一组向量分量，不是组合的，这就是语义避让。语义学里义素表达一个单独特征，以“+”表示“有”，以“-”表示“相反”。这样可以清晰地、正交地容纳不同语义信息。 　　语义向量内部义素应该避让，大概的结构是：特征段+名词段+动作关系段+宾语段+间接宾语段。逻辑上，可有下面分段的抽象示意性结构： 　　[adj （ attributes ）（adv：degree）+ 　　N（kind0，subject？number） + V（what action or have what relation）（preposition：structure）（adv： how，when，where）+object1（kind1）+object2（kind2）+ bias ] 　　对名词向量，如果可做宾语，kind1、kind2是kind0的摘要，这是冗余部分。相应地，动词要求宾语，可在呼唤向量对应位置为1 。如果知道是主格，如英文I 、he，object 段是0 。如果是宾格，N的是否主语维是0 。介词与结构相关，利用简明的语法规律，可以从不同词向量取N、object1、object2段。 　　即使做了规范化，有些义素成为知名的，还可保留很多不明确知道含义的信息，这样能使微妙信息得到表示。 　　bias 是偏置项，可不限制在[-1，1]区间内。如果是负数，绝对值较大，则说明结合中要求严格，不成立机会大；如果是正数，说明结合要求宽松。而呼唤向量尾上总是1 。 　　2.呼唤向量 　　现在的向量学习是通过向量点乘衡量结合概率的，这样，向量内容实际上应该是自身携带信息和与其他词结合度信息的混合。如果实现了上述避让，本该结合的单词之间，非零分量的位置不同，没有相交点，这才有必要结合互相补充修饰。因为语义表达清晰的词向量之间交叉少，计算点乘是不能反映结合性的，这就要求在作为主词和作为其他词语境时，使用不同的向量。 　　我们把在可以修饰自己、可以修饰对方、互相不冲突的义素位置取1的向量，称作“呼唤向量”，或“提取向量”。它呼唤相应的信息，在进行词结合时，通过按位乘，提取可结合信息。对词w，有Vs（w）和Vc（w），Vs（w）是语义向量，Vc（w）是呼唤向量。定义按位乘算符为双点“ ..” ，如 Vs（x）..Vc（y）提取能修饰单词y的单词x中信息。 　　我们与文献[7]对 A?b+B?a 进行词向量结合的语义解释不同，认为本词要表示哪些信息与自己相容，并被提取出来修饰自