- 1、本文档共13页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
人工智能中的语义分析技术及其应用
一、人工智能语义分析技术
语义分析(SemanticAnalysis)是人工智能
(ArtificialIntelligence)的一个分支是自然语言处理技术的
几个核心任务涉及语言学、计算语言学、机器学习以及认知语言
等多个学科语义分析任务有助于促进其他自然语言处理任务的快
速发展。人工智能中的语义分析技术特别是深度学习
(DeepLearning)技术近年来发展迅猛已经在围棋对弈、自动驾
驶、图像识别、语音识别等多个领域取得了突破性进展。
语义分析指运用各种方法学习与理解一段文本所表示的语义
内容任何对语言的理解都可以归为语义分析的范畴。一段文本通
常由词、句子和段落来构成根据理解对象的语言单位不同语义分
析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章
级语义分析。一般来说词汇级语义分析关注的是如何获取或区别
单词的语义句子级语义分析则试图分析整个句子所表达的语义而
篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元
(可以是句子从句或段落)间的语义关系。简单地讲语义分析的
目标就是通过建立有效的模型和系统实现在各个语言单位(包括
词汇、句子和篇章等)的自动语义分析从而实现理解整个文本表
达的真实语义。
二、语义分析技术
第1页共13页
(一)基础技术(按照词语分析、句子分析、篇章分析来写)
分别从词汇级、句子级和篇章级三个层次描述语义分析相关
技术。
1.词语级语义分析
词汇层面上的语义分析主要体现在如何理解某个词汇的含义
主要包含两个方面:词义消歧和词义表示
(1)词义消歧
词汇的歧义性是自然语言的固有特征。词义消歧根据一个多
义词在文本中出现的上下文环境来确定其词义作为各项自然语言
处理的基础步骤和必经阶段被提出来。词义消歧包含两个必要的
步骤:(a)在词典中描述词语的意义;(b)在语料中进行词义
自动消歧。例如“苹果”在词典中描述有两个不同的意义:一种
常见的水果;美国一家科技公司。对于下面两个句子:
她的脸红得像苹果。
最近几个月苹果营收出现下滑。
词义消歧的任务是自动将第一个苹果归为“水果”而将第二
个苹果归为“公司”。从上面的例子中我们发现词义消歧主要面
临如下两个关键问题:(a)词典的构建;(b)上下文的建模。
(2)词义表示和学习
对于词义表示早期的做法将某个词义表示为从该词义在同义
词网络中出现的位置到该网络根节点之间的路径信息。词义表示
的另一个思路是将其数字化。最直观也是到目前为止最常用的词
第2页共13页
表示方法是one-hot表示方法这种方法把每个词表示为一个很长
的向量。这个向量的维度是词表大小其中绝大多数元素为0只有
一个维度的值为1这个维度就代表了当前的词。不难想象这种表
示方法存在一个重要的问题:任意两个词之间都是孤立的。造成
的结果是:光从两个向量中看不出两个词是否有关系即使这两个
词是同义词例如“计算机”和“电脑”、“上海”和“上海
市”。
随着机器学习算法的发展目前更流行的词义表示方式是词嵌
入(WordEmbedding又称词向量)。其基本想法是:通过训练将某
种语言中的每一个词映射成一个固定维数的向量将所有这些向量
放在一起形成一个词向量空间而每一向量则可视为该空间中的一
个点在这个空间上引入“距离”则可以根据词之间的距离来判断
它们之间的(词法、语义上的)相似性。
2.句子级语义分析
句子级的语义分析试图根据句子的句法结构和句中词的词义
等信息推导出能够反映这个句子意义的某种形式化表示。根据句
子级语义分析的深浅又可以进一步划分为浅层语义分析和深层语
义分析。
(1)浅层语义分析
语义角色标注(SemanticRoleLabeling简称SRL)是一种浅
层的语义分析。给定一个句子SRL的任务是找出句子中谓词的相
第3页共13页
应语义角色成分包括核心语义角色(如施事者、受事者等)和附
属语义
文档评论(0)