自然语言了解技术.doc

自然语言理解技术，的核动力它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，是的核动力。研究方向变化自然语言理解技术智能信息服务随着社会的日益信息化，人们越来越强烈地希望同计算机交流。广义的“语言”是任何一种有结构的符号系统。其中, 最重要的两类语言,自然语言和形式语言。“自然语言理解”Natural Language Understanding 俗称人机对话研究用电子计算机模拟人的语言交际过程，使计算机能理解和运用人类社会的自然语言如汉语、英语等，实现人机之间的自然语言通信，以代替人的部分脑力劳动，包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。这在当前新技术革命的浪潮中占有十分重要的地位。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出象人那样理解、分析并回答自然语言（即人们日常使用的各种通俗语言）的结果。首先, 自然语言是极其复杂的符号系统。一个人尽管可以对自己的母语运用自如, 但却无法把自己母语的构成规律、意义的表达规律和语言使用的规律用计算机可以接受的方式彻底说清楚。传统的语言学是在没有计算机参照的条件下发展起来的, 虽然为自然语言理解积累了宝贵的财富, 但那是讲给人的, 真正要让语言学知识变成计算机上可操作的, 绝不是那么简单, 也不能那么模糊。这个目标的实现,需要大量又懂语言学又懂计算机的人在正确的技术路线的指导下一起做非常大规模的基本建设, 绝不是一拍脑袋想出个“绝招”就能解决的。其次, 自然语言的各个层次上都含有巨大的不确定性。在语音和文字层次上,有一字多音、一音多字的问题; 在词法和句法层次上, 有词类词性、词边界、句法结构的不确定性问题; 在语义和语用层次上, 也有大量的因种种原因造成的内涵、外延、指代、言外之义的不确定性。语言学上把这些不确定性叫做“歧义”。歧义一般不能通过发生歧义的语言单位自身获得解决, 而必须借助于更大的语言单位乃至非语言的环境背景因素和常识来解决。人类有很强的依靠整体消除局部不确定性的能力和常识推理能力, 体现在语言上就是利用语境信息和常识消除歧义的能力。使计算机获得同样强大的能力, 是从事自然语言理解的学者梦寐以求的目标。另外, 自然语言不是一成不变的死的语言, 它在社会生活中发展, 在操不同语言和同一语言的不同变体的人们之间的相互影响中变化。一个词、一个说法可能在一夜之间突然流行起来; 特殊的人群结构变化会导致新的语言或新的语言变体 (如方言) 的出现。这些都要求理解自然语言的计算机程序要具有对外界语言环境的应变能力。最后一点, 自然语言是人们交流思想的工具。既然交流的是思想, 那思想本身在计算机里的组织结构就显得格外重要。在人工智能里, 这就是“知识表示”的问题。可以说, 在知识表示问题上的突破, 对于自然语言理解的进展将产生决定性的影响。在上述四个方面, 都有许多学者在勇敢地迎接挑战, 使计算机程序一步步地朝着不限领域的自然语言理解的远大目标前进。 1.语音分析 根据音位规则，从语音流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。 2.词法分析 分析目的是找出词汇的各个词素，从中获得语言学的信息。 3.句法分析 对句子和短语的结构进行分析，目的是找出词、短语等的相互关系以及各自在句中的作用。 4.语义分析 分析目的是找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。 5.语用分析 研究语言所存在的外界环境对语言使用者所产生的影响。 3.2自然语言理解的主要思想： 1.认知学观点 将人类视为一种高级信息处理系统，强调对于人类智能活动的研究以及在计算机上的模拟和实现。 2.语用学观点 将语言视为人与人之间的通信媒介，任何对于话语的理解或生成都不能脱离该话语存在的前后语境和该话语使用者的心理背景。 3.语言学观点 对自然语言进行研究的最初也是最基本的方法，强调对于句子结构和语法的研究，重点在于描述语言，寻找或构造一组能包含尽可能多的语言现象的普遍适用的语法规则。 4.1自然语言理解技术研究方向变化大约90年代开始，自然语言处理领域发生了巨大的变化。这种变化的两个明显的特征是： （1）对系统输入，要求研制的自然语言处理系统能处理大规模的真实文本，而不是如以前的研究性系统那样，只能处理很少的词条和典型句子。只有这样，研制的系统才有真正的实用价值。 （2）对系统的输出，鉴于真实地理解自然语言是十分困难的，对系统并不要求能对自然语言文本进行深层的理解，但要能从中抽取有用的信息。例如，对自然语言文本进行自动地提取索引词，过滤，检索，自动提取重要信息，进行自动摘要等等。 同