人工智能通识教程 第2版 课件 第11、12章 自然语言处理、 GPT——大语言模型起步.pptx

;;;;自然语言处理（NaturalLanguageProcessing,NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。自然语言处理并

不是一般地研究自然语言，而在于研

制能有效地实现自然语言通信的计算

机系统，特别是其中的软件系统。;PART01;人类大约在10万年前学会了如何说话，大约5千年前学会了如何写字。人类语言的复杂性和多样性使得智人区别于其他所有物种。当然，人类还有一些其他的特有属性：没有任何其他物种像人类那样穿衣服，进行艺术创作，或者每天花两小时在社交媒体上交流。但是，图灵提出的智能测试是基于语言的，而非艺术或服饰，也许是因为语言具有普适性，并且捕捉到了如此多的智能行为：一个演讲者演讲（或作家写作）的目标是交流知识，他组织语言来表示这些知识，然后采取行动以实现这一目标。听众（或读者）感知他们的语言并推断其中的含义。;这种通过语言的交流促进了文明的发展，是我们传播文化、法律、科学和技术知识的主要方式。语言是人类区别于其他动物的本质特性。在所有生物中，只有人类才具有语言能力，人类的智能与语言密切相关。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。;口语是人类之间最常见、最古老的语言交流形式，使我们能够进行同步对话——可以与一个或多个人进行交互式交流，让我们变得更具表现力，最重要的是，也可以让我们彼此倾听。虽然语言有其精确性，却很少有人会非常精确地使用语言。两方或多方说的不是同一种语言，对语言有不同的解释，词语没有被正确理解，声音可能听不清或很含糊，又或者受到地方方言的影响，此时，口语就会导致误解。;试思考下列一些通信方式，思考这些方式在正常使用的情况下怎么会导致沟通不畅：

电话——声音可能听不清楚，一个人的话可能被误解，双方对语言理解构成了其独特的问题集，存在错误解释、错误理解、错误回顾等许多可能性。

手写信——可能难以辨认，容??发生各种书写错误；邮局可能会丢失信件：发信人和日期可以省略。;打字信——速度不够快，信件的来源及其背后的真实含义可能被误解，可能不够正式。

电子邮件——需要上网，容易造成上下文理解错误和误解其意图。

微信消息——精确、快速，可能同步但仍然不像说话那样流畅。记录可以得到保存。

短信——需要手机，长度有限，可能难以编写（如键盘小，有时不能发短信等）。;语言既是精确也是模糊的。在法律或科学事务中，语言需要得到精确使用；又或者它可以有意地以“艺术”的方式（例如诗歌或小说）使用。作为交流的一种形式，书面语或口语又可能是模糊的。;示例11-1“音乐会结束后，我要在酒吧见到你。”

尽管很多缺失的细节使得这个约会可能不会成功，但是这句话的意图是明确的。如果音乐厅里有多个酒吧怎么办？音乐会可能就在酒吧里，我们音乐会后相见吗？相见的确切时间是什么？你愿意等待多久？语句“音乐会结束后”表明了意图，但是不明确。经过一段时间后，双方将会做什么呢？他们遇到对方了吗？;示例11-2“在第三盏灯那里右转。”

这句话的意图是明确的，但是省略了很多细节。灯有多远？它们可能会相隔几个街区或者相距几公里。当方向给出后，提供更精确的信息（如距离、地标等）将有助于驾驶指导。;可以看到，语言中有许多含糊之处，可以想象语言理解可能会给机器带来的问题。对计算机而言，理解语音无比困难，但理解文本就简单得多。文本语言可以提供记录（无论是书、文档、电子邮件还是其他形式），这是明显的优势，但是文本语言缺乏口语所能提供的自发性、流动性和交互性。;;使用自然语言与计算机进行通信，这是人们长期以来所追求的。因为它既有明显的实际意义，同时也有重要的理论意义：人们可以用自己最习惯的语言来使用计算机，而无需再花大量的时间和精力去学习不很自然和不习惯的各种计算机语言；人们也可以通过它进一步了解人类的语言能力和智能的机制。;自然语言会话是人工智能发展史上从早期开始就被关注的主题之一。开发智能系统的任何尝试，最终似乎都必须解决一个问题，即使用何种形式的标准进行交流，比起使用图形系统或基于数据系统的交流，语言交流通常是首选。;计算机进行自然语言处理有以下3个主要原因。

（1）与人类交流。很多情况下，人类使用语音与计算机进行交互很方便，而且在大多数情况下，使用自然语言要比使用形式语言更加方便。

（2）学习。人类已经用自然语言记录了很多知识。例如某个百科网站就有3000万页事实知识，例如“婴猴是一种夜间活动的小型灵长类动物”，然而几乎没有任何一个这样的知识来源是用形式逻辑写成的。如果我们想让计算机系统知道很多知识，它最好能理解自然语言。

（3）使用人工智能工具有助于结合语言学、认知心