大语言模型通识 课件 第10章 基于大模型的智能体.pptx

;;智能体是人工智能领域中的一个很重要的概念，它指的是一个能自主活动的软件或者硬件实体。任何独立的能够思考并可以与环境交互的实体都可以抽象为智能体。

大模型在人工智能应用领域的重大突破，让人们看到了智能体新的发展机会。像ChatGPT和GPT-4这样的基于Transformer架构的大模型，成为了为智能体装备的拥有广泛任务能力的“大脑”，从推理、规划和决策到行动都使智能体展现出前所未有的能力。基于大模型的智能体将广泛深刻地影响人们生活工作的方式。;;PART01;智能体通过传感器感知环境并通过执行器作用于该环境的事物。我们从检查智能体、环境以及它们之间的耦合，观察到某些智能体比其他智能体表现得更好，可以自然而然地引出理性智

能体的概念，即行为尽可能好。智

能体的行为取决于环境的性质。

图10-1智能体通过传感器和执行器与环境交互;一个人类智能体以眼睛、耳朵和其他器官作为传感器，以手、腿、声道等作为执行器。而机器人智能体可能以摄像头和红外测距仪作为传感器，各种电动机作为执行器。软件智能体接收文件内容、网络数据包和人工输入（键盘/鼠标/触摸屏/语音）作为传感输入，并通过写入文件、发送网络数据包、显示信息或生成声音对环境进行操作。环境可以是一切，甚至是整个宇宙。实际上，我们在设计智能体时关心的只是宇宙中某一部分的状态，即影响智能体感知以及受智能体动作影响的部分。;术语“感知”用来表示智能体的传感器知觉的内容。一般而言，一个智能体在任何给定时刻的动作选择，可能取决于其内置知识和迄今为止观察到的整个感知序列，而不是它未感知到的任何事物。从数学上讲，智能体的行为由智能体函数描述，该函数将任意给定的感知序列映射到一个动作。;可以想象，将描述任何给定智能体的智能体函数制成表格，对大多数智能体来说这个表格会非常大，事实上是无限的（除非限制所考虑的感知序列的长度）。给定一个要进行实验的智能体，原则上可以通过尝试所有可能的感知序列并记录智能体响应的动作来构建此表，当然，该表只是该智能体的外部特征。在内部，人工智能体的智能??函数将由智能体程序实现。区别这两种观点很重要，智能体函数是一种抽象的数学描述，而智能体程序是一个可以在某些物理系统中运行的具体实现。;为了阐明这些想法，我们举一个简单的例子——真空吸尘器。在一个由方格组成的世界中，包含一个机器人真空吸尘器智能体，其中的方格可能是脏的，也可能是干净的。考虑只有两个方格——方格A和方格B——的情况。真空吸尘器智能体可以感知它在哪个方格中，以及方格中是否干净。从方格A开始，智能体可选的操作包括向右移动、向左移动、吸尘或什么都不做（其实，真正的机器人不太可能会有“向右移动”和“向左移动”这样的动作，而是采用“向前旋转轮子”和“向后旋转轮子”这样的动作）。一个非常简单的智能体函数如下：如果当前方格是脏的，就吸尘；否则，移动到另一个方格。;智能体这一概念主要作为分析系统的工具，而不是将世界划分为智能体和非智能体的绝对表征。在某种意义上，工程的所有领域都可以被视为设计与世界互动的人工制品，人工智能运行在最有趣的一端，在这一端，人工制品具有重要的计算资源，任务环境需要非凡的决策。;;理性智能体是做正确事情的事物。人工智能通常通过结果来评估智能体的行为。当智能体进入环境时，它会根据接受的感知产生一个动作序列，这会导致环境经历一系列的状态。如果序列是理想的，则智能体表现良好，这个概念由性能度量描述，评估任何给定环境状态的序列。;人类有适用于自身的理性概念，它与成功选择产生环境状态序列的行动有关，而这些环境状态序列从人类的角度来看是可取的。但是，机器没有自己的欲望和偏好，至少在最初，性能度量是在机器设计者或者机器受众的头脑中。一些智能体设计具有性能度量的显式表示，而在其他设计中，性能度量完全是隐式的，智能体可能会做正确的事情，但它不知道为什么。;应该确保“施以机器的目的是我们真正想要的”，但是正确地制定性能度量可能非常困难。例如，考虑真空吸尘器智能体，我们可能会用单个8小时班次中清理的灰尘量来度量其性能。然而，一个理性的智能体可以通过清理灰尘，然后将其全部倾倒在地板上，然后再次清理，如此反复，从而最大化这一性能度量值。更合适的性能度量是奖励拥有干净地板的智能体。例如，在每个时间步中，每个干净方格可以获得1分（可能会对耗电和产生的噪声进行惩罚）。作为一般规则，更好的做法是根据一个人在环境中真正想要实现的目标，而不是根据一个人认为智能体应该如何表现来设计性能度量。;即使避免了明显的缺陷，一些棘手的问题仍然存在。例如，“干净地板”的概念是基于一段时间内的平均整洁度。然而，两个不同的智能体可以达到相同的平均整洁度，其中一个智能体工作始终保持一般水平，而另一个智能体短时间工作效率很高，但需要长时间的休息。哪种工作方