大模型工具学习（中英文）.docx

0

工具学习

秦禹嘉THUNLP

1

背景

THUNLP

2

工具和情报

?工具是人类能力的延伸，旨在提高生产力、效率和解决问题的能力

?纵观历史，人类一直是发明和操纵工具的主要媒介

?问题：人工智能在工具使用方面能像人类一样有能力吗？

3

工具和情报

?基础模型的答案是肯定的

?较强的语义理解

?广泛的世界知识

?强大的推理和计划能力...

工具和情报

?工具学习[1]：基础模型可以遵循人类指令和操纵工具来解决任务

[1]秦，于佳，等。“基础模型的工具学习”。arXiv预印本arXiv：2304.08354（2023）。4

5

工具学习的分类

?工具增强学习

?具有来自工具的执行结果的扩充基础模型

?工具被视为有助于产生高质量产出的补充资源

6

工具学习的分类

?面向工具的学习

?利用模型来管理工具并代替人类做出顺序决策

?利用基础模型的广阔世界知识和推理能力进行复杂的推理和规划

7

框架

THUNLP

工具集：

工具集：具有不同功能的工具

的集合

控制器提供可行的计划来满足用户请求

感知者汇总反馈给控制器

感知者汇总反馈给控制器

环境提供了工具运行的平台

8

意图理解

?理解指令的基本目的

?学习从指令空间到模型认知空间的映射

?指令调整

?用不同的指令包装任务

?监督微调

?非凡的泛化能力

[1]精细语言模型是零分学习者

[2]多任务提示训练可实现零镜头任务概括

[3]OPT-IML：通过镜头扩展语言模型指令元学习泛化9

userid:444287,docid:155342,日期:2024-05-19,

10

意图理解

?扩大模型大小和指令调整数据集的多样性

?泛化能力的增强?挑战

?理解模糊指令：用户查询中的模糊和歧义

?理论上的无限指令空间：无限表达和个性化指令

11

工具理解

?通过提示激发工具理解

?零拍提示:

?描述API功能，其输入/输出格式，可能的参数等。

?允许模型了解每个API可以处理的任务

?少量提示：

?向模型提供具体的工具使用演示

?通过从这些演示中模仿人类行为，模型可以学习如何利用这些工具

12

工具理解

?通过提示激发工具理解

13

规划与推理

?内省推理

?在不与环境交互的情况下生成静态计划

?外向推理

?生成考虑环境变化和反馈的动态计划

规划与推理

?内省推理

?如果提示适当，PLM可以有效地将高级任务分解为中级计划，而无需任何进一步的培训

作为零镜头策划者的语言模型：为具体化提取可操作的知识代理商14

规划与推理

?外向推理

?挑战：基础模型没有体现或扎根于物理世界

?解决方案：约束模型提出既可行又符合上下文的自然语言动作

尽我所能，不要像我说的那样！

Ahn,Michael,etal.DoasIcan,notasIsay:Groundinglanguageinrobotaffiliences.arXivpreprintarXiv:2204.01691(2022).15

规划与推理

?外向推理

?内心独白[1]：将各种反馈来源的信息注入模型规划

[1]黄文龙等。“内心独白：通过语言模型进行规划的具身推理。”arXiv预印本arXiv：2207.05608(2022).16

17

规划与推理

?多步骤多工具方案

?人类不会坚持一个场景和一个工具

?了解不同工具之间的相互作用

?模型不仅要了解单个工具，还要了解它们的组合用法并对工具进行逻辑排序

?从顺序执行到并行执行