有哪些信誉好的足球投注网站- 1、本文档共29页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
检索增强（RAG）
能提升大模型的推理能力吗？
刘勇
中国人民大学高瓴人工智能学院
目录丨CATALOGUE
01020304
背景介绍基本设定理想情况有噪音情况
2
WhatisRAG
•LLMs存在问题
–幻觉问题：有论文证实，自回归预训练的大语言模型的幻觉问题不可避免[1]，
LLM无可避免的会提供部分虚假信息
–时效性问题：规模越大，大模型训练的成本越高，更新知识的代价越大，对于
一些高时效性的任务，大模型无能为力
–数据安全：OpenAI已经遭到过几次隐私数据的投诉，企业不会把自己的经营
数据、合同文件等机密文件和数据上传到互联网上的大模型
•RAG（Retrieval-AugmentedGeneration,检索增强）
–是解决上述问题的当前比较流行的方法[2]
[1]CalibratedLanguageModelsMustHallucinateAdam.InSTOC
[2]Retrieval-augmentedgenerationforlargelanguagemodels:Asurvey
3
WhatisRAG
第一步：用户提出问题第二步：检索文档
第四步：Query+文档
第五步：生成答案输入大模型第三步:选出相关文档
CanRAGHelpReasoning?
•LLM:
(|)
–其中，为query,为答案
•RAG:
,,,⋯
12
–其中，为query,为document,为答案
–RAG提供额外的信息
Question：RAG能提升推理能力吗？
5
ChainofThought（COT）
•ChainofThought(CoT)
–理论上已经证明COT能提升LLM的推理能力[3]
•能增加推理的原因
COT：,,,…
12
–为推理的中间结果
–=|,=|,,⋯,=,,⋯,
1211
相当于增加的
文档评论（0）