大语言模型通识 课件 第11章 大模型应用框架.pptx

;;大语言模型技术就像一把神奇的钥匙，正在为产品开发打开新世界的大门。无论是个人开发者想要借助这项技术来提升自己的技能和打造酷炫的产品，还是企业团队希望通过它在商业战场上取得竞争优势，都得学会运用大模型辅助产品的全流程开发与应用。

简单来说，使用预训练的大模型开发的主要优势在于简化开发过程，降低开发难度，而传统的机器学习开发则需要更多的专业知识和资源投入。;;PART01;人工神经网络（ANN）和早期的自然语言处理（NLP）结构一直是哲学讨论的焦点，聚焦在它们作为建模人类认知的适用性上。具体而言，相比于经典的、符号的、基于规则的对应物模型，它们是否构成了更好的人类认知模型。其中有些争论因深度学习的发展和大语言模型的成功而复苏和转变。;长期以来，研究者们批评人工神经网络无法解释认知的核心结构，在模拟人类思维方面存在局限。批评者认为，人工神经网络要么无法捕捉经典符号架构中可以轻松解释的认知特征，或者实际上只是实现了这种符号处理的架构，但在真正理解思维过程方面并没有提供新的见解。;近年来，大模型的迅速发展挑战了这种模型局限性的传统观点。大量实证研究调查了大模型在需要组合处理的任务上是否能表现出类人水平的性能，这些研究主要评估模型的组合泛化能力，即它们是否能够系统地重新组合先前学到的元素，并将这些元素组成的新输入映射到正确的输出上。这对于大模型来说，本来就是一项困难的任务，因为它们通常是用庞大的自然语言语料库训练而成的，而这些数据可能包含了很多特定的句子模式。但研究者通过精心设计的训练-测试划分合成数据集，克服了这一问题。;在组合泛化的合成数据集上，许多基于Transformer的模型在测试上取得了不错的表现。

元学习，即通过从许多相关的学习任务中进行泛化以更好地学习，也表现出无需进一步进行架构调整即可进行泛化的潜力。元学习让模型接触到多个相关任务的分布，从而帮助它们获取通用知识。通过元学习，在一系列不同于人工训练的Transformer模型上实现了系统性泛化，展现出与人类相似的准确性和错误模式，而且这些模型不??要明确的组合规则。这表明，要模仿人类大脑的认知结构，可能不需要严格的内置规则。;福多认为，思维和认知过程中涉及的信息以一种类似语言的形式存在，这种“心灵的语言”包含可以组合并且具有明确意义的符号。在福多的框架下，心理过程涉及对这些离散符号的操作，这些符号不仅在语义上可以被评估，还在认知处理中发挥直接的因果作用。哲学家和认知科学家杰里·福多也主张，心理过程应该基于离散符号。;相比之下，人工神经网络使用的是连续向量，这些向量被认为缺乏离散的、语义上可评估的成分，这些成分在算法层面参与处理。在这种观点下，人工神经网络处理的是较低层级的激活值，而不是直接操作语义上明确的符号。这引发了人工神经网络是否满足经典成分结构要求的质疑。主张联结主义（通过模拟神经元之间的相互连接和权值来实现人工智能。其他还有符号主义和行为主义）的人们认为人工神经网络可能建立在一种非经典的建模认知结构之上。;连续性原则认为，信息编码和处理机制应使用可以连续变化的实数表示，而不是离散符号表示的实数进行形式化。首先，这使得对自然语言等领域进行更灵活的建模成为可能。其次，利用连续性的统计推理方法，如神经网络，能够提供可处理的近似解决方案。最后，连续性允许使用深度学习技术，这些技术可以同时优化信息编码和模型参数，以发现最大化性能的任务特定表示空间。;总体而言，通过利用连续性的优势，可以解决离散符号方法在灵活性、可处理性和编码方面长期面临的挑战。因此，基于Transformer的人工神经为“神经组合计算”提供了有希望的见解：表明人工神经网络可以满足认知建模的核心约束，特别是连续和组合结构以及处理的要求。;天赋观念是哲学、美学用语，指人类生来就有的观念。一个传统争议在于，人工神经网络语言模型是否挑战了语言发展中天赋论的论点？这场争论集中在两个主张上：一种是较强的原则性主张，另一种是较弱的发展性主张。

原则性主张认为，即使接触再多的语言资料，也不足以使儿童迅速掌握句法知识。也就是说，如果没有内在的先验语法知识，人类就无法学习语言规则。发展性主张则基于“贫乏刺激”理论，认为儿童在发展过程中，实际接触的语言输入的性质和数量不足以诱导出底层句法结构的正确概念，除非他们拥有先天知识。;乔姆斯基派的语言学家认为儿童天生具有“通用语法”，这使得儿童能够通过少量的经验，高效适应特定语言中的特定语法。

???模型在学习语法结构上的成功，成了天赋论的反例。大模型仅通过训练数据集，就能够获得复杂的句法知识。从这个意义上说，大模型提供了一种经验主义的证据，即统计学习者可以在没有先天语法的帮助下归纳出语法知识。;然而，这并不直接与发展性主张相矛盾，因为大模型通常接收的语言输入量比人类儿童要多上几