大语言模型通识微课课件：大模型形成基础.pptx

;人工智能正在逐渐成为日常生活中不可或缺的一部分，它的进步似乎已经超越了纯技术范畴，成了可以分享、交流乃至“思考”的存在。在这一迅猛发展的背后，隐藏着何种秘密？它能否让我们从一个全新的角度去理解知识、创造力乃至人类自身？;从哲学角度来看，大模型就像是一个已经实现了的思维实验。1981年，内德·布洛克构建了一个“Blockhead（傻瓜）”假说——假定科学家们通过编程，在Blockhead内预先设定好了近乎所有问题的答案，那么，当它回答问题的时候，人们也许就根本无法区分是Blockhead和人类在回答问题。

显然，Blockhead回答问题的方式仅仅是从其庞大的记忆知识库中检索并复述答案，并非通过理解问题之后给出答案。哲学家们一致认为，这样的系统不符合智能的标准。;实际上，大模型的许多成就可能就是通过类似的内存检索操作产生的。GPT-4的训练集中包括了数亿个人类个体生成的对话和数以千计的学术出版物，涵盖了潜在的问答对。研究发现，深度神经网络多层结构的设计使其能够有效地从训练数据中检索到正确答案。这表明，GPT-4的回答其实是通过近似甚至是精确复制训练集中的样本生成的。如果真是如此，那么它就只是Blockhead的现实版本。;由此，人们在评估大语言模型时存在一个关键问题：它的训练集中可能包含了评估时使用的测试问题，即“数据污染”，这些应该在评估前予以排除。

研究者指出，大模型不仅可以简单地复述其提示的或训练集的大部分内容，它们还能够灵活地融合来自训练集的内容，产生新的输出。

而许多经验主义哲学家提出，能够灵活复制先前经验中的抽象模式，可能不仅是智能的基础，还是创造力和理性决策的基础。;大模型的起源可以追溯到早期自然语言处理的两大流派：符号派和随机学派。

符号派理论认为，自然语言的结构可以被一组形式化规则概括，利用这些规则可以产生形式正确的句子。随机学派提出了使用统计技术在计算机上进行机器翻译的构想，这一思路为统计语言模型的发展铺平了道路，它根据语料库中单词组合的频率估计单词序列的可能性。

现代语言模型的另一个重要基石是分布假设，认为语言单元通过与系统中其他单元的共现模式来获得特定意义，提出：通过了解一个词在不同语境中的分布特性，可以推断出这个词的含义。;随着分布假设研究的不断深入，人们开发出了在高维向量空间中表示文档和词汇的自动化技术。之后的词嵌入模型通过训练神经网络来预测给定词的上下文（或者根据上下文填词）学习单词的分布属性。与先前的统计方法不同，词嵌入模型将单词编码为密集的、低维的向量表示。由此产生的向量空间在保留有关词义的语言关系的同时，大幅降

低了语言数据的维度。同时，词嵌入模型

的向量空间中存在许多语义和句法关系。

图1-3多维向量空间中词嵌入的一个例子;瓦斯瓦尼2017年引入Transformer架构，为大模型奠定了基础。Transformer模型的关键优势在于，输入序列中所有单词都是并行处理，极大地提高了训练效率，提高处理长文本序列的能力，增加了任务规模和复杂性。

Transformer模型的核心是自注意力机制，允许模型在处理序列的每个单词时衡量不同部分的重要性，帮助大模型通过考虑单词间相互关系，构建对长文本序列的复杂表示，它使大模型能够结合段落或整个文档主题来表达。

Transformer模型操作“词元”语言单位，映射到整个单词或者单词片段。在将每个单词序列提供给模型之前先标记化，将其分块成相应的词元，目的是尽可能多地表示来自不同语言的单词，包括罕见和复杂的单词。;Transformer模型的训练集包括百科全书、学术文章、书籍、网站，甚至大量计算机代码等多样化来源的大型语料库，旨在概括自然语言和人工语言的广度和深度，使Transformer模型能够准确进行下一个词元的预测。

尽管这种方式训练的大模型在生成文本段落方面表现出色，为了让生成的文本更符合人类语言使用规范，此后的大模型如ChatGPT，使用了“从人类反馈中进行强化学习”的微调技术来调整模型的输出。强化学习允许开发人员更具体和可控地引导模型的输出。这一微调过程在调整这些模型以更好地满足人类语言使用规范方面发挥着至关重要的作用。;大模型能够利用文本提示中的文本信息来引导输出。大部分架构缺乏可编辑的长期记忆资源，但它们能够根据所提供的内容灵活调整输出，包括它们未经明确训练的任务。这种能力被视为一种即时学习或适应的形式，通常被称为“情境学习”。如果序列构造为一个熟悉的问题或任务，模型将尝试以与其训练一致的方式完成它。可向模型发出具体的指令。

在“少样本学习”中，提示的结构包括要执行任务的几个示例，后面是需要响应的新实例。在“零样本学习”中，模型不会得到任何示例，任务直接在提示中进行概述或暗示。少样本学习被认为是人类智能的重要方面。;人工神经网络包括早期的自