大语言模型通识微课课件：大模型评估体系与方法.pptx

;大语言模型飞速发展，在自然语言处理研究和人们的日常生活中扮演着越来越重要的角色。因此，如何评估大模型变得愈发关键。我们需要在技术和任务层面对大模型之间的优劣加以判断，也需要在社会层面对大模型可能带来的潜在风险进行评估。

大模型与以往仅能完成单一任务的自然语言处理算法不同，它可以通过单一模型执行多种复杂的自然语言处理任务。因此，如何构建大模型评估体系和评估方法是一个重要的研究问题。;模型评估，是在模型开发完成之后的一个必须的步骤，目的是评估模型在新数据上的泛化能力和预测准确性，以便更好地了解模型在真实场景中的表现。

针对单一任务的自然语言处理算法，通常需要构造独立于训练数据的评估数据集，使用合适的评估函数对模型在实际应用中的效果进行预测。

由于并不能完整了解数据的真实分布，因此简单地采用与训练数据独立同分布的方法构造的评估数据集，在很多情况下并不能完整地反映模型的真实情况。如果不能获取数据的真实分布，或者测试数据采样不够充分，分类器在真实使用中的效果就不能很好地进行评估。;在模型评估的过程中，通常会使用一系列评估指标来衡量模型的表现，如准确率、精确率、召回率、ROC曲线和AUC（ROC曲线下的面积）等。这些指标根据具体的任务和应用场景可能会有所不同。

文本生成类任务的评估难点主要源于语言的灵活性和多样性，例如同样一句话可以有多种表述方法。此类任务可以采用人工评估和半自动评估方法。以机器翻译评估为例，人工评估虽然相对准确，但是成本高昂。如果采用半自动评估方法，利用人工给定的标准翻译结果和评估函数可以快速高效地给出评估结果，但是其结果的一致性还亟待提升。;模型评估还涉及选择合适的评估数据集，针对单一任务，可以将数据集划分为训练集、验证集和测试集。

由于大模型本身涉及语言模型训练、有监督微调、强化学习等多个阶段，每个阶段所产出的模型目标并不相同，因此，对于不同阶段的大模型也需要采用不同的评估体系和方法，并且对于不同阶段的模型应该独立进行评估。;传统的自然语言处理算法通常需要针??不同任务独立设计和训练。而大模型采用单一模型，却能够执行多种复杂的自然语言处理任务。例如，同一个大模型可以用于机器翻译、文本摘要、情感分析、对话生成等多个任务。因此，在大模型评估中，首先需要解决的就是构建评估体系的问题。从整体上可以将大模型评估分为三个大的方面：知识与能力、伦理与安全，以及垂直领域评估。;知识与能力：大模型具有丰富的知识和解决多种任务的能力，包括自然语言理解、知识问答、自然语言生成、逻辑推理、代码生成等。知识与能力评估体系主要可以分为两大类：一类是以任务为核心的评估体系；一类是以人为核心的评估体系。

伦理与安全：大模型在训练时通常遵循的原则有：帮助性模型应帮助用户解决问题；真实性模型不能捏造信息或误导用户；无害性模型不能对人或环境造成身体、心理或社会性的伤害。如何评估大模型能否在伦理价值方面与人类对齐也是需要研究的内容。;垂直领域评估：细粒度评估主要包括复杂推理、环境交互、特定领域。

（1）复杂推理：是指理解和利用支持性证据或逻辑来得出结论或做出决策的能力。可以将评估任务分为三类：知识推理、符号推理和数学推理。

（2）环境交互：大模型还具有从外部环境接收反馈并根据行为指令执行操作的能力。为了测试这种能力，研究人员提出了多个具身人工智能环境和标准评估数据集，探究了基于大模型的智能体程序在探索开放世界环境方面的能力。;（3）特定领域：大模型研究也针对特定领域开展工作。例如，在人工智能的法律子领域，完成合同审查、判决预测、案例检索、法律文书阅读理解等任务。针对不同的领域任务，需要构建不同的评估数据集和方法。例如用于合同审查的某数据集中包括500多份合同，每份合同都经过法律专家的精心标记，以识别41种不同类型的重要条款，总共有超过13000个标注。;在大模型评估体系和数据集构建的基础上，评估方法需要解决如何评估的问题，包括采用哪些评估指标，以及如何进行评估等。

评估指标：不同任务的评估指标有很大的区别，例如HELM评估集成了自然语言处理领域的不同评估数据集，构造42类评估场景，评估指标高达59种。

分类任务是将输入样本分为不同的类别或标签的机器学习任务。很多自然语言处理任务都可以转换为分类任务，包括分词、词性标注、情感分析等。

分类任务通常采用精确率、召回率、准确率等评估指标，利用测试数据，根据预测结果与真实结果之间的对比，计算各类指标来对算法性能进行评估。;评估方法：目标是解决如何对大模型生成结果进行评估的问题。有些指标可以通过比较正确答案或参考答案与系统生成结果直接计算得出，例如准确率、召回率等。这种方法被称为自动评估。然而，有些指标并不能直接计算，需要通过人工评估来得出。

研究人员提出利用能力较强的大模型，构建合适的指令来评估系统结果。这种评估