教育产品大模型测试实践.pdf

教育场景下的大模型测评与实践

张元剑｜科大讯飞高级测试架构师、教育BG测试部副总监

01为什么需要建立教育大模型测评体系

目02如何评价这名“教育工作者”是否合格

C

O

N

T

E03以测试视角看整体测试方案

N

录T

S

04自动化能力建设

我们如何评价一名人是好/坏人

年纪

性别测评标准

外貌主观

画像（评价）

人爱好

客观

心理

财富

好人坏人

职业

…..

通用认知智能大模型测评体系

教育通用人工智能

大模型系列标准

当前国内通用认知大模型评测体系举例

以高校为代表的学术答题评测以企业为主体的自建行业评测以机构为主体的产业评测

仅工业互联网领域的八个行业

内部使用提效情况内部使用提效情况内部使用提效情况

从学科种类上，覆盖人类标准考试的选择题

-工程科学（计算机、数理化等国内外考试）

-社会科学（政治、经济、地理等）

-人文科学（法学、语言、历史等）某咨询机构的《AI大模型技术能力评估报告》

-其他科学（公务、GRE等其余国内外考试）仅覆盖医学、法学、心理、教育四个行业

已有了通用大模型测评体系为什么还需要教育领域测评体系？

教育大模型相比通用大模型的区别在哪？

面向教与学的主动引导性、回复权威风格、知识准确度有不同于通用大模型评测体系的要求

1.领域专业知识：教育大模型可能会针对教育领域的特定问题进行训练，因此会对学科知识、教学方法等有更深入的理解，

而通用大模型则更注重对广泛领域的知识的学习和表示。

2.任务定制化：教育大模型可能针对特定的教育任务进行了优化，例如学生作业评估、教学辅助、教育咨询等，而通用大

模型则更多用于广泛的自然语言处理任务，如语言生成、文本分类、问答等。

3.核心价值观：面向教育的生成式内容需要更高的价值观和安全性的评测要求。

4.模型效果提升：公正、准确评估模型的应用性能，揭示当前模型的不足，激发研究创新。

教学考