基于大模型微调范式的跨学科项目式学习实践研究——以“微调大模型生成宋词”为例.pdfVIP

新技能NewSkills

［人工智能普及教育］

基于大模型微调范式的跨学科项目式学习实践研究

——以“微调大模型生成宋词”为例

文_刘啸宇 刘茜希/上海人工智能实验室 高英男/深圳市红山中学

《义务教育课程方案（2022年版）》明确要求：各门重要的思维模式，具有教学价值。本文选择了一系列在“魔

课程用不少于10%的课时设计跨学科主题学习，强化课程搭”社区开放的中文预训练模型，针对《全宋词》文本语

协同育人功能；推进综合学习，探索大单元教学，开展主料进行模型微调，并以此作为单元学习项目完成跨学科学

题化、项目式学习等综合性教学活动[1]。跨学科主题学习习，项目背后可以迁移使用的学习范式如图1所示。

是指为培养跨学科素养而整合两种及以上学科内容，开展

学习的主题教学活动安排，具有综合性、实践性、探究性、

开放性、操作性等特点[2]。项目式学习是一种动态的学习

方法，通过让学生主动探索现实世界的问题和挑战，从中

[3]

领会更深刻的知识和技能。

“诗言志，歌永言，声依永，律和声”，诗词歌赋作

为中华民族的传统文化，可以反映不同时代的人文社会风

貌，也是语文学科重要的学习内容之一。在人工智能自然

语言处理中，诗词创作一直是重要的研究方向，也是构建

数字人文的重要部分。笔者尝试将信息科技中“计算思维”

的培养与语文学科中的“文化自信”“审美创造”培养相融合，

以人工智能大模型对宋词语料的微调为基础，设计并实施图1 大模型微调学习范式及单元项目中的大模型

跨学科学习主题。Â课程目标

通过调用中文古诗模型进行诗歌生成，了解语言模型

课程设计的基本原理；在微调宋词生成模型的过程中，掌握对大模

Â课程设计中的人工智能主线型进行微调的方法；在微调不同派别宋词生成模型的过程

2017年，谷歌研究人员提出的Transformer架构是一中，感受不同派别宋词的独特魅力；知道采用不同的词语

种完全基于注意力机制的神经网络模型，具有更强的知识可以表达不同的主题意境，感悟词语对于表达文本意境的

迁移能力。基于该架构的大语言模型（LLM）得到了飞速重要作用。

发展，其中，大模型微调技术起到了非常重要的作用。其Â课程内容

过程首先要有一个在大规模语料库上采用超十亿参数的学本单元课程以掌握大语言模型微调的方法作为人工智

习算法，使用庞大的算力训练得到的通用模型；然后将其能逻辑主线，并围绕诗词进行跨学科学习主题设计。课程

作为预训练模型在较小的特定数据集上进行训练，从而精依照问题分析、方案设计、实施验证、优化迭代4个阶段

炼模型的能力，得到一个在特定任务或领域上性能较佳的进行任务设计，课时安排如图2所示。第1课时主要铺垫

专用模型。学习情境，探索大语言模型的原理，并形成初步解决方案；

“大模型微调”范式正在成为一类解决问题的重要方第2、3课时主要根据方案准备数据，完成模型微调，体会

法。比如医疗行业希望有一个可以帮助医生生成患者医疗大语言模型微调范式的价值；第4课时主要针对当前模型

报告的模型，可将GPT-3作为预训练模型，然后投入包的性能，修订方案完成模型优化，最后尝试在完成模型的

含医疗报告和患者笔记的数据集，进行模型微调，就可以基础上探索中文领域词语对于文学作品中思想表达的重要

得到一个专用模型。大模型微调范式作为计算思维中一个作用。

56\ChinaScienceTechnologyEducation