面向AI编程：代码大模型的SFT实践.pdf

面向AI编程：代码大模型的SFT实践

陈秋远｜腾讯高级研究员代码智能化领域博士

01代码大模型-编程场景与挑战

目代码大模型-SFT训练调优策略

C

02

O

N

T

E代码大模型-数据飞轮与工程落地

N

03

录T

S

代码大模型-编程场景与挑战

代码大模型-编程场景与挑战

代码大模型-编程场景与挑战

模型缺乏对代码的结构化理解

AI过度补全

代码结构

语法

语义特征

光标上下文

函数调用语

句

代码大模型-编程场景与挑战

场景定义：SFT可以让代码大模型更好地贴近业务场景，有哪些调优目标？

代码大模型目标：序号软工任务输入定义输出定义

服务开发中的需求、编码、测试、维护1代码生成自然语言描述代码片段

全流程。2代码补全（续写）代码片段代码片段

预训练与SFT的区别：3代码摘要（解释注释）代码函数自然语言

预训练模型：训练模式匹配补全场景4测试用例生成代码函数代码函数：函数对应的测试用例

SFT模型：适应调优目标，对输入输出有特定5CR评论生成代码变更自然语言

的要求

6代码描述续写自然语言自然语言

类比：

预训练：阅读大量课本（源代码）7代码格式化代码文件格式化的代码文件

SFT：让模型做练习题（编程题），让模型快8代码风格检测代码函数代码中的风格问题及相应的位置

速适应特定的考试场景。

9代码翻译原始语言代码函数目标语言代码函数

挑战：细分场景众多，SFT数据稀缺……

代码大模型-SFT训练调优策略

背景：细分场景众多，代码领域SFT数据稀缺，Evol-instruct方法快速

构造

Evolve-instruct方法：利用商业许可的SOTA大模型，在

约束条件下让种子数据集“进化”（evolve），获得高质量代

码数据集

代码大模型-SFT训练调优策略

Evolve-insturct核心：全方位的约束指令，让数据“进化”，质量迭代提升。

Evolve-insturct的例

子（示意）

*对抗式约束的prompt需特殊构造，用于让模型更好

地识别不合理指令

代码大模型-数据飞轮与工程落地

背景：需要人工标注，使代码模型和人类（开发者）偏好对齐

数据飞轮:定期分析工蜂Copilot的badcase，针对真实存在的问题，对数据进行进一步优化。

挑战：

代码领域的标注比通用自然语言专业度要求更高，需要

可以落地实操的细则。

《高质量代码数据标注细则》

人工对齐可以对重点数据和领域进行标注，且准确度更高，是有益补充

代码大模型-数据飞轮与工程落地

训练方法论：AI大模型调参训练与数据高