房春荣-基于大模型的测试断言生成技术.pdf

基于大模型的测试断言生成技术

房春荣南京大学

演讲嘉宾

房春荣

南京大学副教授

博士，南京大学软件学院准聘副教授、特聘研究员，博士生导师，紫金学者，CCF高

级会员，系统软件/容错计算专委会委员，主要从事智能软件工程研究(BigCode

AITesting)。主持国家自然科学基金项目3项，国家重点研发项目骨干2项，教育部产

学合作协同育人项目3项，横向科研项目若干。在CCF-A会议/期刊发表论文40余篇，

获得国际会议最佳论文1项，申请发明专利10余项，部分成果在华为、百度等知名企

业应用。曾担任AST、AIST等国际会议程序委员会共同主席，多次担任国际顶级会

议程序委员会委员及顶级期刊审稿人，并多次获得杰出审稿人。参编多项软件工程

和工业APP相关国家、省、团体标准。获2022年国家级教学成果奖，CCFTCFTC

2021年软件测试青年创新奖，2020国家级一流本科课程、2018国家精品在线开放

课程《软件测试》。

1.研究背景

2.单元测试生成和修复

3.单元测试的断言问题

目录①初步探索：面向单元测试场景的大模型断言生成能力

CONTENTS②检索角度：基于混合检索增强的单元测试断言生成

③训练角度：基于检索生成协同增强的单元测试断言生成

4.应用验证

5.总结与展望

PART01

研究背景大语言模型和单元测试基础

研究背景-单元测试与测试断言

单元测试：一种被广泛接受的甚至是强制性的开发实践

功能实现预期功能

断言问题：预期的行为或测试断言应该是什么

测试前缀

测试断言

单元测试的例子

研究背景-单元测试生成方法存在的主要问题

n以大模型会话迭代为主要框架的代表性方法充分

利用了大模型的语义理解和代码生成能力，

n以CODAMOSA为代表的算法，计算资源的开

销主要取决于选取的传统测试方法，大模型作为

辅助工具来改进传统测试方法

大模型生成单元测试的流程图

研究背景-单元测试生成方法存在的主要问题

n生成无效测试用例：

Ø大型语言模型（LLMs）可能在上下文不足的情况下生成无效的测试用例，导致编译错误。这

意味着生成的测试用例无法成功运行，影响测试过程的有效性。