质量大模型及其在接口测试场景下的实践.pdf

质量大模型及其在接口测试场景下的实践

李庆泉蚂蚁集团

1.大模型如何解决质量域问题

目录2.质量大模型的构建路径

CONTENTS3.质量大模型在接口测试中的实践

4.未来展望

PART01

大模型如何解决质量域问题

大模型具有赋能软件研发全流程的能力

软件设计环境搭建软件开发质量测试

•原型图•依赖树•类与函数•验收测试

•UML图•版本冲突•数据结构•单元测试

•流程图•……•复杂度•Bug处理

•……•……•……软件

需求文档

（PRD）

LiB,WuW,TangZ,etal.Devbench:Acomprehensivebenchmarkforsoftwaredevelopment[J].arXivpreprintarXiv:2403.08604,2024.

大模型在质量域下的应用场景

测试用例生成故障定位/修复

测试断言生成质量知识查询问答

测试输入生成……线上问题总结分析

WangJ,HuangY,ChenC,etal.Softwaretestingwithlargelanguagemodels:Survey,landscape,andvision[J].IEEETransactionsonSoftware

Engineering,2024.

大模型能够解决质量测试领域的哪些问题？

覆盖率要求高自动化难度大人工成本高

质量

全面、准确地发现经验密度大、业务测试用例撰写、质

测试各种特殊情况与边特异性高，难以自量问题分析等工作

界问题动化或手段难复用需要大量人工

11严谨、全面22知识、经验

阶段继续预训练微调/对齐对话/服务

能力领域知识注入多任务能力获取拓宽应用边界

质量测试领域呼唤质量大模型

知识中心执行中心

语言理解语言理解基础质量概念问答基础质量概念问答端到端任务执行端到端任务执行……

质量知识质量知识

服务中心

业务经验业务经验