美团优选智能质量方案探索.pptx

美团优选智能质量方案探索美团优选测试部工具链组/王昭

大纲微服务架构对质量的挑战智能化质量体系思考智能化解决方案探索下一步工作

复杂且动态变化的关联依赖关系，包括服务，接口，数据库，消息队列，缓存，定时任务等之间的依赖关系，难以准确评估变更影响范围服务间有大量的通讯需求，主要是消息和rpc调用，存在隐藏契约导致的质量隐患接口数量的爆炸，需要大量的自动化测试用例覆盖，而大量的用例又带来了维护成本高和效果难以评估的问题快速迭代可维护性可扩展性高并发高可用灰度发布

典型的质量流程需求沟通开发自测提测沟通测试设计和执行测试评估并产出报告发布上线线上监控偏重执行，做什么和如何做基本靠人工经验四肢发达头脑简单现有各类质量工具的特点

基于人工经验的质量工具日益复杂化，智能化，且动态变化的业务系统

大纲微服务架构对质量的挑战智能化质量体系思考智能化解决方案探索下一步工作

智能化质量体系思考How?

智能化质量体系思考质量保障的目标-基于微服务架构的业务系统收集关于业务系统的各种数据赋能自动化和各类专项测试，全方位提升质量和效率从大数据中提取业务系统运行的规律或者模式

大纲微服务架构对质量的挑战智能化质量体系思考智能化解决方案探索下一步工作

智能化解决方案探索用例推荐质量策略推荐协议变更检测运行日志配置数据链路日志服务流量消息队列离线数据机器学习数据挖掘

智能化解决方案-用例推荐写了很多自动化case，对生产环境的业务场景覆盖如何量化评估？自动化测试覆盖10 0 +接口且平均代码行覆盖率50%左右，需要多久？场景流量分析4w+case的更新维护需要人工投入多少时间？0

智能化解决方案-用例推荐测试流量和线上真实流量推荐测试用例，提升业务场景覆盖率，从质量和效率维度同时提升复杂场景业务的质量保障能力日志消息队列流量录制计算平台底层依赖技术平台核心能力数据预处理自动化特征聚类算法关联挖掘接口参数聚类通用校验条件场景覆盖率

智能化解决方案-用例推荐用例运行依赖数据的构造大规模自动化特征工程大量机器学习任务的批量调度和执行case校验条件的有效性

智能化解决方案-用例推荐算法效果评估

智能化解决方案-用例推荐推荐用例总数4w+，占自动化case总数50%+覆盖50 +核心服务，1w+接口，整体代码覆盖率50%+，场景覆盖率90%+除了接口自动化，还应用于性能测试，dif测试，效果评测，幂等测试等方向

智能化解决方案-质量策略推荐微服务架构的结构复杂性依赖关系的感知缺乏是漏测和线上问题的主要原因之一测试同学最经常面对的问题，开发提测了，需要考虑哪些测试点，如何测试系统化的梳理测试范围测试设计推荐测试覆盖评估

智能化解决方案-质量策略推荐核心能力代码/库表/配置变更依赖分析变更感知辅助测试执行质量风险提示测试覆盖评估序列挖掘库表分析代码分析 风险评估技术平台数据预处理链路聚类相似度计算 知识图谱日志代码平台图数据库 数据库管理底层依赖配置链路追踪发布平台 计算平台

智能化解决方案-质量策略推荐海量服务链路数据的分析海量关联关系数据的存储和查询中间件和接口依赖关系的提取函数调用关系callgraph

智能化解决方案-质量策略推荐相比于人工，对于测试变更评估的效率提升90%以上变更接口平均测试覆盖率，从29%提升至51%19W2.3W9K3.2W3W2.8W2.6W接口变更消息变更任务变更表字段变更SQL变更配置变更字段一致性

智能化解决方案-质量策略推荐源码测试范围推荐

智能化解决方案-质量策略推荐sql测试范围推荐

智能化解决方案-协议变更检测永远不能相信上游服务的请求是可预期的某厂广告引擎，因为上游某部门的少量新增请求(其中某个字段有新的取值)，导致两小时内整个集群雪崩，损失过千万

智能化解决方案-协议变更检测解决思路监控准实时判断接口参数，消息，缓存数据是否有变化关注哪些字段对业务逻辑有影响的关键字如何判断有变化字段取值范围字段取值分布字段新增/减少如何大规模应用基于数据分析学习关键字段及取值规律

智能化解决方案-协议变更检测生产事件消息队列流量录制计算平台底层依赖技术平台核心能力数据探查报警策略聚类算法流量预测字段类型变化监测字段取值变化监测时间序列规律分析

智能化解决方案-协议变更检测字段取值集合变化

智能化解决方案-协议变更检测字段取值集合变化

智能化解决方案-协议变更检测字段取值分布变化

大纲微服务架构对质量的挑战智能化质量体系思考智能化解决方案探索下一步工作

自动化用例失败的问题排查微服务架构的稳定性，可靠性治理质量策略推荐的风险评估和通用测试策略gpt在质量领域的应用

4ArchSumniit全球架构师峰会lnfoQ