基于二分法的自动化回归测试分析系统-何爽.pptVIP

系统架构演示flashPART1系统工作流程编译/控制机测试机回归测试结果分析机测试工程师编译分发运行测试用例1分析测试用例1分析报告分析请求运行测试用例2运行完所有用例测试结果汇总测试报告运行测试用例n分析测试用例n分析报告分析请求发生退化问题发生退化问题结果分析01测试用例测试用例的粒度测试用例的结果细分测试用例的改变02测试结果基准测试结果的退化测试结果的改进组件定位回退组件的选择按照相关性按照统计概率备份机制单击此处添加正文，文字是您思想的提炼，请尽量言简意赅地阐述观点。二分法定位（Bisect）利用二分法定位引入退化问题的代码改动改进的多分支二分法算法背景需求原理应用未来纲要自动化回归测试分析系统的应用开源软件项目IntelLinux图形系统构建2D功能测试（Xrender,Cairo)3D功能测试（OpenGL,OpenGLES）性能测试同样适用于其他自动化的回归测试系统*********软件项目通常有部署软件版本控制系统（SVC)，例如git，svn，sourcesafe，通过使用软件版本控制系统可以很容易的跟踪软件的改动回归测试是软件测试的一种，旨在检验软件原有功能在修改后是否保持完整自动化回归测试由自动化编译过程，自动化发布过程，自动化测试过程，各种测试结果自动化分发过程组成当测试人员发现一个从前没有问题的功能突然有问题了，他就可以通过查找源代码控制管理系统来缩小问题代码的可能发生的范围，然后逐个检查哪个改动可能引起问题,要定位出一个退化问题的根源，最好的办法就是先定位出是哪一次代码改动带来的问题。测试工程师经常可能会花上数天去分析这种问题*统计数据通过gitstats工具获得数据统计了2010－01～2010－11间代码提交次数图形系统4个主要组件平均每周有～250次代码提交*我们是英特尔开源技术中心负责对英特尔集成显卡Linux驱动进行验证*这是一个比较自然的思考过程**回归测试结果分析机和测试机采用C/S架构，但他们也可以被部署到同一台机器上以节约资源（但这种情况下将不能实现测试与分析并行）*仅当测试用例的结果需要进行分析时才提交分析请求，例如测试用例发生了回归问题*结果变化：结果的细化，更准确的检测测试结果测试用例的变化：测试用例也在不断进化分析改进：对于新结果的确认，对于修复的移植，对于评估代码改动（一次改动修复了一些缺陷，但可能同时带来新的退化问题）*备份机制：便于重现现场，方便进一步分析*在intelLinux显卡驱动项目中，我们都采用git来进行软件版本管理，git是一个分布式的版本管理软件，最开始主要用在Linux内核的代码维护，现在已经被用在了很多开源项目中，Git有bisect的支持，二分法本身可以用于各种版本管理软件*Git中实现的二分法算法比较通用，但在实战中由于开发分支的质量很不稳定，经常会受到开发分支的干扰开发用的分支：质量不稳定，可能是基于比较老的版本

所以我们针对现实情况提出了一种改进的多分枝二分法的算法，该算法先在主分支上进行二分法分析，找到引入问题的代码提交或者开发分支合并后再进一步进行分析**分析结果的准确性：测试结果的稳定性，在短时间内有多次回归问题分析的时间开销：编译开销，测试执行开销代码的可测试性：开发人员应该保证每次代码提交都不能阻碍系统编译，系统工作，并且具有合理的模块划分软件模块间的依赖系统的稳定性***基于二分法的

自动化回归测试分析系统

(AutomatedBisectSystem)何爽资深测试工程师Intel开源软件技术中心2010-11-13LegalDisclaimerINFORMATIONINTHISDOCUMENTISPROVIDEDINCONNECTIONWITHINTEL?PRODUCTS.?EXCEPTASPROVIDEDININTELSTERMSANDCONDITIONSOFSALEFORSUCHPRODUCTS,INTELASSUMESNOLIABILITYWHATSOEVER,ANDINTELDISCLAIMSANYEXPRESSORIMPLIEDWARRANTYRELATINGTOSALEAND/ORUSEOFINTELPRODUCTS,INCLUDINGLIABILITYORWARRANTIESRELATINGTOFITNESSFORAPARTICULAR