基于二分法的自动化回归测试分析系统-何爽.ppt

统计数据通过gitstats工具获得 数据统计了2010－01 ～ 2010－11间代码提交次数 图形系统4个主要组件平均每周有～250次代码提交 * 我们是英特尔开源技术中心负责对英特尔集成显卡Linux驱动进行验证 * 这是一个比较自然的思考过程 * * 回归测试结果分析机和测试机采用C/S架构，但他们也可以被部署到同一台机器上以节约资源（但这种情况下将不能实现测试与分析并行） * 仅当测试用例的结果需要进行分析时才提交分析请求，例如测试用例发生了回归问题 * 结果变化：结果的细化，更准确的检测测试结果 测试用例的变化：测试用例也在不断进化 分析改进：对于新结果的确认，对于修复的移植，对于评估代码改动（一次改动修复了一些缺陷，但可能同时带来新的退化问题） * 备份机制：便于重现现场，方便进一步分析 * 在intel Linux 显卡驱动项目中，我们都采用git来进行软件版本管理，git是一个分布式的版本管理软件，最开始主要用在Linux内核的代码维护，现在已经被用在了很多开源项目中，Git有bisect的支持，二分法本身可以用于各种版本管理软件 * Git中实现的二分法算法比较通用，但在实战中由于开发分支的质量很不稳定，经常会受到开发分支的干扰 开发用的分支：质量不稳定，可能是基于比较老的版本所以我们针对现实情况提出了一种改进的多分枝二分法的算法，该算法先在主分支上进行二分法分析，找到引入问题的代码提交或者开发分支合并后再进一步进行分析 * * 分析结果的准确性：测试结果的稳定性，在短时间内有多次回归问题 分析的时间开销：编译开销，测试执行开销 代码的可测试性：开发人员应该保证每次代码提交都不能阻碍系统编译，系统工作，并且具有合理的模块划分 软件模块间的依赖 系统的稳定性 * * * * * * * 基于二分法的自动化回归测试分析系统(Automated Bisect System) 何爽 资深测试工程师 Intel开源软件技术中心 2010 -11-13 Legal Disclaimer INFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION WITH INTEL? PRODUCTS.? EXCEPT AS PROVIDED IN INTELS TERMS AND CONDITIONS OF SALE FOR SUCH PRODUCTS, INTEL ASSUMES NO LIABILITY WHATSOEVER, AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY RELATING TO SALE AND/OR USE OF INTEL PRODUCTS, INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE, MERCHANTABILITY, OR INFRINGEMENT OF ANY PATENT, COPYRIGHT, OR OTHER INTELLECTUAL PROPERTY RIGHT. Intel may make changes to specifications, product descriptions, and plans at any time, without notice.? All dates provided are subject to change without notice. Intel is a trademark of Intel Corporation in the U.S. and other countries. *Other names and brands may be claimed as the property of others. Copyright ? 2007-2010, Intel Corporation. All rights are protected. 纲要 背景 需求 原理 应用 未来 回归测试 代码改动： 添加新的功能 修正软件缺陷 退化问题（Regression） 回归测试（Regression test) 频繁 自动化 Linux图形系统代码统计 Linux图形系统的测试 每晚运行超过2400个测试用例 4个主要组件每天50次代码改动 超过100个测试用例同时退化 退化问题几乎时时刻刻都在发生 退化问题可能发生在任何的软件组件 退化问题的及时分析 纲要 背景 需求 原理 应用 未来 我们的问题是… 如何及时有效的跟踪和分析定位退化问题？ 我们需要一个系统 跟踪和分析测试结果 定位引入退化问题的组件