TK-手淘测试.pptx

手机淘宝测试之路手机淘宝专项测试组元战yuanzhan.yq@移动用户爆发式增长 手淘业务快速增长节奏也越来越快 代码越来越复杂变化越来越快 节奏的加快使测试人员陷入不断的验证、回归中 非功能性问题发现效率不高 适配是手机客户端的一大难题 测试变成了一项艰苦的工作 从架构开始 让一切有秩序起来 不可忽视的代码扫描成功的关键在于规则 让测试包的功能强大起来 让你的APP具有自我检测功能 在云端管理你的质量 真机适配平台不止是适配 制定自己的发布策略内部灰度天使用户外部灰度动态部署 建立用户沟通渠道—舆情反馈 线上运维：大数据分析、主动监控、实时告警、故障快速解决 谢谢联系方式：旺旺：元战 E-mail：yuanzhan.yq@ 移动用户近年来爆发式增长，手机淘宝的用户量从十万级，百万级，千万级，亿级，用户量的暴涨就带来了业务的暴涨随着用户量的增长，移动端业务的显得越来越重要，手机淘宝逐渐承载了集团大部分主要业务。天猫、聚划算、点点、彩票。各种活动，双十一，双十二随着业务的快速增长，手淘代码变得越来越复杂，服务端，客户端，H5运营活动页面都在快节奏的开发。代码分支路径组合就是一个天文数字业务需求，代码重构，bug修改使测试人员陷入不断的验证，回归当中，举例子流量，电量，性能，稳定性等问题难于发现，测试人员也忙于功能测试，这些问题遗漏到线上，导致用户体验非常不好适配不是手机客户端独有的问题，但是手机端APP的适配问题是最大的，尤其是Android 操作系统版本，厂商定制，第三方ROM，水货手机等等。尽管测试人员全副武装，但对市面所有手机都进行适配是一项不可能完成的任务。 自动化的适配实验室仅能验证最基本的安装，启动，简单功能。自动化段子测试变成了一项艰苦的工作，尽管测试人员装备精良，单兵作战能力很强，但是面对怪兽级别的bug也只能疲于奔命道理很简单研发做不好业务就难搞业务搞不好用户就减少用户一减少奖金不见了随着业务的爆发，手淘的业务架构进行了改造，从以前的单一APK，变成了多bundle的架构，手淘目前有4，50个bundle，这样就做到了各个业务的解耦，提升了研发效率。当产品和研发人员的规模达到一定程度后，流程就显得非常的重要。首先呢 手淘每个模块单独看做一个客户端，完成研发的整个生命周期后再集成到手淘里面。这样就支持了高效率的并行开发，保证了各个模块不会相互影响，然后规范了，准入，提测，集成，回归，发布等多种流程，这样就提高了项目集成的质量。现在手淘就做到随时发版的能力。代码扫描是一个很基础的技术，它是经验积累的一个很有效的手段，但是目前的大多数扫描工具的规则做的很通用，这就导致了扫描的结果不是很理想，手淘团队对代码扫描规则进行的高度定制，在一些通用的规则的基础上，将适配问题，稳定性问题，故障，安全等抽象成规则，这就使经验沉淀下来，避免遇到重复的bug。手机的一大特点就是比PC更封闭，但测试人员不能仅限于在黑盒的情况下测试，也需要模拟很多异常情况，提bug需要更多的信息。在APP中加入无代码入侵的测试套件，是最理想的选择。测试套件可以，切换环境，收集日志，系统信息，模拟异常情况等等。举个例子，测试人员经常遇到的事情就是重现问题了，无意中发现了一个非必现的bug，但是怎么也重现不了了，如果有了测试套件呢就可以在测试过程中实时的记录APP运行的信息，发现问题直接把信息弄出来就可以了，这就带来了测试效率的提升。自检功能存在于我们生活的方方面面，比如汽车上的自检灯，那么APP为什么不能自我检测呢？刚才提到了发现非功能问题效率不高，那么我们就把发现非功能问题的能力集成到测试套件里面，目前的测试套件可以发现流量，电量，性能，Crash，ANR，内存泄露等多重问题，那么测试人员在功能回归的同时也能发现非功能的bug了。更多的，如果各个业务代码也加上业务功能的验证点，那么在测试的过程中APP可以自己检测功能是否可用。自检功能的实现将测试活动中的执行和验证两个步骤分离开，降低了测试的门槛，这就使得我们可以用外包团队，自动化，Monkey，天使用户等来完成执行的步骤，让程序本身发现bug。这就极大地提高了我们的测试效率。要高质量的持续交付离不开云端平台的支持，尤其是在大规模的研发团队中，支撑平台可以提高协作的效率。对于刚才提到了测试套件和APP自检，之前呢我们是做单机版的，但是效果很不理想，然后我们就把这些自检、套件收集的数据传送到了云端，然后从这些数据里面找出来bug，极大地方面了测试和开发人员另外研发过程中的所有数据都是我们宝贵的财富，对平台中的研发数据进行分析会使我们看到很多以前看不到的东西。我们不仅能管理好细节的数据，更多的我们可以从全局的视角看到很多，研发各个阶段的数据，再结合线上的情况，前面提到适配平台以前仅仅能发现初级的适配问题