《把一切都监控起来吴凯华.ppt

互联网行业现状 运营网络环境错综复杂、 不同操作系统/浏览器及版本、不同网络速度 大量服务器 测试环境跟外网差异大 敏捷开发、快是生存的根本 测试与开发人力比例很大 测试团队价值如何最大化？ 提问： 团队自动化测试ROI目前是正值还是负值？ 质量与效率是否有清晰度量指标和平衡点？ 大部分测试团队的工作范畴 自动化测试（B/S、C/S、后台） 平台/框架建设 安全测试 黑盒测试 白盒/单元/集成/灰盒测试 性能测试（前后台） 用户体验测试 兼容性测试 。。。。 这些工作呢？ 配置管理（代码）变更和规范性 开发/编译/测试环境稳定性 外网发布部署过程质量 外网产品运营质量 IDC运营质量 外网环境质量 互联网行业测试范畴新定义 可用性测试 监控测试 监控测试定义 规律性比对的自动化测试 + 不确定性下检测预警+人脑智能分析 通过各种不同工具和统一的测试平台从多个纬度给产品研发运营质量输出错误报告和预警分析 Testing Monitor Scope 监控测试下测试开发重点工作 持续集成平台 依托在持续集成平台下的各种测试工具 让工具自动化执行起来！ 一些测试解决方案技术和原理介绍 基于SVN的二次开发封装 充分利用SVN的hook技术 让开发CI时更有乐趣和挑战压力 Pre-commit和post-commit利用 Html/CSS/JS给出变更的差异报告 Dom tree变更的提醒和分析 CI后的静态检测 C/C++代码：推荐开源cppcheck工具 高危险函数扫描分析预警 CI前的编码规范性、注视率、版本变更说明检测 一些开源工具推荐 动态内存泄漏测试和监控 基于开源Valgrind工具的二次封装开发 + 持续集成平台(执行调度管理+历史结果存储+度量） 一些开源工具推荐(续） 静态内存/资源泄漏监控 基于开源cppcheck工具的二次封装开发 + 持续集成平台 一些开源工具推荐(续） 代码覆盖率监控 基于开源gcov/lcov工具的二次封装和开发 + 持续集成平台 一些开源工具推荐(续） 差异化比对工具 Python的difflib工具包，可以容易实现友好界面代码比对分析和支持 与自动化部署系统结合起来，部署完成后提供差异报告 安全自动化监控—测试阶段SDL思路 测试平台管理CGI等相关资源 明确get或post参数 结合XSS/CSRF等安全漏洞攻击原理给与input/output的自动化结果分析 纳入持续集成平台统一调度执行和管理和度量 B/S前台优化监控测试 让前台优化不再只是开发工作，测试继续延伸到产品的外网运营 把返回码（404/5XX）、cache、压缩、JS等混淆、http请求次数、打开速度、路由、ping速、打开耗时等统统以测试手段通过IDC间互访实现监控和问题定位分析【让测试继续延伸】 通过IDC间的请求互访支持！ B/S前台优化监控测试—技术实现 Ruby + httpwatch + watir + 优化分析工具 + 持续集成平台【仅支持IE】 Selenium + Fiddler + Python/Ruby + 优化分析工具 + 持续集成平台 【可支持多浏览器】 最佳的性能测试方案是？ 问题：日常测试工作开展，你的性能测试结果对外网产品运行指导价值有多大？ 100% 价值参考？ 80% 价值参考？ 不到50% 价值参考？ 价值参考性不强的原因是啥？ 测试环境 vs 外网环境 外网的访问毛刺 持续攀升的峰值访问次数 最佳模式下突发网络故障 产品架构容灾、柔性设计不够 。。。。 思考： 业务访问频率是几十万次/秒场景下，一次功能探测测试结果代表了啥？ 一天里每秒执行1次后的测试结果又有何作用可分析和参考？ 新的性能测试方案/思路： 同前台性能优化测试的部署执行思路 在IDC间互相部署测试平台和执行agent 探测性 + 自动化测试用例执行 验证响应时间、超时率、错误率 针对性做阀值分析并短信等方式告警 可测试和监控问题： 功能逻辑错误 服务器性能/负载 网络问题（网络不通、网络波动、网络丢包） 架构合理性 。。。 运营环境下的自动化测试监控 测试/监控平台设计 自动化监控成果 再谈持续集成 规则定义 工具开发规范 工具配置管理 任务定制、管理、调度和执行 工具测试结果统计、度量 监控型测试开展的最好支持平台 测试价值的新定位 质量、效率、速度、成本 过去团队发生的一些花絮（真实案例） 案例1： 一个体验界面，只需前台添加几行JS代码，体验便差异非常大， 具体测试人员却提不出改进方案来 案例2： 农场的偷标记不正确显示率很高，开发和测试都无从解决 案例3： 魔法卡片需求文档推出后，被测试推翻重做 我的鉴语：技术决定未来、没有技术没有未来 单纯聚焦黑盒测试，测试凭啥想得到产品、开发和