切都监控起来-吴凯华.ppt

测试/监控平台设计 用例管理和制作 测试数据管理 脚本语言支持 任务管理和调度 任务执行/控制 结果上报 任务执行/控制 结果上报 任务执行/控制 结果上报 统计分析 配置管理 告警推送 结果展示 测试平台· 统计平台· * 自动化监控成果 * 再谈持续集成 规则定义 工具开发规范 工具配置管理 任务定制、管理、调度和执行 工具测试结果统计、度量 监控型测试开展的最好支持平台 轻量灵活化、插件化接口、集中管理和执行约束 * 测试价值的新定位 质量、效率、速度、成本 * 过去团队发生的一些花絮（真实案例） 案例1： 一个体验界面，只需前台添加几行JS代码，体验便差异非常大， 具体测试人员却提不出改进方案来 案例2： 农场的偷标记不正确显示率很高，开发和测试都无从解决 案例3： 魔法卡片需求文档推出后，被测试推翻重做 * 我的鉴语：技术决定未来、没有技术没有未来 单纯聚焦黑盒测试，测试凭啥想得到产品、开发和其他团队的尊重和支持？ * 谢谢 * 把一切都监控起来 ---思路 vs 技术 vs 管理 腾讯公司--- 吴凯华 2010-11-13 * 互联网行业现状 运营网络环境错综复杂、 不同操作系统/浏览器及版本、不同网络速度 大量服务器 测试环境跟外网差异大 敏捷开发、快是生存的根本 测试与开发人力比例很大 * 测试团队价值如何最大化？ 提问： 团队自动化测试ROI目前是正值还是负值？ 质量与效率是否有清晰度量指标和平衡点？ 可能的现状？ 明知版本差、仍然要发布 辛苦自动化测试投入，一个产品变更，轻松抹杀所有产出 痛苦的外网问题定位，测试被频繁挑战 思考/挑战 敏捷开发下，如何更好体现测试的声音和价值？ 快速版本发布下，如何仍然把质量持续提升？ 除了测试（包括工具开发）， 测试团队还可以做什么? * 大部分测试团队的工作范畴 自动化测试（B/S、C/S、后台） 平台/框架建设 安全测试 黑盒测试 白盒/单元/集成/灰盒测试 性能测试（前后台） 用户体验测试 兼容性测试 。。。。 * 这些工作呢？ 配置管理（代码）变更和规范性 开发/编译/测试环境稳定性 外网发布部署过程质量 外网产品运营质量 IDC运营质量 外网环境质量 仅仅是开发和运营支持人员的责任？ * 互联网行业测试范畴新定义 可用性测试 监控测试 * 监控测试定义 规律性比对的自动化测试 + 不确定性下检测预警+人脑智能分析 通过各种不同工具和统一的测试平台从多个纬度给产品研发运营质量输出错误报告和预警分析 让监控型测试工作无所不在！ * Testing Monitor Scope 代码规范性 高危函数代码 目录/文档 Makefile 静态代码检测 SCM变更 分支基线 代码被评审度 Base lib 变更 Build 监控 产品打包规范性 配置标准化监控 部署变更监控 发布一致性监控 差异测试监控 环境稳定度监控 外网黑盒性能 打开速度 服务器运行 Coredump/crash 网络状况 程序上下线 数据正确性 返回码 代码 环境 运营 缺陷进展监控 项目MileStone Testing Plan Task Status 流程 * 监控测试下测试开发重点工作 持续集成平台 依托在持续集成平台下的各种测试工具 让工具自动化执行起来！ * 一些测试解决方案技术和原理介绍 * 基于SVN的二次开发封装 充分利用SVN的hook技术 让开发CI时更有乐趣和挑战压力 Pre-commit和post-commit利用 Html/CSS/JS给出变更的差异报告 Dom tree变更的提醒和分析 CI后的静态检测 C/C++代码：推荐开源cppcheck工具 高危险函数扫描分析预警 CI前的编码规范性、注视率、版本变更说明检测 监控结果或错误邮件推送 测试结果入持续集成数据库 * 一些开源工具推荐 动态内存泄漏测试和监控 基于开源Valgrind工具的二次封装开发 + 持续集成平台(执行调度管理+历史结果存储+度量） * 一些开源工具推荐(续） 静态内存/资源泄漏监控 基于开源cppcheck工具的二次封装开发 + 持续集成平台 * 一些开源工具推荐(续） 代码覆盖率监控 基于开源gcov/lcov工具的二次封装和开发 + 持续集成平台 * 一些开源工具推荐(续） 差异化比对工具 Python的difflib工具包，可以容易实现友好界面代码比对分析和支持 与自动化部署系统结合起来，部署完成后提供差异报告 * 安全自动化监控—测试阶段SDL思路 测试平台管理CGI等相关资源 明确get或post参数 结合XSS/CSRF等安全漏洞攻击原理给与input/output的自动化结果分析 纳入持续集成平台统一调度执行和管理和度量 * B/S前台优化监控测试 让前台优