第五到八章 非功能性测试.ppt

第五-八章非功能性测试 本章要点 非功能性：性能、安全性、可使用性、兼容性、并发性 应在需求阶段就关注非功能性需求 不要事后才考虑到非功能性测试 关注功能的同时应该考虑非功能，否则会失去客户 Web application的性能 使用不兼容的第三方控件 多用户c/s application的并发性 需要考虑的风险（折中考虑）： 糟糕的性能 不兼容性 缺乏安全性 缺乏可使用性 两种文档：系统中所有用例、每条需求 用产品级数据库进行性能测试 测试应用程序在不同规模数据下的性能，获得应用程序数据处理能力的“上限” 开发和测试中使用产品级数据库： 避免应用程序成为产品的危机 有助于及早暴露问题 获得实际数据：客户处 推测硬件平台和产品级平台的差异来推测性能（估计两种平台的性能培数） 性能测试概括为三个方面 应用在客户端性能的测试：是考察客户端应用的性能，测试的入口是客户端。 并发性能测试：是重点。 疲劳强度测试、 大数据量测试和速度测试等 应用在网络上性能的测试 网络应用性能监控 网络应用性能分析 网络预测。 应用在服务器端性能的测试。 并发性能测试 并发性能测试的过程是一个负载测试和压力测试的过程，即逐渐增加负载，直到系统的瓶颈或者不能接收的性能点，通过综合分析交易执行指标和资源监控指标来确定系统并发性能的过程。 负载测试（Load Testing）是确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统组成部分的相应输出项，例如通过量、响应时间、CPU负载、内存使用等来决定系统的性能。负载测试是一个分析软件应用程序和支撑架构、模拟真实环境的使用，从而来确定能够接收的性能过程。 压力测试（Stress Testing）是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试.例如测试一个Web 站点在大量的负荷下，何时系统的响应会退化或失败。 针对一个网站进行测试，模拟10到50个用户就是在进行常规性能测试，用户增加到1000乃至上万就变成了压力/负载测试。如果同时对系统进行大量的数据查询操作，就包含了强度测试。 并发性能测试的目的 主要体现在三个方面： 以真实的业务为依据，选择有代表性的、关键的业务操作设计测试案例，以评价系统的当前性能； 当扩展应用程序的功能或者新的应用程序将要被部署时，负载测试会帮助确定系统是否还能够处理期望的用户负载，以预测系统的未来性能； 通过模拟成百上千个用户，重复执行和运行测试，可以确认性能瓶颈并优化和调整应用，目的在于寻找到瓶颈问题。  举例说明：电信计费软件 众所周知,每月20日左右是市话交费的高峰期，全市几千个收费网点同时启动。 收费过程一般分为两步,首先要根据用户提出的电话号码来查询出其当月产生费用,然后收取现金并将此用户修改为已交费状态。 一个用户看起来简单的两个步骤,但当成百上千的终端，同时执行这样的操作时，情况就大不一样了,如此众多的交易同时发生,对应用程序本身、操作系统、中心数据库服务器、中间件服务器、网络设备的承受力都是一个严峻的考验。 决策者不可能在发生问题后才考虑系统的承受力, 预见软件的并发承受力, 这是在软件测试阶段就应该解决的问题。  并发性能测试的主要指标 并发性能测试监控的对象不同，测试的主要指标也不相同，主要的测试指标包括交易处理性能指标和UNIX资源监控。 交易处理性能指标包括交易结果、每分钟交易数、交易响应时间（Min：最小服务器响应时间；Mean：平均服务器响应时间；Max：最大服务器响应时间；StdDev：事务处理服务器响应的偏差，值越大，偏差越大；Median：中值响应时间；90％：90％事务处理的服务器响应时间）、虚拟并发用户数 应用实例：“新华社多媒体数据库 V1.0”性能测试 性能测试的目的：是模拟多用户并发访问新华社多媒体数据库，执行关键检索业务，分析系统性能。 性能测试的重点：是针对系统并发压力负载较大的主要检索业务，进行并发测试和疲劳测试，系统采用B/S运行模式 并发测试设计了特定时间段内分别在中文库、英文库、图片库中进行单检索词、多检索词以及变检索式、混合检索业务等并发测试案例。疲劳测试案例为在中文库中并发用户数200，进行测试周期约8小时的单检索词检索。 测试结论 在新华社机房测试环境和内网测试环境中，100M带宽情况下，针对规定的各并发测试案例，系统能够承受并发用户数为200的负载压力，最大交易数/分钟达到78.73，运行基本稳定，但随着负载压力增大，系统性能有所衰减。 系统能够承受200并发用户数持续周期约8小时的疲劳压力，基本能够稳定运行。 通过对系统UNIX（Linux）、Oracle和Apache资源的监控，系统资源能够满足上述并发和疲劳性能需求，且系统硬件资源尚有