河北工业大学软件测试Ch6-集成测试与系统测试-STMT.ppt

从质量三个纬度看系统测试 (2) 质量维度 测试类型 功能 容量测试：侧重于核实测试对象对于大量数据（输入和输出或驻留在数据库内）的处理能力的测试。容量测试包括多种测试策略，如创建返回整个数据库内容的查询；或者对查询设置很多限制，以至不返回数据；或者返回每个字段中最大数据量的数据条目。 性能 基准测试：一种性能测试，该测试将比较（新的或未知的）测试对象与已知的参照负载和系统的性能。 竞争测试：侧重于核实测试对象对于多个主角对相同资源（数据记录、内存等）的请求的处理是否可以接受的测试。 负载测试：一种性能测试，用于在测试的系统保持不变的情况下，核实和评估系统在不同负载下操作极限的可接受性。 评测包括负载和响应时间的特征。如果系统结合了分布式构架或负载平衡方法，将执行特殊的测试以确保分布和负载平衡方法能够正常工作。 性能曲线：在该测试中，将监测测试对象的计时配置文件，包括执行流、数据访问、函数和系统调用，以确定并解决性能瓶颈和低效流程。 强度测试：一种性能测试，侧重于确保系统可在遇到异常条件时按预期运行。系统面对的工作强度可以包括过大的工作量、不充足的内存、不可用的服务/硬件或过低的共享资源。 Q A Flat测试 “波动”效应 Page Downloaded per Second 系统吞吐量 Flat测试 “波动”效应 Resource Usage 基准测试 同时与服务器通信的连接（或虚拟用户）的数目， 每个虚拟用户请求之间间隔时间的长短。 随着服务器上负载的增加，吞吐量会不断攀升，直到到达一个点, 并在这个点上稳定下来 基准测试的关键是要获得一致的、可再现的结果。 假定测试的两个指标是服务器的响应时间和吞吐量，会受到负载的影响。而负载又受两个因素影响： 与服务器通信的用户越多，负载就越大。同样，请求之间间隔时间越短，负载也越大。这两个因素的不同组合会产生不同的服务器负载等级. 基准测试 (2) 在某一点上，执行队列开始增长，因为服务器上所有的线程都已投入使用，传入的请求不再被立即处理，而是放入队列中，当线程空闲时再处理。 当系统达到饱和点，服务器吞吐量保持稳定后，就达到了给定条件下的系统上限。但是，随着服务器负载的继续增长，响应时间也随之延长，虽然吞吐量保持稳定。 队列产生 响应时间 资源使用 将系统置于相同的高负载下，将请求之间间隔时间设为零。这样服务器会立即超载，并开始构建执行队列。如果请求（虚拟用户）数保持一致，基准测试的结果会非常精确? flat运行是获得基准测试数据的理想模式 基准测试 (3) 两个事务的响应时间曲线 性能规划测试 　 性能规划类型的测试其目标是找出在特定的环境下，给定应用程序的性能可以达到何种程度。例如，如果要以5秒或更少的响应时间支持8,000个当前用户，需要多少个服务器？ 　要确定系统的容量，需要考虑几个因素: 用户中有多少是并发与服务器通信的。 每个用户的请求间时间间隔是多少。 如何加载用户以模拟负载状态？ 最好的方法是模拟高峰时间用户与服务器通信的状况。 如果用户负载状态是在一段时间内逐步达到的,选择ramp-up测试，每隔几秒增加x个用户; 如果所有用户是在一个非常短的时间内同时与系统通信，就应该使用flat测试，将所有的用户同时加载到服务器 什么是确定容量的最好方法？ 结合两种负载类型的优点，并运行一系列的测试 如：首先使用ramp-up测试确定系统支持的用户范围?该范围内不同的并发用户负载进行一系列的flat测试，更精确地确定系统的容量。 性能规划测试 (2) 渗入测试 渗入测试是一种比较简单的性能测试。渗入测试所需时间较长，它使用固定数目的并发用户测试系统的总体健壮性。这些测试将会通过内存泄漏、增加的垃圾收集(GC)或系统的其他问题，显示因长时间运行而出现的任何性能降低。 建议运行两次测试——一次使用较低的用户负载（要在系统容量之下，以便不会出现执行队列），一次使用较高的负载（以便出现积极的执行队列）。 峰谷测试 兼有容量规划ramp-up测试和渗入测试的特征,目标是确定从高负载（例如系统高峰时间的负载）恢复、转为几乎空闲、然后再攀升到高负载、再降低的能力。 系统瓶颈分析举例-1 交易的响应时间如果很长，远远超过系统性能需求，表示耗费CPU的数据库操作，例如排序，执行aggregate functions（例如sum、min、max、count）等较多，可考虑是否有索引以及索引建立的是否合理；尽量使用简单的表联接；水平分割大表格等方法来降低该值。 系统瓶颈分析举例-2 分段排除错误。测试工具可以模拟不同的虚拟用户来单独访问Web服务器、应用服务器和数据库服务器，这样，就可以在Web端测出的响应时间减去以上各个分段测出的时