执行测试南京大学.pptVIP

执行测试赵建华南京大学计算机系主要活动分配测试时间激发测试标志出现的失效按照三个步骤进行在要测试的系统之间分配测试时间在进行可靠性增长测试的每个系统的功能,回归,和负载测试之间分配时间。在进行负载测试的每个系统的操作模式之间分配测试时间。对于进行确认测试的系统，所有的测试时间都被分配给负载测试。分配测试时间首先根据估计的风险，将测试时间在超系统之间分配时间。对于其他的系统，时间的分配原则上按照分配新的测试案例的比例分配测试时间。对于系统的当前版本例如：FoneFollower中，总共计划320小时的测试，40小时分配给超系统。以前的测试案例的分配为0.714和0.286。所以各个系统得到的时间为，产品200小时，操作系统80小时。分配案例的比率已经反映了被测试系统之间的相对重要性和新成分的多少。在被测试系统之间分配时间如果系统进行可靠性测试首先分配功能测试的时间。然后分配进行回归测试的时间。剩下的时间分配给负载测试。如果系统只进行确认测试，那么所有的时间都分配给了负载测试。例如：FoneFollower中，超系统的40小时和操作系统的80小时，都分配给负载测试。对于产品测试的200小时，预计进行10小时的功能测试，估计进行10次每次1小时的回归测试。这样负载测试的时间分配为180小时。不同测试方式之间的再分配在操作模式之间分配测试时间在操作模式之间分配测试时间的基本规则为：按照各种模式在实际使用中被使用的比例。对于FoneFollower，modeProportionSupersystemProducttimeOStimePeakhours0.14188Primehours0.72812656Offhours0.283616SRE的测试需要在系统的单元经过了测试或Verification，并且被集成后使得系统的各个操作都可以完成。一般按照以下的顺序测试系统，主要的原因是：对于测试结果信息的需求的先后顺序。也可以采取其他的顺序。采办组件产品和变体超系统激发测试（1）对于单个系统的测试顺序：功能测试?负载测试?（程序有改动后）回归测试功能测试：从所有新测试案例和以前版本的回归测试案例集合中随机选择（包含了所有的关键性操作的测试案例）。负载测试：按所分配的时间比例，使用合适的测试过程，调用每个操作模式。回归测试：调用所有功能测试的测试案例，或从中选择一个子集（包括所有的关键操作）。激发测试（2）案例选择总共执行的案例的数量是由允许的时间决定的。案例是按照测试操作剖面的概率，以随机的顺序，在随机时刻被激发的。对于负载测试，案例的选择是可重复的。一个案例被选择并执行之后，可能又被执行。原因在于：负载测试中，案例的执行数目远远大于允许的案例数目，且间接输入变量有一定的影响。对于功能测试或回归测试，案例的选择是不可重复的。一个案例只会被执行一次。原因在于：间接变量的影响被严格控制，同一个案例执行两次而出现不同的行为的可能性要远远小于两个不同案例的执行。增加有关失效的信息。确认失效（错误）已经消除了。运行重复的主要目的案例，激发的时间，操作模式，环境变量，…失效的重现是必要的。为了能够重现，我们必须纪录每个运行的相关信息重复运行操作选择在执行测试的过程中，选择操作的时候需要达是稳定。稳定和不稳定的例子：操作A:0.7；操作B:0.3。顺序1：ABAABAAABA顺序2：AAAAAAABBB顺序稳定(1)不稳定(2)11120.5130.67140.75150.6160.67170.71180.750.8890.670.78100.70.701分析测试输出，以找到行为偏离(deviation)02确定哪些偏离是失效03估计失效是什么时候发生的04确认失效的严重程度等级找出系统失效找出系统失效所需要做的事情分析测试输出，确定偏离偏离(deviation)是指系统的行为和原来预期的有偏差：通信失效，非法内存引用，死锁，…可以通过自动化的方法来检测系统的失效行为。可以使用特定的工具来完成失效的自动检测。也可以在代码中插入断言来完成失效的自动检测。也可以设计内部状态审计程序或者外部结果检测器来检测失效行为。但是，一定程度的人工检测是必须的可能会有难以预先估计的错误出现。由于负载测试中，运行的数量很多，有些不能自动监测的失效会被忽略。通常不计算程序行为在性能上的偏差。01级联偏离不计算：一个偏离可能引起其他的偏差。此时只应该计算一个偏离。即使开始的时候多计算了，如果发现