软件可靠性测试与评估实验指导书讲述.docx

软件可靠性测试与评估 实验指导书 北航可靠性与系统工程学院 目 录 1 绪论 1 1.1 软件可靠性测试与评估概论 1 1.2 软件可靠性测试分类 3 2 实验设置的背景、意义和内容安排 4 2.1 实验设置的背景、意义 4 2.2 本实验的内容安排 5 2.3 实验课要求 5 2.4 实验报告要求 6 2.5 实验软件简介 6 2.5.1 软件可靠性测试数据生成工具TCS 6 2.5.2 软件可靠性评估工具SRET 6 2.5.3 ATM机软件 6 3 软件可靠性测试剖面构造实验部分 7 3.1 概述及实验相关介绍 7 3.1.1 Musa操作剖面 7 3.1.2 Musa操作剖面的构造方法 8 3.2 实验软件 13 3.2.1 TCS 13 3.2.2 ATM机软件 14 3.3 实验内容 14 4 软件可靠性验证测试实验部分 15 4.1 概述及实验相关介绍 15 4.1.1 软件可靠性验证测试流程 15 4.1.2 软件可靠性验证统计测试方案 17 4.1.3 软件可靠性验证测试的注意事项 22 4.2 实验软件 23 4.3 实验内容 23 5 软件可靠性增长测试实验部分(选做) 23 5.1 概述及实验相关介绍 23 5.1.1 软件可靠性增长测试流程 23 5.1.2 软件可靠性增长测试的注意事项 26 5.2 实验软件 26 5.3 实验内容 27 6 软件可靠性评估实验 27 6.1 概述及实验相关介绍 27 6.1.1 软件可靠性评估流程 27 6.1.2 软件可靠性评估注意事项 28 6.2 实验软件 28 6.3 实验内容 28  1 绪论 1.1 软件可靠性测试与评估概论 软件可靠性测试是指为了保证和验证软件的可靠性而对软件进行的测试。它是随机测试的一种，其主要特征是按照用户实际使用软件的方式来测试软件。软件可靠性测试是评估软件可靠性水平及验证软件产品是否达到可靠性要求的一种有效途径。与其它类型的软件测试相比，软件可靠性测试可以使用与其它测试方法相同的测试环境和测试结果分析方法，但是必须使用专有的软件测试数据生成方法和软件可靠性评估技术，在测试数据中体现出软件需求以及用户对软件的使用情况，在评估中体现出软件可靠性测试中的定量化评估度量。 通过软件可靠性测试可以达到以下目的： a) 实现软件可靠性的有效增长：通过软件可靠性测试暴露出软件中隐藏的缺陷，并进行排错和纠正后，软件可靠性会得到增长。软件可靠性测试暴露出来的缺陷是那些软件中发生概率高的缺陷，而且是对软件可靠性影响最大的缺陷，这些缺陷得到纠正后，软件可靠性在软件可靠性测试的早期就会得到较大的增长。 b) 用于验证软件可靠性是否满足一定的要求：可以根据用户的可靠性要求确定可靠性验证方案，进行可靠性验证测试，从而验证软件可靠性的定量要求是否得到满足。 c) 用于预计软件的可靠性：通过对软件可靠性增长测试中观测到的失效数据进行分析，可以评估当前软件可靠性的水平，预测未来可能达到的水平，从而为软件开发管理提供决策依据。 软件可靠性测试与一般软件测试在测试目的、测试效率、测试数据生成方法、测试数据收集、测试数据分析以及测试停止准则上都存在差异，软件可靠性测试与一般软件测试的比较如表1所示。 表1软件可靠性增长测试与一般测试比较 比较项目 软件可靠性增长测试 一般软件测试 测试目的 评估软件可靠性水平、有效实现软件可靠性增长 发现软件的故障 测试效率 较快达到可靠性要求 达到可靠性要求较慢 测试数据生成方法 基于使用的测试，根据软件的使用状况构造操作剖面然后生成测试用例 基于需求/结构的测试，根据软件的需求或结构生成测试用例 数据收集 需要收集测试输出结果和失效时间等数据 只需收集测试输出结果 数据分析 通过失效数据进行可靠性分析 根据用例执行情况进行需求/结构覆盖分析 测试停止准则 满足可靠性要求 功能/性能测试：需求覆盖100% 结构测试：语句覆盖100%、 分支覆盖100%或满足其它结构覆盖要求 软件可靠性测试的特点如图1所示。 图 1软件可靠性测试的特点 国家标准GB11457中，软件可靠性评估（software reliability assessment）或软件可靠性评价（software reliability evaluation）是指“确定现有系统或系统部件可靠性所达到的水平的过程”。国际标准IEEE Std.1633中，软件可靠性评估（software reliability evaluation）被定义为“统计学技术在系统测试和运行期间收集的可观测失效数据上的应用，用于评价软件的可靠性”。 软件的失效数据可以在下述两种情况下获得，一是在测试阶段后期，通过软件可靠性测试（即按照软件的实际使用方式测试软件的一种方法），收集测试过程中的失