The Impact of Concurrent Coverage Metrics on Testing Effectiveness论文笔记.doc

The Impact of Concurrent Coverage Metrics on Testing Effectiveness 2013年IEEE第六届软件测试,验证和确认国际会议 Abstruct 当我们测试多线程的程序的时候，可能互相交互的线程的数量极其庞大，使得在实际中不可能获得所有的线程之间的影响关系。就像分支和语句覆盖率度量对于顺序程序测试一样，人们对于多线程程序提出了一种并发覆盖率度量。但是不像顺序程序覆盖率度量，并发覆盖率度量的效力在很大程度上是未经检验的。 本文通过测试具有八个并发覆盖率度量标准的应用程序中的九段并发代码来研究了并发覆盖率和故障检测效率之间的关系。实验结果显示，现有的并发覆盖率度量能够比较强地预测并发测试的效力，并且通常能够合理的生成测试套件。但是使用这些度量标准进行预测和生成测试套件的时候需要复合程序，因此需要做额外的一些工作。 I. INTRODUCTION 采用动态数据跟踪的，基于静态检测的，基于模式驱动的等，这些方法的精确度不高，于是有人提出系统级的并发程序测试方法。比如Case of concurrent coverage metrics and Structural coverage metrics。 we are aware of no study rigorously examining the impact of proposed concurrent coverage metrics. We expect that increasing concurrent coverage will improve testing effectiveness, but we also expect that it will increase test suite size。 我们知道目前并没有太多对提出的并发覆盖率对测试工作的影响这方面的研究。我们预计提高并发覆盖率将提高测试效率,但我们也知道它会增加测试套件的大小。 Qusetion1：Does improving concurrent coverage directly lead to a more effective testing process, or is it merely a byproduct of increasing test suite size? 提高并发覆盖率能直接提高测试的效力么？还是它仅仅只是增多测试用例而产生的附属品？ Question2：If improving coverage does lead to improvements, what practical gains in testing effectiveness can we expect? 如果提高覆盖率真的能够提高测试的效力，那么我们能期待它在实际的测试效力上有什么作用？ For each program and metric pairing, we used a randomized test case generation process to generate 100,000 test suites with varying levels of size and coverage, and measured the relationships between the percentage of coverage requirements satisfied, the number of test executions, and the fault detection ability of test suites via correlation and linear regression. Additionally, we compared test suites generated to achieve high coverage against random test suites of equal size. We measured fault detection ability using both mutation analysis (systematically seeding concurrency faults) and real-world faults. 对于每一个 程序-度量 组，都采用随机测试用例生成方法产生了10W个测试套件，它们拥有不同的规模和覆盖率等级。实验通过对 测试套件覆盖率被达到的比例，测试用例的数量和缺陷检测能力的相关分析和线性回归，评判了它们之间的关系。同时，实验也比较了为了满足覆盖率要求而生成的测试用例和随机生成的测试用例，通过它们在检测变异对象缺陷和真实缺陷上的表现度量了它们的缺陷检