用于提升目标检测系统鲁棒性的测试实例优先级.pptx

PrioritizingTestingInstancestoEnhancetheRobustnessofObjectDetectionSystems用于提升目标检测系统鲁棒性的测试实例优先级2024.07.09

背景基于深度学习的目标检测模型广泛部署于自动驾驶系统中，它是否可靠决定了整体系统的安全性目标检测系统是采用数据驱动的编程范式开发的，它从大规模数据集中学习逻辑，数据集的质量决定了系统质量开发者通常会雇用大量人力来标注原始数据，耗费人力与预算测试和优化目标检测系统已成为一项紧迫而具有挑战性的任务2018年3月，优步(Uber)的一辆自动驾驶汽车因其目标检测系统的限制而未能检测到一名女性，导致她死亡。2019年，特斯拉的自动驾驶汽车与一辆卡车相撞，原因是其物体探测系统未能区分白色卡车和明亮的天空。面向自动驾驶的目标检测系统的可靠性令人担忧：面向自动驾驶的目标检测数据集标注费用昂贵：目标检测数据集：$65/1000个物体分类数据集：$35/1000张图片数据标注服务传统数据集标注以图片为单位，而目标检测数据集以单个物体为单位目标检测数据集的标注费用比传统分类数据集高很多

介绍大多数数据优先级范式都难以应用于目标检测系统目前的技术主要是为图像级任务设计的，并不适合复杂的目标检测系统，图像级方法浪费标注预算大量标注预算用于标注原本正确的数据现状本文工作提出了一个名为DeepView的新测试优先级工具。DeepView专注于实例级别的错误检测，而不是图像级别，旨在通过优先选择需要标注的数据来节省标注时间与预算并提升模型性能。

方法总流程实例分割能力计算优先级排序实例标注

方法分类能力（Cls-capability）计算正则表示：分类能力计算公式：分类能力越差C的值越大

方法定位能力（Loc-capability）计算现状：一个训练良好的目标检测模型能够更精确地在较粗略的提议区域基础上定位目标；而训练不良的模型输出则更接近原始提议区域。定位能力计算公式：并交集（重合比例）计算公式：定位能力越差L的值越大提议区域计算公式：直接保存提议区域浪费计算资源，因此通过最终检测框和回归信息来推导模型视角的方法

方法DeepView算法概述得到两个指标相乘则为最后的排序指标M，值越大代表实例更有可能显示对象检测模型中的错误。

实验设计数据集和模型选择SSD（SingleShotMultiBoxDetector）：代表性的单阶段模型，不需要候选区域生成器，而是在网络中直接提取特征，并使用这些局部特征作为候选区域来进行区域调整和目标分类。FasterR-CNN：代表性的两阶段模型，首先进行区域生成，这些生成的区域被称为候选区域（proposals），然后使用卷积神经网络（CNN）对这些候选区域进行特征提取，然后进行调整和目标分类确保实验结果的通用性

实验设计基准方法研究背景：目前还没有专门为目标检测模型设计的测试优先级技术，现有的优先级技术难以直接应用于目标检测系统。具体基准方法：DeepGini：这是一个通用的分类系统测试优先级方法，其核心思想是计算图片预测结果的基尼系数（Ginicoefficient）。为了尽可能将这一技术迁移到目标检测模型上，作者计算了模型对单张图片输出的多个分数的基尼系数。Margin(1vs2-Sum)和Entropy：这是两种最先进的目标检测模型主动学习方法，使用这些方法中的排名算法来与DeepView进行比较。Margin方法的作者提出了不同的计算方法（1vs2-Max、1vs2-Avg、1vs2-Sum），在本文中使用了论文中报告的最佳算法。随机采样方法：使用了两种随机采样方法作为基准，分别是图像级别随机（Ran-Imag）和实例级别随机（Ran-Inst）。额外实验：进行了额外实验来证明使用定位能力（Loc-capability）的必要性

实验结果排序数据的有效性APFD：在测试过程中发现故障的平均百分比。RAUC-500(曲线下面积比率)：衡量优先排序方法结果的前500个实例的效果不同配置下DeepView和基准方法的APFD值和差异该技术比传统技术更有效地将系统容易检测出错的实例排到靠前位置该技术在不同目标检测阈值配置下的稳定性比传统方法更优秀仅使用分类能力和完整的DeepView的APFD和RAUC-500值不同配置下DeepView和基线的RAUC-500值

实验结果排序数据的多样性该技术排序出的错误种类更加多样化错误类型累积总和曲线当重新训练的数据缺乏足够的多样性时，可能会导致训练结果的偏差，从而降低模型的准确性错误类型公式：??轴是优先级列表的执行顺序，??轴表示执行前??个实例后发现的不同错误类型的数量。多样性量化方法：DeepView能够用更少的测试用