计算机视觉应用--目标检测算法评价指标.pptx

目标检测算法评价指标6.4

6.4目标检测算法评价指标在人工智能领域,模型的效果需要用各种指标来评价。常用的目标检测指标有:准确率、精度、召回率、FPR、F1分数、PR曲线、ROC曲线、AP的值及很重要的mAP,本节主要对这些重要的指标进行阐述。

首先介绍几个常见的模型评价术语,现在假设目标只有两类,即正样本和负样本,与其相关的术语如下。6.4目标检测算法评价指标6.4.1综合指标

6.4目标检测算法评价指标(1)Truepositives(TP):被正确地划分为正样本的个数,即实际为正样本且被分类器划分为正样本的数目。1(2)Falsepositives(FP):被错误地划分为正样本的个数,即实际为负样本但被分类器划分为正样本的数目。2(3)Falsenegatives(FN):被错误地划分为负样本的个数,即实际为正样本但被分类器划分为负样本的数目。3(4)Truenegatives(TN):被正确地划分为负样本的个数,即实际为负样本且被分类器划分为负样本的数目。4

了解完上述名词之后,下面阐述与其相关的重要目标检测指标。6.4目标检测算法评价指标准确率(accuracy)是常见的评价指标,即被分对的样本数除以所有的样本数,通常来说,准确率越高,分类器越好,计算公式如下:accuracy=(TP+TN)/(TP+TN+FP+FN)(6-18)1.准确率精度(precision)是从预测结果的角度来统计的,是说预测为正样本的数据中有多少个是真正的正样本,代表分类器预测正例的准确程度,即“找得对”的比例,计算公式如下:precision=TP/(TP+FP)(6-19)式中,TP+FP即所有的预测为正样本的数据,TP即预测正确的正样本个数。2.精度

召回率(recall)与TPR(truepositiverate)为一个概念,意为在总的正样本中模型找回了多少个正样本,代表分类器对正例的覆盖能力,即“找得全”的比例,计算公式如下:recall/TPR=TP/(TP+FN)(6-20)式中,TP+FN即所有真正为正样本的数据,TP即预测正确的正样本个数。3.召回率6.4目标检测算法评价指标FPR(falsepositiverate)是指实际负样本中错误的判断为正样本的比例,这个值往往越小越好,计算公式如下：FPR=FP/(FP+TN)(6-21)式中,FP+TN即实际样本中所有负样本的总和,FP即判断为正样本的负样本。4.FPR

F1分数(F1-score)是分类及目标检测问题的一个重要衡量指标。F1分数认为召回率和精度同等重要,在一些多分类问题的机器学习竞赛中,常常将F1-score作为最终测评的方法。它是准确率和召回率的调和平均数,最大为1,最小为0。计算公式如下:F1=2TP/(2TP+FP+FN)(6-22)5.F1分数6.4目标检测算法评价指标6.4.2PR曲线和ROC曲线在6.4.1部分介绍了关于准确率、精度、召回率、FPR和F1分数的知识,但是通常只有这些指标还不能直观地反映模型性能,所以就有了PR曲线和ROC曲线。

PR曲线即以精度和召回率作为纵、横轴坐标的二维曲线,两者具有此消彼长的关系。PR曲线如图6-23所示,如果模型的精度高,召回率高,那么模型的性能就好。也就是说,PR曲线下面的面积越大,模型的性能越好。PR曲线反映了分类器对正例的识别准确程度和对正例的覆盖能力之间的权衡。PR曲线有一个缺点,就是其会受到正负样本比例的影响。例如,当负样本增加10倍后,在召回率不变的情况下,必然召回了更多的负样本,所以精度就会大幅下降,所以PR曲线对正负样本分布比较敏感。对于不同正负样本比例的测试集,PR曲线的变化就会非常大。AP即averageprecision,称为平均精度,它对不同召回率点上的精度进行平均,在PR曲线图上表现为PR曲线下面的面积。AP的值越大,则说明模型的平均精度越高,计算公式如下:1.PR曲线6.4目标检测算法评价指标

6.4目标检测算法评价指标