变电站智能巡视图像识别算法评价方法.pdf

变电站智能巡视图像识别算法评价方法

（一）图像识别算法评价指标

根据国网公司企业标准《输变电设备缺陷影像智能识别

算法检验规范》要求，图像识别算法评价指标包括IoU值、

检出率、误检率、AP值、平均计算时间。

（1）IoU值

IoU值为算法输出的识别框与验证集的标注框之间的重

合度，IoU值计算公式如下：

识别框标注框

识别框标注框

其中，针对渗漏油部件表面油污、地面油污、挂空悬浮

物三个场景的IoU值≥0.3且识别框标签正确时即为正确识

别框；其他场景的IoU值≥0.5且识别框标签正确时即为正确

识别框。

（2）检出率

针对场景P，检出率为算法输出的正确识别框数量与验

证集的标注框数量的比值，检出率计算公式如下：

检出率×100%

其中，T为验证集场景P的标注框数量；M为算法输出

1

的正确识别框数量。

（3）误检率

针对场景P，误检率为算法输出的错误识别框数量与算

法输出的识别框数量的比值，误检率计算公式如下：

−

误检率×100%

其中，M为算法输出的识别框数量(含正确识别和错误识2

别)。

（4）AP值

针对场景P，AP值为待测算法准确率-召回率曲线面积，

按VOC标准计算。应在满足IoU≥0.5的条件下进行AP值计

算。其中针对渗漏油部件表面油污、地面油污、挂空悬浮物

三个场景的目标验证结果满足IoU≥0.3即可进行AP值计算。

（5）平均计算时间

平均计算时间为算法计算总时间与验证集图像数量的

比值，按照等级对应的计算时间得分。

表1平均计算时间与计算时间得分

等级ABCD

平均计算时间

t≤5050＜t≤100100＜t≤500t500

（ms）

计算时间得分10.80.60

（6）图像识别算法评分

1.场景评分

场景评分包括检出率、误检率、AP值和计算时间得分，

权重分别为30%、30%、30%和10%。场景评分计算公式如下：

场景评分=（0.3×检出率+0.3×（1-误检率）+0.3×AP

值+0.1×计算时间得分）×100%

2.综合评分

综合评分包括所有场景的平均检出率、平均误检率、平

均AP值和平均计算时间得分，通用的计算公式如下：

1+1

×100%

+

其中，V为待测算法平均检出率、平均误检率、平均AP

值和平均计算时间得分；V为待测算法某个场景缺陷的检出

n

率、误检率、AP值和计算时间得分；V为待测算法某个场景