计算机视觉应用--两阶段式2D目标检测算法 Faster R-CNN.pptx

两阶段式2D目标检测算法FasterR-CNN6.2

6.2两阶段式2D目标检测算法FasterR-CNN经过R-CNN和FastR-CNN的积淀,RossB.Girshick在2016年提出了新的FasterR-CNN。在结构上,FasterR-CNN已经将特征提取(featureextraction)、候选区域(regionproposal)、边界框回归(boundingboxregression)、分类回归(classification)都整合在了一个网络中,使得综合性能有较大提高,在检测速度方面提高尤为明显。FasterR-CNN结构如图6-2所示。

FasterR-CNN主要分为以下四部分。6.2两阶段式2D目标检测算法FasterR-CNN(1)特征提取部分(convlayers):作为基于卷积神经网络的目标检测网络,FasterR-CNN首先使用一组基础的卷积层+激活函数+池化层(conv+ReLU+pooling)提取特征图(featuremaps)。该特征图被共享用于后续候选区域网络(RegionProposalNetworks,RPN)层和全连接层。(2)候选区域网络部分:RPN用于生成候选区域框。该层通过softmax函数判断先验框内是否包含目标信息,再利用边界框回归(boundingboxregression)修正先验框获得精确的候选区域框。

6.2两阶段式2D目标检测算法FasterR-CNN(3)兴趣域池化(ROIpooling)部分:该层收集输入的特征图及RPN输出的候选区域框,综合这些信息后提取候选区域特征图,送入后续全连接层判定目标类别。(4)分类回归(classification)部分:利用候选区域特征图计算候选区域框的类别,同时再次利用boundingboxregression获得检测框最终的精确位置。本节主要基于以上四点对FasterR-CNN进行阐述。

6.2.1特征提取部分特征提取部分包含了卷积层、激活函数、池化层三部分,共有13个卷积层,13个激活函数,4个池化层,主要对输入样本进行特征提取。其中,所有的卷积都做了扩边处理(使卷积的参数pad=1,填充一圈0),导致原图变为(M+2)×(N+2)大小,通过3×3卷积后输出M×N。正是这种设置,导致特征提取部分的卷积层不改变输入和输出特征图大小,如图6-3所示。特征提取部分的池化层设置参数池化核为2,步长为2。通过这样的池化过程,每个经过池化层的M×N矩阵都会变为(M/2)×(N/2)大小。综上所述,在整个特征提取部分,卷积层函数和激活函数层不改变输入输出大小,只有池化层使输出特征图的长宽都变为输入特征图的1/2。6.2两阶段式2D目标检测算法FasterR-CNN

6.2两阶段式2D目标检测算法FasterR-CNN

6.2.2候选区域网络经典的检测方法生成检测框都非常耗时,如OpenCVadaboost使用滑动窗口+图像金字塔生成检测框;R-CNN使用选择性有哪些信誉好的足球投注网站方法生成检测框。而FasterR-CNN则抛弃了传统的滑动窗口法和选择性有哪些信誉好的足球投注网站(selectivesearch)方法,直接使用RPN生成检测框,这也是FasterR-CNN的巨大优势,能极大提升检测框的生成速度。图6-4所示为RPN的具体结构,可以看到RPN主要由两条线路组成。上面一条通过softmax分类先验框获得正样本(positive)和负样本(negative),下面一条用于计算边界框回归的偏移量,以获得精确的候选区域框。而最后的候选(proposal)层则负责综合先验框和对应边界框的偏移量获取所有可能的区域候选框,同时剔除太小和超出边界的区域候选框。整个网络到了候选阶段,就相当于完成了目标定位的功能。6.2两阶段式2D目标检测算法FasterR-CNN

6.2两阶段式2D目标检测算法FasterR-CNN

先验框又称为锚框(anchorbox),是目标检测网络中非常重要的结构。在先验框出现之前,目标检测网络通常使用滑动窗口法进行目标的检测。但是滑动窗口法窗口尺寸固定,当被检测目标尺寸变化较大或同一个窗口内存在多个目标时,其检测效果很差,且运算量较大,并不适合实时检测,而先验框的多尺寸则可以很好地解决上述问题。1.先验框6.2两阶段式2D目标检测算法FasterR-CNN

先验框在训练及检测过程中都需要。在训练时需要对每个先验框标注两类信息,即判断每个先验框的类别及相对于真实框的偏移量。训练的目的主要是训练出先验框,拟合出真实框的模型参数,以便检测使用;在检测阶段并不是直接在图像上生成预测框,而是使用基于先验框生成的预测框,否则会导致检