基于多尺度融合和特征对齐的实时高精度交通标志检测与识别.pdfVIP

万昊

第31卷，第1期中国传媒大学学报（自然科学版）Vol31，No1

2024年2月JOURNALOFCOMMUNICATIONUNIVERSITYOFCHINA(SCIENCEANDTECHNOLOGY)Feb.,2024

引用格式：万昊，任永国.基于多尺度融合和特征对齐的实时高精度交通标志检测与识别［J］.中国传媒大学学报（自然科学版），2024，31

（01）：65-73.

文章编号：1673‐4793（2024）01‐0065‐09

基于多尺度融合和特征对齐的实时高精度交通标志

检测与识别

1*2

万昊，任永国

（1.百度在线网络技术有限公司，北京100085；2.北京邮电大学，北京100876）

摘要：高精度的实时交通标志检测和识别对安全自动驾驶和智能交通系统至关重要。本研究对基线网络YOLOV4进行了升级，

增加了多尺度融合模块和注意力机制模块（AMM），丰富了不同尺度交通标志的特征表示。同时，颈部网络结合了特征选择模块

和特征对齐模块，增强了高、低层特征图之间像素偏移的语义判别。具体地说，针对AMM，设计了一种转置的自注意力操作。

其使用互协方差矩阵将令牌维度上的操作转换为通道维度，将时间复杂度从O(n)降低到O(n)。在TT100K交通标志数据集上2

的实验结果表明，与基线网络（mAP0.5=76.4%）相比，升级后的网络（mAP0.5=83.4%）取得了较好的改进，检测和识别速度

可达39.45帧/秒，达到了目前最先进的水平。

关键词：交通标志识别；神经网络；自注意力；多尺度融合；特征对齐

中图分类号：TP183文献标识码：A

Real-timehigh-accuracytrafficsigndetectionandrecognition

usingmulti-scalefusionandfeaturealignment

WANHao1*,RENYongguo2

(1.BaiduOnlineNetworkTechnology(Beijing)Co.,Ltd.，Beijing100085,China;2.BeijingUniversityofPosts

andTelecommunication,Beijing100876,China）

Abstract:Real-timetrafficsigndetectionandrecognitionwithhighaccuracyiscrucialforsafeautonomous

drivingandintelligenttransportationsystems.Manydeepnetworkshavebeenproposed,whilethereisstill

roomforfurtherimprovement.Inthisstudy,thebaselinenetworkYOLOV4wasupgradedwithamulti-

scalefusionmoduleandanattentionmechanismmodule(AMM)forenrichingthefeaturerepresentationof

trafficsignsofdifferentsizes.Meanwhile