一种联合文本和图像信息的行人检测方法.pdf

第 1期 电 子 学 报 Vo1．45 No．1 2017年 1月 ACTA ELECTR0NICA SINICA Jan． 2017 一 种联合文本和图像信息的行人检测方法 周炫余 ，刘 娟 一，卢 笑。，邵 鹏 ，罗 飞 ， (1．武汉大学软件国家重点实验室，湖北武汉 430072；2．武汉大学计算机学院，湖北武汉 430072 3．湖南大学电气与信息工程学院，湖南长沙410082) 摘 要： 针对纯视觉行人检测方法存在的误检、漏检率高，遮挡 目标以及小尺度 目标检测精度低等问题 ，提出一 种联合文本和图像信息的行人检测方法．该方法首先利用图像分析的方法初步获取图像 目标的候选框 ，其次通过文本 分析的方法获取文本中有关图像 目标的实体表达，并提出一种基于马尔科夫随机场的模型用于推断图像候选框与文 本实体表达之间的共指关系(CoreferenceRelation)，以此达到联合图像和文本信息以辅助机器视觉提高交通场景下行 人检测精度的目的．在增加了图像文本描述的加州理工大学行人检测数据集上进行的测评结果表明，该方法不仅可以 在图像信息的基础上联合文本信息提高交通场景中的行人检测精度 ，也能在文本信息的基础上联合图像信息提高文 本中的指代消解 (AnaphoraResolution)精度． 关键词： 行人检测；马尔科夫随机场；文本一图像信息联合；共指关系；指代消解 中图分类号： TP391 文献标识码 ： A 文章编号： 0372—2112(2017)0l-0140-07 电子学报 uRL：http：／／www．ejourna1．org．an DOI：10．3969／j．issn．0372—2112．2017．01．020 A MethodforPedestrianDetectionby CombiningTextualandVisualInformation ZHOUXuan．yu ，LIU Juan ，LUXiao ，SHAO Peng一，LUO Fei (1_StateKeyLabofSoftwareEngineering，WuhanUniversity，Wuhan，Hubei430072，China； 2．ComputerSchool，WuhanUniversity，Wahan，Hubei430072，China； 3．College0厂ElectricalandInformationEngineering，HunanUniversity，Changsha，Hunan410082，China) Abstract： Existingvision—basedpedestriandetectionmethodsencountermanyflaws，suchashighfalsenadmissde— tectionrates，lowdetectionaccuracyonpartialoccludedandsmallscaleobjects，etc．Inthispaper，weproposeapedestrian detectionmethodcombiningtextualandvisualinformationtogether．First．weuseavision—basedmethodto initially localize thecandidatevisualobjects．Second，wenaalyzethetextinformationtogetthetextmentionscorrespondingtothevisualob— jects．Finally，weproposeaMarko