动态交通数据异常值的实时筛选与恢复方法-哈尔滨工程大学学报.pdf

第３７卷第２期　 　 　 　 　 　 　 　 　 　 　 哈　 尔　 滨　 工　 程　 大　 学　 学　 报　 　 　 　 　 　 　 　 　 　 Ｖｏｌ．３７ №．２ ２０１６年２月　 　 　 　 　 　 　 　 　 　 Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ 　 　 　 　 　 　 　 　 　 　 　 Ｆｅｂ．２０１６ 动态交通数据异常值的实时筛选与恢复方法 １，２ １ １ ３ 徐程 ，曲昭伟 ，陶鹏飞 ，金盛 （１．吉林大学 交通学院，吉林 长春 １３００２２；２．浙江警察学院交通管理工程系，浙江杭州３１００５３；３．浙江大学建筑工程学院，浙 江 杭州 ３１００５８） 摘　 要：针对实际中检测器原始交通数据存在的大量缺失与异常的实际情况，论文通过分析数据采样间隔与交通 流三参数内在关系等因素的影响，设计了４步骤的数据筛选方法，包括初步筛选、阈值筛选、交通流理论筛选和质 量控制筛选；提出了基于时间序列、历史数据、空间位置及时空相关性的四种在不同条件下应用的数据恢复方法； 以此为基础建立了标准的数据预处理流程。 通过北京快速路实际数据验证表明，算法能够有效剔除异常数据，异 常数据恢复精度低于１０％，同时具有很强的实时性和稳定性，能够满足工程实际的应用。 关键词：采样间隔；数据筛选；数据恢复；多元质量控制；时间序列；时空相关性；数据预处理；交通流理论 ｄｏｉ：１０．１１９９０／ ｊｈｅｕ．２０１５０３０４５ 网络出版地址：ｈｔｔｐ：／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ ｋｃｍｓ／ ｄｅｔａｉｌ／ ２３．１３９０．ｕ１０３０．０１２．ｈｔｍｌ 中图分类号：Ｕ４９１　 文献标志码：Ａ　 文章编号：１００６⁃７０４３（２０１６）０２⁃０２１１⁃０７ Ｍｅｔｈｏｄｓ ｏｆ ｒｅａｌ⁃ｔｉｍｅ ｓｃｒｅｅｎｉｎｇ ａｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ｔｒａｆｆｉｃ ａｂｎｏｒｍａｌ ｄａｔａ １，２ １ １ ３ ＸＵ Ｃｈｅｎｇ ，ＱＵ Ｚｈａｏｗｅｉ ，ＴＡＯ Ｐｅｎｇｆｅｉ ，ＪＩＮ Ｓｈｅｎｇ （１．Ｃｏｌｌｅｇｅｏｆ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ，Ｊｉｌｉｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ １３００２２，Ｃｈｉｎａ；２．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｔｒａｆｆｉｃ Ｍａｎａｇｅｍｅｎｔ Ｅｎｇｉｎｅｅｒｉｎｇ，ＺｈｅｊｉａｎｇＰｏ⁃ ｌｉｃｅ Ｃｏｌｌｅｇｅ，Ｈａｎｇｚｈｏｕ ３１００５３，Ｃｈｉｎａ；３．Ｃｏｌｌｅｇｅｏｆ Ｃｉｖｉｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｒｃｈｉｔｅｃｔｕｒｅ，Ｚｈｅｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ ３１００５８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂｅｃａｕｓｅｏｆ ｔｈｅｌａｒｇｅｑｕａｎｔｉｔｙ ｏｆ ａｂｓｅｎｃｅａｎｄａｂｎｏｒｍｉｔｙ ｏｆ ｏｒｉｇｉｎａｌｔｒａｆｆｉｃｄａｔａｉｎｔｈｅｒｅａｌ ｄｅｔｅｃｔｏｒ，ｂｙ ａｎ⁃ ａｌｙｚｉｎｇ ｔｈｅｉｎｆｌｕｅｎｃｅｏｆ ｉｎｎｅｒｒｅｌａｔｉｏｎｓｈｉｐｏｆ ｄａｔａａｃｑｕｉｓｉｔｉｏｎｉｎｔｅｒｖａｌａｎｄｔｈｒｅｅｔｒａｆｆｉｃｆｌｏｗ ｐａｒａｍｅｔｅｒｓａｎｄｏｔｈｅｒｆａｃ⁃ ｔｏｒｓ，ｔｈｉｓ ｐａｐｅｒ ｄｅｓｉｇｎｅｄａｆｏｕｒ⁃ｓｔｅｐ ｄａｔａ ｓｉｅｖｉｎｇｍｅｔｈｏｄ，ｉｎｃｌｕｄｉｎｇｐｒｅｌｉｍｉｎａｒｙ ｓｃｒｅｅｎｉｎｇ，ｔｈｒｅｓｈｏｌｄｆｉｌｔｅｒｉｎｇ，ｔｈｅ⁃ ｏｒｅｔｉｃａｌ ｓｃｒｅｅｎｉｎｇ ｏｆ ｔｒａｆｆｉｃｆｌｏｗ ａｎｄ ｑｕａｌｉｔｙ ｃｏｎｔｒｏｌ ｓｉｅｖｉｎｇ．Ｔｈｅｎｆｏｕｒ ｄａｔａ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｅｔｈｏｄｓｕｓｅｄ ｉｎ ｄｉｆｆｅｒｅｎｔ ｃｏｎｄｉｔｉｏｎｓｗｅｒｅ ａｌｓｏ ｐｒｏｐｏｓｅｄ ｂａｓｅｄ ｏｎ ｔｉｍｅ ｓｅｒｉｅｓ，ｈｉｓｔｏｒｉｃａｌ ｄａｔａ，ｓｐａｔｉａｌ ｌｏｃａｔｉｏｎ ａｎｄ ｓｐａｔｉ