- 1、本文档共3页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
车辆通行数据的分布式存储系统浅析.doc
车辆通行数据的分布式存储系统浅析
摘 要 卡口车辆通行数据的分布式存储方法,包括配置计算节点和数据节点服务器,搭建并行计算集群环境;按照需要采集的车辆特征建立表结构,在表结构中选取至少两个特征作为主键,由主键组成一条卡口数据信息;对主键和常用查询字段建立分布式可变索引,再针对车牌号建立分布式检索索引;接入待存储的各个卡口的过车信息数据源;用户以包含索引的字段进行查询,系统在100m/s之内返回相应数据。满足日常业务中卡口系统对海量过车信息数据存储的需求,而且通过对过车信息的数据结构的索引数据结构设计实现了快速查询的功能,大大提高了查询速率,增强了用户体验。
关键词 分布式存储;Hadoop分布式计算框架;海量过车信息
中图分类号 TP31 文献标识码 A 文章编号 1674-6708(2016)166-0074-01
1 系统架构和实现步骤
1.1 系统架构图
1.2 系统实现步骤
1)配置计算节点和数据节点服务器,搭建并行计算集群环境,安装与集群环境版本匹配的数据访问中间件。
2)按照需要采集的车辆特征建立表结构,在表结构中选取至少2个特征作为主键,由主键组成一条卡口数据信息。
3)对主键和常用查询字段建立分布式可变索引,再针对车牌号建立分布式检索索引。
4)接入待存储的各个卡口的过车信息数据源。
2 系统实现功能综述
2.1 过车数量统计
卡口车辆通行数据的分布式存储方法,其特征在于:设定定时任务,自动统计前一天各个卡口的过车数据总量。
2.2 过车信息格式
卡口车辆通行数据的分布式存储方法,其特征在于:将车牌号、通过时间、卡口编号这3个特征作为主键,由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息,卡口数据信息格式为:车牌号+通过时间取反+卡口编号。
2.3 模糊查询
卡口车辆通行数据的分布式存储方法,其特征在于:用户输入一个车牌号的其中任意一段连续字符,便可通过分布式索引文件的查询返回相似度最高的前20个车牌号;返回车牌号之后,系统再根据相似度最高的车牌号列表进行全字段的匹配查询;车牌号的分布式索引存储在大数据集群中的分布式文件系统中。
3 具体实施方式
3.1 配置计算节点和数据节点服务器
首先,配置计算节点和数据节点服务器,搭建并行计算集群环境,安装与集群环境版本匹配的数据访问中间件,Apache Phoenix数据访问中间件把传统数据库的SQL语句编译成HBase存储所需要的操作语句,加快了开发效率,降低了开发难度;其次,按照需要采集的车辆特征建立表结构,在表结构中选取至少两个特征作为主键,由主键组成一条卡口数据信息。
3.2 表结构建立
如图1所示,按照业务需求采集的车辆特征建立表结构,采集到字段有“车牌号”“通信时间”“卡口编号”,“车辆颜色”“车辆大小”“通行方向”“数据来源”等存储字段;根据具体业务需求,整理需要持久化的所有数据信息字段,同时选取能够唯一标志一条记录的字段作为主键,这里将车牌号、通过时间、卡口编号这3个特征作为主键,由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息。
3.3 大数据集群配置
大数据集群运行在Linux内核的服务器,计算节点、备份计算节点和数据节点使用Hadoop分布式计算框架,采用HDFS的分布式文件系统,利用MapReduce算法实现“分而治之”的计算模型,所有数据通过Phoenix中间件存储在HBase数据库内,整个Hadoop框架内的计算转发、监控和策略决定都由ZooKeeper管理。
参考文献
[1]Tom Wbite.hadoop权威指南第三版[M].北京:人民教育出版社,2014(7).
[2]涂子沛.大数据应用实例[M].桂林:广西师范大学出版社,2015(6).
3
您可能关注的文档
- 谈谈农业机械的安全监督和管理.doc
- 谈谈如何增强企业凝聚力.doc
- 谈谈如何破解会计教学中存在的困惑问题.doc
- 谈谈手机阅读在学生中的推广.doc
- 谈谈整体叶轮五轴数控加工技术.doc
- 谈谈现代秘书职业素养提高的途径.doc
- 谈谈畜牧养殖中动物疾病病因及控防.doc
- 谈谈蛋鸡场的生物安全措施.doc
- 谈钢厂烧结工艺的节能设计.doc
- 谈防护林抚育管理技术.doc
- DB22T 2432-2016 无公害农产品 蓝莓设施生产技术规程.docx
- DB32∕T 2893-2016 ‘苏乌1号’白首乌栽培技术规程.docx
- DB32∕T 2908-2016 石油化工码头企业安全监督检查规范.docx
- DB22T1555-2012 公路客运站车辆安全技术检测条件.docx
- DB32∕T 2516-2013 黄皮洋葱连葱6 号生产技术规程.docx
- DB32T2890-2016 美洲鲥繁育技术规范.docx
- DB32_T 3115-2016菊花脱毒种苗生产技术规程.docx
- DB32T2996-2016 冻干胡萝卜粒加工技术规范.docx
- DB32╱T 2947-2016 长江水下平顺抛石护岸施工规范.docx
- DB32_T 2997-2016果树枝条粉碎技术规程.docx
最近下载
- 铁塔室外光电一体箱(技术规范书)-.docx VIP
- 铂科磁材在太阳能逆变器的应用.pdf VIP
- 2025·上海浦东新区·二模智慧藏于“笨办法”:慢工出细活的真谛+审题立意及范文-备战2025年中考语文各地名校模考卷作文导写.docx VIP
- 经血源传播疾病的医院预防控制措施.docx VIP
- 安全操作规程(全套).doc VIP
- (word完整版)苏州工业园区合格证第四版参考题库答案.pdf VIP
- 2025年北京市通州区中考一模从“乐在其中”悟人生真谛”审题立意及范文-备战2025年中考语文各地名校模考卷作文导写.docx VIP
- 2021版 客户侧电能计量装置通用设计要求 第1部分 10kV用电客户电能计量装置.docx VIP
- Q∕SYCQ 4008-2022 工业用液化轻烃原料(打印版).pdf VIP
- 租房合同范本(完美打印版)6篇 .pdf VIP
文档评论(0)