智慧高速海量异构数据处理关键技术研究-软件工程专业论文.docx

1m．dk．Nye胁m潞汕呼 蚰删 k吣e；a l曙眵 Se．江h研贼舰．1■1■ r1-L胁mD b乜ghm舰砒眦拶C厂A Dissertation Submitted for the Degree of MasterCandidate：Xu KaiSupervisor：Associate：Prof．WangItrol WangChongqing Jiaotong University,Chongqing，China万方数据重庆交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：气京李以／日期：护∥年易月‘日重庆交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权重庆交通大学可以将本学位论文的全部内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科 学技术信息研究所将本人学位论文收录到《中国学位论文全文数据库》，并进行 信息服务(包括但不限于汇编、复制、发行、信息网络传播等)，同时本人保留 在其他媒体发表论文的权利。学位论文作者签务：为京嗜t指导教师签名：i／急雒日期：跏邝年6月6日日期：跏肜年易月‘Et本人同意将本学位论文提交至中国学术期刊(光盘版)电子杂志社CNKI系 列数据库中全文发布，并按《中国优秀博硕士学位论文全文数据库出版章程》规 定享受相关权益。 ．学位论文作者签名：妾＼、农加指导教师签名：日期：跏n年1月6日日期：p．／6年易万方数据摘要高速公路作为经济运输大动脉，承担的运输量与经济和社会需求同步增长。 目前高速公路在建设管理、运营管理、养护管理及服务等方面也呈现出一些问题， 如体制分散、缺乏统一协调，出现了“信息孤岛”、缺乏对交通信息的综合利用等。 随着物联网、云计算、人工智能、自动控制、移动互联网等技术在交通领域中的 充分运用，“智慧高速”也应运而生。智慧高速通过充分地“感知”高速公路，实现信 息深度融合、数据分析和挖掘，采用准确的模型和控制系统，为管理者和出行者 提供协同管理和智慧服务。但在智慧高速建设过程中，“感知”的数据具有种类繁多、 数据量大、存储分散等特性，因此数据的有效存储、高效率的数据检索、数据的 深度融合是目前智慧高速重点研究内容之一。本文以某区智慧高速为研究对象，结合当前该区智慧高速的建设情况及数据 的特点，以Hadoop大数据平台为基础，对智慧高速数据中心海量异构数据处理的相关关键技术进行研究，主要有以下几方面的研究工作。(1)分析云计算和Hadoop相关技术，主要包含HDFS分布式文件、MapReduce 分布式计算框架和HBase分布式数据库等技术。(2)在对该区智慧高速建设情况和数据特点分析基础上，构建了智慧高速海量 异构数据处理总体架构，实现了海量异构数据处理流程。同时，根据用户的需求， 确定了智慧高速海量异构数据处理的相关关键技术，包括数据迁移、数据存储、 数据检索技术等。(3)实现了智慧高速海量异构数据关键技术中的数据存储、数据迁移、数据检 索等的研究和方案设计。设计了数据存储结构、关系型数据表与HBase表的映射 规则。提出了基于磁盘读写调度的结构化数据迁移和基于Apache VFS的非结构化数据迁移方案。设计了一种基于HBase二级索引的数据检索策略，结合数据缓存 层，提高复杂条件的数据检索效率。(4)在智慧高速海量异构数据处理总体架构上，对智慧高速海量异构数据处理 关键技术进行了实验验证。实验结果表明：基于磁盘读写调度器的结构化数据迁 移与默认调度器相比，随着数据迁移量的增加，迁移效率明显提升；设计的非结 构化数据迁移方案支持多线程并发操作，随着线程的增加，迁移速度越快；改进 的数据检索方法的检索效率高于原始HBase的检索效率，同时利用数据缓存，检 索效率大大高于直接从己经建立索引的HBase的检索效率。关键字：智慧高速，数据迁移，数据存储，数据检索万方数据AB STRACTHighway transportation artery as economy,undertake traffic volume growth with the economic and social needs．In current highway construction management，operation management，main