基于Solr的海量卡口数据存储与查询系统的设计与实现-软件工程专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。  本论文属于 必威体育官网网址□， 在 年解密后适用本授权书。 不必威体育官网网址□。  （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日  摘 要 近年来，随着经济社会的发展，城市的交通问题越来越严重，为了规范人们的 文明行为，保障社会治安，越来越多的交通卡口设备安装在道路上。问题也接踵而 来，卡口设备实时向服务器传入数据，日积月累，数据呈指数型增长，传统的存储 架构已经无法及时的存储海量数据，同时，用户想要通过原有系统进行快速精准的 信息查询也不太现实。而解决这一难题方法就是采用大数据平台的解决方案，利用 该技术不仅可以解决海量数据的实时存储难题，而且用户想要快速精准查找信息也 变得非常容易。为了能够解决当前问题，采用基于 Hadoop，HBase，Solr 的这三大 平台的大数据解决方案。 主要针对两大问题海量存储与海量数据查询，海量数据的存储主要基于 HBase， 同时 HBase 的底层存储依赖于 Hadoop，因此应当建立分布式的文件存储系统。而搜 索则是基于 Solr 和 HBase，同时在一些特定情形下采用 Oracle，因此应当设计一款 中间件软件，能够合理的将数据进行清洗分发。在应对高并发的用户请求方面，搭 建 Solr 集群，HBase 集群，有效的将压力分散到各个节点，除此之外，针???开源框 架我们应该根据自身的经验不断的进行参数优化，努力提高系统的稳定性与高效性。 最后，搭建了一个模拟的集群环境，将三大平台部署在其上，并根据真实数据 模拟了海量数据，对其进行存储和查询的压力测试，通过对测试结果的分析，做出 了优化处理，验证了系统的可行性。 关键词：大数据 分布式存储 高并发  Abstract In recent years， with the development of economy and society， more and more serious traffic problems appered in cities. In order to regulate the behavior of people and safeguard social order， more and more traffic bayonet equipment installed on the road. However，numbers of bayonet equipments send data to the server in real time，and data is growing exponentially， traditional storage architectures cant able to store huge amounts of data. Thus it is not realistic for the users to perform fast and accurate information via the original system. The solution is to use big data platform，.Using this technology can not only solve the problem of massive amounts of data stored in real-time， but also ables its the users to easily search information quickly and accurately. In order to solve this problem， we have to adopted big data platform solutins，which is based on Hadoop，HBase，Solr. This article focused on two main issues，mass data s