- 1、本文档共31页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
基于Hadoop的微博分布式存储系统的设计及构建
摘要 近年来,伴随着大数据时代的到来,互联网所有领域几近乎都有涉足大数据。微博系统也包含其中。目前主流微博系统主要是基于MySQL数据库来实现数据存储。而其自身的并发性、扩展性和数据存储量上都有很大的局限性。
本文旨在 通过 构建和 设计基于Hadoop的 微博分布式 存储系统来解决这几个问题。首先Hadoop框架底层的HDFS分布式文件系统,具有很高的容错性和很高的传输速率,并且易于扩充。其次建立在HDFS之上的Hbase是基于列族的非传统性数据库,可以为用户提供更好的实时读写数据。最后通过对Hbase的设计来减少服务器的压力并实现负载均衡。
关键词:分布式; Hadoop; Hbase
Design and construction of micro-blog distributed storage system based on Hadoop
Abstract In recent years, with the advent of the era of big data, the Internet is almost all areas are involved in big data. The system can guarantee micro-blog. The current mainstream blog system is mainly to achieve data storage based on MySQL database. While concurrency, scalability and data storage capacity of its own has great limitations.
This paper aims to construct and design of micro-blog distributed storage system based on Hadoop to solve these problems. The first Hadoop frame at the bottom of the HDFS distributed file system, has very high fault tolerance and high transmission rate, and easy to expand. Secondly, based on HDFS Hbase is listed and non traditional database based on real time data can be read and write, to provide users with better. Finally, to reduce the pressure of the server and to achieve load balancing through the design of Hbase.
Keywords: Distributed; Hadoop; Hbase
目录 TOC \o 1-2 \h \z \u
引言 1
1概 述 2
1.1背景及现状 2
1.2技术现状 3
1.3开发目的与意义 5
1.4论文组织结构 5
2关键技术 6
2.1 HDFS 分布式文件系统 6
2.2 HBase 分布式数据库 7
2.3 MapReduce 数据处理编程模型 10
2.4 Hadoop 与传统关系型数据库的比较 11
3开发平台和环境搭建 13
3.1开发环境形式 13
3.2所需软件和硬件 13
3.3集群环境搭建 13
3.4环境检测 18
4 Hbase数据库的设计与实现 19
4.1 Zookeeper的安装 19
4.2 Hbase的安装和配置 20
4.3 Hbase的设计 21
5 系统测试 23
5.1 HDFS测试 23
5.2下载测试 24
结论 26
致谢 27
参考文献 28
PAGE
PAGE 28
引言
近年来,微博可谓是家喻户晓,妇孺皆知。提起微博不得不提Twitter,其是微博系统的鼻祖,国内的微博大多数是山寨版的Twitter。微博在生活中无处不在,而随着互联网行业的发展和激烈的竞争下,微博不仅要寻求新方法来开拓市场,满足用户需求的多样化和个性化等;又要充分利用网络的现有技术来扩展网站的性能。伴随着大数据时代的到来,网站对数据的要求也不断提高。海量数据的存储的高效性需求在日益增加。传统微博系统多
您可能关注的文档
- java教育培训信息系统论文.doc
- 办公电子设备的电磁信息泄漏研究论文.doc
- 办公自动化课程在线考试平台的设计与实现论文.docx
- 办公自动化系统的设计与实现论文.docx
- 采用BS架构的张家口移动公司车辆管理系统论文.doc
- 大型企业客服排班系统的设计与实现论文.doc
- 地区农产品展销网站的设计与实现检测板论文.doc
- 基于Android平台的怪兽总动员游戏的设计与实现论文.doc
- 基于HTML的飞机大战游戏设计与开发论文.doc
- 基于ios的大鱼吃小鱼游戏系统设计与实现论文.doc
- 2024年小学教师工作计划模板(八篇) .pdf
- 2024年药学类之药学(师)题库检测试卷B卷附答案 .pdf
- 2024年必威体育精装版仁爱版五年级数学(上册)期中考卷及答案(各版本) .pdf
- 2024年高中生个人职业生涯规划 .pdf
- 2024年法律职业资格之法律职业客观题二题库与答案 .pdf
- 2024年资产评估师之资产评估基础真题练习试卷B卷附答案 .pdf
- 2024年度社工(初级)《社会工作实务(初级)》考试典型题题库及答案.pdf
- 2024年新员工下半年工作计划范文(3篇) .pdf
- 2024年律师委托代理合同标准版本(三篇) .pdf
- 2024年股权抵押借款合同范本(4篇) .pdf
文档评论(0)