大数据Hadoop平台下数据存储的研究与实现-邵婉莹-汪陈伍-通信工程.doc

西 安 邮 电 大 学 毕 业 设 计（论 文） 题 目： 学 院： 专 业： 班 级： 学生姓名： 导师姓名： 职称： 高工 起止时间： 毕业设计（论文）诚信声明书 本人声明：本人所提交的毕业论文《大数据Hadoop平台下数据存储的研究与实现》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。 本人完全意识到本声明的法律后果由本人承担。 论文作者： （签字）时间：2015年6月5日 指导教师已阅： （签字） 时间：2015年6月5日 西安邮电大学 毕业设计(论文)开题报告 通信与信息工程 学院 通信工程 专业 11 级 08 班 课题名称：大数据Hadoop平台下数据存储的 研究与实现 学生姓名： 邵婉莹 学号指导教师： 汪陈伍 报告日期： 2015年3月26日 西安邮电大学本科毕业设计（论文）开题报告 学号 姓名 邵婉莹 导师 汪陈伍 题目 大数据Hadoop平台下数据存储的研究与实现 选题目的（为什么选该课题） 这是一个信息爆炸的时代，互联网上的信息正在以几何级数的速度增长着。在这个大背景下，消耗CPU最多的计算逐渐从“提升软件本身性能”方面转移到了信息处理方面，从而各大厂商不得不面临着极大地挑战——他们需要从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量数据进行快捷、高效的处理。而数据存储是数据管理工作的基石，所以如何进行大数据的有效存储成为一个重要的研究课题，为此选择了这个课题，以便更多地了解大数据和云计算方面的知识并且锻炼对linux系统的操作能力和搭建工作环境的能力，更为了以后工作和发展方向做下基础。 前期基础（已学课程、掌握的工具，资料积累、软硬件条件等） 1、在校期间学习过《计算机网络》和《数据库》等相关学科，为做本题打下基础，具备了一定的计算机网络和数据库等的基础知识；2、通过网络和相关书籍查阅资料，了解了云计算和大数据的相关概念； 3、已经安装了linux操作系统，对处理大数据的Hadoop也进行了进一步的了解；4、对于大数据的分布式存储的工作原理进行了初步的了解和掌握。1、了解云计算和大数据的相关知识，理解大数据存储方面的原理；2、安装linux系统，能在linux上进行熟练的操作； 3、在linux上安装Hadoop，进行Hadoop分布式平台的搭建，掌握HDFS分布式存储的工作原理并对其提出改进，对一组样本数据进行存储；4、了解分布式编程模型MapReduce的原理并能进行简单的使用； 5、撰写毕业论文，能熟练掌握Hadoop下大数据存储的相关知识并进行答辩等环节。1、通过查阅大量资料理解并熟悉云计算和大数据的相关知识，尤其是大数据存储的分布式原理和使用；2、在Windows系统上利用VMware安装虚拟机，装载linux系统，配置好vmtools等所需的常用软件及其设置，进一步熟悉linux操作环境； 3、在Windows和linux之间的共享文件夹中下载linux版本的Java和Hadoop的安装包，在linux中安装、调配运行环境等至可以正常使用； 4、根据资料学习和了解相关概念和使用方法并进行Hadoop分布式平台的搭建，包括运行环境和开发环境的搭建直到能熟练使用； 5、在搭建环境的过程中体会和掌握HDFS分布式存储的工作原理，并分析其优缺点，查阅资料，提出一些改进的方案或想法； 6、理解开源的非关系型分布式数据库HBase的工作原理和使用方法； 7、下载或者编辑一组样本数据，以样本数据为例，在hadoop平台下进行大数据的存储实例； 8、解决完存储问题后，对大数据分析方面的分布式编程模型MapReduce的原理、使用方法和使用环境做一了解。 9.通过对毕业设计中所涉及的知识的学习与理解，针对设计中遇见的问题及时与老师进行讨论，找到解决问题的方法，从而撰写毕业论文，最后结合所掌握的知识不断完善论文。(％) 评阅教师评分30(％) 验收小组评分30(％) 答辩小组评分20(％) 学生总评成绩 百分制成绩 等级制成绩 答辩委员会意见 毕业论文(设计)最终成绩(等级)： 学院答辩委员会主任(签字)：