网络存储系统的设计与实现hadoop接口实现及系统测试 大学论文.doc

网络存储系统的设计与实现 ——hadoop接口实现及系统测试 摘 要：随着计算机网络技术的飞速发展，各种网络服务器对存储的需求随之发展。但由于商业规模的不同，对网络存储的需求也不同。因此，要选择适合的网络存储技术进行网络存储。传统的网络存储技术只是解决了数据的存储问题，对于如何确保存储数据的安全可靠性却没有提供有效方案。本文研究了分布式网络存储系统的设计与实现，对其设计思想，体系架构及存储数据文件进行了分析与设计。 关键词：网络技术；网络存储；数据；分布式 Abstract：With the rapid development of computer network technology, the demand for storage with the development of various network server. But because of the different business scale, the demand for network storage is also different. Therefore, to choose suitable network storage technology for network storage. The traditional network storage technology can solve the problem of data storage, only about how to ensure the safety and reliability of the data is stored but not provide effective solution. This paper studies the design and implementation of a distributed network storage system, the design thought, system architecture and data storage file has carried on the analysis and design. Keywords: network;storage;data;distribute 1 引言 1.1 研究背景 数据的保存，从古至今都是在跟随着时代发展的。古代，没有硬盘技术，也没有先进的网络技术，于是，我们聪明的祖先就将数据刻在龟甲、兽骨上，再后来，写在竹简上、纸上，以及现代的磁带、磁盘、光盘。从体积大容量小，一直发展到如今的体积小容量大的U盘、移动硬盘。但这些从古到今的存储介质对于数据的保存不能解决数据的安全长久的问题。所以，我们要在这些脆弱的数据基础上建立有效的、能够长期安全保存数据的方法。 在飞速发展的今天，无论是公司还是个人，随着时间的累积，数据都是呈增长趋势的，势必，我们需要一个有效的存储数据的方法，来保证数据的长久存储、安全存储、可靠存储。 对于数据的安全存储，个人的解决办法通常是多处保存，磁盘，硬盘，优盘等。但是对于一个小型企业甚至是更大型一点的企业来说，这样的方法几乎是不可行的。 一般企业采用集中式存储，利用磁盘镜像来提高有限的数据可靠性，但能提供的容量有限。分布式存储思想的出现，使得解决这些问题变得越来越现实，可实行。基于这些实际情况，分布式存储系统的研究，与我们而言就有了很深的意义。 1.2 目的和意义 本文的目的就是利用分布式思想建立一个廉价，部署简单，稳定，可靠，易扩展，自由组织的分布式存储系统，使得数据的存储高效、安全、长久。 1.3 名词解释 1）分布式存储：与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。 2）Hadoop：一个由Apache基金会所开发的分布式系统基础架构, 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 3）HDFS：Hadoop Distributed File System的简称，是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 4）SSH（安全外壳协议）：为Secure Shell的缩写，由IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。 2 系统开发关键技术分析 2.1 分布式存储技术 2.1.1 分布式存储概念 与目前