基于云计算的海量数据存储.pdfVIP

学兔兔 l 訇 化 基于云计算的海量数据存储 Massive data storage based on cloud computing 许小媛。，程宏兵 XU Xiao．yuan。。CHENG Hong-bing (1．江苏广播电视大学信息工程系，南京210017；2．南京邮电大学计算机学院博士后，南京210003) 摘 要；针对因网络的广泛应用而产生的海量数据的存储问题，在云计算技术的基础上，分析了 Hadoop框架结构和MapReduce的计算模型，提出了基于云计算的海量数据存储技术架构图， 并对存储层进行了进一步分析。该存储结构解决了网络中海量数据存储中存在的问题，提高 了存储的效率和安全性。 关键词：云计算；海量数据；技术架构；数据存储 中图分类号：TP31 1．1 2 文献标识码：A 文章编号：1 009—01 34(201 3)07(上)一0082—04 Doi：1 0．3969／J．Jssn．1 009-01 34．201 3．07(I-)．25 0 引言 存储进行了分析和研究。 随着计算机技术的快速发展和网络的日益普 1云计算环境下的海量数据存储模 及，越来越多的人利用网络来获取信息、存储资 型 料和进行电子商务。各种类型的网站不断产生， 1．1 MapReduce模型 比如政府利用网络进行公务，教育行业利用网站 MapReduce模式在云计算的计算模式中处于核 资源进行教学的开展，医院利用网站进行挂号、 心地位，用于大规模数据集的分布式 并行运算。 在线诊疗等等。整个网络产生了巨大的数据量， map(映射)和reduce(化简)是MapReduce模式 如何存储网站中的这些数据，成为了一项亟待解 的主要思想，指定一个Map(映射)函数，接受一 决的问题。传统的存储方式已经很难满足海量数 个键值对 (key—value pair)，产生一组中间键值； 据存储在容量、性能、存储效率和安全性等方面 Reduce(化简)函数，接受一个键，以及相关的 的要求，现在常见的海量数据存储技术可以分为 一 组值，将这组值进行合并产生一组规模更小的 直接附加存储¨ (DAS)和网络存储两种，其中网 值 (通常只有一个或零个值)。MapReduce的流程 络存储又分为网络附属存储 (NAS)和存储域网 如图1所示。 络 (SAN)。但是网络存储量日益增大，网络中 的存储负荷也越来越重，传统的存储方式不可避 免地产生了很多弊端。比~IDAS简单易用，但磁 盘利用率很低，存储分散。NAS对数据库支持不 如盘阵和SAN。SAN存储效能优异，但投资成本