基于HDFS的分布式数据安全存储模型-中国科技论文在线.PDF

中国科技论文在线 基于HDFS 的分布式数据安全存储模型# 钱权，王天宏* （上海大学计算机工程与科学学院上海 200444 ） 5 摘要：结合 Hadoop 的分布式文件系统 （HDFS ），以及对称加密算法和公钥密码体制，提 出了一种基于HDFS 的分布式数据安全存储模型。该模型采用HDFS 和 XML 格式分别作为 数据文件的存储平台和物理存储结构。利用该模型不仅可以解决海量数据的存储问题，而 且还提供了对数据文件的访问控制，保证在云计算平台中多用户之间共享数据的必威体育官网网址性和 10 完整性。 关键词：计算机应用;Hadoop; HDFS; 分布式存储;安全性 中图分类号：TP393 A Model of Distributed Data Secure Storage Based on HDFS 15 QIAN Quan, WANG Tianhong (School of Computer Engineering and Science, Shanghai University, Shanghai 200444) Abstract : Combining the Hadoop distributed file system (HDFS) with the symmetric encryption and public-key cryptosystem, a model of distributed data secure storage based on HDFS is proposed. The model makes the distributed file system as the storage platform and the XML 20 format as the physical storage structure. The model can not only solve the problem of storing massive data, but also provide access control mechanisms on data, ensuring the sharing data files confidentiality and integrity among different users. Key words: Computer Application Technology; Hadoop; HDFS; Distributed Storage; Security 25 0 引言 Hadoop[1]作为一个分布式开源框架，不仅可以利用其分布式文件系统 HDFS[2]作为海 量数据的存储平台[3]，而且还支持Google 提出的 MapReduce 分布式编程模型，现如今已被 广泛的应用于云计算平台中。但是利用 Hadoop 作为海量数据的存储平台，数据的必威体育官网网址性、 完整性和访问控制同样值得研究和思考，例如：Owen O’Malley[4]等人就曾提出 Hadoop 中 30 存在的各种服务不能提供完善的访问控制和身份识别，而且数据节点也没有对每个数据块提 供必要的访问控制，所以一个用户可以轻松的假冒合法用户身份来访问 HDFS 或 MapReduce 集群，因此 Owen O’Malley 等人设计了基于 SSL 的Kerberos 协议，来进行用户身份识别； Indrajit Roy 等人设计实现了 Airavat[5]平台，用来保证在 MapReduce 计算过程中对重要数据 的安全和隐私保护；还有，Wei Wei 等人设计了用来保证在 MapReduce 过程中服务完整性 35 的框架 SecureMR[6]。本文在应用HDFS 文件系统的同时保证数据的安全性和完整性，设计 了一种基于HDFS 的数据安全存储模型。该