分布式系统下大数据存储结构优化研究 - 河北工程大学学报(自然科学版).pdf

分布式系统下大数据存储结构优化研究 - 河北工程大学学报(自然科学版).pdf

  1. 1、本文档共5页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
分布式系统下大数据存储结构优化研究 - 河北工程大学学报(自然科学版)

31 4 ( ) Vol. 31 No. 4 第 卷 第 期 河 北 工 程 大 学 学 报 自 然 科 学 版 2014 12 Journal of Hebei University of Engineering (Natural Science Edition) Dec. 2014 年 月 文章编号:1673 - 9469 (2014)04 - 0069 - 05 doi :10. 3969 /j. issn. 1673 - 9469. 2014. 04. 017 分布式系统下大数据存储结构优化研究 , 冯汉超 周凯东 ( , 邯郸056038) 河北工程大学信息与电气工程学院 河北 : , 。 行式存 摘要 在分布式系统中 数据的存储结构直接影响了大数据的存储效率和处理性能 在 , , , ; , 储结构下 数据从本地读取 加载速度快 但压缩效率低且存在数据冗余 在列式存储结构下 数 , 。 据压缩效率高 但数据的跨节点访问增加了网络传输消耗 针对行式存储结构和列式存储结构 , , 。 , 的缺点 提出一种以行列结合的存储方式 对数据存储结构进行改进 实验结果表明 改进的数 ; , 。 据存储结构在加载速度上略低于行式存储 在数据压缩上 比行式存储和列式存储的效率都高 I /O , 行列结合的存储结构不仅避免行式存储的额外磁盘 开销 同时也减少了列式存储不必要的 , 。 网络传输 极大地提高分布式系统对大数据存储效率及处理性能 : ; ; 关键词 大数据 分布式 行列存储 中图分类号:TP3 文献标识码:A Research on optimizing big data storage structure in distributed system FENG Han - chao ,ZHOU Kai - dong (School of Information & Electrical Engineering ,Hebei University of Engineering ,Hebei Handan 056038 ,China) Abstract :In a distributed system ,the data storage structure directly affects the storage efficiency and processing performance of big data. In the row store structure ,the data is loaded locally and the speed is fast ,but it

文档评论(0)

magui + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8140007116000003

1亿VIP精品文档

相关文档