网站大量收购闲置独家精品文档,联系QQ:2885784924

基于参数优化的Hadoop云计算平台.PDF

  1. 1、本文档共4页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
基于参数优化的Hadoop云计算平台

2013 年 第 22 卷 第 3 期 计 算 机 系 统 应 用 ① 基于参数优化的 Hadoop 云计算平台 李 寒, 唐兴兴 (桂林电子科技大学 计算机科学与工程学院, 桂林 541004) 摘 要: 传统的数据分析, 很难满足现阶段大数据处理效率的要求. Hadoop 云计算技术的应用, 实现了海量数据 存储和分析, 提高了数据存储和分析的效率. 在总结传统系统利弊的基础上, 以 Hadoop 分布式文件系统(HDFS) 取代现有的单机数据存储, 以 map/reduce 应用程序取代传统的单机数据分析, 并对其做出优化. 实验证明, Hadoop 系统架构在生产上部署、投入使用的可行性. 关键词: 云计算; Hadoop; 数据分析; map/reduce Hadoop Cloud Computing Model Based on Parameters Optimization LI Han, TANG Xing-Xing (School of Computer Science and Engineering, Guilin University of Electronic Technology, Guilin 541004, China) Abstract: The traditional data analysis, it is difficult to meet data processing efficiency requirements at this stage. Application of Hadoop cloud computing technology, realization of data storage and analysis, improve the efficiency of data storage and analysis. This paper is on the basis of summing up the pros and cons of traditional system, with Hadoop Distributed File System (HDFS) to replace the existing stand-alone data storage, map/reduce application instead of the traditional stand-alone data analysis, and make the optimization. The experiment approves that the feasibility of Hadoop system architecture in the production deployment and using. Key words: cloud computing; Hadoop; data analysis; map/reduce 云计算在大数据处理方面, 尤其针对几百 MB 、 表 1 Apache 与 Google 云计算产品性能比较[8] 几百 GB 、甚至几百 TB 大小的文件, 有了很好的应用, Experiment Run Mapfile0.19.0 BigTable [1] 目前已经有存储 PB 级数据的 Hadoop 集群了 . Random reads 768 1212 [2] Google 关于

文档评论(0)

ldj215323 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档