请写不少于200字spark大数据分析与实战学习心得.pdfVIP

请写不少于200字spark大数据分析与实战学习心得.pdf

  1. 1、本文档共2页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

请写不少于200字spark大数据分析与实战学习心得--第1页

请写不少于200字spark大数据分析与实战学习心得

学习了spark之后我才知道Hadoop和spark还有着这种缘分:

Hadoop是由Java语言编写的,部署在分布式服务器集群上,用于存

储海量数据并运行分布式分析应用的开源框架;其重要组件有,HDFS

分布式文件系统、MapReduce编程模型、Hbase基于HDFS的分布式数

据库:擅长实时随机读/写超大规模数据集。

由于上半学期的松懈,对于Hadoop的知识掌握的不是很好,所

以在下半学期一边学习Spark一边学习Hadoop,对于他们的掌握有

了显著的提升。我知道了Spark重要的内置模块:SparkCore:包括

了内存计算、任务调度、部署模式、故障恢复、存储管理等;SparkSQL:

统一处理关系和RDD,使用SQL命令进行数据分析;SparkStreaming:

将流式计算分解为一系列的短小的批处理作业,支持多种数据源。

要学习好spark,scala语言的学习至关重要,在Spark诞生之

初,就有人诟病为什么AMP实验室选了一个如此小众的语言

——Scala,很多人还将原因归结为学院派的高冷,但后来事实证明,

选择Scala是非常正确的,Scala很多特性与Spark本身理念非常契

合,可以说它们是天生一对。Scala背后所代表的函数式编程思想也

越来越为人所知。函数式编程思想早在50多年前就被提出,但当时

的硬件性能太弱,并不能发挥出这种思想的优势,scala语言是一门

非常简洁的语言,但是这种简洁也给我带来很多苦恼,我时常不能分

辨这些参数对应着谁,每每看到已经是脑袋空白啦

学习Spark需要将基础和实践结合起来,很多的基础知识在

请写不少于200字spark大数据分析与实战学习心得--第1页

请写不少于200字spark大数据分析与实战学习心得--第2页

Hadoop中基础知识之上进行学习,只有去体验实际操作才能体会到

区别。整个Spark讲的知识点不是很多,但是关键在于去理解,每个

模块如何去工作、怎么去使用。

从Spark的上手到最后的项目,整个过程我一路磕磕绊绊的时常

遇到一些奇怪的问题,但是好在本人寻找bug的能力还不错,都一一

得到了解决,后半期学习结束了,但我还需要继续花时间去学习,尤

其是Hadoop的知识点,结合两者的实际应用去体会不同。目前做的

项目中还是用的Hadoop为主,Spark还是初期新项目中使用,因此

两个都需要学好。

从大数据课程学习下来,体会到在平时的学习中需要经常记下错

误和进度,时间长了容易忘记。需要能养成一个好的习惯,每天学的

东西无论多少都学下来,最后项目结束再回头看,就会很容易解决当

时的困难。接下来的时间,要继续学习好Hadoop和Spark,已经以

后进行扩展其他的相关技术,愿你我走得更远

请写不少于200字spark大数据分析与实战学习心得--第2页

文档评论(0)

***** + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档