大数据与devops烹饪技巧-壹.pdf

2014 大数据与DevOps 烹饪技巧-壹 汪亮宇 @北京 Hewlett Packard 9/3/2014 大数据利器 spark 合成 DevOps 环境结合云 openstack 为了铭记工作内容以及感悟所著。 纷杂的 TS 工作有快一年了，期间做过文案撰写、软件开发、软件设计、前沿技术预研等，可谓 是丰富多彩，相信每天的努力都是为了未来更好的回报，所以努力的做好每天的工作，掌握技 能，协助并帮助他人，快速的行动，这些都构成了我匆忙的一年。 在做到大数据处理技术以及 DevOps 环节后，真的觉得相关的领域，是我可以做一辈子的工作， 感触颇深，就像我在 GDC 做咨询实践的时间长了就构建了 《CITSP 中文 IT 服务包》这个大的文 档集合一样，作为目前的阶段的总结，这本烹饪技巧 Cook book 或许可以作为我勤于此道的一 个注解和总结吧。 书山有路勤为径 ，学海无涯苦做舟。 2014-09-03 准备写本书前的脑海遐想或者是瞎想。。。。。 1 1 目录 1 前言 5 1.1 缘起 5 1.2 一些前提 5 1.3 阅读提醒 6 2 大数据 6 2.1 我眼中的大数据 6 2.1.1 什么引起了大数据需求 6 2.1.2 项目中的需求 8 2.1.3 我理解的大数据 8 2.2 Hadoop 11 2.2.1 概念 11 2.2.2 安装配置 12 2.3 Spark 23 2.3.1 概念 23 2.3.2 安装配置 23 2.3.3 实例 27 2.3.4 Scala 语言 36 2.4 小节 55 3 DevOps 55 3.1 我眼中的 DevOps 55 3.1.1 SCM 55 3.1.2 某些术语 56 3.2 了解古代和现代 56 3.2.1 古代的 DevOps 玩法 56 2 3.2.2 现代 DevOps 玩法 79 3.3 失业潮 83 4 数据 84 4 84 4.1 数据科学 84 4.1.1 R 语言 84 4.1.2 数据专家 84 4.2 数据挖掘 85 4.2.1 挖掘内容 85 4.2.2 挖掘策略 86 4.3 数据价值 86 4.3.1 什么是数据的价值 86 4.3.2 价值的体现 86 4.3.3 如何利用 87 4.4 数据与人 88 4.4.1 生活场景 88 4.4.2 可能的商机 89 4.5