Spark2学习总结_2016年11月讲解.pptx

2016年11月 岳凯;目 录;大数据基本概念;大数据基本概念;大数据基本概念;大数据基本概念-Hadoop生态系统;大数据基本概念-Hadoop-HDFS;大数据基本概念-Hadoop-MapReduce;大数据基本概念-Hadoop-HBASE;大数据基本概念-Hadoop-Zookeeper HIVE;大数据基本概念-Hadoop-Yarn;大数据基本概念-Hadoop-Mesos;大数据基本概念-Hadoop适用的场景;大数据基本概念-后Hadoop时代;目 录;Spark是什么？;Spark是什么？;Spark四大优势;Spark四大优势;Spark四大优势;Spark四大优势;Spark生态系统BDAS-旧版;Spark生态系统BDAS-新版;Spark组件-Spark Core;Spark组件-Spark SQL;Spark组件-Spark Streaming;Spark组件-GraphX;Spark组件-MLlib;Spark常用概念-RDD;Spark学习的几个阶段;目 录;RDD的依赖关系;RDD的操作方式;Spark中的Stage划分;RDD 操作-Transformations;RDD 操作-Action;Spark的基本工作流程;Spark环境准备;Spark部署模式;Spark交互工具-Spark Shell;Spark提交应用工具-Spark Submit;Spark Web 界面;Driver Program的 Web 界面;Hadoop 的 Web 界面;目 录;Spark 入门实例- README.md 统计;Spark 入门实例- README.md 统计;Spark 入门实例- README.md 统计;Spark 入门实例- README.md 统计;Spark 入门实例- README.md 统计;Spark SQL实例-概念;Spark SQL实例-概念;Spark SQL实例-人事信息处理;Spark SQL实例-人事信息处理-加载数据;Spark SQL实例-人事信息处理-加载数据;Spark SQL实例-人事信息处理-基本操作举例;Spark SQL实例-人事信息处理-基本操作举例;Spark SQL实例-人事信息处理-基本操作举例;Spark SQL实例-人事信息处理-基本操作举例;Spark SQL实例-人事信息处理-基本操作举例;Spark SQL实例-人事信息处理-基本操作举例;Spark SQL实例-人事信息处理-基本操作举例;Spark Streaming实例-概念;Spark Streaming实例-概念;Spark Streaming实例-操作类型 ;Spark Streaming实例-窗口操作;Spark Streaming实例-Kafka介绍;Spark Streaming实例-读取Kafka数据 代码示例;GraphX实例-概念;GraphX实例-概念-属性图;GraphX实例-概念-图的切分与存储;GraphX实例-概念-主要的图算法;GraphX实例-社会关系图操作;GraphX实例-社会关系图操作-数据准备;GraphX实例-社会关系图操作-数据准备;GraphX实例-社会关系图操作-图的属性操作;GraphX实例-社会关系图操作-转换操作;GraphX实例-社会关系图操作-结构操作;Spark MLlib–概念-机器学??的定义;Spark MLlib–概念-机器学习的分类;Spark MLlib–概念-常用的算法;Spark MLlib–概念-MLlib数据类型;Spark MLlib–概念-基础统计;Spark MLlib–概念-常用的算法;Spark MLlib–概念-常用的算法;Spark MLlib–概念-常用的算法;Spark MLlib–概念-常用的算法;Spark MLlib–实例-基础统计-摘要统计;Spark MLlib–实例-朴素贝叶斯算法;Spark MLlib–实例-朴素贝叶斯算法;Spark MLlib–实例-决策树算法;Spark MLlib–实例-随机森林算法;Spark MLlib–实例-随机森林算法;Spark MLlib–实例-随机森林算法-用于分类（一）;Spark MLlib–实例-随机森林算法-用于分类（二）;Spark MLlib–实例-随机森林算法-用于回归（一）;Spark MLlib–实例-随机森林算法-用于回归（二）;Spark MLlib–实例-K-Means算法;Spark MLlib–实例-K-Means算法;Spark MLlib–实例-K-Means算法;Spark MLlib–实例-交替最小二乘法ALS;Spark MLlib–实例-交替最小二乘法ALS（一）;Spark