Spark大数据技术与应用_全套PPT课件.pptx

Spark大数据技术与应用;;快速、分布式、可扩展、容错的集群计算框架；

Spark是基于内存计算的大数据分布式计算框架

低延迟的复杂分析；

Spark是HadoopMapReduce的替代方案。MapReudce不适合迭代和交互式任务，Spark主要为交互式查询和迭代算法设计，支持内存存储和高效的容错恢复。Spark拥有MapReduce具有的优点，但不同于MapReduce，Spark中间输出结果可以保存在内存中，减少读写HDFS的次数

;认识Spark;认识Spark;认识Spark——Spark的特点;认识Spark——Spark的特点;认识Spark——Spark的特点;认识Spark——Spark的特点;认识Spark;认识Spark;认识Spark;认识Spark;认识Spark;腾讯

广点通是最早使用Spark的应用之一。腾讯大数据精准推荐借助Spark快速迭代的优势，围绕“数据+算法+系统”这套技术方案，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法，最终成功应用于广点通pCTR投放???统上，支持每天上百亿的请求量。

Yahoo

Yahoo将Spark用在AudienceExpansion中。AudienceExpansion是广告中寻找目标用户的一种方法，首先广告者提供一些观看了广告并且购买产品的样本客户，据此进行学习，寻找更多可能转化的用户，对他们定向广告。Yahoo采用的算法是LogisticRegression。同时由于某些SQL负载需要更高的服务质量，又加入了专门跑Shark的大内存集群，用于取代商业BI/OLAP工具，承担报表/仪表盘和交互式/即席查询，同时与桌面BI工具对接。

;淘宝

淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等，将Spark运用于淘宝的推荐相关算法上，同时还利用GraphX解决了许多生产问题，包括以下计算场景：基于度分布的中枢节点发现、基于最大连通图的社区发现、基于三角形计数的关系衡量、基于随机游走的用户属性传播等。

优酷土豆

目前Spark已经广泛使用在优酷土豆的视频推荐，广告业务等方面，相比Hadoop，Spark交互查询响应快，性能比Hadoop提高若干倍。一方面，使用Spark模拟广告投放的计算效率高、延迟小（同Hadoop比延迟至少降低一个数量级）。另一方面，优酷土豆的视频推荐往往涉及机器学习及图计算，而使用Spark解决机器学习、图计算等迭代计算能够大大减少网络传输、数据落地等的次数，极大地提高了计算性能。

;搭建Spark环境;搭建Spark环境;;master:1.5G~2G内存、20G硬盘、NAT、1~2核；

slave1~slave3:1G内存、20G硬盘、NAT、1核

;搭建Spark环境;搭建Spark环境;搭建Spark环境;搭建Spark环境;搭建Spark环境;启动Spark

cd/usr/local/spark-1.6.3-bin-hadoop2.6/

sbin/start-all.sh

sbin/start-history-server.shhdfs://master:8020/spark-logs

关闭Spark

cd/usr/local/spark-1.6.3-bin-hadoop2.6/

sbin/stop-all.sh

sbin/stop-history-server.shhdfs://master:8020/spark-logs

;Spark监控——http://master:8080;Spark监控——http://master:18080;Spark运行架构及原理;Spark运行架构及原理;SparkonYARN模式根据Driver在集群中的位置分为两种模式，一种是YARN-Client模式（客户端模式），另一种是YARN-Cluster模式（集群模式）。

在YARN运行模式中，不需要启动Spark独立集群，所以这个时候去访问http://master:8080也是访问不了的。启动YARN客户端模式的Sparkshell命令

bin/spark-shell--masteryarn-client

启动YARN集群模式不可使用bin/spark-shell--masteryarn-cluster;Spark运行架构及原理;Spark运行架构及原理;在YARN-Cluster模式下，SparkDriver运行在AM(ApplicationMaster)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行