有哪些信誉好的足球投注网站- 1、本文档共10页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
Spark的基本运行流程
1.掌握Spark术语解释 2.掌握Spark运行流程
1. Spark术语解释 2. Spark运行流程
Spark术语解释Master：资源管理的主节点(进程)Worker：资源管理的从节点(进程) 或者说管理本机资源的进程Application：基于Spark的用户程序Driver：任务调度进程
Spark术语解释Executor：是在一个worker进程所管理的节点上为某Application启动的一个进程，该进程负责运行任务Task：被送到某个executor上的工作单元 (Thread）Job：包含很多任务(Task)的并行计算，可以看成和Action算子一一对应RDD(弹性分布式数据集, 它是一个抽象的概念,实际上它并没有储存真正的数据,保存的的只是索引, 可以将它理解为数据集的代理)
运行流程当 jar 在客户端进行spark-submit的时候spark流程就开始了1.application启动之后, 会在本地启动一个Driver进程 用于控制整个流程。2 .首先需要初始化的是SparkContext, SparkContext 要构建出 DAGScheduler,TaskScheduler 3 .在初始化TastScheduler的时候,它会去连接master,并向master 注册Application ,master 收到信息之后,会调用自己的资源调度算法,在spark集群的work上,启动Executor,并进行资源的分配,
Spark术语解释4 .现在可以进行我们编写的的业务了, 一般情况下通过sc.textFile(file) 去加载数据源5 .DagScheduer 先按照action将程序划分为一至多个job(每一个job对应一个Dag), 之后对DagScheduer按照是否进行shuffer,将job划分为多个Stage 每个Stage过程都是taskset
运行流程
1. 各个角色的作用 2. 任务运行的流程
文档评论（0）