Spark编程.docx

Spark编程spark简介Spark是一个通用的大数据计算平台，基于“one Stack to rule them all”的理念成功成为了一个多元化的大数据处理平台，轻松应对大数据处理中的实时流计算、SQL交互式查询、机器学习和图计算等。术语RDD - resillient distributed dataset 弹性分布式数据集Application 创建了SparkContext实例对象的Spark用户，包含了Driver程序Operation - 作用于RDD的各种操作分为transformation和actionJob - 作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation和spark的action相对应，每一个action例如count、saveAsTextFile等都会对应一个Job实例，该Job实例包含多任务的并行计算。Stage - 一个Job会被拆分成很多任务，每一组任务被称为Stage，划分Stage的依据在于：Stage开始一般是由于读取外部数据或者Shuffle数据、一个Stage的结束一般是由于发生Shuffle结束或者整个Job结束。Partition - 数据分区， 一个RDD中的数据可以分成多个不同的区DAG - Directed Acycle graph, 有向无环图，反应RDD之间的依赖关系Narrow dependency - 窄依赖，子RDD依赖于父RDD中固定的data partitionWide Dependency - 宽依赖，子RDD对父RDD中的所有data partition都有依赖Caching Managenment - 缓存管理，对RDD的中间计算结果进行缓存管理以加快整体的处理速度RDDRDD源码RDD主要分为两种：其中的transformations是lazy execution的，需要具体的action去触发，每个action操作都是一个单独的job。Transformationsmap(func)数据集中的每条元素经过func函数转换后形成一个新的分布式数据集filter(func)数据集中让func函数返回值为true的元素形成一个新的分布式数据集flatMap(func)类似于map，但是每个输入元素可能会被映射为0到多个元素samplegroupByKey按照key进行分组，即在一个由(K,V)对组成的数据集上调用，返回一个(K,Seq[V])对的数据集reduceByKey(func)类似于MapReduce中的Reduce阶段，将数据按照key分组后，调用func函数处理Union合并两个数据集Join(otherDataset)根据Key连接两个数据集，即将类型为(K,V)和(K,W)类型的数据集合并成一个(K,(V,W))类型数据集Cogroup根据Key连接两个数据集，即将类型为(K,V)和(K,W)类型的数据集合并成一个(K,(Seq[V],Seq[W]))类型数据集crossProductmapValues(func)(K,V)经过func函数转换为(K,W)SortpartitionBysortByKey([ascendingOrder])按照Key对数据集进行排序，其中参数ascendingOrder决定升序还是降序ActionsCount返回数据集的元素个数countByKey只能用于(K,V)类型的RDD数据集，它能够按照Key分组，并统计每个组的元素目，即针对每个Key返回一个(K,Int)对Collect在驱动程序中以数组的形式返回数据集的所有元素。这通常在filter或者其他操作后调用，返回一个足够小的数据子集Reduce(func)通过函数func对数据集中所有元素进行规约操作。func函数接受两个参数并返回一个值。需要注意的是，这个函数必须具有可交换性和关联性，以确保可以被正确地并发执行Lookup(key)根据key查找所有的valuesaveAsTextFile运行的时候以RDD为统计抽象并行化运行RDD在持久化的时候需要考虑内存策略：Spark提供了很多StorageLevel可供选择：RDD.cache = RDD.persist(StorageLevel.MEMORY_ONLY);RDD.persist(StorageLevel.MEMORY_ONLY);作业调度构造DAG图把DAG图split分割成包含task的stage(TaskSet)把TaskSet发送给管理节点管理节点把任务分配给工作节点共享变量广播变量：可以缓存到各个节点的内存中的变量。通常为只读，类似于Hadoop中DistributedCache的数据。累加器：只能用来做加法。可以通过调用SparkContext.acc