大数据 Spark编程基础（Scala版）-第2章-Scala语言基础.pptVIP

* 如果class Counter{}中，使用 private var value =0，那么，使用scalac命令编译该程序，会出现myCounter.value=3变量无法访问的错误，因为是私有变量，不能从外部访问。 * 定义单例对象不是定义类型，即不能实例化Person类型的变量，这也是被称为“单例”的原因。 * * 从上面结果可以看出，伴生对象中定义的newPersonId()实际上就实现了Java中静态（static）方法的 Scala源代码编译后都会变成JVM字节码，实际上，在编译上面的源代码文件以后，在Scala里面的class和object在Java层面都会被合二为一，class里面的成员成了实例成员，object成员成了static成员 * 建议在重载抽象成员时省略override关键字，这样做的好处是，如果随着业务的进展，父类的抽象成员被实现了而成为非抽象成员时，子类相应成员由于没有override关键字，会出现编译错误，使用户能及时发现父类的改变，而如果子类成员原来就有override关键字，则不会有任何提醒； * * java.lang 包定义了标准Java类；scala包定义了标准的Scala类库；Predef 对象包含了许多Scala程序中常用到的类型、方法和隐式转换的别名定义，例如，前文讲到的输出方法，可以直接写println，而不是Predef.println。 * 也就是说，函数的使用方式和其他数据类型的使用方式完全一致，可以将函数赋值给变量，也可以将函数作为参数传递给其它函数，还可以将函数作为其它函数的返回值。 所有容器的根为Traverable特质，表示可遍历的，它为所有的容器类定义了抽象的foreach方法 * ?行1-3：导入需要的类； ?行6：建立一个File对象，这里假设当前文件夹下有一个testfiles文件夹，且里面包含若干文本文件； ?行7：调用File对象的listFiles方法，得到其下所有文件对象构成的数组，files的类型为Array[java.io.File]； ?行8：建立一个可变的空的映射（Map）对象results，保存统计结果。映射中的条目都是一个(key,value)键值对，其中，key是单词，value是单词出现的次数； ?行9：通过for循环对文件对象进行循环，分别处理各个文件； ?行10：从File对象建立Source对象（参见2.2.2节介绍），方便文件的读取； ?行11：getLines方法返回文件各行构成的迭代器对象，类型为Iterator[String]，flatMap进一步将每一行字符串拆分成单词，再返回所有这些单词构成的新字符串迭代器； ?行12-15：对上述的字符串迭代器进行遍历，在匿名函数中，对于当前遍历到的某个单词，如果这个单词以前已经统计过，就把映射results中以该单词为key的映射条目的value增加1。如果以前没有被统计过，则为这个单词新创建一个映射条目，只需要直接对相应的key进行赋值，就实现了添加新的映射条目； ?行17：对Map对象results进行遍历，输出统计结果。 规约操作 reduceLeft和reduceRight：前者从左到右进行遍历，后者从右到左进行遍历 规约操作 规约操作 fold方法：一个双参数列表的函数，从提供的初始值开始规约。第一个参数列表接受一个规约的初始值，第二个参数列表接受与reduce中一样的二元函数参数。 foldLeft和foldRight：前者从左到右进行遍历，后者从右到左进行遍历。 规约操作 拆分操作 拆分操作是把一个容器里的元素按一定的规则分割成多个子容器。常用的拆分方法有partition、groupedBy、grouped和sliding。 partition方法：接受一个布尔函数对容器元素进行遍历，以二元组的形式返回满足条件和不满足条件的两个集合。 groupedBy方法：接受一个返回U类型的函数对容器元素进行遍历，将返回值相同的元素作为一个子容器，并与该相同的值构成一个键值对，最后返回的是一个映射。 grouped和sliding方法：接受一个整型参数n，将容器拆分为多个与原容器类型相同的子容器，并返回由这些子容器构成的迭代器。其中，grouped按从左到右的方式将容器划分为多个大小为n的子容器（最后一个的大小可能小于n）；sliding使用一个长度为n的滑动窗口，从左到右将容器截取为多个大小为n的子容器。 拆分操作 2.4.3 函数式编程实例（词频统计） 任何一个可计算函数都能用这种形式来表达和求值 * Scala是一门类Java的多范式语言，它整合了面向对象编程和函数式编程的最佳特性。具体来讲： Scala运行于Java虚拟机（