大数据scala编程实验.pdfVIP

Spark

《编程基础》实验报告

题目：姓名：学号：日期：2019/4/12

scala编程初级实验

实验环境：

操作系统：Centos7.0

Spark版本：2.1.0

实验内容与完成情况：

1.统计学生成绩

学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程

名1、课程名2等，后面每一行代表一个学生的信息，各字段之间用空白符隔开

IdgenderMathEnglishPhysics

301610male806478

301611female658758...

给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采

用函数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按

男女同学分开，分别统计各门课程的平均成绩，最低成绩，和最高成绩。测试样

例1如下：

IdgenderMathEnglishPhysics

301610male806478

301611female658758

301612female447177

301613female667191

301614female7071100

301615male727772

301616female738175

301617female697775

301618male736165

301619male746968

301620male766276

301621male736991

301622male556961

301623male505875

301624female638393

301625male7254100

301626male766673

301627male828779

301628female628054

301629male897772

完成情况截图：

出现的问题：

因为是第一次用scala语言进行编程，虽然和java有着很大的相似性，但是具体的函数名以及

具体的语法使用还是不明白，去看了官方的参考代码后看懂了他的思路后对照着写，我最开始的

用的java的类挨个进行功能编写，虽然也可以得出最后答案但是基本上没有答案的这么快捷，但

是参考答案用的放发比较难懂，花了一些时间去读懂领悟，比如参考答案里的切词方法是直接用

的head取学号和课程名，而我最开始用的distinct进行过滤筛选，以及tail将这两个值返回到容

器中，以及之后的zip，感觉scala更快捷但是也不是很易读懂，看了参考代码后发现自己在新语

言的掌握严重不足，在课下会花更多的时间来学习scala

解决方案：

在出现的问题后已给出解决方案

总结：

在spark编程中，scala语言有点像java和C的结合，有着java的大量易扩充的函数功能，大

大缩减了代码长度，但是在底层的理以及概念上还没有理解，仅仅是可以看懂代码但是自己的

编写还是会有一定的难度，争取在大量的实践之后可以做到更加熟练于心。