厦门大学计算机科学系研究生课程大数据处理技术Spark.PDF

2017 大数据处理技术Spark 期末作业说明 厦门大学计算机科学系研究生课程 大数据处理技术Spark （2016-2017 学年春季学期） 期 末 作 业 说 明 主讲教师：林子雨 授课地点：厦门大学海韵教学楼107 教室 二零一七年五月一日 2017 大数据处理技术Spark 期末作业说明 目录 一、 作业题目 1 二、 作业目的 1 三、 作业性质 1 四、 作业考核方法 1 五、 提交日期与方式 1 六、 作业工具和环境要求 1 七、 作业内容和要求2 八、 参考资料3 九、 附录1:教师介绍3 2017 大数据处理技术Spark 期末作业说明 大数据处理技术Spark 2016-2017 学年春季学期期末作业说明 主讲教师：林子雨 ziyulin@ 一、 作业题目 基于Spark 的数据处理与分析 二、 作业目的 综合运用大数据处理技术Spark、Hadoop 及数据可视化，对数据进行存储、处理和分析。 三、 作业性质 必做。作为评定期末总成绩的重要参考。 四、 作业考核方法 根据自己能力，任意选择基础作业或者高级作业两者中的一种，作业成绩评定方法如下：  不按时交作业、所提交的作业无法打开或抄袭他人作业：零分  基础作业评分范围：0-60 分  高级作业评分范围：0-100 分 温馨提示：作业必须自己独立完成，不得抄袭他人作业，否则，期末总成绩不及格。 五、 提交日期与方式 1、必须于2017 年5 月26 日 （厦门大学教学周第15 周周五）晚24 时之前提交； 2、提交的内容为压缩文件RAR 文件，里面所包含的WORD 文档，一定要转换成WORD2003 格式，即.doc 格式，最后把压缩包文件发送到班级助教阮榕城同学邮箱： ruanrc@；如果是团队完成作业，只需要组长负责提交作业；如果是个人独立完 成作业，则只需要自己负责提交作业； 3、文件名命名为“姓名学号.rar”，例如“王小明23020091152890.rar”； 4、文件夹中应该包含实验报告WORD 文档、小组成员名单TXT 文件（包含学号、姓名、 手机、E-mail，请标明组长）、软件版本号TXT 文件 （包含作业中用到的所有软件和编 程语言的名称和版本号信息）以及其他有必要提交的文档。 六、 作业工具和环境要求 （1） 必须在Linux 系统下完成作业。 （2） 可以任意选择自己喜欢的开发工具，比如Eclipse、IntelliJ IDEA 等。 （3） 相关软件的版本要求如下：  Linux: Ubuntu16.04  MySQL: 5.7.16  Hadoop: 2.7.1  HBase:1.1.5  Hive:1.2.1  Sqoop:1.4.6  R:3.2.3  Eclipse:3.8  Spark2.1.0 第1 页 2017 大数据处理技术Spark 期末作业说明