618024776-大数据处理技术课程教学大纲及考试大纲复习重点.pdfVIP

《大数据处理技术》教学大纲

一、课程基本信息

课程编号：618024776

中文名称：大数据处理技术

英文名称：BigDataProcessingTechnology

课程类别：学科专业方向选修课

适用专业：软件工程

开课学期：6

总学时：64总学分：3周学时：3

理论学时：32（课堂讲授+案例教学）实验学时：32

先修课程（编号）：面向对象程序设计（618002122），Linux技术（618002223），数据库原理及应用

（618002524），Java核心技术（618023664），函数式程序设计（618024675）。

课程简介：本课程为软件工程专业的大数据方向选修课。课程主要内容为介绍常见的集中分布式计算

框架，如MapReduce、Spark、Storm等。重点介绍Hadoop的MapReduce分布式计算模型；理解MapReduce

计算模型，掌握Shuffle流程；通过理论讲解，可以实现如分区、排序、连接等常见的业务操作。本课程的

主要任务是讲授分布式计算框架的理论基础、基于Hadoop的MapReduce实践知识、Spark数据集RDD及

各种算子的操作，Spark运行的核心原理、SparkSQL；同时通过大量实验，着重培养学生的动手能力。

MapReduce分布式计算框架的原理及应用，了解MapReduce编程模型的设计理念，理解核心函数的用法，

掌握MapReduce与Spark的具体应用和编程实践。

建议教材：

林子雨主编．《大数据技术原理与应用》．北京：人民邮电出版社，2018

参考教材：

黄宜华编．《深入理解大数据：大数据处理与编程实践》．北京：机械工业出版社，2014

刘军著．《Hadoop大数据处理》．北京：人民邮电出版社，2013

二、课程目标与毕业要求

课程主要介绍Hadoop概念、Hadoop系统结构、Hadoop平台搭建、HDFS知识体系、HDFS工作原理

及体系结构、Mapreduce基本原理与架构、Mapreduce编程等内容。通过理论讲授与实践环节相结合，培养

学生对大数据处理技术实际应用能力。

课程目标与毕业要求如下：

1.掌握Mapreduce与Spark架构，能够应用该知识分析大数据相关问题，并设计出适当的大数据处理

软件系统；能够在数据环境下，针对不同处理需求选择适合的处理架构进行设计并正确表达。（支撑毕业

要求2.2）

2.掌握MapReduce编程技术和MapReduce数据安全控制技术，数据集RDD及各种算子的操作，Spark

运行的核心原理、SparkSQL；掌握大数据处理技术在应用领域中的应用方法，了解大数据处理的发展趋势。

能够准确获取数据，对数据进行处理得到合理的结论。（支撑毕业要求4.3）

环节考核项课程目标

教学环节教学评价形式评价要素比例

目12

完成指定作

平时考核作业完成情况作业态度及准确度√30

业

1.学习效果1．查阅文献与问题分析

大作业小论文√20

2.材料的呈现效果2．文档撰写

1.实验操作

1．实验过程1．动手能力

实验2.实验验收√50

2．实验结果