《Hadoop大数据处理实战》课程标准.docx

《Hadoop大数据处理实战》课程标准

【课程名称】Hadoop大数据处理实战 【课程编码】

【课程类别】专业核心课

【适用专业】计算机、大数据、信息管理等相关专业

【授课单位】 【总学时】72

【编写执笔人】 【编写日期】

一、课程定位和课程设计

1.1课程性质与作用

本课程是计算机、大数据、信息管理等相关专业的必修课程，其目的是通过课堂教学和实践教学相结合，培养学生的理论知识与实际应用。一方面，从知识储备来看，它能帮助学生系统构建大数据领域知识体系，深入理解Hadoop架构、原理及各组件运作逻辑，明晰HDFS分布式存储、MapReduce分布式计算范式等核心要点，填补大数据底层技术认知空白。另一方面，在实践技能培养上，课程全程紧密结合实操，学生亲自动手搭建Hadoop集群、配置开发环境，熟练掌握Hive、HBase、Spark等工具实战运用，具备应对海量数据存储、高效处理与分析挖掘的能力。

本课程的先修课程为《计算机应用基础》《微机组装与维修》《计算机网络基础》《信息管理基础》《SQLServer数据库》《C语言》《Java语言编程基础》等。

1.2课程设计思路

本课程结合学生实际情况，选择企业真实项目，并进行了教学化处理，以项目实施过程为主线，贯穿Hadoop大数据技术的核心内容，挖掘思政元素，融入大数据平台运维“1+x”证书、华为大数据工程师认证、相关技能比赛内容等，使学生在学习本课程后具有毕业直接上岗能力，并且毕业时已具备初级大数据平台部署实施，监控、管理、运行维护的经验。

二、课程目标

2.1知识目标

（1）掌握Hadoop的基本概念；了解Hadoop的发展历程；了解Hadoop的技术优势；熟悉Hadoop生态系统；了解Hadoop的应用场景。

（2）掌握虚拟机的创建方法和CentOS7操作系统的安装方法；掌握CentOS虚拟机的基本配置方法，包括修改主机名、设置固定IP、关闭防火墙和新建安装目录等；掌握为CentOS虚拟机安装和配置JDK的方法；掌握CentOS虚拟机的克隆方法和主机IP映射的配置方法；掌握集群各节点SSH免密码登录的配置方法；掌握ZooKeeper的安装与配置方法；掌握Hadoop的安装、配置、启动与测试方法。

（3）掌握Hadoop的伪分布式安装方法；掌握在Windows中安装和配置JDK的方法；掌握在Windows中安装和配置Eclipse的方法；掌握Hadoop自带MapReduce单词统计程序的运行方法。

（4）了解HDFS的设计目标和不足；熟悉HDFS的体系结构；了解HDFS的数据错误与恢复手段；理解HDFS的运行机制和工作流程；掌握HDFS的命令行操作和JavaAPI操作。

（5）了解HDFS数据完整性的验证方法；掌握序列化和反序列化的含义及方法；掌握压缩与解压缩方法Codec；了解压缩与输入分片；掌握Hadoop文件的数据结构。

（6）了解分布式并行计算的概念；掌握MapReduce的基础知识；熟悉MapReduce的工作流程；掌握MapReduce的Shuffle过程；掌握MapReduce的编程方法。

（7）掌握Hive的功能和安装方法；掌握HiveQL的使用方法；掌握用户自定义函数的编写方法；掌握Hive的JDBC操作方法；掌握使用Sqoop工具导入/导出数据的方法。

（8）掌握HBase的特点和基本结构；掌握HBase的安装方法；掌握HBase的Shell命令操作；掌握HBase的JavaAPI操作；掌握Phoenix工具的安装与使用方法。

（9）了解Spark的概念和主要组件；掌握Spark的典型安装方法；掌握SparkRDD的两种算子及RDD依赖关系；掌握SparkJavaAPI基本操作。

（10）掌握网站页面的分析方法；掌握数据采集工具的使用方法；掌握导入和导出数据的方法；掌握数据预处理的方法；掌握数据分析的一般方法。

2.2能力目标

（1）具备对Hadoop技术进行科普介绍的能力，能清晰阐述其概念、发展脉络、优势、生态全貌及适用场景，为项目选型提供理论依据。

（2）能够独立搭建稳定、高效的Hadoop分布式集群基础环境，包括熟练操作虚拟机、操作系统、JDK及相关配置，保障后续大数据处理任务的硬件支撑。

（3）可以快速搭建并调试Hadoop伪分布式开发环境，熟练运行自带示例程序，为深入学习Hadoop编程与调试奠定基础，具备初步的开发环境构建技能。

（4）能依据HDFS的特性与架构，熟练运用命令行及JavaAPI进行分布式文件系统的日常管理与运维，高效处理文件存储、读取及错误恢复等任务。

（5）掌握HadoopI/O关键技术运用，针对不同数据需求准确选择序列