大数据课程体系.docx

Java基础JAVA 开发基础知识Eclipse 开发环境多线程技术Socket 网络技术Regular Expression Java反射技术各种实战设计模式面向对象设计原则详解Java collectionReflectionJVM原理与配置、调优Java设计模式Linux大纲Linux的介绍与安装VMware Workstation虚拟软件安装ubuntu安装Linux的常用命令Linux系统进程管理常用命令ps、pkill、top、htop等的使用；Linux启动流程，运行级别详解，chkconfig详解nano编辑器Linux权限管理：用户、组Linux权限管理：文件权限rwxLinux网络管理：hosts,hostname,ifconfig安装JDKHadoopHadoop介绍，发展史，国内外现状，未来Hadoop 核心组成介绍及hdfs、mapreduce 体系结构Hadoop 的集群结构Hadoop 独立模式安装与测试Hadoop 启动与停止SSH安装与配置Hadoop 伪分布式和完全分布式安装配置HDFS底层工作原理HDFSdatanode,namenode详解Hdfs shellHdfs java apiInputSplit和OutputSplitBlockSize配置最少副本数配置MR作业流程分析编写Mapper程序编写Reducer程序执行Mapreduce过程Hadoop 核心类讲解,RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层IPC原理和RPCHadoop的底层googleProtoBuf的协议分析分布式数据库HbaseHBase简介与RDBMS的对比系统架构HBase上的MapReduceHbase核心术语介绍Hbase基本操作HBase Shell以及演示Hbase 树形表设计Hbase 一对多 和 多对多 表设计Hbase 调优(读、写、设计)数据仓库HiveHive简介Hive集群客户端简介HiveQL介绍与SQL的比较数据类型外部表和分区表ddl与CLI客户端演示dml与CLI客户端演示select与CLI客户端演示Operators 和 functions与CLI客户端演示Hive server2 与jdbc用户自定义函数（UDF 和 UDAF）的开发与演示Hive 优化数据迁移工具SqoopSqoop简介和配置Sqoop shell常见命令Sqoop导入与导出Flume分布式日志框架flume简介-基础知识flume安装与测试flume部署方式flume source相关配置及测试flume sink相关配置及测试flume selector 相关配置与案例分析flume Sink Processors相关配置和案例分析flume Interceptors相关配置和案例分析flume AVRO Client开发flume 和kafka 的整合Zookeeper开发Zookeeper java api开发Zookeeper rmi高可用分布式集群开发Zookeeper redis高可用监控实现Netty 异步io通信框架Zookeeper实现netty分布式架构的高可用kafkakafka是什么kafka体系结构kafka配置详解kafka的安装kafka的存储策略kafka分区特点kafka的发布与订阅zookeeper协调管理java编程操作kafkascala编程操作kafkaflume 和kafka 的整合Kafka 和storm 的整合StormStorm的基本概念Storm的应用场景Storm和Hadoop的对比Storm集群的安装的linux环境准备zookeeper集群搭建Storm集群搭建Storm配置文件配置项讲解集群搭建常见问题解决Storm常用组件和编程API：Topology、 Spout、BoltStorm分组策略(stream groupings)使用Strom开发一个WordCount例子Storm程序本地模式debug、Storm程序远程debugStorm事物处理Storm消息可靠性及容错原理Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程APIStorm Trident概念Trident state 原理Trident开发实例Storm DRPC(分布式远程调用)介绍Storm DRPC实战讲解Storm和Hadoop 2.x的整合：Storm on YarnStorm开发实战： Kafka+Storm+Hbase+redis项目实战，以及多个案例Scalascala解释器、变量、常用数据类型等scala