大数据应用开发技术手册.docVIP

大数据应用开发技术手册

TOC\o1-2\h\u31878第1章大数据基础概念 4

52151.1数据定义与分类 4

130001.2大数据技术栈概述 4

54061.3大数据应用场景 4

10010第2章分布式计算框架 5

125712.1Hadoop生态系统 5

210962.1.1HDFS 5

294482.1.2MapReduce 5

318122.1.3YARN 5

299942.1.4Hive 6

27782.1.5HBase 6

199862.2MapReduce编程模型 6

100512.2.1Map阶段 6

256252.2.2Shuffle阶段 6

3932.2.3Reduce阶段 6

260622.3Spark计算框架 6

66392.3.1RDD 6

221942.3.2SparkSQL 6

248712.3.3SparkStreaming 7

232872.3.4MLlib 7

203932.3.5GraphX 7

545第3章分布式存储系统 7

215703.1HDFS文件系统 7

40193.1.1HDFS概述 7

155063.1.2HDFS架构 7

313173.1.3HDFS数据存储 7

36093.1.4HDFS读写流程 7

238293.2NoSQL数据库 7

156113.2.1NoSQL概述 7

132253.2.2常见NoSQL数据库 8

219333.2.3NoSQL数据库的优缺点 8

168703.3分布式文件存储 8

64293.3.1分布式文件存储概述 8

183723.3.2常见分布式文件存储系统 8

182033.3.3分布式文件存储的关键技术 8

283253.3.4分布式文件存储的应用场景 8

28938第4章大数据计算引擎 8

4454.1Hive数据仓库 8

161684.1.1概述 8

211964.1.2Hive架构 8

94444.1.3Hive数据类型与文件格式 9

300834.1.4Hive查询语言 9

95024.1.5Hive优化策略 9

39254.2SparkSQL 9

34054.2.1概述 9

98534.2.2SparkSQL架构 9

17514.2.3DataFrame与Dataset 9

293094.2.4SparkSQL查询执行 9

61744.2.5SparkSQL优化策略 9

3654.3Flink实时计算 9

151274.3.1概述 9

247764.3.2Flink架构 9

75164.3.3Flink数据流模型 10

116744.3.4Flink窗口函数 10

322874.3.5Flink容错机制 10

202934.3.6Flink功能优化 10

104第5章大数据数据挖掘与机器学习 10

310225.1数据预处理 10

154865.1.1数据清洗 10

130755.1.2数据转换 10

290455.1.3特征选择与降维 10

258215.2数据挖掘算法 11

435.2.1分类算法 11

25965.2.2聚类算法 11

254075.2.3关联规则挖掘 11

48075.2.4时间序列分析 11

132655.3机器学习框架 11

248975.3.1TensorFlow 11

22995.3.2PyTorch 11

73285.3.3Keras 12

123945.3.4Scikitlearn 12

31566第6章大数据可视化 12

288096.1可视化基础概念 12

53906.1.1可视化定义 12

187036.1.2可视化原则 12

322086.1.3可视化方法 12

33136.2常用可视化工具 13

144186.2.1Tableau 13

187026.2.2PowerBI 13

180926.2.3ECharts 13

176776.2.4D（3）js 13

41396.3大数据可视化案例分析 13

620