大数据应用技术与解决方案作业指导书.docVIP

大数据应用技术与解决方案作业指导书

TOC\o1-2\h\u1906第1章大数据概述 3

218281.1大数据定义与发展 4

40601.1.1大数据定义 4

205751.1.2大数据发展 4

267881.2大数据关键特性 4

210791.2.1海量性 4

322321.2.2多样性 4

1681.2.3高速性 4

270671.2.4价值性 4

55011.3大数据技术体系 5

277671.3.1数据采集与存储 5

274431.3.2数据处理与分析 5

278241.3.3数据可视化与展示 5

53991.3.4大数据应用 5

25466第2章大数据采集与存储 5

304602.1数据采集技术 5

352.1.1网络爬虫技术 5

68122.1.2数据接口技术 5

262632.1.3物联网技术 5

145612.1.4数据传输技术 6

179242.2数据存储技术 6

241952.2.1关系型数据库 6

126672.2.2NoSQL数据库 6

37532.2.3分布式文件系统 6

129482.2.4云存储 6

70122.3分布式文件系统 6

36962.3.1Hadoop分布式文件系统（HDFS） 6

274602.3.2云存储系统 6

142202.3.3分布式文件系统对比 7

236422.4数据清洗与预处理 7

315382.4.1数据清洗 7

144202.4.2数据转换 7

121872.4.3数据集成 7

27312.4.4特征工程 7

4094第3章大数据计算模型与框架 7

289093.1批处理计算模型 7

77023.1.1MapReduce 7

324273.1.2Spark批处理 8

237893.2流处理计算模型 8

229373.2.1Storm 8

58683.2.2SparkStreaming 8

61093.3分布式计算框架 8

126723.3.1Hadoop 8

311363.3.2Spark 8

253043.3.3Flink 8

82843.4大数据计算优化策略 9

6363.4.1数据分区 9

147263.4.2数据压缩 9

132743.4.3数据缓存 9

326333.4.4并行计算 9

250803.4.5资源调度 9

19156第4章大数据分析与挖掘 9

322314.1数据挖掘算法 9

326784.1.1决策树算法 9

157964.1.2支持向量机算法 10

156444.1.3聚类算法 10

184004.2机器学习技术 10

111554.2.1监督学习 10

224444.2.2无监督学习 10

256554.2.3强化学习 10

22414.3深度学习技术 10

16864.3.1卷积神经网络 10

115014.3.2循环神经网络 10

296494.3.3对抗网络 11

258834.4大数据可视化 11

92964.4.1散点图 11

160404.4.2柱状图 11

297364.4.3饼图 11

247724.4.4地图 11

254864.4.5动态可视化 11

29061第5章大数据管理 11

297125.1数据质量管理 11

227325.1.1概述 11

205895.1.2数据质量评估 11

305215.1.3数据质量改进 12

72275.2数据安全管理 12

229645.2.1概述 12

291225.2.2数据加密 12

302995.2.3数据访问控制 12

19755.2.4数据备份与恢复 12

96915.3元数据管理 12

14645.3.1概述 12

257155.3.2元数据收集 12

575.3.3元数据组织 12

291155.3.4元数据维护 12

180055.4数据仓库与数据湖 13

103925.4.1数据仓库 13

39195.4.2数据湖 13

270295.4.3数据仓库