大数据技术运用与实践作业指导书.docVIP

大数据技术运用与实践作业指导书

TOC\o1-2\h\u21第1章大数据基础概念 3

221331.1数据的基本概念 3

163681.2大数据的定义与特征 4

16301.3大数据应用场景 4

4193第2章大数据技术架构 5

267852.1大数据技术栈 5

47332.1.1数据采集 5

319382.1.2数据存储 5

182572.1.3数据处理 5

186192.1.4数据分析 5

270482.1.5数据可视化 6

322752.2分布式计算框架 6

264132.2.1MapReduce 6

217622.2.2Spark 6

316232.2.3Flink 6

137252.3分布式存储系统 6

177552.3.1HDFS 6

182562.3.2Ceph 7

113542.3.3Cassandra 7

302第3章数据采集与预处理 7

268233.1数据采集技术 7

271183.1.1网络爬虫技术 7

164033.1.2API接口调用 7

277793.1.3传感器与物联网技术 7

265043.1.4数据仓库与数据集成 7

37573.2数据预处理方法 7

176863.2.1数据清洗 7

2573.2.2数据集成 8

183683.2.3数据变换 8

317943.2.4数据归一化 8

72293.3数据清洗与转换 8

157823.3.1数据清洗 8

265633.3.2数据转换 8

17810第4章数据存储与管理 8

169274.1关系型数据库 8

192624.1.1关系型数据库概述 8

126684.1.2关系型数据库的关键技术 9

164154.1.3常见关系型数据库 9

157624.2非关系型数据库 9

166024.2.1非关系型数据库概述 9

74374.2.2非关系型数据库的关键技术 9

29454.2.3常见非关系型数据库 9

223824.3数据仓库与数据湖 9

31984.3.1数据仓库概述 9

181024.3.2数据仓库的关键技术 10

245844.3.3数据湖概述 10

326604.3.4数据湖的关键技术 10

215304.3.5数据仓库与数据湖的融合 10

7160第5章数据挖掘与分析 10

59525.1数据挖掘基本概念 10

8155.2常见数据挖掘算法 10

252755.2.1分类算法 11

255945.2.2聚类算法 11

89025.2.3关联规则算法 11

307785.2.4推荐算法 11

302115.3数据可视化与交互分析 11

100275.3.1数据可视化 12

259475.3.2交互分析 12

579第6章大数据计算模式 12

327276.1批处理计算模式 12

148896.1.1批处理计算模式概述 12

87596.1.2批处理计算模式关键技术 12

216146.1.3批处理计算模式应用实例 13

123756.2流式计算模式 13

286426.2.1流式计算模式概述 13

303676.2.2流式计算模式关键技术 13

53086.2.3流式计算模式应用实例 13

235716.3实时计算模式 13

140736.3.1实时计算模式概述 13

45386.3.2实时计算模式关键技术 13

11656.3.3实时计算模式应用实例 14

4731第7章机器学习与人工智能 14

98357.1机器学习基本概念 14

78417.1.1定义与分类 14

47087.1.2评估方法 14

308727.1.3基本流程 14

157307.2常见机器学习算法 14

53017.2.1线性回归 14

145717.2.2逻辑回归 14

153547.2.3决策树 14

232097.2.4随机森林 14

251417.2.5支持向量机 15

202797.2.6K最近邻 15

127867.3深度学习与神经网络 15

118897.3.1定义与结构 1