大数据分析基础实用指南.docVIP

大数据分析基础实用指南

TOC\o1-2\h\u9238第1章数据采集与预处理 3

42181.1数据源概述 3

129711.1.1结构化数据源：主要包括数据库、数据仓库等存储结构化数据的系统。 3

49121.1.2半结构化数据源：包括XML、HTML等标记语言文档，以及日志文件等。 3

258021.1.3非结构化数据源：包括文本、图片、音频、视频等非结构化数据。 3

320441.1.4互联网数据源：包括社交媒体、论坛、博客等互联网平台上的数据。 3

62401.2数据采集方法 3

138011.2.1网络爬虫：通过自动化程序，从互联网上抓取目标数据。 3

315711.2.2数据库访问：直接访问数据库，获取所需数据。 4

201531.2.3文件读取：读取本地或网络上的文件，如CSV、Excel、JSON等。 4

124241.2.4接口调用：通过API接口，获取第三方数据。 4

251601.2.5传感器采集：利用各类传感器，实时获取物理环境中的数据。 4

179041.3数据清洗 4

299321.3.1数据质量评估：评估数据的一致性、完整性、准确性等指标。 4

194701.3.2数据去重：删除重复数据，保证数据唯一性。 4

11771.3.3数据纠错：识别并修正数据中的错误。 4

88511.3.4数据转换：将数据转换为统一的格式或类型。 4

116511.3.5数据脱敏：对敏感数据进行加密或脱敏处理，保护用户隐私。 4

274011.4数据预处理流程 4

124581.4.1数据集成：将不同数据源的数据进行整合，形成统一的数据集。 4

229441.4.2数据清洗：对数据集中的无效、错误和重复数据进行处理。 4

214741.4.3数据转换：将数据转换为分析所需的格式或类型。 4

75791.4.4特征提取：从原始数据中提取有助于分析的特征。 4

38731.4.5数据降维：通过降维方法，降低数据维度，提高分析效率。 4

97131.4.6数据标准化：对数据进行标准化处理，消除不同数据之间的量纲影响。 4

227931.4.7数据分割：将数据集划分为训练集、验证集和测试集，为后续模型训练和评估提供支持。 4

27672第2章数据存储与管理 4

135862.1数据库概述 4

322852.2数据存储技术 5

306602.3数据管理策略 5

26672.4数据仓库与数据湖 6

6609第3章数据可视化 6

7623.1可视化工具概述 6

310093.2数据可视化原则 6

232223.3常见可视化图表 7

79413.4交互式可视化 7

14176第4章数据统计分析 8

74634.1统计学基础 8

8254.1.1数据类型 8

243184.1.2变量 8

259044.1.3概率论 8

316854.1.4统计量 8

70294.2描述性统计分析 8

136414.2.1频数分布 8

213974.2.2中心趋势 8

291934.2.3离散程度 8

134574.3摸索性数据分析 9

136974.3.1数据可视化 9

129384.3.2数据筛选与转换 9

285634.3.3数据聚类 9

166364.4统计建模 9

11274.4.1线性回归模型 9

244774.4.2逻辑回归模型 9

144084.4.3时间序列分析 9

80204.4.4主成分分析 9

18229第五章机器学习基础 10

266105.1机器学习概述 10

282355.2监督学习 10

195915.3无监督学习 10

74725.4强化学习 10

27530第6章数据挖掘 11

307616.1数据挖掘概述 11

3126.1.1基本概念 11

223976.1.2数据挖掘任务 11

178616.1.3数据挖掘方法 11

59716.2关联规则挖掘 11

159726.2.1基本概念 11

253976.2.2关联规则挖掘方法 11

79746.3聚类分析 12

171066.3.1基本概念 12

33976.3.2聚类分析方法 12

65886