大学信息技术基础教程课件 第7章 大数据与数据可视化 7.1~7.2.pptxVIP

;目录页;选题背景及意义;7.1.1大数据基本概念;7.1.1大数据基本概念;7.1.1大数据基本概念;7.1.1大数据基本概念;7.1.1大数据基本概念

;7.1.2大数据支撑技术;7.1.2大数据支撑技术;7.1.2大数据支撑技术;7.1.2大数据支撑技术;7.1.2大数据支撑技术;7.1.2大数据支撑技术;7.1.2大数据支撑技术;7.1.2大数据支撑技术;;7.2.1数据获取概述

1.数据来源

2.常用数据集

（1）政府开放数据

（2）企业或公益组织

（3）大数据竞赛机构

（4）机器学习领域经典数据集

（5）统计学领域经典数据集

（6）其他;7.2.2网页信息爬取

1.网络爬虫概述

2.HTTP架构简述

3.Python网页爬取和处理

4.API利用和数据存储

5.法律和伦理考量;7.2.3数据清洗和加工

1、数据清洗

（1）数据审查（DataAuditing）

（2）数据清洗（DataCleaning）

（3）数据验证（DataValidation）

（4）数据维护（DataMaintenance）

（5）文档记录（Documentation）

（6）反馈循环（FeedbackLoop）;7.2.3数据清洗和加工

2、数据加工

（1）数据脱敏（DataMasking）

（2）数据集成（DataIntegration）

（3）数据归约（DataReduction）

3、常用数据清洗和加工工具