大数据预处理.pptx

;;;

数据预处理背景;;;;;;;;;数据来源的权威性、

数据的规范性、数据产生的时间;

数据预处理目的;

目的：达到改进数据的质量，提高数据挖掘过程的准确率和效率。

保证数据挖掘的正确性和有效性。

通过对数据格式和内容的调整，使得数据更符合挖掘的需要。;目的;

数据预处理流程;;;;;;;使用属性的中心度量;噪声是被测量的变量的随机误差或偏差。;分箱：通过考察数据的近邻来光滑有序数据值。

;回归：采用一个函数拟合数据来光滑数据。

;聚类：可以通过聚类算法来检测离群点，消除噪声

;;30;

数据预处理流程;;;;实体识别：匹配多个信息源在现实世界中的等价实体。;;数据冲突的检测与处理

对现实世界的同一实体，来自不同数据源的属性定义不同。

原因：表示方法，度量单位、编码或比例的差异;;39;

数据预处理;为什么要数据规约

在现实场景中，数据集是很庞大的，数据是海量的，在整个数据集上进行复杂的数据分析和挖掘需要花费很长的时间。

;;;;;;;聚类：将原数据集划分成多个群或聚类。

原则：同类中的数据彼此相似；不同类中的数据彼此不相似。

相似：通常用空间距离度量

聚类的有效性依赖于实际数据的内在规律。;;取样（抽样）：允许用数据的较小随机样本（子集）表示大的数据集。

取样方法：;;;;;;数据立方体聚集

数据立方体概念

数据立方体是数据的多维建模和表示，由维度、维度成员和度量值组成。

维度:观察数据的角度

维度成员:维的取值

度量值:实际意义的数值

数据立方体聚集定义

将n维数据立方体聚集成n-1维的数据立方体

;数据立方体聚集;数据压缩：利用数据编码或数据转换将原来的数据集合压缩为一个较小规模的数据集合。

无损压缩（loseless）：可以不丢失任何信息地还原压缩数据；如：字符串压缩，压缩格式：Zip或RAR

有损压缩（lossy）：只能重新构造原数据的近似表示；如：音频/视频压缩。

音频能够在没有察觉的质量下降情况下实现10:1的压缩比，

视频能够在稍微观察质量下降的情况下实现如300:1这样非常大的压缩比。

;;

数据预处理;;;;?;66;67;;

数据预处理的工具;;;72;;;;内容简介;;Kettle的安装;Kettle的安装;Java??安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Java的安装;Kettle的下载安装与spoon启动;Kettle的下载安装与spoon启动;;Kettle的使用简介;转换的基本概念;转换的基本概念;转换的基本概念;转换的基本概念;转换的基本概念;转换的基本概念;转换的基本概念;转换的基本概念;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;第一个转换案例;;;;内容简介;内容简介;;基于文件的数据导入与导出;基于文件的数据导入与导出;基于文件的数据导入与导出;基于文件的数据导入与导出;基于文件的数据导入与导出;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例1;文件的导入与导出案例2;文件的导入与导出案例2;文件的导入与导出案例2;文件的导入与导出案例2;文件的导入与导出案例2;文件的导入与导出案例2;文件的导入与导出案例2;文件的导入与导出案例2;Excel文件的导入与导出;Excel文件的导入与导出;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导出案例;Excel文件的导入与导