大数据挖掘导论与案例课件：认识数据.pptxVIP

认识数据;学习目标/Target;引言/Introduction;目录/Contents;数据类型;数据集由对象组成，一个数据对象代表一个实体，数据对象又被称为记录、数据点、事件、实例、样本、实体等，数据对象通常用一组属性进行描述。

数据对象存放在数据库时，被称为数据元组，数据库的行对应于数据对象，数据库的列对应于属性。

通常，数据集是一个文件，数据对象是文件的一条记录（或行），每个字段（或列）对应一个属性。;3.1.1属性与度量;3.1.1属性与度量;3.1.1属性与度量;3.1.1属性与度量;3.1.1属性与度量;3.1.1属性与度量;3.1.1属性与度量;3.1.2数据集类型;3.1.2数据集类型;3.1.2数据集类型;3.1.2数据集类型;3.1.2数据集类型;3.1.2数据集类型;3.1.2数据集类型;3.1.2数据集类型;数据质量;数据挖掘使用的数据常常是为其他用途收集的，或者在收集时目的并不明确。面对这一问题，数据挖掘过程从两方面入手以减少数据质量对结果的影响：

（1）数据质量问题的检测和纠正；

（2）设计和应用可以容忍低质量数据的算法。数据质量问题的检测和纠正通常称作数据清理。;3.2.1测量和数据收集;3.2.1测量和数据收集;3.2.1测量和数据收集;3.2.1测量和数据收集;3.2.1测量和数据收集;3.2.1测量和数据收集;3.2.1测量和数据收集;3.2.2数据应用;探索数据;对于数据预处理而言，进行数据探索，把握数据的全貌是至关重要的。此外，数据探索也有助于选择合适的数据预处理和数据分析技术。

基本统计描述是用来进行数据探索的主要方法，包括下面三种基本统计描述。

中心趋势度量，包括均值、中位数、众数和中列数，度量数据分布的中部或中心位置。

离散趋势度量，包括极差、四分位数、百分位数和四分位极差，以及方差和标准差，度量数据的发散程度，有助于数据集离群点的识别。

基本统计描述的图形显示，包括百分位数图、分位数-分位数图、直方图和散点图，通过可视化的方式审视数据，了解数据的分布特征。;3.3.1中心趋势度量;3.3.1中心趋势度量;3.3.1中心趋势度量;3.3.1中心趋势度量;3.3.1中心趋势度量;3.3.1中心趋势度量;3.3.1中心趋势度量;3.3.2数据???布度量;3.3.2数据散布度量;3.3.2数据散布度量;3.3.2数据散布度量;3.3.2数据散布度量;3.3.2数据散布度量;3.3.2数据散布度量;3.3.2数据散布度量;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;3.3.3数据基本统计描述的图形显示;数据可视化;数据可视化已被广泛应用。

在数据探索中使用可视化技术能够发现原始数据中隐藏的数据联系和模式，更常见的是使用数据可视化技术制作引人注目的图表以展示关键信息。;3.4.1一般方法和技术;3.4.1一般方法和技术;3.4.1一般方法和技术;3.4.1一般方法和技术;3.4.1一般方法和技术;3.4.1一般方法和技术;3.4.2少量属性的可视化;3.4.2少量属性的可视化;3.4.2少量属性的可视化;3.4.2少量属性的可视化;3.4.2少量属性的可视化;3.4.3可视化时间空间数据;3.4.4可视化高维数据;数据对象相似性与相异性度量;在大多数数据挖掘应用中，都需要评估对象之间的相似性或差异性程度。

相似性和相异性是有关联的，都称为邻近度（proximity）。相似度（similarity）是指两个对象之间的相似性程度的数值度量。如果两个对象没有相似性，它们的相似度为0。对象之间越相似，它们之间的相似度值越大。

通常，相似度值落在[0,1]区间，两个对象等同时，相似度值等于1。相异度（dissimilarity）是指两个对象之间的差异性程度的数值度量，相异度通常也被称为距离（distance）。对象之间越相似，它们之间的相异度值越小。如果对象相同，则相异性值为0。对象之间的差异性越大，相异度值越大。相异度值可能在[0,1]中取值，也可在[0,∞)取值（这里的∞表示上限不确定）。;3.5.1数据矩阵与邻近度矩阵;3.5.1数据矩阵与