探索性数据分析(EDA).pptx

探索性数据分析（EDA）;EDA的提出;EDA的定义;EDA的主要特点;;;数据类型;单变量分析;偏度和峰度;峰度的计算公式： 峰度是刻画分布状态的陡缓程度的指标。峰度等于0，分布呈正态，峰度大于0，分布呈尖峰状态，峰度小于0，分布呈平峰状态。 ;四分位数极差;直方图;双峰型直方图： 当直方图中出现了两个峰， 这是由于观测值来自两个总 体、两个分布的数据混合在 一起造成的。 平顶型直方图： 当直方图没有突出的顶峰， 呈平顶型 。形成的原因： 1.多个总体多个分布混合在 一起；2.变量在某个区间 均匀变化。 ;偏态型直方图： 偏态型直方图是指图的 顶峰有时向左偏、 有时向右偏。 孤岛型直方图： 在直方图旁边有孤立的小岛出现。;直方图作用;箱线图;正态性检验;QQ图 对于样本 ，其次序统计量是 。 QQ图是由以下的点构成的散点图： 若样本数据近似于正态分布，在QQ图上这些点近似地在直线 附近。 ;非参数检验方法 Kolmogorov-Smirnov 正态性检验： 检验统计量为 表示一组随机样本的累计频率函数 ， 表示分布的分布函数。 Shapiro-Wilk的(W检验) 夏皮络—威尔克检验当 时可以使用。 ;两个变量的关系;两个数值型变量线性相关;2. 相关系数的假设检验： 提出零假设：两变量无线性相关关系 选择检验统计量：Pearson相关系数的检验统计量为t统计量，即 其中，t统计量服从n-2个自由度的t分布。 计算检验统计量的观测值和p值。 决策。如果p值小于显著水平 ，应拒绝原假设，认为两变量有线性相关关系，否则两变量不存在线性相关关系。 ;应用时注意的问题;秩相关;两个无序分类变量关联性分析;多个数值型变量可以使用散点图矩阵;多个分类变量可以使用网状图;补充;初步结论;简单的处理;其它的问题;