第六讲 数据分析技术.ppt

第六讲 数据分析技术 主要内容 数据分析基础 单变量分析——就一道题的结果进行分析 双变量分析——两道题之间的关联性 多变量分析 数据分析基础 按照计量尺度的不同，数据可以划分为四种类型： 定类：只有分类意义 定序：只表示顺序，加减无意义 定距：没有绝对零点，可以加减，不能做除法 定比：有绝对零点 定类、定序数据为定性数据，定距、定比数据为定量数据，不同数据有不同的分析方法 一、单变量分析 原始数据的数量较多，难以把握其本质特征，难以进行比较，所以经常需要使用一些统计量或统计图作为工具来帮助分析 一、单变量分析 统计量按照测度对象不同，可以分为 集中趋势度量 离散趋势度量 一、单变量分析 集中趋势度量指标用以判断数据的位置 离散趋势指标用以判断数据的分散程度 一、单变量分析 1、集中趋势指标 均值（mean） 中位数（median） 众数（mode） 2、离散趋势指标 标准差（standard deviation） 离散系数（coefficient of variation） 四分位距（quartile deviation） 异众比率（ variation ratio） 1、集中趋势指标 均值 适用于正态分布数据（必定为定量数据） 优点：包含了所有数据的信息，是数据的重心、数学性质较好 缺点：不稳健，受异常数据的影响很大 1、集中趋势指标 均值 应用时应注意： 均值对于个体决策而言意义不大 均值必须与标准差结合，才能对数据特征有较客观的认识 1、集中趋势指标 中位数 适用于定序数据和非正态分布或存在异常值的定量数据 优点：稳健，含义清晰 缺点：将定量数据当定性数据处理，浪费了信息 1、集中趋势指标 五数概括 将中位数、上下四分位数和最大最小值这5个数放在一起，就能刻画出数据分布的大致状态，即为五数概括 1、集中趋势指标 众数 出现次数最多的数值，适用于定类数据 2、离散趋势指标 标准差与离散系数 适用于定量数据 优点：包含了所有数据的信息，数学性质较好 缺点：不稳健，受异常数据的影响很大 与标准差相比，离散系数更具可比性，对于水平差异较大的数据，通常用后者进行比较 2、离散趋势指标 四分位距：上、下四分位数的差 适用于定序数据和存在异常值的定量数据 优点：稳健 缺点：将定量数据当定性数据处理，浪费了信息 2、离散趋势指标 异众比率 适用于定类数据 测度集中、离散趋势有三套指标： 1、均值——标准差、离散系数 适用于正态分布数据 2、字母值——四分位距 适用于定序数据，当注重稳健性时，也用于定量数据 3、众数——异众比率 适用于定类数据 一、单变量分析 尽管有一系列的统计量可用来概括数据特征，但由一组数据变为1个或几个数据，信息的遗漏是很严重的，而统计图则提供了一类在不损失信息情况下，方便观察数据规律性的工具 一、单变量分析 1、条形图与直方图 2、饼图 3、箱线图 1、条形图与直方图 1、条形图与直方图 1、条形图与直方图 2、饼图 3、箱线图 二、双变量分析 二、双变量分析 二、双变量分析 二、双变量分析 列联表分析 关联性测量 假设检验 列联表分析 列联表分析 关联性测量 关联——association 相关——correlation 关联性测量 常用测量指标按适用范围分类 关联性测量 Pearson 相关系数（简单相关系数、积矩相关系数）的构造 同方向性的一种表现是：一个变量的某个观测值如果高于均值，则另一个变量的相应观测值也高于均值 关联性测量 Pearson 相关系数的构造 关联性测量 可以构造如下统计量 关联性测量 关联性测量 关联性测量 存在两个问题： 1、受样本数据多少的影响 2、受计量单位的影响 关联性测量 相关系数 关联性测量 相关系数的取值范围：[-1，1] 关联性测量 如果相关系数越接近于1，意味着X大于均值，则Y也大于均值的可能性越大 如果相关系数越接近于-1，意味着X大于均值，则Y小于均值的可能性越大 如果相关系数越接近于0，意味着X大于均值，则Y大于均值或小于均值的可能性越接近 关联性测量 相关系数的绝对值越接近于1，意味着X与Y的线性关系越明显，数量关系越确定。 相关系数的绝对值越接近于0，意味着X与Y之间越没有明显的线性关系。 关联性测量 相关系数的局限性 不能用以测度非线性相关 受到异常值的影响 关联性测量 关联性测量 测度等级以及名义相关的统计量 斯皮尔曼等级相关系数 （Spearman rank correlation coefficient） 肯达尔t 系数 （Kendall