如何选择数据分析方法培训资料.ppt

如何选择数据分析方法? 吴喜之 * 数据和目的相结合的出发点 1. 相关分析及回归类模型（相关、简单的回归、Logistic回归、对数线性模型、方差分析和一般线性模型） 2. 经典多元分析内容（主成分分析、因子分析、聚类分析、判别分析、对应分析） * 主要涉及的相关问题 什么是相关？ 列联表中定性变量的相关(Fisher c2检验) 定量变量的相关(Pearson相关系数(r)，Kendall’s t、Spearman’ r) 基本统计书中的估计和假设检验所涉及的仅仅是对一些互相没有关系的变量的描述。但是现实世界的问题都是相互联系的。不讨论变量之间的关系，就无从谈起任何有深度的应用；而没有应用，前面讲过的那些基本概念就仅仅是摆设而已。 * 变量间的关系 人们每时每刻都在关心事物之间的关系。 比如，职业种类和收入之间的关系、政府投入和经济增长之间的关系、广告投入和经济效益之间的关系、治疗手段和治愈率之间的关系等等。 这些都是二元的关系。 还有更复杂的诸多变量之间的相互关系， 比如企业的固定资产、流动资产、预算分配、管理模式、生产率、债务和利润等诸因素的关系是不能用简单的一些二元关系所描述的。 * 例1广告投入和销售之间的关系（数据ads.sav） * 这是什么关系？ 这两个变量是否有关系？显然，它们有关系；这从散点图就很容易看出。基本上销售额是随着广告投入的递增而递增。 如果有关系，它们的关系是否显著？这也可以从散点图得到。当广告投入在6万元以下，销售额增长很快；但大于这个投入时，销售额增长就不明显了。因此，这两个变量的关系是由强变弱。 这些关系是什么关系，是否可以用数学模型来描述？本例看上去是可以拟合一个回归模型（后面会介绍），但绝不是线性的（用一条直线可以描述的）。具体细节需要进一步的分析 * 这是什么关系？ 这个关系是否带有普遍性？也就是说，仅仅这一个样本有这样的关系，还是对于其他企业也有类似的规律。这里的数据还不足以回答这个问题。可能需要考虑更多的变量和收集更多的数据。一般来说，人们希望能够从一些特殊的样本，得到普遍的结论，以利于预测。 这个关系是不是因果关系？在本问题中，看来似乎有因果关系。这类似于一种试验；而试验时是容易找到因果关系的。但是，一般来说，变量之间有关系但绝不意味着存在因果关系。这里充满了危险和未知！? * ? 观点：赞成(1) 观点:不赞成(0) ? 低收入(1) 中等收入(2) 高收入(3) 低收入(1) 中等收入(2) 高收入(3) 男1 20 10 5 5 8 10 女0 25 15 7 2 7 9 * 列联表(contingency table). 前面就是一个所谓的三维列联表这些变量中每个都有两个或更多的可能取值。这些取值也称为水平；比如收入有三个水平，观点有两个水平，性别有两个水平等。该表为3×2×2列联表 在SPSS数据中，表就不和课本印的一样，收入的“低”、“中”、“高”用代码1、2、3代表；性别的“女”、“男”用代码0、1代表；观点“赞成”和“不赞成”用1、0代表。有些计算机数据对于这些代码的形式不限（可以是数字，也可以是字符串）。 * Table7.sav 数据 * 列联表 列联表的中间各个变量不同水平的交汇处，就是这种水平组合出现的频数或计数（count）。 列联表可以有很多维。维数多的叫做高维列联表。 注意前面这个列联表的变量都是定性变量;但列联表也会带有定量变量作为协变量。 * 二维列联表的检验 研究列联表的一个主要目的是看这些变量是否相关。比如前面例子中的收入和观点是否相关。 这需要形式上的检验 * 二维列联表的检验 对于上面那样的二维表。我们检验的零假设和备选假设为 H0:观点和收入这两个变量不相关;H1:这两个变量相关。 这里的检验统计量在零假设下有（大样本时）近似的c2分布。 当该统计量很大时或p-值很小时，就可以拒绝零假设，认为两个变量相关。 实际上有不止一个c2检验统计量。包括Pearson c2统计量和似然比（likelihood ratio）c2统计量；它们都有渐近的c2分布。 根据计算可以得到（对于这两个统计量均有）p-值小于0.001。因此可以说，收入高低的确影响观点。 * Pearson c2统计量 似然比c2统计量 Oi代表第i个格子的计数，Ei代表按照零假设（行列无关）对第i格子的计数的期望值 * 二维列联表的检验 刚才说，这些c2统计量是近似的，那么有没有精确的统计量呢？ 当然有。这个检验称为Fisher精确检验；它不是c2分布，而是超几何分布。 对本问题,计算Fisher统计量得到的p-值也小于0.001。 既然有精确检验为什么还用近似的c2检验？ 这是因为当数目很大时，超几何分布计算相当