标准化系数与偏相关系数.ppt

标准化系数与偏相关系数 在多元回归分析中，经常用标准化系数和偏相关系数来描述自变量的相对重要性，这两个系数之间的数量关系,证明出在二元回归中两者相对大小始终一致，而在自变量个数超过两个的回归模型中两者相对大小不一定完全一致 标准化系数 在多元线性回归方程中，由于各自变量的单位不同，得到的回归系数也就有不同的量纲，因此，回归系数的大小只能表明白变量与因变量在数量上的关系，而不能表示各自变量在回归方程的重要性。要比较各个自变量的重要性，必须消除单位的影响，为此，在做线性回归时需要对变量值作标准化变换，即变量减去其均值并除以其标准差的估计，由此得到的回归系数被称为标准化系数 标准化的回归模型为 因标准化系数没有单位，可用其绝对值大小来说明多元回归模型中各自变量的相对重要性。标准化系数的含义是当自变量增加一个单位时，因变量增加或减少的单位数，它与原来未标准化的多元回归系数的关系为： 可以看出，标准化系数不仅与自变量的回归系数有关，而且与这个自变量的波动程度有关。如果波动程度较大(自变量的标准差较大)，自变量就会显得较为重要，否则就显得不太重要。然而在利用上式求解标准化系数时，没有考虑各变量间是否存在交互作用，那么，如何考察排除其他自变量的影响后，第j=个自变量对因变量的影响作用呢 偏相关系数 先从简单相关系数说起，简单相关系数(相关系数)是刻画变量之间线性程度的量，很多情况下人们利用相关系数的大小来解释变量间相互联系的大小。但相关系数只表明两个变量的共变联系，在实际应用中不能只根据相关系数盲目推断变量间内在联系的大小，在研究时要同时考察这种相关性是否由于其他变量的变化所引起。 偏相关关系则是在扣除或固定某两个变量以外的其他变量对它们的影响以后，这两个变量之间的相关关系，它反映了事物间的本质联系。描述这种关系的强度指标为偏相关系数，绝对值越大，偏相关程度越大。因偏相关系数反映的是排除其他变量的影响后，自变量与因变量之间的相关程度，没有单位，故偏相关系数的绝对值大小也常用于表示各变量的相对重要性，取值范围在一1和+1之间 通常，简单相关系数又被称为零阶系数，而像r12.3 这样考虑变量间存在一个共同影响的系数称为一阶偏相关系数(或一阶系数)，可用简单相关系数来计算 像r12.34 这样考虑变量间存在两个共同影响的系数称为二阶偏相关系数，可用一阶相关系数来计算，计算公式为: r12.34= 标准化系数和偏相关系数间的关系 既然偏相关系数可以用简单相关系数来表示，标准化系数可否也用它来表示呢? 简单相关系数表示的标准化系数计算公式为： 可以看出，标准化系数也要受变量间的相关系数影响，与偏相关系数有相似之处。两者之间是否存在确定的数量关系?正负符号是否一致? 下面分二元回归和多元回归两种情况讨论 1．二元回归 对于二元回归来说，根据公式可以得到用简单相关系数表示的标准化系数 可以证明: 即当只有两个自变量时，标准化系数绝对值的相对大小和简单相关系数绝对值的相对大小相同。因此，根据标准化系数或简单相关系数的相对大小可以判断自变量的相对重要性 二元回归中的一阶偏相关系数计算公式为： 从偏相关系数和标准化系数各自的计算公式中可以看出，两者有必然的内在联系。具有相同的正负符号而且它们的分子完全相同，分母的因子中也有部分相同，但从公式中无法推断出自变量的标准化系数绝对值和偏相关系数绝对值的大小关系，即使知道标准化系数 ,，也无法知道偏相关系数 下面换个角度考虑，利用偏相关系数与复相关系数R和简单相关系数之间的关系 来间接证明 可将分析偏相关系数和简单相关系数的关系转化为考察函数 单调性的问题 也就是说，偏相关系数绝对值的相对大小也和简单相关系数绝对值的相对大小相同。加上标准化系数绝对值的相对大小和简单相关系数绝对值的相对大小相同，可以推知在二元回归中，偏相关系数绝对值的相对大小和标准化系数绝对值的相对大小始终保持一致 2．多元回归 第i个自变量的标准化系数和偏相关系数正负符号相同，但两者绝对值受代数余子式(也就是所有变量间的简单相关系数)影响，其相对大小从理论上不易判断。即虽然两者分子相同，但分母中存在的不同因子仍可能会导致按照标准化系数或偏相关系数两种指标排序，得到的自变量重要程度序列有所不同。 从表3可以看出，X1粮食作物播种面积在1987~2003年的波动程度较l985~2003年的波动程度大(标准差较大)，在回归系数相对稳定时，标准化系数会随该自变量