多元逐步回归算法.docVIP

逐步回归分析的基本思想 在实际问题中, 人们总是希望从对因变量y有影响的诸多变量中选择一些变量作为自变量, 应用多元回归分析的方法建立“最优”回归方程以便对因变量y进行预报或控制。所谓“最优”回归方程, 主要是指希望在回归方程中包含所有对因变量y影响显著的自变量而不包含对影响不显著的自变量的回归方程。逐步回归分析正是根据这种原则提出来的一种回归分析方法。它的主要思路是在考虑的全部自变量中按其对y的作用大小, 显著程度大小或者说贡献大小, 由大到小地逐个引入回归方程, 而对那些对作用不显著的变量可能始终不被引人回归方程。另外, 己被引人回归方程的变量在引入新变量后也可能失去重要性, 而需要从回归方程中剔除出去。引人一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步, 每一步都要进行F检验, 以保证在引人新变量前回归方程中只含有对y影响显著的变量, 而不显著的变量已被剔除。 逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和(即贡献), 然后选一个偏回归平方和最小的变量, 在预先给定的水平下进行显著性检验, 如果显著则该变量不必从回归方程中剔除, 这时方程中其它的几个变量也都不需要剔除(因为其它的几个变量的偏回归平方和都大于最小的一个更不需要剔除)。相反, 如果不显著, 则该变量要剔除, 然后按偏回归平方和由小到大地依次对方程中其它变量进行检验。将对影响不显著的变量全部剔除, 保留的都是显著的。接着再对未引人回归方程中的变量分别计算其偏回归平方和, 并选其中偏回归平方和最大的一个变量, 同样在给定水平下作显著性检验, 如果显著则将该变量引入回归方程, 这一过程一直继续下去, 直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止, 这时逐步回归过程结束。 在供选择的个自变量中，依各自变量对因变量作用的大小，即偏回归平方和（partial regression sum of squares）的大小，由大到小把自变量依次逐个引入。每引入一个变量，就对它进行假设检验。当时，将该自变量引入回归方程。新变量引入回归方程后，对方程中原有的自变量也要进行假设检验，并把贡献最小且退化为不显著的自变量逐个剔出方程。因此逐步回归每一步（引入一个自变量或剔除一个自变量）前后都要进行假设检验，直至既没有自变量能够进入方程，也没有自变量从方程中剔除为止。回归结束，最后所得方程即为所求得的“最优”回归方程。 逐步回归分析的特点：双向筛选，即引入有意义的变量（前进法），剔除无意义变量（后退法） 多元线性回归的应用 1．影响因素分析 2．估计与预测 用回归方程进行预测时，应选择 具有较高值的方程。 3．统计控制 指利用回归方程进行逆估计，即通 过控制自变量的值使得因变量为 给定的一个确切值或者一个波动范 围。此时，要求回归方程的值要 大，回归系数的标准误要小。 1．样本含量 应注意样本含量与自变量个数的比例。通常， 样本含量至少为变量数的5-10倍。 2．方程“最优”问题 目的是精选自变量以求得拟合效果最好的多元回 归方程。最优子集回归是选择一组使回归方程拟 和最好的自变量，而逐步回归则选择对因变量作 用有意义的自变量，要根据研究目的选用合适的 方法。 逐步回归分析的主要计算步骤 1) 确定检验值在进行逐步回归计算前要确定检验每个变量是否显若的检验水平, 以作为引人或剔除变量的标准。检验水平要根据具体问题的实际情况来定。一般地, 为使最终的回归方程中包含较多的变量, 水平不宜取得过高, 即显著水平α不宜太小。水平还与自由度有关, 因为在逐步回归过程中, 回归方程中所含的变量的个数不断在变化, 因此方差分析中的剩余自由度也总在变化, 为方便起见常按计算自由度。为原始数据观测组数, 为估计可能选人回归方程的变量个数。例如, 估计可能有2～3个变量选入回归方程, 因此取自由度为15-3-1＝11, 查分布表, 当α＝0.1, 自由度, 时, 临界值, 并且在引入变量时, 自由度取, , 检验的临界值记, 在剔除变量时自由度取, , 检验的临界值记, 并要求, 实际应用中常取。 (2) 逐步计算 　　如果已计算步(包含＝0), 且回归方程中已引入个变量, 则第步的计算为: ()计算全部自变量的贡献(偏回归平方和)。 ()在已引入的自变量中, 检查是否有需要剔除的不显著变量。这就要在已引入的变量中选取具有最小值的一个并计算其值, 如果, 表示该变量不显著, 应将其从回归方程中剔除, 计算转至()。如则不需要剔除变量, 这时则考虑从未引入的变量中选出具有最大值的一个并计算值, 如果, 则表示该变量显著, 应将其引人回归方程, 计算转至()。如果, 表示已无变量可选入方程, 则逐步计算阶段结束, 计算转人(3)。