网站大量收购闲置独家精品文档,联系QQ:2885784924

第5章 逐步回归与自变量选择.ppt

  1. 1、本文档共20页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第5章 逐步回归与自变量选择

浙江财经学院 倪伟才 第五章逐步回归法 浙江财经学院 倪伟才 一、前进法 前进法(forward)的思想:自变量由少到多,每次增加1个,直到没有可引入的变量为止。 具体步骤:①将x1,x2,….,xp中的一个变量引入回归方程,作p个一元线性回归方程;选取与y关系最密切(相关性最强)(或p值最小的)解释变量引入。不妨设为x1. ②回归方程中已有x1 ,再引入一个变量。作p-1个二元线性回归方程;选取x2,….,xp中与y关系最密切(相关性最强)(或p值最小的)解释变量引入。不妨设为x2. ③回归方程中已有x1 , x2,再引入一个变量。作p-2个三元线性回归方程;选取x3,….,xp中与y关系最密切(相关性最强)(或p值最小的)解释变量引入。不妨设为x3. 。。。。。。。 ④直到未被引入方程的p值0.05为止。 例:用前进法建立例3.1的 回归方程 浙江财经学院 倪伟才 二、后退法 后退法(backwad)的基本思想:首先用全部的p个自变量建立一个回归方程,然后将最不重要的自变量一个一个地删除。 具体步骤:①作y对全部的p个自变x1,x2,….,xp的回归②在回归方程中,将x1,x2,….,xp 对y的影响最小(最不重要或p值最大)的自变量剔除,不妨令x1;③在② 中的回归方程(已没有x1 ),将x2,….,xp 对y的影响最小(最不重要或p值最大)的自变量剔除,④直到回归方程中,自变量对y的影响都重要为止。 例:用后退法建立例3.1回归方程 浙江财经学院 倪伟才 三.前进法、后退法的缺点 前进法:终身制。 前面引进的自变量是显著的,但后面引进其它变量后变地不显著了,此时再也无法将其剔除。 后退法 :一棍子打死。 一旦某个自变量被剔除后,它再也没有机会重新进入回归方程。 浙江财经学院 倪伟才 四.逐步回归法 思想:有进有出,在前进法的基础上,结合后退法。 步骤:将变量一个一个引入,当引入一个新的变量时,不仅对新变量进行检验,而且对已引进的自变量也要检验。若已引进 的 变量由于后面的 变量引进而变地不显著时,将其剔除(有进有出),直到不再有显著的变量引入回归方程,也不再有不显著的变量从回归方程中剔除。(通俗的说:方程中的自变量都是显著的,方程外的自变量都是不显著的) 引入自变量显著性水平记为: ?进 剔除自变量显著性水平记为:? 出 要使用逐步回归法的前提: ?进? 出 Spss中默认的?进 =0.05 ? 出=0.1 例:用逐步回归法建立例3.1回归方程 练习课本例5.5关于香港股市的研究 练习课本152页的习题5.9 浙江财经学院 倪伟才 * Stata ,SPSS结果一致(课本例5.1) 1:Stepwise: sw reg y x1 x2 x3 , pe(.05) pr(.1) forward 与SPSS的输出结果完全相同! 2:forward: sw regress y x1 x2 x3 , pe(.05) 3:backward: sw regress y x1 x2 x3 , pr(.1) 4:区别sw reg y x1 x2 x3 , pe(.05) pr(.1) forward begin with empty model sw reg y x*,pe(0.05) pr(0.1) begin with full model 浙江财经学院 倪伟才 * 自变量选择的准则 浙江财经学院 倪伟才 * 所有子集回归 在一个实际问题的多元回归模型的建模过程中,有p个可供选择的变量x1,x2,…,xp. 这样,y关于这些自变量的所有可能的回归方程就有2p个,(此时把回归模型只包含常数项的情况包含在内)。(请说出为什么是2p个的理由?) 若把回归模型只包含常数项的情况排除在外,可能的回归方程就有2p-1个。 对于有p个自变量的回归模型问题,一切可能的回归子集有2p个,在这些回归子集中如何选择一个最优的回归子集,衡量最优子集的标准是什么? 浙江财经学院 倪伟才 * 复习残差平方和与复决定系数 1:OLSE的基本思想:使残差平方和达到最小。 思考:能用残差平方和来选择一个最优的回归子集吗?理由? 2:能用复决定系数来选择一个最优的回归子集吗?理由? 浙江财经学院 倪伟才 * 准则1:调整复决定系数 浙江财经学院 倪伟才 * 调整复决定系数 浙江财经学院 倪伟才 * 准则2:回归的标准误 浙江财经学院 倪伟才 * 浙江财经学院 倪伟才 * Two popular model selection criteria The KISS Principle: Keep It Sophistically Simple! 准则3:AIC准则 AIC=ln(SSR)+2P/n =goodn

文档评论(0)

dajuhyy + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档