42多元线性回归.ppt

多元线性回归模型 多元线性回归模型的参数估计 多元线性回归系数的置信区间 多元线性回归模型的统计检验 利用多元线性回归模型进行预测 4.2.1 多元线性回归模型 多元线性回归模型:表现在线性回归模型中的回归变量有多个。一般表现形式： 多元线性回归模型的基本假定 假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。 假设2，随机误差项具有零均值、同方差及不序列相关性 一、β的普通最小二乘估计 对于随机抽取的n组观测值 二、 参数估计量的性质 在满足基本假设的情况下，其结构参数?的普通最小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。 最小方差性： 证明: 对β的任一线性无偏估计β0， 因为 所以 得证 4.2.4 回归方程的显著性检验 （一）回归方程显著性的F检验 （二）回归方程线性显著性的R检验 （三）回归系数的显著性t检验 多元线性回归方程可写成： (一) 回归方程显著性的检验——F检验 回归方程的线性显著性检验—— 回归拟合度评价和决定系数检验 拟合优度：检验回归方程对样本观测值的拟合程度。 两变量回归决定系数的公式 （二）回归系数的显著性检验（t检验） 方程的总体线性关系显著?每个解释变量对被解释变量的影响都是显著的 4.2.5 回归系数的置信区间 回归参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。 在变量的显著性检验中已经知道： 4.2.6 预测 逐步回归方法的基本思想:对全部的自变量x1,x2,...,xp,按它们对Y贡献的大小进行比较，并通过F检验法，选择偏回归平方和显著的变量进入回归方程，每一步只引入一个变量，同时建立一个偏回归方程。当一个变量被引入后，对原已引入回归方程的变量，逐个检验他们的偏回归平方和。如果由于引入新的变量而使得已进入方程的变量变为不显著时，则及时从偏回归方程中剔除。在引入了两个自变量以后，便开始考虑是否有需要剔除的变量。只有当回归方程中的所有自变量对Y都有显著影响而不需要剔除时，在考虑从未选入方程的自变量中，挑选对Y有显著影响的新的变量进入方程。不论引入还是剔除一个变量都称为一步。不断重复这一过程，直至无法剔除已引入的变量，也无法再引入新的自变量时，逐步回归过程结束。 例4.5 在平炉炼钢中，由于矿石与炉气的氧化作用，铁水的总含碳量在不断降低，一炉钢在冶炼初期总得去碳量y与所加的两种矿石的量X1,X2及熔化时间X3有关。经实测某号平炉的19组数据如表4-6（P178）所列(α=0.01)? Sig. p＝P{|F|? F 1－?(1，n-2)} 可见，计算的所有p值都小于0.05，所以在α=0.05时拒绝原假设。说明3个解释变量都在95%的水平下对y显著，都通过了变量显著性检验。但当α=0.01时，X1的回归系数的P值大于0.01，则X1未通过了变量显著性检验，需要重新建立回归方程。 Sig. p＝P{|t|? t 1-?/2(n-2)} 后退法 先剔除计算p值较大的一个变量，然后进行新的回归并对方程检验，有不显著变量再剔除，直到留下的变量都通过了显著性检验。 承上例按P值依次剔除不显著的变量（原则上每次只剔除一个变量），最终得到以下结果： 容易推出：在(1-?)的置信水平下?i的置信区间是 其中，t1－?/2 (n-p-1)为显著性水平为? 、自由度为n-p-1的临界值。 如何才能缩小置信区间？ 增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小； 提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小。 提高样本观测值的分散度,一般情况下，样本观测值越分散，(X’X)-1的分母的|X’X|的值越大，致使区间缩小。 且经检验，回归方程和回归系数都是显著的。 给定样本以外的解释变量的观测值（X01, X02,…, X0p)，可以得到被解释变量的预测值?0 ， 对于多元线性回归模型 根据历史样本求得的回归模型为： 例4.7 在例4.5中,若取（X01, X02, X03)=(5,10,50)，求Y0的置信水平为95％的预测区间(α=0.05)? 用上述方程预测得： Y0 ＝4.37139 95%的预测区间为：[2.71072, 6.03207] 用后退法所得方程预