5-4多元线性回归中的参数估计.ppt

第四节　多元线性回归 一、多元线性回归的数学模型 二、参数估计 四、小结 一、多元线性回归的数学模型 二、数学模型的分析与求解 三、MATLAB中回归分析的实现 四、小结 多元线性回归模型 用最小二乘法估计参数 化简可得 正规方程组 引入矩阵 正规方程组的矩阵形式 最大似然估计值 P元经验线性回归方程 三 、线性回归的另一种形式 逐步回归分析 　　在实际问题中,影响因变量的因素很多,而这些 因素之间可能存在多重共线性.为得到可靠的回归 模型,需要一种方法能有效地从众多因素中挑选出 对因变量贡献大的因素. 　　如果采用多元线性回归分析,回归方程稳定性 差,每个自变量的区间误差积累将影响总体误差,预 测的可靠性差、精度低;另外,如果采用了影响小的 变量,遗漏了重要变量,可能导致估计量产生偏倚和 不一致性. 选择“最优”回归方程的方法 　　1.从所有可能的变量组合的回归方程中选择 最优者; 　　2.从包含全部变量的回归方程中逐次剔除不 显著因子; 　　3.从一个变量开始,把变量逐个引入方程; 　　4.“有进有出”的逐步回归分析. 　　“最优”的回归方程应该包含所有有影响的 变量而不包括影响不显著的变量. 　　逐步回归分析法在筛选变量方面比较理想, 是 目前较常用的方法. 它从一个自变量开始, 根据自变 量作用的显著程度, 从大到小地依次逐个引入回归 方程, 但当引入的自变量由于后面变量的引入而变 得不显著时, 要将其剔除掉. 引入一个自变量或从回 归方程中剔除一个自变量, 为逐步回归的一步, 对于 每一步, 都进行检验, 以确保每次引入新的显著性变 量前回归方程中只包含作用显著的变量. 　　反复进行上面的过程, 直到没有不显著的变量 从回归方程中剔除, 也没有显著变量可引入到回归 方程. 函数: stepwise 用法: stepwise(x,y,inmodel,alpha) 符号说明: 　　x—自变量数据,为n×m矩阵; 　　y—因变量数据,为n×1矩阵; 　　inmodel—由矩阵x列的指标构成,表明初始模 型中引入的自变量,默认为全部自变量; 　　alpha—判断模型中每一项显著性的指标, 默 认相当于对回归系数给出95%的置信区间. 例4　水泥凝固时放出的热量 y 与水泥中的四种化 学成分 x1, x2, x3, x4 有关, 今测得一组数据如下, 试 用逐步回归法确定一个线性模型. 109.4 113.3 83.8 115.9 93.1 72.5 y 12 12 34 26 22 44 x4 8 9 23 4 18 22 x3 68 66 40 47 54 31 x2 10 11 1 21 2 1 x1 13 12 11 10 9 8 序号 102.7 109.2 95.9 87.6 104.3 74.3 78.5 y 6 22 33 47 20 52 60 x4 17 9 6 8 8 15 6 x3 71 55 52 31 56 29 26 x2 3 11 7 11 11 1 7 x1 7 6 5 4 3 2 1 序号 x1=[7,1,11,11,7,11,3,1,2,21,1,11,10]; x2=[26,29,56,31,52,55,71,31,54,47,40,66,68]; x3=[6,15,8,8,6,9,17,22,18,4,23,9,8]; x4=[60,52,20,47,33,22,6,44,22,26,34,12,12]; y=[78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1, 115.9,83.8,113.3,109.4]; x=[x1,x2,x3,x4]; 输入数据 逐步回归 回归平面 帮　　助 stepwise(x,y) 逐步回归分析 程序运行结果