多元线性回归和多项式回归.doc

第九章 多元线性回归与多项式回归 直线回归研究的是一个依变量与一个自变量之间的回归问题，但是，在畜禽、水产科学领域的许多实际问题中，影响依变量的自变量往往不止一个，而是多个，比如绵羊的产毛量这一变量同时受到绵羊体重、胸围、体长等多个变量的影响，因此需要进行一个依变量与多个自变量间的回归分析，即多元回归分析（multiple regression analysis），而其中最为简单、常用并且具有基础性质的是多元线性回归分析（multiple linear regression analysis），许多非线性回归（non-linear regression）和多项式回归（polynomial regression）都可以化为多元线性回归来解决，因而多元线性回归分析有着广泛的应用。研究多元线性回归分析的思想、方法和原理与直线回归分析基本相同，但是其中要涉及到一些新的概念以及进行更细致的分析，特别是在计算上要比直线回归分析复杂得多，当自变量较多时，需要应用电子计算机进行计算。aaa 第一节 多元线性回归分析 多元线性回归分析的基本任务包括：根据依变量与多个自变量的实际观测值建立依变量对多个自变量的多元线性回归方程；检验、分析各个自变量对依自变量的综合线性影响的显著性；检验、分析各个自变量对依变量的单纯线性影响的显著性，选择仅对依变量有显著线性影响的自变量，建立最优多元线性回归方程；评定各个自变量对依变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。 多元线性回归方程的建立 （一）多元线性回归的数学模型 设依变量与自变量、、…、共有n组实际观测数据： 变量 序号 … 1 … 2 … ┆ ┆ ┆ ┆ … ┆ … 假定依变量y与自变量x1、x2、…、xm间存在线性关系，其数学模型为： （9-1） （j=1,2,…,n） 式中，x1、x2、…、xm为可以观测的一般变量（或为可以观测的随机变量）；y为可以观测的随机变量，随x1、x2、…、xm而变，受试验误差影响；为相互独立且都服从的随机变量。我们可以根据实际观测值对以及方差作出估计。 （二）建立线性回归方程 设对、、…、的元线性回归方程为： 其中的、、、…、为的最小二乘估计值。即、、、…、应使实际观测值y与回归估计值的偏差平方和最小。 令 为关于、、、…、的+1元函数。 根据微分学中多元函数求极值的方法，若使达到最小，则应有： （=1、2、…、） 经整理得： (9-2) 由方程组（9-2）中的第一个方程可得 (9-3) 即 若记 （、、、…、；k） 并将分别代入方程组（9-2）中的后个方程，经整理可得到关于偏回归系数、、…、的正规方程组（normal equations）为： （9-4） 解正规方程组（9-4）即可得偏回归系数、、…、的解，而 于是得到元线性回归方程 元线性回归方程的图形为维空间的一个平面，称为回归平面；称为回归常数项，当==…==0时，在b0有实际意义时，表示的起始值；（=、2、…、）称为依变量对自变量的偏回归系数（partial regression coefficient），表示除自变量以外的其余个自变量都固定不变时，自变量每变化一个单位，依变量平均变化的单位数值，确切地说，当0时，自变量每增加一个单位，依变量平均增加个单位；当0时，自变量i每增加一个单位，依变量平均减少个单位。 若将代入上式，则得 （9-5） （9-5）式也为对、、…、的元线性回归方程。 对于正规方程组（9-4），记 ， ， 则正规方程组（9-4）可用矩阵形式表示为 （9-6） 即 （9-7） 其中A为正规方程组的系数矩阵、b为偏回归系数矩阵（列向量）、B 为常数项矩阵（列向量）。 设系数矩阵A的逆矩阵为C矩阵，即，则 其中：C矩阵的元素（，j=1、2、…、）称为高斯乘数，是多元线性回归分析中显著性检验所需要的。 关于求系数矩阵A的逆矩阵A-1的方法有多种，如行（或列）的初等变换法等，请参阅线性代数教材，这里就不再赘述。 对于矩阵方程（9-7）求解，有： 即： （9-8） 关于偏回归