线性回归法.docx

一元线性回归分析和多元线性回归分析一元线性回归分析1.简单介绍当只有一个自变量时，称为一元回归分析（研究因变量和自变量之间的相关关系）；当自变量有两个或多个时，则称为多元回归分析（研究因变量和自变量，，…，之间的相关关系）。如果回归分析所得到的回归方程关于未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。在实际预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以，线性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。2.回归分析法的基本步骤回归分析法的基本步骤如下：搜集数据。根据研究课题的要求，系统搜集研究对象有关特征量的大量历史数据。由于回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及其准确性都直接影响到回归分析的结果。设定回归方程。以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所表现出来的规律，选择适当的数学模型，设定回归方程。设定回归方程是回归分析法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测的基础。确定回归系数。将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数，确定回归方程。这一步的工作量较大。进行相关性检验。相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关系的可靠性进行检验。一般有检验、检验和检验三种方法。进行预测，并确定置信区间。通过相关性检验后，我们就可以利用已确定的回归方程进行预测。因为回归方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我们也需要给出该单点预测值的置信区间，使预测结果更加完善。3. 一元线性回归分析的数学模型用一元线性回归方程来描述和之间的关系，即（=1，2，…，）（2-1）式中，和分别是自变量和因变量的第观测值，和是回归系数，是观测点的个数，为对应于的第观测值的随机误差。假设随机误差满足如下条件：①服从正态分布；②的均值为零，即；③的方差等于；④各个间相互独立，即对于任何两个随机误差和，其协方差等于零，即，。基于上述假定，随机变量的数学期望和方差分别是（2-2）如果不考虑式中的误差项，我们就得到简化的式子（2-3）该式称为对的一元回归模型或一元回归方程，其相应的回归分析称为一元线性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。4. 回归参数的估计回归模型中的参数与在一般情况下都是未知数，必须根据样本观测数据来估计。确定参数与值的原则是要使样本的回归直线同观察值的拟合状态最好，即要使得偏差最小。为此，可以采用最小二乘法的办法来解决。对应于每一个，根据回归直线方程式（2-3）可以求出一个，它就是的一个估计值。估计值和观测值之间的偏差。要使模型的拟合状态最好，就是说要使个偏差平方和最小为标准来确定回归模型。为了方便起见，记，，，则式（2-1）用矩阵形式表示为（2-4）设为误差的负估值，称为的改正数或残差，为回归参数的估值，则可以写出类似于参数平差的误差方程（2-5）根据最小二乘原理，求自由极值，得即（2-6）将误差方程（2-5）代入，即得法方程为（2-7）记，，，，则，于是可得回归参数的最小二乘估值为（2-8）即参数与的具体表达形式为（2-9）求出参数与以后，就可以得到一元线性回归模型（2-10）由此，只要给定了一个值，就可以根据回归模型求得一个作为实际值的预测值。5.精度分析对于给定的，根据回归模型就可以求出的预测值。但是用来预测的精度如何，产生的误差有多大是我们所关心的。这里采用测量上常用的精度指标来度量回归方程的可靠性。一个回归模型的精度或剩余标准离差定义式为（2-11）由于参数的个数是2，观测值总数是，多余观测是，因此式中分母是。运用估计平均误差可以对回归方程的预测结果进行区间估计。若观察值围绕回归直线服从正态分布，且方差相等，则有68.27%的点落在的范围内，有95.45%的点落在的范围内，有99.73%的点落在的范围内。根据参数平差理论可知，的协因数矩阵为（2-12）从而，的方差估值为（2-13）6.线性回归效果的显著性检验对一元线性回归模型的统计检验包括两个内容：一是线性回归方程的显著性检验；二是对回归系数进行统计推断。在一元线性回归分析中，线性回归效果的好坏取决于与的线性关系是否密切。若越大，随的变化趋势就越明显；若越小，随的变化趋势就越不明显。特别的，当时，意味着与之间不存在线性相关关系，所建立的线性回归方程没有意义。所以，只有当时，与之间才有线性相关关系，所建立的线性回归方程才有实际意义。因此，对线性回归效果好坏的检验，就归结为对统计假设的检验。若拒绝，就认为线性回归有意义；若不能拒绝，就认为线性回归无意义。下面介绍两种检验方法：检验法和相关系数检验法。1.检验法进行F检验的关键在于确定一个合适的统计量及其所服从的分布。当原