线性回归计算.docx

做地图自动标注，想调用Matlab的多元线性拟合函数Regress，用Matlab Builder For Java转成Java类，因为是Flex编写的程序，无法直接使用Java需要部署到Web，问题来了，本地可以运行，但是写成RemotingObject或者WebService都会出现问题，要么是无法初始化工厂类，要么是Invoke错误，郁闷了！网上查了下好像大家都遇到这种错误，而且没什么解决方案。?搞了2天搞不好，想想，也没有速度要求，干脆自己写一个算了，也不怎么复杂！原理如下：??建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解?使全部观测值?与回归值?的残差平方和达到最小值。由于残差平方和??????????（2-2-5）????是?的非负二次式，所以它的最小值一定存在。??? 根据极值原理，当Q取得极值时，?应满足??? 由（2-2-5）式，即满足????????????????????（2-2-6）??? (2-2-6）式称为正规方程组。它可以化为以下形式?????（2-2-7）??? 如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有???????????????????（2-2-8）??式中X是多元线性回归模型中数据的结构矩阵，?是结构矩阵X的转置矩阵。?(2-2-7)式右端常数项也可用矩阵D来表示????即?????????????? 因此(2-2-7)式可写成Ab=D???????????（2-2-10）????或????????????（2-2-11）如果A满秩（即A的行列式??）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得?的最小二乘估计为????????????（2-2-12）??也就是多元线性回归方程的回归系数。? 为了计算方便往往并不先求??，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为????????????（2-2-13）????式中????????????（2-2-14）??? 将（2-2-13）式代入（2-2-7）式中的其余各方程，得????????????（2-2-15）????其中????????????（2-2-16）??? 将方程组（2-2-15）式用矩阵表示，则有Lb=F???????????（2-2-17）????其中??????于是b=L-1F???????????（2-2-18）??因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。? 例2-2-1?表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y对x1,?x2,?x3的线性回归方程? 。表2-2-1?土壤含磷情况观察数据第10行第一个应该是12.6????计算如下：??? 由(2-2-16)式?????代入(2-2-15)式得?????????（2-2-19）????若用克莱姆法则解上述方程组，则其解为??????????? ????（2-2-20）????其中????计算得b1=1.7848，b2=-0.0834，b3=0.1611?????回归方程为? 应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换