数值分析5.2 最小二乘法.ppt

上页 下页 5.3 曲线拟合的最小二乘法 最小二乘法的基本原理 具体的做法是求 p(x) 使 几何意义: 求在给定点 x0, x1,…, xm 处与点(x0,y0), (x1,y1), … ,(xm, ym) 的距离平方和最小的曲线y =p(x), 这就是最小二乘曲线拟合问题. 中找一函数 y=S*(x) 使误差平方和 目的：求一个函数y=S*(x)与所给数据 {(xi,yi),i=0,1,…,m}拟合. 是[a, b]上线性无关函数族，在 5.3.1 最小二乘法及其计算 记拟合误差 δi=S*(xi)-yi, i= 0, 1 ,…, m, δ=(δ0,δ1,… ,δm)T, 设 这就是一般的最小二乘逼近，用几何语言说，就称为曲线拟合的最小二乘法. 这里 注：用最小二乘法求拟合曲线时，首先要确定S(x)的形式. 这不是单纯的数学问题，还要与所研究问题的运动规律及所得观测数据(xi, yi) 有关；通常要从问题的运动规律及所给定数据描图，确定S(x)的形式并通过实际计算选出较好的结果. 为了使问题的提法更有一般性，通常在最小二乘法中误差平方和都考虑加权平方和 这里ω(x) ≥0是[a, b]上的权函数，它表示不同点(xi, f(xi))处的数据比重不同. 用最小二乘法求拟合曲线的问题,就是在形如(2)的 S(x)中求一函数y=S*(x)，使加权平方和 取得最小. 它转化为求多元函数 的极小点 问题. 由求多元函数极值的必要条件,有 若记 上式可改为 这方程称为法方程,可写成矩阵形式 其中 如果法方程(6)的系数矩阵(7)非奇异，则法方程(6)存在唯一的解 从而得到函数f(x)的最小二乘解为 要使法方程(6)有唯一解 ，就要求矩阵G 非奇异. 可以证明这样得到的S*(x) ，对任何形如(2)式的S(x) ,都有 即S*(x)必为所求的最小二乘解. 给定f(x)的离散数据 ，要确定集合 是困难的，所以一般取 即 就得到最小二乘拟合多项式. 使其满足 这样的曲线拟合叫多项式拟合. 满足上式的Pn(x) 叫最小二乘拟合多项式. 特别地, 当n=1时,一次多项式拟合又叫直线拟合. 即：对给定的一组数据(xi,yi)(i=0,1,…,m), 求次数不超过n的多项式 对法方程 取ω(x)=1，而 其法方程为 此时矩阵为 得到法方程(正规方程)矩阵具体形式为(P196): 解 作散点图如右， 从右图可以看出这些点接近一条抛物线，因此设所求公式为 x 0 1 2 3 4 5 y 5 2 1 1 2 3 例1. 已知一组观测数据如表所示，试用最小二乘法求一个多项式拟合这组数据。 代入法方程 代入数据得 解之可得 故所求拟合多项式为 解 根据所给数据，在坐标纸上标出各点，见图. 从图中看到各点在一条直线附近，故可选择线性函数做拟合曲线，即令 例2. 已知一组实验数据如下，求它的拟合曲线. xi 1 2 3 4 5 fi 4 4.5 6 8 8.5 ωi 2 1 3 1 1 2 4 2 6 8 6 4 解得a0=2.77,a1=1.13. 于是所求拟合曲线为 得法方程 注：对最小二乘拟合多项式当n≥3时，求解法方程与连续情形一样，将出现系数矩阵G为病态的问题，通常对n=1的简单情形都可通过求法方程得到S*(x).有时根据给定数据图形，其拟合函数y=S(x)表面上不是线性的形式，但通过变换仍可化为线性模型.例如 若两边取对数得 它就是一个线性模型，具体做法见下例. 例3. 设数据(xi, yi)(i=0,1,2,3,4)由下表给出，表中第4行为lnyi=zi，可以看出数学模型为y=aebx，试用最小二乘法确定a及b. i 0 1 2 3 4 xi 1.00 1.25 1.50 1.75 2.00 yi 5.10 5.79 6.53 7.45 8.46 zi 1.629 1.756 1.876 2.008 2.135 解 根据给定数据(xi, yi)(i=0,1,2,3,4)描图可确定拟合曲线方程为y=aebx，它不是线性形式. 上页 下页