计算方法第五章最小二乘逼近讲述.ppt

作 业 P216 2(a), 5 * 最 佳 逼 近 第 五 章 §1. 离散最小二乘逼近 例5.1.1 考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录: 科学试验、统计分析获得大量数据。 试确定因变量 y与自变量 x之间的近似表达式。 已知一组数据 (xi, yi), yi = f (xi)，i = 1,2,…, m。 方法一：插值 方法二：曲线拟合 或记 Q =(φ(x1) , φ(x2) ,…,φ(xm) ), Y = (y1, y2,…,ym), 则有 Q = Y. 构造插值函数φ(x) 来逼近 f (x), 则有 φ(xi) = f (xi) = yi, i = 1,2,…, m。 如果数据不能同时满足某个特定函数，而要求所求的逼近函数“最优地”靠近数据点，即向量Q与Y 的误差或距离最小。按 Q 与Y 的误差最小原则作为最优标准所构造出的函数，我们称为拟合函数。 拟合和插值都可构造逼近函数 当数据量特别大时一般不用插值法。这是因为数据量很大时所求插值曲线中的未知参数就很多，而且数据量很大时，多项式插值会出现高次插值（效果不理想）或分段低次插值（精度不高）；另外，测量数据本身往往就有误差，所以，使插值曲线刻意经过这些点也没有必要。 而曲线拟合首先根据物理规律或描点画草图确定一条用来拟合的函数曲线形式，也可选择低次多项式形式（所含参数比较少），然后按最小二乘法求出该曲线，它未必经过所有已知点，但它能反映出数据的基本趋势，且误差最小，效果比较好。 纤维强度随拉伸倍数增加而增加 并且24个点大致分 布在一条直线附近 从一组试验数据中 寻找自变量 x 与因 变量 y之间的函数关系 y=F(x). 必须找到一种度量标准来衡量什么曲线最接近所有数据点！ 常见做法有： 在回归分析中称为残差 称为最小 二乘逼近 太复杂 不可导，求解困难 确定拟合曲线的方法： 例5.1.2 在多个景点之间修一条主干道。 已知景点(xi, yi), i=1,2,…, m. 设 φ(x) = a +b x, 求 a，b 使残差的平方和达到最小。记δi = φ(xi)–yi， （1）选择曲线类型； （2）若曲线类型难以确定，画散点图； （3）用多种曲线类型拟合，选择最小二乘法意义下误差最  小的拟合曲线。 参数 a 和 b 必须满足一阶必要条件： 若取 F(x)=a +b x，此时最小二乘逼近称为最小二乘拟合直线 一、最小二乘拟合直线 记 要使 即 化简得 称为正规方程组或法方程组 或 解之得 记 则可得 例5.1.3 给出21组数据，用线性函数拟合鱼的种类和鱼的数量的关系，m = 21。 解 设 p(x) = a + b x, 经计算： 法方程组： 二、一般最小二乘拟合多项式 对于离散数据: (xk, yk), k=1,2,…,m, 用 n (nm) 次多项式来拟合曲线。设多项式 的系数是下述极小值问题的解： 一阶必要条件： 直接计算易得 故 或 称为正规方程组。可表示为 例5.1.4 用二次多项式函数拟合如下数据: -5 -2 -1 0 3 2 4 yi 3 2 1 0 -1 -2 -3 xi 解 设 p(x) = a0 + a1x + a2 x2, 形成正规方程组： m =7. 约定 直接计算有： 定义5.1.1 三、一般最小二乘拟合问题 例如： 一般地， 为定义在X上的广义多项式，记为 定义残差的平方和： 最小二乘问题为：求解极小值问题 加权最小二乘拟合问题 各点的重要性可能是不一样的 重度: 即权重或者密度，统称为权系数 定义加权残差的平方和为 最小二乘问题可推广如下： 由多元函数取极值的必要条件 得 即 即 引入记号 并定义内积： 正规方程组 正规方程组便可化为： 将其表示成矩阵形式 根据Cramer法则，法方程组有唯一解： 因此 作为一种简单的情况： 基函数之间的内积为 法方程组为： 例5.1.5 回到本节开始的实例，从散点图可以看出 纤维强度和拉伸倍数之间近似与线性关系 故可选取线性函数 为拟合函数，其基函数为 建立法方程组： 根据内积公式，可得 法方程组为： 解得 残差的平方和为 拟合曲线与散点 的关系如右图: