3.3,3.4最小二乘法.ppt

华长生制作 四、用正交多项式作最小二乘拟合 即 正交多项式如何选取呢 -----(14) 使得 * 3.3最佳平方逼近 3.4曲线拟合的最小二乘方法 实例：考察某种纤维的强度与其拉伸倍数的关系,下表 是实际测定的24个纤维样品的强度与相应的拉伸倍数 是记录: 纤维强度随拉伸 倍数增加而增加 并且24个点大致分 布在一条直线附近 ---------(1) 必须找到一种度量标准来衡量什么曲线最接近所有数据点 一、最小二乘法的基本概念 一般使用 在回归分析中称为残差 称为平方误差 在回归分析中称为残差平方和 从而确定(1)中的待定系数 注意(1)式是一条直线 因此将问题一般化 仍然定义平方误差 我们选取的度量标准是 ---------(2) ---------(3) 二、法方程组 由 可知 因此可假设 因此求最小二乘解转化为 二次函数 由多元函数取极值的必要条件 得 即 ---------(4) 即 引入记号 定义内积 ---------(5) ---------(6) 由于内积满足交换律 方程组(4)便可化为 ---------(7) 将其表示成矩阵形式 -----(8) 并且其系数矩阵是离散Gram矩阵 所以法方程组的系数矩阵非奇异,即 根据Cramer法则,法方程组有唯一解 即 是 的最小值 所以 因此 基函数之间的内积为 平方逼近误差 例1. 回到本节开始的实例，从散点图可以看出 纤维强度和拉伸倍数之间近似与线性关系 故可选取线性函数 为拟合函数，其基函数为 建立法方程组 根据内积公式，可得 法方程组为 解得 平方误差为 拟合曲线与散点 的关系如右图: 例2. 求拟合下列数据的最小二乘解 x=.24 .65 .95 1.24 1.73 2.01 2.23 2.52 2.77 2.99 y=.23 -.26 -1.10 -.45 .27 .10 -.29 .24.56 1 解: 从数据的散点图可以看出 因此假设拟合函数与基函数分别为 6.7941 -5.3475 63.2589 -5.3475 5.1084 -49.0086 63.2589 -49.0086 1002.5 1.6163 -2.3827 26.7728 通过计算,得法方程组的系数矩阵及常数项矩阵为 Go! Go! 解得 -1.0410 -1.2613 0.030735 拟合的平方误差为 图象如图 例3. 在某化学反应里,测得生成物浓度y%与时间t的 数据如下，试建立y关于t的经验公式 t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16 y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00, 10.20,10.32,10.42,10.50,10.55,10.58,10.60 解: 具有图示的图形的曲线很多，本题特提供两种形式 两边取对数,得 得 即为拟合函数 基函数为 解法方程组得 平方误差为 用最小二乘法得 即 无论从图形还是从平方误差考虑 在本例中指数函数拟合比双曲线拟合要好 平方误差为 三、加权最小二乘法 各点的重要性可能是不一样的 重度: 即权重或者密度，统称为权系数 定义加权 平方误差为 -----(9) 使得 由多元函数取极值的必要条件 得 即 同样引入记号 定义加权内积 -----(10) 矩阵形式(法方程组)为 方程组(10)式化为 -----(11) ---(12) 平方误差为 作为特殊情形,用多项式作拟合函数的法方程组为 -----(13) * * * * *