[数学]曲线拟合与线性最小二乘问题.ppt

Step1 令 计算 的第一列 计算 的第一列 Step2 用 左乘（*）式的第二式两端得 计算 的第二列 再由（*）式的第二式，令 计算 的第二列 Step 的计算公式： 单位正交向量 是列正交矩阵 简称GS方法 缺陷： 是由 的各列反复线性 组合得到的，由 于舍入误差的影 响，可能会导致 产生的单位正交 向量有大的偏差 二、改进的Gram-Schmidt正交化方法： 简称MGS方法 Step1 令 记 用 左乘（*）式的第2式至第n式两端得 计算 的第一行 令 则（*）式的第2式至第n式化为 此时注意到 下面利用同样的方法 计算 的第二行元素 记 Step2 令 用 左乘（*）式的第3式至第n式两端得 计算 的第二行 令 记 Step 令 用 左乘（*）式的第k+1式至第n式两端得 计算 的第k行 令 经过r步后得到 正交 分解 特别，若 ，则 为上三角阵， 记 ，则 称上述分解为 的正交三角分解或 分解 ?MGS算法： 记 For k=1,2, …,r For j=k+1,2,…,n 输出 和 注：?MGS算法实现 的前 列线 ?若 ， 则存在排列阵 ，使 线性无关；从而得到 的条件： 性无关； 得 的前 列线性 正交分解 例3：用MGS方法求下列 矩阵的正交分解 解: Step1 注意到矩阵的秩为2, 且前2列线性无关. Step2 ?上述情况下极小最小二乘解的求法： 设我们已经完成正交分解： 其中 是列正交矩阵， 是上梯形矩阵 方程组 的极小最小二乘解可表示为： 为了避免求逆，先计算 令 ， 则转化为求解下列方程组： 可采用G-S法或平方根法求解 特殊情形： 的秩为n 例4：用MGS方法求下列 方程组的极小最小二乘解. 解: 三、正交分解和线性方程组的最小二乘解 记 ，且存在排列阵 ，使得 利用前述正交化方法对下梯形矩阵 作正交三角分解： 其中 是列正交阵， 是下三角矩阵。 分解方法可以按照前述 正交化方法从 的最 后一列倒着进行。 令 设 ，且 ，则总 存在分解 或 ， 为正交阵， 且 ， 为上三角阵。 ，其中 证明： 由前面讨论知： 将 扩充为 阶正交矩阵： 将 扩充为 阶正交矩阵： 其中 ， 是正交矩阵 定理7.3.1说明：秩为r的矩阵可分解为上述形式 设 ，且 ，且 矩阵的正交分解为 ， 为正交阵， 且 ， 为可逆上三角阵。 ，其中: 令 其中 、 分别为 和 维向量 则有下列结论： ?方程组 的最小二乘解的 一般表达式可表示为 其中 为方程组 的唯一解； 为任意的 维实向量。 ?对一切 ，剩余向量为 且 ?方程组 的极小最小二乘解为 定理7.9中的?给出了极小最小二乘解的一种求法 证明： ? 令 其中 、 分别为 和 维向量 时 为最小二乘解 ? 设 是方程组的任一最小二乘解 ? ?一般情况下极小最小二乘解的求法： 将 和 分别扩充为 和