数值代数第3章第1节.pptVIP

最小二乘问题的分类 m=n: （1a）rank(A)=m=n, (1b) rank(A)=km=n; mn: （2a）rank(A)=nm, (2b) rank(A)=knm; mn: （3a）rank(A)=mn; (3b) rank(A)=kmn. 几个特殊的子空间 A的值域-R(A) A的零空间-N(A) 一个子空间的正交补空间 最小二乘问题的解集合?LS rank(A)=n,如何求最小二乘解 此时法方程为对称正定线性方程组。 如何解法方程？--Cholesky分解 解的表达式 矩阵的叉积运算潜在的危害。 最小二乘问题的敏度分析 * * 第三章 最小二乘问题的解法 §3.1 最小二乘问题 问题的来历 需要解决的问题 最小二乘问题的提法 何谓（非）线性最小二乘问题？ 为什么选择2-范数？ 如何描述一个空间？ --空间（集合）的构造 --空间的维数、基、坐标… 如果A是n阶方阵，Ax=b 有唯一解的充要条件是…… 如果A是一般矩阵，Ax=b有解的充要条件R(A)=R(A,b). 通解的表达式？何时有唯一解？ 现在的问题：最小二乘解的存在唯一性 (1) 几何意义 (2) 最小二乘问题的另一种表示 最小二乘解的存在唯一性 定理3.1.3 线性最小二乘问题的解总是存在的，其解唯一的充要条件是null(A)=0. （此时意味着A的列线性无关）。 该集合性质：非空 要么集合中有无穷多个元素(rank(A)n）; 要么集合中仅有一个元素(rank(A)=n） ，记为xLS, 一个新的符号： 加号逆 使用加号逆，最小二乘问题的解 考虑向量b的扰动对最小二乘解的影响 问题的提法为 Moore-Penrose广义逆的一般定义： 若满足 记为。 注 （1）任意矩阵均有加号逆； （2）当矩阵可逆时，加号逆为…… （3）当矩阵A是列满秩时，加号逆的表达式为…… 已知 m个点对； 基函数， 确定常数，使得函数 具有某种最优性。 最小二乘问题的解又称为线性方程组 的最小二乘解，即 在残向量的2范数最小的意义下满足方程组 定理3.1.2假定方程组方程组的解存在，并假定是其任意给定的解，则该线性方程组的全部解的集合是 推论3.1.1假定方程组方程组的有解，则解唯一的充分必要条件是 定理3.1.4 . -Moore-Penrose广义逆。 的解分别为 则 =？ 定理3.1.5 设和分别是和在R(A)上的正交投影。若， 则 ， 其中。 定义3.1.1 给定矩阵及向量，确定使得 该问题称为最小二乘问题。 （1）基函数的选取？ （2）如何刻画最优性。