奇异线性系统的正则化奇.doc

奇异线性系统的正则化 摘要 ： 奇异线性系统在应用方面很广泛，例如，可以解决积分方程问题和非线性规划问题的求解问题。在线性代数中有很多应用，例如找到一个很好的近似量x’其中x∈Rn,其满足一个近似方程AX≈B，其中A满足的条件，给出的b∈Rm。直接用由电脑解出的x’来逼近x是没有意义的，因为b的右边界的错误和此条件对于矩阵A的限制。为了避免这一问题，通常的一种做法是用一个对于b的误差不敏感的近似系统来取代线性方程组Ax=b，，，，并且由后一系统经过电脑所得到的解是对x的近似。这一替代被称为正则化。本文探讨了各种为奇异线性系统计算出稳定解的正则化方法。 目录 1.简介 1.1线性系统的基本概念 1.2向量和矩阵的范数 2奇异线性系统 2.1奇异线性系统的定义 2.2矩阵A的条件数 2.3检测一个线性系统的解的精确性 2.4经典的奇异系统 2.4.1多项式数据拟合：范德蒙系统 2.4.2 2.4.2一个多项式函数的近似：希尔伯特系统 3线性系统的最小二乘解 3.1奇异值分解 3.2用奇异值分解解决线性系统 3.2.1奇异值分解和线性系统的稳定性 3.3数值秩 4正则化方法 4.1秩的定义和不适定问题 4.2正则化方法 4.2.1吉洪诺夫方法 4.2.2截断奇异值分解（TSVD） 5结论 一个截断奇异值分解（TSVD） 参考文献 1.简介 我们将开始研究奇异线性系统的一些线性代数的基本概念。 1.11.1.1线性系统的基本概念 一个线性系统方程的形式如下：AX＝B，其中A是一个已知的M×n维的coefficient矩阵，形式如下：A是m×n的矩阵，b是m维的向量，形式如下：，x是n维的未知向量，形式如下：， 线性方程组有很多应用，包括以下内容： 用牛顿迭代法求解非线性方程组。 b.b.2.Curve拟合或多项式插值曲线。 c.3.用有限差分法求解微分方程的数值解 d.在有限区间[0,1]上用多项式逼近连续函数，其实是解决一个线性系统Ax=b，其中A是一个希尔伯特矩阵。 对于任何给定的线性系统的增广矩阵给出如下形式： 定理1.1. 考虑系统的AX＝B，其中A是coe?cient矩阵，以及增光矩阵[A|b],大小为M×（N+1）。接下来，建立线性系统： AX＝B是不连续的（即，没有解存在）当且仅当等级A的秩[A\b]的秩。 2.AX＝B有一个特解，当且仅当A的秩=[A|b]的秩=n 3.AX＝B有许多解当且仅当A的秩=[A|b]的秩＜n 1.2向量和矩阵的范数 定义1.2.（向量）向量的范数是一个函数V→R，其满足如下三个条件： 1。，对于任何非零向量X 2。， 3。，对于任何向量X和Y 以下是向量范数三个规则(和我们已经学过的一样)： 然后举例说明这三个范数怎么算。 2.奇异线性系统 本章致力于研究奇异线性系统Ax=b。我们将展示对于此增光矩阵的微小改变，其是如何影响用奇异系统或是我们已经定义的系统通过电脑计算出的解的。奇异线性系统的一些经典应用也同样会提到。因为对于奇异线性系统许多的探讨需要奇异值分解的知识（SVD），因此我们将讨论这个方法并且将展示如何使用它来解决线性系统。 2.1奇异线性系统的定义 线性系统Ax=b是奇异的，如果此增光矩阵的秩变化的很小而导致了解有很大的变化。如果系统AX=B是奇异的，那么计算机解出的Ax=b的解通常是不精确的。换言之，如果此增光矩阵的秩变化的很小而导致了解有很的变化，那么这一系统称为稳定的。这种情况下用电脑计算出的解更精确。（举了两个例子） 2.2矩阵A的条件数 这一条件数是衡量A是如何稳定的接近一个奇异矩阵的。 定义2.3。（条件数）A是n×n的矩阵，则条件数是这样定义的，condA，然后举例。若这一结果接近1，则是正常的条件，否则称为奇异的。若这一条件数很大，即使b的一个很小的误差也会引起解的很大的误差，否则不会出现这种情况。 例2.4 2.3检测线性系统的解的精确性 一旦系统AX＝B的解已被计算出，这就自然的可以检测其是否准确。如果x的精确解已知，那么可以计算计算出的解与精确解之间的相对误差。然而，在大多数实际应用中，精确解是未知的。在这种情况下，最准确的是计算残差R=B?Ax。并且看相对残余有多小。不幸的是，一个相对较小的残余并不能保证解的精度。下面的例子说明了这一事实。 2.4经典的奇异系统 奇异线性系统中出现在应用数学中的很多。下面我们举一些例子 2.4.1多项式数据拟合：范德蒙系统 2.4.222.4.2由一个多项式近似函数：希尔伯特系统 定义2.8(希尔伯特矩阵)。H是n×n的，其中元素。 3。线性系统的最小二乘解 在实际情况下，我们需要解决一个线性方程组Ax=b，其中A是方阵或是奇异的。是方和/或奇异。在这种情况下，解可能根本不存在，若是存在，则可能有很多解。例如