SVD(奇异值)算法其评估解剖.doc

  1. 1、本文档共44页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
SVD(奇异值分解)算法及其评估 本文第一部分对SVD进行了简单的介绍,给出了定义和奇异值分解定理;第二部分简要地列举了SVD的应用;第三部分则构造和分析了各种求解SVD的算法,特别对传统QR迭代算法和零位移QR迭代算法进行了详细完整的分析;第四部分给出了复矩阵时的处理办法;第五部分是对各种算法的一个简要的总结。 SVD简介 定义1.1 设,的特征值的非负平方根称作的奇异值;的奇异值的全体记作[1]。 当为复矩阵时,只需将改为,定义1.1仍然成立。 定理1.1(奇异值分解定理) 设,则必存在正交矩阵 和 使得 , (1.1) 其中[2]。 当为复矩阵时,只需将定理中改为酉矩阵,其它不变,定理1.2仍然成立[1]。 称分解式(1.1)为矩阵的奇异值分解,通常简称为SVD。是的奇异值,向量和分别是第个左奇异向量和第个右奇异向量。 从的奇异值分解,我们可以得到的一些非常有用的信息,下面的推论就列举其中几条最基本的结论[1]: 推论1.2 设,则 (1) 的非零奇异值的个数就等于 ; (2) 是(零空间)的一组标准正交基; (3) 是(值域)的一组标准正交基; (4) 称为的满秩奇异值分解; 其中,分别指得是的零空间和值域。 为了方便,我们采用如下表示奇异值的记号: 的第大奇异值; 的最大奇异值; 的最小奇异值。 现在来考察矩阵奇异值的几何意义[1,2],不妨设,此时有 是一个超椭球面,它的个半轴长正好是的个奇异值,这些轴所在的直线正好是的左奇异向量所在的直线,它们分别是对应的右奇异向量所在直线的象: 一般地我们假设,(对于的情况,我们可以先对转置,然后进行奇异值分解,最后对所求得的SVD分解式进行转置就可以得到原式SVD分解式),此时我们对(1.1)进行化简将表示为: (1.2) 则可以得到更加细腻的SVD分解式[2,3]: (1.3) 其中具有列维正交向量, 和(1.1)式中的定义相同;,并且为矩阵的奇异值。 SVD应用 在现代科学计算中SVD具有广泛的应用,在已经比较成熟的软件包LINPACK中列举的应用有以下几点[3]: 确定矩阵的秩(rank) 假设矩阵的秩为,那么的奇异值满足如下式子 ; 反之,如果,且,那么矩阵的秩为,这样奇异值分解就可以被用来确定矩阵的秩了。 事实的计算中我们几乎不可能计算得到奇异值正好等于0,所以我们还要确定什么时候计算得到的奇异值足够接近于0,以致可以忽略而近似为0。关于这个问题,不同的算法有不同的判断标准,将在给出各种算法的时候详细说明。 确定投影算子 假设矩阵的秩为,那么我们可以将(1.3)式中的划分为以下的形式 其中为的矩阵,并且的列向量构成了矩阵的列空间的正交向量基。 容易得到为投影到矩阵的列空间上的正交投影算子;而则是到矩阵列空间的正交补空间上的投影。 同理如果将划分为以下的形式 其中为的矩阵,则的列向量构成矩阵的行空间的正交向量基。且为投影到矩阵的行空间上的正交投影算子;而则是到矩阵行空间的正交补空间上的投影。 最小二乘法问题(LS 问题) 促进人们研究SVD并且应用SVD比较早的应该是最小二乘法问题了,在前一份关于QR分解的报告已经对LS问题进行了一些介绍,这里继续讨论SVD在LS问题中的应用。 LS问题即相当于,设,求使得 (2.1) 假设已知矩阵有式子(1.1)得到的SVD分解式为,和分别为阶正交方阵,而为和具有相同维数的对角矩阵,那么我们可以得到[4]: 其中,。 因为是一正交矩阵,所以,从而把原最小二乘法问题化为求使最小的这一最小二乘法问题,因为为对角矩阵,所以使得新的这一最小二乘法问题简单的多,接着将对此仔细分析[4]。 假设矩阵的秩为,则有: , 可知使得达到它的最小长度,并且可见当时,上面的这一长度为0,也就是当矩阵的列张成空间时最小二乘法问题可以无误差地求解。而当时,可以任意取,而不影响的长度。 我们将对转置并且对非零的对角元素求逆所得到的矩阵定义为,那么的前个元素将等于,并且其余的元素为0。并且由,,容易得到: 由此得到的是LS问题的最小范数解。 而文献[3]中还给出了一般通解的形式如下: 其中如前定义,而是任意的维向量。 广义逆问题(pseudo-inverse) 记,从(2.3)式我们可以看出,最小二乘法的解为,和一般的线性方程组的解为相类似,所以我们当我们已知矩阵的奇异值分解后可以定义的广义逆为。 条件数 如果已知矩阵的秩为,那么在式子(2.3)中,解随着矩阵的扰

文档评论(0)

妈妈王子 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档