- 1、本文档共28页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
最小二乘问题研究
编号:( )字 号
本科生毕业论文
题目: 最小二乘问题的研究
姓名: 孙建强 学号:
班级: 数学与应用数学10-2
二〇一四年六月
一、最小二乘问题的提出 2
二、最小二乘问题与正交投影 2
三、最小二乘问题与正交三角分解 5
四、最小二乘问题与广义逆矩阵 17
五、最小二乘问题的应用 24
1、最小二乘问题的提出
1.1、最小二乘问题的由来
意大利的天文学家朱·匹亚发现了一颗小行星利用最小二乘法可以简便地求得未知的,并使得这些求得的与实际之间误差的平方和最小。最小二乘法还可用。其他一些优化问题也可通过最或最大化熵用最小二乘法来表达。 (1.1)
其中,,而为待定向量。如果存在向量使得方程(1.1)成立,则称方程组相容,否则称为不相容或者矛盾方程组。
如果方程组(1.1)不相容,则不存在通常意义下的解。这时需要求其近似解,使得对欧几里得范数,误差达到最小。
设,,如果存在,使得
,,
则称是方程组的一个最小二乘解。
对于不相容方程组,其中,,通常情况下,为得到回归参数的精确解,样本量通常会大于参数个数,并且由于观测数据是一定区间内的随机变量,的列向量相关的概率是极小的,所以本论文仅考虑的列向量线性无关的情况。
2、最小二乘问题与正交投影
2.1、投影与正交投影
首先介绍投影与正交投影的概念。
设和都是的子空间,且。则任意都可唯一分解为
称为沿着到的投影。
定义2.1 将任意变为沿着到的投影的变换称为沿着到的投影算子,记为,即
。
定义2.2 投影算子在的基下的矩阵称为投影矩阵,记为。
投影矩阵可按如下方法求得:
假定,则。在子空间和中分别取定基底
,
这两组基底联合起来便构成的基底。根据投影矩阵的性质有
(2.1)
作分块矩阵
从而式(2.1)等价于
由于是n阶可逆矩阵,因此投影矩阵为
(2.2)
定义2.3 设是的子空间,则称沿着到的投影算子为正交算子,简记为。正交投影算子在的基下的矩阵称为“正交投影矩阵”,记为。
设,则。取为的基,又设为的基,作分块矩阵
,
显然.
由(2.2)知
(2.3)
我们可以通过将因变量观察列向量()正交投影与资料矩阵()生成的线性空间得到其“投影向量”,再将因变量观察列向量与投影向量作差,就得到误差列向量。这一过程中会用到投影矩阵,而投影矩阵具有良好的性质,我们可以借助这一性质将问题简化。
设为不相容方程组,其中,。设的个列向量分别为,由上知线性无关。设由生成的线性空间为,为的正交补子空间。设
,其中。
有上面分析知,
若是的最小二乘解,则满足
,
,
由于,而,所以
,所以要使
达到最小等价于使达到最小,即
将上式两边同时左乘以,得,由于的列向量线性无关,所以可逆,所以是的最小二乘解。
下面通过一个例题来应用时下上面的结论。
例2.1 求出下列已知数据点之最小平方抛物线
。
解 令最小平方抛物线方程为,由题知
,,
,,
,所以。
三、最小二乘问题于矩阵的正交三角分解
由于最小二乘问题中矛盾方程组涉及到的矩阵通常满足,并且的个列向量通常是线性无关的,所以本段所讨论的矩阵满足这些条件。
定义3.1 如果实(复)列向量线性无关的矩阵能够化成满足()的实(复)矩阵与实(复)非奇异上三角矩阵的乘积,即
(3.1)
则称(3.1)为的分解。
下面介绍三种求的分解的方法,他们分别是Schmidt正交化方法、Givens变换法(初等旋转变换法)和Householder变换法(初等反射变换法)。
定理3.1 设是阶实(复)列向量线性无关的矩阵,则存在满足()的实(复)矩阵和实(复)非奇异上三角矩阵,使有分解(3.1)。
证明 记矩阵的个列向量依次为。将它们按Schmidt正交化方法正交化。
其中,将上式改写成为
用矩阵表示为
其中,,
在对单位化得
于是有
令
文档评论(0)