§8.6最小二乘法.docVIP

高等代数拓展内容之十一 最小二乘法 这里我们介绍欧氏空间的一个应用——最小二乘法问题, 这将使线性方程组的理论更加完美. 设实系数线性方程组 (1) 无解, 即不论x1, x2, …, xs取哪一组实数值，s元实函数 (2) 的值都不等于零. 我们设法找c1, c2, …, cs, 使当x1＝c1, x2＝c2, …, xs＝cs时，(2)式的值最小, 这样的c1, c2, …, cs称为方程组(1)的最小二乘解. 这种问题就叫做最小二乘法问题. 为了解决最小二乘法问题, 我们需要讨论向量到子空间的距离这一问题. 在解析几何中, 我们学过一个点到一个平面（或一条直线）上所有点的距离以垂线为最短. 下面我们证明欧氏空间中一个向量与某个子空间中各向量的距离也以“垂线”为最短. 设W是欧氏空间V的一个子空间, 它是由向量(1, (2, …, (s生成的, 即W＝L ((1, (2, …, (s). 易知(正交于W的充分必要条件是(正交于每个(i (i＝1, 2, …, s). 定理8.6.1 设W是有限维欧氏空间V的一个子空间, (是V中一个向量, 再设(是W中一个向量, 使(－(正交于W. 则对W中任一向量( ，都有 (. （参考下面在V3中的示意图） 证 先把(－(分解成两个向量的和 (－(＝((－()＋((－(). 因为W是一个子空间, 所以由( ( W, ( ( W知, (－( ( W. 由于(－(正交于W, 所以(－(正交于(－(, 由定理8.1.2(ii)得 |(－( | 2＝|(－( | 2＋| (－( | 2. 因此 |(－( | ( |(－( | . □ 由于(可表成 (＝(＋((－(). 其中((W, (－( (W(, 因此(就是(在子空间W上的内射影. 由此可知, 一个向量(到子空间W中各向量间的距离以(到(在W上的内射影(之间的距离最短. 现在利用这个事实讨论最小二乘法, 并且给出最小二乘解满足的代数条件. 令A＝(aij)n×s，X＝(x1, x2, …, xs)T, B＝(b1, b2, …, bn)T, 则线性方程组(1)可写成 AX＝B. 再令A的列向量依次为(1, (2, …, (s，并设W＝L ((1, (2, …, (s)，显然W是Rn的子空间，B(Rn. B到W中的向量k1(1＋k2(2＋…＋ks(s间的距离的平方为|B－(k1(1＋k2(2＋…＋ks(s)| 2，它就是当x1＝k1, x2＝k2, …, xs＝ks时，(2)的值. 最小二乘法问题就是要找实数c1, c2, …, cs，使B与c1(1＋c2(2＋…＋cs(s间的距离比B与W中其它向量间的距离都短. 这意味着c1(1＋c2(2＋…＋cs(s是B在W上的内射影，即 B－(c1(1＋c2(2＋…＋cs(s)(W. 亦即 (B－(c1(1＋c2(2＋…＋cs(s), (i(＝0，i＝1, 2, …, s. 令C＝(c1, c2, …, cs)T，上式等价于 (B－AC, (i(＝0，i＝1, 2, …, s. 根据内积的性质，有 (B, (i(＝( AC, (i(，i＝1, 2, …, s. 即 (iTB＝(iTAC, i＝1, 2, …, s. 上式又等价于 ATB＝ATAC 也就是说，C是线性方程组 ATAX＝ATB (3) 的解向量. 反之，当(c1, c2, …, cs)是线性方程组(3)的（实）解向量时，上述过程倒推回去，可知B与c1(1＋c2(2＋…＋cs(s间的距离比B与W中其它向量间的距离都短，亦即当x1＝c1, x2＝c2, …, xs＝cs时，(2)取得最小值. 因此(3)就是最小二乘解所满足的线性方程组, 它的系数矩阵是ATA, 常数项是ATB. 例1 求下列方程组的最小二乘解 令 A＝, B＝. 则原方程组可表为 AX＝B. 因为 ATA＝, ATB＝. 解线性方程组 得x1＝0.24, x2＝－0.55. 故原方程组的最小二乘解为：x1＝0.24, x2＝－0.55. ( ( ( W O ((( ((( (((