7-4 最小二乘法.ppt

线性代数教学课件 第四节 向量到子空间的距离 ? 最小二乘法 * 在欧氏空间中可以引入向量间的距离概念。 定义 8 长度|???|称为向量?和?的距离，记为d(?, ?). 不难证明距离的三条基本性质： （1） d(?, ?) = d(?, ?)； （2） d(?, ?) ? 0 当且仅当? = ? 时等号成立。 （3） d(?, ?) ? d(?, ?) + d(?, ?) 在中学几何中学过一个点到一个平面（或一条直线）上所有点的距离以垂线为最短，下面可以证明一个固定向量和一个子空间中各向量间的距离也以“垂线最短”。 先设一个子空间W, 它是由向量 ?1, ?2, …, ?k所生成，即W=L(?1, ?2, …, ?k). 说一个向量?垂直于子空间W，就是指向量?垂直于 W 中任意一个向量。现给定?，设?是 W中的向量，满足 ? ? ?垂直于 W，则对W中任意向量?，有 | ? ? ?|?| ? ? ? | 证明 ? ? ? = （? ? ?）+ （ ? ? ? ） 因 W 是子空间， ? ? W ， ? ? W ，则? ? ? ? W ，故? ? ?垂直于? ? ?。 ? ? ? W 由勾股定理 |? ? ?|2+ |? ? ? |2= |? ? ? |2 故 | ? ? ?|?| ? ? ? | 这个几何事实可以用来解决一些实际问题。 其中的一个应用就是解决最小二乘法问题。 最小二乘法问题：线性方程组 可能无解，即任何一组数x1, x2, …, xs都能使 不等于0。我们设法找 x10, x20, …, xs0使（2）最小，称为方程组（1）的最小二乘解。这种问题就叫最小二乘问题。 （1） （2） 令 （3） 用距离的概念，（2）就是 | y?B|2。 由（3） 把A的各列向量分别记为 ?1, ?2, …, ?s，由它们生成的子空间为L(?1, ?2, …, ?s )，y 就是其中的向量。 于是，找 x 使（2）最小，就是在L(?1, ?2, …, ?s )中找到一个向量 y, 使得 B 到它的距离比到该子空间中其他向量的距离都短。 设 是所求向量，则 必须垂直于子空间L(?1, ?2, …, ?s )，从而有 即 而 刚好排成矩阵AT，于是有 或 这就是最小二乘解所满足的代数方程，它是一个线性方程组。 例1 设有一组实验数据: (1, 2), (2, 3), (3, 5), (4, 7)。从数据点的趋势看接近直线，实验者希望使直线y = a + bx 最好的拟合数据点，求最佳拟合直线。 解 把数据代入y = a + bx 得 记作 *