超定方程及伪逆(很好).docxVIP

我们知道，对于一个超定（overdetermined）方程Ax==b（A的行数大于列数），其符合最小平方误差的解可以写成x==(ATA)-1ATb。其中(ATA)-1AT被称为伪逆（pseudoinverse）。伪逆是怎么来的，通过一顿推导，应用了向量求导方法，等等，最终得到的结果。但是其中包含了怎样的几何意义呢？我试着想了一下。为了方便描述，还是以司空见惯的3D空间为例。假设有一个超定方程Ax==b，其中A为3行2列（且列满秩），b为3个元素的列向量，x为两个元素的列向量。这样一个方程代表了怎样的一个几何问题呢？如果将A的两个列向量视为3D空间中的两个列向量，则Ax代表了对A的两个列向量进行线性组合，得到一个新的3D空间中的向量，而线性组合时两个列向量的系数，就是x的两个元素。方程Ax==b则要求，对A的两个列向量进行线性组合得到的新向量Ax，应该等于向量b。这里问题就来了，A的每个列向量都是3D向量，而A有两个这样的方向不同（列满秩）的3D向量，两个这样的3D向量的任意组合最终构成3D空间中的一个平面，我们称这个平面为α，也就是说Ax必然在平面α内，但是b却不一定在α内。如果b不在α内，?x: Ax≠b。这就是超定方程可能无解的原因，当然，如果b在平面α内，则此时方程也是有严格的解的。既然方程可能跟不无解，那么用伪逆求出来的解到底是什么呢？我们首先对矩阵A做奇异值分解（singular value decomposition）：[UA, SA, VA] = svd(A);即A==UASAVAT。根据奇异值分解的性质，UA是正交矩阵，即有UAUAT==UATUA==E（E为单位阵）。再根据奇异值分解的性质，如果矩阵A的秩为r，则UA的前r个列向量构成A的列向量张成的子空间的正交基，UA的后面剩下的列向量构成null(AT)（AT零空间）的正交基。此时A为3行2列，且列满秩，所以rank(A)==2，UA的前2个列向量构成平面α的正交基，UA的最后一个列向量为平面α的法向量，如果用Ao表示UA的前2个列向量拼成的矩阵，An表示UA的最后一个列向量，则UA可以写成分块矩阵的形式：UA==[Ao, An]∵UAUAT==E;∴[Ao, An][Ao, An]T==E;∴AoAoT + AnAnT == E;∴b == Eb == AoAoTb + AnAnTb;实际上上式的意义很明显，就是将向量b分解为A的列向量张成的子空间中的分量（AoAoTb）以及null(AT)中的分量（AnAnTb）两个部分。对于我们3D空间中的例子，就是将b分解为平面α上的分量以及α法向量上的分量。将这两个分量相加，就得到了b。回过头来看方程Ax==b。当我们用伪逆对其进行求解时，得到的解为：x == (ATA)-1ATb;实际上就是将原来的方程Ax==b;转化成了ATAx==ATb;这样的转化意味着什么呢？看方程等号右边的部分：ATb;将b==AoAoTb + AnAnTb代入，得到 AT(AoAoTb + AnAnTb)==ATAoAoTb + ATAnAnTb;∵An为null(AT)的一组正交基∴ATAnAnTb==0∴ATb==AT(AoAoTb + AnAnTb)==ATAoAoTb;也就是说方程ATAx==ATb;实际上就是ATAx==ATAoAoTb;对上面这样一个方程求解，实际上就是找寻一个x，使得Ax==AoAoTb;AoAoTb为向量b在A的列向量张成的子空间中的分量，可以视为b在此子空间中的投影，在我们的3D空间中的例子里，为b在平面α上的投影。也就是说，方程最后变成了，寻找一个x，用这个x对A的两个列向量进行线性组合，等于向量b在A的列向量张成的子空间中的投影。在我们的3D空间的例子里，A的两个列向量为3D向量，它们张成了3D空间中的一个平面α，b也是一个3D向量，当它不在平面α上时，A的两个列向量的任何线性组合都不可能组合出一个b来，此时使用伪逆(ATA)-1AT求的解x，用它来对A的两个列向量进行线性组合Ax，得到的是b在平面α上的投影。根据空间几何的理论，平面α上的任何向量，只有b的投影与b的距离最短。所以从几何的角度来看，使用伪逆求解超定方程也是蛮合理的。这时我想起了线性代数中利用增广阵的秩来判断方程组有没有解的方法，其几何意义也很明显。就以上面的例子为例，方程Ax==b，A有两个3D列向量，rank(A)==2，当b不在平面α上时，说明b不能由A的两个列向量的线性组合来得到，所以增广阵(A, b)的rank为3，增广阵的rank大于rank(A),方程组无解。当b在平面α内时，此时虽然方程超定，但却有严格解，而因为b能够被A的两个列向量的线性组合来表示，所以rank((A, b))==rank(A)==2。