[理学]降维技术2-PCA.ppt

第六章 降维技术方法 四、求总体主成分的方法 设 是 维随机向量， ， ，亦即来自某个总体 的样品有 个特征变量，其均值向量为 ，协方差 阵为 。我们的任务是要将这 个特征变 量 综合成尽可能少的几个综合 性变量 ，而且要求这些新的 综合变量 既能充分反映原来 个 特征变量 所反映的信息，又能使 这 个综合变量互不相关。 四、求总体主成分的方法 首先，考虑第一个综合变量 如何确定? 由于 要求能反映原来 个特征变量 所反映的信息，也就是说 是由 综合 而成，为了方便起见将 取为 的线性 组合，即 （6.1） 其中， 为非零常向量。 四、求总体主成分的方法 显然要确定式（6.1），只需确定向量 ，也就是如何选取适当的非零向量 ，使得 能最大限度地反映原来 个特征变量 所带来的信息，这就意味着要使原来的个特征变量经过式（6.1）的变换后，得到的 具有最大的方差，也就是说使 的方差 （6.2） 尽可能地大。这就是求主成分的基本思想。 四、求总体主成分的方法 对式（6.2）可进一步化简为 ∴ （6.3） 四、求总体主成分的方法 对于式（6.3），我们不可能通过增大向量 的长度来使 的方差变大。这是为什么呢?因为 对于任意常数 ，我们有 即只要 变长 倍，则相应的方差就变大 倍。 因此，如果对不加任意限制，单纯追求综合变 量方差尽可能地大，将会变得没有实际意义。 通常，一个很自然的限制就是取 为单位向量 ， 即满足单位化条件： 四、求总体主成分的方法 这样一来，我们的问题就归结为在 满足单位化条件 之下，求使 达到最大的 。这显然是一个条件极值问题，可用lagrange乘数法求解。 为此令 其中，为lagrange乘子。 对 分别关于向量 及乘子 求偏导数，并 令其等于零，得 四、求总体主成分的方法 四、求总体主成分的方法 再由式（6.4）可得 （6.7） 欲使方程组（6.7）有非零解，其充要条件是 （6.8） 由此可见， 又是协方差阵 的特征根。由式 （6.6）知，欲使 的值最大，就要 的值最大，这就是说 应取协方差阵 的最大的特征根 ，而 应是 所对应的单位化特征向量。这样，我们就求得第一个综合变量 （6.9） 并称 为第一主成分。 四、求总体主成分的方法 类似地，对于第二个综合变量 ，也设它 为原来 个特征变量的线性组合，假设 （6.10） 其中， 也是一个 维非零常向量。 同上， 也应在满足单位化条件 之下， 求使 的方差 达到最大的 ，仍用lagrange 乘数法，可得 应满足方程 四、求总体主成分的方法 即 也是协方差阵 的特征根 所对应的单位化特征向量。这 样，我们也求得了第二个综合指标 （6.11） 并称为第二主成分。 如此下去，我们可求得第三主成分、第四主成分等等。 四、求总体主成分的方法 实际上，由于协方差阵 ，由线性代数知， 的所有特征根都是非负实数。今将它们按大小顺序排列为 并设前 个为正 ，且 相对应的单位化特征向量分别为 ，则 就分别是第一，…，第 个主成分。 另一方面，由于协方差阵 是对称阵，由线性代数知， 的不同特征根所对应的特征向量是正交的。所以，如果上面求得的 个特征根全 四、求总体主成分的方法 不相同时，则它们所对应的特征向量 是 相互正交的，于是有