SVD、PCA、ICA及其在生物医学工程中的应用.pdf

SVD、PCA、ICA 及其在生物医学工程中的应用 第一部分 奇异值分解（SVD） 1.1 SVD的基本原理 m×n 令A是m ×n 的实矩阵(假设m n)，表示为A ∈R ，则矩阵A 的奇异值分 解可以表示为: Σ ⎡ ⎤ T A U V (1) ⎢ ⎥ 0 ⎣ ⎦ m×m n×n 其中的U 和V 是正交矩阵，可以表示为U∈R ，V∈R 。矩阵U和V的前n 列向量分别称作矩阵A的对应于Σ的左、右奇异值向量，U和V的特点是和它自身 的转置矩阵相乘的结果为单位矩阵，称为酉矩阵。V可以理解为标准正交基“输 入”，而U可理解为标准正交基向量“输出”，Σ可理解为由非负特征值组成的“输 入”和“输出”之间的“增益控制”。 n×n 另外，Σ∈R 是一个对角阵， 其中的元素σ (i 1...n) 是矩阵A的奇异值， i 一般情况下按照从大到小的顺序排列，也即σ ≥σ ≥⋯≥σ ≥0，从而可以唯一 1 2 n 确定Σ（但U和V不确定）。而 2 T T σ 也是矩阵A A 和A A的特征值，定义SV = [σ ,⋯， i n 1 σ ]为矩阵A的奇异值特征向量。奇异值分解提供了一些关于A的信息，例如非零 n 奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A 的列向量空间的正交基。 1.2 研究进展 为了减少SVD的计算量或适应不同的应用，出现了一些新的SVD算法，如分块 分析、加权SVD分析等。基于分块的奇异值分解（Block-SVD）采用分块技术（如 将图像分成分成互不重叠的小块），抽取每块SVD的最大奇异值构成新的矩阵，对 新矩阵进行SVD分解。加权SVD分解在矩阵分块的时候给每个矩阵块给予不同的权 重。这些方法在图像处理，特别是大图像的效果处理有很突出的应用前景。 广义奇异值分解自从1976年提出以后，一直受到人们的关注，也获得较大的 发展。其分解定理为：设A ∈R ma ×n ,B ∈R mb ×n ，则存在正交阵U和V，以及非奇异 阵X，使得： T U AX D diag (α ,α ,...α ) (α ≥ 0, i 1,2,...n) (2) A 1 2 n i T V BX D diag (β ,β ,...β ) (β ≥0, i 1,2,...n) (3) B 1 2 q i 其中q min(m , n), p rank (β), β ≥β ≥β β