第四章 主成分分析与典型相关分析.pdf

4.主成分分析与典型相关分析 第 四 章 主 成 分 分 析 与 典 型 相 关 分 析 Principal components analysis Canonical Correlation Analysis 数据分析 4.主成分分析与典型相关分析 §4.1 主成分分析 §4.1 主成分分析 §4.2 典型相关分析 §4.2 典型相关分析 数据分析 4.主成分分析与典型相关分析 §4.1 主成分分析 4.1.1 基本思想 在实际问题中，我们遇到的多个变量之间经常存在 一定的相关性，因此人们希望通过对这些变量进行改造, 用较少的互不相关的新变量来代替原有的多个变量，而 这些新变量又能尽可能多地反映原变量所提供的信息. 这是数据降维的一种思想，主成分分析就是在这种 降维的思想下产生的处理高维数据的方法. 主成分分析的基本思想：构造原变量的一系列线性组合, 使各线性组合在互不相关的前提下尽可能多地反映原变 量的信息 (使其方差最大) ；这些新变量就称为主成分. 主成分 数据分析 4.主成分分析与典型相关分析 4.1.2 总体主成分 一、 总体主成分的概念 假设所讨论的实际问题中，有 p 个随机变量 (总体)X 1 , X2 , …,Xp ，主成分分析就是要在这 p 个 变量的线性组合中，寻找主成分 Y , Y , …,Y 1 2 m （m ≤p , Y 称为X , X , …,X 的第 i 个主成分）: i 1 2 p Y a X a X a X , 令  1 11 1 12 2 1p p  Y a X a X a X ,  2 21 1 22 2 2p p     Y a X a X a X ,  p p 1 1 p 2 2 pp p 数据分析 4.主成分分析与典型相关分析 记 X = ( X , X , …,X )T ，其协方差矩阵为 1 2 p Σ  E[(X E(X ))(X E(X ))T ],   i j