应用数理统计24.ppt

第七章 多元相关分析 一、主成分分析 二、因子分析 互独立的不可观测的理论变量。 叫做特殊因子，是原单一变量 (各分量)所特有因子，各特殊因子之间以及特 殊因子与公共因子之间都是相互独立的。 矩阵 的元素 叫做因子载荷，当 的绝 对值大时( )表明 与 的相依程度大，或 说公共因子 对于 的载荷量大，因此称 为 公共因子载荷量，简称因子载荷，而矩阵 称 为因子载荷矩阵。 所谓因子分析，就是如何从一组资料出发， 分析出公共因子与特殊因子来，并求出相应的 （二）因子载荷矩阵的统计意义 载荷矩阵，最后解释各个公共因子的含义。 1. 因子载荷 的统计意义 因为 且 因此 既是 与 协方差， 又是它们的相关系数，即就是说 是用来度量 可用 线性组合表示的 程度，这样称因子载荷 叫做权，表示 与 的依赖程度。 2. 变量共同度的统计意义 称因子载荷矩阵 中各行的平方和 为变量 的共同度。由于 即 上式表明变量 的方差有两部分组成：其一是 它是全部公共因子对于变量 的总方差所 作出的贡献； 它是变量 的特殊因 子所产生的方差，仅与变量 的本身变化有关， 而与公共因子无关，常称为剩余方差。 其二是 3. 公共因子 的方差贡献统计意义 将载荷矩阵 的各列元素平方和 称为公共因子 对 的贡献。 （三）因子载荷矩阵的求法 记 称其为约相关矩阵,因为 所以约相关矩阵是非负定的. 从 出发,利用求条件极值的方法,可得 于是 是约相关矩阵R*的最大特征根,而矩阵 A的第一列为对应的特征向量,它还应满足等式 于是 在利用R*的最大特征值所对应的特征 向量b1=(b11,b21,…,bp1)求A时,还需要规格化 再把 作为R*,同样处理,就可得 矩阵A的其余各列,也就求到了矩阵A. * 一、主成分分析 二、因子分析 三、典型相关分析 方法。设有某个 维总体 主成分分析是一种将多个指标化为少数几个 指标以便揭示问题背后隐藏深层次原因的统计 每个样品都测得 个 问题是：能否将这 个指标综合成很少几个综合 性指标(或特征)，要求这几个综合既尽可能充分 反映原来 个指标的信息，又彼此间互不相 关。 指标，而这 个指标往往互有影响。所研究的 （一） 从 个指标求主元的方法 设 为 维随机向量， 那么如何将这 个指 标综合成很少的几个指标 且要尽可能反映原来指标的作用，又彼此不相 关呢？ 的线性组合(线性变换)。 一个自然的方法是寻找指标 我们先来考虑第一个综合指标 ,令 其中 是待定的常向量。 当 的使得 最大限度地反映原来指标的作用， 这就相当于要求 要有尽可能大的方差，即选 取 使得 尽可能地大。 现在的任务是选取适 说明 是 的无界函数。 然而不能通过加大向量 的长度使 的方差变 因为对任意的常数 ，有 因此如果对 不加 大， 即只要 变长 倍，相应的方差就扩大 倍，也 限制，问题就会变得毫无意义。 一个自然的限 制是令 即要求 是单位向量。 从而问题变为：在 的条件下，求使 达到最大的 。 定理7.1 设总体 的均值和协方差阵分别为 是总体 的 个指标，令 其中 ，则使得 的方差 和 达到最大的 正好是矩阵 的最大特征根 所 对应的特征向量。 证明 用Lagrange乘数法来证明。令 则有 令 可得 这样就有 由于 根据克莱姆法则知，上述齐次线性 方程有非零解的充要条件是系数行列式为零， 即 这说明 是矩阵 的特征根，且由 可知 是对应于 特征根 的特征向量。 又由 可知欲使 的方差 最大，只要取 为V的最大特征根即可，这样 就是对应的单 位特征向量。 由定理7.1可知，第一个综合指标为 其中 是的对应于矩阵 最大特征值 的单位 特征向量，称 为第一主成分(或第一主元)。 若协方差矩阵 即是非负定的，由矩阵论 知它有 个非负的特征根，不妨设为 且 是对应的 个特征向量。 自然 应为 的第二大特征根 所