北航硕士研究生数理统计A1课件16.ppt

第十六讲 多元相关（续） 二、因子分析 三、典型相关分析 * 一、主成分分析 二、因子分析 三、典型相关分析 因子分析法是用尽可能少的不可观测的所谓 的“公共因子”的线性函数与特定因子之和来描 述原来观测的每一分量。其目的是尽可能合理 地解释存在于原始变量之间的相关性，且简化 变量的维数与结构。 （一）因子模型 模型 称为因子模型，其中假设 1. 是可观测的向量，且均 值 协方差阵 等于其相关 矩阵 2. 是不可观测的向 量，其均值 协方差阵是 3. 与 相互独立，且 的协方差阵为对角矩阵 用矩阵可将因子模型表示为 其中 满足前面的三个假设条件， 是 矩阵，即 模型中 叫做公共因子，它们是在各 个原变量的表达式中都共同出现的因子，是相 互独立的不可观测的理论变量。 叫做特殊因子，是原单一变量 (各分量)所特有因子，各特殊因子之间以及特 殊因子与公共因子之间都是相互独立的。 矩阵 的元素 叫做因子载荷，当 的绝 对值大时( )表明 与 的相依程度大，或 说公共因子 对于 的载荷量大，因此称 为 公共因子载荷量，简称因子载荷，而矩阵 称 为因子载荷矩阵。 所谓因子分析，就是如何从一组资料出发， 分析出公共因子与特殊因子来，并求出相应的 （二）因子载荷矩阵的统计意义 载荷矩阵，最后解释各个公共因子的含义。 1. 因子载荷 的统计意义 因为 且 因此 既是 与 协方差， 又是它们的相关系数，即就是说 是用来度量 可用 线性组合表示的 程度，这样称因子载荷 叫做权，表示 与 的依赖程度。 2. 变量共同度的统计意义 称因子载荷矩阵 中各行的平方和 为变量 的共同度。由于 即 上式表明变量 的方差有两部分组成：其一是 它是全部公共因子对于变量 的总方差所 作出的贡献；其二是 它是变量 的特殊因 子所产生的方差，仅与变量 的本身变化有关， 而与公共因子无关，常称为剩余方差。 3. 公共因子 的方差贡献统计意义 将载荷矩阵 的各列元素平方和 称为公共因子 对 的贡献。 （二）因子载荷矩阵得求法 典型相关分析是一种研究两个随机向量的 相关关系的统计方法。类似于主成分分析，它 是将两个随机向量的相关变为两个新随机变量 之间的相关来进行讨论，同时又尽可能保留原 变量的信息，即就是分别对两个随机向量构造 其分量的线性组合，并使两个线性组合所形成 为典型相关，形成的两个新变量为典型变量。 进而还可以在原两个随机向量中找出第二对线 性组合，使其与第一对线性组合不相关，而第 二对变量间又具有最大相关性。如此继续进行 下去直到两个随机向量间的相关性被提取完毕 为止。 两个随机变量具有最大的相关性，称这种相关 （一）典型相关和典型变量 假设有两个随机向量 且 令 并将 改写成分块 矩阵 其中 是 与 之间的协方差阵。 显然，当 时，有 成立。 令 其中 与 是两个待定的常向量，它们的选取原 则是在 与 已知的条件下，使得 与 的相 关系数达到最大。 由于 不妨假设 因此所讨论的问题 就转化为在约束 和 下求 与 ，使得目标函数 达到最大。 定理20.1 在满足约束条件 和 下，使得相关系数 达到最大的 与 是齐次线性方程组 的非零解，其中 是矩阵 (或矩阵 )的最大特征根。 设已求出矩阵 的特征根为 由定理20.1可知，第一对典型相关变量为 其中 与 满足 且 此时， 与 的相关系数为 重复以上过程可得第 对典型相关变量 与 满足 且 同样地有 即各对典型变量间是不相关的。 总结以上，可得求典型变量的过程如下： 1. 求矩阵 的特征值，记为 对应的单位特征向量为 3. 第 对典型相关变量为 2. 令 （二）典型相关系数和典型相关变量的估计 在实际问题中，总体的均值 和 协方差阵 往往未知，应由 与 的样本 这时总体均值和协方差阵的估计分别为 若 的秩为 ，非零特征根记为 对应的单位特征向量为 取 则第 对样本典型变量为 第 对样本典型变量的相关系数为 注：无论总体的均