多元统计学-课件 第六章3.pptVIP

§6.2 因子分析 因子分析是主成分分析的进一步发展，是一种很好的降维技术，它是用较少个数的公共因子的线性函数和特定因子之和来表达原来观测的每个变量，以便达到合理地解释存在于原始变量间的相关性和简化变量的个数的目的，因子分析还可根据因子得分对变量或者样品进行分类。 在实际问题中，由样本观测数据阵出发分析出变量的公共因子与特殊因子从而研究变量间的相互关系称为R型因子分析。如果由样本观测数据出发，建立样品的公共因子与特殊因子，从而研究样品之间的相互关系称为Q型因子分析。下面重点介绍R型因子分析。 因子分析的方法最初是应用在教育心理学上，英国心理学家C.Spearman于1904年发表了对学生考试成绩分析的著名文章，可以认为是因子分析方法的开始。 例如，为了考察学生的知识水平，常用学生的考试成绩来评定。假设有个学生，每个学生都参加词汇、阅读、同义词，算术、代数和微积分等六科的考试，每个学生的六科成绩记为 。由此可以算出六科考试成绩的样本相关矩阵 表示第 科成绩 与第 科成绩 之间的样本相关系数， 。其数值如下表6.6。 由表6.6中的数值可以看出，前三种中每两科之间相关系数较大，后三科中每两科之间相关系数也较大，但前三科与后三科之间的相关系数都很小，这表明，用六个科目来考察学生的知识水平，实际可分为二大科目来考察学生知识水平，即前三科可列为语文能力的考察，后三科可列为数学能力的考察。称语文能力和数学能力为反映学生成绩的两个不可观测的公共因子，并且可以认为这两个公共因子互不相关。 表6.6 样本相关系数表 对每个学生来说，他们各自都有六科成绩，但归纳起来，可以用上述两个不可观测的互不相关的公共因子，即语文能力、数学能力来考察学生的知识水平。一般的作法是，学生的每科成绩即可观测的相互有关的一组变量 可用两个不可观测的语文能力（设为 ）与数学能力（设为 ）的线性组合，再加上影响各科成绩的各自特殊因子（分别设为 ）来描述，于是有： 写成矩阵形式，即 其中： 并由此来分析学生的语文能力和数学能力，这就 是因子分析的目的。 一般来说，因子分析就是试图用最少个数的不可观测的互不 相关的公共因子的线性组合，再加上特殊因子来描述原来一组可观测的相互有关的每个变量，其目的是尽可能合理解释存在于原 始变量之间的相关性，并且简化变量的维数和结构。 §6.2.1 因子分析数学模型 设有 个样品，每个样品提取了m个特征变量（指标），如果特征变量用 （ ）表示，则对不同的 就有不同的均值与方差。为了对变量进行比较，并消除由于变量量纲的差异所造成的影响，可将样本观测数据先进行标准化处理，使标准化后的变量的均值为0，方差为1。这样一来，原来的m个变量（ ） 经过标准化后变为新的变量，用 （ ）表示，称为标准变量。如果原来的m个变量有不可观测的n个公共因子设为 ， ，经过标准化后可记作 ，且变量 可以表达为 （6.25）式中， 称为特殊因子，它是既与 不相关且 间也互不相关的因子。随机向量 的均值为 ，协方差矩阵 ，且等于相关阵 ，向量 ，协方差矩阵 ，即向量 的各分量是相互独立的，向量 与 相互独立，即 且 的协方差矩阵 为对角阵，即 的各分量之间也是相互独立的， 则（6.25）式可展开为 （6.27） （6.27）式用矩阵形式表示，即为 （6.28） 上式（6.27），（6.28）称为因子分析数学模 型，其中 为 矩阵且 （6.29） 称为公共因子（或称主因子），且 称为第 个公共因子，公共因子是在变量