主成分分析原理.docx

第七章 主成分分析

（一）教学目的

通过本章的学习，对主成分分析从总体上有一个清晰地认识，理解主成分分析的基本思想和数学模型，掌握用主成分分析方法解决实际问题的能力。

（二）基本要求

了解主成分分析的基本思想，几何解释，理解主成分分析的数学模型，掌握主成分分析方法的主要步骤。

（三）教学要点

1、主成分分析基本思想，数学模型，几何解释

2、主成分分析的计算步骤及应用

（四）教学时数3课时

（五）教学内容

1、主成分分析的原理及模型

2、主成分的导出及主成分分析步骤

在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进

行主成分分析。

第一节 主成分分析的原理及模型

一、主成分分析的基本思想与数学模型

（一）主成分分析的基本思想

主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？

如果将选取的第一个线性组合即第一个综合变量记为F

1

，自然希望它尽可能多地反映原来

变量的信息，这里“信息”用方差来测量，即希望Var(F

1

)越大，表示F

1

包含的信息越多。

因此在所有的线性组合中所选取的F

1

应该是方差最大的，故称F

1

为第一主成分。如果第一

主成分不足以代表原来p个变量的信息，再考虑选取F

2

即第二个线性组合，为了有效地反

映原来信息，F

1

已有的信息就不需要再出现在F

2

中，用数学语言表达就是要求

Cov(F,F

1 2

)?0，称F

2

为第二主成分，依此类推可以构造出第三、四……第p个主成分。

（二）主成分分析的数学模型

对于一个样本资料，观测p个变量x,x

1 2

,?x

p

，n个样品的数据资料阵为：

?x x ? x ?

? 11 12 1p?

X? 21 22 2p???x,x

?x x ? x

,?x ?

?? ?

?

? ? ? 1 2 p

??

?

x?

x

? n1

x ? x ?

n2 np

?x ?

其中：x

? 1j?

??x ?

?

? 2j?,

j?1,2,?p

j? ? ?

j

x? ?

x

? nj?

主成分分析就是将p个观测变量综合成为p个新的变量（综合变量），即

?F?a

x?a

x ???a x

? 1 111

12 2

?

1p p

??F ?a x?a x ? ?a x

?

2 211 22 2 2p p

?? ?

?

简写为：

?F

p

?a x

p11

a x

p2 2

???a x

pp p

F ??

j

x

j11

? x

j2 2

????

x

jp p

j?1,2,?,p

要求模型满足以下条件：

①F,F

i j

互不相关（i?j，i,j?1,2,?,p）

②F1的方差大于F2的方差大于F3的方差，依次类推

③a 2

k1

a 2

k2

???a 2?1

kp

k?1,2,?p.

于是，称F

1

为第一主成分，F

2

为第二主成分，依此类推，有第p个主成分。主成分又

叫主分量。这里a

ij

我们称为主成分系数。

上述模型可用矩阵表示为：

F?AX，其中

?F? ?x?

????? 1? ? 1?

?

?

?

?

F x

F? X?

? 2? ? 2?

??? ???

F ?x

F ?x ?

? p? ? p?

?a a ? a ? ?a?

? 11 12 1p? ? 1?

?a a ? a ?

?a ?

A?? 21 22 2p??? 2?

? ? ? ? ? ?

aa?

a

a

? p1

a ? a

p2

? ? ?

pp? ? p?

A称为主成分系数矩阵。

二、主成分分析