线性判别分析与主成分分析及其相关研究评述.pdfVIP

中山大学研究生学刊 自然科学、 学版) 第28卷第4期 JOURNAL OF THE GRADUATES VOL．28No4 2007 SUN YAT—SEN UNIVERSITY(NATURAL SCIENCES、MEDICINE) 2007 线性判别分析与主成分分析及其 相关研究评述 王晓慧 (中山大学数学与计算科学学院，07硕，广州，510275) 摘 要：线性判别分析 (LDA)和主成分分析(PCA)都在各个领域有着重 要的作用。他们各自抓住样本在特征空间的不同特征，一般情况下更趋向于使 用LDA，因为LDA直接处理类间的分析问题，而PCA则没有突出类的结构。 然而实验证明PCA在某些问题上叉明显优于LDA。于是，改进或结合使用 LDA与PCA成了非常必要的课题。现阶段在这个领域上已经有许多优秀的研 究成果，本文简单的介绍了其中几种效果较好的相关分析方法，其中叉以混合 判别分析 (HDA)最优。HDA不仅同时抓住了样本的判别信息和描述信息， 使PCA与LDA在各种情况下达到平衡，而且在二维参数空间中提供了一系列 的分析方法，更有利于解决小样本问题和高维问题。Boosted HDA的提出通过 用迭代的方法改进弱分类器，避免了HDA复杂的参数有哪些信誉好的足球投注网站，并得到一种统一 计算HDA的方法。文章将在第三部分引用一些已有的实验结果来验证HDA的 优越性。 关键词：线性判别分析；主成分分析；小样本问题；高维问题；混合判别分 析；混合判别分析改进 1 线性判别分析与主成分分析 1．1 线性判别分析 线性判别分析 (Linear Discriminant Analysis，简称LDA)是用于判断样品所属类型 的一种统计分析方法，它在医学诊断，气象学，考古学，经济学，市场预测，环境科 学，地质勘探，体育运动和农林虫害预报等领域中都起着重要的作用。它的基本思想是 投影，首先通过找出特征向量W，将k组m元数据投影到另一个更低维的方向，使得投 影后组与组之间尽可能地分开，而同一组内的关系更加密切，然后在新空问中对样本进 行分类。 收稿日期：2007—1 1—15 线性判别分析与主成分分析及其相关研究评述 如果假设所有的样本只来自两个不同的类 (记为P(positive)类和n(negative) 类)，那么求最优特征向量W的问题可以表述为以下这个求最大值点的数学问题： l S8 l … 叩 g 其中， s =∑(m 一m )(m 一m ) 是类间离差阵， j · ， s =∑( 一mx)( —mx) +∑(y 一my)(y 一my) 是类内离差阵； { ，i=1，…，，v }表示P类，{Y ，i=1，…，，v }表示n类； m 和m 分别表示P类和n类的均值。 以上讨论只有两类的LDA，也称FDA(Fisher Discriminant Analysis)，下面讨论多于 两类的LDA——MDA(Multi—class Discriminant Analysis)。 1．2 主成分分析 主成分分析 (Principal Component Analysis，简称PCA)是将多指标化为少数几个综 合指标的一种统计分析方法。在实际问题中，观测到的数据在一定程度上反映的信息会 有所重叠，在高维空间中研究的样本分布规律也比较复杂，PCA的思想是用较少的综合 变量来代替原来较多的变量，同时要求这几个综合变量能够尽可能多地反映原来变量的 信息，并且彼此之间互不相关，进而再对新的变量进行统计分析。 类似地，PCA也可以表述为以下求最大值点的数学问题： t S