基于核函数的非线性分类相关分析.pdf

第 ３３卷 分析化学 （ＦＥＮＸＩＨＵＡＸＵＥ）　研究简报 第 １期 　　　　　　　　　　　　 　　　　　　　　　　　　 P ２００５年 １月 ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＡｎａｌｙｔｉｃａｌＣｈｅｍｉｓｔｒｙ ５０～５３ S 2 2 P 研 究简报D W F W ( W T r 基于核函数的非线性分类相关分析 i . a C l 及其在化学模式识别中的应用 C V Y e ＊ r 陶少辉　陈德钊 　胡望明　许　光 T s i . o （浙江大学化工系仿真中心，杭州 ３１００２７） N n E ) 摘　要　与统计分析和神经网络相比，基于结构风险最小的支持向量机有更好的分类性能。它用于非线性分 T 类时，先将样本映射到更高维的特征空间，往往会增加复共线性与冗余信息，将影响样本分布，降低线性支持 向量机分类器 （ＬＳＶＣ）的预测性能。本研究提出非线性分类相关分析算法 （ＮＬＣＣＡ），利用核函数技术，无需 了解非线性映射的算式，从特征空间的样本映像中提取分类相关成分，以消除冗余信息，改善样本分布。由此 构建的 ＮＬＣＣＡ-ＬＳＶＣ集成分类器具有优良的预测性能。经模拟数据的测试，并实际用于两个复杂的化学模 式识别问题，均取得令人满意的效果，也印证了算法的有效性。 关键词　核函数，非线性相关成分分析，化学模式识别，支持向量机，集成分类器 １　引　　言 很多化学对象需用模式识别 （分类）技术关联其表现特征与内在性质，如药物活性识别，物料的等 级评定等。常用的模式分类技术，如统计分析、神经网络等，大多基于经验风险最小化原则，常因过拟合 而影响预报性能。基于结构风险最小化原则的支持向量机 （ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ），理论上有衡 ［１］ 量预报性能的标准，实用效果也较好 。但是，样本数据的复共线性与冗余信息也会影响 ＳＶＭ的分类 ［２］ ［３］ 性能 ，在非线性变换后，复共线性往往会加剧。为此，本研究将基于分类相关成分分析 （ｃｏｒｒｅｌａｔｉｖｅ ｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ，ＣＣＡ）提出基于核函数的非线性的 ＣＣＡ（ｎｏｎｌｉｎｅａｒｃｏｒｒｅｌａｔｉｖｅｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ，ＮＬ- ＣＣＡ），用以消除复共线性，并与线性支持向量机分类器 （ｌｉｎｅａｒＳＶＭ ｃｌａｓｓｉｆｉｅｒ，ＬＳＶＣ）相集成。经人工模 拟数据的测试，并用于化学模式识别的实例，均表明该集成分类器性能稳健，效果良好。 ２　基本原理及应用 ２．１　支持向量机及其性能分析 ｎ ｍ 设有两类样本集 ｛ｘ，ｙ｝ ，ｘ∈Ｒ 为模式向量，ｙ∈ ｛＋１，－１｝是类别标号。为实现线性分类，支 ｉ ｊ ｉ＝１ ｉ ｉ