LDA决策树实现.pptxVIP

LDA+决策树实现LDA原理简单回顾线性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。目的：对高维的样本进行降维。 假设对于一个空间有m个样本分别为x1,x2,……xm 即 每个x是一个n行的矩阵，其中表示属于i类的样本个数，假设有一个有c个类，则:Sb…………………………………………… 类间离散度矩阵Sw……………………………………………类内离散度矩阵ni…………………………………………属于i类的样本个数xi……………………………………………… 第i个样本u ……………………………………………所有样本的均值ui …………………………………………类i的样本均值类间离散度矩阵类内离散度矩阵其中 ，LDA原理简单回顾引入Fisher鉴别准则表达式：，其中 为任一n维列矢量。Fisher线性鉴别分析就是选取使得目标函数达到最大值的矢量作为投影方向，其物理意义就是投影后的样本具有最大的类间离散度和最小的类内离散度。通过最优化的准则函数找到有一组最优鉴别矢量构成的投影矩阵Wopt, 即由使 最大的d个 组成的投影矩阵，用来使最大化类间离散度与类内离散度的比例的投影矩阵。最佳投影矩阵Wopt的列向量恰为广义特征方程 的d个最大的特征值所对应的特征向量(矩阵的特征向量)，且最优投影轴的个数d=c-1.Wopt的求解：求Sw-1Sb的特征向量，选取d个最大特征值对应的标准化特征向量，投影后的样本向量Y= X Wopt。LDA原理解释投影函数：类别i的原始中心点为：类别i投影后的中心点为：衡量类别i投影后，类别点之间的分散程度（方差）为：假设只有两类，LDA投影到w后的损失函数： ，其中则LDA投影到w后的损失函数：利用LDA进行降维算法过程：一、输入：数据集double[][] inPut, 样本个数int Num 样本维数（特征数）feaNum， 降维后维数int d, 样本的类别数int claNum二、求类间离散度矩阵Sb和类内离散度矩阵Sw，通过求Sw-1Sb的特征向量并进行排序，获取最大d个特征值对应的特征向量，组成所求投影矩阵Wopt。三、将input[Num][feaNum]的样本通过投影Wopt[inPut] [d]得到降维后的二维数组afterLDA[Num][d]四、调用R使用randomForest对降维后的afterLDA进行训练和测试，设置每次抽样40个，共50个弱分类器（子树），最后得到分类后的数组。试验与结果输入的数据：1240条样本，每条数据有21个特征和一个分类下标。由于所输入的数据集的辨识度较大，故降维前和降维后的数据集，经过随机森林或C4.5训练后的分类器分类后准确率都为100%。