数据挖掘2预处理研究报告.ppt

Fisher(1) 找出一最佳投影方向，将N维空间中的点投影到低维空间，如一维空间中，使不同类的点尽可能分离开来。 （1）多重判别分析 设样本集共包含C个类别，这C个互相独立的样本子集记为Xi。假设存在一个变换T，使得经T变换后的矢量y在d维空间获得最大的判断。 为求解这种变换，定义一判断准则R R为类间差别投影与类内差别投影总和之比 P为所求的判别矢量 B为类间散布矩阵 W为类内散布矩阵总和 Ni为第i类的样本数，mi为第i类的平均矢量，m为全部样本集的平均矢量。 Fisher（2） 为求得判别矢量P的最佳值，令R对P求导的结果为零，并经化简、整理后得到一般本征值方程式：（B-λW）P = 0 最终判别矢量可通过求解下列方程而得： Where,λ为B相对于W的本征值，I为单位矩阵 相应于每一个非零的本征值λi，都有一个本征矢量Pi使得： （B-λiW）Pi=0 Fisher（3） （2）Fisher最优判别分析 J.W.Sammon ： 首先求出Fisher判别矢量P1： P1=αW-1(m1-m2)=αW-1Δ 为确定构成最优判别平面的第二矢量P2, 可求出R的最大值 在P1应与P2正交的约束条件(P2TP1=0)下，使R最大化可得 是使P1、P2为单位矢量的规范常数 back Fisher projection PCA projection 思考题 1．为什么要进行数据预处理？ 2．数据预处理的基本功能有哪些？ 3．在数据清理中，对缺失值有哪些处理方法？ * S平方=1/(n-1)∑（Xi-X平均值)平方,S是样本标准差,表示样本参数的离散程度 * * * * 国家杰出青年科学基金答辩申请 * * * M. Dash and H. Liu, Feature Selection for Classification. Intelligent Data Analysis - An International Journal, Elsevier, Vol. 1, No. 3, 1997 M. Dash关于“特征选择”的几种理解： 找到一个理想的最小尺寸的特征子集（既能满足描述目标的需要，特征值又不要过于太大）。 在所有的N个特征所组成的特征集合中选取一个由L（LN个）特征组成的子集，其中L事先给定，使得这个子集在原集合的所有元素个数为L的子集中对于某种评价标准是最优的。 提高预报能力。通过选择原特征集合的一个子集，来提高用于分类和预测的模型的预测正确率或者在保证一定预测正确率的条件下降低模型结构的复杂性。 选择的特征子集虽然减少了特征个数，但并没有改变原始数据中的类别分布结构。选择一个原特征集合的特征子集，使得所产生的类别的条件概率分布，在只给定所选择特征取值的条件下，和原来的给定所有特征取值条件下的类别的条件概率分布尽可能的接近。 特征选择算法的步骤一般是由“特征子集生成（有哪些信誉好的足球投注网站）”、“特征子集评价”、“停止条件”和“结果验证”这四个部分组成的 特征选择的流程框架图： （二）特征选择的基本框架 特征选择本质上是一个组合优化问题： 在原有特征集合中，选择一个最优的特征子集。在数学中解决组合优化问题的一个最直接的方法就是有哪些信誉好的足球投注网站，对于特征选择来说，N个特征可以有2N个不同的特征组合（特征子集），有哪些信誉好的足球投注网站的目的就是在这2N个候选的特征子集中选取最优的那一个。至于如何在所有的候选子集中有哪些信誉好的足球投注网站的问题就是有哪些信誉好的足球投注网站策略的问题，一种最简单的策略就是穷举法，即考虑所有个可能的候选，选择其中最好的一个子集作为最后的输出。 特征子集生成 此图代表的是一个4个特征的有哪些信誉好的足球投注网站空间， 空心圆圈代表不选择一个特征 实心圆圈代表选择了一个特征 有哪些信誉好的足球投注网站空间的示意图 “子集生成”的方式决定了有哪些信誉好的足球投注网站的策略，包括有哪些信誉好的足球投注网站的起始点、方向、产生下一个子集的策略。 有哪些信誉好的足球投注网站的起始点可以是空集、全集、也可以是任意的一个子集，收索示意图中有哪些信誉好的足球投注网站空间中的任何一点都可以作为有哪些信誉好的足球投注网站的起始点。 有哪些信誉好的足球投注网站的方向可以是前向（特征依次增多）、后向（特征依次减少）或者双向（有时递增，有时递减）。 从当前子集产生下一个子集的策略，有完全有哪些信誉好的足球投注网站、启发有哪些信誉好的足球投注网站、随机有哪些信誉好的足球投注网站三种。 特征选择算法的步骤一般是由“特征子集生成（有哪些信誉好的足球投注网站）”、“特征子集评价”、“停止条件”和“结果验证”这四个部分组成的 特征选择的流程框架图： （二）特征选择的基本框架 停止条件 对子集评价完之后要进行“停止条件”的判断，如果没有停止条件，有哪些信誉好的足球投注网站过程将无穷无尽的一直进行下去。 通常的停止条件有： a）达到事先指定的特征数目， b）循环次数超过了预先给定的数值， c）增加或减少特