第5章判别分析fisher判别等.ppt

Discriminant analysis 确定判别值C 判别函数已知，不妨写成： 将G1的p个点、 G2的q个点分别代入判别函数： 对G1、G2的(p+q)个点的判别函数值取总体的平均值： 显然，?值是两类点的判别函数值的加权平均，处于两类判别函数平均值之间，也等价于两类点的总体几何中心的判别函数值。因此，将判别值C取为?值： Discriminant analysis Fisher线性判别的基本步骤 属 性 （分量） 1 2 … n G1 (i=1, …, p) 1 X1(1) x11(1) x12(1) … x1n(1) … … … … … i Xi(1) xi1(1) xi2(1) … xin(1) … … … … … p Xp(1) xp1(1) xp2(1) … xpn(1) G2 (i=1, …, q) 1 X1(2) x11(2) x12(2) … x1n(2) … … … … … i Xi(2) xi1(2) xi2(2) … xin(2) … … … … … q Xq(2) xq1(2) xq2(2) … xqn(2) 问 题 已知数据样本点分为两类： G1和G2 ， G1有p个点， G2有q个点。求出判别函数F (x1, x2, …, xn)和判别值C 。对于任何未知数据点X(x1, x2, …, xn)，依据F (x1, x2, …, xn)与C值的比较，判别点X属于哪一类。 Discriminant analysis STEP 1 先对样本点数据Xi(1)(xi1 (1), xi2 (1), …, xin (1))（ i=1, …, p）、 Xi(2)(xi1 (2), xi2 (2), …, xin (2))（ i=1, …, q）分别计算以下求和以及平均值： Discriminant analysis STEP 2 计算di和Sij，注意对称性Sij = Sji ： Discriminant analysis STEP 3 解线性代数方程组： 若方程有解，得到判别函数F： Discriminant analysis STEP 4 将平均值代入判别函数，然后计算判别值C： Discriminant analysis STEP 5 对未知数据X(x1, x2, …, xn)进行判别：将数据X(x1, x2, …, xn)代入判别函数F，与判别值进行比较，判别其属于哪一类。 Discriminant analysis Fisher线性判别的应用举例 x1 x2 样本序号 x1 x2 类别 1 5 7 1 2 4 3 2 3 7 8 2 4 8 6 2 5 3 6 1 6 2 5 1 7 6 6 1 8 9 6 2 9 5 4 2 Discriminant analysis Discriminant analysis Discriminant analysis Discriminant analysis Fisher判别法小结 本质上基于微分寻优的方法 局限 1、可能陷入局部最优的判别结果； 2、对数据属性各变量的要求较为苛刻，如正态性、相互独立性等； Discriminant analysis 判别效果的评价 错判损失 错判率 N(G1|G2) N(G2|G1) Discriminant analysis p(x) x G1:N(?1,?1) G2:N(?2,?2) ?1 ?2 ?* P(G1|G2) P(G2|G1) Discriminant analysis 检验判别效果的方法 训练集的回判 训练集（Learning set）：训练样本集 检测集（Test set）：检测样本集（类别未知） 利用训练集作为检测集：用判别方法对已知类型的样本进行回判，统计判错的个数以及占样本总数的比例，作为错判率的估计。 特点：容易低估错判率。 Discriminant analysis 从训练集中构造检测集 已知数据集 训练集 检测集 判别准则 判别效率 50％ 50％ 学习 检测 评价 Discriminant analysis 刀切法（Jack-knife Method） “舍一法（Leaveone-out）” “Lachenbruch删除法” “交叉确认法(Cross-validation)” 基本思想： (1). 每次从训练样本集中剔除1个样本X ； (2). 利用其余的样本（数量为p＋q－1）作为训练集来训练得到判别准则; (3). 根据判别准则对样本X 进行判别； (4). 对训练样本中的每个样本依次重复进行，记录判别对错的个数； (5). 计