第六章 其他分类方法.pdf

模式识别 第六章 其他分类方法 中国矿业大学信电学院 蔡利梅 第六章 其他分类方法 6.1近邻法 6.2决策树与随机森林 6.3罗杰斯特回归 6.4Boosting方法 6.1近邻法 （1）最近邻法 分段线性距离分类器分类效果与所选择的代表点有 密切关系，找到的代表点不一定能很好的代表该类 对于分段线性距离分类器的弱点，采用一种极端的 解法。 把每个样本点都作为代表点，计算各点与所求模式 的距离，该模式归入距离最近的点所在的类。这种 方法称为最近邻法。 有 个模式类： ，每一类有样本 N 个， c ω，ω， ，ω 1 2 c i ( ) k gωx类的判别函数x x =−：k ，min ，， ， 1 2 N i i i i k ( ) ( ) g x g x i min决策规则：c, 1x,2, , , 则 。 ∈ω j i j i （2）k-近邻法 近邻法的推论 取未知样本x的k个近邻，看这k个近邻中大多 数属于哪一类，则x归入该类。 例6.1：有两类样本， { T T T } : 1 0 , 0 1 , 0 ω 1 ( ) ( ) ( − ) 1 { T T T T } ( ) ( ) ( ) ( ) : 0 0 , 0 2 , 0 2 , 2ω 0 − − 2 1）采用样本均值作为两类的代表点，按最小距离法 分类，并画出决策面。 2）模式x=(1 2)T，按最近邻法分类，并画出决策 面。