欧式距离-贵州大学研究报告.ppt

贵州大学大数据与信息工程学院 2015.5.8 欧式距离分类器 讲述类容 线性决策函数的回顾 欧式距离 欧式距离的应用 线性决策函数的回顾 线性决策函数为直线方程： 式中： 为二维特征； 为权参数。 线性决策函数的回顾 N维情况 线性决策函数： 式中： 为模式的n维特征向量； 称为权向量或参数向量。 线性决策函数的回顾 在两类情况，决策函数 有以下性质： 时为两类的决策边界。 模式识别的最终目的是实现对观察对象的分类，而分类的基础是模式类的数学表达。 在模式识别理论中，模式类是通过特征来表示，特征选择的好坏，直接影响分类器的性能。 特征的特点 特征是可获取的。 类内稳定。 类间差异。 特征的类别 物理特征（性别，身高，胖瘦等外在的特征） 结构特征（指纹的识别） 数字特征（学号） 特征形成 特征提取： 从一组特征中挑选出对分类最有利的特征，达到降低特征空间维数的目的。 特征选择： 实现特征选择的前提是确定特征是否有效的标准，在这种情况下寻找最有效的特征子集。 特征提取和特征选择的作用 简化计算。特征空间的维数越高，需占用的计算机资源越多，设计和计算也就越复杂。 简化特征空间结构。由于特征提取和选择是去除类间差别小的特征，保留类间差别大的特征，因此，在特征空间中，每类所占据的子空间结构可分离性更强，从而也简化了类间分界面形状的复杂度。 类的可分性判据 与错误概率（或是错误概率的上，下界）有单调关系，使判据的极大值对应错误概率的最小值或较小值。 非负性，即 其中 表示第 , 两类间的可分性依据。 对称性，即 该特性表明有效性判断对类别号没有方向性，而只有强调对区分两类的贡献。 当特征独立时，判断应具有可加性，即 单调性，对于特征向量而言，加入新的特征分量不会减少判据值，即 两类之间的距离 设两类为 ,分别有 个样本，即 两类间的距离 可由下式给出： 其中， 为向量 间的距离。由点间距离 的对称性可知，类间距离也是具有对称性。 常见的点间距离 欧几里德（Euclidean）距离： 其中，d为向量的维数。 加权欧几里德距离： 马氏（Mahalanobis）距离： 汉明（Hamming）距离: 明可夫斯基（Minkowsky）距离： 其中：当q=1时， 为汉氏距离；当q=2时， 为欧式距离。 欧式距离 欧几里德距离也称欧式距离，它是一个通常采用的距离定义，它是在m维空间中两点之间的真实距离。 （1）二维平面上两点 与 间的欧式距离： （2）三维平面上两点 与 间的欧式距离： （3）两个n维向量 与 间的欧式距离： 欧式距离的应用--分类之最小距离分类器 我们讨论的是单原型模式表征分类，所谓单模型 表示一个集群子域只有一个典型性（代表）模型 。如果存在多个典型性模式称为多原型。单原型 分类可以推广到多原型。 分类之最小距离分类器 假设C类模式，以原型模式 为代表， 原模式 一般可以用均值 来表示。 则任一模式向量与第i个原型之间的欧式距离为： 最小距离分类器是计算机未知模式X到每一类原型 之间的距离并赋予它最小（最靠近）的一类模式。 如果 则 类。 分类之最小距离分类器 欧式距离用决策函数形式表示： 决策函数 如 则 类 从式中可以看出最小距离分类器的决策函数 是线性决策函数。 分类之最小距离分类器 如令 为线性决策函数的系数，即 则 可写成 其中 其决策边界为 谢谢大家的聆听！！！ 由于附加的模式都增加一相同的量，所以不影响模式类别的基本几何特性。 * 下面进一步讨论欧式距离用决策函数形式表示。将式两边平方得： 因为所有的距离为正值，所以，选择D平方最小等价于选择Di最小。从试子中可看出：Di2中XTX是独立