第5章_判别分析.ppt

判别分析 南通大学理学院 判别分析的基本思想及意义 若研究对象用某种方法已划分为若干类型。当得到一个新的样品数据（通常是多元的），要确定该样品属于已知类型中哪一类，这类问题属于判别分析。 质量等级 天气预报 地质勘探－矿物类型 营销数据 金融市场风险 医学诊断等 判别分析的基本思想及意义 设有 个总体 ，它们都是 元总体，其数量指标是 设总体 的分布函数是 通常是连续型总体，即 具有概率密度 对于任一新样品数据 要判断它来自哪一个总体 。 判别分析的基本思想及意义 通常各个总体 的分布是未知的，由从各个总体取得的样本（训练样本）来估计。一般，先估计各个总体的均值向量与协方差矩阵。 从统计学的角度，要求判别准则在某种准则下是最优的，例如错判的概率最小等。 根据不同的判别准则，有不同的判别方法，这里主要介绍距离判别和Bayes判别。 两个总体的距离判别 对于 元空间中的两个点： 最常见的是欧氏距离，其平方和距离是 而欧氏距离是 两个总体的距离判别 设有两个一元总体 与 。有一个样品，其值在A处。问：A点离哪个总体较 “近”？ 从绝对长度来看， 从统计学的观点看， 两个总体的距离判别 因此，对一元总体，样本点 距一元正态总体 的马氏平方距离是 即使总体非正态，而其均值为 ，标准差为 ，其马氏平方距离也可用上式度量。推广到多元总体的情况，马氏距离应该如下定义： 定义（1）设 是从均值向量为 、协方差矩阵为 的总体 中抽取的两个样品，则 两点之间的马氏平方距离是 两个总体的距离判别 又定义 与总体 的马氏平方距离是 （2）设有两总体 和 ， 的均值向量是 ， 的均值向量是 ，又 ， 的协方差矩阵相等，皆为 ，则总体 ， 间马氏平方距离是 两个总体的距离判别 设 是从均值向量为 、协方差矩阵为 抽取的两个样品， 和 之间的马氏距离是 至总体 的马氏距离是 两个总体的距离判别 马氏距离满足距离的三条基本性质：设 是来自总体 的三个样品，则 两个总体的距离判别 设 ， 为两个不同的 元已知总体， 的均值向量是 ， ， 的协方差矩阵是 ， 。设 是一个待判样品，距离判别准则为 即当 到 的马氏距离不超过到 的马氏距离时，判 来自 ；反之，判 来自 。 两个总体的距离判别 两个总体协方差矩阵相等的情况 考虑样品 到两总体的马氏距离的平方差： 两个总体的距离判别 两个总体协方差矩阵相等的情况 记 则 因此，距离判别法则化为 两个总体的距离判别 两个总体协方差矩阵相等的情况 皆是 的线性函数。因此，当 时，两总体的距离判别简化为线性判别， 称为线性判别函数。 我们将这种情况进一步简化为 两个总体的距离判别 两个总体协方差矩阵相等的情况 其中 ，即 是两总体均值向量的平均。记 其中 ，则 距离判别更简化为 其中 也是线性判别函数。 两个总体的距离判别 两个总体协方差矩阵相等的情况 在实际问题中， 及 通常都是未知的，数据资料是来自两个总体的训练样本。 设 是来自总体 的训练样本，容量为 ； 是来自总体 的训练样本，容量为 ； 每个样品皆是 元向量。 两个总体的距离判别 两个总体协方差矩阵相等的情况 要以训练样本