应用数理统计22.ppt

第八章 判别分析 一、距离判别 二、Bayes判别 * 一、距离判别 二、Bayes判别 三、Fisher判别 判别分析是数据挖掘、机器学习、模式 识别等应用领域的重要理论基础。 模式识别包括语音辨识、手写体辨识、 图像识别、指纹识别等先进技术。 距离判别是定义一个到某个总体的“距离” 的概念，然后根据样本到各个总体的“距离”来 判断样本的归属。根据不同的距离定义，可以 得到不同的判别方法。 用欧氏距离来做判别不合理的地方： （1） 一个样本属于多个总体的哪一个由样本 与该总体均值的欧氏距离来判别不合理。 （2）总体的各个分量为不同性质时，距离的 大小与单位有关。 定义8.1 设 和 是总体 中抽取的样品， 称 的均值和协方差阵分别为 和 为 与 之间的马氏距离，记为 ， （一） 马氏距离(马哈拉诺比斯，Mahalanobis) 为 与总体 的马氏距离. 称 即 容易证明马氏距离 满足距离的三条基本公理： （1）非负性： （2）自反性： 且当且仅当 时， （3）三角不等式： 对任意三个点 及 有 （二） 两个总体的判别 设有两个总体为 和 ， 对于给定的样品 需要判断它来自哪个总体？ 判别的规则是：当 时， 判定 ； 否则判定 。 定理8.1 当参数 及 已知时， 判别准则 是： 当 时， 判定 ； 否则， 判定 ， 其中 ， 两个总体协方差阵相同的情形： 证明 因为 令 所以当 时， 有 判定 ； 否则判定 由于函数 是 的线性函数，故称 为 的线性判别 函数，称 为判别系数。 在实际应用中，参数 及 往往是未知的， 此时需要根据收集到的样本资料对参数作出估 计，然后将其相应的估计值代入线性判别函数 中。 下面就给出参数的估计。 设 是来自总体 的样本， 是来自总体 的样本， 且两样本相 互独立，则样本平均值 分别是总体均值 和 的一致最小方差无偏估 计。 的估计为 这样 的估计可取为 其中 故当参数均未知时，判别函数为 其中判别系数为 注：距离判别法没有要求知道总体的分布。 两个总体协方差阵不等的情形： 设两个总体 和 的协方差阵为 和 ， 且 所有的参数均已知，这时就直接用样 品到总体的马氏距离来判别， 当 时， 当 时， 其中 即判别规则为 当参数 未知时， 需用来自两个 总体的相互独立的样本来估计这些参数，即 将这些估计值代入上述判别法即可进行判别。 通常为了初略了解所建立的判别方法的 误判率， 需进行回报判别，即对已给的两个样 本逐个进行判别，可以计算出回报误判率。 若 回报的误判率较大，则说明所建立的判别规则 不适用，分析其原因，重新建立恰当的判别规 则。 注：回报的误判率并不是错判概率，一般情形 下，前者比后者小，这种衡量标准仅供参考。 （三） 多个总体的判别 设有 个总体： 其均值和 协方差阵分别为 及 且 所有的 。 当这些参数都已知时，计算 若存在某个 使得 成立，则判别 。 同样, 当总体的参数未知时，应先利 用来自 个总体的相互独立的样本给出所有未 知参数的估计，再利用上述判别法进行判别。 对同协方差阵的情形，可以由 个样本给 出 的估计 具体判别过程 不再赘述。 （一） Bayes判别法的基本概念 设有 个总体 ，其概率密度分 别为 且是互不相同的。 进一步假设已知 个总体各自发生的概率为 这个已知的概率称为先验概率， 它 可以由经验给出，也可以由收集到的历史资料 确定。 定义损失函数 ， 表示将本来属 于 的样品错判为属于 所造成的损失， 规 定 显然应