北航硕士研究生数理统计A1课件14.ppt

第十四讲 判别分析 一、距离判别 二、Bayes判别 三、Fisher判别 * 一、距离判别 二、Bayes判别 三、Fisher判别 定义18.1 （一） 马氏距离 设 和 是总体 中抽取的样品， 称 的均值和协方差阵分别为 和 为 与 之间的马氏距离，记为 ，即 为 与总体 的马氏距离， 容易证明 满足距离的三条基本公里： 称 （1）非负性： （2）自反性： 且当且仅当 时， （3）三角不等式： 对任意三个点 及 有 （二） 两个总体的判别 设有两个总体为 和 ， 对于给定的样品 需要判断它来自哪个总体？ 判别的规则是：当 时， 判定 ； 否则判定 。 定理18.1 当参数 及 已知时， 判别准则 是： 当 时， 判定 ； 否则， 判定 ， 其中 ， 两个总体协方差阵相同的情形： 证明 因为 令 所以当 时， 有 判定 ； 否则判定 由于函数 是 的线性函数，故称 为 的线性判别 函数，称 为判别系数。 在实际应用中，参数 及 往往是未知的， 此时需要根据收集到的样本资料对参数作出估 计，然后将其相应的估计值代入线性判别函数 中。 下面就给出参数的估计。 设 是来自总体 的样本， 是来自总体 的样本， 且两样本相 互独立，则样本平均值 分别是总体均值 和 的无偏估计。 的估计为 这样 的估计可取为 其中 故当参数均未知时，判别函数为 其中判别系数为 注：距离判别法没有要求知道总体的分布。 两个总体协方差阵不等的情形： 设两个总体 和 的协方差阵为 和 ， 且 所有的参数均已知，这时就直接用样 品到总体的马氏距离来判别，即判别规则为 当 时， 当 时， 其中 当参数 未知时， 需用来自两个 总体的相互独立的样本来估计这些参数，即 将这些估计值代入上述判别法即可进行判别。 通常为了初略了解所建立的判别方法的 误判率， 需进行回报判别，即对已给的两个样 本逐个进行判别，可以计算出回报误判率。 若 回报的误判率较大，则说明所建立的判别规则 不适用，分析其原因，重新建立恰当的判别规 则。 注：回报的误判率并不是错判概率，一般情形 下，前者比后者小，这种衡量标准仅供参考。 （三） 多个总体的判别 设有 个总体： 其均值和 协方差阵分别为 及 且 所有的 。 当这些参数都已知时，计算 若存在某个 使得 成立，则判别 。 同样地当总体的参数是未知的时，应先利 用来自 个总体的相互独立的样本给出所有未 知参数的估计，再利用上述判别法进行判别。 对同协方差阵的情形，可以由 个样本给 出的 估计 具体判别过程 不再赘述。 （一） Bayes判别法的基本概念 设有 个总体 ，其概率密度分 别为 且是互不相同的。 进一步假设已知 个总体各自发生的概率为 这个已知的概率称为先验概率， 它 可以由经验给出，也可以由收集到的历史资料 确定。 定义损失函数 ， 表示将本来属 于 的样品错判为属于 所造成的损失， 规 定 显然应有 当然也可用矩阵表示，即 其中 或 ， 由于一个判别规则实质上是就是对 维空间 划分成 个互不相交的部分 ， 即满足 和 故为了方便起见，可简记一个 的样品判为属于 的（错判概率）概率记为 判别规则为 那么将属于 即 注意这里的积分是 重积分。 这样在判别规则 下， 错判来自总体 的个 这时 表示正确判别的概率，即 因此有 体所造成的平均损失为 其中 表示损失矩阵的第 行元素， 而 表示矩阵 的第 行元素。 由于