多元统计分析课件——杜子芳.ppt

判别分析 假设早先依据训练样本的信息得到了某种隐含的标准，那么就可以据此标准对待判样品进行判别：将待判样品归到不同的“类”中。 这种判别本质上是一种预测行为，所不同的是预测依据的是公式化的模型，判别依据的是非公式化的隐含关系（训练样品的分类结果与其判别变量值之间的对应关系）。 常见判别方法 距离判别/Fisher判别/Bayes判别 距离判别 距离判别（续1） 两母体时判别规则 距离判别（续2） 判别函数 设两类G1,G2的均值和协方差分别为 , ; ，则建立在马氏距离基础上的距离判别函数为 相应的判别规则为 Fisher判别 设k个母体G1, G2 ,…Gk 相应的均值和方差分别为 。任给一个样品，考虑它的线性函数 ，则在y是来自 Gi 的条件下，W(y)的均值和方差为 投影 Fisher判别（续1） 类间离差平方和 类内离差平方和 各类内部尽可能接近，各类间尽可能分开 Fisher判别（续2） 将E-1B的特征值按大小排列 先把待判样品y左乘 ，即将y投影到以 为法线的方向上；再计算y与各类中心（已投影）间的距离，看y与哪类距离最近就归为哪类。 若投影后，仍不能确定其归类，则继续将y投影到 为法线的方向上，依次下去，直到y能被确定归为某类。 Bayes判别 假设条件 Bayes判别（续） Wj(y)极小时，y就归入对应的Gj 由训练样本得出 Logistic回归模型 一.模型的引进 二.Logistic回归模型估计 三. Logistic回归模型的评价 四. Logistic回归系数的统计推断 五. Logistic回归诊断 一.模型的引进 因变量是二分类定性变量时,考虑简单线性模型: 其中yi服从两点分布： 可知 针对 ，有以下几点问题: （1）误差项 只能取两个值，为离散非正态分布 （2）异方差性：误差项仍然保持零均值，但是其方差为： （3）回归方程的限制：当因变量是二分类定性变量时，回归方程代表概率分布，所以因变量均值受如下限制： 一般的回归方程并不具有这种性质，线性回归方程 将会超出这个范围。 我们可以考虑用事件发生的概率作为因变量，研究某一事件A发生的概率p的大小与哪些因素有关。 Logistic回归模型一般形式 在有m个自变量时，公式扩展为： 二.Logistic回归模型估计 Logistic回归模型估计的假设条件与OLS的不同 （1）logistic回归的因变量是二分类变量 （2）logistic回归的因变量与自变量之间的关系是非线性的 （3）logistic回归中无相同分布的假设 （4）logistic回归没有关于自变量“分布”的假设（离散，连续，虚拟） 最大似然估计（一） 最小二乘估计（OLS）： 根据现行回归模型，选择参数估计值，使得模型的估计值与真值的离差平方和最小。 最大似然估计（ MLE ）： 选择使得似然函数最大的参数估计值。 假设n个样本观测值y1,y2……yn，得到一个观测值的概率为 其中 或 由于各项观测相互独立，其联合分布为： 最大似然估计（二） 选择上式作为n个观测的似然函数 分别对参数求偏导，然后令它等于0： 求得 的估计值 ，从而得到 （pi的极 大似然估计)，这个值是在给定xi的条件下yi=1的条 件概率的估计，它代表了Logistic回归模型的拟合 值。 Logistic 回归系数的解释 因此每个 代表当保持其他变量不变时，每单位量的增加对对数发生比的影响 发生比率 * 注意纠正回归第二式的错误。 * ch * 一般认为， si是测量误差和唯一地与单个变量有关的那些因素的组合 * 注意先验概率与概率密度乘积相当于全局概率密度。 在最简单的假设下，贝氏判别与贝氏概率并非无二致。 警察愿找前科者破案，蒙中国人是山东人比甘肃人更不易犯错。 分类对数值的相关关系 总平方和=组间平方和+组内平方和 证明两种组间平方和的关系 两种证明 证明1 证明2 1对1之数值与数值的线性相关原理 1对1之数值与数值的线性相关原理 典型相关分析的程