抗差估计,有偏估计.ppt

单纯形—凸类中的一种，在其内部任意两点间的连线仍处于图形的内部。 单纯形法—极点迭代法。沿着凸多面体的棱向另一个极点迭代，使目标函数的值逐次下降。 从数学意义上讲，若有一组解 1）满足（2）、（3）两式，称为基本可行解； 2）同时满足（1）、（2）和（3）三式，称为最优解。 当观测值是等权时，选权迭代法用权函数进行平差； 当观测值不等权时，选权迭代法用等价权进行平差。 之所以称以上三式为近似公式，是因为近似地视等价权为常数矩阵（其实等价权是随机量，是残差的函数）。 粗差作为一种模型误差，可以从两种角度去描述它： 1）将粗差归入函数模型—数据探测法（也称均值漂移模型） 2）将粗差归入随机模型—稳健估计法（也称方差膨胀模型） 假设观测值中仅有一个有粗差，用该法检测并剔除后，再建立新的平差系统重新平差后，再找出下一个粗差剔除，直到不含粗差。 * 为什么要研究病态方程： 当误差方程为病态时，即使观测数据服从正态分布，其最小二乘估值也不理想，甚至很差，平差结果中方差虽然最小，但方差的值却很大，即平差精度很差，而且解也相当的不稳定。 1、矩阵的条件数 一、病态问题与条件数 若系数阵A或常数项b的微小变化，会引起方程组的解x有巨大变化，则这种方程组称为“病态方程组”。A称为病态矩阵。 定义 不稳定模型：观测数据很小的误差会引起待估参数很大的误差。所以病态方程也是不稳定模型。 2、病态性程度的衡量方法 解释：复共线性 复共线性，指的是平差参数之间具有近似相关关系，反映在误差方程的设计矩阵上，就是列向量间的某些数据列可以由其余的数据列近似（非精确）地线性表示。 在最小二乘平差中，“复共线性”就是指“病态性”。 3、病态方程产生原因 1、参数选取原因。（参数近似相关或过度参数化） 2、观测原因。（样本为局部采样或接近重复采样） 3、模型选择原因。（模型建立的方法不同，其病态程度不同） 4、计算方面原因。（计算方法要稳定，计算机字节长度应长一些） 在观测数据中出现0.2%的粗差时，最小二乘估值便失去了其最优性，但0.2%的粗差概率完全正常，特别是在现代的大数据量自动测量中。所以经典平差适用的范围狭窄。 抗差估计指导思想：在抗差能力和效率（指估值最优性）中求得最佳平衡。一般要求其效率达到经典平差效率的90%以上。是在抗差的前提下谈效率。 抗差估计实质：牺牲最小二乘估计的最优性，达到抵抗粗差污染的目的。 抗差估计的特点：当观测数据的实际分布偏离假定模型时的不敏感性。其对子样分布要求不十分严格，只要子样近似服从某一模型。 若母体确实为正态时，抗差估计值无最小二乘估计值优良。 最小二乘估计的优点：能够抵御大量随机小误差对参数估值的影响；估值无偏，方差最小。 估值的效率问题：可削弱大量小误差对参数估值的影响。 抗差能力的标志：估值能容忍的粗差个数。 抗差估计的适用范围：在确定性模型中有大量正确的观测值存在，仅有少数几个是不正确的；统计模型就不一定了，如果轨迹模型是你自己定的，出界的点被认为是粗差而剔除，这是不正确的。所以抗差估计适合确定性模型而不适合拟合模型。 数据偏离正态分布的原因： （1）有粗差（观测、记录、数据输入等） （2）数据组合与舍入误差 （3）就算数据中无粗差存在，但其分布仍有微小明显的偏离正态趋势 （4）观测值之间并非完全独立 F、t、u、?2 四种检验方法由于都取决于正态分布的母体，故对于偏离正态分布的数据检验是不可靠的。 举例： 高斯断言：如果最小二乘估计量不是最优估值的话，那么，观测列中必存在一种来自外界的、未知的干扰因素所致。现已知，这种未知的干扰因素就是粗差。 稳健估计的目标： 1、在采用的假定模型下，所估计的参数应具有最优或接近最优； 2、如果实际模型与假定模型存在较小的偏差，则对应的估计参数所受影响也较小； 3、即使实际模型与假定模型有较大偏差，其参数估值的性能也不应太差，不至于对估值产生灾难性后果。 模型误差的产生和分类 模型误差：模型与客观实际的误差，也分为粗差、系统误差和偶然误差。 有粗差时用经典平差模型或无粗差时用抗差模型，都会产生模型误差。 一、影响函数 影响函数是用来判断估计量对异常值敏感程度的指标，即一个附加的观测值对估值的影响的大小。 影响函数定义式： 影响函数的重要用途： （1）若影响函数无界，则一个粗差可彻底破坏估计量，此时该种方法就不具有抗差性； （2）大于某个限差的粗差应对平差结果不产生影响，即应设一个影响函数IF=0的误差界； （3）影响函数可用图形表示，直观，重要。 广义极大似然估计－－M估计 M估计－－经典极大似然估计的推广，最接近传统的最小二乘估计。 由