误差与数据处理课件.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 从样本估计总体：参数估计 极大似然估计 极大似然估计?高斯分布 推导随机误差分布的密度函数 极大似然估计?高斯分布 极大似然估计?高斯分布 极大似然估计?高斯分布 假设检验 假设检验的原理(参见：假设检验.doc) 假设检验的应用 测量值的正态概率分布 等距直方图?总体的概率密度函数（前已介绍） 等频率直方图?拟合优度检验法 QQ检验法（直线检验法） 假设检验 等频率直方图?拟合优度检验法 假设检验 假设检验 QQ检验法 假设检验 QQ检验法(续) 假设检验 QQ检验法(续) 假设检验 QQ检验法(续) 假设检验 QQ检验法(续) 假设检验 QQ检验法(数值试验) Matlab程序（源程序） 经验分布函数：cdfplot 正态性假设检验：qqplot, normplot 假设检验 假设检验—QQ检验法 例：已知20名学生的各科平均成绩为：56，23，59，74，49，43，39，51，61，99，23，56，49，75，20. 请检验其正态性。 Matlab程序： A=[56 23 59 74 49 43 39 51 61 99 23 56 49 75 20] qqplot(A),normplot(A) 假设检验 作业1： 根据上述介绍的算法，自行设计实现myqqplot(x)，图示数据正态性检验，计算相关系数r并将其值显示在图上适当的位置; 使用myqqplot针对上例数据进行正态分布性检验。 数据集中离散程度的可视化度量 Box plot（盒图） 分位数 (quartile) P(XXp)=p，则Xp称为p分位数 p=0.5时，Xp又称为中位数 四分位数 下四分位数：p=0.25； 中位数：p=0.5； 上四分位数：p=0.75 直观解释： 将所有数值按大小顺序排列并分成四等份，处于三个分割点位置的得分就是四分位数。 最小的四分位数称为下四分位数：所有数值中，有四分之一小于下四分位数，四分之三大于下四分位数。 中点位置的四分位数就是中位数； 最大的四分位数称为上四分位数：所有数值中，有四分之三小于上四分位数，四分之一大于上四分位数 数据集中离散程度的可视化度量 四分位数间距interquartile range (IQR) IQR=q0.75-q0.25 代表中间50%数据的极差值 下界lower limit (LL) 和上界upper limit (UL) LL=q0.25 – 1.5*IQR UL=q0.75 + 1.5*IQR 超出LL和UL的观测点可视为异常点（Outlier） 邻近值Adjacent values 如果不存在异常点，则邻近值为观测值的最大值和最小值 否则，邻近值为LL和UL 数据集中离散程度的可视化度量 数据集中离散程度的可视化度量 Box plot (绘制box图) 用水平线画出三个四分位数，连接成盒装； 用水平线画出邻近值； 从下四分位数出发用竖线与最小的邻近值相连； 从上四分位数出发用竖线与最大的邻近值相连； 将异常点标用*号标注在图上 数据集中离散程度的可视化度量 Help boxplot?Examples Ind=(Origin==‘G’); Ger=MPG(ind(:,1)); boxplot(Ger); (重点以Germany为例进行说明) 数据集中离散程度的可视化度量 例： data1=normrnd(0,1,100,1); data2=normrnd(0,10,100,1); data3=normrnd(10,1,100,1); data=[data1;data2;data3]; style1=repmat(1,100,1); style2=repmat(2,100,1); style3=repmat(3,100,1); style=[style1; style2; style3]; boxplot(data,style); grid on; 数据的变换与校正 数据的近似正态化变换 为什么要变换？ 使前提假设成立 容易讨论其性质 如何变换？ 模变换法（略） 幂变换法 box-cox变换 数据的变换与校正 幂变换法 Box-Cox变换法 数值试验 Matlab: BoxCox函数（type boxcox） Example:help boxcox 数据的变换与校正