第一讲 数据预处理.ppt

第一讲 数据的预处理 数据的预处理 参数估计 一、变量的类型 1、字符型变量 2、数值型变量 3、日期型变量 二、字符型变量的处理 1、频数分析 2、交叉频数分析 数据预处理.xls 三、数值型数据的简单预处理（异常数据的处理） 1、集中趋势 均值： 简单算术平均 加权平均： 白内障患者的住院天数 2、离散趋势 方差： 白内障患者的住院天数 四、常用的分布 分布函数： 分布列 分布密度 数学期望 方差 1、正态分布 normpdf(x,mean,sigma） normcdf(x,mean,sigma） 2、 分布 chi2pdf(x,n) 3、 分布 tpdf(x,n) 4、 分布 fpdf(x,n) norminv(1-a,mean,sigma） 5、指数分布（exp)和泊松（poiss）分布 指数分布的密度 泊松分布主要用于描述单位时间内来到服务系统的人数， 指数分布主要用于描述服务系统中的服务时间。 泊松分布的分布列 是来到服务系统中[0，t]顾客到达的间隔时间 6、分布函数的命令 normpdf（x,mean,sigma)、normcdf （x,mean,sigma) norminv（p,mean,sigma) 熟悉分布的名称 disttool normrnd(mean,sigma,m,n) 例1 有一批建筑房屋用的木柱，其中80%的长度不小于 3m，现从这批木柱中随机地抽取100根，问其中至少有 30根短于3m的概率？ 解 记 为100根木柱中长度不小于3m的根数 normcdf(-2.5,0,1)=6.2097e-003 五、重要统计量的分布 1、样本均值 1.1 总体 样本均值 1.2 总体未知分布 样本均值 近似服从 2、样本方差 总体 3、 统计量 六、数理统计的一些简单理论 1、参数的点估计 设总体 样本为 估计未知参数： 例2 设 ，则 例3 设 ，则 数据预处理.xls 2、参数的区间估计 设总体 ，样本 对给定的 ，估计未知参数： 使得 其中： 置信下限 置信上限 例4 从某种绝缘材料中随机抽取30个样品，在一定条件下 进行寿命试验，测得失效时间（单位为：小时）为： 假设数据来自于 求参数 的95%的置信区间 的95%的置信区间为 的95%的置信区间为 例5 某网站随机抽取的100名使用者调查表明，有43个的 使用者为女性，请问女性使用比例为95%的置信区间为多 少？ 假设数据来自于 求参数 的95%的置信区间 其中 为 次试验中关心的事件出现的频率 [p,pci]=mle(binomial,x,0.05,100) [u,sigma,pcu,pcsigma]=normfit(x,0.05)