概率论及数理统计14.ppt

大数定律和中心极限定理是概率论的重要基本理论，它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要的意义。 迄今为止,人们已发现很多大数定律(laws of large numbers)所谓大数定律，简单地说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。 依概率收敛 大数定律的重要意义： 伯努利大数定律建立了在大量重复独立试验中事件出现频率的稳定性，正因为这种稳定性，概率的概念才有客观意义，伯努利大数定律还提供了通过试验来确定事件概率的方法，既然频率 与概率p有较大偏差的可能性很小，我们便可以通过做试验确定某事件发生的频率并把它作为相应的概率估计。 例： 计算定积分 中心极限定理 * * * 第四章 大数定律与中心极限定理 本章要解决的问题 为何能以某事件发生的频率 作为该事件的 概率的估计？ 为何能以样本均值作为总体 期望的估计？ 为何正态分布在概率论中占 有极其重要的地位？ 大样本统计推断的理论基础 是什么？ ANSWER 大数 定律 中心极 限定理 在叙述大数定律之前，首先介绍两个基本概念。 定义： 设 为一个随机变量序列，记为 ，若对任何n≥2，随机变量 都相互独 立，则称 是相互独立的随机变量序列。 定义： 设 为一随机变量序列，X为一随机变 量或常数，若对任意ε＞0，有 则称 依概率收敛于X,记为 或 ， . 大数定律 定义:设{Xk}是随机变量序列，数学期望E(Xk)(k=1,2,...)存在，若对于任意ε 0，有 则称随机变量序列{Xn}服从大数定律. 切比雪夫大数定律 相互独立， 设随机变量序列 (指任意给定 n 1, 相互独立)， 数学期望和方差(存在） 则 有 定理的意义： 当 n 足够大时，算术平均值几乎就是一个常数, 可以用算术平均值近似地代替数学期望. 具有相同数学期望和方差的独立随机变量序列的 算术平均值依概率收敛于数学期望.即 马尔可夫大数定律 设 是随机变量序列，若成立 则 服从大数定理 例： 伯努利大数定律 设事件A发生的概率为p，在n重贝努利试验中A发生的 频率为 ，则对任意的ε＞0，有 这是历史上最早的大数定律，是贝努利在1713年建立 的。概率论的研究到现在约有300多年的历史，最终以事件 的频率稳定值来定义其概率。作为概率这门学科的基础， 其“定义”的合理性这一悬而未决的带根本性的问题,由贝努 利于1713年发表的这个“大数定律”给予了解决，被称为概 率论的第一篇论文,为概率论的公理化体系奠定了理论基础 之所以被成为“定律”,是这一规律表述了一种全人类多年的 集体经验.因此，对尔后的类似定理统称为大数“定律”。 辛钦大数定律 设 相互独立，服从同一 分布，且具有数学期望 E(X k) = ? , k= 1,2,…, 则对任意正数 ? 0 作为所求解的近似值。由大数定律可知，如果X1，X2，…，XN独 立同分布，且具有有限期望值（E(X)∞），则 即随机变量X的简单子样的算术平均值 ，当子样数Ｎ充分大时，以概率1收敛于它的期望值E(X)。 蒙特卡罗方法是由随机变量X的简单子样X1，X2，…，XN的算术平均值： 大数定理的应用——蒙特卡罗方法 在一定条件下,许多随机变量的极限分布是正态分布:“若一个随机变量X可以看着许多微小而独立的随机因素作用的总后果,每一种因素的影响都很小,都有不起压倒一切的主导作用,则X一般都可以认为近似地服从正态分布.” 含义： 例如：对某物的长度进行测量,在测量时有许多随机因素影响测量的结果.如温度和湿度等因素对测量仪器的影响,使测量产生误差X1;测量者观察时视线所产生的误差X1;测量者心理和生理上的变化产生的测量误差X3;…显然这些误差是微小的、随机的,而且相互没有影响. 一般地,在研究许多随机因素产生的总影响时,很多可以归结为研究相互独立的随机变量之和的分布问题,而通常这种和的项数都很大.因此,需要构造一个项数越来越多的随机变量和的序列: 定义引入 我们关心的是当n→∞时,随机变量和∑Xi的极限分布是什么?由于直接研究∑