__Probability.PPTVIP

第一部分：概率 对应教材Chp1-5 课堂上讲述会较快，将知识点串起来，建议大家通读教材 主要内容： 随机变量及其分布 独立、条件独立、贝叶斯公式 期望、方差 概率不等式及收敛性 概率和随机变量 什么是“数据”（Data）？ 什么是“模型”（Model）？ 样本空间和事件 考虑一个事先不知道输入的试验： 试验的样本空间：所有可能输出 的集合 如果抛掷两次硬币，则样本空间为 事件A是样本空间 的子集 上述试验中第一次正面向上的事件为 概率 对每个事件A ，我们定义一个数字P(A) ，称为A 的概率。概率根据下述三条公理： 1、事件A 的概率是一个非负实数：P(A) ≥ 0 2、合法命题的概率为1：P( ) = 1 3、对两两不相交（互斥）事件A1, A2, …， 公理的推论 不可满足命题的概率为0 P (?) = 0 P(A ∩ Ac) = 0 对任意两个事件A 、 B P(A ∪ B) = P (A) + P(B) – P(A ∩ B ) 对事件A的补事件Ac P(Ac) = 1 – P(A) 对任意事件A 0 ≤ P(A) ≤ 1 随机变量 随机变量是一个映射 ，将一个实数值 赋给一个试验的每一个输出 例2.2：抛10次硬币，令X(ω)表示序列ω中正面向上的次数，如当 ω = HHTHHTHHTT，则 X(ω) = 6。 例2.3：令 表示单位圆盘，输出为该圆盘中的一点 ，则有随机变量： 数据和统计量 数据是随机变量的具体值 统计量是数据/随机变量的任何函数 任何随机变量的函数仍然是随机变量 分布函数 令X为一随机变量， x为X的一具体值，则随机变量X的累积分布函数 (cumulative distribution function, CDF) 定义为 CDF是一个非常有用的函数：包含了随机变量的所有信息。 CDF的性质：略 （见书） 例：随机变量的CDF 例2.6：公正地抛硬币2次，令X表示正面向上的次数，则 CDF 右连续、非减函数 对所有实数x都有定义 虽然随机变量只取0、1、2 概率函数 离散型随机变量的概率函数 (probability function or probability mass function, pmf)定义为 对所有的 CDF与pmf之间的关系为： 例：离散型随机变量的pmf 例2.10：公正地抛硬币2次，令X表示正面向上的次数，则 概率函数为： 概率（密度）函数 对连续型随机变量X，如果存在一个函数 ，使得对所有的x， ，且对任意 有 则函数 被称为概率密度函数 (probability density function, pdf)。 CDF与pdf之间的关系： 在所有 可微的点x，则 例：连续型随机变量的CDF和pmf 例2.12：设X有PDF: 显然有 有该密度的随机变量为(0,1)上的均匀分布：Uniform(0, 1)，即在0和1之间随机选择一个点。 其CDF为： 常见分布族 离散型随机变量 [2.3节] 均匀(Uniform)分布 贝努利(Bernoulli)分布 二项(Binnomial)分布 超几何(HyperGeometric)分布 几何(Geometric)分布 泊松(Possion)分布 连续型随机变量 [2.4节] 均匀(Uniform)分布 正态(Normal)分布 Gamma分布 Beta分布 分布 指数(Exponential)分布 常用离散分布 例Binomial分布：X为一次抛硬币的输出， 则我们说 常用连续分布 例均匀分布： 正态分布 高斯分布/正态分布： 最重要的分布之一 在实际遇到的许多随机现象都服从或近似服从正态分布 如考试成绩 中心极限定理：随机样本的均值近似服从正态分布 对任意IID样本 ，则 标准正态分布 当 时，正态分布称为标准正态分布，通常用Z表示服从标准正态分布的变量，记为 。 pdf和CDF分别记为 标准化： 若 ，则 若 ，则 正态分布的线性组合仍是正态分布：若 是独立的，则