[经济学]23正态分布时的统计决策.ppt

2.3正态分布时的统计决策 正态分布概率密度函数的定义及性质 多元正态概型下的最小错误率贝叶斯判别函数和决策面 为什么研究正态分布？ 物理上的合理性 ： 　　　许多实际的数据集，正态分布假设通常是较合理的近似。 数学上比较简便 ： 　　　正态分布具有许多很好的性质，有利于作数学分析。 2.3.1正态分布概率密度函数的定义及性质 ㈠单变量正态分布 单变量正态分布概率密度函数定义为 概率密度函数应满足下列关系式 p(x)≥0 (－∞＜x＜∞) ㈡多元正态分布 ⒈多元正态分布的概率密度函数 多元正态分布的概率密度函数定义为 μ，∑分别是向量x和矩阵(x-μ)(x-μ)T的期望， 其中p(xi)为边缘分布 不难证明，协方差矩阵总是对称非负定阵。且可表示为 ⒉多元正态分布的性质 ⑴参数μ和∑对分布的决定性 ⑵等密度点的轨迹为一超椭球面 ⑶不相关性等价于独立性 ⑷边缘分布和条件分布的正态性 ⑸线性变换的正态性 ⑹线性组合的正态性 ⑴参数μ和∑对分布的决定性 多元正态分布被均值向量μ和协方差矩阵∑所完全确定。 ⑵等密度点的轨迹为一超椭球面 从正态分布总体中抽取的样本大部分落在由μ和∑所确定的一个区域里(图2.9)。 ⑵等密度点的轨迹为一超椭球面 这个区域的中心由均值向量μ决定。 区域的大小由协方差矩阵∑决定。 从多元正态概率密度函数 在数理统计中上式所表示的数量 其中Vd是d维单位超球体的体积。 ⑶不相关性等价于独立性 在数理统计中，一般来说若两个随机变量xi xj之间不相关，并不意味着它们之间一定独立。下面给出不相关与独立的定义。 若 E{xi xj}= E{xi}·E{xj} 则定义随机变量xi和xj是不相关的。 若 p(xi,xj)= p(xi) p(xj) 则定义随机变量xi和xj是独立的。 一般情况下相关与独立的关系 从定义中可以看出独立性是比不相关性更强的条件，独立性要求 p(xi,xj)= p(xi) p(xj) 对于xi和xj都成立。 而不相关性说的是两个随机变量的积的期望等于两个随机变量的期望的积，它反映了xi与xj总体的性质。 若xi和xj相互独立，则它们之间一定不相关；反之则不一定成立。 多元正态分布情况 对多元正态分布的任意两个分量xi和xj而言，若xi与xj互不相关，则它们之间一定独立。 这就是说在正态分布中不相关性等价于独立性。 下面就随机向量x=[x1，x2，…xn]T进行证明。 证明: 根据xi与xj互不相关的定义，可求得： 因此 上式符合随机变量间独立性的定义，因此证明了正态随机变量中各分量间互不相关性可以与各分量间相互独立性等价。 由以上证明中还可以得出一个重要的推论。 如果多元正态随机向量x=(x1，…，xd)T的协方差阵是对角阵对角阵(对角线上的元素不为0，其他元素都是0)，则x的分量是相互独立的正态分布随机变量。 ⑷边缘分布和条件分布的正态性 多元正态分布的边缘分布和条件分布仍然是正态分布。只对二元情况来证明这一点，一般情况与此相似，只是较复杂。 二元正态分布协方差矩阵∑及其逆矩阵∑-1为 同理可以推出x2的边缘分布为 对于给定x1的条件下x2的分布，有定义 p(x2|x1) = p(x1,x2 ) / p(x1) ⑸线性变换的正态性 多元正态随机向量的线性变换仍为多元正态分布的随机向量。即设 x = [x1,x2,…,xd]T x∈Ed 是具有均值向量为μ,正定协方差矩阵为∑的正态随机向量。若对x作线性变换， y = Ax 则y服从以均值向量为Aμ，协方差矩阵为A∑AT的多元正态分布。即 p(y)~N(Aμ，A∑AT) 其中A是线性变换矩阵。且是非奇异的。 证明： y = Ax， 即x=A-1y x的均值向量为μ，y的均值向量为υ υ=Aμ, 即μ=A-1υ 根据雅可比行列式的定义，有 |J|=|A| 这样y的概率密度函数与x的概率密度函数之间的关系为 即 p(y)~N(Aμ，A∑AT) 根据线性变换的正态性可以说明，用非奇异阵A对x作线性变换后，原来的正态分布正好变成另一参数不同的正态分布。 变换后的意义 由于∑是对称阵，根据线性代数知识总可以找到某个A使得变换后y的协方差阵A∑AT为对角阵，这就意味着y下的各个分量间是相互独立的(性质⑶的推论)，也就是说我们总可以找到一组坐标系，使各随机变量在新的坐标系中是独立的。 这一性质对解决某些模式识别问题有着重要意义。 ⑹线性组合的正态性 若x为多元正态随机向量，则线性组合 这时 根据性质⑸，y是服从以均值向量ATμ，协方差阵AT∑