正态分布中的Bayes决策.ppt

gi（x）为线性函数，故决策面是一个超平面。协方差矩阵：是一个对称矩阵，只考虑S为正定矩阵的情况，也就是:|S|所有的子式都大于0同单变量正态分布一样，多元正态分布r(x)可以由m和S完全确定，常记为N(m,S)。01参数μ和Σ完全决定分布02等概率密度轨迹为超椭球面03不相关性等价于独立性04边缘分布和条件分布的正态性05线性变换的正态性06线性组合的正态性(2)多元正态分布的性质对于d维随机向量x，它的均值向量m也是d维的，协方差矩阵是对称的，其中有d×(d+1)/2个独立元素。01r(x)可由m和S完全确定，实际上r(x)可由d×(d+1)/2+d个独立元素决定。常记为：02r(x)～N(m,S)03①.参数m和S对分布的决定性②.等密度点的轨迹为一超椭球面logo由r(x)的定义公式可知，右边指数项为常数时，密度r(x)的值不变，所以等密度点满足： 二维情况下，上式的解是一个椭圆轨迹，其长短轴方向由Σ协方差矩阵的特征向量决定，三维时是一个椭球面，超过三维则是超椭球面，主轴方向由协方差矩阵S的特征向量决定，各主轴的长度则与相应的特征值成正比。从下图可以看出，从正态分布总体中抽取的样本大部分落在由m和S所确定的一个区域里，这个区域的中心由均值向量m决定，区域的大小由协方差矩阵决定。在数理统计中，令：式中g称为x到m的马氏距离（Mahalanobis）距离。所以等密度点轨迹是x到m的马氏距离g为常数的超椭球面。01概率论中，一般来说，两个随机变量xi和xj之间不相关，并不意味着它们一定独立。如果xi和xj之间不相关，则xixj的数学期望有：如果xi和xj相互独立，则有：0203③.不相关性等价于独立性如果xi和xj相互独立，则它们之间一定不相关，反之则不成立。但是对服从正态分布的两个分量xi和xj，若xi和xj互不相关，则它们之间一定独立。证明：见书P27根据独立性的定义：正态分布随机向量的各分量间互不相关性与相互独立等价。独立性是比不相关更强的条件。不相关反映了xi和xj的总体性质。从(3)证明得出的结论r(x)表达式，如果x用xj表示，有：也就是说，边缘分布r(x1)服从均值为m，方差为s112的正态分布：同理，010203④.边缘分布与条件分布的正态性二元正态分布协方差矩阵∑及其逆矩阵∑-1为下面以二元正态分布为例进行证明0102根据边缘分布定义证明条件分布仍然是正态分布（作业题）03另外，条件分布，给定x1的条件下x2的分布：02=101对于多元随机向量的线性变换，仍为多元正态分布的随机向量。就是：x服从正态分布r(x)～N(m,S)，对x作线性变换y=Ax，其中A为线性变换矩阵，且|A|≠0，则y服从正态分布：r(x)～N(Am,ASAT)证明：x经过变换为y，设变换矩阵A为非奇异矩阵，y=Ax即x=A-1y⑤.线性变换的正态性即Ex=m,Ey=n01根据雅克比行列式的定义，有|J|=|A|02x的均值向量为m，y的均值向量为n03所以y的概密函数与x的概密函数之间的关系为：04所以：n=Am即m=A-1n05由于：|A|=|AT|=|AA|1/2（对称正定）由上面的结论可以得到：性质5说明了用非奇异阵A对x作线性变换后，原来的正态分布正好变成另一个参数不同的正态分布。01由于∑是对称阵，根据高等代数知识总可以找到某个A，使得变换后y的协方差矩阵A∑AT为对称阵，02这就意味着y的各个分量之间是相互独立的，也就是总可以找到一组坐标系，使各随机变量在新的坐标系下是独立的。03即：若x为多元正态随机向量，则线性组合y=aTx是一维的正态随机变量：利用性质(5)证明其中，a与x同维。做线性变换y=ATx,得⑥.线性组合的正态性由性质(5)，y是服从均值向量ATm，协方差阵AT∑A的多元统计分布,01由性质(4)，y的边缘分布的正态性，可以得出y=aTx服从正态分布，02其中A=[a,A1]为非奇异阵，A1为d×(d-1)为矩阵，y=[y,Y1]T03其概率密度函数为：前面，我们已经把基于Bayes公式的几种分类判决规则抽象为相应的判决函数和决策面方程。这几种方法中Bayes最小错误率判决规则是一种最基本的方法。如果取0－1损失函数，最小风险判决规则和最大似然比判决规则均与最小错误判决规则等价。正态分布中的Bayes分类方法下面以最小错误判