中科院机器学习Lecture5_6_MultivariateNormal.pdf

多元正态分布 Chapter 5 主要内容 • 多元正态分布(Multivariate Normal, MVN) • 联合高斯分布推断 • MVN的MLE推断 • MVN的贝叶斯推断 – 均值 – 协方差 – 均值协方差 • 判别分析 多元正态分布 D D´D • 一般形式：x Î ,ΣÎ 1 ì 1 T ü ï ï ï -1 ï  x| μ,Σ = exp - x- μ Σ x- μ ( ) 2 D 2 1 2 íï 2 ( ) ( )ýï p Σ ï ï ( ) î þ T μ= x , Σ= x- μ x- μ • ( ) (( ) ( )) • 协方差(Covariance)还可写成(eg, D=2) æ 2 ö s rss ÷ ç 1 1 2 Σ=ç ÷÷ çç 2 ÷ èrss s ø 1 2 2 D ´D +1 ( ) • 协方差矩阵有 独立元素，是正定矩阵 2 • 协方差的逆= 精度(precision) 2D高斯分布的pdf æ 2 ö 2 s 0 ÷ 一般情况 Σ=çççç 1 2 ÷÷÷ Σ=sI è0 s2 ø 协方差的特征值分解 水平集(Level set): 特征值分解： Mahalanobis dist = const Σ=UΛUT 2D椭圆曲线 2 2