概率密度函数的参数估计.ppt

**需要推导**用GMM的导数来演示梯度下降的复杂性**M步并一定要找到最优解，新的Q能够比原来的大就可以，称为“广义期望最大算法”*计算连续7天是晴天的概率：0.0078125前3天晴、后4天下雨的概率：0****连续三天的活动分别为散步、做家务和购物的概率：0.0379***举例解释存在很多的重复计算，如w1w1w3w4w2和w1w1w3w4w3之间只有最后一步需要重新计算，前４步都是重复的．**解释前向计算与反向回朔的过程****f(delta,deltan)是一个高斯积分，大小只与delta和deltan有关，与x无关**f(delta,deltan)是一个高斯积分，大小只与delta和deltan有关，与x无关一阶Markov模型实例某个城市天气的变化可以采用一阶马尔科夫模型描述，每天的天气有4种状态{晴、阴、雨、雪}。第30页,共61页，星期六，2024年，5月一阶隐含Markov模型隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态输出一个观察值。隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。第31页,共61页，星期六，2024年，5月一阶隐含Markov模型实例我们不知道某城市的天气情况，只知道当地某人每天的活动情况{散步、购物、做家务}。第32页,共61页，星期六，2024年，5月HMM的工作原理观察序列的产生过程：HMM的内部状态转移过程同Markov模型相同，在每次状态转移之后，由该状态输出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。输出概率：以离散的HMM为例，隐状态可能输出的观察值集合为{v1,v2,…,vK}，第i个隐状态输出第k个观察值的概率为bik。例如：T=5时，可能的观察序列V5=v3v2v3v4v1第33页,共61页，星期六，2024年，5月HMM的参数表示状态转移矩阵：A，M*M的方阵；状态输出概率：B，M*K的矩阵；初始概率：π，包括M个元素。 M个状态，K个可能的输出值。第34页,共61页，星期六，2024年，5月HMM的三个核心问题估值问题：已有一个HMM模型，其参数已知，计算这个模型输出特定的观察序列VT的概率；解码问题：已有一个HMM模型，其参数已知，计算最有可能输出特定的观察序列VT的隐状态转移序列WT；学习问题：已知一个HMM模型的结构，其参数未知，根据一组训练序列对参数进行训练；第35页,共61页，星期六，2024年，5月估值问题一个HMM模型产生观察序列VT可以由下式计算：rmax=MT为HMM所有可能的状态转移序列数；为状态转移序列输出观察序列的概率；为状态转移序列发生的概率。第36页,共61页，星期六，2024年，5月估值问题的计算计算复杂度：第37页,共61页，星期六，2024年，5月HMM估值算法的简化第38页,共61页，星期六，2024年，5月HMM的前向算法初始化：迭代计算：结束输出：计算复杂度：第39页,共61页，星期六，2024年，5月解码问题解码问题的计算：同估值问题的计算类似，最直观的思路是遍历所有的可能状态转移序列，取出最大值，计算复杂度为：O(MTT)。同样存在着优化算法：Viterbi算法。第40页,共61页，星期六，2024年，5月Viterbi算法因为需要回朔最优路径，所以建立一个矩阵Φ，其元素保存第t步，第i个状态在第t-1步的最优状态。初始化：迭代计算：结束：路径回朔：第41页,共61页，星期六，2024年，5月Viterbi算法图示第42页,共61页，星期六，2024年，5月学习问题HMM的学习问题： 已知一组观察序列(训练样本集合)： 如何确定最优的模型参数θ，使得模型产生训练集合V的联合概率最大 这同样是一个最大似然估计问题，需要采用EM算法。第43页,共61页，星期六，2024年，5月图示第44页,共61页，星期六，2024年，5月变量说明：表示在t-1时刻HMM处于状态ωi，并且从1?t-1时刻之间产生观察序列V1?t-1的概率；：表示在t时刻HMM处于状态ωj，并且从t+1?T时刻之间产生观察序列Vt+1?T的概率；第45页,共61页，星期六，2024年，5月变量说明输出观察序列VT时，在t-1时刻HMM处于ωi状态，在时刻t处于ωj状态的概率：第46页,共61页，星期六，2024