用极大似然法进行参数估计摘要.doc

北京工商大学 《系统辨识》课程 上机实验报告 （2014年秋季学期） 专业名称 ： 控制工程 上机题目 ： 极大似然法进行参数估计 专业班级 ： 2015年 1 月 一 实验目的 通过实验掌握极大似然法在系统参数辨识中的原理和应用。 二 实验原理 1 极大似然原理 设有离散随机过程与未知参数有关，假定已知概率分布密度。如果我们得到n个独立的观测值…，则可得分布密度，，…,。要求根据这些观测值来估计未知参数，估计的准则是观测值{}的出现概率为最大。为此，定义一个似然函数 （1.1） 上式的右边是n个概率密度函数的连乘，似然函数L是的函数。如果L达到极大值，的出现概率为最大。因此，极大似然法的实质就是求出使L达到极大值的的估值。为了便于求，对式（1.1）等号两边取对数，则把连乘变成连加，即 （1.2） 由于对数函数是单调递增函数，当L取极大值时，lnL也同时取极大值。求式（1.2）对的偏导数，令偏导数为0，可得 （1.3） 解上式可得的极大似然估计。 2 系统参数的极大似然估计 Newton-Raphson法实际上就是一种递推算法可以用于在线辨识不过它是一种依每次观测数据递推一次的算法现在我们讨论的是每观测一次数据就递推计算一次参数估计值得算法 设系统的差分方程为 （2.1） 式中 因为是相关随机向量，故（2.1）可写成 （2.2） 式中 （2.3） （2.4） 是均值为0的高斯分布白噪声序列。多项式，和中的系数和序列的均方差都是未知参数。 设待估参数 （2.5） 并设的预测值为 （2.6） 式中为预测误差；，，为，，的估值。预测误差可表示为 （2.7） 或者 = （2.8） 因此预测误差满足关系式 （2.9） 式中 假定预测误差服从均值为0的高斯分布，并设序列具有相同的方差。因为与，和有关，所以是被估参数的函数。为了书写方便，把式（2.9）写成 （2.10） （2.11） 或写成 （2.12） 令k=n+1,n+2,…,n+N,可得的N个方程式，把这N个方程式写成向量-矩阵形式 （2.13） 式中 , , 因为已假定是均值为0的高斯噪声序列，高斯噪声序列的概率密度函数为 （2.14） 式中y为观测值，和m为y的方差和均值，那么 （2.15） 对于符合高斯噪声序列的极大似然函数为 （2.16） 或 （2.17） 对上式（2.17）等号两边取对数得 （2.18） 或写为 （2.19） 求对的偏导数，令其等于0，可得