参数估计的基本理论和相关抵消(第五讲).ppt

29 极小化问题的一般解法 2 然后再沿着方向 进行第二步有哪些信誉好的足球投注网站，一般的迭代形式为 ， 。 迭代继续进行直到满足某个判据为止。例如， ，式中 是某个预定值，或者，如果找不到使 的方向，也可接受 作为解。 相关抵消 图1 相关抵消器 本节为重点内容，需在黑板上祥解 相关抵消与最佳线性估计的关系 (10) 相关抵消与最佳线性估计的关系 上式与(6、7)式完全一致，这说明了相关抵消与最佳线性估计的一致性（最佳线性估计只能估计线性相关部分） 相关抵消的应用 参数估计的基本理论和相关抵消 第五讲 主 要 内 容 参数估计介绍 参数估计解释 最小方差估计MV 最大似然估计ML 最小二乘估计LS 三种估计方法总结 估计的评价标准 参数估计和极小化 相关抵消 1 参数估计介绍 参数估计应用背景：在很多实际问题中，随机信号一般是符合或近似符合各态遍历的，所以可以用一个样本函数在有限的时间轴上的数据来估计出总体的参数。 参数估计的范畴：参数估计是一个统计推断问题，也是信号处理的一个重要课题。如何在测得的一个样本观测值后来推断出总体的参数（如均值、方差等），就是属于参数估计的问题。 2 参数估计介绍 估计的范畴：估计理论就是研究对观测数据进行怎样的运算才能获得对未知参数的最佳估计值的理论，所谓最佳是指估计值与真值最“接近”，衡量这种接近程度的有各种不同的标准，就产生了各种估计方法。 常用的估计方法：最小方差估计、最小线性方差估计、最大似然估计、最小平方估计，另外还有贝叶斯估计、维纳滤波、卡尔曼滤波等。 3 参数估计解释 设被观测的对象为一随机向量x，实际观测结果为随机向量z。我们要讲的估计问题就是根据观测向量z去构造一个函数 ，使 成为x的最佳估计。 例如： 4 最小方差估计定义 设 是根据观测值z对x所求的某种估计，将其估计误差记做 。希望误差 越小越好，即估计误差越密集在零点附件越好，而估计误差的二阶原点混合矩 （也称均方误差阵）就是表示误差分布在零点附近密集程度。也就是要求估计值 ，使估计误差的二阶原点混合矩 达到最小，这个估计值 就叫做x基于观测值z的最小方差估计。 5 最小方差估计局限性 在最小方差估计中必须要知道x和z的联合概率密度，这就限制应用。下面介绍一种较常用的最小方差估计的特殊情况－线性最小方差估计。 6 线性最小方差估计定义（最优线性估计） 设估计量 只是观测量z的线性函数，即 ，此时称线性最小方差估计，又叫最优线性估计，记做 。式中a是与被估计量x同维的非随机向量，B是行数同x的维数，列数同z的维数的非随机矩阵。根据最小方差估计的原理，选择目标函数 ，令 使 达到最小。设 ，所以求 相当于求 和 。 7 线性最小方差估计优越性 可以放宽条件，不需要知道x和z的联合概率密度，只要知道x和z的一、二阶矩就够了，即 8 推导最优线性估计参数 代数导出 和 ： 估计误差的均方差＝估计误差的方差 掌握结论 不要求推导过程 9 最大似然估计的提出 在实际问题中碰到的随机变量，经常知道其分布密度函数的类型，但不知其参数，因此写不出确切的密度函数，例如，测量一物体长度，测量值是一个随机变量，服从正态分布，即密度函数为 但均值 和方差 的值不知道。为了写出确切的密度函数，可以根据样本值 （即测量值）来估计出均值和方差的值。 10 最大似然估计的提出 更一般地，待求取的未知参数有m个，即 （上例中 ， ），此时设x的分布密度函数是 ，若x的样本值是 ，那么如何估计出参数 的值？估计的方法有很多。这里介绍一种最重要的、适用范围较广的最大似然估计法。 11 最大似然估计定义 设已知n个简单随机样本值 ，令 我们称为样本的似然函数。 如果 在 达到最大值，则称 为 的最大似然估计，并记做 。 12 最大似然估计的计算 将