第三章贝叶斯估计理论 LMMSE.ppt

信号处理的例子——维纳滤波器 信号模型： 问题表述：用线性滤波器处理 ，得到去噪的信号，使得所求信号 相关的 最小 滤波、平滑、预测 FIR维纳滤波 原理上： 实际中： IIR维纳滤波 可看作 ，此时维纳滤波为时不变的 则 维纳-霍夫等式为 可采用 “谱因式分解”求得 维纳滤波为IIR时不变的 定长FIR维纳滤波 数据： FIR平滑器 为便于解释，考虑N=1的情况： IIR平滑器 基于数据 估计 维纳-霍夫方程为： 1步预测的结果：对于AR（3） 贝叶斯估计理论——内容安排 主要内容 引言 线性贝叶斯估计量（LMMSE） 估计量总结 估计方法 在经典方法 中，数据信息总结在概率密度函数p(x;θ)中，其中PDF是θ的函数。 在贝叶斯方法 中，由于先验PDFp(θ)描述了有关θ的知识而增加了数据的信息。数据信息总结在联合PDF p(x,θ)中。 CRLB CRLB BLUE BLUE MLE MLE LSE LSE ME ME MMSE MMSE MAP MAP LMMSE LMMSE 估计量的选择 作业：p330 12.2，12.6 《信号检测与估计》 Signal Detection and Estimation 贝叶斯估计理论 ——LMMSE和小结 罗义军 QQ:896442923 贝叶斯估计理论——内容安排 主要内容 引言 线性贝叶斯估计量（LMMSE） 估计量总结 一般贝叶斯估计量 选择估计量使得平均代价（贝叶斯风险）最小 对给定代价函数，可得最优估计量的形式 三种代价函数 图11.2 不同代价函数的估计量 最小均方误差（MMSE）估计 最大后验概率（MAP）估计 条件中位数估计 LMMSE的引入 MMSE含有多重积分，MAP含有多维最大值求解问题。联合高斯假设条件下容易得到，一般情况下难以求得 不能做出高斯假定时，选择保留MMSE准则 限定估计量线性 LMMSE估计 类似于BLUE 估计量的显式可由前两阶矩来确定 卡尔曼滤波器是维纳滤波器的重要推广 贝叶斯估计理论——内容安排 主要内容 引言 线性贝叶斯估计量（LMMSE） 估计量总结 线性MMSE估计 假定标量参数 给定数据矢量 假定：联合PDF未知；已知前两阶矩； X与θ统计相关 目标：求满足如下形式的最佳估计量 选择加权系数 使贝叶斯MSE最小，导出的估计量称为 LMMSE估计量 最佳加权系数的推导 代入得 对 求偏导数， 代入可得 这里 标量！ 展开 可得 对加权系数 求偏导 可得 注意：LMMSE估计仅需1阶和2阶矩，不需PDF 代入并化简 可得 若 和 统计独立，则 完全基于先验 信息，数据无用 例12.1 WGN中具有均匀先验PDF的DC电平 若 ， 需要积分而无法得到闭合形式的解 因此，采用LMMSE 回顾例10.1 1×N 几何解释 内积空间(IP Spaces) 矢量：全部随机变量集合/0均值、有限方差（ZMFV） 标量：全部实数集合 内积：X,Y = E{XY} 构成内积空间 首先：是矢量空间 用于估计标量随机变量 由N个随机变量的线性组合进行估计 应用正交原理 假定 可逆 矢量LMMSE估计 待估参数 线性估计量 目标：对每个元素，使 最小 可将矩阵A的第i行和矢量a第i个元素，看成 的标量 LMMSE估计量的形式 已知每个待估参数的标量LMMSE形式 得出相应的解 组合为矢量形式 矢量LMMSE的解 矢量LMMSE估计 若 相似地，可得 矩阵 LMMSE估计量的两个性质 1. 在线性变换上是可以转换的 若 且 为LMMSE估计量， 则 为 的LMMSE估计量 2. 未知参数之和的LMMSE估计量是每个估计量之和 若 则 贝叶斯高斯-马尔可夫定理 令数据为 应用前面的结果，可得 与贝叶斯线性估计（已包含高斯假定）形式相同 除非最佳估计线性，通常为次佳估计 LMMSE只需得到均值和协方差矩阵 则 若 定理4.2 一般线性模型的MVUE 定理11.1 贝叶斯线性模型下MMSE