- 1、本文档共9页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
系统辨识第14讲
《系统辨识》第14讲要点
第9章 线性动态模型参数辨识-Bayes法
9.1 Bayes估计
设总体的分布为,其中为未知参数,问题是用观察到的样本对参数作出某种估计。以前我们所讨论的极大似然估计中,假设未知参数只是简单的一个未知数,在抽取样本之前,我们对参数没有任何了解,所有的信息完全来自样本。
贝叶斯估计的思想:
把未知参数看作是随机变量(或随机向量),且在抽样之前,对已有一定的知识(包括合理的猜想与准则),称其为先验知识。这种先验知识用的某种概率分布表达出来,记为。这种概率分布叫做的“先验分布”或“验前分布”。这个分布反映了在试验之前对未知参数的所把握的信息
将原来含有参数的样本分布定义为在给定值时,的条件分布。因而的联合分布密度为:
由此联合分布密度可得的边缘分布密度为:
我们可以得到在给定的条件下,的条件分布密度为:
(A)
称(A)式为的“后验分布密度”。这个条件密度代表了我们现在(即在取得样本后)对的知识,它综合了的先验信息(所反映的信息)与由样本带来的信息。
利用后验分布密度(A)作出对参数的估计或检验。
贝叶斯学派认为:在有了后验分布(A)后,对参数的估计,必须建立在这个后验分布的基础上推出,具体可结合使用者的某种要求(准则)来处理。比较常用的两种处理方法为:
(a)若取后验分布(A)的(条件)均值作为参数的估计,则称此为Bayes 条件期望估计;
(b)若取满足:后验分布(A)达最大的的作为,称为Bayes 最大后验估计。
例:设总体,其中已知,而为未知参数,的先验分布为,其中为已知的常数,为取自总体的简单样本,试求参数的Bayes条件期望估计。
解:此时:
由(A)式可得:
其中是一个与无关,只与有关的数,
记: ,将上式右端方括号中的式子化简为:
其中是一个与无关,只与有关的数,故:
注意上式说明是正态分布,且其(条件)期望为:
故参数的Bayes条件期望估计为:
可以写成:
注意:上面式子的解释。
贝叶斯估计的性能分析:
在Bayes估计中,更多的是以估计产生的效果(可以是性能方面,也可以是经济方面的)来衡量估计的优良性准则。
损失函数:设为参数的一个估计量,称二元函数为损失函数。最常用的有两种:和。他们表示若用去估计的效果越差,其损失函数就越大。注意:损失函数是一随机变量。
风险函数:称为估计量的风险函数。它是评价估计量效果好坏的一个准则,风险小估计的效果越好。
后验风险函数:给定样本,称:
为估计量的后验风险函数。后验风险函数是估计量的条件平均损失。
由条件期望的性质,显然有:。
在Bayes统计中,如何从后验分布出发进而给出参数的估计呢?前面我们给了两种常用的方法,他们是从直观的定义出发来构造参数的估计量的。下面给出另一种基于从估计的效果出发提出适当的准则来寻求参数估计量的方法,即最小风险估计方法。
定义:设为参数的一个估计量,为损失,为估计风险,若为的一个估计量,满足:对的任一估计,有:
则称为的最小风险估计。我们通常把最小风险估计称为Bayes估计。
可以证明,后验风险最小估计等于风险最小估计。因此,上面定义的Bayes估计就是后验风险最小估计。若取,则Bayes估计为:
例:设,其中参数未知,简单样本为,取的先验分布为上的均匀分布,损失函数取,求的Bayes估计。
解:由于与的联合概率分布为:
记:,则后验分布为参数取的贝塔分布:
因而:
注:关于贝塔分布和伽玛分布
贝塔分布(Beta distribution)
定义:若连续型随机变量的概率密度函数为:
其中称为贝塔函数,称服从参数为的贝塔分布。
注意:当时,贝塔分布就变为上的均匀分布。
伽玛分布(Gamma distribution)
定义:若连续型随机变量的概率密度函数为:
其中是伽玛函数,称服从参数为的伽玛分布.
注意:当时,伽玛分布就化为指数分布。
贝塔函数与伽玛函数之间的关系:
, 。
9.2 Bayes 参数辨识方法
前面一节我们讨论了Bayes估计的基本原理和方法,下面考虑利用Bayes参数估计方法对最小二乘模型参数的辨识问题。
考虑如下最下二乘模型:
式中和分别为过程的输入和输出变量,是均值为零、方差为的服从正态分布的白噪声序列, 和为阶次分别为和的迟延算子多项式,即:
令:
则有:
记表示时刻以前的输入输出数据集合,则有
利用Bayes公式:
我们可得关于参数的后验概率函数:
(A)
设参数在数据条件下的验前概率分布是均值为、协方差阵为正态分布,即:
其中。
由上一节的例子可知,参数在数据条件下的后验概率
您可能关注的文档
最近下载
- 2024年上海市普通高校招生本科艺术甲批次平行段院校专业组投档分数线美术与设计类.pdf VIP
- 2024入团共青团基础知识题库(含答案).docx
- 2024年在线网课学习课堂《健康管理科研思维训练(杭州师大 )》单元测试考核答案.pdf
- 2024年中国河南国际合作集团有限公司人员招聘考试题库及答案解析.docx
- 《骆驼祥子》读书分享PPT课件(精选图文).pptx
- 汉长安城遗址总体规划.pptx
- 欠钱不还的法院起诉书.docx VIP
- GB-T 10125-2012 人造气氛腐蚀试验 盐雾试验.pdf
- 新人教版七年级上册生物全册教案(2024年秋季新版教材).docx
- pcs-9651_080885技术和使用说明书.pdf
文档评论(0)