现代控制论文-系统辨识_贝叶斯.pdf

基于贝叶斯方法的系统辨识 摘要：建立动态系统在状态空间的模型，使其能正确反映系统输入、输出之间的 基本关系，是对系统进行分析和控制的出发点。由于系统比较复杂，往往不能通 过解析的方法直接建模，而主要是在系统输入输出的试验数据或运行数据的基础 上，从一类给定的模型中确定一个与被研究系统本质特征等价的模型。如果模型 的结构已经确定，只需确定其参数，就是参数估计问题。本文首先从原理上推导 出贝叶斯参数估计的方法，然后建立一个方阵模型，最后用贝叶斯方法识别出该 模型的参数。 关键字：状态空间、参数识别、贝叶斯、最大后验概率估计 一、贝叶斯的起源和基本原理 1.1 贝叶斯的起源 贝叶斯 Thomas Bayes ，英国数学家.1702 年出生于伦敦，做过神甫。1742 年成为英国皇家学会会员。1763 年4 月7 日逝世。贝叶斯在数学方面主要研究 概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论， 对于统计决策函数、统计推断、统计的估算等做出了贡献.1763 年发表了这方面 的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机 会的学说概论》发表于 1758 年。贝叶斯所采用的许多术语被沿用至今。 贝叶斯（Reverend Thomas Bayes 1702-1761）学派奠基性的作品是贝叶斯的 论文“关于几率性问题求解的评论”。或许是他自己感觉到他的学说还有不完善的 地方，这一论文在他生前并没有发表，而是在他死后，由他的朋友发表的。著名 的数学家拉普拉（Laplace,P.S ）用贝叶斯的方法导出了重要的“相继律”，贝叶斯 的方法和理论逐渐被人理解和重视起来。但由于当时贝叶斯方法在理论和实际应 用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。二十世纪初， 意大利的菲纳特（B.de Finetti ）及其英国的杰弗（Jeffreys,H. ）都对贝叶斯学派的 理论作出重要的贡献。 第二次世界大战后，瓦尔德（Wald,A. ）提出了统计的决策理论，在这一理 论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。 1958 年英国最悠久的统计杂志Biometrika 全文重新刊登了贝叶斯的论文，20 世 纪50 年代，以罗宾斯（Robbins,H. ）为代表，提出了经验贝叶斯方法和经典方法 相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃 的一个方向。在这里值得一提的是，八十年代以后，人工智能的发展，尤其是机 器学习、数据挖掘的兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。 1.2 贝叶斯基本原理 贝叶斯辨识方法的基本思想是把所要估计的参数看作随机变量，然后设法通 过观测与该参数有关联的其他变量，以此来推断这个参数。 P(B A)P(A) P(B A,C )P (A C ) 核心思想为：P(A B ) , P(A B,C ) P(B) P(B C ) 由已知的先验概率P(B A) 求出P(A B) 设μ是描述某一动态系统的模型，θ是模型μ的参数： Zk z (k ),u (k ), z (k 1),u (k 1), , z (1),u (1), z (0),u (0) Zk 1 z (k 1),u (k 1), z (k 2),u (k 2), , z (1),u (1), z (0),u (0) Zk z (k ),u (k ),Zk 1 如果系统的输出变量 在参数 θ及其历史记录Z 下的概率是已知的，并 z (k ) k 1 假定u(k)是一个已知的确定性序列，可将其忽略，那么利用Bayes 公式可得： p (z (k ) | ,Zk 1)p ( | Zk 1) p ( | Z