过程辨识Lec3.ppt

最小二乘参数辨识方法 最小二乘是1795年高斯预报行星运行轨道时提出的。它利用最小二乘原理，通过极小化模型与观测值之间的误差平方和来确定模型的参数。 最小二乘法的基本结果有两种形式，一种是经典的一次性完成算法；二是“现代”递推算法。 最小二乘法的成功应用与噪声性质密切相关 Carl Friedrich Gauss 1777-1855 Braunschweig/Germany 最小二乘辨识问题的表达形式 过程 ?(t) 过程噪声 过程输出 y(t) 测量噪声 w(t) u(t) 过程输入 z(t) 输出测量值 线性离散模型 ? h(k) y(k) z(k) n(k) 模型输入变量 模型输出变量 系统噪声 未知模型参数 辨识问题的最小 二乘格式： z(k)=hT(k)?+n(k) 待辨识过程： 辨识问题： 设x(t)为一随机过程（即由大量随机变量x1(t), x2(t), x3(t),…..所构成的总体 ），则有统计数字特征： 均值 ?x(t)=E{x(t)} 均方 ?2x(t)=E{x(t)2} 方差 ?2x(t)=E{(x(t)- ?x(t))2} 自相关函数 Rx(t1 , t2)=E{x(t1)x(t2)} 协方差函数 Cx(t1 , t2)=E{(x(t1)- ?x(t1)) (x(t2)- ?x(t2))} 平稳随机过程：若随机过程的统计性质（统计数字特征）不随时间改变，则称它为平稳随机过程。 宽平稳随机过程：把上述统计数字特征局限为?x(t)和Rx(t1 , t2)，即?x(t)和Rx(t1 , t2)不随时间改变, 显然就放宽了对平稳性的要求，这样的随机过程称作宽平稳随机过程。 宽平稳随机过程的性质： （1）?x(t)不随时间改变, 记为?x 或? （2）自相关函数Rx (t1 , t2 )只与时间差 ? = t2-t1 有关，记为Rx (? )或R(? ) 如若x(t)的Fourier变换X(j?)存在, 则定义x(t)的 平均功率谱密度（简称谱密度）Sx(?)为： 根据Wiener-Khintchine关系式，可得Fourier变换对： 一类重要的随机变量-白噪声 白噪声是一种均值为零、谱密度为非零常数的平稳随机过程。它是由一系列不相关的随机变量组成的一种理想化随机过程。白噪声没有“记忆性”，即 t 时刻的数值与 t 时刻之前的数值无关，也不影响 t 时刻以后的数值。 白噪声过程的数学描述如下：如果随机过程x(t)的自相关函数为： Rx(?) = ?2 ? (?) 其中，?(?)为Dirac函数，即有?(?)=? in case of ? =0 and ?(?)=0 in case of ? ?0 且 则x(t)被称作白噪声 (na+nb)?1 (na+nb)?1 1?1 ARMA模型 由于 …………………………… 定义 zL=[z(1) z(2) …. z (L)] T(L?1) nL=[n(1) n(2) …. n(L)]T (L?1) h(1)T h(2)T h(L)T 与y差n (na+nb)?1 可得 由于y(k)仅仅是一个标记，它的最佳估计是实际测量值z(k), 故将h(k)近似表达为： 上式中，n(k)没有测量数据，但一般假定{n(k)}为白噪声序列，即有： E{nL}=0 和 Cov{nL}= I L?1 L?(na+nb) (na+nb) ?1 L?1 L?1 L?L 事实上，{n(k)}为白噪声序列是进一步使用最小二乘进行参数估计的前提。 重温矩阵维数： 在过程模型 中， z(k)和hT(k) 都是可观测的数据，n(k)为零均值白噪声，故可利用 数据序列{z(k)}和{h(k)}，极小化下述准则函数： (na+nb) ?1 1 ?1 使J(?)?min的? 值记为 ，则 称作?的加权最小二乘估计。 L被称作记忆长度或数据长度。从解方程的角度看， 中含有（na+nb）个未知数， 故假如L (na+nb)则无解；若L=(na+nb)，则仅当nL=0 时才有唯一解；而当nL?0时，显然只有当L充分