过程建模1-最小二乘.ppt

* * * * * * * 1 最小二乘法 由上式取辅助变量法一次完成估计值为: 等式两边同乘以YT阵有： 系统的输入输出方程为： 可以证明：该估计值无偏。 1.3.5 辅助变量法 1 最小二乘法 1.3.5 辅助变量法 如何构造一个满足条件的Y阵？ Y应 与｛e(k)｝不相关, 与｛u(k)｝｛z(k)｝强相关。 过程 理想辅助变量: x(k)= F线性(u(k), s(k)) Y z(k) e(k) + + s(k) u(k) 1 最小二乘法 1.3.5 辅助变量法 构造辅助变量的方法： (1) 递推辅助变量参数估计法 (2) 自适应滤波法 (3) 纯滞后法 (4) 塔利原理法 1 最小二乘法 1.3.5 辅助变量法 递推辅助变量参数估计法 HT与e相关，主要是由于HT中的z(k)与e(k+1)相关，选取YT使其不相关即可。 序列为辅助模型的输出，即 矛盾：鸡和蛋谁先有的问题？ 1 最小二乘法 1.3.5 辅助变量法 解决办法：循环迭代法 注：第一次计算时，使用 (3)构造Y阵，使用IV法估计 (2)计算 序列 (1)应用基本LS法估计 (4)返回第(2)步，循环迭代计算 ，直至 收敛。 * 本节主要讲述线性离散动态系统（以差分方程描述）的最小二乘辨识算法 * * * * 此处J为广义误差函数：关于参数为线性函数。同时J也为输出误差函数。 * * 最小二乘一次完成算法的其它性质（如课本上的性质1~10）具有理论研究意义，在实际应用中无需深入。 * 理论上，如果系数矩阵A 和右端向量b 都是准确无误的，而且如果整个计算过程中都 没有误差，那么在有限次运算后得到的解确实是原问题的精确解。但是，实际上上述两个“如 果”都不存在。从一个实际问题归纳提炼为一个数学问题，直至一个数值计算问题后，系数 矩阵A 和右端向量b 的所有分量是通过计算、测量或者估计等方式等得到的，不可避免地 带有不可预知的误差 * 利用主成分分析，所获得的新自变量是原变量的综合指标（数量变少），新的参数是原参数的线性组合（数量变少），这种分析方法在高维样本数据压缩和回归中起到重要作用。 对于模型降阶而言，其缺点是新的变量和参数都失去了原变量和参数的物理意义，变量的可解释性下降。 * * 本节主要讲述线性离散动态系统（以差分方程描述）的最小二乘辨识算法 * * * * * * * * * * * * * * * * 1.2.3 病态方程的求解 1 最小二乘法 衡量病态程度的量——条件数： 对于给定的线性方程组 ， （为A的最大特征根/A的最小特征根） 当 时，A的特征根为 。 一般认为，当 时，方程组不存在病态；当 时，存在较重的病态；当 时，存在严重病态。 2) （为A的任何一种范数与其逆的乘积） P(A)越小,方程组越良好。 病态方程的求解方法： （正则化技术，regularition technology） 1.2.3 病态方程的求解 Householder变换 U-D分解 岭估计法(ridge regression) 主成分分析(principal component analysis, PCA) 奇异值分解(singular value decomposition, SVD) 1 最小二乘法 1.2.3 病态方程的求解 主成分分析(principal component analysis, PCA) 1 最小二乘法 已知知道， 为对称正定阵(若P0，则P为正定阵)，其特征根为 对称矩阵 的特征值分解为 其中，P为由 的特征根所对应的标准化正交特征向量所构成的正交矩阵， 1.2.3 病态方程的求解 1 最小二乘法 根据原最小二乘估计正则方程 由上式可进一步得到， 记 ，则 解上述方程可得， 由于原方程组病态， 近乎奇异，其某些特征根近似为零，其对系统信息的贡献量非常小，可设 1.2.3 病态方程的求解 1 最小二乘法 这时， 相应的，由 可知，原方程的解为 显然，P1为原正交矩阵P的分块矩阵。 1.2.3 病态方程的求解 1 最小二乘法 事实上，主成分估计法是对原方程信息贡献少的变量剔除，此时，原病态方程的解是什么已经不重要，人们更为关注的是通过PCA获得一个由主要成分变量所构成的新的系统模型： 或 其主要成分变量为 求解得其参数估计值为 自变量个数压缩为r 参数个数压缩为r 1.2.3 病态方程