第6章_最小二乘及偏最小二乘的参数估计方法-v1课件.ppt

《化工过程动态数学模型》 硕士研究生课程-2010 陈祥光 第6章 最小二乘及偏最小二乘的参数估计方法 6.1 最小二乘整批算法  6.2 最小二乘递推算法 6.3 实验数据处理 6.4 问题提出及最小二乘原理 6.5 偏最小二乘的基本含义 6.6 偏最小二乘的重要性 6.7 应用举例 6.8 单因变量的偏最小二乘回归模型 第6章 最小二乘及偏最小二乘的参数估计方法 例如：当模型形式为 Y=a1x1+a2x2+······+anxn 以上的递推算法尽管在计算步骤上与整批算法不同，但计算结果是相同的，对所采集的各组数据，对最终结果起着同等程度的影响。 在许多情况下，例如对于时变的系统，需要逐步减少老数据的作用，加强新数据的地位。 实验数据的处理通常需要从几组测定的数据（例如N个点xi,yi）去求数据拟合的问题。这种方法在有些场合称为线性回归问题，在系统辨识中称为参数据计。 假设生产过程中，某一因变量与自变量之间的关系，通过实际测定。如下表6-1所示： 把x, y的观测值标在坐标纸上，每组数据（x, y）在图中以一个星点表示，这种图称为散点图，从散点图可直观地看出两个变量之间的大致关系。 从以上的图可以看出x与y之间大致呈线性关系，因此，可用一条直线来表示两者之间的关系，即设 y = a + b x (6-16) 但是，当选取不同的点值时，得到的a 、b值就不同，这说明解不是唯一的！假定用某种方法把a 和 b确定下来，这时有了x就可以算出y值，可记为： 为了求出a 和 b的最好值，把（6-19）式代入（6-20）式，可得 思考题： 24. 在递推最小二乘法中，修正矩阵的物理意义是什么？为什么要引入遗忘因子？ 25. 整批最小二乘法与递推最小二乘法的区别是什么？ 26. 偏最小二乘法的基本思想是什么？ 图6-10 error相对于所取成分数的变化 图6-11 某高炉Si 预测结果图 在高炉冶炼过程的控制中, 过去的模型大多根据经验提取少数几个参数或者仅利用铁水含硅量数据进行建模, 这样造成了大量的信息丢失。在此采用了偏最小二乘方法对高炉冶炼过程进行分析,不仅有效降低了数据的维数, 而且分析得到了各个变量对冶炼过程的贡献, 从而得到了较好的预测结果。 6.8 单因变量的偏最小二乘回归模型 1．引言 　　当因变量个数只有一个时, 偏最小二乘回归模型就是单因变 量的。目前, 国际上有一些流行的缩写记号, 比如单因变量的偏 最小二乘回归模型被记为PLSl模型, 而多因变量的偏最小二乘回 归模型被记为PLS2模型。显然,PLSl模型是PLS2模型的一种特 例。 　　当在自变量之间存在严重多重相关性时, 会使普通最小二乘 法失效,破坏参数估计, 扩大模型误差, 并使模型丧失稳健性。然 而, 偏最小二乘回归却较好地解决了这一问题。它与传统的多元 线性回归模型相比,有以下几个突出的特点： （1）能够在自变量存在严重多重相关性的条件下进行回归建 模； 　（2）允许在样本点个数少于变量个数的条件下进行回归建模； 　（3）偏最小二乘回归在最终模型中将包含原有的所有自变； （4）偏最小二乘回归模型更易于辨识系统信息与噪声（甚至 一些随机性噪声）； （5）在偏最小二乘回归模型中，每一个自变量xj回归系数将 更容易解释。 3. 简化算式 4. 应用举例 6-2 已知整批的最小二乘估计公式为： （6-28） 其递推的最小二乘估计公式为： （6-29） （6-30） 对于n阶模型： (6-31) 可以证明，从第n+1组数据就可以利用公式(6-29)、(6-30) 进行递推。 注：在利用公式(6-29)、(6-30)进行递推计算时，需要一组初 值 或 和 。通常可利用公式（6-28）计算出一组 初值，也可以根据历史数据选择一组初始值。如果没有任何 历史数据可供参考的话，那么可设 ： 其中的 是充分大的正数，通常选择 ， 可以证明，经过相当次数的推递之后，这种初始值的影响 就逐渐消失，而得到满意的估计值。 递推最小二乘法的计算框图如下： 由(6-29)式计算中 由(6-30)式计算中 设置初值 输入n组数据 输入第 组数据 图6-4 递