过程建模线性回归.ppt

化学、生物、环境等领域中经常要对过程测试数据进行分析处理，获得被测物理量与被测物质含量之间的关系，也可以说其最终目的就是为了能用回归分析方法去求得被测物质的含量从而得以解决实际问题。 相关指的就是变量与变量之间的某种关系，相关是研究回归的前提。回归在统计上指的是利用一个变量对另一个变量所进行的预测，回归分析就是确定自变量和因变量所存在的函数关系。只有在确定了函数关系之后，才可能从一个变量预测或推算另一个变量，这在生物化学环境等领域研究中有着极其广泛的应用。 回归分析与机理建模 回归分析与系统辨识 相关的概念 相关系数 相关系数表 什么是小概率原理？ 回归的概念 早在19 世纪后期, 英国人类学家Francis Golton 在研究家族成员的相似性时发现：虽然一般说来高个子的父代会有高个子的子代，但是子代的身高比他们的父代更趋向一致，即若父代身材高大，则他们的子代会趋向矮一些，而若父代身材矮小，他们的子代会趋向高一些。 Galton将这种趋向于种族稳定的现象称之“回归”。 Karl Pearson 观察了1078 个家庭中父亲身高x 和儿子身高 y, 建立了一个线性方程y = 33. 8 + 0. 51x 回归指利用一个变量对另一个变量所进行的预测； 回归分析就是确定自变量和因变量所存在的函数关系。 F.Galton Galton（1822-1911）是一位人类学家，著名生物学家达尔文的表兄弟。尽管他的数学不是很好，但在人类学和优生学研究中萌发的统计学思想，对生物统计的发展产生了深远影响，如“回归”、 “双变量正态分布”的概念等。 Karl Pearson Regression 释义 本课程中只考虑最普遍的双侧检验（也称双尾检验）情况 F检验法 判断因变量与自变量的线性方程总体上是否显著成立 2.3.1 一元线性回归 2 线性回归 r检验法 检验因变量与某个自变量的相关程度。 相关系数法 2.3.1 一元线性回归 2 线性回归 显著性水平下的最小相关系数rmin。相关系数表 （3）给定自变量x0的估计值 的置信区间 2.3.1 一元线性回归 2 线性回归 因此，下面区间内以（1- ?）的可能性包含b： 以t检验为例进行分析。 先看回归系数的置信区间： 给定自变量x的一个特定值x0，我们可以通过上述回归方程，计算预测出y0的估计值的置信区间。 2.3.1 一元线性回归 2 线性回归 为未知的线性方程随机噪声方差，用其标准差代替 最小二乘估计 2.3.1 一元线性回归 2 线性回归 从而，在1-?的置信度下,y0的置信区间为 因此，可以构造统计量： 已知研究对象 只与一组变量 线性相关时，获得的n组试验样本数据为： 可建立多元线性回归方程为 2.3.2 多元线性回归 2 线性回归 n组试验样本数据表示为： 回归分析所建立的模型 2.3.2 多元线性回归 2 线性回归 2.3.2 多元线性回归 2 线性回归 （Ⅰ）F检验法 （Ⅱ）r检验法 (残差平方和） 2.3.2 多元线性回归 2 线性回归 1）残差平方和 2）回归平方和 3）离差平方和 Q越大，说明观测数据对回归线的离散程度越大，有两种可能性：一是系统存在较大的随机干扰，二是用线性模型描述非线性对象引起的误差。 U反映估计值对平均值的偏离程度。 2.3.2 多元线性回归 2 线性回归 2.3.3 逐步回归 2 线性回归 多元线性回归一般采用逐步回归方法。 在多元线性回归研究中,总设想把对y变量影响显著的自变量因子引入回归方程,引入得越多越好(反映更加全面);而把对y变量影响不显著的因子剔除掉,剩余得越少越好(方程更加简单),建立一个优化方程,这种建立最优回归方程的思想方法称逐步回归法。由于自变量间可能存在有一定的相关性,所以对其取舍也有很多种方法。 2.3.3 逐步回归 2 线性回归 2. 只出不进法：这种方法是一开始就将众多因子建立一个全因子的回归方程,然后逐个剔除对y不显著的因子。这种方法理论成立,但并不好。 1. 全部组合法：这种方法是从所有可能的自变量中,用完全组合的方式构成众多的回归方程,从中选取最优者,当研究p个自变量时,一共可构成 个回归方程 , 如 p=10时，总共可构成1023个方程,计算量太大, 这种方法理论上成立但太烦琐,不可取。 2.3.3 逐步回归 2 线性回归 3. 只进不出法：把显著的因子逐个引入回归方程,这种方法有一个重要缺点：由于自变量间可能存在有相关性,最终得到的回归方程并不能保证是最优者。从理论上讲不成立,不可取。