第六章 非线性回归与logistic回归.ppt

非线性回归模型 非线性回归模型 定义:模型中参数不全是线性形式出现，则 称为非线性回归模型！随机误差项仍假设服从正态分布！通常非线性回归模型简写成： 非线性回归模型的参数估计 为了估计未知参数的值．常用的方法是非线性最小二乘法，有时也用非线性最小一乘法，即LAD回归。非线性最小二乘法即选择合适的使残差平方和最小从而估计的值。 由于是非线性形式出现，非线性最小二乘法的解，一般没有线性情形那样的公式可用，只能通过一个数学分支“最优化”的方法使SSE达到极小。最优化的理论和方法非常丰富，有多种方法使SSE达到极小。 无论哪种方法，都必须从一个预先给出的初始估计出发，经过多次迭代，不断改善，达到SSE近似极小，从而得到参数的近似最优估计--非线性最小二乘的近似最优解。由于计算量大，只能编程用电脑来算，通常用专用软件计算。 非线性函数SSE往往有多个极小值。由“最优化”理论可知，初估计对迭代的结果影响很大，初估计不好，不仅收敛速度慢，而且可能不收敛到最小值点。好的初估计不仅收敛速度快，而且总能收敛到全局最小值点；好的初估计称为优良初估计。通常求优良初估计，都是将非线性参数化为线性参数而用线性回归求出。即构造另一个线性回归模型，对同样的自变量，响应变量和观测数据，线性回归模型的最优解是非线性回归模型的优良初估计。 非线性回归过程NLIN NLIN过程简介 PROC NLIN 选择项 ; MODEL 因变量=自变量表达式 ; PARAMETERS或PARMS 参数=数值 …… 参数=数值 ; BY 语句 ; BOUNDS 语句 ; （参数约束语句） DER 语句 ; （微商语句） OUTPUT OUT=SAS数据集，KEYWORD=变量名 …… ; RUN ; 应用举例 例 设国内某厂生产用提纯法生产高纯度食品级 ，设影响生产过程的指标有y0（进塔浓度 ），t1（进塔温度），p1（塔顶压力），t（塔顶温度），t2（塔釜加热温度），p2（塔釜压力），t3（塔釜温度），关心的产量指标为y（出塔浓度）。据分析，它们间关系近似为: 试建立经验回归公式 ? data co2; input y0 t1 p1 t t2 p2 t3 y; cards; 97.2 -20 2.97 -8 39 3.2 -13 99.49 97 -22 3.03 -6 41 3.24 -16 99.4 96.6 -21 3.13 -6 40 3.36 -11 99.28 96.7 -20 3.13 -4 41 3.35 -9 99.32 95.7 -24 2.86 -4 36 3.03 -17 99.24 96.8 -21 2.82 -3 38 2.92 -18 99.79 97 -23 2.99 -3 36 2.94 -12 99.87 96.6 -19 3.18 -3 39 3.42 -18 99.24 96.9 -22 3 -3 36 3.22 -18 99.3 93.6 -26 3.32 -3 32 3.44 -20 98.7 96.5 -18 3.12 -3 37 3.39 -20 99.22 93 -27 3.09 -3 29 3.25 -23 98.73 94 -22 3.05 -3 36 3.33 -23 98.93 96.7 -18 2.96 -3 38 3.29 -24 99.36 97.2 -21 2.9 -3 35 3.18 -23 99.41 95.7 -21 3.06 -3 39 3.26 -20 99.2 98.2 -19 2.97 -3 36 3.23 -20 99.5 97.27 -19 3.02 -3 35 3.34 -20 99.22 95.2 -19 3.03 -3 36 3.33 -20 99.17 95.8 -22 3.09 -3 34 3.34 -20 99.19 92.2 -19 3.02 -3 38 3.19 -13 99.36 97.2 -23 2.77 -3 86 3.03 -19 99.08 97.9 -20 3.15 -3 36 3.46 -19 99.11 96.1 -21 2.97 -3 36 3.32 -22 98.97 96.2 -21 2.96 -3 35 3.2 -20 99.11 95.4 -21 3.09 -3 36 3.34 -20 98.94 96.1 -21 2.94