高级计量经济学非线性回归模型教程.ppt

第四章非线性回归模型 (Non-Linear Regression Models) 1 2 本章内容 参数非线性概念 非线性模型估计技术 非线性最小二乘法 最大似然法 对非线性模型的统计检验 应用案例分析 6 非线性模型案例3 受限因变量模型 Probit Logit Tobit 误差项呈特殊统计分布形式的回归方程 Frontier 非线性模型与线性模型的关系 考虑一般形式的非线性模型Y = f(X) + e 条件均值函数为E[Y|X]= f(X) 条件均值函数的线性近似式(在X=X0处展开的泰勒级数)为 由此可以看出，线性模型是非线性模型的一阶近似表达； 如果函数关系高度非线性，那么用线性函数近似会发生遗漏重要解释变量错误。 7 8 两种主要的估计技术 非线性最小二乘法（NLS） 以残差平方和最小为标准获得参数估计 通常基于误差项满足正态分布的假定 一般计量经济软件有标准的指令和算法 最大似然法（ML） 以似然值最大为标准获得参数估计 误差项可以为任意统计分布形式 不同情况需要用到不同的指令和算法 9 NLS方法 用最小二乘法估计非线性回归方程的原理与估计线性回归方程相同，即求解使残差平方和最小的参数： 在函数形式满足要求的条件下，模型参数可以通过求解由一阶条件构成的方程组得出，即： 对于非线性方程，我们常常无法确保得到估计参数的解析解，但通常能够利用数值逼近方法得到方程组的近似解。 此时估计参数可能不是唯一的，并且存在收敛问题。 10 NLS方法 求解非线性方程组的常用方法有： 直接寻找法(Direct search)，即依据某种指标（如误差平方和）选择最优结果； 直接优化法(Direct optimization)，即利用前述求偏导数的方法，通过直接求解方程组来得到参数估计，在实际工作中很少使用此方法； 线性化迭代求解法(Iterative linearization method)，即从一组参数的初始值开始将非线性函数线性化，然后求解线性方程组并得到新的估计值；重复上述步骤直到估计结果达到收敛标准或达到最大迭代次数时为止。 11 NLS方法 用线性化迭代求解法做回归包括以下步骤： 在未给定初始值的情况下，利用OLS方法估计系数（或用其他算法得到的估计值）作为初始值，反之利用给定的初始值。 在该组初始值处用泰勒级数将非线性方程转化为线性方程，然后求解得到新的参数估计值。 重复上述过程，直到参数达到给定的收敛标准或达到给定的最大迭代次数时为止。 此时得到的结果包括最后一次计算得到的参数估计值、对应的渐近t统计值、R2值等。 12 NLS方法 需要注意的是，NLS方法并不能够保证总是收敛到最优解，可能出现的情况有： 收敛速度缓慢 收敛到局部最优解 估计系数出现发散情况 收敛到错误结果时，R2可能出现负值。 在应用工作中，当遇到上述情况时，一种做法是改变初始值，然后重新进行迭代求解过程。 利用现有的计算机能力和软件，对模型重复做估计不会发生过高的费用，或要求过长的时间投入。 这种方式有助于识别估计结果的可靠性。 16 NLS估计量的性质 对线性回归模型做统计检验的方法无法直接应用于非线性回归模型，原因是即使回归残差服从正态分布，我们也无法由回归残差得到模型误差项方差的无偏估计。 在采用迭代法时，我们是对最后一次线性化后的估计结果应用标准线性模型的统计检验。 这一方法依赖于在大样本时NLS估计量具有的一致性。 17 对非线性函数的统计检验 当需要检验非线性函数的某些系数是否满足某个约束条件时，我们可以利用似然值比值检验方法。 估计有系数约束和没有系数约束的模型，得到对应的似然值，分别用L(r)和L(ur)表示。 似然值比值＝ L(r)／L(ur)，该值在0和1之间。 服从自由度为限制条件个数的2分布。 当足够小时，我们拒绝与系数约束相对应的虚假设。 18 随机前沿函数模型(Stochastic Frontier Models) 70年代末期问世 早期研究侧重于分析生产过程的技术效率问题（最大化） 由数学规划方法转变到统计方法 可以测算出技术效率高低 以后的应用逐渐扩大 利润函数（最大化） 成本函数（最小化） 技术无效率概念 19 X2 X1 αXA XA XA X* 20 技术无效率概念 考虑生产函数yi=f(xi,β)TEi 其中0TEi(xi, yi)≤1 两边取对数后有： Lnyi= Lnf(xi,β)+LnTEi= Lnf(xi,β)-ui 用ui作为技术效率损失指标，当ui 0时发生技术效率损失。 可以看出， 21 前沿函数估计 确定性前沿函数(Deterministic frontier) 普遍采用非统计方法，例如基于线性规划法的数据包络分析(Data envelopment analysis