Chapter2非线性最小二乘法与数值最优化.doc

非线性最小二乘法与数值最优化 通过泰勒级数展开表述为 模型的线性近似表达式为 例 1.1但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。即使在样本内线性模型能够较好地拟合数据，也不能准确地体现变量的结构关系。非线性模型中，x对y 的边际影响（或弹性）是变化的；而线性模型中，x对y 的边际影响（或弹性）是常数。很多情况下，线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异。另外，利用线性模型拟合非线性数据存在潜在的危险，即区间外预测会存在越来越大的误差。因此，正确设定模型的形式是进行准确推断和预测的重要。 对于一般的回归模型，如下形式的模型， 1.1 OLS一般不能得到其解析解。比如，运用OLS方法估计模型（1.1），令S(()表示残差平方和，即 1.2 最小化S(()，即根据一阶条件可以得到 以模型为例，其一阶条件为 上述方程组没有解析解，需要一般的最优化方法。很多数值最优化算法都可以完成这一类任务，总体思路是一样的。从初始值出发，按照一定的方向搜寻更好的估计量，并反复迭代直至收敛。各种不同的最优化算法的差异主要体现在三个方面：搜寻的方向、估计量变化的幅度和迭代停止法则。本章主要介绍梯度最优化方法在Stata中的实现。 非线性最小二乘法 非线性最小二乘法的思路是，通过泰勒级数将均值函数展开为线性模型。即，只包括一阶展开式，高阶展开式都归入误差项。然后再进行OLS回归，将得到的估计量作为新的展开点，再对线性部分进行估计。如此往复，直至收敛。 设模型中共存在（k+1）个参数( =（(0, (1 , …, (k）。首先为参数选择一组初始值。其中下标零表示初始值。然后将f (X, () 按泰勒级数在(0点展开。 1.3 其中g0表示一阶导数在 (0=( (0, 0 , (1, 0 , …, (k, 0)时的取值，R为高阶部分。上式中只保留(的线性部分，将高阶部分归入误差项，可得 1.4 其中，随机扰动项u1包含u和泰勒级数展开式中高阶成分。得到新的回归模型 1.5 新的目标函数为。模型的OLS估计量为， 1.6 因此，NLS的迭代估计式为： 1.7 上述方法也被称作高斯牛顿方法，即利用迭代方法估计非线性最小二乘模型。在（1.）式中，第二项恰好是模型 1.8 的OLS估计量。把1.式称作高斯-牛顿回归。(的迭代公式又可以写作 1.9 这种迭代估计方法必须设定初始值和停止法则。初始值的选择对于迅速找到最优解非常重要。如果目标函数不是严格的凹函数或凸函数，或者存在多个局部最优值，可以设定多个初始值，观察最优解。如果不同的初始值得到相同的最优解，则结论是比较稳健的。 停止法则用以设定满足一定的标准后终止迭代过程，否则迭代过程会无限继续下去。可用的停止法则包括：目标函数Q(((j+1))- Q (((j))没有明显的变化，或者g(j)的每个元素都非常小，或者((j+1) - ((j)没有明显变化等。迭代法则也可以同时设定最高迭代次数n，如果经过n次迭代仍然没有能够达到收敛，则停止迭代。 例 1.1 利用NLS方法估计非线性消费函数（数据文件：usmacro） 利用NLS方法估计模型。. nl (realcons = {alpha} + {beta}*realgdp^{gamma}) 参数初始值可以通过两种方法进行设定。其一，直接在参数表达式中设定。比如，上述模型中设定alpha=0，beta=0.5，gamma=1。Stata命令可以表述为： . nl (realcons = {alpha=0} + {beta=0.5}*realgdp^{gamma=1}) 另外一种方法是通过命令选项initial进行设定。比如上述命令也可以表述为： . nl (realcons = {alpha} + {beta}*realgdp^{gamma}), initial(alpha 0 beta 0.5 gamma 1) 注意，St