时间序列分析方法第05章最大似然估计.docVIP

第五章 最大似然估计 在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。 §5.1 引 言 5.1.1 ARMA模型的极大似然估计 假设数据的真实生成过程是一个过程，则该过程的数据生成机制为： 其中是白噪声序列，满足： 我们将要讨论如何利用的观测值来估计母体参数： 我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。假设获得了个样本，如果能够计算出相应的联合概率密度函数： 上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。 为此，我们假设噪声序列是高斯白噪声序列，即 虽然这个假设非常强，但是在这样假设下得到的参数估计，对于非Gauss过程来说也是很有意义的。 具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。 §5.2 高斯过程的似然函数 假设数据生成过程是一个具有高斯白噪声序列的过程： 这时对应的参数向量为：。我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。 (1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出的概率密度。它的均值和方差为： ， 由于它具有正态分析，因此对应的密度函数为： (2) 在给定的条件下，的条件概率分布可以得到： 对应的概率密度函数为： (3) 类似地，在给定前两个观测值的条件，的条件概率密度函数为： 注意到上述条件概率分布中只依赖一阶滞后的条件观测值。 (4) 最后一个样本的条件概率分布为： 注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。 (5) 根据无条件密度函数与条件密度函数之间的关系，可以得到： 经常对上述函数取对数，得到对数似然函数： (6) 将具体的密度函数代入上式，可以得到过程的似然函数为： 可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为和，注意到过程之间具有的自协方差函数表达形式，则有： ， 这样一来，所观测到的样本可以当作多元正态母体的一个简单抽样，具有的联合概率密度函数为： 理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确定性的，然后求解给定时的条件似然函数值，这时的目标函数是： 上式最大值相当于求下式的最小值： 上式的最小值就是线性回归的最小二乘估计，满足方程： 类似地，噪声的方差为： 当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估计一致的极限分布。 §5.3 高斯过程的似然函数 对于一般的高阶自回归过程： ， 此时所要估计的总体参数向量是：。 (1) 似然函数的估值 Evaluating the Likelihood Function 假设我们获得了个来自过程的样本，假设前个样本表示为 可以将这个向量当作维Gauss变量的一个样本。这个向量的均值表示为，它的每个分量都是： 假设是的协方差矩阵，则有： 对于一阶自回归过程而言()，上述矩阵是一个标量，；对于阶自回归而言： 这里是过程的第个自协方差，可以按照以前的介绍公式计算。 由于自回归过程的条件相依性具有截断性质，因此我们将样本分为p个一组，样本中前个观测值的联合概率分布为，密度为： 对于样本中剩余的观测值，我们可以使用推断误差分解(prediction error decomposition)，将前个观测值作为条件，则第个观测值的条件分布为Gauss分布，且均值和方差分别为： ， 只有个最近的观测值与这个分布有关，因此，对于，则有： 因此，整个样本的似然函数为： 则对数似然函数形式为： 为了获得上述似然函数值，我们需要获得逆矩阵，为此我们有下述命题： 命题5.1表示矩阵的第位置的元素，则对任意，有： 这里。 证明：略。 End 因为是对角矩阵，因此也可以得到时的元素。 例如，对过程而言，是一个标量，取，得到： 因此有： 因此命题5.1确过程的方差表达式。 对于的情形，利用命题5.1可以得到： 可以计算行列式值为： 并且有： 因此，对于Gauss条件下的 这里： (2) 条件极大似然估计 Conditional Maximum Likelihood Estimates 由于目标函数形式比较复杂，因此对过程的确切极大化必须使用数值算法。与此对应，以前个样本为条件的