最小二乘法和似然比估计.docVIP

最小二乘法与似然比估计 1.方差分析模型与线性回归模型从数学原理上可以统一到一个一般的模型, 即 线性模型中去. 所谓线性模型, 是假定: 1) 响应变量(因变量)可以表示为”均值”+”误差”的形式; 2) 均值为未知参数的线性函数; 3)误差为零均值的正态分布(方差相同). 当得到n 个独立的观测后, 其数学形式表示如下: y ??X???e (1.1) 其中y 和e 为n 维列向量, 分别表示响应变量的观测值和误差; ?为k 维参数向 量(可能需要满足一定的线性约 条件); X为n?k维系数矩阵. e 的 分量间相互独立, 各服从N(0,s 2 )分布. 不难验证简单线性回归模型是线性模型. 2.对一般的线性模型, 基本的参数估计方法是最小二乘法. 定义 Q(?) =(y ??X?)T (y ??X?) 对Q(?)关于?求最小(当有线性约束时在约束下求最小), 就得到?的最小二乘估计. 在简单线性回归模型中, 我们直接用最小二乘法得到参数估计. 不难验证,在单因子方差分析模型中的参数估计也是最小二乘估计. 对于约束方程简单的方法是在非约束模型下求的最小二乘估计, 然后转化为约束的最小二乘估计. 如果直接从模型求最小二乘估计, 由于参数有约束条件, 则算法要复杂一些(结果当然是一致的). 3.在线性模型中用最小二乘法求参数估计, 就等价于用极大似然法求参数估计. 由误差的正态分布假定, 可以得到y 的分布为(XB ,S 2 )似然函数(y 的密度函数)为L(?) = f (y;?) 最大化L(?) 就等价于最小化(y ??X?)T (y ??X?) . 这就证明了最小二乘法与极大 似然法的等价性. 注：1.在似然估计中，参数为B与S当其中一个进行变动时，另一个可以认为是不变的，（由均值与方差的无关性可知） 故而此时，由似然函数的构成可以认定其最大似然函数的B参数估计法与最小二乘法等价 2.在最小二乘法中不涉及对S2的估计，之所以涉及S2是为了构造检验统计量便于对参数进行假设检验，而在似然估计中则明确估计出了S2，这是因为在两种思想下路不同，因此一元的等价并不等于两种方法没有区别