07 a 最小二乘估计幻灯片.ppt

第七章 BLUP法Best linear unbiased prediction 第一节 有关基础知识 一、随机向量、期望向量和方差-协方差矩阵 设： 是n个随机变量 其数学期望分别为： 协方差为： 其方差和协方差可以用矩阵的形式写成 G为对称矩阵（G′=G） G′=G 矩阵的主对角线上的元素 是 的方差。 在第i 行，第 j 列上的元素 （ ）是 和 的协方差。 G为随机变量的方差——协方差矩阵。 容易看出 如果数学期望为零，或令: 则上式变为： 若对作线性变换： 写成矩阵形式为： ①数学期望矩阵 ②方差——协方差矩阵 如果我们有 则： 二、线性模型基础知识 1、模型（Model）：所谓数学模型(mathematical model)是指用来描述某种现象的特征或本质的数学关系式。 线性模型( Linear model )：在模型中包含的各因子是以线性相加的形式影响观测值。 2.2一般最小二乘估计 任何固定模型都可用向量和矩阵的形式写成： 假定 则 通常的多元线性回归模型也可看作是一种固定模型。 这里若考虑误差平方和 即： Q: 是n次观察中的误差项之和，即误差平方和，它反应了与之间n次观察中总的误差程度。 2.3 最小二乘法原理 寻求使Q达到最小值的 …… ， 作为 …… 的点估计。 这时称 为 的最小二乘估计量（ ）即所求的应满足下列关系式： 我们对 作如下变换： 根据求多元函数极值的原理，我们求Q 关于 的偏导数得： 所以 等于它的转置 令该导数为零,求极小值得： 由上式（1）可解出 即为满足误差平方和为最小的最小二乘估计量。通常称上式（1）为正规方程组（或称；法方程）。 正规方程组（1）必有解： 但对正规方程组的解有两种情形，满秩或不满秩，下面分别讨论； 2.4最小二方程的求解方法 2.4.1 满秩时（1）式的解及性质 当 满秩时，它必有且仅有一个逆矩阵 存在，故（1）式有唯一解。 是 的无偏估计量 无偏，是指估计值的数学期望值等于真值。 ? 证： ② 的方差——协方差矩阵为 证： 令 则 ∴ ∵ ③ 是 的最佳线性无偏估计量（Best Linear Unbiased Estimator; BLUP） 证： ∵ 但 是否是最佳？ 所谓最佳是指在 的所有线性无偏估计中， 的方差最小。 设：有 为的任意线性无偏估计量。 即： 因 为一方阵，其主对角线元素为 的方差。 而 中的主对角线元素为 的方差。 即： （该式主对角线元素必大于或等于0） 化简： 证毕（该式主对角线元素必大于或等于0） 所以 主对角线上的元素大于或等于 主对角线上的相应元素。 这就证明了 的方差必小于或等于 的方差， 因而 是 的最佳线性无偏估计。 （为与 满秩时的解相区别，以 代替 ） 2.4.2 不满秩时（1）式的解及性质 当 不满秩时，它的逆矩阵 不存在，因而（1）式没有唯一解，有无穷组解。 这时我们可以用 的广义逆 来求解。 虽 是（1）式的一个解，但它与 有完全不同的性质。 ① 的数学期望值 （