第4章参数的最小二乘法估计.docVIP

第四章 最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量测量一组数据，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：记最可信赖值为，相应的残差。测值落入的概率。 根据概率乘法定理，测量同时出现的概率为 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子：即权因子∝，则 再用微分法，得最可信赖值 即加权算术平均值 这里为了与概率符号区别，以表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法： （2）最小最大残差法： （3）最小广义权差法： 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:采用的测量方案是，分别等权、独立测得,列出待解的数学模型。 =0.3 =-0.4 +=0.5 +=-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为，按最小二乘法原理 分别对求偏导数，令它们等于零，得如下的确定性方程组。 (-0.3)+(+-0.5)=0 (+0.4)+(++0.3)=0 (+-0.5)+(++0.3)=0 可求出唯一解=0.325,=-0.425, =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 一、正规方程组 设线性测量方程组的一般形式为： 即 式中，有n个直接测得值，t个待求量。nt,各等权，无系统误差和粗大误差。 固含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方程组 实测值 待估计量，最佳估计值，最可信赖值 最可信赖的“y”值。 按最小二乘法原理，待求的应满足 上式分别对求偏导数，且令其等于零，经推导得 正规方程组 式中，，分别为如下列向量 和分别为如下两列向量的内积： = = 正规方程组有如下特点： （1）主对角线系数是测量方程组各列系数的平方和，全为正数。 （2）其它系数关于主对角线对称 （3）方程个数等于待求量个数，有唯一解。 由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。 为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。 记列向量 和n×t阶矩阵 则测量方程组可记为： —— 一般意义下的方程组 测量残差方程组记为 当估计出的已经是最可信赖的值，则是的最佳结果。 最小二乘原理记为 利用矩阵的导数及其性质有 令，得正规方程组的矩阵形式。 展开系数矩阵和列向量，可得代数形式的正规方程组。 上述①②和矩阵的导数有关，因此，我们来分析“矩阵最小二乘法”。 二、矩阵最小二乘法 1. 矩阵的导数 设阶矩阵。 ) n阶列向量（n+1阶矩阵）和t阶列向量 与的转置（行向量）记为与. 关于向量的标量函数。 定义如下几个导数。 （1）矩阵对标量的导数 矩阵内A元素是的函数，对矩阵的导数，定义为各元素对的导数，构成新的导数矩阵。 若是变量的函数，则定义 (E-1) （2）标量函数对向量的导数 标量函数，对列向量的导数，等于标量函数对向量的组成元素的导数组成的列向量（行向量的转置） (E-2) 标量函数，对行向量的导数，等于标量函数对向量的组成元素的导数组成的行向量。 (E-3) （3）行（列）向量对列（行）向量的导数 行向量对列向量的导数等于行向量各