约束情况下的最小二乘法-清华高能物理中心-清华大学.ppt

粒子物理与核物理实验中的数据分析 杨振伟 清华大学 第九讲： 最小二乘法 上一章回顾 四种方法给出最大似然估计的方差 数值方法 蒙特卡罗方法 RCF 边界方法 图解法 双参数的最大似然法（等高线） 推广的最大似然法 （样本总量为随机数） 最大似然法处理分区数据 （区间大小） 用最大似然法合并多组测量结果 * * * * 本讲要点 最小二乘法与最大似然法的关系 线性情况下的最小二乘估计 非线性情况下的最小二乘估计* 约束情况下的最小二乘法* 检验最小二乘法的拟合优度 应用最小二乘法处理分区数据 不等精度关联实验结果的并合问题 * * 最小二乘法与最大似然法 设有高斯随机变量: yi, i=1,…,N ,均值为 对应的对数似然函数(去掉与? 无关的项)为 对于独立的高斯变量 yi，联合概率密度函数为 * * 最小二乘估计量的定义 如果 yi 是多维高斯变量，协方差矩阵为V ，满足 那么其对数似然函数为 也就是说，我们应求下式的最小值 它的最小值定义了最小二乘法的估计量 ? ，即使 yi 不是高斯变量，该定义依然适用。(实际上，yi 通常是高斯的，因为中心极限定理会导出测量误差近似高斯。) * * 两种情况下的最小二乘参数估计 尽管上式对任何含参数函数的具体形式均成立，但是，对 参数的估计，可以根据理论预期值中所含参数的具体特征 而采用不同的参数估计处理方法，简化问题。 线性情况： 非线性情况： * * 线性最小二乘法估计 这里 aj(x) 是 x 的任意线性独立函数。 用矩阵来表示时，令 Aij=aj(xi)，有 对? i 求偏微分，并令结果等于零，有 解方程得到最小二乘法的估计量 * * 最小二乘估计量的方差 等效地，可以利用下式来计算 如果 yi 是高斯变量时， 其与RCF边界一致。 * * 最小二乘估计量的方差(续) * * 多项式的最小二乘法拟合 用一个多项式来拟合右图 第 0 阶(一个参数) 第 1 阶(两个参数) 第 4 阶(五个参数) 对于单参数拟合(例如上图的横线): 例如: * * 多项式的最小二乘法拟合(续) 对于双参数拟合的情形(有非零斜率的直线) 倾角给出相关系数。 对于五个参量拟合的情形(有非零斜率的直线) ?2min值的大小反映了数据 与假设之间的符合程度。 可以用来检 验拟合优度。 曲线通过所有点； ?2min =0，参数的数目=数据点的数目。 * * 非线性最小二乘法估计* 如果采用牛顿法求上式的最小值，第 n+1次迭代公式可采用 * * 约束情况下的最小二乘法拟合* 实际问题中会遇到测量量本身要受到某些物理定律的约束。 求解可采用拉格朗日乘子法，对每一个约束引入因子?i， 例如，能动量守恒，衰变顶点约束等等。对一个事例有m 个观测量，无参数的最小二乘问题变为 * * 约束情况下的最小二乘法(续一) 为了找到最小值，可以通过求微商方法 而 n+1 次迭代后 设经过 n 次迭代以后，找到一组解 ，得到函数 的值。在 上对 ?(n) 进行线性展开，并略 去高阶项，得到 * * 约束情况下的最小二乘法(续二) 两式联立消掉 项，可以得到 因此，可以得到第 n+1 次迭代的 l 个拉格朗日乘子取值 以及第 n+1 次迭代的 m 个测量量的预期值 * * 约束情况下的最小二乘法(续三) 当经过 n+1 次迭代以后，满足下式时即可终止 实验中，为了提高测量精度而采用的四动量守恒约束拟合(4-C fit)，顶点或质量约束拟合(1-C fit)，大都采用该方式来进行。 此时的 ?2 值应满足自由度为（m - l）的 ?2 分布。 * * 例：粒子动量分辨的改进 例如，实验观测衰变 通常情况下，探测器对光子探测的能量分辨率较差，从而 影响到 ?0 粒子动量重建的精度。 已知： r * * 例：粒子动量分辨的改进（续） 因此，每一个衰变事例的观测量期待值为 对应于每个观测量有误差估计，而且已知相互间不相关。 则无参数的最小二乘问题可写为 利用一个约束条件下， 改进的光子动量观测 值进行 ????? 重建研 究，从 ? 的不变质量 谱可以看出光子的动 量得到了明显的改进。 * * 检验最小二乘法的拟合优度 那么?2min 服从 N-m自由度的最小二乘概率密度函数分布。 据此来计算P-值 例如在前面双参数拟合中 也就是说，重复实验多次，有 26.3% 的值将大于 ?2min 。 进行 1000 次 蒙特卡罗实验 而对于水平线拟合，有 P-值太小！ * * 拟合优度与误差的最小值 小的统计误差并不意味着是一个好的拟合(反之亦然) ?2 曲线在其最小值附近变化给出统计误差； ?2min 的曲率大小给出拟合的优度。 在