第七章PLS算法.ppt

第七章 小样本建模——PLS 主要内容 在进行经济问题的计量分析时，尤其是宏观经济问题，经常遇到样本量很少的情况，而这会影响模型的估计，容易出现违背回归假设的情况 偏最小二乘回归 偏最小二乘（Partial Least Square，PLS）通常的作用： 克服共线性； 在一定程度上解决样本不足问题； 多因变量问题。 偏最小二乘回归 偏最小二乘回归可以理解为如下统计方法的有机结合： 主成分分析 典型相关分析 多元线性回归 偏最小二乘回归 （一）主成分分析与典型相关分析 （二）偏最小二乘的原理与实现 （三）偏最小二乘的优越性 （一）主成分分析与典型相关分析 （一）主成分分析与典型相关分析 （一）主成分分析与典型相关分析 （一）主成分分析与典型相关分析 典型相关分析的基本目标是研究两组变量之间的相关关系 逐对计算相关系数，琐碎不易把握重点 典型相关分析的思想是：以最大相关为目标，在每组变量当找出变量的线性组合，然后再找第2对线性组合，使其与第一对组合不相关，具有次大相关性。 （一）主成分分析与典型相关分析 有两组来自相同样本点的变量 （一）主成分分析与典型相关分析 不失一般性，假设数据已经标准化，Z的协方差可以表示为： （一）主成分分析与典型相关分析 任务是构造相关程度最大的一对典型成分，提取主要相关信息： （一）主成分分析与典型相关分析 目标函数 该准则会导致相关系数最大的同时，典型成分方差变小，对变量组代表性变弱 （一）主成分分析与典型相关分析 恰当的目标函数 （一）主成分分析与典型相关分析 使用拉格朗日乘数法求解上述条件极值问题，可以得到： （二）偏最小二乘的原理与实现 偏最小二乘回归类似于主成分分析或者典型相关分析之处在于： 用提取成分的办法来提炼主要信息，减少变量，不同之处只是目标函数不一样。 将提炼成分的思想与回归结合，就是偏最小二乘回归。 （二）偏最小二乘的原理与实现 设有p个因变量和q个自变量，共有n个样本，构成矩阵Y、X（不妨假定已经标准化）。 偏最小二乘的基本思想与实现步骤是： 1、从X、Y中分别提取第一对成分t1和u1，要求应满足如下两个条件： （1） t1和u1应尽可能大地携带X、Y中的变异信息； （2） t1和u1的相关程度最大。 （二）偏最小二乘的原理与实现 （二）偏最小二乘的原理与实现 （2）第一对成分提取后，分别实施X对t1的回归和Y对t1的回归，如果达到精度要求则算法停止，得到以p个因变量为因变量，以t1为解释变量的p个回归方程； （3）如果不行，利用剩余信息继续提取成分，直到精度基本令人满意为止。 （二）偏最小二乘的原理与实现 成分个数的确定 基本思想： 在所有n个样本点中剔除第i个，对剩余样本使用h个成分拟合一个回归方程； 把被剔除的第i个样本代入拟合方程，得到： 对每个i，重复上述工作； （二）偏最小二乘的原理与实现 获得预测误差平方和PRESS （二）偏最小二乘的原理与实现 用所有n个样本，拟合h个成分的回归方程，则又可获得类似误差平方和指标： （二）偏最小二乘的原理与实现 判断成分个数的标准 （二）偏最小二乘的原理与实现 判断成分个数的标准——交叉有效性 （二）偏最小二乘的原理与实现 判断成分个数的标准 也可通过比较成分对X、Y的解释力，主观作出判断，如果贡献很小，就应舍弃，否则反而会有反效果。 （二）偏最小二乘的原理与实现 如果因变量只有一个，则分析完全相同，只不过不再对Y提取成分。而直接要求X的成分与Y相关性最大。 （三）偏最小二乘的优越性 以单因变量为背景以便于比较 （1）允许在样本点少于变量个数情况下建模； （2）能够在高度共线性环境下建模 （3）包含所有自变量； （三）偏最小二乘的优越性 与主成分回归的比较 主成分回归虽然在解决的问题上与偏最小二乘相差无几，在提取成分的基本思想上也比较接近，但PLS仍然具有优势。 （三）偏最小二乘的优越性 采用主成分分析提取的成分，虽然对自变量具有很好的概括力，但经常对因变量缺乏解释力 而PLS却可以在保持不错概括力的前提下，最好地解释因变量 （三）偏最小二乘的优越性 例： （三）偏最小二乘的优越性 （三）偏最小二乘的优越性 主成分为： 第一主成分解释了66.67%的信息，但对因变量毫无解释力。 （三）偏最小二乘的优越性 PLS、岭回归、主成分回归与OLS的比较 * * *