今天内容模型选择.ppt

01重采样技术：直接估计测试误差R(M)02交叉验证03bootstrap直接估计测试误差最简单、最常用的估计预测误差的方法思想：直接估计样本外误差应用到来自X与Y的联合分布的独立的测试集在-折交叉验证中，数据被分成大致相等的份。对第份，用其余份数据用于拟合模型，并在第份数据上计算拟合好的模型的预测误差3214交叉验证估计预测误差的方法01估计乐观性，然后与训练误差相加02AIC/BIC/MDL等（模型与参数为线性关系时）03SRM04直接估计测试误差05交叉验证/bootstrap06对任意损失函数、非线性自适应拟合技术都适用07训练误差的乐观性估计乐观性通过各种技巧（通常是渐近性）估计乐观性MallowsCp统计量使用所有特征的模型统计量： AIC：AkaikeInformationCriterion当采用log似然作为损失函数，测试误差为其中为MLE，模型为，似然函数为则训练误差为其中为在训练集上的log似然。i为测试集上数据索引AIC：AkaikeInformationCriterion当时，其中这导出R(M)的一个估计：AIC其中为从一个低偏差（复杂的）估计的MSE获得。（高斯模型时，对数似然与平方误差损失一致）BIC：BayesianInformationCriterion类似AIC，可用于极大化对数似然实现的拟合中其中所以同AICBIC:Motivation用贝叶斯方法选择模型回顾贝叶斯方法为书写简单，记训练数据为假设已知模型的的形式，参数的贝叶斯估计为（见参数估计部分）定义模型参数的先验分布：和模型似然：当有数据Z到达后，参数的分布（后验分布）变得更确定qs贝叶斯方法与模型选择1给定一些列侯选模型，并且模型参数为2某个给定的模型的后验概率为：3表示模型的先验4表示证据（参数估计中的归一化因子）5为了比较两个模型，可以比较后验比：6如果比值1，则选择第1个模型。贝叶斯方法与模型选择1其中先验比2可以根据美学原理或经验确定：如简单的模型先验更高3但先验比不是必须的，即使假设模型的先验是均匀的，即先验比为常数，贝叶斯规则也倾向于选择能解释数据的最简单模型：Occam剃刀原理。4Bayes因子表示数据Z对后验比值的贡献（证据）5根据证据对模型排序例：Occam剃刀原理但对区域中的数据，的预测不如强复杂模型（如有更多自由参数）能对更宽范围做预测简单模型只对有限范围内做预测证据证据（evidence）以一维参数为例：利用Laplace方法近似，即用被积函数乘以其宽度通常会在最可能的参数附近有一个很强的峰。Occam因子（参数为多维情况）其中BIC：BayesianInformationCriterion当模型为线性模型时用Laplace近似其中为极大似然估计，为模型中自由参数的数目当损失函数取，导出贝叶斯信息准则：BIC01040203AIC不是一致的，而BIC是一致的。也就是说，选择最小BIC的模型等价于选择最大后验概率的模型（在渐近意义下）。事实上，模型的后验概率为不仅可以估计最好的模型，而且可以评估所考虑模型的相关指标。但：假设候选模型包含正确的模型“Essentially,allmodelsarewrong,butsomeareuseful”G.Box(1987)最小描述长度MDLRissanen,J.1978.Modelingbyshortestdatadescription.Automatica,14,465-471.最小描述长度MDL（minimumdescriptionlength）采用与BIC完全相同的选择准则，但它源自数据压缩/最优编码BIC与MD