周志华 机器学习 Chap02模型评估与选择.pptVIP

20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 权 保 留 机器学习导论 (2016 春季学期) 二、模型评估与选择 主讲教师：周志华 权 学 机 16 南 京 大 保 20 器 学 习 导 论 课 程 专 用 所 有 留 典型的机器学习过程 什么模型好？ 能很好地适用于 unseen instance 泛化能力强！ 例如，错误率低、精度高 然而，我们手上没有 unseen instance，…… 权 所 有 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 保 留 泛化误差 vs. 经验误差 泛化误差：在“未来”样本上的误差 经验误差：在训练集上的误差，亦称“训练误差”  泛化误差越小越好  经验误差是否越小越好？ NO! 因为会出现“过拟合”(overfitting) 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 权 保 留 过拟合 (overfitting) vs. 欠拟合 (underfitting) 20 16 南 京 大 学 机 器 学 习 导 论 课 程 用 专 所 有 权 保 留 模型选择 (model selection) 三个关键问题:  如何获得测试结果？  如何评估性能优劣？  如何判断实质差别？ 评估方法 性能度量 比较检验 权 专 用 20 16 南 京 大 学 机 器 学 习 导 论 课 程 所 有 保 留 评估方法 关键：怎么获得“测试集”(test set) ？ 测试集应该与训练集“互斥” 常见方法：  留出法 (hold-out)  交叉验证法 (cross validation)  自助法 (bootstrap) 权 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 保 留 训练集 测试集 留出法 拥有的数据集 注意：  保持数据分布一致性 （例如: 分层采样)  多次重复划分 (例如: 100次随机划分)  测试集不能太大、不能太小 (例如：1/5~1/3) 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 权 保 留 k-折交叉验证法 若 k = m，则得到“留一法” (leave-one-out, LOO) 权 保 器 学 习 导 论 课 学 机 20 16 南 京 大 程 专 用 所 有 留 自助法 基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样” 约有 36.8% 的样本不出现 训练集与原样本集同规模 数据分布有所改变 “包外估计”(out-of-bag estimation) 权 专 用 20 16 南 京 大 学 机 器 学 习 导 论 课 程 所 有 保 留 “调参”与最终模型 算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定 参数调得好不好对性能往往对最终性能有关键影响 调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 区别：训练集 vs. 测试集 vs. 验证集 (validation set) 算法参数选定后，要用“训练集+验证集”重新训练最终模型 20 16 南 京 大 学 机 器 学 习 导 论 课 程 用 专 所 有 权 保 留 模型选择 (model selection) 三个关键问题:  如何获得测试结果？  如何评估性能优劣？  如何判断实质差别？ 评估方法 性能度量 比较检验 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 权 保 留 性能度量 性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果 什么样的模型是“好”的，不仅取决于算法和数据， 还取决于任务需求  回归(regression) 任务常用均方误差： 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 权 保 留 错误率 vs. 精度  错误率：  精度： 权 20 16 南 京 大 学 机 器 学 习 导 论 课 程 专 用 所 有 保 留  查准率： 查准率 vs. 查全率  查全率： 权 所 用 专 有 程 课 机 器 学 习 导 论 大 学 20 16 南 京 保 留 (BEP) PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C PR图, BEP 根据学习器的预测结果按正例可能性大小