机器学习导论.ppt

机器学习导论 侯越先 Email: yxhou@ 个人主页：/faculty/hyx/ 课程QQ群：333462549 主要参考资料 1 Christopher M. Bishop, Pattern Recognition and Machine Learning (PRML), Springer （网上有电子版下载） 2 Tom Mitchell, Machine Learning, McGraw-Hill （有中译本） 导论：从人工智能到机器学习 早期的人工智能应用的典型例子 博弈系统 专家系统 定理机器证明系统 封闭环境下的问题求解系统 。。。。。。 早期的人工智能研究的共同特点 基于逻辑或形式系统、封闭性、强先验知识和充分的数据、自顶向下的设计模式、固化的“智能” 为什么要发展机器学习？ 人类智能的根本特征是发现和创新的能力 例子：开普勒－牛顿 人类思维的三种基本形式： 逻辑演绎：休谟的批评 归纳 抽象 人工智能有必要实现人类思维的归纳和抽象能力 （传统）人工智能 vs. 机器学习 手写字符识别 （传统）人工智能设计范式 机器学习设计范式 例子：多项式曲线回归（1） 例子：多项式曲线回归（2） 模型： 给定样本集 {(xi,yi)}, 则模型成为关于参数w的线性系统（线性方程组） 超定：求解使模型误差 最小的w* 注：w*唯一（为什么？） 适定、欠定：一般不考虑（为什么？是否有例外？） 例子：多项式曲线回归（3） 过拟合（overfitting）和欠拟合（underfitting） 例子：多项式曲线回归（4） 训练（training）误差和测试（test）误差 根均方（RMS）误差 例子：多项式曲线回归（4） 问题：如果将样本规模增加到15，9阶多项式拟合的过拟合现象会缓解吗？样本规模增加到100呢？ 启发：限制参数数目与样本数目之比可以缓解或消除过拟合 例子：多项式曲线回归（5） 更一般的考虑：模型复杂性 vs. 数据复杂性 参数个数（不完备地）反映了模型复杂性 样本规模（不完备地）反映了数据复杂性 如果有较充足的样本，但数据复杂性未知，这时应该怎么办？ 思路：使用强模型去学习，但在学习目标函数中加入 倾向于弱模型的补偿 例子：多项式曲线回归（6） 问题：加入补偿后的目标函数是否是凸的？ 例子：多项式曲线回归（7） 例子：多项式曲线回归（8） 规则化的一般化和替换 岭回归 Lasso回归 压缩感知 贝叶斯概率 什么是概率？ 频率主义观点：随机可重复事件的（极限）频率 问题：上述极限一定存在吗？ 贝叶斯概率 贝叶斯观点：贝叶斯概率本质上是一种信念 贝叶斯概率是否是纯个人（主观）的？ 概率的操作规则是否是纯个人（主观）的？ 概率的值（定量化）是否是纯个人（主观）的？ 贝叶斯概率：概率操作规则的客观性？ 假设信念是可定量的，且具有一组简单的、符合common sense的属性，则可以证明操作（计算）信念的规则是唯一的，且等价于概率论的“和规则”和“积规则”[Cox1946]。 类似证明:Good1950,Savage1961,Lindley1982和Dupre2009等 贝叶斯概率：概率操作规则的客观性？ 现代版本的“公理”（Dupre2009）： 1 偏序可交换代数 2 线性： 3 条件偏序性 。。。 贝叶斯概率：概率操作规则的客观性？ 问题：这类证明是否可以说明信念（贝叶斯概率）的操作规则具有客观性？ 反例：Dempster-Shafer证据理论 贝叶斯概率：概率值的客观性？ 主观贝叶斯主义和客观（逻辑）贝叶斯主义 客观贝叶斯主义的努力 重参数化不变性和不变先验 Jeffreys非信息不变先验 贝叶斯概率：概率值的客观性？ 技术困难：Improper先验？ 哲学困难：非信息先验之外的先验状态是否有客观性？ 统计推断：频率主义 最大似然估计：基于给定样本，构造似然函数，以似然函数最大值所对应的参数值作为推断结果 问题：似然函数和概率分布的区别？ 统计推断：频率主义 例子： 统计推断：频率主义 统计推断：频率主义 推断过程的3个重要性质：无偏性、一致性和有效性 统计推断：贝叶斯主义 贝叶斯公式： 贝叶斯定理： 问题：贝叶斯公式和贝叶斯定理的区别？ 统计推断：贝叶斯主义 贝叶斯推断：后验概率