《媒体与认知》第6章统计学习方法1.pptx

Media and Cognition 本章主要内容 第六章 统计学习方法 章节 教学目标 6.1 概述 了解统计学习方法前沿技术 6.2 支持向量机 掌握采用最大间隔作为分类准则的线性判别函数 求解方法；掌握核函数方法 6.3 神经网络 掌握神经网络基本原理 6.4 深度学习 了解常见的深度学习方法 第六章 统计学习方法 6.1 概述 6.2 支持向量机 6.3 神经网络 6.4 深度学习 6.1 概述 学习系统的一般模型 System … … 1 x x2 xN y1 y2 yM 1 2 h , h , ..., h K x   x1 , x2 ,..., xN  h  h1 , h2 ,..., hK  y   y1 , y2 ,..., yK  Input Variables: Hidden Variables: Output Variables: PAC 平凡解(问Va题liant 1984) James(19世纪末)： Hebb：神神经经元集相合互体连假接设 McCulloch, Pitts(20世纪中期): “兴奋”和“抑制” Hebb(20世纪中期): Widrow：Adaline（1960） 学习律 神经科学 机器学习研究历程 Barlow：功能单细胞假设 Rosenblatt：感知机（1956） 线性不可分 问题 Rumelhart：BP（1986） Schapire：弱学习定理（1990） 有限样本统计理论 线性空间Fr表eu示nd：AdaBoost（1996） （Minsky 1969） Vapnik：SVM（1991） ？ i.i.d问题 一致性假设 30年 Samuel：符号机器学习 ？ 泛化理论 王珏,机器学习研究回顾与趋势,2004.9 机器学习的基本问题和方法 机器学习  根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它 能够对未知输出作出尽可能准确的预测。 机器学习问题的表示  根据n个独立同分布观测样本确定预测函数f(x,w)。  在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计， 使预测的期望风险最小。 环境 学习环节 知识库 Simon的学习模型 执行环节 三类基本的机器学习问题(1)  模式分类问题：输出y是类别标号，两类情况下y={1,- 1}，预测函数称作指示函数(Indicator Function)，损失 函数定义见下式，使期望风险最小就是Bayes决策中使 错误率最小。 L( y, f (x, w))   y  f (x, w) 1 y  f (x, w) 0 三类基本的机器学习问题(2)  回归问题：输出y是连续变量，它是x的函数，损失函数 定义见下式: L( y, f (x, w))  y - f (x, w)2 三类基本的机器学习问题(3)  概率密度估计问题：根据训练样本确定x的概率分布 p(x,w)，则损失函数可定义为: L( p(x, w))  -log p(x, w) 统计学习的基本方法 有监督/无监督学习  有监督(Supervised)：分类、回归  无监督(Unsupervised)：概率密度估计、聚类、降 维 半监督(Semi-supervised)：EM、Co-training 其他学习方法 增强学习(Reinforcement Learning) 多任务学习(Multi-task learning) 其他学习方法 增强学习(Reinforcement Learning) ：外部环境对输出 只给出评价信息而非正确答 案，学习机通过强化受奖励 的动作来改善自身的性能。  训练数据包含部分学习目标信息 多任务学习：Learns a problem together with other related problems at the same time, using a shared representation. 学习机(LM) 环境 输入 输出 评价信息 学习模型(1) 单学习模型 Linear models Kernel methods Neural networks Probabilistic models Decision trees  …… 学习模型(2) 模型组合  组合多个“弱”学习模型来达到更优的性能 1+11?  Boosting：结合低性能学习模型来产生一个强大的 分类器组  Bagging：结合多个不稳定学习模型来产生稳定预 测  主动学习(Active learning)：主动选择训练样本 产生式模型 vs 判别式模型 Generative models:  建模(联合)概率分布： 利用Baye