第一章 统计学习方法概论.pdfVIP

袁春 清华大学深圳研究生院 李航 华为诺亚方舟实验室 目录 1. 统计学习 2. 监督学习 3. 统计学习三要素 4. 模型评估与模型选择 5. 正则化与交叉验证 6. 泛化能力 7. 生成模型与判别模型 8. 分类问题 9. 标注问题 10. 回归问题 一、统计学习 统计学习的对象 data ：计算机及互联网上的各种数字、文字、图像、视 频、音频数据以及它们的组合。 数据的基本假设是同类数据具有一定的统计规律性。 统计学习的目的 用于对数据 （特别是未知数据）进行预测和分析。 统计学习 统计学习的方法 分类：  Supervised learning  Unsupervised learning  Semi-supervised learning  Reinforcement learning 监督学习：  训练数据 training data  模型 model 假设空间 hypothesis  评价准则 evaluation criterion 策略 strategy  算法 algorithm 统计学习 统计学习的研究：  统计学习方法  统计学习理论 （统计学习方法的有效性和效率和基本理论）  统计学习应用 二、监督学习 Instance ，feature vector ，feature space 输入实例x 的特征向量：  x(i)与x 不同,后者表示多个输入变量中的第i个 i 训练集： 输入变量和输出变量： 分类问题、回归问题、标注问题 监督学习 联合概率分布 假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y) P(X,Y)为分布函数或分布密度函数 对于学习系统来说，联合概率分布是未知的， 训练数据和测试数据被看作是依联合概率分布P(X,Y)独立 同分布产生的。 假设空间 监督学习目的是学习一个由输入到输出的映射，称为模型 模式的集合就是假设空间 （hypothesis space ） 概率模型:条件概率分布P(Y |X), 决策函数：Y=f(X) 监督学习 问题的形式化 三、统计学习三要素 模型： 决策函数的集合： 参数空间 条件概率的集合： 参数空间 统计学习三要素 策略 损失函数：一次预测的好坏 风险函数：平均意义下模型预测的好坏 0-1损失函数 0-1 loss function 平方损失函数 quadratic loss function 绝对损失函数 absolute loss function 统计学习三要素 策略 对数损失函数 logarithmic loss function 或对数似然损失 函数 loglikelihood loss function 损失函数的期望 风险函数 risk function 期望损失 expected loss 由P(x,y)可以直接求出P(x |y),但不知道， 经验风险 empirical risk ，经验损失 empirical loss 统计学习三要素 策略：经验风险最小化与结构风险最小化 经验风险最小化最优模型 当样本容量很小时，经验风险最小化学习的效果未必很 好，会产生 “过拟合over-fitting ” 结构风险最小化 structure risk minimization ，为防止过 拟合提出的策略，等价于正则化 （regularization ），加 入正则化项regularizer ，或罚项 penalty term ： 统计学习三要素 求最优模型就是求解最优化问题： 统计学