半监督学习综述.ppt

对半监督学习综述李彦鹏 数据线性不可分 构造软间隔分类超平面 原优化模型 Minimize Subject to 对偶优化模型 Maximize Subject to Inference with the Universum Universum vs Unlabeled 让超平面穿过Universum密集的区域 Universum SVM 实验结果 Self-Training（Bootstrapping） 训练集 未标数据 分类器 将“最确定”的分类结果加入训练集重新训练 阈值 返回 总结 错误被加强 某些小规模实验效果有提高 大部分实验效果降低 改进：加入约束条件 参见： Guiding Semi-Supervision with Constraint-Driven Learning ACL 2007 Generative模型 最简单的模型，GMM模型 参数 联合概率 决策规则： （条件概率） Generative模型 极大似然估计（训练的过程） 监督学习 半监督学习:使未标语料也尽可能服从参数为?的高斯分布 实验结果 总结 优点：如果数据分布符合模型，效果非常好 缺点： 大部分数据的“密度”函数的形式很难确定 * * 郭崇慧 大连理工大学 * 问题 什么是半监督学习？ 人类是否进行半监督学习？ 半监督学习的历史及发展？ 有哪些半监督学习的方法？如何使用？ 在自然语言处理方面有哪些应用？ 参考资料 Semi-Supervised Learning Literature Survey 会议： ICML（机器学习） NIPS（神经计算） COLT（机器学习理论） ACL（自然语言处理） 杂志 Journal of Machine Learning Research 图书 统计学习理论　 Vapnik　1998 Kernel Methods for Pattern Analysis John Shawe-Taylor 2005 Estimation of Dependences Based on Empirical Data Vapnik 2006 概念 监督学习（Supervised learning） 训练集：标注 非监督学习（Unsupervised learning） 训练集：无需标注（同一分布） 半监督学习（Semi-supervised learning） 训练集：标注+未标注(同一分布) 举例 判断一个短语是否为学校名 训练集： 测试集： 清华大学 东北大学 哈尔滨工业大学 上海海事大学 未标语料： 大连理工大学 大连海事大学 大连理工 返回 举例 判断一个短语是否为学校名 训练集： 测试集： 未标语料起到至关重要的作用 清华大学 东北大学 哈尔滨工业大学 上海海事大学 CMU 未标语料： Carnegie Mellon University 卡耐基 梅隆大学 意义 人工标注耗费时间 未标样本容易获得 样本充足，锦上添花 推理本质的研究 方法 Generative models Self-Training Multi-View learning Transductive SVM Graph-Based Methods 人类是否进行半监督学习？ 很难回答。人类对自身的了解甚至不如对宇宙的了解。 很多发明来源于生物的启示。如：飞机、神经网络等。 人类是否进行半监督学习？ 人类是否进行半监督学习？ 判断正面像和侧面像是否是同一个人 人类是否进行半监督学习？ Wallis的实验：错误“Unlabeled Data”的影响 训练：“错误”的序列 测试：正面像和侧面像是否是同一个人 返回