半监督学习综述讲解.ppt

半监督学习综述(Semi-supervised?Learning ) 机器学习 半监督学习的过程 半监督学习背景 传统机器学习算法需要利用大量有标记的样本进行学习。 随着信息技术的飞速发展，收集大量未标记的（unlabeled）样本已相当容易，而获取大量有标记的示例则相对较为困难，因为获得这些标记可能需要耗费大量的人力物力。 如何利用大量的未标记样本来改善学习性能成为当前机器学习研究中备受关注的问题。 优点：半监督学习（Semi-supervised?Learning）能够充分利用大量的未标记样本来改善学习机的性能，是目前利用未标记样本进行学习的主流技术。 半监督学习的发展历程 未标记示例的价值实际上早在上世纪80年代末就已经被一些研究者意识到了。 R. P. Lippmann. Pattern classification using neural networks. IEEE Communications, 1989, 27(11): 47-64 . 半监督学习的应用领域 半监督学习应用实例 语音识别（Speech recognition） 文本分类（Text categorization） 词义解析（Parsing） 视频监控（Video surveillance） 蛋白质结构预测（Protein structure prediction） 半监督学习的主要方法 最大期望（EM算法） 自训练（Self-training) 协同训练（Co-training) 转导支持向量机（Transductive Support Vector Machines ） 基于图的方法(graph-based methods) 1. 最大期望（EM算法） 1.1 EM算法的特点 定义：具有隐状态变量的分布中参数的最大似然估计。 适用：能够产生很好的聚类数据 困难：如果把在参数 下的期望 为 。那么，在估计状态变量X时，估值当然应该用条件期望然而这时就需要知道参数 的值；另一方面，为了知道 ，又必须先知道X的估值（作为状态已知样本值） 1.2 EM算法的具体步骤（解决方法） 2 自训练（Self-training） 定义：首先利用已标记的样本训练分类器，然后利用已有未标记训练样本建立的模型标记，使用分类器选出置信度高的样本加入训练集中重新训练，迭代这个过程，得到一个比较理想的分类器。 适用：用监督学习分类器时很复杂或者是很难修正 优点：简单 、容易实现 。 缺点：误差也同时会自我迭代放大。 3 协同训练（Co-training） 背景：最早是1998年由A.Blum和T.Mitchell在Combining labeled and unlabeled data with co-training. In: Proceedings of the 11th Annual Conference on Computational Learning Theory (COLT’98), Wisconsin, MI, 1998, 92-100.提出来的，在当时来说可谓是半监督学习的核心主流算法。 定义：假设特征能够分成两个集，这两个数据集是独立同分布的。每个子特征集能够训练一个很好的分类器。每个分类器把未标记的样本分出来给另一个分类器，选择出置信度高的新的为标记样本进行标记，重复上面的过程。 适用：特征能够很好的分成两类。 缺点：大多数的问题并不具有“充分大”的属性集，而且随机划分视图这一策略并非总能奏效， 3.1 协同训练的改进 S. Goldman和Y. Zhou提出了一种不需要充分冗余视图的协同训练算法。他们用不同的决策树算法，从同一个属性集上训练出两个不同的分类器，每个分类器都可以把示例空间划分为若干个等价类。 他们 又对该算法进行了扩展，使其能够使用多个不同种类的分类器。 tri-training算法：不仅可以简便地处理标记置信度估计问题以及对未见示例的预测问题，还可以利用集成学习（ensemble learning）来提高泛化能力 3.2 协同训练的应用实例 D. Yarowsky 在研究词义消歧时，通过同时使用词的局部上下文以及词在文档其他部分出现时的含义这两部分信息，有效减少了对人工标注数据的需求量 E. Riloff和R. Jones 在对名词短语进行地理位置分类时，同时考虑了名词短语本身及其出现的上下文。 M. Collins和Y. Singer 进行名实体识别时，也同时使用了名实体的拼写信息及名实体出现的上下文信息。 4 转导支持