机器学习算法一览.pdf

机器学习算法一览 作者授权转载作者：寒小阳 摘自： /han_xiaoyang/article/details 大数据文摘愿意为读者打造高质量【机器学习讨论群】 ，措 施如下（ 1 ）群内定期组织分享（ 2 ）确保群内分享者和学习 者数量适合，有分享能力者不限名额，学习者数量少于分享 者，按申请顺序排序。点击文末“阅读原文”填表入群 引言 提起笔来写这篇博客，突然有点愧疚和尴尬。愧疚的是，工 作杂事多，加之懒癌严重，导致这个系列一直没有更新，向 关注该系列的同学们道个歉。尴尬的是，按理说，机器学习 介绍与算法一览应该放在最前面写，详细的应用建议应该在 讲完机器学习常用算法之后写，突然莫名奇妙在中间插播这 么一篇，好像有点打乱主线。 老话说『亡羊补牢，为时未 晚』，前面开头忘讲的东西，咱在这块儿补上。我们先带着 大家过一遍传统机器学习算法，基本思想和用途。把问题解 决思路和方法应用建议提前到这里的想法也很简单，希望能 提前给大家一些小建议，对于某些容易出错的地方也先给大 家打个预防针，这样在理解后续相应机器学习算法之后，使 用起来也有一定的章法。 2. 机器学习算法简述 按照不同的分类标准，可以把机器学习的算法做不同的分类。 2.1 从机器学习问题角度分类 我们先从机器学习问题本身分类的角度来看，我们可以分成 下列类型的算法：监督学习算法 机器学习中有一大部分的问题属于『监督学习』的范畴，简 单口语化地说明，这类问题中，给定的训练样本中，每个样 本的输入 x 都对应一个确定的结果 y ，我们需要训练出一个 模型 (数学上看是一个 x →y的映射关系 f) ，在未知的样本 x ′ 给定后，我们能对结果 y ′做出预测。 这里的预测结果如果是离散值 (很多时候是类别类型， 比如邮 件分类问题中的垃圾邮件 / 普通邮件，比如用户会 / 不会购买 某商品 ) ，那么我们把它叫做分类问题 (classification problem) ；如果预测结果是连续值 ( 比如房价，股票价格等等 ) ， 那么我们把它叫做回归问题 (regression problem) 。 有一系列的机器学习算法是用以解决监督学习问题的，比如 最经典的用于分类问题的朴素贝叶斯、逻辑回归、支持向量 机等等；比如说用于回归问题的线性回归等等。 无监督学习 有另外一类问题， 给我们的样本并没有给出 『标签/ 标准答案』 ， 就是一系列的样本。而我们需要做的事情是，在一些样本中 抽取出通用的规则。这叫做『无监督学习』 。包括关联规则 和聚类算法在内的一系列机器学习算法都属于这个范畴。 半监督学习 这类问题给出的训练数据，有一部分有标签，有一部分没有 标签。我们想学习出数据组织结构的同时，也能做相应的预 测。此类问题相对应的机器学习算法有自训练 (Self-Training) 、 直推学习 (Transductive Learning) 、生成式模型 (Generative Model) 等。 总体说来，最常见是前两类问题，而对应前两类问题的一些 机器学习算法如下： 2.2 从算法的功能角度分类 我们也可以从算法的共性 ( 比如功能，运作方式 )角度对机器 学习算法分类。下面我们根据算法的共性去