小样本类人概念学习-贝叶斯学习讲解.pptx

贝叶斯学习 岳伟超 小样本下的类机器学习 Sample：Big data Sample：small mount 深度学习是基于大数据通过多层网络实现机器自动识别有效的特征，显然数据越多其效果相对就会越好。 在没有大数据情况下，深度学习的效果将会显著下降。对于人类来说，没有知识的积累，没有相应的专业知识，依然能够模仿学习，因为人类面对陌生环境依然能够通过学习做出适应变化。 “小样本机器学习”作为机器学习的另一条途径，由相关领域内的专家人工提取出有用的特征，配合少量的数据进行机器学习。在此主要以Bayesian学习方法为核心。 1、小样本机器学习 2、Bayesian基础知识 频率派把需要推断的参数Θ看做是固定的未知常数，是确定的一个值，同时样本X是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布； 贝叶斯派的观点则截然相反，他们认为参数Θ是随机变量，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数Θ的分布。 例如： 只看下面有什么牌来决策的就是频率学派 除了看下面有什么牌，还考虑了这个牌是谁打出的，什么时候打出的，这个人打出所有牌友什么联系等一系列问题的就是贝叶斯学派； 2.1 可以根据观察到的每个训练样例能够增量地降低或升高某假设的估计概率。 先验知识可以与观察数据一起决定假设的最终概率； 贝叶斯方法可允许假设做出不确定性的预测； 新的实例分类可由多个假设一起做出预测，用它们的概率来加权； 在贝叶斯方法计算复杂度较高时，它们仍可作为一个最优的决策标准衡量其他方法； 2、Bayesian基础知识 2.2 贝叶斯学习方法的特性 2、Bayesian基础知识 2.2 贝叶斯学习应用领域 2、Bayesian基础知识 2.3 贝叶斯学习方法的难度 难度之一：获取先验知识 需要概率的先验知识，当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率； 难度之二：计算复杂度 一般情况下，确定贝叶斯最优假设的计算代价比较大（在某些特定情形下，这种计算代价可以大大降低）。 2、Bayesian基础知识 2.4 理论知识—先验概率VS后验概率 先验概率是指根据以往经验和分析得到的概率，它往往作为“由因求果”问题中的“因”出现。 后验概率是指在得到“结果”的信息后重新修正的概率，是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。 先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率 2、Bayesian基础知识 2.4 理论知识—贝叶斯法则 用P(h)表示在没有训练数据前假设h拥有的先验概率，反映了h是正确假设的机会的背景知识，如果没有P(h)，可以简单地先赋予相同的先验概率 类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率 机器学习中，关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率 2、Bayesian基础知识 2.4 理论知识—贝叶斯的简单应用 Google基于贝叶斯方法的拼写检查 P(c)表示某个正确的词的出现“概率”，它可以用“频率”代替。 P(w|c)表示在试图拼写c的情况下，出现拼写错误w的概率。 By Bayesian’Theorem this is equivalent to: Since P(w) is the same for every possible c, we can ignore it, giving: 朴素贝叶斯分类器 2.5 朴素贝叶斯分类器 朴素贝叶斯分类模型（Naïve Bayes或Simple Bayesian）假定特征向量的各分量间相对于决策变量是相对独立的，各分量独立地作用于决策变量。 朴素贝叶斯的思想基础：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 2、Bayesian基础知识 2.5.1朴素贝叶斯分类器数学定义 2、Bayesian基础知识 设 为一个待分类项，而 为F 的一个特征属性 有类别集合 朴素贝叶斯分类器是计算出概率最大的那个分类，即求下面算式的最大值： 如果 则 由于各个特征属性是条件独立： 2.5.1朴素贝叶斯分类器流程图 2、Bayesian基础知识 输出：特征属性和训练样本 输入：特征属性和训练样本 输出：分类器 输入：分类器和待分类项 输出：待分类项与类别的映射关系 2.5.2 朴素贝叶斯分类器应用——检测SNS社区中不真实账号 2、Bayesian基础知识 设C=0表示真实账号，C=