机器学习原理与应用课件 第5章 朴素贝叶斯.pptxVIP

第5章 朴素贝叶斯1

学习目标理解朴素贝叶斯的基本原理掌握Scikit-learn库构建不同类型朴素贝叶斯模型的基本方法122

目录页35.1基本原理5.2应用实例朴素贝叶斯

5.1基本原理朴素贝叶斯算法利用贝叶斯定理构建分类模型，同时通过特征相互独立（即朴素的基本含义）的假设简化模型求解的复杂度。4

5.1基本原理贝叶斯原理相关概念：1.先验概率：通过经验判断事件发生的概率（如乳腺癌发病率为24.2%且52.9%发生在发展中国家、微博用户男生比例占55%等）2.后验概率：事件发生后推测起因的概率（如已知病人患有“乳腺癌”的情况下推断遗传因素、营养过剩等导致“乳腺癌”起因的概率）3.条件概率：当前事件在另一事件已发生情况下的发生概率（如在已知存在“遗传因素”的情况下“乳腺癌”发病的概率）4.似然函数：用于确定模型参数的函数。概率描述已知参数时变量的输出，而似然则描述已知变量输出时未知参数的可能取值5

5.1.1基本概念?6

5.1.1基本概念?7

5.1.1基本概念?8

5.1.1基本概念?9

5.1.1基本概念?10

5.1.1基本概念表1所示的“学生作息与成绩关系”数据，此处以预测“出勤=早、休息=晚”学生成绩的好或差为例描述其基本过程11序号出勤休息成绩1早晚好2早早好3早晚差4晚早差5晚晚好6早晚好7早早好8晚早差9晚晚差10早晚好表1学生作息与成绩关系数据

5.1.1基本概念?12

5.1.1基本概念?13

5.1.1基本概念?14

5.1.2主要类型在Scikit-learn库native_bayes模块中，根据特征的类条件概率可将朴素贝叶斯模型分为：（1）高斯朴素贝叶斯（GaussianNB）GaussianNB假设特征的类条件概率服从正态分布（均值与方差根据训练数据估计）。（2）多项式朴素贝叶斯（MultinomialNB）MultinomialNB假设特征的类条件概率服从多项式分布，与适于连续型特征取值的GaussianNB不同，其更适于离散型特征情况下分类问题的求解。15

5.1.2主要类型（3）伯努利朴素贝叶斯（BernoulliNB）BernoulliNB假设特征的类条件概率服从伯努利分布，即数据包含多个特征，而每个特征的取值仅有两种；因而，与MultinomialNB不同，BernoulliNB更关注事件是否存在而非发生的次数。16

5.1.2主要类型（4）补集朴素贝叶斯（ComplementNB）ComplementNB主要用于解决朴素贝叶斯中的“朴素”假设以及样本不均衡等因素产生的各种问题（在计算每个类别的分类概率时，传统的朴素贝叶斯分类器可能会倾向于预测样本数较多的类别）。具体而言，对于指定类别及其补集，ComplementNB首先计算相应特征条件概率的乘积，然后利用两者之商作为指定类别最终的分类概率。17

5.2应用实例（1）高斯朴素贝叶斯（GaussianNB）导入方法：fromsklearn.naive_bayesimportGaussianNB函数原型：GaussianNB()18

5.2应用实例（2）多项式朴素贝叶斯（MultinomialNB）导入方法：fromsklearn.naive_bayesimportMultinomialNB函数原型：classsklearn.naive_bayes.MultinomialNB(alpha=1.0,fit_prior=True,class_prior=None)19

5.2应用实例（3）伯努利朴素贝叶斯（BernoulliNB）导入方法：fromsklearn.naive_bayesimportBernoulliNB函数原型：classsklearn.naive_bayes.BernoulliNB(alpha=1.0,binarize=0.0,fit_prior=True,class_prior=None)20

5.2应用实例（4）补集朴素贝叶斯（ComplementNB）导入方法：fromsklearn.naive_bayesimportComplementNB函数原型：classsklearn.naive_bayes.ComplementNB(alpha=1.0,fit_prior=True,class_prior=None,norm=False)21

5.2.1高斯朴素贝叶斯高斯朴素贝叶斯分类器假定每个特征的条件概率均服从高斯分布，进而可根据贝叶斯公式计算新样本属于各个类别的后验概率，最后通过最大化后验概率来确定样本的所属类别。在实际中，若特征分布形态未知或不易确定时，通常可先采用高斯朴素贝叶斯分类器进行