机器学习算法与实践 课件 第4章 贝叶斯.pptx

第四章贝叶斯贝叶斯系列算法是基于贝叶斯定理和概率统计原理的一类算法。它们通过对特征之间的条件概率进行建模，从而进行分类、回归、聚类等任务。贝叶斯模型作为一种重要的机器学习模型已在数据挖掘、计算机视觉、自然语言理解、经济统计与预测等领域得到广泛应用。贝叶斯系列算法在处理小样本问题、噪声数据以及不确定性建模方面具有优势，并且能够有效利用先验知识进行模型推理与预测。1

4.1贝叶斯方法概述贝叶斯方法提供了一种基于主观概率的数理统计分析方法，使用概率分布表示和理解样本数据，根据样本的先验概率分布和训练样本的标记数据计算出相应的后验概率分布，以贝叶斯风险为优化目标实现对样本数据的分类或回归。2

4.1.1贝叶斯公式????3

4.1.1贝叶斯公式假设模型参数的各取值状态互不相容，则可根据全概率公式得到概率P(X)。??因此可求得4

4.1.1贝叶斯公式????即后验概率=先验概率×样本信息。5

4.1.2贝叶斯决策理论贝叶斯决策具体步骤：1）定义决策空间：确定可供选择的决策及其可能的结果。2）确定先验概率：对每个可能的结果（即条件）估计先验概率。先验概率可以基于经验或专家知识进行估计。3）观测到证据：收集到与决策相关的证据或观测数据。4）计算后验概率：根据贝叶斯定理，将先验概率和观测到的证据相结合，计算各个条件下的后验概率。5）选择最优决策：根据后验概率，选择具有最大后验概率的决策，作为最优的决策。6

4.1.3极大似然估计极大似然估计具体步骤：1）确定概率分布模型：假设观测数据符合某个特定的概率分布模型，如正态分布、伯努利分布等。2）建立似然函数：将观测数据看作是参数的函数，构建似然函数。似然函数表示给定参数值下观测数据出现的概率。3）最大化似然函数：找到使似然函数取得最大值的参数值，即寻找最大似然估计。通常使用优化算法，如梯度下降法或牛顿法，求解似然函数的最大值点。4）得出估计值：最大似然估计得到的参数值即为所要求的估计值。7

4.1.3极大似然估计????8

4.2朴素贝叶斯算法 朴素贝叶斯算法的核心思想是根据给定的特征向量，通过计算后验概率来确定该样本属于不同类别的概率，然后选择具有最大后验概率的类别作为分类结果。9

4.2朴素贝叶斯算法??条件概率分布为?10

4.2朴素贝叶斯算法 朴素贝叶斯法对条件概率分布作了条件独立性的假设??11

4.2朴素贝叶斯算法后验概率计算根据贝叶斯定理可表示为?????12

4.2.1高斯朴素贝叶斯 高斯朴素贝叶斯算法是一种基于贝叶斯定理和特征独立性假设的分类算法，适用于处理连续特征的分类问题。??13

4.2.1高斯朴素贝叶斯 对于一个新的测试样本，算法先计算该样本在每个类别下的后验概率。使用高斯分布的概率密度函数，算法计算每个特征值在给定类别下的对数似然。然后，将先验概率和对数似然相加得到后验概率。最后，选择具有最大后验概率的类别作为预测结果。14高斯朴素贝叶斯算法的优势在于它对于大规模数据集具有较高的训练和预测效率，并且对于缺失数据的处理比较鲁棒。然而，它的一个主要限制是它假设特征之间是独立的，这在某些实际问题中可能不符合实际情况，因此其结果可能受到特征相关性的影响。

4.2.2多项式朴素贝叶斯 多项式朴素贝叶斯假设每个特征的出现次数是由多项分布生成的，即特征的计数符合多项分布。根据先验概率和条件概率计算每个类别的后验概率，并选择具有最大后验概率的类别作为预测结果。 对于每个测试样本，算法会计算特征的计数，并使用条件概率计算后验概率。15

4.2.3伯努利朴素贝叶斯 伯努利朴素贝叶斯算法的主要思想是将文档表示为二进制特征向量，其中每个特征表示单词或特定的文本属性是否出现。因此每个特征的取值是布尔型的，即true和false，或者1和0。它基于一个关键假设，即每个特征在给定类别下是条件独立的。 在训练过程中，遍历类别和特征，并根据特征是否存在来根据贝叶斯公式计算后验概率。最后选择具有最大后验概率的类别作为预测结果。16

4.3半朴素贝叶斯算法 半朴素贝叶斯算法的核心思想是，适当考虑一部分属性间的相互依赖信息。假设给定某个类别的条件下，特征之间的相关性可被一些选定的特征表示。 相比于传统的朴素贝叶斯算法，半朴素贝叶斯算法考虑了特征之间的相关性，可以更准确地捕捉数据中的复杂关系。并且该算法允许根据具体问题选择不同的核心特征和配对特征组合，可以适应不同类型的数据集和任务需求17

4.3半朴素贝叶斯算法独依赖估计（One-DependentEstimator，ODE）是半朴素贝叶斯分类器最常用的一种策略。独依赖是假设每个属性在类别之外最多依赖一个其他属性，即：???18

4.3半朴素