人工智能原理及MATLAB实现 课件 第2章 机器学习.pptx

第二章机器学习

第二章机器学习2.1机器学习概述机器学习是人工智能应用研究较为重要的分支，是指利用计算机来获取新知识和技能，并能够识别现有知识的技术与方法，代表性的成果有人工神经网络、支持向量机等。进入21世纪，随着数据量和计算能力的不断提升，以深度学习为基础的诸多AI应用逐渐成熟。

第二章机器学习2.1机器学习概述机器学习的发展过程大体可分为几个阶段。在上世纪50年代，通过赋予机器逻辑推理能力使机器获得智能而完成一些数学定理的证明。在上世纪70年代，人工智能的发展进入“知识期”，即将人类的知识总结出来教给机器，使机器获得智能。经过数十年的研究，特别是随着人工智能技术和计算机技术的快速发展，为机器学习提供了新的更有力的研究手段和环境，机器学习已进入新阶段。新的研究热点如数据挖掘和知识发现的研究及在生物医学、金融管理、商业销售等领域的成功应用，给机器学习注入新的活力。

第二章机器学习2.2机器学习的分类按任务类型机器学习模型可以分为回归模型、分类模型和结构化学习模型。按方法的角度分机器学习可以分为线性模型和非线性模型。按学习理论分机器学习模型可以分为有监督学习、半监督学习、无监督学习、迁移学习和强化学习。

第二章机器学习2.3机器学习的主要策略与基本结构2.3.1机器学习的主要策略学习是一项复杂的智能活动，学习过程与推理过程紧密相连。根据学习中使用推理的多少，机器学习的策略可以分为机械学习、示教学习、类比学习和示例学习。学习中所用的推理越多，系统的能力就越强。

第二章机器学习2.3机器学习的主要策略与基本结构2.3.2机器学习的基本结构知识库是影响学习系统设计的第二个因素。知识的表达有多种形式，例如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等。这些表示方式各有特点，在选择表示方式时要兼顾以下四个方面：（1）表达能力强，即表达方式能很容易表达有关的知识。（2）易于推理，即表达方式能使推理较为容易。（3）容易修改知识库。学习系统在学习的过程中会不断修改它的知识库（4）知识易于扩展。

第二章机器学习2.4机器学习算法机器学习的基本步骤如下：①选择一个适合的模型。②判断一个函数的好坏。③找到最好的函数。。④检验。

第二章机器学习2.4机器学习算法2.4.1决策树算法决策树利用特殊的树形的决策模型来进行辅助决策，是模式识别中进行分类的一种有效的方法。利用树分形器可以把一个复杂的多类问题转化为若干个简单分类问题来解决。

第二章机器学习2.4机器学习算法2.4.1决策树算法决策树基本算法ID3算法C4.5算法CART算法

第二章机器学习2.4机器学习算法2.4.2贝叶斯网络算法贝叶斯定理、先验和后验使用p(X=x|A)或者p(x|A)表示给定知识A下的情形下对事件X=x的相信程度，即贝叶斯概率，它同时也是X的分布或分布密度。

第二章机器学习2.4机器学习算法2.4.3支持向量机算法传统的统计研究方法都是建立在大数定理这一基础上的渐近理论，要求学习样本数目足够多。然而在实际应用中，由于各个方面的原因，这一前提往往得不到保证。因此在小样本的情况下，建立在传统统计学基础上的机器学习方法，也就很难取得理想的学习效果和泛化性能。

第二章机器学习2.4机器学习算法2.4.4K近邻分类算法近邻法K-均值聚类

第二章机器学习2.4机器学习算法2.4.5模糊聚类算法基于模糊等价矩阵的聚类分析模糊C均值（FuzzyC-Means，FCM）聚类算法

第二章机器学习2.4机器学习算法2.4.6随机森林算法随机森林算法是布莱曼（LeoBreiman）在2001年提出的一种可以用于分类和预测的机器学习方法。其主要思想是建立一个包含多个决策树的森林，并且在建立的过程中采用随机决策的方式，每棵决策树在分类或回归时保持独立。随机森林之所以被称为随机，可以从两个方面进行理解，一方面是对于训练样本的随机选择；另一方面是对于特征向量的随机选取。

第二章机器学习2.4机器学习算法2.4.6随机森林算法随机森林的构建过程主要分为三步，即生成森林、决策分类和算法的产生。

第二章机器学习2.4机器学习算法2.4.7集成学习集成学习模型是机器学习的一种经典算法，属于监督学习的一种模式。主要形式是通过将几个弱学习器串行结合形成强学习器而进行使用，能够很好的平衡模型的偏差和方差，学习训练效果好，应用的领域也比较广泛。

第二章机器学习2.4机器学习算法2.4.8期望最大化（EM）算法期望最大化算法是1977年提出的，它是一类通过迭代计算进行极大似然估计的优化算法，算法的每次迭代都包含一个期望步骤（ExpectationStep）和一个最大化步骤（MaximizationStep）。该算法的目的是解决不完全数据的极大似然估计问题。不完全