人工智能原理及MATLAB实现 教案 第2章 机器学习.docx

《人工智能算法》课程教案

教学目的、要求：

1.了解机器学习的概述

2.掌握机器学习的主要策略和基本结构

3.了解机器学习算法

4.掌握贝叶斯网络算法

教学重点及难点：

重点：机器学习的主要策略和基本结构

难点：机器学习算法的原理

教学基本内容

教学过程设计

§2机器学习

§2.1机器学习概述

学习是人类具有的一种重要智能行为。通过学习人类不断取得科学与工程上的突破，同时也不断提高自身的智力水平。人类一直试图让机器具有智能，也就是人工智能。当机器具备了学习能力（机器学习），能自动获取知识时就完全与人类似。

§2.2人工智能的技术特征

不同的分类标准对机器学习方法有不同的分类。

（1）按任务类型机器学习模型可以分为回归模型、分类模型和结构化学习模型。

（2）按方法的角度分机器学习可以分为线性模型和非线性模型。

（3）按学习理论分机器学习模型可以分为有监督学习、半监督学习、无监督学习、迁移学习和强化学习。

§2.3机器学习的主要策略与基本结构

§2.3.1机器学习的主要策略

学习是一项复杂的智能活动，学习过程与推理过程紧密相连。根据学习中使用推理的多少，机器学习的策略可以分为机械学习、示教学习、类比学习和示例学习。学习中所用的推理越多，系统的能力就越强。

§2.3.2机器学习的基本结构

影响学习系统设计的最主要因素是环境向系统提供的信息的质量。

知识库是影响学习系统设计的第二个因素。知识的表达有多种形式，例如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等。这些表示方式各有特点，在选择表示方式时要兼顾以下四个方面：

（1）表达能力强，即表达方式能很容易表达有关的知识。

（2）易于推理，即表达方式能使推理较为容易。

（3）容易修改知识库。

（4）知识易于扩展。

§2.4机器学习算法

机器学习是一些算法的总称，这些算法企图从大量历史数据中挖掘出其中隐含的规律，并用于预测或分类。更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于没有明确的数学表达式。机器学习的目标是使寻找到的函数能不仅在训练样本上表现很好，而且也能很好地适用于新样本，即很好的泛化能力。

机器学习的基本步骤如下：

①选择一个适合的模型。

②判断一个函数的好坏。

③找到最好的函数。

④检验。

§2.4.1决策树算法

决策树利用特殊的树形的决策模型来进行辅助决策，是模式识别中进行分类的一种有效的方法。利用树分形器可以把一个复杂的多类问题转化为若干个简单分类问题来解决。

决策树是一种单分类器的分类技术，也是机器学习中的一种经典算法。一棵决策树的内部结点是属性或者属性的集合，而叶结点就是学习划分的类别或结论，内部结点的属性称为测试属性或分裂属性。

决策树基本算法

ID3算法

C4.5算法

CART算法

决策树的评价标准

对于一个决策树算法，可以用以下一些性能或指标进行评价。正确性、过学习、有效性、交叉有效性、余一有效性、复杂度。

§2.4.2贝叶斯网络算法

贝叶斯理论是一种研究不确定性的推理方法。不确定性常用贝叶斯概率表示，它是一种主观概率。通常的经典概率代表事件的物理特性，是不随人的意识变化的客观存在，而贝叶斯概率则是人的认识，是个人主观的估计，随个人的主观认识的变化而变化。如在投掷硬币的实验中，贝叶斯概率是指个人相信硬币会正面向上的程度。

使用p(X=x|A)或者p(x|A)表示给定知识A下的情形下对事件X=x的相信程度，即贝叶斯概率，它同时也是X的分布或分布密度。

常用三种不同的方式来构造贝叶斯网络。

（1）由邻域专家确定贝叶斯网络的变量（有时也称为影响因子），然后通过专家的知识来确定贝叶斯网络的结构，并指定它的分布参数。

（2）由领域专家确定贝叶斯网络的特点，通过大量的训练数据，来学习贝叶斯网络的结构与参数。机器学习的不断发展，使得这种方法更加普及。

（3）由领域专家确定贝叶斯网络的特点，通过专家的知识来指定网络的结构，再通过机器学习的方法从数据中学习网络的参数。

§2.4.3支持向量机算法

与神经网络相比，SVM有坚实的统计学基础，它具有以下的优点：

（1）以结构风险最小原理为基础，减少推广错误的上界，具有很好的推广性能，解决了神经网络的过拟合问题。

（2）问题的求解等价于线性约束的凸二次规划问题，具有全局最优解，解决了神经网络的局部极小问题。

（3）把原问题映射到高维空间，通过在高维空间构造线性分类函数来实现原问题的划分，引入核函数，解决了维数灾难问题。

§2.4.4K近邻分类算法

近邻法是在数据挖掘中使用最早的技术之一。其基本思想是为了预测一个记录中的预测值，或在历史数据库中寻找有相似预测值的记录，可以使用未分类记录中最接近的记录值作为预测值，也即相互之间接近的对象会有相似的预测值。

§2.4.5模糊聚类