机器学习-人工智能与专家系统.ppt

人工智能与专家系统 第7章 机器学习 7.1 机器学习的特征与方法 7.2 归纳学习方法 7.3 遗传算法 7.4 人工神经网络方法 7.1 机器学习的特征与方法 1 机器学习的主要特征 (1)目的性 (2)结构性 (3)有效性 (4)开放性 2 机器学习的基本方法 (1)归纳学习 (2)遗传算法 (3)人工神经网络 7.2 归纳学习方法 归纳学习 是从特例推导一般规则的学习方法。 7.2.1 CLS算法 1 CLS决策树构造算法 在CLS算法生成的决策树中，节点对应于待分类对 象的属性，由某一节点引出的弧对应于这个属性的取 值，叶节点对应于分类的结果。 设分类对象的属性表为AttrList={A1, A2, …, An}，每 一个属性Ai的值域记为Value (Ai)，需要分类的分类结果 组成分类结果表Class={C1,C2,……,Cm}。一般应有n≥1， m≥2。训练实例集T={X,C}中的一个元素就是一个训 练实例X,C，训练实例X，C的特征向量为X=(a1, a2, …… , an )，其中ai为这个实例的第i个属性Ai的取值， C为这个实例的分类结果，C∈Class。 CLS算法 (1)初始化： 输入初始学习实例，组成初始学习实例集合T； 输入分类属性，组成初始属性表 AttrList=(A1，A2，…，Ai，…An) 输入各属性的值，组成各属性的值域表： Value(A1)，Value(A2)，…，Value(Ai)，…，Value(An) (2)若所有的叶节点都是终叶节点，即算法成功终止；否则 转步骤(3)。 (3)若当前属性表AttrList=( )，则算法失败终止，否则转步 骤(4)。 (4)取当前属性表第1个属性Ai，逐一划分所有非终叶 节点中的实例集，并用属性Ai标记划分的非终叶节点。 (5)若属性Ai的值域表Value(Ai)有s个值，则将一个非 终叶节点中的实例集划分为s个子集，同一个子集节点中 的实例属性Ai有相同的属性值，并用属性值标记与子集 节点的连接弧。 若一个子集中的所有实例的分类结果均为Cj，则该 子集节点称为终叶节点，且用分类结果Cj标记该节点； 若一个子集为空集，则该子集节点也称为终叶节点，且 予以删除，并删除相应的连接弧。 (6)删除当前属性表中的第1个属性，转步骤(2)。 CLS算法的应用 例7.1 根据人员的外貌特征属性对人员进行 分类，3个分类特征属性分别是：身高、头发颜 色、眼睛颜色；分类结果是：P和N。 特征属性的值域分别是： Value(发色) = {亚麻色，棕色，黑色} Value(身高) = {矮，高} Value(眼色) = {兰色，黑色} 初始属性表为AttrList = (身高，发色，眼色)。 现有8个实例组成学习实例集T： 表7.1 例7.1的学习实例集 应用CLS算法生成人员分类决策树 由决策树得出产生式规则集 对规则集中的规则进行合并，给出没有冗余的规则集 解：(1)由表7.1给出的学习实例集可得出初始实例集T如下， 在T中，只表示了实例的序号及用括号括起来的分类类别。 T=( 1(P)，2(N)，3(P)，4(N)，5(N)，6(P)，7(N)，8(N) ) 初始属性表AttrList=(身高，发色，眼色) Loop1: 取属性表第1个属性“身高”划分T为2个子集。 身高 =“矮”的子集T1 = ( 1(P)，4(N)，8(N) ) 身高 =“高”的子集T2 = ( 2(N)，3(P)，5(N)，6(P)，7(N) ) 删除属性表中的第1个属性，使AttrList=(发色，眼色) Loop2: 取属性表中第1个属性“发色”划分T1和T2，2个子循环分别是： Loop21: 属性“发色”划分T1为3个子集： 发色 =“亚麻色”的子集T11 = ( 1(P)，8(N) ) 发色 =“棕色”的子集T12 = ( ) 终叶节点，删除 发色 =“黑色”的子集T13 = ( 4(N) ) 终叶节点，标记为N Loop22: 属性“发色”划分T2为3个子集： 发色 =“亚麻色”的子集T21 = ( 2(N)，6(P) ) 发色 =“棕色”的子集T22 = ( 3(P) ) 终叶节点，标记为P 发色 =“黑色”的子集T23 = ( 5(N)，7(N) ) 终叶节点，标记为N 删除属性表中第