人工智能ArtificialIntelligence第五章.ppt

人工智能Artificial Intelligence第五章;*;机器学习概述;机器学习概述;机器学习概述;机器学习模型;机器学习发展阶段;七十年代的发展阶段： 由于当时专家系统的蓬勃发展，知识获取成为当务之急，这给机器学习带来了契机，主要侧重于符号学习的研究。机器学习的研究脱离了基于统计的以优化理论为基础的研究方法，提出了基于符号运算为基础的机器学习方法，并产生了许多相关的学习系统， 主要系统和算法包括： Winston的积木世界学习系统； Michalski基于逻辑的归纳学习系统AQVAL； Michalski和Chilausky的AQ11； Quinlan的ID3程序 Mitchell的版本空间方法。;八九十年代至今的鼎盛阶段。 理论研究和应用研究也有了新的突破，机器学习的研究进入了全面的、系统化的时期。 主要成果有： 一方面传统的符号学习的各种方法已日臻完善。Michalski等将AQ11扩充为一个多功能学习系统AQ15，ID3算法中使用了熵，从而使决策树归纳得到了很大的改进。 科学发现系统BACON开辟了无导师学习的两个重要研究领域。 神经网络学习在消沉了一段时期后又重新蓬勃发展起来了，同时计算机硬件技术的高速发展也为开展大规模和高性能的人工神经网络提供了保障，使得基于神经网络的连接学习从低谷走出，发展迅猛。其中Rumelhart等人提出的BP模型，提供了一个训练多层网络的实际可行的方法，克服了Perceptron的大部分局限性。 ;另一方面，机器学习的基础理论的研究越来越引起人们的重视。 1984年美国学者Valiant提出了基于概率近似正确性的学习理论（PAC学习），对布尔函数的一些特殊子类的可学习性进行了探讨，将可学习性与计算复杂性联系在一起，并由此派生出了“计算学习理论”（COLT） 1995年，Vapnik出版了“统计学习理论”一书。 对PAC的研究是一种理论性，存在性的；Vapnik的研究却是构造性的，他将这类研究模型称为支持向量机SVM（Support Vector Machine）。 ;机器学习概述;*;归纳学习;归纳学习;实例学习;实例学习;实例学习;实例学习;变型空间方法;假设规则的集合H： H是规则空间的子集 H中最一般的元素组成的子集称为G集合 H中最特殊的元素组成的子集称为S集合 在规则空间中，H是G和S中间的一段。 可以用G和S来表示H 变型空间方法： 初始：G是最上面一个点，S是最下面的直线（示教正例），H为整个规则空间 有哪些信誉好的足球投注网站过程：G下移，S上移，H逐步缩小。 结果：H收敛为只含一个要求的概念;消除侯选元素算法 (1)正规的初始H集是整个规则空间，这时S包含所有可能的示教正例（最特殊的概念）。 (2)接收一个新的示教例子。 如果是正例：去掉G中不覆盖新正例的概念，然后修改S为由新正例和S原有的元素共同归纳出的最特殊的结果 如果是反例：从S中去掉覆盖该反例的概念；然后修改G为由新反例和G原有元素共同特殊化为最一般的结果 (3)若G=S，且是单元集合，则转(4)，否则转(2) (4)输出H中的概念（即G和S）;变型空间法的缺点 (1)抗干扰能力差 变形空间法是数据驱动的方法，所有数据驱动的方法都难以处理有干扰的训练例子 算法得到的概念应满足每个示教例子的要求，所以一个错误的例子会造成很大的影响 (2)无法发现析取概念;决策树学习;决策树学习例子;ID3算法;决策树学习;决策树学习;决策树学习;决策树学习;*;*;*;*;*;*;*;S-MEA算法;*;*;*;CBR的过程模型 ;*;*;*;列联表及列联表分析; 逻辑回归基本理论和方法;逻辑回归模型;逻辑变换;概率p的预测;P与单因素之间的关系图;回归系数的含义;支持向量机;统计学习问题;经验风险最小化原则(ERM ) ;学习机器实际风险的界;结构风险最小化原则;*;最大间隔分类器 ;*;特征空间与核函数;特征空间与核函数;*;*;*;*;*;*;强化学习;强化学习;*;*;*;*;*;*;生物进化的基本条件;*;*;*;*;*;*;*;*;*;*;*;*;蚁群算法; 蚂蚁从A点出发，随机选择路线ABD或ACD。经过9个时间单位时：走ABD的蚂蚁到达终点，走ACD的蚂蚁刚好走到C点。; 最后的极限是所有的蚂蚁只选择ABD路线。（正反馈过程）;*;由James Kenney（社会心理学博士）和Russ Eberhart（电子工程学博士， /~eberhart/ ）于1995年提出粒子群算法（Particle Swarm Optimization, P