第6章机器学习.ppt

第六章 机器学习 主要内容 机器学习概述 归纳学习(变型空间和候选消除算法) 决策树学习 基于实例的学习 强化学习 小结 6.1.1 机器学习的概念 心理学中对学习的解释是：学习是指（人或动物）依靠经验的获得而使行为持久变化的过程。 Simon认为：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。 Minsky认为：学习是在人们头脑中（心理内部）进行有用的变化。 Tom M. Mitchell在《机器学习》一书中对学习的定义是：对于某类任务T和性能度P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么，我们称这个计算机程序从经验E中学习。 当前关于机器学习的许多文献中也大都认为：学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。 一个学习系统应具有以下特点： 3.能用所学的知识解决问题 学习的目的在于应用，学习系统能把学到的信息用于对未来的估计、分类、决策和控制。 4.能提高系统的性能 提高系统的性能是学习系统最终目标。通过学习，系统随之增长知识，提高解决问题的能力，使之能完成原来不能完成的任务，或者比原来做得更好。 由此看来: 学习系统至少应有环境、知识库、学习环节和执行环节四个基本部分。一种典型的学习系统（迪特里奇（Dietterich）学习模型）如下图所示。环境向系统的学习部件提供某些信息，学习环节利用这些信息修改知识库，增进执行部件的效能；执行环节根据知识库完成任务，同时把获得的信息反馈给学习部件。 1．神经元模型研究阶段 这个时期主要技术是神经元模型以及基于该模型的决策论和控制论;机器学习方法通过监督（有教师指导的）学习来实现神经元间连接权的自适应调整，产生线性的模式分类和联想记忆能力。 具有代表性的工作有F·Rosenblaft的感知机（1958年）；N·Rashevsky数学生物物理学（1948年）；W·S·McCullouch与W·Pitts的模拟神经元的理论（1943年）;R·M·Friedberg对生物进化过程的研究 2．符号概念获取研究阶段 60年代初期，机器学习的研究进入了第二阶段，在这个阶段，心理学和人类学习的模拟占有主导地位，其特点是使用符号而不是数值表示来研究学习问题，其目标是用学习来表达高级知识的符号描述。在这一观点的影响下，主要技术是概念获取和各种模式识别系统的应用；研究人员一方面深入探讨学习的简单概念，另一方面则把大量的领域知识并入学习系统，以便它们发现高深的概念。 这个阶段代表性的工作是温斯顿（P.H. Winston，1975）的基于示例归纳的结构化概念学习系统。 3．基于知识的各种学习系统研究阶段 机器学习发展的第三个阶段始于70年代中期，这个阶段不再局限于构造概念学习系统和获取上下文知识，结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。 相应的有关学习方法相继推出，比如示例学习、示教学习、 观察和发现学习、类比学习、基于解释的学习。工作特点强调应用面向任务的知识和指导学习过程的约束，应用启发式知识于学习任务的生成和选择，包括提出收集数据的方式、选择要获取的概念、控制系统的注意力等。 4．联结学习和符号学习共同发展阶段 80年代后期以来，形成了联结学习和符号学习共同发展的局的第四个阶段。在这个时期，发现了用隐单元来计算和学习非线性函数的方法，从而克服了早期神经元模型的局限性，同时，由于计算机硬件的迅速发展，使得神经网络的物理实现变成可能，在声音识别、图像处理等领域，神经网络取得了很大的成功。 在这个进期，符号学习伴随人工智能的进展也日益成熟，应用领域不断扩大，最杰出的工作有分析学习（特别是解释学习）、遗传算法、决策树归纳等。现在基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发,将机器学习的研究推向新的高度。 1. 基于学习策略的分类 （1）模拟人脑的机器学习 ●符号学习：模拟人脑的宏观心理级学习过程，以认知心理学原理为基础，以符号数据为输入，以符号运算为方法，用推理过程在图或状态空间中有哪些信誉好的足球投注网站，学习的目标为概念或规则等。符号学习的典型方法有：记忆学习、示例学习、演绎学习、类比学习、解释学习等。 ●神经网络学习（或连接学习）：模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输入，以数值运算为方法，用迭代过程在系数向量空间中有哪些信誉好的足球投注网站，学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。 （2）直接采用数学方法的机器学习 ●主要有统计机