第七章机器学习教程.docx

第七章 机器学习 7.1 机器学习的定义和发展历史 7.1.1 机器学习的定义 定义7.1 学习表示系统中的自适应变化，该变化能使系统比上一次更有效地完成同一群体所执行的同样任务。（西蒙） 米切尔给学习下了比较宽广的定义，使其包括任何计算机程序通过经验来提高某个任务处理性能的行为： 定义7.2 对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么就称这个计算机程序从经验E中学习。 在人类社会中，不管一个人有多深的学问，多大的本领，如果他不善于学习，那么就不必过于看重他，因为他的能力总是停留在一个固定的水平上，不会创造出新奇的东西。但一个人若具有很强的学习能力，则不可等闲视之了。虽然他现在的能力不是很强，但是“士别三日，当刮目相看”，几天以后他可能具备许多新的本领，根本不是当初的情境了。 1959年美国的塞缪尔设计了一个下棋程序，这个程序具备学习能力，它可以在不断地对弈中改善自己的棋艺。4年后这个程序战胜了设计者本人，又过了3年，战胜了保持8年的常胜将军。这个过程向人们展示了机器学习的能力。基于这一点我个人认为机器的能力将要超过人，毕竟机器不知道疲惫。 定义 7.3 机器学习是研究如何使用机器来模拟人类学习活动的一门学科。 定义 7.4 （稍为严格的提法）机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。 定义 7.5 机器学习是研究机器模拟人类的学习活动、获取知识和技能的理论和方法，以改善系统性能的学科。 以上三种定义由浅入深，但是依旧是不完全的不充分的…… 7.1.2 机器学习的发展史 大体上分为4个阶段。 第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。主要研究方法是不断修改系统的控制参数以改进系统的执行能力，不涉及与具体任务有关的知识。前面塞谬尔的下棋程序就是使用判别函数的典型例子。中国研制了数字识别学习机。 第二阶段在20世纪60年代中叶至70年代中叶，称为机器学习的冷静时期。研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。机器能够采用符号来描述概念???符号概念获取），并提出关于学习概念的各种假设。代表性的有温斯顿的结构学习系统和海斯·罗思等的基于逻辑的归纳学习系统。未能投入实际应用。 第三阶段从20世纪70年代中叶至80年代中叶，称为复兴时期。这一阶段机器学习建立在大规模的知识库上，与各种应用结合起来，促进机器学习的发展。 在1986年以后符号学习由“无知”学习转向有专门领域知识的增长型学习，因而出现了有一定知识背景的分析学习。神经网络由于隐节点和反向传播算法的发展，使连接机制学习东山再起，向传统的符号学习发起挑战。基于生物发育进化论的进化学习系统和遗传算法，因吸取了归纳学习与连接机制学习的长处而受到重视。基于行为主义的增强学习系统因发展新算法和应用链接机制学习遗传算法的新成就而显示出新的生命力。知识发现和数据挖掘已成为21世纪机器学习的一个重要研究课题。机器学习研究进入稳步发展和逐渐繁荣的新时期。 7.2 机器学习的主要策略与基本结构 7.2.1 机器学习的主要策略 机器学习的策略大体上分为4种——机械学习、示教学习、类比学习、和示例学习。 机械学习就是记忆，是最简单的学习策略。这种学习策略不需要任何推理过程。外界输入知识的表示方式与系统内部表示方式完全一致，不需要任何处理与转换。塞缪尔的下棋程序就是采用了这种机械记忆策略。 比机械学习更复杂的是示教学习策略。外界输入知识的表达方式与内部表达方式不完全一致，系统在接受外部知识时需要一点推理、翻译和转化工作。MYCIN、DENDRAL等专家系统在获取知识上都采用这种学习策略。 类比学习比以上两种学习需要更多的推理，类比学习比上述两种学习也要更加复杂。 示例学习策略由于事先完全没有完成任务的任何规律性信息，所得到的只是一些具体的工作例子及工作经验。系统需要对这些例子经验进行分析、总结和推广，得到完成任务的一般性规律，并在进一步的工作中验证或修改这些规律，因此示例学习策略需要最多的推理。 此外，基于解释的学习、决策树学习，增强学习和基于神经网络的学习等。 7.2.2 机器学习系统的基本结构 以西蒙的学习定义为出发点，建立起简单的学习模型。环境向系统的学习部分提供某些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获取的信息反馈给学习部分。在具体的应用中，环境、知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述三部分确定。影响学习系统设计最重要的因素是环境向系统提供的信息。 知识的表示形式的选择依据： （1）表达能力强 （2）易于推理 （3）容易修改知识库 （4）知识表示易于扩展 7.3 归纳学