模式识别与机器学习第一章.ppt

小结 模式识别和机器学习的概念 发展简史和应用 主要方法 系统构成和实例 几个相关的数学概念 归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用。连接学习在声图文识别中占优势。分析学习已用于设计综合型专家系统。遗传算法与强化学习在工程控制中有较好的应用前景。 * 集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。 增强学习（Q-learning）要解决的是这样的问题：一个能感知环境的自治agent，怎样通过学习选择能达到其目标的最优动作。 所谓强化学习就是智能系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大 * 聚类的目的在于把相似的东西聚在一起，而我们并不关心这一类是什么。因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了。 * 在这方面一个突出的例子是Backgammon（西洋双陆棋）游戏，有一系列计算机程序（例如neuro-gammon和TD-gammon）通过非监督学习自己一遍又一遍的玩这个游戏，变得比最强的人类棋手还要出色。 * * 影响学习系统设计的最重要的因素是环境向系统提供的信息。或者更具体地说是信息的质量。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高，与一般原则的差别比较小，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难 * ＬＰＣ：线性预测系数 * 无监督学习 无监督学习是我们不告诉计算机怎么做，而是让它自己去学习怎样做一些事情。 无监督学习与监督学习的不同之处在于，事先没有任何训练样本，需要直接对数据进行建模，寻找数据的内在结构及规律，如类别和聚类。 常用于聚类、概率密度估计。 增强学习 增强学习要解决的问题：一个能够感知环境的自治机器人，怎样通过学习选择能达到其目标的最优动作。 机器人选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈回来。 机器人根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大。 半监督学习 半监督学习（Semi-supervised Learning）是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。 它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。 半监督学习的主要算法有五类：基于概率的算法；在现有监督算法基础上改进的方法；直接依赖于聚类假设的方法；基于多视图的方法；基于图的方法。 系统构成 模式识别系统的基本构成 机器学习的基本构成 数据获取 特征提取和选择 预处理 分类决策 分类器设计 环境 学习 知识库 执行与评价 模式识别系统组成单元 数据获取：用计算机可以运算的符号来表示所研究的对象 二维图像：文字、指纹、地图、照片等 一维波形：脑电图、心电图、季节震动波形等 物理参量和逻辑值：体温、化验数据、参量正常与否的描述 预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原 模式识别系统组成单元 特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征 测量空间：原始数据组成的空间 特征空间：分类识别赖以进行的空间 模式表示：维数较高的测量空间-维数较低的特征空间 分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别 基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。 机器学习系统组成单元 环境：是系统的工作对象（包括外界条件），代表信息来源。 信息水平：相对于执行环节要求而言，由学习环节消除差距 信息质量：实例示教是否正确、实例次序是否合理等 知识库：存储学习到的知识 知识的表示要合理 推理方法的实现不要太难 存储的知识是否支持修改（更新） 机器学习系统组成单元 学习环节：是系统的核心模块，是和外部环境的交互接口。 对环境提供的信息进行整理、分析、归纳或类比，生成新的知识单元，或修改知识库。 接收从执行环节来的反馈信号，通过知识库修改，进一步改善执行环节的行为。 执行：根据知识库执行一系列任务 把执行结果或执行过程中获得的信息反馈给学习环节 模式识别过程实例 在传送带上用光学传感器件对鱼按品种分类 鲈鱼(Seabass) 品种 鲑鱼(Salmon) 识别过程 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据 预处理：去噪声，用一个分割操作把鱼