6模式识别与机器学习思题6模式识别与机器学习思考题.doc

模式识别与机器学习 思考题 1：简述模式识别与机器学习研究的共同问题和各自的研究侧重点。 模式识别和机器学习都是信息科学和人工智能的重要组成部分。 一、模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程。 模式识别主要的研究领域有：（1）计算机视觉医学影像分析，光学文字识别；（2）语音识别；（3）手写识别；（4）生物特征识别：人脸识别，指纹识别，虹膜识别；（5）文件分类；（6）互联网有哪些信誉好的足球投注网站引擎；（7）信用评分。 模式识别研究主要集中在两方面,一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴,二是在给定的任务下,如何用计算机实现模式识别的理论和方法。前者是生理学家、心理学家、生物学家和神经生理学家的研究内容,后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力,已经取得了系统的研究成果。 二、机器学习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 机器学习的研究领域有：（1）计算机视觉；（2）语音和手写识别；(3)生物特征识别（4）有哪些信誉好的足球投注网站引擎（5）医学诊断（6）检测信用卡欺诈（7）证券市场分析（8）DNA序列测序；（9）战略游戏和机器人运用 模式识别与机器学习都对计算机视觉、语音识别、手写识别、生物特征识别有重要的应用。 三、模式识别与机器学习各自的研究侧重点不同。 模式识别侧重研究计算机如何模拟人类的感知识别能力，主要集中在两方面,一是研究生物体(包括人)是如何感知对象的, 属于认识科学的范畴；二是在给定的任务下,如何用计算机实现模式识别的理论和方法。模式识别是机器学习的一个主要任务。前者是生理学家、心理学家、生物学家和神经生理学家的研究内容, 后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力, 已经取得了系统的研究成果。模式识别主要有两种基本的方法, 即统计模式识别方法和结构( 句法) 模式识别方法, 与此对应的模式识别系统都由两个过程所组成, 即设计和实现。此外, 还有其他诸如模板匹配的方法和神经网络方法等。 机器学习侧重研究计算机如何模拟人类的学习行为，主要在以下三个方面进行：一是面向任务的研究—研究和分析改进一组预定任务的执行性能的学习系统；二是认知模型—研究人类学习过程并进行计算机模拟；三是理论分析—从理论上探索各种可能的学习方法和独立于应用领域的算法。 2：列出在模式识别与机器学习中的常用算法及其优缺点。 1. k-近邻法 近邻法是一种最简单的非参数模式识别方法中的模式匹配法,它主要依据样本间的多维空间距离来实现分类.其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki, i＝1，…，c。定义判别函数为： gi(x)=ki, i=1, 2,…,c。 决策规则为： 优点：算法简单，易于理解和分析，分类效果好, 在训练样本趋于无穷大时接近最优。 缺点：可以明显看出它需要的计算量大，存储容量大；没有考虑到决策的风险；对于近邻法错误率的分析都是建立在样本数趋向于无穷大的假定上的，而这在实际应用时是很难实现的。而对有限样本集的情况，又缺乏理论上的分析。 2. 贝叶斯决策理论 贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分，是基于概率统计的基本的判别函数分类理论。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 已知类条件概率密度参数表达式和先验概率 利用贝叶斯公式转换成后验概率 根据后验概率大小进行决策分类 设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)0(i=1，2，…，n)。对于任一事件x，P(x)0，得到贝叶斯公式： 优点： （1）算法简单，易于理解和分析，其基本概念被众多的先进决策算法运用，判断结果较精确； （2）能对信息的价值或是否需要采集新的信息做出科学的判断； （3）它能对调查结果的可能性加以数量化的评价，而不是像一般的决策方法那样，对调查结果或者是完全相信，或者是完全不相信。 （4）如果说任何调查结果都不可能完全准确，先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙地将这两种信息有机地结合起来了； （5）它可以在决策过程中根据具体情况下不断地使用，使决策逐步完善和更加科学。 缺点