数据挖掘及其算法概览.ppt

第8章 基于示例的学习 基于示例的推理（CBR） 指从示例库中找到一组与当前问题相关的候选示例。这是通 过使用上述特征作为示例库的索引来完成检索的。由于一般不存 在完全的精确匹配，所以要对示例之间的特征关系进行相似度估 计，它可以是基于上述特征的与领域知识关系不大的表面估计， 也可以通过对问题进行深入理解和分析后的深层估计，在具体做 法上，则可以通过对特征赋于不同的权值体现不同的重要性。 相似度评价方法有最近邻法、归纳法等。 该步骤也是CBR中的重点工作，后面我们将对最近邻方法 进行分析 示例检索-初步匹配 第8章 基于示例的学习 基于示例的推理（CBR） 指从初步匹配过程中获得的一组候选示例中选取一个或几 个与当前问题最相关的示例。这一步和领域知识关系密切。可 以由领域知识模型或领域知识工程师对范例进行解释，然后对 这些解释进行有效测试和评估，最后依据某种度量标准对候选 示例进行排序，得分最高的就成为最佳示例,比如最相关的或解 释最合理的示例可选定为最佳示例。 示例检索-最佳选定 第8章 基于示例的学习 基于示例的推理（CBR） 示例复用 把检索到的旧示例的解答复用到新问题或新示例之中。通 过所给问题和示例库中示例比较得到新旧示例之间的不同之处， 然后回答哪些解答部分可以复用到新问题之中。对于简单的分 类问题，仅需要把旧示例的分类结果直接用于新示例，它无需 考虑新旧示例之间的差别。而对于问题求解类的问题，则需要 对领域知识的深入理解，根据示例之间的不同对问题进行调整， 可以是对整个解的某项作一些调整，也可以对整个解的进行微 调。 主要内容 示例学习基本概念 K最近邻算法 主要参考文献 基于示例的推理（CBR） 最初的近邻法是由Cover和Hart于1967年提出的，随后得到理 论上深入的分析与研究，是非参数法中最重要的方法之一。 Cover. T, Hart. P. Nearest Neighbor Pattern Classification. IEEE Transaction on Information Theory. 1967, 13(1): 21-27 第8章 基于示例的学习 K最近邻算法 第8章 基于示例的学习 K最近邻算法 K最近邻主要的应用领域 1 文本分类 2 个性化（个人）新闻分类 3 语义有哪些信誉好的足球投注网站 第8章 基于示例的学习 K最近邻算法 K 最近邻与其它分类方法比较 积极学习方法（迫切学习方法） Eager Learner 例如 决策树，基于规则的分类等。主要特征是一旦训练数据 可用，就开始学习从输入属性到类标号的映射模型。 消极学习方法（惰性学习方法）Lazy Learner 例如，近邻学习方法。主要特征是记住整个训练数据，仅当测 试示例的属性和某个训练样例完全匹配时才进行分类。 第8章 基于示例的学习 K最近邻算法 最近邻方法的思想 待分类一个输入向量为V的新对象，就在训练集合中找出与 V最靠近的K个点。然后将这K个点中的大多数点的分类赋予该新 对象。 靠近的衡量主要用距离来反映，向量表示多维空间，在最近 邻分类中将每个点看作是D维空间中的一个数据点，||D||可以理解 为属性个数。 采用最近邻方法进行预测的理由是基于假设：近邻的对象具有 类似的预测值。因此最近邻算法容易受到噪声数据的影响，尤其是 样本空间中孤立点的影响。 * 第 8 章 基于事例(示例)的学习 主要内容 示例学习基本概念 K最近邻算法 主要参考文献 基于示例的推理（CBR） 主要内容 示例学习基本概念 K最近邻算法 主要参考文献 基于示例的推理（CBR） 第8章 基于示例的学习 示例学习基本概念 示例是对某个过去发生的事件的真实描述，……目的是引发 对一个特殊情境的讨论和分析。 示例是事件，学习是指基于过去求解类似问题的方法处理当 前问题，基于示例的学习其本质是类比推理。 示例（Case，又称为样例，实例，范例等） 第8章 基于示例的学习 示例（case）：“示例是一段带有上下文信息的知识，该知识表达了推理机在达到其目标的过程中能起关键作用的经验”。具体来说，一个示例应具有如下特性： （1）示例表示了与某个上下文有关的具体知识，这种知识具有 可操作性。 （2）示例可以是各式各样的，可有不同的形状和粒度，可涵盖 或大或小的时间片，可带有问题的解答或动作执行后的效 应。 （3）示例记录了有用的经验，这种经验能帮助