Naive_Bayes模型及其在范例推理中的应用.docx

第 13 卷 第 5 期2003 年 5 月微 机 发 展Microcomputer DevelopmentVol. 13 No. 5May 2003Naive -Bayes 模型及其在范例推理中的应用胡彩平 ,倪志伟 ,卢亦娟(安徽大学 ,安徽 合肥 230039)摘 要 :简单贝叶斯模型能够很好地综合先验信息和样本信息 。探讨了利用简单贝叶斯模型进行范例推理的可行性,并提 出了对范例进行分类和学习的算法 。实验结果表明 ,系统的分类准确度及其学习速度都较高 ,该方法有效可行。关键词 :范例推理 ;数据挖掘 ;简单贝叶斯 ;聚类中图分类号 : TP30116文献标识码 :A文章编号 :1005 - 3751 (2003) 05 - 0023 - 03Case - Based Reasoning Based onNa ive - BayesHU Cai2ping ,N I Zhi2wei ,L U Yi2juan(Anhui University , Hefei 230039 ,China)Abstract :Naive - Bayes model can integrate the prior information and the sample information. Here examines the possibility of using Naive- Bayes as a method of implementing case - based reasoning and proposes algorithms of the category and learning. The results of the exper2 iment prove that this method is available.Keywords :case - based reasoning ; data mining ;Naive - Bayes ;cluster0前言自从 20 世纪 50～60 年代贝叶斯学派形成以后 ,关于 贝叶斯分析的研究久盛不衰 。20 世纪 80 年代 ,贝叶斯网 络就成功地应用于专家系统 ,成为表示不确定性专家知识 和推理的一种流行方法 。简单贝叶斯模型 ( 见图 1) 以其 坚实的数学基础和丰富的概率表达能力 ,尤其是它能充分 利用先验信息的特性越来越受到人工智能界的重视 。简 单贝叶斯模型假定所有的条件属性相对于分类类别是独 立的 ,尽管这一假定很大程度上限制了它的应用 ,但目 前许多研究和应用都表明 ,即使违背这种假定 ,简单贝 叶斯也表现出很强的健壮性。基于范例的推理 ( Case - Based Reasoning ,CBR) [ 1 ] 是 20 世纪 80 年代人工智能中新 崛起的一项重要技术 ,最早是于 1982 年由美国人罗杰·沙 克( Roger Schank) 提出的 。CBR 方法研究的原始动机 ,主 要来源于对人类推理活动中“回忆”的重要地位的认识 , CBR 系统通过回忆并修改过去曾解决过的相似问题来求 解当前的问题 。与传统的基于规则的问题求解方法相比 较 ,CBR 具有一些重要的优点 ,如 CBR 系统易于获取知 识 ,推理效率高 ,有较强的学习能力 ,不需要领域专家干 预 ,实现简单等 。在基于范例的推理中 ,范例或经验被存 储起来 ,这个库就构成了 CBR 系统的知识库 。但随着范收稿日期 :2002 - 11 - 02基金项目 :安徽省教育厅自然科学基金资助项目(2002kj004) 作者简介 :胡彩平(1977 —) ,男 ,安徽宿松人 ,硕士研究生 ,研究方向 为机器学习 、知识发现 。例或经验不断增加 ,范例库不断扩大 。如果范例库没有一 个很好的组织 ,范例的检索效率就非常低 。在记忆中组织 和索引范例是范例推理中一个非常重要的部分 ,它涉及学 习和推理过程 。所以非常有必要来建立一个有效的范例 库结构 。在这里通过数据挖掘技术来构造范例库 。在本文中 ,首先介绍贝叶斯概率 。在第三部分 ,为便 于利用简单贝叶斯模型进行范例推理 ,提出用数据挖掘技 术来构造范例库 ,然后在此基础上用简单贝叶斯模型来对 范例进行分类和学习 ,并给出了它们的算法 ,最后进行实 验 ,得出结果 ,并进行分析。C 表示类别 ,Ai 表示范例的属性图 1 简单贝叶斯模型1 贝叶斯概率简单地说 ,贝叶斯概率是观测者对某一事件发生的相 信程度[ 2 ] 。观测者根据先验知识和现有的统计数据 ,用概 率的方法来预测未知事件发生的可能性 。贝叶斯概率不 同于事件的客观概率 ,客观概率是在多次重复实验中事件