数据挖掘2015必威体育精装版精品课程完整课件(第9讲)---基于规则分类方法-2.ppt

基于规则的分类 基于规则的分类器（Rule-Based Classifier） 使用一系列“if…then…” 对数据集分类 规则: (Condition) ? y 此处 Condition 为多个属性-值对的合取 y 为类标号 LHS(IF 部分): 规则前件或前提 RHS(then 部分): 规则结论 分类规则例子: (血的类型=温血) ? (下蛋=Yes) ? 鸟 (税收收入 50K) ? (退税=Yes) ? 逃税=No 规则的应用 若样本x的所有属性满足规则的前提，称规则 r 覆盖样本 x R1: (Give Birth = no) ? (Can Fly = yes) ? Birds R2: (Give Birth = no) ? (Live in Water = yes) ? Fishes R3: (Give Birth = yes) ? (Blood Type = warm) ? Mammals R4: (Give Birth = no) ? (Can Fly = no) ? Reptiles R5: (Live in Water = sometimes) ? Amphibians 规则 R1 覆盖 hawk = Bird 规则 R3 覆盖 grizzly bear = Mammal 规则的评价 规则的覆盖度(Coverage): 满足规则条件的记录的百分比 规则的正确性(Accuracy) : 在满足规则条件的记录中，也满足规则结论的记录的百分比 (Status=Single) ? No Coverage = 40%, Accuracy = 50% 规则的冲突 触发：规则被满足 激活：该规则为唯一满足的 R1: (Give Birth = no) ? (Can Fly = yes) ? Birds R2: (Give Birth = no) ? (Live in Water = yes) ? Fishes R3: (Give Birth = yes) ? (Blood Type = warm) ? Mammals R4: (Give Birth = no) ? (Can Fly = no) ? Reptiles R5: (Live in Water = sometimes) ? Amphibians A lemur triggers rule R3, so it is classified as a mammal A turtle triggers both R4 and R5 A dogfish shark triggers none of the rules 冲突解决 规模序(size ording): 要求最严格的规则赋予最高优先级 (i.e., 最多属性测试) 基于类的序: 按照类的频繁性或错分代价的降序排列 基于规则的序 (决策表): 根据规则的质量度量或专家意见，规则组织为长的优先级列表 有序规则集 根据优先权对规则进行排序 对一个待分类的记录 若满足多条规则，则使用排在最前面的对其进行分类。 若不满足任何规则，则使用默认类别。 R1: (Give Birth = no) ? (Can Fly = yes) ? Birds R2: (Give Birth = no) ? (Live in Water = yes) ? Fishes R3: (Give Birth = yes) ? (Blood Type = warm) ? Mammals R4: (Give Birth = no) ? (Can Fly = no) ? Reptiles R5: (Live in Water = sometimes) ? Amphibians 构造分类规则 直接方法: 直接从数据中提取规则 e.g. FOIL, AQ, CN2, RIPPER 间接方法: 从其它分类模型中提取规则 、 e.g. decision trees, neural networks, etc 直接方法: 顺序覆盖 顺序覆盖(Sequential Covering) 顺序学习规则： 对每个给定的类 Ci 希望规则可以覆盖该类 的大多数元组，但不包括其它类的元组(或很少) (1) 初始值为空规则集 (2) 使用Learn-One-Rule函数得到一条新规则 (3) 从训练集中删去被新产生的规则所覆盖的实例 (4) 重复步骤(2)和步骤(3)，直到满足停止标准为止。 示例 示例 顺序覆盖的要点 产生规则 消除实例 规则评价 停止标准 规则的剪枝 产生规则 两种常用方法 消除实例 不消除实例? 不