数据挖掘课件数据挖掘6章关联幻灯片.ppt

* 数据挖掘：概念和技术 * 多层关联：冗余过滤 由于“祖先”关系的原因，有些规则可能是多余的。 例子 奶制品 ? 白面包 [support = 8%, confidence = 70%] 酸奶 ? 白面包 [support = 2%, confidence = 72%] 酸奶占奶制品25% 我们称第一个规则是第二个规则的祖先 参考规则的祖先，如果他的支持度与我们“预期”的支持度近似的话，我们就说这条规则是冗余的。 * 数据挖掘：概念和技术 * 数据挖掘查询的逐步精化 为什么要逐步精化 挖掘操作的代价可能高或低，结果可能过细致或粗糙 在速度和质量之间折衷：逐步精化 超集覆盖特征： 预存储所有正面答案—允许进一步正确性验证，而不必验证已经错误的 2或多步挖掘： 先执行粗糙的、容易的操作 (超集覆盖) 然后在减少后的候选集上进行计算量大的算法 (Koperski Han, SSD’95). * 数据挖掘：概念和技术 * 第6章：从大数据库中挖掘关联规则 6.1 关联规则挖掘 6.2由事务数据库挖掘单维布尔关联规则 6.3由事务数据库挖掘多层关联规则 6.4由关系数据库和数据仓库挖掘多维关联规则 6.5由关联挖掘到相关性分析 6.6基于约束的关联挖掘 6.7小结 * 数据挖掘：概念和技术 * 多维关联规则： 概念 单维规则： buys(X, “milk”) ? buys(X, “bread”) 多维规则： 2个以上维/谓词 维间关联规则 (维词不重复) age(X,”19-25”) ? occupation(X,“student”) ? buys(X,“coke”) 混合维关联规则 (维词重复) age(X,”19-25”) ? buys(X, “popcorn”) ? buys(X, “coke”) 类别属性 有限个值, 值之间无顺序关系 数量属性 数字的，值之间隐含了顺序关系 * 数据挖掘：概念和技术 * 挖掘多维关联的技术 有哪些信誉好的足球投注网站频繁k-维词集合： 如: {age, occupation, buys} 是一个3-维词集合。 按照对 age 处理方式的不同，分为： 1. 用静态方法把数值属性离散化 数值属性可用预定义的概念层次加以离散化。 2. 带数量的关联规则 根据数据的分布，动态的把数值属性离散化到不同的“箱”。 3. 基于距离的关联规则 用数据点之间的距离动态的离散化 * 数据挖掘：概念和技术 * 数值属性的静态离散化 在挖掘之前用概念层次先离散化 数值被替换为区间范围 关系数据库中，要找到所有频繁k-维词需要k或k+1次表扫描。 适宜使用数据立方体 N维立方体的每个单元 对应一个维词集合 使用数据立方体速度更快 (income) (age) () (buys) (age, income) (age,buys) (income,buys) (age,income,buys) * 数据挖掘：概念和技术 * 带数量的关联规则 age(X,”30-34”) ? income(X,”24K - 48K”) ? buys(X,”high resolution TV”) 动态 离散化数值属性 使满足某种挖掘标准，如最大化挖掘规则的置信度紧凑性. 2-维数量关联规则： Aquan1 ? Aquan2 ? Acat 用2-维表格把“邻近”的关联规则组合起来 例子 * 数据挖掘：概念和技术 * ARCS (关联规则聚集系统) （170页图6-18）  ARCS 流程 1. 分箱 2. 查找频繁维词 集合 3. 关联规则聚类 4. 优化 * 数据挖掘：概念和技术 * ARCS的局限性 数值属性只能出现在规则的左侧 左侧只能有两个属性 (2维) ARCS 的改进 不用基于栅格的方法 等深分箱 基于局部完整性 测度的聚集 “Mining Quantitative Association Rules in Large Relational Tables” by R. Srikant and R. Agrawal. * 数据挖掘：概念和技术 * 挖掘基于距离的关联规则 分箱的方法没有体现数据间隔的语义 基于距离的分割是更有“意义”的离散化方法，考虑： 区间内密度或点的个数 区间内点的“紧密程度 * 数据挖掘：概念和技术 * 第6章：从大数据库中挖掘关联规则 6.1 关联规则挖掘 6.2由事务数据库挖掘单维布尔关联规则 6.3由事务数据库挖掘多层关联规则 6.4由关系数据库和数据仓库挖掘多维关联规则 6.5由关联挖掘到相关性分析 6.6基于约束的关联挖掘 6.7小结 * 数据挖掘：概念和技术 * 强关联规则不一定是有趣的（168例5.8） 由关联分析到相关分