数据挖掘主要内容.ppt

“数据挖掘综述” 　Overview for Data Mining Contents 第1章 数据挖掘概论 数据挖掘的发展动力 ---需要是发明之母 数据爆炸问题 自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。 我们拥有丰富的数据，但却缺乏有用的信息 解决方法：数据仓库技术和数据挖掘技术 数据仓库(Data Warehouse)和在线分析处理(OLAP) 数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束） 第1章 数据挖掘概论 第1章 数据挖掘概论 第1章 数据挖掘概论 第1章 数据挖掘概论 数据库、机器学习、统计 面临的挑战： 海量数据的挖掘的效率和可扩展性 在数据库中挖掘不同类型的知识 在不同抽象层上的交互式知识挖掘 数据挖掘结果的表示和可视化 处理噪声和不完全数据 第1章 数据挖掘概论 第3章 数据仓库与OLAP技术 第4章 数据立方体计算与数据泛化 第5章 频繁模式挖掘、关联规则分析 第6章 分类与预测 第7章 聚类分析 QA 多维关联规则挖掘——挖掘量化关联规则 (1) 量化关联规则中，数值属性将根据某种挖掘标准，进行动态的离散化 例如：最大化挖掘规则的置信度和紧凑性 为了简化量化关联规则挖掘的讨论，我们将聚焦于类似以下形式的2-维量化关联规则：Aquan1 ? Aquan2 ? Acat （两个量化属性和一个分类属性间的关联） 例如： age(X,”30-39”) ? income(X,”42K - 48K”) ? buys(X,”high resolution TV”) 多维关联规则挖掘——挖掘量化关联规则 (2) 找出这类2-维量化关联规则的方法：关联规则聚类系统(ARCS) 一种源于图像处理的技术，该技术将量化属性对映射到满足给定分类属性条件的2-D栅格上，然后通过有哪些信誉好的足球投注网站栅格点的聚类而产生关联规则 关联规则聚类系统(ARCS) (1) ARCS过程中的步骤包括 1. 分箱（根据不同分箱方法创建一个2-D数组），本步骤的目的在于减少量化属性相对应的巨大的值个数，使得2-D栅格的大小可控 等宽分箱 等深分箱 基于同质的分箱（每个箱中元组一致分布） 2. 找出频繁谓词集 扫描分箱后形成的2-D数组，找出满足最小支持度和置信度的频繁谓词集 关联规则聚类系统(ARCS) (2) 3. 关联规则聚类 将上一步得到的强关联规则映射到2-D栅格上，使用聚类算法，扫描栅格，有哪些信誉好的足球投注网站规则的矩形聚类 ARCS的局限性 所挖掘的关联规则左手边只能是量化属性 规则的左手边只能有两个量化属性（2-D栅格的限制） 一种不基于栅格的，可以发现更一般关联规则的技术，其中任意个数的量化属性和分类属性可以出现在规则的两端 等深分箱动态划分 根据部分完全性的度量进行聚类 关联规则的兴趣度度量 客观度量 两个流行的度量指标 支持度 置信度 主观度量 最终，只有用户才能确定一个规则是否有趣的，而且这种判断是主观的，因不同的用户而异；通常认为一个规则（模式）是有趣的，如果： 它是出人意料的 可行动的（用户可以使用该规则做某些事情） 挖掘了关联规则后，哪些规则是用户感兴趣的？强关联规则是否就是有趣的？ 对强关联规则的批评（1） 例1：(Aggarwal Yu, PODS98) 在5000个学生中 3000个打篮球 3750个喝麦片粥 2000个学生既打篮球又喝麦片粥 然而，打篮球 = 喝麦片粥 [40%, 66.7%]是错误的，因为全部学生中喝麦片粥的比率是75%，比打篮球学生的66.7%要高 打篮球 = 不喝麦片粥 [20%, 33.3%]这个规则远比上面那个要精确，尽管支持度和置信度都要低的多 对强关联规则的批评（2） 例1：(书P168) 上述数据可以得出 buys(X, “computer games”) = buys(X, “videos”) [40%, 60%] 但其实全部人中购买录像带的人数是75%，比60%多；事实上录像带和游戏是负相关的。 由此可见A = B的置信度有欺骗性，它只是给出A,B条件概率的估计，而不度量A,B间蕴涵的实际强度。 由关联分析到相关分析 可以使用相关度量来扩充关联规则的支持度---置信度框架 我们需要一种度量事件间的相关性或者是依赖性的指标 当项集A的出现独立于项集B的出现时，P(A∪B)=P(A)P(B)，即lift(A,B)＝1，表明A与B无关， lift(A,B) 1表明A与B正相关， lift(A,B) 1表明A与B负相关 将相关性指标用于前面的例子，可以得出录像带和游戏将的相关性为： P({game, video})/(P({game})×P({video})