从货篮剖析谈数据挖掘.docxVIP

从货篮分析谈数据挖掘 新闻传播学院 张悦 关键词：货篮 数据 摘要： 货篮分析 关联规则的基本概念 数据挖掘 数据挖掘定义的解释 数据淘金——金苹果文库 数据淘金之方法篇 数据淘金之工业应用篇 数据淘金之社会篇 数据淘金之科研篇 货篮分析 全球最大的零售商沃尔玛（Walmart）通过对某地区顾客购物的数据分析后发现，很多周末购买尿布的顾客也同时购买啤酒。经过深入研究后发现，该地区家庭买尿布的大多是孩子爸爸。孩子爸爸们下班后要到超市买尿布，同时要“顺手牵羊”带走啤酒，好在周末看棒球赛的同时过把酒瘾。后来沃尔玛的这个连锁店就把尿布和啤酒摆放得很近，从而双双促进了尿布和啤酒的销量。这个故事被公认是商业领域知识发现的典故。 2、关联规则的基本概念 一个关联规则是形如XTY的蕴涵式，这里XìI, YìI，并且X?Y=F。 规则XTY在交易数据库D中的支持度（support）是交易集中同时包含X和Y的交易数与所有交易数之比，记为support(XTY)，即 support(XTY)=|{T:XèYíT，T?D}|/|D| 规则XTY在交易集中的可信度（confidence）是指包含X和Y的交易数与包含X的交易数之比，记为confidence(XTY)，即 confidence(XTY)=|{T: XèYíT，T?D}|/|{T:XíT，T?D}| 关联规则基本模型与概念 设I={i1, i2,…, im}为所有项目的集合，D为事务数据库,事务T 是一个项目子集(TíI),每个事务具有惟一的标识Tid(如交易号). 设A是一个I中项的集合，如果AíT，那么称交易T包含A。若A中包含k个项目,称其为k项集. 项集A在事务数据库D中出现的次数占D中总事务的百分比叫做项集的支持度. 如果项集的支持度超过用户给定的最小支持度阈值,就称该项集是频繁项集(大项集) 规则实例 For rule A T C: support = support({A C}) = 50% confidence = support({A C})/support({A}) = 66.6% 强规则 如果不考虑关联规则的支持度和可信度，那么在事务数据库中存在无穷多的关联规则。事实上，人们一般只对满足一定的支持度和可信度的关联规则感兴趣。一般称满足一定要求的(如较大的支持度和可信度)的规则为强规则。因此，为了发现出有意义的关联规则，需要给定两个阈值:最小支持度和最小可信度。 最小支持度表示了一组物品集在统计意义上的需满足的最低程度;最小可信度反应了关联规则的最低可靠度。 Apriori算法 是关联规则模型中的经典算法 源于算法使用了频繁项集性质的先验(Prior)知识. 分两步: 通过迭代,检索出事务数据库中所有频繁项集. 利用频繁项集构造出满足最小信任度阈值的规则. 其中挖掘和识别出所有频繁项集是该算法的核心,占整个计算量的大部分. 由m个项目形成的不同项集达2m-1个,是个NP 完全问题. 潜在频繁k项集集合Ck,频繁k项集集合Lk, m个项目构成的k项集集合Cmk,则Lkí Ckí Cmk The Apriori principle: Any subset of a frequent itemset must be frequent 非频繁项集的超集一定是非频繁的 数据挖掘 Data Mining 数据挖掘 知识发现 是什么 随着计算机应用及互联网的日益普及，人们面对“被数据淹没, 却又饥饿于知识（丰富的数据与贫乏的知识）”的挑战, 不同领域的人们都期待从海量数据中挖掘出知识，将丰富的信息变为知识，这就产生了“数据挖掘与知识发现”学科。 运用数据挖掘技术在海量数据中我们可以挖出“金子”来。 数据挖掘与知识发现 数据挖掘DM（Data Mining）只是数据库中知识发现KDD（Knowledge Discovery in DataBase ）的一个步骤，但又是最重要的一步。因此，往往可以不加区别地使用知识发现和数据挖掘。一般在研究（人工智能）领域被称作数据库中知识发现，在工程领域（统计界 ）则称之为数据挖掘 知识发现（数据挖掘）的定义 The non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data - Fayyad, Platetsky-S