数据挖掘导论.pptVIP

第一章 数据挖掘导论 给你如下的数据，你能从中得到哪些信息，你会如何利用它们呢? 某电子商务网站的运营数据，包括用户资料、历史订单、价格信息和用户评论 社交网络的数据，包括用户资料、发帖、回帖 医保系统数据 电信业务数据 智能手机的位置信息 本章内容 数据挖掘的定义 确定哪些商业问题可以通过数据挖掘来解决 数据挖掘的任务 使用各种数据挖掘技术 数据挖掘项目的生命周期 案例 参考书目 数据挖掘－实用机器学习技术 机械工业出版社 数据挖掘－概念与技术 机械工业出版社 Clementine数据挖掘方法及应用 电子工业出版社 数据挖掘原理与SPSS Clementine应用宝典 电子工业出版社 数据挖掘技术－市场营销、销售与客户关系管理领域应用 机械工业出版社 1.1 什么是数据挖掘 从信息技术的角度讲，数据挖掘属于商业智能(Business Intelligence，BI)的一个子集。 数据挖掘的理论包括数据库、统计学、人工智能、优化等方面。 数据挖掘的较为理论的定义可以使用名词“机器学习”来解释 分析数据，使用自动化或半自动化的工具来挖掘隐含的模式(决策树、规则、聚类或数学公式)。 数据挖掘过程有时也称为知识发现，或者数据库中的知识发现(knowledge discovery in databases，KDD) 数据挖掘的产生 社会产生了海量的数据 来源：商业，科学，医学，经济，地理，环境，体育 数据是潜在的有价值的资源 人类积累的数据量以每月高于15%的速度增加，如果不借助强有力的技术方法，仅依靠人工的方式来理解这些数据是不可能的，需要技术来自动地从这些数据中提取信息 数据挖掘的产生 问题：数据丰富，但信息贫乏 快速增长的海量数据收集存放在大型数据库中，没有强有力的工具，理解它们已经超出了人的能力。 收集在数据库中的文件成了“数据坟墓” 需要从海量数据库和大量繁杂信息中提取有价值的知识，进一步提高信息的利用率 产生了一个新的研究方向：基于数据库的知识发现（Knowledge Discovery in Database），以及相应的数据挖掘（Data Mining）理论和技术的研究 信息的重要性 例: 奶牛的筛选 已知：描述奶牛的700多个特征，包括年龄、健康问题、生产记录、不良性情 问题：选择被淘汰的奶牛，每年挤奶季节结束时只留下1/5的奶牛，其余卖到屠宰场 数据：奶牛特征和奶农决策的历史记录 数据挖掘：从商业的角度 大量的数据被收集和存储 Web数据，电子商务 商场的销售数据 银行卡交易 计算机变得越来越价格便宜和功能强大 竞争压力越来越大 在领域中提供更好的个性化的服务(如客户关系管理) 挖掘海量数据集—动机 通常信息隐藏在数据之中，并不容易发现 要人工分析数据得到有用信息可能要花费数周 很多数据根本没有机会被分析 什么是数据挖掘 各种定义 从数据中提取出隐含的、潜在的、未知的信息 分析数据，使用自动化或半自动化的工具来挖掘隐含的模式 数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 数据挖掘的定义—商业定义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 数据挖掘的定义—商业定义 应用实例：某公司对多年来的客户资料进行挖掘后发现，大多数购买电脑的客户具有下面的特点： 1、年轻（20—45岁之间）； 2、收入高； 3、居住地：城市； 4、学历高； 基于此，此经营公司可以根据这些客户的特点有目的的做一些广告或者促销。 数据挖掘和信息检索 信息检索和数据挖掘的相同点是从档案文件或数据库中抽取感兴趣的数据和信息。 区别 数据检索对信息的抽取规则是事先定义好的，抽取的是外在信息。 数据挖掘寻找现象之间事先未知的关系和关联 什么(不)是数据挖掘? 什么不是数据挖掘 从电话号码簿中查找电话号码 从一个Web有哪些信誉好的足球投注网站引擎中查询有关“BI”的信息 数据挖掘依赖的基础 机器学习、人工智能、模式识别、统计学、高效率的计算和数据库 传统方法针对数据挖掘问题可能因为以下原因并不适合 海量数据 高维数据 异构的、分布式的数据 数据挖掘与统计学 统计学和数据挖掘有着共同的目标：发现数据中的结构。 由于它们的目标相似，一些人认为数据挖掘是统计学的分支。 实际上数据挖掘还应用了其它领域的思想、工具和方法，尤其是计算机学科，例如数据库技术和机器学习，而且它所关注的某些领域和统计学家所关注的有很大不同。