2.数据挖掘技术基础知识.ppt

数据挖掘 教学内容 一、数据挖掘技术的由来 ? ? 二、知识发现和数据挖掘的定义?? 三、数据挖掘能干些什么?? 四、数据挖掘与其它学科?? 五、数据挖掘的任务?? 六、数据挖掘的对象?? 七、数据挖掘的知识表示?? 八、数据挖掘的方法和技术? 一、数据挖掘技术的由来 ㈠ 引言 ? ㈡ 网络之后的下一个技术热点 ? ㈢ 数据爆炸但知识贫乏 ? ㈣ 支持数据挖掘技术的基础 ? ㈤ 从商业数据到商业信息的进化 ? ㈥ 逐渐演变的过程 ? ㈠ 引言 顾名思义， “数据挖掘” (Data Mining) 就是从大量数据中寻找其规律的技术。它是根据人们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。 数据挖掘应用领域非常广阔。先期将在数据积累比较充分的领域银行、证券、电信等领域到应用，以后将在各领域中获得应用。 未来市场不可限量，中国将形成数百亿的市场规模。将在中国形成一个新型的产业。 ㈠ 引言 随着信息化的深入发展，积累的数据会越来越多，所以对数据挖掘技术的需求也会越来越大。数据挖掘技术将被社会长期使用。 数据挖掘技术相对门槛较高。需要有数理统计学、数据库、人工智能等基础，目前国内数据挖掘人才奇缺。 我系已于 2004 年开设面向研究生《数据挖掘》有关课程，面向本科生的课程也已开设。为了让大家了解《数据挖掘》的基本内容。我们从数据挖掘有关文献和材料上加工整理了一些有关该课程的基本知识，供参考。 ㈡ 网络之后的下一个技术热点 1. 我们已生活在一个网络化的时代, 通信、计算机和网络技术正改变着整个人类和社会; 如果用芯片集成度来衡量微电子技术，用 CPU 处理速度来衡量计算机技术，用信道传输速率来衡量通信技术， 那么摩尔定律告诉我们，它们都是以每 18 个月翻一番的速度在增长。 在美国，广播达到 5000 万户用了 38 年；电视用了13 年；Internet 拨号上网达到 5000 万户仅用了 4 年。 ㈡ 网络之后的下一个技术热点 全球 IP 网发展速度达到每 6 个月翻一番，国内情况亦然。 1999 年初，中国上网用户为 210 万, 现在已经达到 10300万人 (2005年7月中国互联网络发展状况统计报告) 。 2007 年《中国互联网调查报告》显示：互联网用户规模达1.82亿人, 较06年增长33.8% , 预计 2008 年中国互联网用户规模将达 2.44 亿; 2007年中国综合门户企业市场营收规模为123.5亿元,较 2006 年增长22.3%。 2008 年中国互联网综合门户企业市场营收规模将达161.9 亿元，广告收入将大幅增长。 ㈡ 网络之后的下一个技术热点 2. 人们不仅要问：就推动人类社会进步而言, 历史上能与网络技术相比拟的是什么技术呢? 有人甚至要把网络技术与火的发明相比拟。 火的发明区别了动物和人; 种种科学技术的重大发现扩展了自然人的体能、技能和智能; 而网络技术则大大提高了人的生存质量和人的素质，使人成为社会人。 ㈡ 网络之后的下一个技术热点 3. 现在的问题是：网络之后的下一个技术热点是什么？ 让我们来看一些身边俯拾即是的现象： 《纽约时报》由 60 年代的 10～20 版扩张至现在的 100～200 版，最高曾达 1572 版； 《北京青年报》也已是 16～40 版；市场营销报已达 100 版。 然而在现实社会中，人均日阅读时间通常为 30～45 分钟，只能浏览一份 24 版的报纸。 ㈡ 网络之后的下一个技术热点 大量信息在给人们带来方便的同时也带来了一大堆问题： 第一是信息过量,难以消化； 第二是信息真假难以辨识； 第三是信息安全难以保证； 第四是信息形式不一致,难以统一 处理。 ㈡ 网络之后的下一个技术热点 4. 人们开始提出新的口号:“要学会抛弃信息” 面对这一挑战, 数据开采和知识发现 (DMKD) 技术应运而生, 并显示出强大的生命力。 ㈢ 数据爆炸但知识贫乏 另一方面, 随着数据库技术的迅速发展以及数据库管理系统的广泛应用, 人们积累的数据越来越多。 激增的数据背后隐藏着许多重要的信息, 人们希望能够对其进行更高层次的分析, 以便更好地利用这些数据。 ㈢ 数据爆炸但知识贫乏 目前的数据库系统可以高效地实现数据的录入、查询、统计等功能, 但无法发现数据中存在的关系和规则, 无法根据现有的数据预测未来的发展趋势。 缺乏挖掘数据背后隐藏的知识的手段, 导致了“数据爆炸但知识贫乏” 的现象。 ㈣ 支持数据挖