数据挖掘算法介绍综述教学PPT课件.ppt

人工智能 A.I.: Artificial Intelligence * * 数据挖掘算法介绍 －－综述 * * 改变未来世界的十大新兴技术 《Technology Review》（麻省理工学院2019年1月出刊） 机器与人脑的接口 塑胶晶体管 数据挖掘（Data Mining） 数字权利管理 生物测定学（Biometrics） 语言识别处理 微光学技术（Microphotonics） 解开程序代码（Untangling Code） 机器人设计 微应用流体学（Microfluidics） * * 什么是数据挖掘？ Data Information Knowledge Wisdom 存在太多数据挖掘的定义，但基本上有这样一种描述结构 To find / discover / extract / dredge / harvest 、、、 Interesting / novel / useful / implicit / actable / meaningful 、、、 Information / knowledge / patterns / trends / rules / anomalies 、、、 In massive data / large data set / large database / data warehouse 、、、 Data + context Information + rules Knowledge + experience * * 为什么会出现数据挖掘？ 数据爆炸性增长是数据挖掘技术应运而生的根本原因。 只见树木，不见森林（Drowning in data but starving for information） 计算复杂度 数据管理问题 数据类型的多样性 处理大容量数据是 数据挖掘技术区别 于其他数据分析方 法的唯一标志吗？ * * 其他数据分析方法：统计学 从处理数据的角度看、、、 数据规模不同 数据来源不同：观测数据（Secondary Analysis） VS 试验数据（Primary Analysis） 数据类型不同（结构化数据、半结构化数据、非结构化数据） 从分析思想的角度看 更关注实证性分析（Empirical Analysis）而非探索性分析（Exploratory Analysis） 更关注模型（Model）而非算法（Algorithm） 但二者具有相当密切的联系 从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉 更加深入的渗透和交叉（如探索性数据分析，EDA） 数据挖掘是数据驱 动的探索性分析 ! * * 其他数据分析方法：商业智能 E.F.Codd的数据分析模型 绝对模型（Categorical Model）：依据预定义路径寻找原因，如查询 解释模型（Exegetical Model）：依据多层次路径寻找原因，如多维分析 思考模型（Contemplative Model）：参数化路径，如场景分析 公式模型（Formulaic Model）：模型化路径，如数据挖掘 Reporting Ad Hoc Queries Predictive Modeling What happened ? Why did it happen ? What will happen ? ROI 应用复杂性 Stage 3 Stage 2 Stage 1 Human Discovery Machine-assisted Discovery 现象 ＝ 模型 ＋ 误差 数据挖掘寻找的是模型 ! * * 数据挖掘 数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。 KDD DM * * KDD KDD:knowledge discovery in database 数据 建模 验证 应用 * * DM DM:dataming——KDD的一个阶段 KDD与DM等同 * * DM is like setting up a restaurant kitchen... Starting a restaurant kitchen Data Mining Food/Info Cooks/Team Kitchen/DWH * * 数据挖掘与其他学科的关系 Data Mining Database Technology Statistics Other Disciplines Information Science Machine Learning (AI) Visualization * * 数据挖掘与OLAP OLAP（on-line analytical processing）: 只能限制于少