数据挖掘第一讲教学教材.ppt

3、量化社会决策 1）不确定性决策问题的建模与分析技术； 2）随机决策模型求解； 3）风险度量与管理； 4）期望效用评价（综合评价问题）； 5）网络环境下的决策理论与方法； 多数问题需要数据挖掘发现规则，并用计算机模拟算法。 五、几个最基本概念 1、数据、信息与知识 数据 ≠ 信息 ≠ 知识 理解信息 知识 理解是核心，是创造，是科学。 理解的中心问题是：结构！ 数据库=数据+结构+存储空间 结构是中心！ 数据：字符集上的字符串的集合(同语言的定义）。 （英文字母，十进数字，汉字，图象，声音…） 数据→信息→知识 信息：数据+结构，减少不确定性； 知识：可重复、有规律的信息并被理解的产物。 信息和知识都可以当作数据：产生更高级的信息和知识 下雨天留客 天留我不留。 数据结构：理解，发现，表达，应用。 结构是从数据构成信息的核心，相同的数据赋予不同的结构，得到不同的信息。 例. 下雨天 留客天 留我不留？ 例.语言的不同结构产生不同的文学信息 唐诗 清明时节雨纷纷， 路上行人欲断魂。 借问酒家何处有？ 牧童遥指杏花村。 宋词 清明时节雨 纷纷路上行人 欲断魂。 借问酒家何处 有牧童 遥指杏花村。 剧本(元曲) [清明时节][雨纷纷] [路上] 行人（欲断魂）： 借问酒家何处有？ 牧童（遥指）:杏花村。 剧本(元曲) [清明时节] [雨纷纷] [路上] 行人（欲断魂）： 借问酒家何处有？ 牧童 （遥指）: 杏花村。 时间 环境 地点 人物 语言 另人物 动作 语言 抽象出结构: 七言唐诗 × × × × × × × × × × × × × × × × × × × × × × × × × × × × 比较规整,适于言志“诗言志” 宋词 × × × × × × × × × × × × × × × × × × × × × × × × × × × × 错落有序,用语活跃,适于抒情“词抒情” 元曲 时间、地点、 情景、人物、 动作、言语 等。用语白话，易懂。 百姓故事 结构的不同表示可以表现出文学基调不同： 专业模型 数学模型？ 乔姆斯基的形式语言？ 七言唐诗 ******* ******* ******* ******* 用音高表示： 唏 唏 唏 唏 唏啦嫂发米来斗 宋词 *** ***** ****** *** ****** ***** 嫂 啦 米 啦 嫂 米 规则 变化 数据挖掘的核心是挖掘结构！ 结构是什么？ 独立结构：关系、关联； 局部结构：关系、关联的群体； 系统结构：关系、关联的全体，具有整体性、转换性、守恒性和可以数学形式化表达（皮亚杰）。 2、数据与整合 1）数据的属性 一切源于实际的数据必然有“属性” 商业发生数据：销售量、销售额、产量、投入资金、市场份额，属性数据：市场容量、客户数据、商品数据，等等； 科学研究数据：实验测试数据、参数、误差、函数、比率、表达量、时间序列、统计数据、样本数据、概率值，属性：研究对象数据，实验人员数据，一般理论依据，等等； 管理数据：工作记录、绩效值、库存数据、质量评价数据、事务记录，属性数据：人员名单、部门结构数据、质量指标体系、统计指标体系，等等。 2） 多维数据模型 由表到数据立方体（data cube）。 数据立方体由“维”与“事实”来定义。 维：time（按季或月划分的实体） item（商品项目划分的实体） location（地区或城市为实体） Supplier（供应商为实体） Q4 time Q3 Q2 Q1 ilem location 每个维都由一个表定义：time：Q1， Q2， Q3， Q4， 季度。 item：计算机、家庭娱乐、电话、安全。 Location: Chicago、New York、Toronto、Vancourer。 “事实”是数据(dollars_sold)，由维的表中交叉点的值描述。 这种用“维”和“事实”表达一个主题的全部内容，汇总方式多式多样，但可以由汇总级