数据挖掘182666.ppt

数 据 挖 掘 来 鹏 数据挖掘 数据采集和存储技术的进步导致庞大的数据库日益增多，这基本上发生在所有的领域，比如：超市的业务数据、信用卡使用记录、电话呼叫清单、政府统计数据，以及天体图象、分子数据库和医疗记录等。 能否从数据库中提取出对其拥有者有价值的信息呢？ 数据挖掘 数据挖掘就是对观测到的数据集（经常是很庞大的）进行分析，目的是发现未知的关系和以数据拥有者可以理解并对其有价值的新颖方式来总结数据。 数据挖掘的任务： 探索性数据分析 描述建模 预测建模 寻找模式与规则 根据内容检索 数据挖掘 数据挖掘的主要技术： 机器学习方法 统计方法 神经网络方法 数据库方法 数据挖掘建模 问题：一家金融服务公司提供了一批关于以往客户对广告投放的回馈数据，其中包含12个预测变量和1个目标变量。预测变量的内容主要为客户的一些基本信息；目标变量为二值变量，取值为0或1，当取值1时表示客户响应了广告，若取值为0则表示客户没有响应广告。 公司想根据以往的数据开发一个模型，使公司获得最大的收益。公司每向一个客户投放一份广告需要花费0.68 $，若客户响应，则将给公司带来13$的收益。 数据挖掘 应该如何建立模型？ 定义目标 选择数据源 准备数据 选择及转换数据 处理模型 验证模型 实现模型 数据挖掘 定义目标（你要去度量或预测什么） 预测模型 描述模型 选择数据源 怎样的选择是恰当的呢？ 把所有现有数据都拿来用合适吗？ 数据挖掘 准备数据 是否有变量需要修正？ 是否有取值需要定义？ 是否要确定哪些变量不起作用？ 是否要查看变量对应数据的形态？ 选择和转换变量 数据挖掘 处理模型 建立什么样的模型？ 如何对模型选取和解释结果？ 验证模型 怎样对模型验证？ 实现模型 实现模型后如何得到易解释的结果？ 数据挖掘 让我们带着这些问题来具体看看如何建模 我们将利用SAS的数据挖掘模块来完成解决这个问题，当然通过SAS编程也能完成 1、打开SAS DATAMINING模块，导入数据。在命令栏键入miner回车后就进入了数据挖掘模块，选择file-new-project开始一个新的project；键入project的名字，比如my project，并选择所在的位置，然后create。 数据挖掘 2、为了导入数据则需要：在explorer窗口单击右键，选择new，键入library的名字“DLEC1” ，注意要将enable at startup打勾，选择所要导入数据集所在位置。 3、利用input data source node导入数据： 选择the library, “DLEC1” 和数据集 DONORS. 数据挖掘 4、查看数据变量，并做相关的思考，观察区间变量和分类变量。 5、修改变量PETS和PCOWNERS的模型条件和度量，都改为input变量，并改度量为binary，修改TARGET_B的变量条件为taget，修改TARGET_D的变量条件为rejected 数据挖掘 6、为了得到一个最优的模型，选择一种确定最优的评判准则。根据本题的特点构造收益矩阵：右键点击TARGET_B选择edit target profile，给新创建的profile起个名字，比如键入my profile，在新创建的profile上右键点击选择set to use。选择assessment information构造收益矩阵（profit matrix），在空白处右键点击选择add，给profit matrix键入名字my matrix， 数据挖掘 然后回车，键入12.32在（1，1）位置，键入-0.68在（0，1）位置，键入0在（0，0）位置，则得到profit matrix。右键点击my matrix选择set to use。由于数据做了调整，所以要把所做调整加入模型，为此选择prior，在空白处右键点击选择add，修改名字为my prior，修改先验向量，当target为1时取0.05，为0时取0.95，右键点击my prior选择set to use。 数据挖掘 7、为了建立一个良好的模型，我们需要把数据分成几个部分来分别应用。（为什么）连接data partition node，选择stratified样本分层方法，点击stratification使得TARGET_B为use，使训练样本为67%，确认样本为33%。 数据挖掘 8、变量，数据都选择好了，下面就要开始进行数据的修正调整，以便更好的用于建立模型。所以需要仔细的观察数据和变量。连接insight node，由于数据不是太多，可以将全部数据用于观察，运行（run）后，可以选择analyze—distribution（Y）来观察变量的分布，选择除了idcode的变量，然后点击Y，选择idcode点