【优质】SAS方法论与实践.ppt

北京东方国信电子有限公司 背景 为什么要引入专业的数据分析工具? 经营分析的定位 经营分析的发展现状 专业的数据分析工具的定位 专业的数据分析工具能为我们带来什么 如何才能将专业的数据分析工具融合到系统中? 现有系统的体系结构是什么? 专业的数据分析工具的接口是什么? 专业的数据分析工具的特性 如何有效的应用专业的数据分析工具? 专业的数据分析工具有适用范围 现有专业的数据分析工具介绍 SAS SPSS 国内自主研发的算法 国外免费的工具 东方国信的SAS实践 2000年开始成立专门的SAS专家组 2001年在中国联通吉林省分公司应用SAS软件 建立了客户流失分析模型 建立了客户欺诈分析模型 建立了客户套餐分析模型 建立了企业KPI分析模型 SAS应用的方法论 SAS产品 方法论的介绍 SAS的产品 软件产品 SAS/BASE SAS/GRAPH SAS/STAT SAS/INSIGHT SAS/Enterprise Miner SAS/ETS SAS/Enterprise Guider SAS/QC 应用服务 客户关系管理 财务管理 最佳分布 绩效管理 生产和服务质量 风险管理 供应链智能 Web分析服务 Web 分析解决方案 SAS的端到端的解决方案 SAS解决方案的过程 方法论 目标 定义目标 策略 选择建立模型的方法 实施 模型的具体的实施方案 目标 设立目标 目标 定义目标 实施 处理和评价模型 评价模型的一般思路 具体的案例分析 评价模型的一般思路 逐步法 从模型中选择变量，每当一个变量进入模型，就会重新计算不在模型中的剩余变量得单变量卡方，同时计算模型中的预测因子的多变量卡方或递增预测能力。如果某个变量进入模型中后，以后的变量再进入模型后，模型效果都不再显著，则删除该变量，此过程进行直至所有变量。 向后法 首先考虑模型中的所有变量，考虑某个变量与其他变量的关联时，每个变量都要计算多变量卡方和预测能力，然后依次删除预测能力低的变量。删除后上述过程继续进行。直至找出所有的变量都具有多变量的显著性。 评分 在候选变量集中使用最高相似度进行评分统计，并用所有变量的可能子集构造模型。实际上只是萎每个模型列出最佳变量以及全局卡方。 多重共线形讨论 含义：存在高度关联的预测因子 问题：模型系数估计是否具有的可靠性和可 解释性 分析：1.增加了高共性变量系数样本分布的标 准误差 2.但并没有违背平凡最小平方回归的 假设 3.两个高度关联的因子对应的所有变量并非 都完全一样，删除其中一个反而会造成信 息丢失 结论：高关联变量不仅没有坏处，而且如果删除反 而会造成预测能力的下降! 实例分析 现有：数据集（一个） 变量和权重（已定义） 操作：建模，分析 方法：单模型和双模型 单模型步骤 单模型与双模型比较 第六章 验证模型 1.验证模型基本工具：收益表与收益图 2.重采样法 3.度量市场关键驱动的影响分析 评分备用数据集 重采样 目的：提供一种经验性的估计（非参数估计） 方法：1.通过计算基于反复采样的模型系数或 估计来避免过度适应 2.通过使用反复采样验证模型的结果 来检测过度适应。 类型：1.折 叠 2.自 引 导 折 叠 工作原理：基于“只剩一个”原则的重新采样技术 具体实现：设N为数据集里的观察样本总数，折 叠 技术在N-1个不同的采样上计算估 计，每个采样都有N-1个观察样本。 案例模型 自 引 导 自引导使用数据的全部采样，含义即，从原始样本里得到N个大小为N的随即样本，自引导样本通过替换得到。 计算自引导评估公式： BSest=2*Sampleest-mean(BSi) 其中BSi是样本中的自引导评估集。 计算自引导置信区间公式： UCI=BSest+Z0.025*SEBSi LCI=BSest-Z0.025*SEBSi 关键变量的十分位数分析 在关键变量上创建一个收益表，用于显示关键变量在十分位数上的变化趋势。具体方法是用SAS代码实现。 了解你的客户：特征化和划分 本章内容提要： 1 为何了解客户很重要 2 公司客户的特征化和渗透分析 RFM分析 渗透分析 3