数据建模的经验整理.docx

数据建模的经验整理 数据挖掘是一个过程，每一步的核心是业务知识，每一步都为了达到业 务目标 2 2?数据挖掘中的数据预处理阶段比其他任何数据挖掘过程都要重要。???3 3?不正确算法、正确模型的唯一方案 5 4.数据挖掘増大对业务的认知。 4.数据挖掘増大对业务的认知。 7 5.预测模型预测分析提高了信息泛化能力 6 ?数据挖掘的结果的价值不只取决于模型的稳定性或预测的准确性 9 7?所有的模式（业努目标、数据挖掘目标、预测模型）因业努变化而变化。 10 总结 11 数据挖掘是利用业务知识从数据中发现和解释知识（或称为模式）的过程, 这种知识是以自然或者人工形式创造的新知识。 当前的数据挖掘形式，是在20世纪90年代实践领域诞生的,是在集成数 据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘 源于实践而非理论,在其过程的理解上不太引人注意。20世纪90年代晚期发 展的数据挖据建模标准流程,逐渐成为数据挖掘过程的一种标准化过程,被越 来越多的数据挖掘实践者成功运用和遵循。 虽然数据挖据建模标准流程能够指导如何实施数据挖掘，但是它不能解释 数据挖掘是什么或者为什么适合这样做。在本文中我将阐述几种准则或定律 （其中大多数为实践者所熟知）以及另外其它一些熟知的解释。开始从理论上 （不仅仅是描述上）来解释数据挖掘过程,个人观点,感兴趣可以一起研究探 讨。 1.【据挖掘是一个过程步的核心是业务知识, 1. 【据挖掘是一个过程 步的核心是业务知识, 每一步都为了达到业务目标。 首先要理解数据挖掘不是一种技术，是一个过程。业务目标定义了数据挖 掘的主题，数据挖掘关注解决业务问题和实现业务目标，没有业务目标就不会 有数据挖掘。 业务知识是数据挖掘步骤每一步的核心,有些硏究者认为业务知识仅仅作 用于数据挖掘过程开始阶段和最届吉果实施阶段的想法是不正确的、片面的。 为了方便理解，我使用数据挖据建模标准流程阶段来说明： 商业理解：商业理解必须基于业务知识,所以数据挖掘目标必须是业 务目标的映射（这种映射也基于数据知识和数据挖掘知识） 数据理解：数据理解使用业务知识理解与业务问题相关的数据，以及 它们是如何相关的； 数据预处理：数据预处理就是利用业务知识来塑造数据,使得业务问 题可以被提出和解答,通俗一点来说就是将业务知识进行再加工,类 似DI Designer中的转换步骤。 建模：建模是使用数据挖掘算法创建预测模型,同时解释模型和业务 目标的特点，也就是说理解它们之间的业务相关性 评估:评估是模型对理解业务的影响 实施：实施是将数据挖掘结果作用于业务过程； 总之，没有业务知识，数据挖掘过程的每一步都是无效的，也没有纯粹 的技术步骤。业务知识指导过程产生有益的结果，并使得那些有益的结果得 到认可。数据挖掘是一个反复的过程，业务知识是它的核心,驱动看结果的持 续改善。 这背后的原因可以用鸿沟的表现（chasm of representation ）来解释 （Alan Montgomery在20世纪90年代对数据挖掘提出的一个观点）。 Montgomery指出数据挖掘目标涉及到现实的业务,然而数据仅能表示现实的 -部分；数据和现实世界是有差距（或鸿沟”）的。在数据挖掘过程中，业 务知识来弥补这一差距,在数据中无论发现什么,只有使用业务知识解释才能 显示其重要性,数据中的任何遗漏必须通过业务知识弥补。只有业务知识才能 弥补这种缺失,这是业务知识为什么是数据挖掘过程每一步骤的核心的原因。 2?数据挖掘中的“数据预处理“阶段比其他任何数 据挖掘过程都要重要。 数据挖掘有句著名的格言：数据预处理比数据挖掘其他任何一个过程都重 要,数据预处理阶段可能占用数据挖掘过程一半甚至更多的时间,最简单的解 释可以概括为数据是困难的，有些研究者认为采用自动化技术将会有效的 减轻这个”问题”的数据获取、数据清理、数据转换等数据预处理各部分的工 作量。虽然自动化技术（支持者相信这项技术可以减少数据预处理过程中的大 量的工作量）是有益的，但自动化技术始终无法替代人力,无法定制指定数据。 数据预处理的目的是把数据挖掘问题转化为格式化的数据,使得分析技术（如 数据挖掘算法）更容易利用它。数据但可形式的变化,包括行过滤、增加减少 列、行变换、列变换、值替换等（有些节点Data Studio还没有添加），这意 味看问题空间的变化,因此这种分析必须是探索性的，这是数据预处理重要的 原因，并且在数据挖掘过程中占有如此大的工作量，这样数据挖掘者可以从容 地操纵问题空间,使得容易找到适合分析他们的方法。 有两种方法塑造这个问题空间。第一种方法是将数据转化为可以分析 的完全格式化的数据,比如,大多数数据挖掘算法需要单一表格形式的数据, —个记录就是一个样例。数据挖掘者都知