datapreprocess(数据预处理).ppt

数据预处理 为什么要预处理数据 与现实世界有关 数据库太大，信息多而杂 数据易受噪声数据、空缺数据和不一致性数据 的侵扰 数据预处理 提高数据质量，提高挖掘结果的质量 使挖掘过程更有效、更容易 如何预处理数据 一般的预处理方法 数据清理、数据集成和变换、数据归约 数据预处理 用于一些具体的web挖掘中的方法 使用预处理：数据净化、用户识别、会话识别、帧 页面识别、路径补缺、事务识别等 结构预处理：站点拓扑 内容预处理：页面信息抽取、信息主观兴趣特征定 义 数据预处理 一般的预处理方法 数据清理 原因：现实世界的数据一般是脏的、不完整和不一致的。 功能：填充空缺值、识别孤立点、消除噪声、纠正数据不一致。 具体实现： 空缺值 忽略元组 ：除非元组有多个属性缺少值，否则该方法不是很有效。 数据预处理 人工填写空缺值：费时，数据集大时可能行不通 使用一个全局常量填充空缺值：如Unknow或- ∞ 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最有可能的值填充空缺值：利用回归、判定树归纳等方式确定 数据预处理 噪声数据 噪声是一个测量变量中的随机错误或偏差 噪声平滑技术： 分箱：例：原始数据为4，8，15，21，21，24，25，28，34 数据预处理 数据预处理 聚类：将类似的值组织成群或“聚类”，落在聚类集合外的点被视为孤立点 计算机和人工检查结合：计算机根据信息度量理论等进行初次筛选，将筛选结果交由人来复查 回归：通过让数据适合一个函数（如回归函数）来平滑数据 数据预处理 不一致数据 对于有些事务，所记录的数据可能存在不一致。有些数据不一致可以使用其他材料人工地更正。知识工程工具也可以用来检测违反限制的数据。例如，知道属性的函数依赖，可以查找违反函数依赖的值。 数据预处理 数据集成 功能：将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异种性的解析都有助于数据集成。 问题和解决办法： 问题1：模式集成 来自多个信息源的现实世界的实体如何“匹配”？实体识别问题 数据预处理 例如：数据分析者或计算机如何才能确信一个数据库中的customer_id和另一个数据库中的cust_number指的是同一个实体？ 解决方法：利用数据库的元数据 一种关于数据的数据。这种元数据可以帮助避免模式集成中的错误。 问题2：冗余 一个属性若能由另一个表导出，它便是冗余的。例如年薪。属性或维命名的不一致也可能导致数据集中的冗余。 解决方法：可利用相关分析的方法检测冗余。 除了检测属性间的冗余外，“重复”也当在元组级进行检测。 所谓重复是指对于同一数据，存在两个或多个相同的元组。 数据预处理 问题3：数据值冲突的检测和处理 对于现实世界的同一实体，来自不同数据源的属性值可能不同。这可能是因为表示、比例或编码的不同。例如重量属性可能在一个系统中以公制单位存放，而在另一个系统中以英制单位存放。 数据这种语义上的异种性，是数据集成的巨大挑战。 数据预处理 数据变换 将数据转换成适合挖掘的形式。 平滑：去掉数据中的噪声。这种技术包括分箱、聚类和回归。 聚集：对数据进行汇总和聚集。例如可以聚集日销售数据，计算年销售额。通常这一步用来为多粒度数据分析构造数据立方体。 数据预处理 数据概化：使用概念分层，用高层次的概念替换低层次的“原始”数据。如分类的属性street可以概化为较高层的概念，如city或country。 规范化：将属性数据按比例缩放，使之落入一个小的特定区间，如-1.0到1.0或0.0到1.0 最小最大规范化：对原始数据进行线形变换。假定属性A的最小和最大值分别为minA和maxA,计算 数据预处理 将A的值映射到区间[new_minA,new_maxA]中的v’ z-score规范化：属性A的值基于A的平均值和标准差规范化，计算 数据预处理 属性构造：由给定的属性构造和添加新的属性，以帮助提高精度和对高维数据结构的理解。例如，我们可能根据属性height和width添加属性area。通过组合属性，属性构造可以发现关于数据属性间联系的丢失信息，这对知识发现是有用的。 数据归约 对数据处理的技术，如数据立方体聚