5579200商务数据分析课件第二章第三节.pptx

第三节 数据处理 CONTENTS 商务数据处理概述 商务数据处理的步骤 商务数据处理的原则 商务数据处理概述 “三心二意”处理数据 1.信心 2.细心 3.平常心 4.诚意 5.合意 数据处理的步骤： 第一步，数据清洗。顾名思义，数据清洗就是将多余的重复的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正和删除。 第二步，数据加工。经过清洗后的数据，并不一定是我们想要的数据，所以，还要对数据字段进行信息提取、计算、分组、转换等加工，让它们变成我们想要的数据。 商务数据处理概述 数据处理的原则： 1、客观性。 2、完整性。 3、针对性。 4、严谨性。 5、便捷性 数据清洗定义 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 微课：什么是数据清理.mp4 数据清洗 缺失数据的处理 检查数据逻辑错误 重复数据的处理 数据清洗原理 数据清洗原理:利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据。 数据清洗的主要类型 残缺数据 错误数据 重复数据 数据清洗的方法 数据清洗的方法 序号 类型 解决方法 1 缺失值 大多数情况下，缺失的值必须手工填入（ 即手工清理）。当然，某些缺失值可以从本数据源或其它数据源推导出来，这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值，从而达到清理的目的。 2 错误值 用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库检查数据值，或使用不同属性间的约束、外部的数据来检测和清理数据。 3 重复值 数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录。合并/清除是消重的基本方法。 4 不一致 从多数据源集成的数据可能有语义冲突，可定义完整性约束用于检测不一致性，也可通过分析数据发现联系，从而使得数据保持一致。 数据清洗——空值清洗（缺失数据处理） 缺失值： 缺失值是指数据集中某个或某些属性的值是不完全的，这在数据分析中非常常见。 表现形式： 在数据表里，缺失值最常见的表现形式就是空值或者错误标识符。 原因 缺失值的产生原因多种多样，主要分为机械原因和人为原因。机械原因是由于数据收集或保存失败造成的数据缺失，人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失。 查找缺失值的两种方法： 1.定位输入 2.查找替换 数据清洗——空值清洗（缺失数据处理） 处理缺失值的四种方法： 当样本量较大时，我们可以采用定位查找一次，选取样本里所有的空值，再利用“Ctrl+Enter”快捷键在所有选中的单元格中一次性输入样本平均值。 数据清洗——空值清洗（缺失数据处理） 数据清洗——错误标识符清洗 数据清洗——检查数据逻辑错误 数据错误的两种形式： 1. 被调查者输入的选项不符合要求。 2. 录入错误 数据清洗——重复数据的处理 有几种找出重复值的方法？ 案例：重复值处理.docx 数据加工 数据分组 数据转换 数据计算 数据抽取 数据加工——数据抽取 字段分列——截取某一字段的部分信息 字段合并——将某几个字段合并为一个新字段 字段匹配——将原数据表没有但其他数据表中有的字段，有效的匹配过来。 数据抽取形式分类 案例：数据拆分与合并.docx 数据加工——数据计算 简单计算就是字段通过加、减、乘、除等简单算术计算就能计算出来，在Excel中，加减乘除对应的运算符就是键盘中的“+ - * /”符号。另外，在“自动求和”的下拉菜单中还有平均值、计数、最大值、最小值等功能项，我们想求的这些值时也可以利用它们来实现。 所谓复杂计算就是指运用到函数的计算。工作中常用到的函数计算有平均值与总和、日期的加减法和用函数DATEDIF计算工龄等。 数据计算分类： 实训【数据处理】计算工厂利润.docx 数据加工——数据分组 Excel中实现数据分组，主要是用VLOOKUP函数来实现。 实训-【数据处理】利用vlookup函数匹配excel中的多个表.docx 数据加工——数据转换 数据转换,是将数据从一种表示形式变为另一种表现形式的过程。 这里主要介绍两个内容：数据表的行列转换; 多选题几种录入方式之间的转换。 1.数据表的行列转换可以利用选择性粘帖来完成。 项目 功能