计算机技术与计算思维 课件 10.数据处理与图表展示1.pptx

信息技术实践《信息技术实践》课程组

数据处理与图表展示

课程目标1.了解数据处理的一般步骤和过程2.掌握数据处理的常用方法3.掌握tableau数据分析软件的基本操作

内容第一节数据清洗第二节数据加工第三节数据抽样第七章数据处理与图表展示4第四节tableau与图表展示

数据预处理在对数据进行正式处理（计算）之前，根据后续数据处理（计算）的要求，对原始数据集进行审计、清洗、变换、集成、脱敏、归约和标注等一系列处理活动。数据预处理的目的是提升数据质量，并将数据形态更加符合某一算法需求，进而达到提升数据计算的效果和降低其复杂度的目的。对于数据挖掘和分析人员来说，数据预处理工作常常占据了整个数据分析项目70%左右的工作量。

7.1数据清洗数据清洗就是将多余重复的数据筛选清除掉，将缺失的数据补充完整，将错误的数据纠正或删除。清洗数据包括三部分：清除掉不必要的重复数据、填充缺失的数据、检测逻辑错误的数据，数据清洗的目的是为后面的数据加工提供完整、简洁、正确的数据。6

7.1.1重复数据的处理1.数据工具法2.高级筛选法3．函数法4．条件格式法课堂实践参见课本第三章7

7.1.2错误数据的处理事前处理——设计数据录入规则1.数据有效性事后处理——数据检查和更改2.条件格式3.函数法4.查找与替换

7.1.3缺失数据处理数据缺失是指数据在收集过程中某个或某些属性的值不完整。如果缺失值太多，说明数据收集过程中存在问题，可以接受的标准是缺失值在10%以下。缺失值产生的原因多种多样，如市场调查中被调查人拒绝回答相关问题或回答问题无效，录入人员失误，机器故障等都可能造成数据缺失。9

处理数据缺失方法一：用一个样本统计量的值代替缺失值，最典型的做法是使用该变量的样本平均值代替缺失值。方法二：用一个统计模型计算出来的值去代替缺失值。方法三：将有缺失值的记录删除，这样将导致样本量的减少。方法四：将有缺失的记录保留，只在相应的分析中做必要的排除。课堂实践10

7.2数据加工一、数据抽取二、字段合并三、字段匹配四、数据计算五、数据分组六、数据转换11

7.2.1数据抽取1、菜单法（数据-分列）2、函数法（LEFT\RIGHT）例：right（A2,6）课堂实践12

7.2.2字段合并字段合并是将多个字段的文字或数字合并成一个单元格，最常用的是CONCATENATE()函数。CONCATENATE(A1,B1)函数的作用是将A1单元格里的内容与B1单元格里的内容合并到一起，如有多列合并只需在后面添加相应的单元格名称即可。课堂实践=CONCATENATE()13

7.2.3字段匹配VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)，其中参数lookup_value是要在表格或区域的第一列中查找，table_array代表查找的范围，也就是说在哪里查找，可以跨表，也可在同一个表中查找，col_index_num为返回第二个参数table_array表中的第col_index_num列的值，range_lookup代表模糊查找还是精确查找，range_lookup值为TRUE代表模糊匹配，为FALSE代表精确匹配。课堂实践=VLOOKUP(A2,发货表!A:B,2,FALSE)14

7.2.4数据计算简单计算【=B2+C2】函数计算（自动求和、平均数）课堂实践15

7.2.5数据分组所谓数据分组，就是根据数据的类别或数值的大小进行分组。Excel实现数据分组主要用If()函数或VLOOKUP()函数来实现。课堂实践=IF(D260,老年,IF(D235,中年,青年))16

7.2.6数据转换数据转换分为数据表的行列互换及数据类型的互换。对于数据表的行列互换，有时我们需要根据表格及需求把数据的行列进行互换以达到更方便的分析目的，数据表的行列互换可以采用选择性粘贴实现课堂实践17

7.3数据抽样数据抽样就是从海量的数据中抽取样本，数据抽样是指从数据样本中按照随机原则选取一部分对象作为样本进行分析，以此推论总体状况的一种分析方法，在数据抽样中，常用的是RAND函数。课堂实践18

课堂练习题1、结合企业案例数据—发货表，清除表中所有的重复数据。2、结合企业案例数据—员工信息离职员工表，抽取出离职员工的出生年月日，并计算离职年限。3、结合企业案例数据—员工信息离职员工表，根据离职年限条件对员工工号进行分组。4、举例说明VLOOKUP，SUMIF函数的使用方法。手机引用=COUNTIF(事后验证!$C$2:$E$5,A1)19