4.2.2 数据清洗实操《财务大数据分析》教学课件.pptx

财务大数据分析第四章 数据预处理 02数据清洗数据清洗实操 1全局清洗规则数据清洗实操2客户分布分析3受欢迎商品分析-产品名称切分 数据清洗实操背景资料：这是一份连锁超市的销售数据表表中主要信息包括：订单日期、客户信息、客户类型、所在地区、商品品类、产品名称、销售额、折扣、利润 数据清洗实操任务说明：针对这家全国连锁的零售超市企业，我们拟进行客户分布分析和受欢迎商品两个主题的数据分析，在分析前对这些数据进行预处理清洗。1. 选择数据源，在下拉列表中找到预置的超市数据2. 配置全局清洗规则，勾选要使用的规则3. 点击开始清洗按钮4. 等待清洗结束后，点击查看清洗结果数据 数据清洗实操一、全局清洗规则 为了提升清洗效率，在不影响正常要分析的数据前提下，将多个字段都存在的问题一次性清洗掉，可以使用全局规则。 全局清洗一般放在其他清洗规则前优先执行。全局规则规则描述非法字符清洗对表中所有记录中含有以下字符的内容进行删除。非法字符包括：\ /*?:”|空格清理对表中所有记录中的空格都进行统一删除。-（仅有）替换为Null将字段记录值仅含有‘-’的内容进行删除，存为空记录-（仅有）替换为0将字段记录值仅含有‘-’的内容进行替换，存为’0’空格（仅有）替换为Null将字段记录值仅含有空格的内容进行删除，存为空记录空格（仅有）替换为0将字段记录值仅含有空格的内容进行替换，存为’0’ 数据清洗实操步骤1：选择数据源，在下拉列表中找到预置的超市数据一、全局清洗规则 数据清洗实操步骤1：选择数据源，在下拉列表中找到预置的超市数据一、全局清洗规则 数据清洗实操一、全局清洗规则步骤2：配置全局清洗规则，勾选要使用的规则 数据清洗实操一、全局清洗规则步骤3：点击开始清洗按钮 数据清洗实操一、全局清洗规则步骤4：等待清洗结束后，点击查看清洗结果数据 数据清洗实操二、客户分布分析1. 选择数据源，在下拉列表中找到预置的超市数据2. 配置按字段清洗规则，单击添加规则，选择按字段切分规则3. 点击规则下方的+号按钮，在弹出的窗口中选择客户ID，并点击右移（添加）按钮，确定4. 配置切分分隔符为-，修改切分后的字段名称5. 等待清洗结束后，点击查看清洗结果数据 数据清洗实操二、客户分布分析步骤1：选择数据源，在下拉列表中找到预置的超市数据； 数据清洗实操二、客户分布分析观察数据源，在进行客户分布分析的时候，可以发现数据存在以下问题：数据中没有客户名称的列字段客户ID数据由客户名称+客户编号构成在分析分布时，只有城市数据，没有更高维度的省区/地区/国家信息 数据清洗实操二、客户分布分析我们如何提取客户名称数据呢？为了解决这个问题，我们可以使用DBE财务大数据清洗工具的按字段清洗规则-字段切分规则，通过客户ID里的“-”拆分出客户名称字段。 数据清洗实操二、客户分布分析步骤2：配置按字段清洗规则，单击添加规则，选择按字段切分规则； 数据清洗实操二、客户分布分析步骤3：点击规则下方的+号按钮，在弹出的窗口中选择客户ID，并点击右移（添加）按钮，确定； 数据清洗实操二、客户分布分析步骤4：配置切分分隔符为-，修改切分后的字段名称 数据清洗实操二、客户分布分析步骤5：等待清洗结束后，点击查看清洗结果数据 数据清洗实操二、客户分布分析步骤5：等待清洗结束后，点击查看清洗结果数据 数据清洗实操二、客户分布分析思考：如何分析客户分布地区？在这份清洗后的数据里，我们有了重要的客户名称数据，但要分析客户的分布，只有城市信息还不够，需要补充客户所在省市、地区的信息。但是要手工为每条数据录入这两列信息的话效率太低，有没有效率更高的方法？这个问题的解决我们在后面的数据集成中再讲授。 数据清洗实操三、受欢迎商品分析-产品名称切分为分析受欢迎商品，我们实际上要分析哪些指标和维度？ 数据清洗实操三、受欢迎商品分析-产品名称切分 为分析受欢迎商品，需要提取产品的品牌、产品名称、产品规格数据，尝试对需要源字段进行按字段的清洗规则，并进行字段多次、多规则切分，切分出品牌、产品名称、产品规格信息。 数据清洗实操三、受欢迎商品分析-产品名称切分讨论：针对产品名称这个字段，我们要切分出所需要的分析维度，清洗的流程和规则应该怎么设计？ 数据清洗实操三、受欢迎商品分析-产品名称切分1. 选择数据源，在下拉列表中找到预置的超市数据；2. 配置按字段清洗规则，添加规则，字段清洗-字符替换，选择产品名称字段，将* 替换为 空（什么都不输）3. 添加规则，按字段清洗-字符替换，选择产品名称字段，将?\ 替换为 空（什么都不输）4.?添加规则，按字段清洗-字符替换，选择产品名称字段，将 /?替换为 空（什么都不输）5.?添加规则，按字段清洗-字符替换，选择产品名称字段，将 | 替换为