《数据挖掘与机器学习》 课件2.2.3 数据清洗.pptxVIP

8南宁职业技术学

院

NCVTNANNINGCOLLEGEFORVOCATIONALTECHNOLOGY

厨

数据挖掘与机器学习

DATAMININGA°NDMACHINELEARNING

处理农产品基本信息数据

农产品信息可视化分析

——NumPy、pandas与Matplotlib库

任务描述处理农产品基本信息数据

水稻是全球最重要的粮食作物之一，水稻审定数据可以为农业科技创新提供重要的参考

和依据，可以帮助选择高产、优质、抗逆性强的水稻品种，促进绿色、可持续的农业生

产方式，有助于推动农业的可持续发展。

本任务先了解水稻信息数据的情况，根据数据检测的内容可知数据存在缺失值、重复值、

异常值的情况，并对数据中的缺失值、重复值、异常值进行处理，增强后续数据分析的

效果。

对数据进行仔细的处理和清洗，确保数据的质量可靠，为后续的数据分析和决策提供更

可信的基础，也展现了劳动精神的价值和应用。

处理农产品基本信息数据

任务要求

读取农产品基本信息数据。

检测数据缺失值的情况，并进行缺失值处理。

检测数据异常值的情况，并进行异常值处理。

检测数据重复值的情况，并进行重复值处理。

Part1相关知识

·数据读取与写入

·pandas数据结构

·pandas数据处理

处理农产品基本信息数据

pandas数据处理

pandas是一款用于数据处理和分析的Python,提供了强大的数据结构和函数，

用于清洗、转换、分析和可视化数据。

核心数据结构是DataFrame,类似于Excel表格。

pandas提供了丰富的数据清洗、数据合并和分组聚合等功能。

数据清洗包含了重复值处理、缺失值处理、异常值处理等操作。

数据清洗处理农产品基本信息数据

重复值

●处理重复数据是数据分析经常面对的问题之一。

·对重复数据进行处理前，需要分析重复数据产生的原因以及去除这部分数据后可能

造成的不良影响。

·pandas提供了drop_duplicates()方法可用于去重，使用该方法进行去重不会改变数据

原始排列，并且兼具代码简洁和运行稳定的特点。

数据清洗处理农产品基本信息数据

drop_duplicates()方法的基本使用格式如下。

pandas.DataFrame.drop_duplicates(subset=None,keep=first,

inplace=False,ignore_index=False)

数据清洗处理农产品基本信息数据

drop_dupilicates()方法的常用参数及其说明如下。

参数名称参数说明

subset接收str或sequence。表示进行去重的列。默认为None

inplace接收bool。表示是否在原表上进行操作。默认为False

接收特定str。表示重复