- 1、本文档共6页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
课 题
3. 5数据的去空与去重
课 型
讲练
授课班级
大数据
授课时数
2
教学目标
.能够按要求删除数据的空值。
.能够按要求删除数据的重复值。
教学重点
.能够按要求删除数据的空值。
.能够按要求删除数据的重复值。
教学难点
.能够按要求删除数据的空值。
.能够按要求删除数据的重复值。
去空和去重是数据预处理中的重要的一环,一般的数据往往需要进行去学情分析
学情分析
学情分析空和去重之后才能分析。数据去重时,可按照横向和纵向两种方向进行去重, 对于按纵向删除重复列的情况较少。
学情分析
在对数据进行预处理时,去空和去重是两个非常重要的方法。去空是指去除带有 空值的数据,去重是指去除重复数据。
一、数据去空
数据中的某个或某些特征的值是不完整的,这些值称为缺失值,简单来说,缺失 值就是空值。
.查看空值
pandas提供了识别空值的方法isnull,这种方法在使用时返回的都是布尔值True 和False。再结合sum函数,可以检测出数据中每列的空值频数,统计各列空值频数 的一般用法为:_
DataFrame.isnull().sum()
例如代码如下:
import numpy as np
import pandas as pd
arr = np.arange( 1,17).reshape(4,4)data = pd.DataFrame(air,columns=[,a\,b,,c,/d,])
data.iloc[l :3,1:4] = np.nan#表示将行索引编号1到2,列索引编号1到3的数据都设为空值
data.loc[|0,3]/b,l = np.nan#表示将行索引编号1和3,列索引b的数据都设为空值
print(初始数据为据”,data)print(各列的空值频数为:\rT,data.isnull().sum())
【结果分析】利用np. nan可以生成DataFrame的空值。
输出结果如图3-*所示。
Run:3-5AC:\Users\liliang\Anaconda3\python.exe C:/Users/liliang/PycharmProjects/sjfx/3-5.py
初始数据为:
a b c d1方01NaN3.04.0
15NaNNaNNaN?.29NaNNaNNaN
W3 13 NaN 15.0 16.0
■ 各列的空值频数为:
a 0
b 4c 2
d 2dtype: int64
Process finished with exit code 0图3-*统计各列的空值频数例如结果
2 .删除空值
删除空值是删除带有空值的行或列,它属于利用减少样本量来换取信息完整度的 一种方法,是一种最简单的空值处理方法。pandas中提供了删除空值的dr叩na函数, 该函数可以删除带有空值的行或列。在实际操作中,删除带有空值的行的情况比拟多。 dropna函数的一般用法为:
DataFrame.dropna(axis,how,subset=[columns],inplace)其中,各个参数的作用如下:
axis接收。或1。axis=0表示删除空值所在的行,axis=l表示删除空值所在的列。
默认为axis=O,即删除空值所在的行。
how表示删除空值数据的方式。how二,any,表示只要有空值存在就删除。how-all 表示当且仅当全部为空值时就删除。默认为any。
subset表示进行去空操作的列或行。按行删除时,subset表示columns列名,而 按列删除时,subset表示行索引index。
inplace表示删除结果是否替换原表,默认为False。
(1)删除空值所在行删除空值所在行的一般用法为:
DataFrame.dropna(axis=0,how,subset,inplace)其中,axis=0为删除空值所在的行。subset表示按行删空时,需要考虑的列。
例如代码如下:
data_dropl = data.dropna(axis=0,how=any,subset=[aVb7c])print(删除abc三列中任意一列中出现空值的行:\n”,data_dropl)
data_drop2 = data.dropna(axis=0,how=all,subset=「a?b,c])print(删除abc三列中任全部都为空值的行:\n”,data_drop2) 输出结果如图3-*所示。
Run:3-5AC:\Users\liliang\Anaconda3\python.exe C:/Users/liliang/PycharmProjects/sjfx/3-5.py
初始数据为: abed
■■ rp 0 1.0 2.0 3.0 4.0 1 NaN NaN NaN NaN ” . 2 9.0 NaN
您可能关注的文档
- 事业编制教师聘用合同范文.docx
- 中西医结合药理学-抗癫痫药讲义及练习.docx
- 中级财务管理考试卷含答案.docx
- 三级公共营养师考试选择题及答案第二套.docx
- 万能材料试验机的安装技术措施(标准版).docx
- 七年级历史下册期末考试带答案【A4版】.docx
- 七年级《历史》下册期末考试卷(及答案).docx
- 一号井水泵房维修水泵使用电焊施工安全技术措施(新版).docx
- 【小升初】全国通用2021-2022学年语文期末模拟试卷(六)含答案.docx
- 《财务管理》第一章 综合练习含答案.docx
- 2024年证券分析与咨询服务项目投资申请报告代可行性研究报告.docx
- 2024年铬酸酐项目资金申请报告代可行性研究报告.docx
- 2024年清洁胶项目资金申请报告代可行性研究报告.docx
- 2024年肉松饼项目投资申请报告代可行性研究报告.docx
- 2024年陆上泵项目资金需求报告代可行性研究报告.docx
- 2024年未硫化复合橡胶及其制品项目资金需求报告代可行性研究报告.docx
- 2024年精密温控节能设备项目资金筹措计划书代可行性研究报告.docx
- 2024年汽车覆盖件模具项目资金筹措计划书代可行性研究报告.docx
- 宋词行书钢笔字帖.pdf
- 我的暑假生活作文三年级300字10篇.pdf
文档评论(0)