大数据采集与预处理课件：存储数据-CSV和JSON格式.pptx

存储数据——学生就业信息数据读写和数据持久化;本章学习目标

了解MySQL的基本概念

掌握MySQL的安装和操作方法

了解PyMySQL和MySQL的区别

掌握PyMySQL的安装和基本用法

了解CSV和JSON的基础知识和数据类型转换

掌握CSV和JSON数据的读取和写入操作;3.4CSV和JSON ;1）将TXT文件转换为CSV格式。图3-14所示为TXT文件，执行“文件”→“另存为”菜单命令，修改保存文件格式为“.csv”，在“编码”下拉列表框中选择正确的编码格式后单击“保存”按钮，如图3-15所示。;2）将Excel文件转换为CSV格式。图3-16所示为Excel文件，执行“文件”→“另存为”→“其他格式”菜单命令，文件类型选择“*.csv”，单击“保存”按钮，如图3-17所示。;b);3）CSV文件分析

上面的CSV文件的结构主要分为两个部分：文件头和文件内容。其中，文件头是由多个字段组成（班级，先就业公司名称，工作岗位，大学担任职务），其他部分为文件内容。因此，可以通过CSV文件的行和字段获取特定内容。;3.4.2输出CSV文件头部;5）使用next方法读取第一行的头部数据，并将焦点转到下一行。

file_header=next(r)

6）输出结果

print(file_header)

7）显示结果

[‘班级,现就业公司名称,工作岗位,大学担任职务]

完成代码如下。

importcsv

filetouse=公司名单.csv

withopen(filetouse,r,encoding=utf-8)asf:

r=csv.reader(f)

file_header=next(r)

print(file_header);3.4.3使用Python读取CSV文件数据;4）使用csv.reader方法创建数据读取对象

r=csv.reader(f)

5）使用next方法读取第一行的头部数据，并将焦点转到下一行。

file_header=next(r)

6）输出结果

print(file_header)

7）通过自定义变量id和file_header_col，以for循环的方式，使用enumerate方法将file_header的值导出，并打印。其中，enumerate方法将把头文件中的内容以索引号和文字的形式划分。

forid,file_header_colinenumerate(file_header):

print(id,file_header_col);8）输出结果。Id为索引号，file_header为公司头文件字段。由此可知，字段“大学担任职务”的索引号为3。

0班级

1现就业公司名称

2工作岗位

3大??担任职务

9）使用自定义变量row获得for循环中CSV模块读取的文件对象r，并在循环中使用if条件语句判断每行中row[3]（第四个元素）的值为“团支书”，并打印出结果。

forrowinr:

ifrow[3]==团支书:

print(row)

10）显示结果

[软件1120,重庆虚拟人生科技有限公司,技术员,团支书]

这样，我们就通过对CSV模块的操作，提取了特定的内容。;3.4.4使用Python写入CSV文件数据;【实例3-4】本实例实现写入数据。

1）Python文件导入CSV库

importcsv

2）使用withopen方法打开该文件。其中，‘公司名单.csv’为需要写入的文件名，‘a’表示向文件附加写入内容，encoding表示该文件的编码方式为utf-8。

withopen(爱国主义精神.csv,a,encoding=utf-8)asf:

3）使用csv.writer方法创建数据写入对象

wr=csv.writer(f);4）开始写入数据，这里有可以使用writerow和writerows两种方法。第一种方法一次写入一行记录，第二种方法一次写入多行记录。

wr.writerows([[创造精神,奋斗精神],[团结精神,梦想精神]])

wr.writerow([创造精神,奋斗精神])

wr.writerow([团结精神,梦想精神])

5）读取并显示写入后的文件

withopen(爱国主义精神.csv,r,encoding=utf-8)asf2:

r=csv.reader(f2)

forrowinr:

print(row)

6）显示结果

[创造精神