大数据分析 第七章 数据格式与编码技术.ppt

大数据分析 第七章 数据格式与编码技术 本章学习目标 了解文件格式的概念 了解常见的的文件格式及分类特征 了解数据的各种类型 了解数据编码的特征 了解并掌握数据转换的方式 7.1 文件格式概述 文件格式是指在计算机中为了存储信息而使用的对信息的特殊编码方式，是用于识别内部储存的资料。 每一种文件都要使用有特定的软件来打开，例如在Windows系统中想使用记事本来打开图像文件，就会出现乱码的现象。 使用Python读取Windows系统中的文本数据 with open(8.26.txt)as file_object: contents=file_object.read() print(contents) 目前常见的文本格式较多，主要分为在Windows下的文本格式和在Linux下的文本格式。 1）txt格式 2）doc格式 3）xls格式 4）pdf格式 5）XML格式 6）JSON格式 7）HTML格式 8）tar格式 9）dmg格式 10）py格式 图像文件格式是记录和存储影像信息的格式，对数字图像进行存储、处理必须采用一定的图像格式，图像文件格式决定了应该在文件中存放何种类型的信息。 音频与视频格式主要用于存储计算机中的音频与视频文件。 7.2 数据类型与编码 数据类型是指是一个值的集合和定义在这个值集上的一组操作的总称。它的出现是为了把数据分成所需内存大小不同的数据，以便于程序的运行。通常可以根据数据类型的特点将数据划分为不同的类型，如原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型等。在每种编程语言和数据库中都有不同的数据类型。 常见的数据类型主要包含有：数值型、日期型、时间性、字符串型、逻辑型以及文本型。 编程语言中的数据类型 1）Java中的数据类型 2）Python中的数据类型 3）MySQL中的数据类型 字符编码 在计算机中，所有的信息都是0/1组合的二进制序列，计算机是无法直接识别和存储字符的。因此，字符必须经过编码才能被计算机处理。 字符编码是计算机技术的基础，也是大数据清洗需要的基本功之一。 （1）ASCII码 （2）GB2312编码 （3）Unicode编码 乱码与空值 （1）乱码 （2）空值 数据转换 数据间的相互转换是大数据清洗工作中不可缺少的一部分。由于文件在不同的文件系统中有着不同的存储格式，因此人们希望能够文件类别上实现其自由的转换。 1）基于SQL数据库文件的转换 2）基于编程语言的转换 3）基于文件的转换 7.3 Kettle数据清洗与转换工具的使用 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。?该软件的中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 7.4 CSV格式的数据转换 CSV(逗号分隔值文件格式)，也叫作字符分隔值。CSV文件一般以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。 CSV是一种通用的，相对简单的文件格式，在商业上应用较为广泛。CSV格式的基本规则如下： 纯文本格式，并通过单一的编码来表示字符。 以行为单位，开头部留空行，行与行之间没有空行。 每一行表示一个一维数据。 主要以以半角逗号作为分隔符，列为空也要表达其存在。 对于表格数据，可以包含列名，也可以不包含列名。 【例7-3】使用Python生成CSV文件，代码如下。 import csv with open(test.csv, w) as f: writer = csv.writer(f) # 写入表头，表头是单行数据 writer.writerow([name, age, sex]) data = [ (huangyuan, 20, male), (zhanglan, 22, female) ] # 写入这些多行数据 writer.writerows(data) 【例7-5】使用Python读取CSV文件，代码如下。 import csv with open(20187-5.csv,r) as csvfile: reader = csv.reader(csvfile) #这里不需要readlines for line in reader: print (line