Python数据分析与实战（微课版）课件 第3、4章 pandas统计分析基础； 使用pandas进行数据预处理.pptx

pandas统计分析基础;;pandas是Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。

pandas建造在NumPy之上，所以使得pandas在以NumPy为中心的应用中得以容易的使用，而pandas库在与其它第三方科学计算支持库结合时也能够完美的进行集成。

在Python中，pandas库的功能十分强大，它可提供高性能的矩阵运算。

可用于数据挖掘和数据分析，同时也提供数据清洗功能；

支持类似SQL的数据增、删、查、改等操作，并且带有丰富的数据处理函数；

支持时间序列数据分析功能；支持灵活处理缺失数据等。

;pandas有两个强大的利器。

Series（一维数据）是一种类似于一维数组的对象，是由一组数据（各种NumPy数据类型）以及一组与之相关的数据标签（即索引）组成，而仅由一组数据也可产生简单的Series对象。

DataFrame是pandas中的一个表格型的数据结构，包含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型等），DataFrame既有行索引也有列索引，可以被看做是由Series组成的字典。

;文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。

CSV是一种用分隔符分隔的文件格式，因为其分隔符不一定是逗号，所以又被称为字符分隔文件。

文本文件以纯文本形式存储表格数据（数字和文本），它是一种通用、相对简单的文件格式，较广泛地应用是在程序之间转移表格数据，而这些程序本身是在其他程序不兼容的格式上进行操作的（往往是私有的、无通用规范的格式）。

大量程序都支持CSV或其变体，所以CSV或其变体可以作为大多数程序的输入和输出格式。;CSV文件根据其定义也是一种文本文件。在数据读取过程中可以使用文本文件的读取函数对CSV文件进行读取。同时，如果文本文件是字符分隔文件，那么可以使用读取CSV文件的函数进行读取。

pandas提供了read_table()函数读取文本文件，提供了read_csv()函数读取CSV文件。;read_table()函数和read_csv()函数具有许多参数，如果有多个expression，那么表达式之间用逗号隔开，基本使用格式如下。

;

;read_table()函数和read_csv()函数的多数参数相同，它们的常用参数及其说明如下表。

;read_table()函数和read_csv()函数的多数参数相同，它们的常用参数及其说明如下表。

;坚持把发展经济的着力点放在实体经济上，推进新型工业化，加快建设制造强国。某公司收集了工业制品销售数据信息，部分信息如下表。

;根据工业制品销售数据表，分别使用read_table()和read_csv()这两个函数读取数据。

read_table()函数和read_csv()函数应注意。

sep参数是指定文本的分隔符，如果分隔符指定错误，那么在读取数据的时候，每一行数据将连成一片。

header参数用于指定列名，如果header参数值是None，那么将会添加一个默认的列名。

encoding代表文件的编码格式，常用的编码格式有UTF-8、UTF-16、GBK、GB2312、GB18030等。

如果编码格式指定错误，那么数据将无法读取，IPython解释器会报解析错误。;文本文件的存储和读取类似，对于结构化数据，可以通过pandas库中的to_csv()方法实现以CSV文件格式存储。

to_csv()函数同样具有许多参数，如果有多个expression，那么表达式之间用逗号隔开，基本使用格式如下。

;to_csv()方法的常用参数及其说明如下表。

;Excel是微软公司的办公软件MicrosoftOffice的组件之一，它可以对数据进行处理、统计分析等操作，广泛地应用于管理、财经和金融等众多领域，其文件扩展名依照程序版本的不同分为以下两种。

MicrosoftOfficeExcel2007之前的版本（不包括2007）默认保存的文件扩展名为.xls。

MicrosoftOfficeExcel2007之后的版本默认保存的文件扩展名为.xlsx。

;pandas库提供了read_excel()函数读取“xls”和“xlsx”两种Excel文件，基本使用格式如下。

;read_excel()函数的常用参数及其说明如下表。

;将数据存储至Excel，可以使用to_excel()方法，基本使用格式如下。

;to_excel()函数的常用参数及其说明如下表。

;在生产环境中，绝大多数的数据都存储在数据库中。pandas库提供了读取与存储关系型数据库数据的函数与方法。除了pandas库外，还需要使用SQLAlchemy库建立对应的数据库连接。

pandas