2.1　Pandas科学计算库

在数据分析工作中，Pandas的使用频率是很高的。一方面是因为Pandas提供的基础数据结构DataFrame与JSON的契合度很高，转换起来很方便。另一方面，如果我们日常的数据清理工作不是很复杂的话，则使用Pandas代码就可以很方便地对数据进行规整。

2.1.1　初识Pandas

Pandas由AQR Capital Management于2008年开发，并于2009年年底开源发布，目前由专注于Python数据包开发的PyData开发团队继续开发和维护。

Pandas是基于NumPy构建的含有更高级数据结构和分析能力的工具包。Pandas的核心数据结构是Series和DataFrame，它们分别代表着一维的序列和二维的表结构。基于这两种数据结构，Pandas可以对数据进行导入、清洗、处理、统计和输出。它是支撑Python成为强大而高效的科学计算语言的重要因素之一。

由于Pandas是Python的第三方库，需要另外安装：

安装完成后，我们来查看Pandas版本，代码如下：

下面我们通过一个例子来体验Pandas的操作，感受它的科学计算能力。

【例2-1】　Pandas基本操作。

运行程序，输出如下：

在例2-1中，利用NumPy构建了一个Pandas库下的DataFrame对象，并对其进行了一些基本操作，以方便读者对Pandas进行理解。由结果可看出，Pandas在数据预处理与数据挖掘过程中起着非常重要的作用。

2.1.2　Pandas的相关操作

1. 数据结构

目前，Pandas中的数据结构有3种，分别为Series、DataFrame和Panel，如表2-1所示。

2. Series结构

Series是Pandas中最基本的对象，它定义了NumPy的ndarry对象的接口array()，因此可以利用NumPy的数组处理函数直接处理Series对象。一个Series是一个一维的数据对象，其中每一个元素都有一个标签，标签可以是数字或字符串。Series对象具有列表和字典的属性（字典的属性由索引赋予）。

Series的基本创建方式为：

其中：

• data：传入数据，可以传入多种类型。

• index：索引，在不指定index的情况下，默认数值索引range(0,len(data))。

【例2-2】　创建Series。

运行程序，输出如下：

3. DataFrame结构

DataFrame（数据框）是表格型的二维数据结构，特点如下。

• 列内的元素同类型，不同的列之间可以不相同。

• 索引有两个轴向：axis=0或'index'行，axis=1或'columns'列。分别用df.index（行名）与df.columns（列名）调用。

在数据处理中，使用数据框是非常便捷的；而系列（Series）我们却很少使用。DataFrame的基本创建方式为：

• data：传入数据，可以传入多种类型数据。

• index：列索引，不指定自动数值索引填充。

• columns：行索引，不指定自动数值索引填充。

【例2-3】　创建DataFrame。

运行程序，输出如下：

还可以使用字典创建DataFrame。例如：

运行程序，输出如下：

4. Panel结构

Panel创建的是三维的表，其创建方式为：

其中：

• items：坐标轴0，索引对应的元素是一个DataFrame。

• major_axis：坐标轴1，DataFrame里的行标签。

• minor_axis：坐标轴2，DataFrame里的列标签。

【例2-4】　创建三维数组，分别对应相应的item、major_axis和minor_axis。

运行程序，输出如下：

通过前面的介绍，可以初步了解Pandas在内存中的基本操作。需要注意，数据的行列信息（index、columns）。同时Pandas也支持本地读取文件，如pd.to_csv读取csv文件等，具体如表2-2所示。

5. 数据的选取与清洗

对DataFrame进行选择，要从3个层次考虑：行列、区域和单元格。

（1）使用方括号[]选取行列。

使用方括号[]选取，返回的是一维数组——行维度。输入要求是整数切片、标签切片、布尔数组，具体规则如表2-3所示。

（2）df.loc[]用于标签定位，[]内为行和列的名称，下面直接通过一个例子来演示其用法。

【例2-5】　df.loc[]的用法。

运行程序，输出如下：

当然，获取某列数据最直接的方式是df.[列标签]，但是当列标签未知时可以通过这种方式获取列数据。

需要注意的是，dataframe的索引[1:3]是包含1、2、3的，与平时的不同。

（3）df.iloc[]可通过行号获取行数据。下面通过一个例子来演示其用法。

【例2-6】　df.iloc[]的用法。

运行程序，输出如下：

（4）df.ix[]是iloc和loc的合体。下面通过一个例子来演示其用法。

【例2-7】　df.ix[]的用法。

运行程序，输出如下：

6. 数据清洗

无论是数据挖掘工程师、机器学习工程师，还是深度学习工程师，都非常了解数据真实性的重要性，数据真实性决定特征维度的选择规则。数据准备阶段（包含数据的抽取、清洗、转换和集成）的工作量常常占据全部工作的50%左右。而在数据准备的过程中，数据质量差又是最常见而且最令人头痛的问题之一。本节针对缺失值和特殊值这种数据质量问题提出了推荐的处理方法。

【例2-8】　构建DataFrame。

运行程序，输出如下：

利用dropna()可以实现对缺失值的处理，下面的代码实现了对df2缺失值的处理：

可用的填充方法如表2-4所示。

注意：处理时间序列数据，使用pad/ffill十分常见，因此“最后已知值”在每个时间点都可用。ffill()等效于fillna(method= 'ffill')，bfill()等效于fillna(method= 'bfill')。

通常我们想用其他值替换任意值。在Series/DataFrame中可以使用replace()，它提供了一种高效而灵活的方法来执行此类替换。

【例2-9】　利用replace()对例2-8中的数据进行替换。

通常，在数据预处理时，如果数据特征维度比较大，则我们会丢弃一些弱特征。如果在DataFrame中需要标识和删除重复行，那么有两种有效的方法：duplicated和drop_duplicates。每种方法都将以标识重复行的列作为参数。

• duplicated：返回布尔向量，其长度为行数，并指示行是否重复。

• drop_duplicates：删除重复的行。

在默认情况下，重复集的第一个观察到的行被认为是唯一的，但每个方法都有一个keep参数来指定要保留的目标。

• kepp='first'（默认）：除第一次出现外，标记/删除重复项。

• kepp='last'：标记/删除除了最后一次出现的副本。

• kepp='False'：标记/删除重复项。

【例2-10】　对例2-8中的数据进行标识和删除重复行。