本文共 25459 字，大约阅读时间需要 84 分钟。

点击标题即可获取文章源代码和笔记

4.1.0 概要

Pandas    基础处理        Pandas是什么？为什么用？        核心数据结构            DataFrame            Panel            Series        基本操作        运算        画图        文件的读取与存储    高级处理4.1Pandas介绍    4.1.1 Pandas介绍 - 数据处理工具        panel + data + analysis        panel面板数据 - 计量经济学 三维数据    4.1.2 为什么使用Pandas        便捷的数据处理能力        读取文件方便        封装了Matplotlib、Numpy的画图和计算    4.1.3 DataFrame        结构：既有行索引，又有列索引的二维数组        属性：            shape            index            columns            values            T        方法：            head()            tail()        3 DataFrame索引的设置            1）修改行列索引值            2）重设索引            3）设置新索引    2 Panel        DataFrame的容器    3 Series        带索引的一维数组        属性            index            values    总结：        DataFrame是Series的容器        Panel是DataFrame的容器4.2 基本数据操作    4.2.1 索引操作        1）直接索引            先列后行        2）按名字索引            loc        3）按数字索引            iloc        4）组合索引            数字、名字    4.2.3 排序        对内容排序            dataframe            series        对索引排序            dataframe            series4.3 DataFrame运算    算术运算    逻辑运算        逻辑运算符            布尔索引        逻辑运算函数            query()            isin()    统计运算        min max mean median var std        np.argmax()        np.argmin()    自定义运算        apply(func, axis=0)True            func:自定义函数4.4 Pandas画图    sr.plot()4.5 文件读取与存储    4.5.1 CSV        pd.read_csv(path)            usecols=            names=        dataframe.to_csv(path)            columns=[]            index=False            header=False    4.5.2 HDF5        hdf5 存储 3维数据的文件            key1 dataframe1二维数据            key2 dataframe2二维数据        pd.read_hdf(path, key=)        df.to_hdf(path, key=)    4.5.3 JSON        pd.read_json(path)            orient="records"            lines=True        df.to_json(patn)            orient="records"            lines=True

4.1.3 DataFrame

import numpy as np# 创建一个符合正态分布的10个股票5天的涨跌幅数据stock_change = np.random.normal(0,1,(10,5)) 

stock_change

array([[ 0.77072465,  1.30408183, -0.44043464,  0.8900768 , -0.80947118],       [ 0.92407994,  0.01646795, -1.26614793,  1.52393669, -0.85373051],       [-1.68378051,  0.4302981 ,  0.8069393 ,  0.60557427, -0.03960376],       [ 0.75708007, -0.39899325,  0.23027082, -0.89585658, -1.86590247],       [-0.41516245, -1.31841546,  0.16256478, -0.67449097, -1.26234013],       [-0.27687242, -0.74154521, -0.03755446,  1.24182603, -0.79444361],       [-0.2549323 , -0.41034663, -1.85076521, -1.28663451, -0.28566877],       [ 1.22453612, -1.60200055, -1.83171522, -0.85322799, -1.70950421],       [ 2.00461483,  1.49338564,  0.33928513, -0.1776084 , -0.39698965],       [ 0.2184662 , -0.03868143, -0.21432675,  0.00604093,  1.35011139]])

import pandas as pd pd.DataFrame(stock_change)

# 构造行索引序列stock_code = ['股票' + str(i) for i in range(stock_change.shape[0])]stock_code

['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9']

# 添加行索引data = pd.DataFrame(stock_change,index=stock_code)data

# 添加列索引date = pd.date_range(start="20200618",periods=5,freq="B") # start 开始时间， periods 间隔时间，freq 按照什么间隔 d w 5hdate

DatetimeIndex(['2020-06-18', '2020-06-19', '2020-06-22', '2020-06-23',               '2020-06-24'],              dtype='datetime64[ns]', freq='B')

# 添加列索引data = pd.DataFrame(stock_change,index=stock_code,columns=date) data

DataFrame属性

data.shape

(10, 5)

data.index

Index(['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9'], dtype='object')

data.columns

DatetimeIndex(['2020-06-18', '2020-06-19', '2020-06-22', '2020-06-23',               '2020-06-24'],              dtype='datetime64[ns]', freq='B')

data.values

array([[ 0.77072465,  1.30408183, -0.44043464,  0.8900768 , -0.80947118],       [ 0.92407994,  0.01646795, -1.26614793,  1.52393669, -0.85373051],       [-1.68378051,  0.4302981 ,  0.8069393 ,  0.60557427, -0.03960376],       [ 0.75708007, -0.39899325,  0.23027082, -0.89585658, -1.86590247],       [-0.41516245, -1.31841546,  0.16256478, -0.67449097, -1.26234013],       [-0.27687242, -0.74154521, -0.03755446,  1.24182603, -0.79444361],       [-0.2549323 , -0.41034663, -1.85076521, -1.28663451, -0.28566877],       [ 1.22453612, -1.60200055, -1.83171522, -0.85322799, -1.70950421],       [ 2.00461483,  1.49338564,  0.33928513, -0.1776084 , -0.39698965],       [ 0.2184662 , -0.03868143, -0.21432675,  0.00604093,  1.35011139]])

data.T

DataFrame方法

data.head() # 返回前5行数据

data.tail() # 返回后5行数据

3 DataFrame索引的设置

• 修改行列索引值

data.index[2]

'股票2'

data.index[2] = "股票88"# 注意：单独修改每一列的索引是不行的，在DataFrame中，只能对索引进行整体的修改

---------------------------------------------------------------------------TypeError                                 Traceback (most recent call last)<ipython-input-19-9e95917cc4d9> in <module>----> 1 data.index[2] = "股票88"D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\indexes\base.py in __setitem__(self, key, value)   3908    3909     def __setitem__(self, key, value):-> 3910         raise TypeError("Index does not support mutable operations")   3911    3912     def __getitem__(self, key):TypeError: Index does not support mutable operations

stock_ = ["股票_{}".format(i) for i in range(10)]

data.index = stock_

data.index

Index(['股票_0', '股票_1', '股票_2', '股票_3', '股票_4', '股票_5', '股票_6', '股票_7', '股票_8',       '股票_9'],      dtype='object')

重设索引

• reset_index（drop=False）
• 设置新的下标索引
• drop：默认为False，不删除原来索引，如果为True，删除原来的索引值

# 重置索引，drop=Falsedata.reset_index()

# 重置索引，drop=Truedata.reset_index(drop=True)

以某列值设置为新的索引

• set_index(keys,drop=True)
• keys:列索引名或者列索引名称的列表
• drop:boolean,default True 当作新的索引，删除原来的索引列

设置新索引案例

• 1.创建

df = pd.DataFrame({       'month':[1,4,7,10],    'year':[2012,2014,2013,2014],    'sale':[55,40,84,31]})df

• 2、以月份设置新的索引

df.set_index('month')

• 3. 设置多个索引，以年和月份

new_df = df.set_index(['year','month'])

new_df

new_df.index

MultiIndex([(2012,  1),            (2014,  4),            (2013,  7),            (2014, 10)],           names=['year', 'month'])

4.1.4 MultiIndex 与 Panel的关系

1 Multilndex多级或分层索引对象。

• index属性

names: levels的名称

levels：每个level的元组值

new_df.index.names

FrozenList(['year', 'month'])

new_df.index.levels

FrozenList([[2012, 2013, 2014], [1, 4, 7, 10]])

2 Panel

p = pd.Panel()p# 新版本已移除该函数

D:\ProgramData\Anaconda3\lib\site-packages\ipykernel_launcher.py:1: FutureWarning: The Panel class is removed from pandas. Accessing it from the top-level namespace will also be removed in the next version  """Entry point for launching an IPython kernel.<pandas.__getattr__.<locals>.Panel at 0x203fd31ea08>

data

Series

data.iloc[1,:] # 带索引的一维数组

2020-06-18    0.9240802020-06-19    0.0164682020-06-22   -1.2661482020-06-23    1.5239372020-06-24   -0.853731Freq: B, Name: 股票_1, dtype: float64

type(data.iloc[1,:])

pandas.core.series.Series

属性

data.iloc[1,:].index

DatetimeIndex(['2020-06-18', '2020-06-19', '2020-06-22', '2020-06-23',               '2020-06-24'],              dtype='datetime64[ns]', freq='B')

data.iloc[1,:].values

array([ 0.92407994,  0.01646795, -1.26614793,  1.52393669, -0.85373051])

1. 创建Series

通过已有数据创建

• 指定内容，默认索引

pd.Series(np.arange(10))

0    01    12    23    34    45    56    67    78    89    9dtype: int32

• 指定索引

pd.Series([6.7,5.6,3,10,2],index=[1,2,3,4,5])

1     6.72     5.63     3.04    10.05     2.0dtype: float64

• 通过字典数据创建

pd.Series({       'red':100,    'blue':200,    'green':500,    'yellow':1000})

red        100blue       200green      500yellow    1000dtype: int64

总结

• DataFrame 是 Series的容器
• Panel 是 DataFrame的容器

4.2 基本数据操作

datas = pd.read_excel("./datas/szfj_baoan.xls")

datas

1251 rows × 9 columns

datas.columns

Index(['district', 'roomnum', 'hall', 'AREA', 'C_floor', 'floor_num', 'school',       'subway', 'per_price'],      dtype='object')

# 删除列datas = datas.drop(columns=[ 'school','subway',],axis=0)

datas

1251 rows × 7 columns

4.2.1 索引操作

1.直接使用行列索引（先列后行）

datas["per_price"][0]

7.0773

2. 按名字索引(先行后列)

datas.loc[0]["per_price"]

7.0773

datas.loc[0,"per_price"]

7.0773

3.按数字索引

datas.iloc[0,6]

7.0773

# 通过索引值获取行名datas.index[0:4]

RangeIndex(start=0, stop=4, step=1)

datas.loc[datas.index[0:4],["district","roomnum"]]

# datas.columns.get_indexer() 通过列名获取索引值datas.columns.get_indexer(["district","roomnum"])

array([0, 1], dtype=int64)

datas.iloc[0:4,datas.columns.get_indexer(["district","roomnum"])]

4.2.2 赋值操作

# 直接修改原来的值datas["hall"] = 5

datas.head()

# 或者datas.hall = 1

datas.head()

datas.iloc[0,0] = "zzzz"

datas.head()

4.2.3 排序

# 对内容进行排序, ascending=False降序排列 ，默认为True升序排列datas.sort_values(by="per_price",ascending=False)

1251 rows × 7 columns

datas.sort_values(by="per_price")

1251 rows × 7 columns

# 按照多个字段进行排序# 先按照“district”字段的内容进行排序，如果值相同，再按照“per_price”字段的内容进行排序datas.sort_values(by=["district","per_price"])

1251 rows × 7 columns

# 按照行索引大小进行排序,默认从小到大排序datas.sort_index()

1251 rows × 7 columns

sr = datas["per_price"]

sr

0       7.07731       6.92912       3.92863       3.35684       5.0769         ...  1246    4.25531247    3.80601248    5.34121249    5.95081250    4.5244Name: per_price, Length: 1251, dtype: float64

# 对Series类型的数据的内容进行排序sr.sort_values()

1047     1.1931684      1.22471188     1.5909841      1.6667911      1.6854         ...   186     16.5493296     19.2328576     19.3622356     21.2860917     21.9040Name: per_price, Length: 1251, dtype: float64

# 对Series类型的数据的索引进行排序sr.sort_index()

0       7.07731       6.92912       3.92863       3.35684       5.0769         ...  1246    4.25531247    3.80601248    5.34121249    5.95081250    4.5244Name: per_price, Length: 1251, dtype: float64

4.3 DataFrame运算

1. 算术运算

# 对Series类型进行操作datas["roomnum"] + 3

0       61       72       43       44       5       ..1246    71247    51248    51249    51250    6Name: roomnum, Length: 1251, dtype: int64

datas["roomnum"].add(3).head()

0    61    72    43    44    5Name: roomnum, dtype: int64

datas.iloc[:,1:4]

1251 rows × 3 columns

# 对DataFrame类型进行操作datas.iloc[:,1:4] + 10

1251 rows × 3 columns

2. 逻辑运算

# 逻辑判断的结果可以作为筛选的依据datas['AREA'] > 100

0       False1        True2       False3       False4       False        ...  1246    False1247    False1248    False1249    False1250    FalseName: AREA, Length: 1251, dtype: bool

# 可以进行布尔索引datas[datas['AREA'] > 100]

322 rows × 7 columns

# 多个逻辑判断# 筛选面积大于100 并且 放假小于40000的数据(datas["AREA"]>100) & (datas["per_price"]< 40000)

0       False1        True2       False3       False4       False        ...  1246    False1247    False1248    False1249    False1250    FalseLength: 1251, dtype: bool

# 布尔索引datas[(datas["AREA"]>100) & (datas["per_price"]< 40000)]

322 rows × 7 columns

逻辑运算函数

# 条件查询函数datas.query("AREA>100 & per_price<40000")

322 rows × 7 columns

datas["roomnum"].isin([4,5])

0       False1        True2       False3       False4       False        ...  1246     True1247    False1248    False1249    False1250    FalseName: roomnum, Length: 1251, dtype: bool

# 可以指定值进行判断，从而进行筛选操作# 筛选出房间数量为4或者5的数据datas[datas["roomnum"].isin([4,5])]

224 rows × 7 columns

3. 统计运算

# 计算每一列的总数，均值，标准差，最小值，分位数，最大值等datas.describe()

统计函数

# axis=0 求每一列的最大值  axis=1求每一行的最大值datas.max(axis=0)

district       zzzzroomnum           8hall              1AREA          352.9C_floor      middlefloor_num        53per_price    21.904dtype: object

# 方差datas.var(axis=0)

roomnum         0.884846hall            0.000000AREA         1428.698032floor_num      87.088446per_price       5.929870dtype: float64

# 标准差datas.std(axis=0)

roomnum       0.940663hall          0.000000AREA         37.798122floor_num     9.332119per_price     2.435132dtype: float64

datas.iloc[:,3]

0        89.31       127.02        28.03        28.04        78.0        ...  1246     89.31247     67.01248     67.41249     73.11250     86.2Name: AREA, Length: 1251, dtype: float64

# 求最大值所在的下标（索引）datas.iloc[:,3].idxmax(axis=0)

759

datas.iloc[759,3]

352.9

# 求最小值所在的下标（索引）datas.iloc[:,3].idxmin(axis=0)

576

datas.iloc[576,3]

21.95

累计统计函数

datas["per_price"]

0       7.07731       6.92912       3.92863       3.35684       5.0769         ...  1246    4.25531247    3.80601248    5.34121249    5.95081250    4.5244Name: per_price, Length: 1251, dtype: float64

# 累加datas["per_price"].cumsum()

0          7.07731         14.00642         17.93503         21.29184         26.3687          ...    1246    8291.30761247    8295.11361248    8300.45481249    8306.40561250    8310.9300Name: per_price, Length: 1251, dtype: float64

datas["per_price"].sort_index().cumsum().plot()

<matplotlib.axes._subplots.AxesSubplot at 0x2039a3a3dc8>

import matplotlib.pyplot as pltdatas["per_price"].sort_index().cumsum().plot()plt.show()

4. 自定义运算

# 自定义一个计算最大值-最小值的函数datas[["per_price"]].apply(lambda x : x.max()-x.min(),axis=0)

per_price    20.7109dtype: float64

4.4 Pandas画图

# 查看面积和房价之间的关系datas.plot(x="AREA",y="per_price",kind="scatter")

<matplotlib.axes._subplots.AxesSubplot at 0x203a343dec8>

# 查看楼层和房价之间的关系datas.plot(x="floor_num",y="per_price",kind="scatter")

<matplotlib.axes._subplots.AxesSubplot at 0x203a3a81bc8>

datas.plot(x="AREA",y="per_price",kind="barh")

<matplotlib.axes._subplots.AxesSubplot at 0x203a2147f08>

4.5 文件的读取与存储

1.读取csv文件 read_csv()

iris_data = pd.read_csv("./datas/iris.data.csv")

iris_data.head()

# usecols：指定读取的列名，列表形式iris_data1 = pd.read_csv("./datas/iris.data.csv",usecols=["feature1","feature2","result"])

iris_data1.head()

iris_data2 = pd.read_csv("./datas/iris.data2.csv")iris_data2.head()

# names:如果数据集本身没有列名，可以自己指定列名iris_data2 = pd.read_csv("./datas/iris.data2.csv",names=["feature1","feature2","feature3","feature4","result"])iris_data2.head()

datas.head(5)

# 保存per_price列的数据# 保存的时候index=False 去掉行索引# mode="a" 追加数据# header=False 不要重复追加列名datas[:-1].to_csv("./price_test",columns=['per_price'],index=False,mode="a",header=False)

# 读取，查看数据perice_test = pd.read_csv("./price_test")

perice_test

3751 rows × 1 columns