本文共 7574 字，大约阅读时间需要 25 分钟。

关于pandas

昨天写一个小项目的时候，想用pandas把数据写入到Excel中去，结果发现我原先写的那套pandas教程是真的垃圾啊。

痛定思痛，我决定重写一份。

pandas创始人对pandas的讲解

在pandas的官网（Python Data Analysis Library）上，我们可以看到有一段pandas创始人Wes McKinney对pandas的讲解，从创始人的角度我们可以直接理解pandas这个python的数据分析库的主要特性和发展方向。

McKinney一共总结了9个特性，我们来一个个过一下。

1.对表格类型的数据的读取和输出速度非常快。（个人对比excel和pandas，的确pandas不会死机....）在他的演示中，我们可以看到读取489597行，6列的数据只要0.9s。2.时间序列处理。经常用在金融应用中。3.数据队列。可以把不同队列的数据进行基本运算。4.处理缺失数据。5.分组运算。比如我们在前面泰坦尼克号中的groupby。6.分级索引。7.数据的合并和加入。8.数据透视表。9.数据归纳和分析。

---

pandas的热度

pandas之所以能有这样的热度，和在座的各位都脱不了干系！！！☺☺

---

pandas对于数据分析

pandas全面支持数据分析项目的研发步骤：

---

pandas数据结构简介

之前学pandas，一上来就是存取，然后就是处理，到后面没办法了，学一下数据结构，不是我说，真不知道那个老师是怎么排的课？

pandas处理以下数据结构：

系列(Series)数据帧(DataFrame)面板(Panel)

说实话，第三种我也没接触过。

或者，我们换个方式来理解：Series是一维的，FataFrame是二维的，Panel是三维的。

数据结构	外形尺寸	描述
序列	1	1D标记的同质阵列，sizeimmutable。
数据帧	2	一般的二维标签，大小可变的表格结构，具有潜在的非均匀类型列。
面板	3	一般3D标签，大小可变的数组。

---

Series

系列是具有均匀数据的一维数组结构。（说白了就是数组）

生成Series：

import numpy as npimport pandas as pds = pd.Series([1, 3, 5, np.nan, 6, 8])print(s)

---

DataFrame

DataFrame，前面已经说到，它就是个二维数组。

先看几个生成DataFrame的方式，惭愧啊，之前那个系列还没有完整的说过这一块儿的内容。

用 Series 字典对象生成 DataFrame：

df = pd.DataFrame(	{
   		'A': 1.,		'B': pd.Timestamp('20130102'),		'C': pd.Series(1, index=list(range(4)), dtype='float32'),		'D': np.array([3] * 4, dtype='int32'),		'E': pd.Categorical(["test", "train", "test", "train"]),		'F': 'foo'	})

这种方式生成的对象是这样的：

A          B    C  D      E    F0  1.0 2013-01-02  1.0  3   test  foo1  1.0 2013-01-02  1.0  3  train  foo2  1.0 2013-01-02  1.0  3   test  foo3  1.0 2013-01-02  1.0  3  train  foo

相当于刚才是一列一列插入的。

如果想一行一行的插入呢？

从numpy导入数据：

df = pd.DataFrame([[1,5,8],[2,np.nan,np.nan],[2,3,np.nan],[np.nan,np.nan,np.nan]])

这样就好。

0    1    20  1.0  5.0  8.01  2.0  NaN  NaN2  2.0  3.0  NaN3  NaN  NaN  NaN

---

pandas数据结构方法详解

Series

Pandas序列可以使用以下构造函数创建：

pandas.Series( data, index, dtype, copy)

参数释义：

data：数据采取各种形式，如：ndarray，list，constantsindex：索引值必须是唯一的和散列的，与数据的长度相同。 默认np.arange(n)如果没有索引被传递。dtype：dtype用于数据类型。如果没有，将推断数据类型copy：复制数据，默认为false。

---

创建序列

创建一个空序列：s = pd.Series()

---

从ndarray创建一个序列：

data = np.array(['a','b','c','d'])s = pd.Series(data)0   a1   b2   c3   ddtype: object

如果数据是ndarray，则传递的索引必须具有相同的长度。如果没有索引被传递，那么默认情况下，索引将是 range（n）

data = np.array(['a','b','c','d'])s = pd.Series(data,index=[100,101,102,103])100  a101  b102  c103  ddtype: object

---

从字典创建一个序列：

data = {
   'a' : 0., 'b' : 1., 'c' : 2.}s = pd.Series(data)a 0.0b 1.0c 2.0dtype: float64

一个 字典 可以作为输入传递，如果没有指定索引，那么字典键将按照排序的顺序进行构建索引。如果 索引 被传递， 索引 中的标签对应的数据值将被取出。

data = {
   'a' : 0., 'b' : 1., 'c' : 2.}s = pd.Series(data,index=['b','c','d','a'])b 1.0c 2.0d NaNa 0.0dtype: float64

索引顺序持续存在，缺少的元素用NaN（不是数字）填充。

---

从标量创建一个序列：

s = pd.Series(5, index=[0, 1, 2, 3])0  51  52  53  5dtype: int64

---

访问序列

从位置序列访问数据：

s = pd.Series([1,2,3,4,5],index = ['a','b','c','d','e'])print(s[0])print(s[:3])

---

使用标签检索数据（索引）：

s = pd.Series([1,2,3,4,5],index = ['a','b','c','d','e'])print(s['a'])print(s[['a','c','d']])print(s['f']) #引发异常

---

DataFrame

可以使用以下构造函数创建一个pandas DataFrame：

pandas.DataFrame( data, index, columns, dtype, copy)

参数释义：

参数和说明data：数据采用各种形式，如ndarray，序列，地图，列表，字典，常量和另一个DataFrame。index：对于行标签，如果没有索引被传递，则要用于结果帧的索引是可选缺省值np.arrange（n）。columns：对于列标签，可选的默认语法是 - np.arrange（n）。这只有在没有通过索引的情况下才是正确的。dtype：每列的数据类型。copy：如果默认值为False，则使用该命令（或其它）复制数据。

---

创建DataFrame

创建一个空的DataFrame：df = pd.DataFrame()

---

从列表中创建一个DataFrame：

data = [1,2,3,4,5]df = pd.DataFrame(data)00    11    22    33    44    5

data = [['Alex',10],['Bob',12],['Clarke',13]]df = pd.DataFrame(data,columns=['Name','Age'])	  Name      Age0     Alex      101     Bob       122     Clarke    13

data = [['Alex',10],['Bob',12],['Clarke',13]]df = pd.DataFrame(data,columns=['Name','Age'],dtype=float)	  Name     Age0     Alex     10.01     Bob      12.02     Clarke   13.0

---

从ndarrays / Lists的Dict创建一个DataFrame：

data = {
   'Name':['Tom', 'Jack', 'Steve', 'Ricky'],'Age':[28,34,29,42]}df = pd.DataFrame(data)	  Age      Name0     28        Tom1     34       Jack2     29      Steve3     42      Rickydf = pd.DataFrame(data, index=['rank1','rank2','rank3','rank4'])		 Age    Namerank1    28      Tomrank2    34     Jackrank3    29    Steverank4    42    Ricky

---

从列表中创建一个DataFrame：

data = [{
   'a': 1, 'b': 2},{
   'a': 5, 'b': 10, 'c': 20}]df = pd.DataFrame(data)	a    b      c0   1    2    NaN1   5   10   20.0df = pd.DataFrame(data, index=['first', 'second'])		a   b       cfirst   1   2     NaNsecond  5   10   20.0

字典列表可以作为输入数据传递以创建DataFrame。字典键默认作为列名。

---

从序列字典创建一个DataFrame：

d = {
   'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),     'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}df = pd.DataFrame(d)	  one    twoa     1.0    1b     2.0    2c     3.0    3d     NaN    4

---

访问DataFrame

列处理

d = {
   'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),      'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}df = pd.DataFrame(d)print(df['one'])

列增：

df['three']=pd.Series([10,20,30],index=['a','b','c'])print(df)df['four']=df['one']+df['three']print(df)# 前面不看啊，没有悬念，就看着最后一个输出      one   two   three    foura     1.0    1    10.0     11.0b     2.0    2    20.0     22.0c     3.0    3    30.0     33.0d     NaN    4     NaN     NaN

列删：

del df['one']print(df)df.pop('two')print(df)

---

行处理

按标签选择：

d = {
   'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),     'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}df = pd.DataFrame(d)print(f.loc['b'])one 2.0two 2.0Name: b, dtype: float64

---

按行数选择：

print(df.iloc[2])print(df[2:4])

---

行增：

df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])df = df.append(df2)print(df)   a  b0  1  21  3  40  5  61  7  8

---

行删：

使用索引标签从DataFrame中删除或删除行。如果标签存在重复使用，则多行将被删除。

df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])df = df.append(df2)	# 注意看上面的行标签df = df.drop(0)print(df)  a b1 3 41 7 8

在上面的例子中，两行被删除，因为这两行包含相同的标签0。

---

panel

面板可以使用以下构造函数创建：

pandas.Panel(data, items, major_axis, minor_axis, dtype, copy)

参数释义：

data：数据采用各种形式，如ndarray，序列，地图，列表，字典，常量和另一个DataFrameitems：axis=0major_axis：axis=1minor_axis：axis=2dtype：每列的数据类型copy：复制数据。默认， **false**

---

创建Panel

面板可以使用多种方式创建：

从ndarrays来自DataFrames的字典

这个模块儿不讲太多啦，毕竟我是真没用过。

---

从3D ndarray创建：

data = np.random.rand(2,4,5)p = pd.Panel(data)print(p)
   
    Dimensions: 2 (items) x 4 (major_axis) x 5 (minor_axis)Items axis: 0 to 1Major_axis axis: 0 to 3Minor_axis axis: 0 to 4
   

---

来自DataFrame对象的字典：

data = {
   'Item1' : pd.DataFrame(np.random.randn(4, 3)),        'Item2' : pd.DataFrame(np.random.randn(4, 2))}p = pd.Panel(data)print(p)# 结果同上

---

创建一个空面板：

p = pd.Panel()
   
    Dimensions: 0 (items) x 0 (major_axis) x 0 (minor_axis)Items axis: NoneMajor_axis axis: NoneMinor_axis axis: None
   

---

从panel中选择数据

data = {
   'Item1' : pd.DataFrame(np.random.randn(4, 3)),        'Item2' : pd.DataFrame(np.random.randn(4, 2))}p = pd.Panel(data)print(p['Item1'])0          1          20    0.488224  -0.128637   0.9308171    0.417497   0.896681   0.5766572   -2.775266   0.571668   0.2900823   -0.400538  -0.144234   1.110535

使用major_axis：

print(p.major_xs(1))	Item1       Item20   -0.128637   -1.0470321    0.896681   -0.5573222    0.571668    0.4319533   -0.144234    1.302466

---

基本方法速查

Series基本方法

属性或方法	描述
axes	返回行轴标签的列表。
dtype	返回对象的dtype。
empty	如果series为空，则返回True。
ndim	根据定义1返回基础数据的维度数。
size	返回基础数据中元素的数量。
values	将该序列作为ndarray返回。
head()	返回前n行。
tail()	返回最后n行。

---

DataFrame基本方法

属性或方法	描述
Ť	转置行和列。
axes	以行轴标签和列轴标签作为唯一成员返回列表。
dtypes	返回此对象中的dtypes。
empty	如果NDFrame完全为空[没有项目]，则为true; 如果任何轴的长度为0。
ndim	轴/阵列尺寸的数量。
shape	返回表示DataFrame维度的元组。
size	NDFrame中的元素数目。
values	NDFrame的Numpy表示。
head()	返回前n行。
tail()	返回最后n行。

---

好物推荐

发现几款CSDN学院不错的内容，喜欢的小伙伴可以收藏一下。

要再多也没有啦。

---

饿都饿死了，今天先到这儿，赶着去食堂抢饭了。。。

转载地址：https://lion-wu.blog.csdn.net/article/details/115453297 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！