1.统计分析入门
2.分组 groupby（）
3.数据可视化
4.数据合并，重组
5.数据类型转换

1.统计分析入门：经常用到的函数

删除值的处理

1.1 pd.isnull(df)

检查缺失值

1.2 df.fillna()

填充缺失值

1.2.1 直接填充

df3.fillna(0,inplace = True)
1.2.2 采用前项填充或后向填充
df3.fillna(method='ffill')  #用前一个值填充
df3.fillna(method='bfill')   #用后一个值填充
1.2.3使用常量填充
df3.fillna({'c':100},inplace = True)
1.2.4 使用均值或者中位数填充
c_median = df3['c'].median()  #可替换成.mean()
df3.fillna({'c':c_median},inplace= True)
1.3 df.dropna（）
删除缺失值
df.dropna()     #该操作会删除所有有缺失值的行数据
df.dropna(how='all')    #该操作仅会删除所有列均为缺失值的行数据
1.4 df.mean()
ps:操作会把NaN  排除在外
1.5 .value_counts()
value_counts()是一种查看表格某列中有多少个不同值的快捷方法，并计算每个不同值有在该列中有多少重复值。

value_counts()是Series拥有的方法，一般在DataFrame中使用时，需要指定对哪一列或行使用
data['Unit Name'].value_counts()
1.6 df.count()
非空元素计算
1.7 df.min()
1.8 df.max()
1.9 df.idxmin()
最小值的位置，类似于r中的which.min函数
1.10 df.idmax()
最大值的位置，类似于r中的which.max函数
1.11 df.quantile(0.1)
10%分位数
1.12 df.sum（）
1.13 df.median()
1.14 df.mode()
1.15 df.var()
1.16 df.std()
1.17 df.mad()
平均绝对偏差
1.18 df.skew()
1.19 df.kurt()
1.20 df.corr()
连续变量的相关系数
1.21 df.cov()
协方差矩阵
1.22 df.sort_values()
bank.sort_values(by=['job','age'])
2.分组 groupby（）
2.1 按列分组
2.1.1依据单个列名’key1’进行为分组
import pandas as pd
import numpy as np
df = pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})  
group1 = df.groupby('key1') 
[x for x in group1]
其中，group1是一个中间分组变量，为GroupBy类型；

推导式[x for x in group1]用于显示分组内容
2.2 groupby与 统计算法运用 sum() count()
group1.sum() #按照key1的key,相加value的值
data1   data2
a   2.217383    -1.276316
b   -0.930265   0.205291
group2.count() #统计（key1,key2)出现的次数
data1   data2
key1    key2        
a   one 2   2
two 1   1
b   one 1   1
two 1   1
2.3 groupby与agg（）连用
agg(func)可对分组后的某一列或者多个列的数据应用func函数，也可推广到同时作用于多个列和多个函数上。
group1['data1'].agg('mean')   #对分组后的’data1’列求均值
a    0.739128
b   -0.465133
Name: data1, dtype: float64
group1['data1','data2'].agg(['mean','sum']) #对分组后的’data1’和’data2’列分别求均值、求和
data1   data2
mean    sum mean    sum
a   0.739128    2.217383    -0.425439   -1.276316
b   -0.465133   -0.930265   0.102646    0.205291
当一个dataframe groupby之后，是没有办法直接print出来的。

要用一个循环语句做出来
[x for x in df]
这个出来可以出来，但是视觉效果不是很好

另一种办法：
for key, item in df:
    print (df.get_group(key), "\n\n")
这个视觉效果更好
2.4 groupby 与apply()连用
apply()应用于dataframe的各个列
df.groupby('key1').apply(np.mean) 
df.groupby(['key1','key2']).apply(np.mean) 
问题：apply与agg 区别在于： apply是对dataframe应用，agg是对分组后的应用？？？
3.数据图
3.1 数据图的打开方式
4.数据合并
4.1merge（）合并数据 通过键拼接列
pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来

语法如下：
merge(left, right, how='inner', on=None, left_on=None, right_on=None,
      left_index=False, right_index=False, sort=True,
      suffixes=('_x', '_y'), copy=True, indicator=False)
参数说明：

left与right：两个不同的DataFrame

how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner

on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键

left_on：左则DataFrame中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用。

right_on：右则DataFrame中用作 连接键的列名

left_index：使用左则DataFrame中的行索引做为连接键

right_index：使用右则DataFrame中的行索引做为连接键

sort：默认为True，将合并的数据进行排序。在大多数情况下设置为False可以提高性能

suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为('_x','_y')

copy：默认为True,总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能

indicator：在 0.17.0中还增加了一个显示合并数据中来源情况；如只来自己于左边(left_only)、两者(both)
该函数的典型应用场景是：针对同一个主键存在两张包含不同字段的表，现在我们想把他们整合到一张表里。在此典型情况下，结果集的行数并没有增加，列数则为两个元数据的列数和减去连接键的数量。
1.on=None 用于显示指定列名（键名），如果该列在两个对象上的列名不同，则可以通过 left_on=None, right_on=None 来分别指定。或者想直接使用行索引作为连接键的话，就将 left_index=False, right_index=False 设为 True。

2.how='inner' 参数指的是当左右两个对象中存在不重合的键时，取结果的方式：inner 代表交集；outer 代表并集；left 和 right 分别为取一边。

3.suffixes=('_x','_y') 指的是当左右对象中存在除连接键外的同名列时，结果集中的区分方式，可以各加一个小尾巴。

对于多对多连接，结果采用的是行的笛卡尔积。
df1=pd.DataFrame({'key':['a','b','b'],'data1':range(3)})
df2=pd.DataFrame({'key':['a','b','c'],'data2':range(3)})
pd.merge(df1,df2)   #没有指定连接键，默认用重叠列名，没有指定连接方式
    key data1   data2
0   a   0   0
1   b   1   1
2   b   2   1
pd.merge(df2,df1,how='left')    #通过how，指定连接方式
    key data2   data1
0   a   0   0.0
1   b   1   1.0
2   b   1   2.0
3   c   2   NaN
eg3: 多键连接时
right=pd.DataFrame({'key1':['foo','foo','bar','bar'],
    ...:     'key2':['one','one','one','two'],
    ...:     'lval':[4,5,6,7]})
left=pd.DataFrame({'key1':['foo','foo','bar'],
    ...:     'key2':['one','two','one'],
    ...:     'lval':[1,2,3]})
right=pd.DataFrame({'key1':['foo','foo','bar','bar'],
    ...:     'key2':['one','one','one','two'],
    ...:     'lval':[4,5,6,7]})
pd.merge(left,right,on=['key1','key2'],how='outer')  #传出数组
    key1    key2    lval_x  lval_y
0   foo one 1.0 4.0
1   foo one 1.0 5.0
2   foo two 2.0 NaN
3   bar one 3.0 6.0
4   bar two NaN 7.0
4.2 通过concat（）可以沿着一条轴将多个对象堆叠到一起
concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。与数据库不同的时concat不会去重，要达到去重的效果可以使用drop_duplicates方法
 concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
           keys=None, levels=None, names=None, verify_integrity=False, copy=True)
在默认的 axis=0 情况下，pd.concat([obj1,obj2]) 函数的效果与 obj1.append(obj2) 是相同的；

而在 axis=1 的情况下，pd.concat([df1,df2],axis=1) 的效果与 pd.merge(df1,df2,left_index=True,right_index=True,how='outer') 是相同的。
concat 一些特点：
1.作用于Series时，如果在axis=0时，类似union。axis=1 时，组成一个DataFrame，索引是union后的，列是类似join后的结果。

2.通过参数join_axes=[] 指定自定义索引。

3.通过参数keys=[] 创建层次化索引

4.通过参数ignore_index=True 重建索引。
df1=pd.DataFrame(np.random.randn(3,4),columns=['a','b','c','d'])
df2=pd.DataFrame(np.random.randn(2,3),columns=['b','d','a'])
pd.concat([df1,df2],ignore_index=True)
a   b   c   d
0   -0.090280   -0.632174   -1.771575   0.537401
1   0.238462    0.835425    0.250523    -2.118311
2   -0.724603   0.633178    1.014699    1.659224
3   -0.911855   -0.457355   NaN -0.595535
4   0.856938    -0.018557   NaN -0.060267
5.数据类型转换
Pandas支持的数据类型最为丰富，在某种情形下Numpy的数据类型可以和Pandas的数据类型相互转化，毕竟Pandas库是在Numpy的基础之上开发的的。
5.1 用.astype()进行转换
df[[column]] = df[[column]].astype(type)
type:int;float
5.2 用自定义函数进行转换
5.2.1 用def()函数转换
5.2.2 用lambda()进行转换
chipo.item_price.dtype
dollarizer = lambda x: float(x[1:-1])
chipo.item_price = chipo.item_price.apply(dollarizer)
chipo.item_price.dtype
pandas练习中的第二个例子，要求用lambda进行转换成float
6.pd.Series.nunique（）
在分析数据时，很多时候用户想要查看特定列中的唯一值。Pandas nunique() 用于获取唯一值的统计次数。
使用 &（且） 和 |（或） 时每个条件都要用小括号括起来。
7.2 isin()
如果要选择某列等于多个数值或者字符串时，要用到.isin()， 我们把df修改了一下（isin()括号里面应该是个list）
7.3 .str.contains()
reference:

https://www.jianshu.com/p/f773b4b82c66

https://blog.csdn.net/u013402321/article/details/79000996

https://blog.csdn.net/zutsoft/article/details/51498026

https://blog.csdn.net/A632189007/article/details/76176985

python 利用pandas进行数据分析

1.统计分析入门：经常用到的函数

删除值的处理

1.1 pd.isnull(df)

1.2 df.fillna()

1.2.1 直接填充

1.2.2 采用前项填充或后向填充

1.2.3使用常量填充

1.2.4 使用均值或者中位数填充

1.3 df.dropna（）

1.4 df.mean()

1.5 .value_counts()

1.6 df.count()

1.7 df.min()

1.8 df.max()

1.9 df.idxmin()

1.10 df.idmax()

1.11 df.quantile(0.1)

1.12 df.sum（）

1.13 df.median()

1.14 df.mode()

1.15 df.var()

1.16 df.std()

1.17 df.mad()

1.18 df.skew()

1.19 df.kurt()

1.20 df.corr()

1.21 df.cov()

1.22 df.sort_values()

2.分组 groupby（）

2.1 按列分组

2.1.1依据单个列名’key1’进行为分组

2.2 groupby与 统计算法运用 sum() count()

2.3 groupby与agg（）连用

2.4 groupby 与apply()连用

3.数据图

3.1 数据图的打开方式

4.数据合并

4.1merge（）合并数据 通过键拼接列

4.2 通过concat（）可以沿着一条轴将多个对象堆叠到一起

5.数据类型转换

5.1 用.astype()进行转换

5.2 用自定义函数进行转换

5.2.1 用def()函数转换

5.2.2 用lambda()进行转换

6.pd.Series.nunique（）

7.2 isin()

7.3 .str.contains()

2.2 groupby与统计算法运用 sum() count()

4.1merge（）合并数据通过键拼接列