data1
=
pd
.
Series
(
np
.
random
.
rand
(
50
)
*
100
)
.
sort_values
(
)
data2
=
pd
.
Series
(
np
.
random
.
rand
(
50
)
*
50
)
.
sort_values
(
)
data3
=
pd
.
Series
(
np
.
random
.
rand
(
50
)
*
500
)
.
sort_values
(
ascending
=
False
)
fig
=
plt
.
figure
(
figsize
=
(
10
,
4
)
)
ax1
=
fig
.
add_subplot
(
1
,
2
,
1
)
ax1
.
scatter
(
data1
,
data2
)
plt
.
grid
(
文章目录1.图示初判两个变量之间的相关性（散点图）多变量之间的相关性（散点图矩阵）2.Pearson相关系数3.Spearman相关系数分析连续变量之间的线性相关程度的强弱介绍如下几种方法：图示初判Pearson相关系数（皮尔逊相关系数）Sperman秩相关系数（斯皮尔曼相关系数）1.图示初判拿到一组数据，可以先绘制散点图查看各数据之间的相关性：两个变量之间的相关性（散点图）...
2022/3/6 4.3
pandas
读写文件
In [ ]: # 引入相关模块
import numpy as np #
pandas
和numpy 常常结合在一起使用，导入numpy库
import
pandas
as pd # 导入
pandas
库
print (pd.__version__) # 打印
pandas
版本信息
4.3
pandas
读写文件
pandas
作为一个强大的
数据
处理包，支持比较多的
数据
处理格式，下面是一些常见格式
数据
的读取
方法
常见的文件类型：.csv ，.txt ，.xlsx
.csv文件，一行即为
数据
表的一行。生成
数据
表字段用逗号隔开(英文的逗号！)。csv文件用记事本和excel都能打开，用记事本打开显示逗号，
用excel打开，没有逗号了，逗号都用来分列了。
.txt文件和.csv文件没有太大差别，.txt文件也可用逗号进行分割，直接将.txt文件改成.csv文件即可，.txt文件也可以用空格分割
.xlsx文件，即excel保存的文件格式。
4.3.1 读写文本文件
file:///D:/
Python
39/envs/pydata/教材配套代码/模块四
import seaborn as sns
corr
mat = data_train.
corr
() ##
corr
mat是相关性矩阵
f, ax = plt.subplots(figsize=(20, 9))##绘制画布
sns.heatmap(
corr
mat, vmax=0.8, square=True) ##得到各特征图的热...
使用
pandas
中
的皮尔逊，肯德尔和斯皮尔曼做特征
相关性分析
三种系数的具体试用范围可参考： https://blog.csdn.net/qrdsy_lrf/article/details/79227969
import
pandas
as pd
from settings import colss
def
corr
_matrix(df):
返回与标签列有关的相关性矩阵
:param dataset_name:
:param label:
:return
相关分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个因素的的相关密切程度，相关性的元素之间需要存在一定的联系或者概率才可以进行
相关性分析
。
判断
数据
之间的关系，常用的
方法
有两种：散点图和相关关系。
散点图：是判断
数据
是否具有相关关系最直观的
方法
。
相关系数是反映两个变量之间线性相关程度的指标（相关系数的平方称为判定系数）
常用的衡量变量间相关性的
方法
主要有三种：
Pearson相关系数：即皮尔逊相关系数，用于衡量两个连续性随机变量间的相关系数。
Spearman相关系数：
计算DataFrame列之间的相关系数
a = np.arange(1,10).reshape(3,3)
data = DataFrame(a,index=["a","b","c"],columns=["one","two","three"])
print(data)
one two three
a 1 2 3...
DataFrame.
corr
(method=‘pearson’, min_periods=1)
计算列与列之间的相关系数，返回相关系数矩阵
method : {‘pearson’, ‘kendall’, ‘spearman’}
pearson : standard
corr
elation coefficient
kendall : Kendall Tau
corr
elation coeffici...
本文的主要内容是基于
中
国大学mooc（慕课）
中
的“
Python
数据分析
与可视化”课程进行整理和总结。
两个事物，表示成X和Y，如何判断他们之间的相关性？
X增大，Y也增大，两个变量正相关；
X增大，Y减小，两个变量负相关；
X增大，Y没有明显变化，两个变量不相关；
度量两个
数据
的相关性有以下
方法
：
2022/3/6 4.1
pandas
数据
结构
pandas
简介
Pandas
是基于NumPy 的一种强大的分析结构化
数据
的工具，可以从各种文件格式比如CSV、Excel、JSON、SQL导入
数据
。
Pandas
提供了大量能使
我们快速便捷处理
数据
的函数和
方法
，可以对各种
数据
进行运算操作，比如归并、再成形、选择，还有
数据
清洗和
数据
加工特征。被广泛应用在学
术、金融、
统计学
等各个
数据分析
领域。熟练并掌握
pandas
常规用法是正确构建机器学习模型的第一步。
Pandas
纳入了标准的
数据
模型，提供了高效操作大型
数据
集所需的工具。
pandas
提供了大量能使我们快速便捷处理
数据
的函数和
方法
。
在机器学习任务
中
，首先需要对
数据
进行清洗和预处理等工作，
pandas
库大大简化了工作量
导入
pandas
库
导入
pandas
库和查询相应的版本信息：
In [ ]: # 引入相关模块
import numpy as np #
pandas
和numpy 常常结合在一起使用，导入numpy库
import
pandas
as pd # 导入
pandas
库
print (pd.__version__) # 打
GET
方法
发送的
数据
不受保护，因为
数据
在 URL 栏
中
公开，这增加了漏洞和黑客攻击的风险。
POST
方法
发送的
数据
是安全的，因为
数据
未在 URL 栏
中
公开，还可以在其
中
使用多种编码技术，这使其具有弹性。
3、加入书签
中
GET 查询的结果可以加入书签
中
，因为它以 URL 的形式存在
数据
相关性分析
中
，经常用到data.
corr
()函数，data.
corr
()表示了data
中
的两个变量之间的相关性，取值范围为[-1,1],取值接近-1，表示反相关，类似反比例函数，取值接近1，表正相关。
首先创建
数据
import seaborn as sns
import numpy as np
import
pandas
as pd
data = pd.DataFrame([[1,6,7,5,1],[2,10,8,3,4],[3,4,0,10,2]],columns=['val1','val2','
# 散点图矩阵初判多变量间关系
data = pd.DataFrame(np.random.randn(200,4)*100, columns = ['A','B','C','D'])
pd.plotting.scatter_matrix...
pandas
是常用的
Python
数据
处理库之一，其
中
的
corr
函数可以用于计算DataFrame或Series之间的相关性。
相关性分析
是一种常用的统计分析
方法
，用于研究不同变量之间的关系。
pandas
的
corr
函数可以计算两个变量之间的Pearson相关系数、Spearman秩相关系数、Kendall Tau相关系数等，其
中
最常用的是Pearson相关系数。Pearson相关系数是一种度量两个变量之间线性关系的测量指标，取值范围为-1到1之间，当相关系数为1时，表示两个变量之间完全正相关；当相关系数为-1时，表示两个变量之间完全负相关；当相关系数为0时，表示两个变量之间不存在线性关系。
在使用
pandas
的
corr
函数进行
相关性分析
时，需要注意一些问题。首先，要注意
数据
的缺失值处理，只有在两个变量之间的
数据
均不缺失时，才能够计算相关系数；其次，需要注意样本的选择，相关系数的取值会受到样本大小的影响；最后，要考虑多重比较问题，当进行大量的
相关性分析
时，需要对显著性水平进行相应的调整。
综上所述，
pandas
的
corr
函数可以用于计算两个变量之间的相关性，但在使用时需要考虑上述问题。此外，还可以使用其他统计软件如SPSS、SAS等进行更加深入的
相关性分析
。
