基于pandas和seaborn进行数据可视化以及相关性分析

本博客学习pandas数据结构和seabon，以kaggle数据集为例，完成数据可视化以及相关性分析。数据总共12列，其中Survived列为target属性（y属性）。

加载原始数据

train_data = pd.read_csv('../datas/train.csv') # train set print train_data.head()

可视化相关性矩阵

计算各个属性的线性相关性，颜色越深相关性越大，并将与Survived相关性排序打印。

hitmapTemp = train_data[['Pclass','Age','SibSp','Parch','Fare','Survived']] hitmapData = hitmapTemp.corr() f, ax = plt.subplots(figsize=(12, 12)) sns.heatmap(hitmapData, vmax=1, square=True) plt.savefig('./figs/Correlation-Matrix.png') hitmap_dict = hitmapData['Survived'].to_dict() del hitmap_dict['Survived'] print("List the numerical features decendingly by their correlation with Sale Price:\n") for ele in sorted(hitmap_dict.items(), key = lambda x: -abs(x[1])):

Pclass : -0.338481035961 Fare : 0.257306522385 Parch : 0.0816294070835 Age : -0.0772210945722 SibSp : -0.0353224988857

具体分析Pclass特征

统计Pclass特征每个值的个数 print train_data['Pclass'].value_counts()

3 491 1 216 2 184 Name: Pclass, dtype: int64

统计Pclass属性与Survived属性之间关系 print train_data[['Pclass', 'Survived']].groupby(['Pclass'], as_index=False).mean().sort_values(by='Survived', ascending=False)

Pclass Survived 0 1 0.629630 1 2 0.472826 2 3 0.242363

Pclass- Age 画盒图 plt.figure(figsize = (12, 6)) sns.boxplot(x = 'Pclass', y = 'Age', data = train_data) xt = plt.xticks(rotation=45) plt.show()

从图中我们可以看出级别越高，年纪也高

Age, Surviverd 画回归图 plt.figure(figsize = (12, 6)) sns.regplot(x = 'Age', y = 'Survived', data = train_data) plt.title('Age') plt.show()

从图片我们大概可以看出，Age与Survived成反比例关系，也就是年纪越大存活概率越小。

(Class，Sex) Vs Age矩阵条形分布图 # (Class，Sex) Vs Age 分布图 plt.figure(figsize = (12, 6)) grid = sns.FacetGrid(train_data, row='Pclass', col='Sex', size=2.2, aspect=1.6) grid.map(plt.hist, 'Age', bins=10) # 将Age分为10段的bins grid.add_legend() plt.show()

Class Vs Age 矩阵分布图（指行或者列） plt.figure(figsize = (12, 6)) grid = sns.FacetGrid(train_data, col='Pclass', size=2.2, aspect=1.6) grid.map(plt.hist, 'Age', bins=10) # 将Age分为10段的bins grid.add_legend() plt.show()

Class Vs Age Survived 矩阵散点图 plt.figure(figsize = (12, 6)) grid = sns.FacetGrid(train_data, col='Pclass', size=2.2, aspect=1.6) #确定几个图形的分布 grid.map(plt.scatter, 'Age','Survived') grid.add_legend() plt.show()

总结

pandas数据结构可以方便实现数据预处理，包括基本元素统计、均值、缺失值以及过滤，加上seaborn和matplotlib实现数据相关性分析以及特征可视化分析。