微信号:PythonTZXY

介绍:每天更新,更新python相关的知识.希望诸君有所收获!

Pandas是数据分析中最牛逼的框架!四分钟处理数以亿计的数据!

2018-03-13 15:34 Python学习交流

  • 硬件环境

    CPU:3.5 GHz Intel Core i7

    内存:32 GB HDDR 3 1600 MHz

    硬盘:3 TB Fusion Drive

  • 数据分析工具

    Python:2.7.6

    Pandas:0.15.0

    IPython notebook:2.0.0

源数据如下表所示:


Table Size Desc
ServiceLogs 98,706,832 rows x 14 columns 8.77 GB 交易日志数据,每个交易会话可以有多条交易
ServiceCodes 286 rows × 8 columns 20 KB 交易分类的字典表

1百万条 1千万条 1亿条
ServiceLogs 1 s 17 s 263 s

下面是统计数据,Read Time是数据读取时间,Total Time是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。





Chunk Size Read Time (s) Total Time (s) Performance
100,000 224.418173 261.358521
200,000 232.076794 256.674154
1,000,000 213.128481 234.934142 √ √
2,000,000 208.410618 230.006299 √ √ √
5,000,000 209.460829 230.939319 √ √ √
10,000,000 207.082081 228.135672 √ √ √ √
20,000,000 209.628596 230.775713 √ √ √
50,000,000 222.910643 242.405967
100,000,000 263.574246 263.574246

数据清洗

Pandas提供了 DataFrame.describe 方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

df.dropna(axis=1, how='all')

共移除了14列中的6列,时间也只消耗了85.9秒。

接下来是处理剩余行中的空值,经过测试,在 DataFrame.replace() 中使用空字符串,要比默认的空值NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万 x 6列也只省下了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。

数据处理

使用 DataFrame.dtypes 可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间。DataFrame.astype() 方法可对整个DataFrame或某一列进行数据格式转换,支持Python和NumPy的数据类型。

df['Name'] = df['Name'].astype(np.datetime64)

对数据聚合,我测试了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ,groupby 9800万行 x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。

根据透视表生成的交易/查询比例饼图:

将日志时间加入透视表并输出每天的交易/查询比例图:

除此之外,Pandas提供的DataFrame查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:

tranData = fullData[fullData['Type'] == 'Transaction']

该子表的大小为 [10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“>5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。

谢谢阅读!


 
Python学习交流 更多文章 软工系的学生居然利用Python把文本转语音!系主任跑来围观!哈哈 多线程是程序员不加班的神器!Python多线程最全总结!永不加班! 网上动态图有多污?一看吓一跳!Python爬取上万条动态图!超搞笑 如何将自己的Python程序大包?打成exe\/.app!把辅导员秀了一脸! 兼职程序员居然都能拿到25k一个月!使用Python搭建简单的服务器
猜您喜欢 三胖家的红星操作系统长的是这样的 用分布式爬虫搞点数据回来! 《Android 面试指南》来自腾讯、阿里、美团、欢聚时代、聚美优品、悦跑圈等大佬分享的心得 Android开发中,那些让你相见恨晚的方法、类或接口 C#编程命名规范