微信号:shushuojun

介绍:数据分析师之家.旨在为数据人提供一个学习、分享、互帮互助的家园.

3行代码实现 Python 并行处理,速度提高6倍!

2018-10-11 07:50 数说工作室


来源 | towardsdatascience.com

编译 | 数说君

出品 | 数说工作室


原标题:Here’s how you can get a 2–6x speed-up on your data pre-processing with Python


最近在 Towards Data Science 上看到一篇文章,如何用 Python 进行并行处理,觉得非常有帮助,因此介绍给大家,用我的风格对文章做了编译。




数据的预处理,是机器学习非常重要的一环。尽管 Python 提供了很多让人欲罢不能的库,但数据量一大,就不是那么回事了。


面对着海量的数据,再狂拽炫酷的计算都苍白无力,每一个简单的计算都要不断告诉自己:


Python,你算的累不累,

饿不饿?

渴不渴?

会不会让我等待太久,

是否可以快一点。


一方面是低效率,另一方面呢,却是电脑资源的闲置,给你们算笔账:


现在我们做机器学习的个人电脑,大部分都是双CPU核的,有的是4核甚至6核(intel i7)。而 Python 默认情况下是用单核进行做数据处理,这就意味着,Python 处理数据时,电脑有50%的处理能力被闲置了!


还好,Python 有一个隐藏 “皮肤”,可以对核资源的利用率进行加成!这个隐藏“皮肤” 就是 concurrent.futures 模块,能够帮助我们充分利用所有CPU内核。


下面就举个例子进行说明:


在图像处理领域,我们有时候要处理海量的图像数据,比如几百万张照片进行尺寸统一化调整,然后扔到神经网络中进行训练。这时候 concurrent.futures 模块可以帮我们缩短数倍的时间。


为了便于比较,这里拿1000张照片做例子,我们需要:把这1000张照片统一调整成 600x600 的尺寸:


(1)一般的方法



上面是最常见的数据处理方法:


① 准备好要处理的原始文件,比如几百万个txt、jpg等;

② 用for循环一个一个的处理,每一个循环里面运行一次预处理,这里的预处理就是 imread() 和 resize(),即读入每一张图片,重新调整一下大小。


1000张照片的话,大概要花费多久呢?我们来跑一下时间:


time python standard_res_conversion.py


在作者的 i7-8700k 6核CPU处理器上,一共大概7.9864秒。才1000张照片,花了将近8秒,你可以闭上眼感受一下,互联网有一个「八秒定律」,即指用户访问一个网站时,如果等待网页打开的时间超过8秒,会有超过70%的用户放弃等待。



(2)快的方法


concurrent.futures 模块能够利用并行处理来帮我们加速,什么是并行处理,举个例子:


假设我们要把1000个钉子钉入一块木头里,钉一次要1秒,那么1000次就要1000秒。


但假如我们让4个人同时来钉,分摊成4个人,最快只要250秒。这就是并行处理


这1000张照片,也可以分成多个进程来处理。用 concurrent.futures 库只要多3行代码



代码中,首先把具体的处理过程打包成函数 load_and_resize(),然后用框出来的3行代码,即可实现多线程处理:


with concurrent.futures.ProcessPoolExecutor() as executor:


这句意味着你有多少CPU核心,就启动多少Python进程,这里作者的电脑是6个核,就同时启动6个项。


image_files = glob.glob(".*jpg")


读入原始数据。


executor.map(load_and_resize, image_file)


这个是实际的处理语句,第一个参数是处理函数,第二个参数是原始数据。这个语句意味着,用6个进程,来并行对 image_file 文件进行 load_and_resize 处理。


再跑一下时间:


time python fast_res_conversion.py


这次只需要1.14265秒,快了几乎6倍!



(3)例外情况


由于并行的处理是没有顺序的,因此如果你需要的结果是按照特定顺序排列的,那么这种方法不是很适用。


另外就是数据类型必须要是Python能够去pickle的,比如:


  • None, True, 及 False

  • 整数,浮点数,复数

  • 字符串,字节,字节数组

  • 仅包含可选对象的元组,列表,集合和词典

  • 在模块的顶层定义的函数(用 def 定义,而不是lambda)

  • 在模块顶层定义的内置函数

  • 在模块顶层定义的类

  • 类的实例,这些类的__dict__或调用__getstate __()的结果是可选择的





BAT招聘:

蚂蚁金服招人啦!| Hey bro, 这份工作太skr




相关阅读:


从「获取数据」到「自动下单」 | 《数字货币量化投资课程》培训


量化投资之资本资产定价模型(CAPM)


class 类—老司机的必修课 | 统计师的Python日记 第11课


【争鸣!西方经济学流派图】


【文本处理系列】

1. 了解文本分析 | 余弦相似度思想

2. 尝试找出相似文本 | 词频与余弦相似度

3. 简化文本 | TF-IDF

4. 文本相似的其他衡量方法 | 常用距离/相似度 一览

5. 大规模文本处理(1) | 哈希函数

6. 大规模文本处理(2)| 海量文本用 Simhash, 2小时变4秒!


后台回复 SASRE 看SAS正则表达式系列;回复 SVM 看SVM系列。




虚拟小组


参加→数据分析合作小组,自由工作,随时组合,目前已经为38位项目主找到了对应的技能主。

 
数说工作室 更多文章 教你如何在放满假的情况下,还能比别人多出7天工作时间! 支付宝有多安全?看 ATEC 大会上这项技术就明白了 海量文本用 Simhash, 2小时变4秒! | 文本分析:大规模文本处理(2) Hey bro, 这份工作太skr | 蚂蚁金服招聘 【温故】P值之死
猜您喜欢 必须掌握的电脑故障检测方法!你都知道吗? 谁都有被卖掉的一天:2017年科技行业十大交易盘点 国内第一本《Vue.js权威指南》来啦,来自滴滴出行-公共前端团队,作者签名版限量包邮 50 本 pika导致redis客户端使用pipeline卡死的问题排查 给求职者的面试心得