Pandas 多进程处理数据,速度快了不少!

语言: CN / TW / HK

前言

python 有自己的多进包 multiprocessing 去实现并行计算,但在 pandas 处理数据中,使用 multiprocessing 并不好使,只听见风扇转啊转,就不见运行完毕。

为了提高一点数据清洗的速度,找到一个 pandas 多进程的方法,pandarallel 库,做了一下测试。

小数据集(先试过了 1w)可能多进程还没单进程快,因为进程开启关闭也要一点时间;于是我弄了 100w 数据来测试:

利用以上数据做以下处理:

  1. 剔除 titile,comment 两列文本中的表情符号

  2. title,comment 两列做一个分词处理,覆盖原来的列

单进程

在单进程的情况下,可以看到用时 294s,接近 5min 了。

多进程

multiprocessing 多进程写法,这种写法网上一搜一大把,代码没有错,多进程任务可以执行。

例如 run_task 函数中的任务是爬虫代码时,没有什么问题,但如果是数据清洗的代码,我测试就很久都跑不出来:

接下来换成 pandas 多进程 pandarallel 的写法就可以:

可以看到改写后时间用时 154s,2min30s,比单进程快了一倍。

关于 pandarallel  可以查看文档:

https://github.com/nalepae/pandarallel/tree/v1.5.2

对应的多进程写法函数对照表,pandas 中的 apply,applymap,map 三个函数的区别,写对应的代码:

未闻 Code·知识星球开放啦!

一对一答疑爬虫相关问题

职业生涯咨询

面试经验分享

每周直播分享

......

未闻 Code·知识星球期待与你相见~

一二线大厂在职员工

十多年码龄的编程老鸟

国内外高校在读学生

中小学刚刚入门的新人

“未闻 Code技术交流群” 等你来!

入群方式:添加微信“mekingname”,备注“粉丝群”(谢绝广告党,非诚勿扰!)