Pandas 多进程处理数据，速度快了不少！

前言

python 有自己的多进包 multiprocessing 去实现并行计算，但在 pandas 处理数据中，使用 multiprocessing 并不好使，只听见风扇转啊转，就不见运行完毕。

为了提高一点数据清洗的速度，找到一个 pandas 多进程的方法，pandarallel 库，做了一下测试。

小数据集（先试过了 1w）可能多进程还没单进程快，因为进程开启关闭也要一点时间；于是我弄了 100w 数据来测试：

单进程

在单进程的情况下，可以看到用时 294s，接近 5min 了。

多进程

multiprocessing 多进程写法，这种写法网上一搜一大把，代码没有错，多进程任务可以执行。

例如 run_task 函数中的任务是爬虫代码时，没有什么问题，但如果是数据清洗的代码，我测试就很久都跑不出来：

接下来换成 pandas 多进程 pandarallel 的写法就可以：

可以看到改写后时间用时 154s，2min30s，比单进程快了一倍。

关于 pandarallel  可以查看文档：

https://github.com/nalepae/pandarallel/tree/v1.5.2

对应的多进程写法函数对照表，pandas 中的 apply，applymap，map 三个函数的区别，写对应的代码：