python:multiprosessing模块的Pool()类的apply()函数和apply_async()函数的区别
参考网址
http://blog.csdn.net/weixin_37111106/article/details/85122988
1/二者的区别
apply():
阻塞主进程,非异步(子进程不是同时执行的)
它的非异步体现在:一个一个按顺序地执行子进程,
它的堵塞体现在:等到全部子进程都执行完毕后,继续执行apply()后面主进程的代码。
apply_async():
非阻塞主进程,异步。
它的非堵塞体现在:他不会等待子进程完全执行完毕, 主进程会继续执行, 他会根据系统调度来进行进程之间的切换。如果想堵塞主要进程,需要用.join()函数来堵塞主进程。
它的异步体现在:子进程之间是同时执行的。
2/apply()
```python import time import multiprocessing
def doIt(num): print("Process num is : %s" % num) time.sleep(1) print('process %s end' % num)
if name == 'main': print('mainProcess start') #记录一下开始执行的时间 start_time = time.time() #创建三个子进程 pool = multiprocessing.Pool(3) print('Child start') for i in range(3): pool.apply(doIt,[i]) print('mainProcess done time:%s s' % (time.time() - start_time))
```
结果如下所示:
从结果中我们可以看到,主进程开始执行之后, 创建的三个子进程也随即开始执行, 主进程被阻塞, 而且三个子进程是一个接一个按顺序地执行, 等到子进程全部执行完毕之后, 主进程就会继续执行, 打印出最后一句。
所以,apply()函数果然是堵塞主进,而且是非异步的。
3/apply_async()
接下来是使用apply_async(), 只需要把上面的代码使用 apply()的地方改成apply_async() 即可, 代码不再贴上
我们来看看运行结果, 可以看出来, 截图的第一句是上一个程序(也就是apply()函数)的执行消耗时间,
最后一句是使用apply_async()所消耗的时间,
在这里, 主进程没有被阻塞, 验证了apply_async()是非阻塞主进程的, 子进程没有执行, 验证了他是根据系统调度完成的, 为什么会这样呢?
原因是, 进程的切换时操作系统控制的, 我们首先运行的是主进程, 而CPU运行得又很快, 快到还没等系统调度到子线程, 主进程就已经运行完毕了, 并且退出程序. 所以子进程就没有运行了.
那么我们在使用apply_async()函数是不是就不能执行子进程呢?肯定可以啊!!!小老弟,想啥呢??
还记得join()的作用吗?他可以阻塞主进程, 等待所有子进程结束之后再运行,
join()就是告诉主进程老子要运行子进程了,你先等等。
```python import time import multiprocessing
def doIt(num): print("Process num is : %s" % num) time.sleep(1) print('process %s end' % num)
if name == 'main': print('mainProcess start') #记录一下开始执行的时间 start_time = time.time() #创建三个子进程 pool = multiprocessing.Pool(3) print('Child start') for i in range(3): pool.apply_async(doIt,[i])
pool.close()
pool.join()
print('mainProcess done time:%s s' % (time.time() - start_time))
```
结果如下所示:
我们看看加入这两句的运行结果, 我们可以看到即使是使用了非阻塞主进程的apply_async() 也能让子进程运行了, 在这里子进程按顺序交替运行了,
CPU在执行第一个子进程的时候, 还没等第一个子进程结束, 系统调度到了按顺序调度到了第二个子进程,
以此类推, 一直调度运行子进程, 一个接一个地结束子进程的运行, 最后运行主进程,
而且我们可以看到使用apply_async()的执行效力会更高,
你看一下他们各自执行结果最后一句的执行消耗时间就知道了, 这也是官方推荐我们使用apply_async()的主要原因吧
- 机器学习:sklearn中xgboost模块的XGBRegressor函数(回归)
- 机器学习:xgboost原生库接口(陈天奇) && xgboost的sklearn接口
- Linux进程管理
- go:连接redis
- go:自定义类型,结构体struct
- go:go mod tidy的作用
- python:判定文件、目录是否存在,以及创建(多层)目录
- python:multiprosessing模块的Pool()类的apply()函数和apply_async()函数的区别
- python:ThreadPoolExecutor线程池和ProcessPoolExecutor进程池
- 时间序列:ARMA
- kafka:介绍
- 机器学习:损失函数(loss function)
- 机器学习:adaboost(回归实战)
- pyenv
- pyspark:集群环境实战
- spark:local模式环境-搭建和使用
- spark:standalone(独立集群环境)--搭建和使用
- spark:yarn集群环境-搭建和使用
- AB测试 - 假设检验的两类错误
- python:多进程的几种实现方式