grpool goroutine池详解 | 协程管理
highlight: a11y-dark theme: smartblue
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第9天,点击查看活动详情
前言
goroutine协程非常轻量级,这也是为什么go支持高并发,但是goroutine频繁创建销毁对GC的压力比较大。
grpool的作用就是复用goroutine,减少频繁创建销毁的性能消耗。
名词概念
Pool: goroutine池,用于管理若干可复用的goroutine协程资源
Worker: 池对象中参与任务执行的goroutine,一个worker可以执行若干个job,直到队列中再无等待的job
Job:添加到池对象的任务队列中等待执行的任务,是一个func()方法,一个job同时只能被一个worker获取并执行。
使用示例
使用默认的协程池,限制100个协程执行1000个任务
pool.Size() 获得当前工作的协程数量
pool.Jobs() 获得当前池中待处理的任务数量
```go package main
import ( "fmt" "github.com/gogf/gf/os/grpool" "github.com/gogf/gf/os/gtimer" "sync" "time" )
func main() { pool := grpool.New(100)
//添加1千个任务 for i := 0; i < 1000; i++ { _ = pool.Add(job) }
fmt.Println("worker:", pool.Size()) //当前工作的协程数量 fmt.Println("jobs:", pool.Jobs()) //当前池中待处理的任务数量
gtimer.SetInterval(time.Second, func() { fmt.Println("worker:", pool.Size()) //当前工作的协程数 fmt.Println("jobs:", pool.Jobs()) //当前池中待处理的任务数 })
//阻止进程结束 select {} }
//任务方法 func job() { time.Sleep(time.Second) } ```
打印结果
是不是灰常简单~
踩坑之旅
一个简单的场景,请使用协程打印0~9。
常犯的错误
大家看下面的代码有没有问题,请预测一下打印结果。
go
wg := sync.WaitGroup{}
for i := 0; i < 9; i++ {
wg.Add(1)
go func() {
fmt.Println(i)
wg.Done()
}()
}
wg.Wait()
不用着急看答案
.
.
.
猜一下打印结果是什么
打印结果
分析原因
对于异步线程/协程来讲,函数进行异步执行注册时,该函数并未真正开始执行(注册时只在goroutine
的栈中保存了变量i
的内存地址),而一旦开始执行时函数才会去读取变量i
的值,而这个时候变量i
的值已经自增到了9
。
正确写法
go
wg := sync.WaitGroup{}
for i := 0; i < 9; i++ {
wg.Add(1)
go func(v int) {
fmt.Println(v)
wg.Done()
}(i)
}
wg.Wait()
打印结果
使用grpool
使用grpool和使用go一样,都需要把当前变量i的值赋值给一个不会改变的临时变量,在函数中使用该临时变量而不是直接使用变量i
。
错误代码
go
wg := sync.WaitGroup{}
for i := 0; i < 9; i++ {
wg.Add(1)
_ = grpool.Add(func() {
fmt.Println(i) //打印结果都是9
wg.Done()
})
}
wg.Wait()
打印结果
正确代码
go
wg := sync.WaitGroup{}
for i := 0; i < 9; i++ {
wg.Add(1)
v := i //grpoll.add() 的参数只能是不带参数的匿名函数 因此只能以设置临时变量的方式赋值
_ = grpool.Add(func() {
fmt.Println(v)
wg.Done()
})
}
wg.Wait()
打印结果
总结
通过这篇文章我们了解到:grpool的作用就是复用goroutine,减少频繁创建销毁的性能消耗。
也了解到使用协程容易犯的错误,以及用临时变量的方式来解决问题。
说句题外话:grpool的基础概念:Pool、Worke、Job 和我之前设计的派单系统简直一模一样。
最后
感谢阅读,欢迎大家三连:点赞、收藏、~~投币~~(关注)!!!
- 爆肝两千字整理《Go学习路线图》| 文末投稿送投影
- grpool goroutine池详解 | 协程管理
- GoFrame如何实现顺序性校验
- GoFrame 如何优雅的共享变量 | Context的使用
- GoFrame 错误处理的常用方法&错误码的使用
- 协同开发时巧用gitignore | 巧用中间件 避免网络请求时携带登录信息
- 【今日总结】Go本地测试 如何解耦 任务拆解&沟通
- GoFrame数据校验之校验结果 | Error接口对象
- GoFrame基于性能测试得知什么场景下使用grpool比较好
- GoFrame数据校验之校验对象
- GoFrame 如何优雅的缓存查询结果
- GoFrame gredis 如何优雅的取值和类型转换
- GoFrame gredis 硬核解析 | DoVar、Conn连接对象、自动序列化
- GoFrame gredis 配置管理 | 配置文件、配置方法的对比
- GoFrame 内存缓存之gcache
- Git 重命名远程分支 | 操作不规范,亲人两行泪。
- 最近的踩坑分享 | 技术文档和需求拆解
- GoFrame 通用类型变量gvar | 对比 interface{}
- GoFrame gtree 使用入门 | 养成读源码的好习惯
- GoFrame gset使用技巧总结 | 出栈、子集判断、序列化、遍历修改