自动扩容真香!再也不怕你们给我爬挂了

语言: CN / TW / HK

这是「进击的Coder」的第  520  篇技术分享

作者:崔庆才

最近大家应该陆陆续续收到《Python3网络爬虫开发实战(第二版)》的书了。

然而,当大家开始学习的时候,我的挑战就来了!

因为书里面所有的案例都是基于我做的案例平台 https://scrape.center/ 的,比如说, https://spa1.scrape.center/ 这个网站就是一个无反爬的服务端渲染的网站,如图所示:

为了确保大家学习的过程中不会遇到什么问题,我必须要保证的是这个网站一定要能稳定正常运行。

这个挑战其实还是蛮大的。

毕竟,某乎之前不经常性地崩掉吗?

而且,我这个网站它也有着自己特殊的定位,它就是让大家来爬的。也就是说,某个时刻,大家的爬虫运行起来了,我的这个网站瞬间需要承受的就是上百上千甚至上万的并发量,我是完全不知道你到底是起了个什么进程来爬我的网站的。

假如说你搞了个 aiohttp 瞬间给我来一个几千并发,那这个还是很难顶的。

那有办法顶吗?

其实还是有办法的。

我这些案例是基于 Vue + Django 开发的,如果说我部署的时候采用某种比较传统的部署方式,比如说在某个机器上装个 Python 环境,然后使用 uwsgi、Nginx 来把服务运行起来,小的并发没啥问题,但真的并发量上来了,真的是扛不住的。

主要因为什么?因为这种传统的部署方式没法在短时间内完成扩容。

有什么好的解决办法吗?

现在这个时代,Kubernetes 已经大行其道。里面有很多优秀的设计理念和强大的功能,使得服务的部署、扩容等等操作变得非常简单。

所以,我当时制作这个案例平台的时候也是选用了 Kubernetes + Docker 来部署和维护,Kubernetes 是直接使用了腾讯云上的容器服务(TKE),因此我也无需操心一些集群本身的创建、维护等工作,同时这个容器服务还提供了相对齐全的监控、报警等功能,所以一旦出现了什么问题,我就能立马收到告警消息。

现在一共两台机器,每一台是 2 核  CPU、8 G 内存、200M 带宽,如图所示:

然后我建立了一个 Kubernetes 的 Namespace,叫做 scrape,然后把一个个案例打包成 Docker 镜像跑起来。

有些案例是前后端分离的,那可能就包含两个镜像,比如 spa1-backend 和 spa1-frontend,就分别代表 https://spa1.scrape.center/ 网站的前端部分和后端部分,运行起来之后再配置好 Ingress 就好了。

那我怎么实现自动扩容呢?

其实 Kubernetes 里面也自带了自动扩容的功能,叫做 HorizontalPodAutoscaler,利用它我们可以根据一些指标来配置自动扩容,比如说当内存使用率超过 80% 的时候,那就开始扩容,低于 80% 的时候就自动缩容,然后指定一个最小和最大的 Pod 数量。

配置类似如下:

spec:
maxReplicas: 15
metrics:
- pods:
metricName: k8s_pod_rate_mem_usage_limit
targetAverageValue: "80"
type: Pods
minReplicas: 1
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: spa1-backend

比如这里我就配置了如果内存用量超过 Limit 值的 80% 的时候,那就开始扩容,最大扩到 15 个 Pod,最小是 1 个 Pod,关联的资源就是 spa1-backend,即 https://spa1.scrape.center/ 后端的 API 服务。

当然腾讯云还有更加方便的图形化配置界面,使用非常方便:

刚才我就尝试了下,当并发量上来的时候,内存占用率就上来了,然后接着 Kubernetes 就会给我自动增加一个 Pod,就在很短的时间内完成了扩容。

这样,如果这个网站的并发量上来了,这个网站背后的 Pod 就会自动完成扩容,以此来应对更高的并发量,如果并发量降下来了,Pod 的量就会自动缩容。

下面这张图是这个网站在被高并发爬取和停止爬取后的 Pod 数量变化:

这是时间倒序排序的,可以看到一开始 Pod 的数量从 6 到了 9,然后后面监测到指标(内存占用)降下来了,然后 Pod 数量就又降下来了。

有了这个的支持,我对这个网站的信息更足了。

当然除了配置自动扩容,我还有一些其他的方法来支持更高的并发和更快的加载速度,比如说 CDN、Cache、虚拟节点等等,这里就暂时不展开讲了,准备双十二开个直播专门讲讲,敬请期待。

欢迎大家前来爬取和测试哈,大家也可以帮忙测测看看能承受多大的并发量,如果感觉还是不太行,请留言与我联系,我会努力把它变得更加高可用的,谢谢~

最后再宣传下我的新书《Python3网络爬虫开发实战(第二版)》,12 月 6 日 - 8 日(没错,就是现在了!),京东搞活动,每满 100 减 50,领券满 99 减 5,到手价只需要 69.9!史无前例的低价,大家冲起来吧!

大家可以戳下面的链接直达京东~

当然上面的可能就没有签名了。

如果大家想要获得签名版的书话,可以选择加入我的星球,加入即送签名版,谢谢支持~

End

「进击的Coder」 专属学习群已正式成立,搜索 「CQCcqc4」 添加崔庆才的个人微信或者扫描下方二维码拉您入群交流学习。

看完记得关注@进击的Coder

及时收看更多好文

↓↓↓

~