爬蟲管理平臺 Crawlab 專業版 v0.1.0 正式釋出

語言: CN / TW / HK

前言

爬蟲管理平臺旨在解決大量不同類別爬蟲難以管理的問題,能夠在一體化平臺中部署排程、監控爬蟲程式,做到高效資料抓取,讓工程師們不再被繁瑣的爬蟲管理問題所困擾,能夠將主要精力放在爬蟲開發上。分散式爬蟲管理平臺 Crawlab 就是為了解決核心問題而誕生的。自去年 3 月份釋出以來,Crawlab 受到很多開發者喜愛,如今在 Github 上已有 6.3k Stars,到目前為止使用過 Crawlab 的使用者數(不包括 Demo)已經超過 6k,而且這些數字還在不斷高速增長。Crawlab 是一個基於 Golang 的分散式爬蟲管理平臺,包括爬蟲自動部署、分散式排程、日誌監控、定時任務、資料分析、可配置爬蟲、SDK、訊息通知、Scrapy 支援、Git 同步等功能。Crawlab 具有強大的功能以及精美的前端頁面,在市面上屬於領先的爬蟲管理平臺,比基於 Scrapyd 的爬蟲管理平臺更靈活和實用。

但目前 Crawlab 也有部分不足,就是在一些企業級應用場景,例如大吞吐量資料抓取、大量日誌寫入、監控報警、整合 MySQL/Kafka/ES 等其他資料來源,效能、穩定性或功能上會有所欠缺。因此,為了解決這些問題,讓 Crawlab 更好的應用在企業級環境中,我們推出了 Crawlab 專業版(Crawlab Pro),讓工程師能夠在較高的資料吞吐量上穩定執行爬蟲程式。

專業版

Crawlab 專業版 (Crawlab Pro) 是針對專業使用者開發的。它穩定性更高,相較於社群版(開源版)功能更強大。專業版在底層特別是資料庫層面做了大量的優化,保證爬蟲任務能夠穩定而高效的執行並抓取資料。此外,專業版相較於社群版有很多強大的專屬功能,例如節點、資料庫監控功能,SQL 資料庫 (MySQL、Postgres) 整合等等。近期我們將上線 Kafka、ElasticSearch 整合的功能,以幫助 Crawlab 使用者更好的整合自己的資料系統 (例如資料倉庫)。在未來,我們將支援更加高階的可配置爬蟲。

效能監控

效能監控是 Crawlab 專業版的專屬功能,讓使用者能夠在不用額外監控軟體的情況下輕鬆監控節點和資料庫效能指標。你要知道,部署安裝一套 Zabbix、StatsD、Prometheus + Grafana 等專用監控解決方案的時間成本和維護成本可不小。有了專業版,您可以隨時掌握自己節點和資料庫的 CPU、記憶體、磁碟、網路等效能情況,在必要時進行擴容或合理分配爬蟲資源。

專業版的主頁中增加了效能監控的儀表盤,可以實時檢視到 MongoDB、Redis、節點的效能指標。

此外,您還可以在 “監控” 頁面檢視效能指標的時間序列圖表,能夠一目瞭然檢視歷史性能資料,快速識別效能瓶頸。

您不需要做任何其他操作就可以讓監控功能工作起來,您需要做的只是將 Crawlab 專業版節點執行起來,部署步驟與社群版一模一樣,對於已經掌握的開發者來說非常簡單,沒有任何學習成本。對於第一次接觸 Crawlab 的朋友來說,只需要學習一下 Docker 的安裝和操作。有了 Crawlab 專業版之後,您幾乎不需要花時間和精力安裝其他複雜的監控軟體了。

更多資料來源支援

有不少使用者反饋說他們的儲存資料庫不是 MongoDB,而是 MySQL、Postgres、SQL Server 這樣的傳統關係型資料庫。因此,在專業版中,我們增加了對這些關係型資料庫的支援,讓使用者能夠直接利用 SDK 將資料儲存在 MySQL、Postgres、SQL Server 中。

Kafka 支援(即將上線)

很多使用者是將資料通過 Kafka 上報資料倉庫儲存的。因此,對於這部分使用者來說,我們正在開發對 Kafka 的 SDK 支援。

其他功能建議

我們開發 Crawlab 專業版主要是為了讓企業級要求的使用者使用起來更方便,希望能夠獲得真實而重要的使用者反饋。因此,如果您有什麼好的想法和建議,請隨時聯絡我們,可以加微信 tikazyq1 一起討論。

技術服務

在與 Crawlab 使用者溝通的過程中,我們發現不少使用者希望能夠快速上手 Crawlab,但是又苦於對 Docker 或 Crawlab 部署方式不瞭解,很多時候時間也比較緊張經不起折騰,但是使用者也很想使用 Crawlab。為了解決這個問題,我們推出了專業的技術支援服務,以幫助希望在生產環境使用 Crawlab、或希望快速體驗 Crawlab 的企業或個人使用者。

同時,對於專業版使用者,我們提供免費的技術諮詢服務,讓使用者們能夠無障礙使用爬蟲管理平臺 Crawlab,及時對使用過程中出現的問題進行答疑解惑。

什麼是技術支援服務

技術支援服務是一種專業服務,是幫助不希望折騰 Crawlab 的使用者快速解決問題的一種有償服務。技術支援服務通常是由 Crawlab 專業人員,通常是開發組工程師,提供遠端協助,例如幫助部署 Crawlab、新增 Crawlab 節點、安裝爬蟲依賴等等。

什麼是技術諮詢服務

技術諮詢服務是針對專業版使用者的免費諮詢服務,是開發組幫助專業版使用者答疑解惑的技術服務。諮詢服務主要是針對使用者在部署使用 Crawlab 過程中的一些答疑,配合技術文件,讓使用者能更快的自行解決自己遇到的問題。

為什麼需要技術支援服務和技術諮詢服務

根據調查,有不少爬蟲開發人員並不瞭解部署 Crawlab 或者在生產環境中使用 Crawlab 的相關技術,例如基礎的 Docker、Docker Compose、MongoDB、Redis,或者高階一點的 Kubernetes(K8S)、資料庫遷移等等。我們推出技術支援服務和技術諮詢服務,是為了讓大家更加輕鬆的使用 Crawlab 來管理爬蟲,將主要精力放在開發和維護爬蟲,而不是將大量的時間和精力消耗在平臺維護上面。對於技術支援服務,由於涉及到人工成本,我們將其作為有償的技術服務,後面會詳細介紹技術支援服務的價格。

技術支援服務內容

技術支援服務的內容包含但並不限於以下內容:

  • 部署 Crawlab 服務
  • 新增 Crawlab 節點
  • 升級 Crawlab
  • 安裝爬蟲依賴
  • 部署遷移資料庫
  • 備份資料
  • 安裝維護K8S叢集
  • 優化服務架構
  • 爬蟲開發技術指導
  • 解決疑難雜症

如何購買

我們為使用者提供了兩個購買選項:專業版產品 (不含技術支援)和專業版產品 (含技術支援)。詳情如下:

如果您需要購買專業版,請掃描以下二維碼,或者加 tikazyq1 微信,並註明 “crawlab-pro”,我們將向您提供購買專業版相關的詳細資訊。您需要告訴我們您希望通過何種方式付款,我們目前支援微信支付(對公或對私)、支付寶(對公或對私)、銀行對公轉賬。

參考