DevLake 加入 Apache 孵化器,開源共建 Apache 生態首個研發大資料平臺

語言: CN / TW / HK

4 月 29 日,開源研發資料平臺 DevLake 通過投票決議,正式成為 Apache 軟體基金會 (ASF) 的孵化專案。

file

進入孵化器後,Apache DevLake 將遵循 The Apache Way[1],在導師們的引導下,堅持以人為本、社群高於程式碼的理念,持續建設包容、多元、崇尚知識的社群。

Apache DevLake 主要特性

作為開源的研發資料平臺,DevLake 向軟體研發團隊提供自動化、一站式的資料收集、分析以及視覺化能力,幫助研發團隊藉助資料更好地理解開發過程,挖掘關鍵瓶頸與提效機會。

歸集 DevOps 全流程效能資料,連線資料孤島

針對 DevOps 工具鏈複雜、資料收集難的痛點,DevLake 將需求-設計-開發-測試-交付-運營全流程、不同工具的效能資料彙集於一個平臺,避免使用者重複造輪子。

這些資料可以互相關聯分析,進而更加準確、全面地刻畫研發過程。舉個例子,在瞭解專案 bug 修復的近況時,不僅可以瞭解已修復 bug 的個數,還可以瞭解這些 bug 的分佈、bug 修復相關的程式碼工作量、所佔總工作量比例等資訊。

當前 DevLake 已支援主流專案管理工具 JIRA cloud、JIRA server、TAPD,程式碼託管工具 Git、GitHub、GitLab,CI/CD 工具 Jenkins,日曆工具飛書日曆。

資料來源列表正在快速拓展中,您可以檢視 DevLake 已支援資料的詳細文件,同時非常歡迎參與貢獻新的資料來源外掛!

標準化研發資料模型和開箱即用的效能指標

研發過程資料的標準化程度低,使用者難以直接使用這些資料進一步分析;而效能指標定義與計算方法模糊,又給研發資料的應用帶來了額外的成本。

DevLake 提供了便捷的資料轉化能力,將收集來的資料清洗轉換為標準資料模型,並基於標準模型生成一系列研發效能指標,對使用者來說簡單易懂、開箱即用。一方面節省了治理資料和定義指標的成本,另一方面使效能指標更加透明,便於研發資料的應用落地。

目前 DevLake 已支援 20+常見研發效能指標,從交付效率、質量、成本、能力等不同角度來觀察(度量)研發過程。

結合使用者使用研發資料的具體場景,DevLake 基於 Grafana 搭建資料看板,支援趨勢分析、按照成員/階段下鑽等分析能力,幫助使用者快速定位研發效能提升的關鍵環節。您可以檢視預設資料看板,後續我們將在 blog 中介紹每一個數據看板及其背後的真實使用者場景。

file file

上圖為面向開源產品的版本/模組質量分析

靈活的資料來源外掛系統及資料處理框架,支援自定義

DevLake 將資料加工、關聯與轉換的底層能力開放出來,提供可拓展的資料底座。使用者可以根據實際需求,實現以下自定義:

  • 資料來源自定義:DevLake 基於 Golang plugin 系統設計了靈活的外掛系統,支援使用者獨立開發接入任意 DevOps 工具
  • 資料模型自定義:基於 dbt 外掛,支援使用者自定義資料轉換模型
  • 效能指標自定義:支援使用者基於資料模型自定義指標,或調整指標計算方式
  • 資料看板自定義:SQL 查詢,在 Grafana 中拖拽搭建資料看板

未來規劃

技術與產品方面

  • 整合更多資料來源,覆蓋整個軟體開發生命週期 (SDLC)
  • 提供更豐富的研發資料分析場景,與使用者共建 Dashboard,實現更進一步的開箱即用
  • 提升靈活性,使用者能夠根據自身業務需求,輕鬆地自定義資料模型和指標
  • 優化使用者體驗,降低安裝、配置、收集的成本,使使用者專注資料分析
  • 增強系統可伸縮性,提升大規模資料場景下的系統性能

社群建設方面

  • 組織多種多樣的社群活動,積極進行線上和線下技術佈道,吸引更多使用者、開發者和開源愛好者參與到 DevLake 的社群中來
  • 打造開放、友好的交流環境,完善和豐富 DevLake 相關內容體系,完善使用者文件和貢獻指南,降低使用者使用和參與門檻,向社群提供更及時的響應,積極與使用者互動,解決使用者問題並進一步促進專案迭代
  • 積極與其他開源專案和社群展開合作,讓更多生態合作伙伴瞭解和參與到 DevLake 社群,共建繁榮生態

file 上圖為DevLake 架構圖[2]

為什麼加入 ASF 孵化器

首先,DevLake 相信 The Apache Way 是社群成功之道,以人為本開放、社群高於程式碼等理念將幫助 DevLake 健康、持續地成長。

進入孵化後,DevLake 期待在導師們的指引下,更加深入理解 The Apache Way 並予以實踐,持續建設包容、多元、崇尚知識的社群。

其次,DevLake 和資料基建相關,與 Apache 基金會的關注點高度契合。DevLake 期待與 Apache 生態的其他大資料開源專案共同發展,共建生態。

導師介紹

  • 姜寧[3]:DevLake Champion,ASF Member,同時也是今年當選的 Apache 董事
  • 張亮[4]:SphereEx 公司創始人 & CEO,ASF Member,Apache ShardingSphere 創始人 & PMC Chair
  • 代立冬[5]:白鯨開源聯合創始人,ASF Member,Apache DolphinScheduler PMC Chair
  • 郭斯傑[6]:ASF Member, PMC Member on Apache Pulsar,StreamNative 創始人 & CEO
  • Felix Cheung[7]:ASF Member,Apache Zeppelin、Spark、SuperSet、YuniKorn、Pinot 等專案 PMC,SafeGraph 技術高階副總裁
  • Jean-Baptiste Onofré[8]:ASF Member,Karaf PMC Chair,ActiveMQ、Archiva、Aries、Beam、Brooklyn、Camel、Carbondata、Felix 等專案 PMC

導師寄語

姜寧:非常高興能夠成為 DevLake 的開源孵化領路人,幫助 DevLake 加入的 ASF 孵化器。DevLake 著力於解決軟體研發領域資料收集,以及研發瓶頸分析的痛點問題。歡迎對提升軟體研發效率感興趣的小夥伴參與到 DevLake 的使用和開發中來,一同構建繁榮發展的社群生態。

張亮:歡迎 Apache 孵化器的新成員 DevLake。它將使工程效能領域的發展更加開放和繁榮,進而推動整個領域的標準化程序。歡迎更多的貢獻者參與 ASF 社群,望 DevLake 早日畢業!

代立冬:很高興看到 DevLake 加入到 Apache 孵化器,DevLake 是一個專為開發團隊分析和提高工程生產力的平臺,歡迎廣大的開發夥伴們一起參與讓 DevLake 社群更加繁榮、早日成為頂級專案!

郭斯傑:祝賀 DevLake 進入 Apache 軟體基金會孵化器,這是 DevLake 走向世界的一大步,期待有更多技術愛好者和使用者加入,共建繁榮。祝社群快速成長成為頂級專案,成為研發資料平臺的中流砥柱。

如何參與 Apache DevLake 社群?

DevLake 的發展離不開社群使用者的支援,歡迎所有人蔘與社群建設,讓 DevLake 越來越有生命力🥳

Reference

[1] The Apache Way 文件: https://www.apache.org/theapacheway/index.html,

[2] DevLake 架構圖: https://github.com/apache/incubator-devlake/blob/main/ARCHITECTURE.md,

[3] Willem Ning Jiang: https://github.com/WillemJiang,

[4] Liang Zhang: https://github.com/terrymanu,

[5] Lidong Dai: https://github.com/dailidong,

[6] Sijie Guo: https://github.com/sijie,

[7] Felix Cheung: https://github.com/felixcheung,

[8] Jean-Baptiste Onofré: https://github.com/jbonofre,

本文由部落格群發一文多發等運營工具平臺 OpenWrite 釋出