作者：京東零售 王雷

背景

雲原生下的流水線是通過啟動容器來執行具體的功能步驟，每次執行流水線可能會被排程到不同的計算節點上。這會導致一個問題：容器執行完是不會儲存資料的，每當流水線重新執行時，又會重新拉取程式碼、編譯程式碼、下載依賴包等等。在雲原生場景下，不存在本地宿主機編譯程式碼、構建映象時快取的作用，大大延長了流水線執行時間，浪費很多不必要的時間、網路和計算成本。

在許多流水線場景中，同一條流水線的多次執行之間是有關聯的。如果能夠用到上一次的執行結果，則可以大幅縮短執行時間。為了提高使用者使用流水線的體驗，我們加入支援快取的功能，掛接遠端儲存管理構建快取，可以實現同一個專案的編譯依賴複用，在同一條流水線的多次執行中，共享同一份快取。

目標

通過實現雲原生流水線的快取技術，實現程式碼編譯的快取複用，平均加速流水線3~5倍；

實現方案

我們將需要進行快取的檔案，使用zstd的方式進行壓縮，通過遠端掛載cfs，將構建的快取持久化到cfs上的指定位置。當下一次構建開始的時候，判斷快取是否被命中，如果命中快取，我們從cfs上的指定位置pull對應的快取壓縮包，解壓到相應目錄下。

所用工具-cfs+zstd

非使用者自定義映象，將需要的工具打到引擎的基礎映象中，作為所有映象的基礎工具。

使用者自定義映象，不和使用者映象進行強繫結，如果需要使用快取功能，可以使用Restore快取原子和Save快取原子，設定快取key和快取目錄，實現快取功能。

1 cfs遠端掛載

•將工具和啟動指令碼，配置檔案打到基礎映象

•在開啟快取的位置，啟動指令碼，開始掛載cfs

_, err = c.ScriptAction.Sh([]string{
    "sh",
	"-c",
	"modprobe fuse;cd /export/servers/tools/cfs;sudo ./cfs-client-randomwrite -c fuse.json",
})

2 zstd壓縮

針對現有的幾種壓縮方式進行了效能對比，最後選用了zstd進行壓縮。

Zstd，全稱 Zstandard，是 Facebook 於 2016 年開源的新無失真壓縮演算法。Zstd 還可以以壓縮速度為代價提供更強的壓縮比，速度與壓縮率的比重可通過增量進行配置。與 zlib、lz4、xz 等當前流行的壓縮演算法不同，Zstd 尋求一種壓縮效能與壓縮率通吃的方案，而實際上它也確實做到了。在由官方所列出的表格中，可以看到，Zstd 不僅具備優秀的壓縮效能，在壓縮率上也有非常亮眼的表現。在過去的兩年裡，Linux核心、HTTP協議、以及一系列的大資料工具（包括Hadoop 3.0.0，HBase 2.0.0，Spark 2.3.0，Kafka 2.1.0）等都已經加入了對zstd的支援。

常見的壓縮演算法效能對比：

壓縮包大小對比：

依賴包的大小	465M	壓縮效率
tar壓縮	423M	14s左右
zstd壓縮	205M	1s左右

快取的實現

我們借鑑了github cache action，zadig，gitlab等快取的處理方式，同時結合服務自身的特點

將整體分成三步

•檢查是否命中快取：根據快取key，判斷快取是否命中

快取key	快取的唯一標識
不同語言編譯原子	根據下載程式碼的程式碼庫地址自動獲取 設定的快取key：home_auth/home-auth-center
使用者自定義映象	自定義快取key

•pull快取

當快取命中後，根據快取路徑，找到掛載到cfs上的快取壓縮包，解壓到指定的快取目錄下

•push快取：將依賴包進行壓縮，放到cfs的掛載目錄下

依賴包的大小	465M
tar壓縮	423M
zstd壓縮	205M

快取的使用限制和回收策略

使用限制

目前儲存快取數沒有限制，儲存庫中所有快取的總大小限制是根據申請的cfs的大小限制：20G。

回收策略

我們會刪除7天內未被訪問的任何快取。利用etcd的watch機制，實現快取的回收。

etcd可以Watch 指定的鍵、字首目錄的更改，並對更改時間進行通知。BASE引擎中，快取的清除策略藉助etcd來實現。

快取過期策略：在編譯加速的實現中，每個需要快取的專案都有對應的快取key，通過etcd監控key，並且設定過期時間，例如7天，如果在7天之內再次命中key，則通過lease進行續約；7天之內key都沒有被使用，key就會過期刪除，通過監聽對應的字首，在過期刪除的時候，呼叫刪除快取的方法。

storage.Watch("cache/",
		func(id string) {
			//do nothing
		},
		func(id string) {
			CleanCache(id)
		})

不同技術棧的最佳實踐

1 Java

以Maven構建工具為例，其預設配置檔案位於conf/settings.xml檔案中，預設指定環境變數$M2_HOME來設定快取目錄，這樣同一條流水線多次執行可以複用 ${M2_HOME}/.m2 目錄 (快取目錄)，甚至同一個應用下的多個分支之間都可以使用同一個快取目錄，就像本地構建一樣。

	BASE執行
無快取	平均時間：5.26min
有快取	平均時間：41.462s
提升效率	提升87.3%
快取命中率	接近100%

2 NodeJs

在nodejs編譯中，我們的快取目錄是當前使用者空間，針對node_modules檔案進行壓縮打包，push到cfs；如果快取命中，從cfs上pull並且解壓到當前使用者空間下，恢復快取。

使用舉例

	BASE執行
無快取	平均時間：58s
有快取	平均時間：29s
提升效率	提升50%
快取命中率	接近100%

3 Golang編譯

Golang 快取路徑通過$GOCACHE環境變數控制，將$GOCACHE的內容壓縮成zstd的包，上傳到cfs的指定路徑下。pull快取的時候，拉取到對應的$GOCACHE。

	BASE執行
無快取	平均時間：117s
有快取	平均時間：18s
提升效率	提升84.6%
快取命中率	接近100%

4 GCC編譯

我們使用ccache進行快取實現。ccache（“compilercache”的縮寫）是一個編譯器快取，該工具會快取記憶體編譯生成的資訊，並在編譯的特定部分使用快取記憶體的資訊。ccache的快取目錄：CCACHE_DIR，我們將這個目錄下的檔案進行壓縮，push到cfs，當第二次執行並且命中快取，從cfs上pull並解壓到CCACHE_DIR指定的目錄下。

總結

在不同語言的編譯原子內部，預設開啟快取的設定。第一次執行流水線的時候，會進行依賴的下載，第二次執行流水線，會命中快取，無需進行依賴的下載，提高了流水線執行的效率。快取預設儲存7天。

自定義映象進行快取的最佳實踐

為了滿足使用者使用自定義映象的方式觸發流水線，我們增加了兩個通用的快取原子。

Restore快取：恢復快取

Save快取：儲存快取

在編譯之前，新增Restore快取原子

在編譯之後，新增Save快取原子

使用舉例

在maven編譯原子中，預設開啟了maven編譯的快取；同時還有nodejs的編譯構建，所以我們增加了restore原子和save原子

	BASE執行
無快取	平均時間：21min57s 其中maven: 17min83s nodejs: 4min19s
有快取	平均時間：4min20s 其中maven: 1min10s nodejs: 2min36s
快取效率提升	maven： 93.7% nodejs：39.8%（nodejs編譯中有包含單元測試）
快取命中率	接近100%

未來規劃

•不同編譯原子，向用戶開放配置，如是否開啟快取，設定快取key

•實現不同語言編譯原子增量push快取功能