純乾貨!構建Dockfile映象的十三個最佳實踐點
小知識,大挑戰!本文正在參與“程式設計師必備小知識”創作活動
編寫.dockerignore檔案
構建映象時,Docker需要先準備上下文 ,將所有需要的檔案收集到程序中。預設的上下文包含Dockerfile目錄中的所有檔案,但是,實際上我們並不需要.git
目錄,.vscode
目錄、.idea
目錄等內容。 .dockerignore
的作用和語法類似於 .gitignore
,可以忽略一些不需要的檔案,這樣可以有效加快映象構建時間,同時減少Docker映象的大小。
樣例:
.git/
.vscode/
.idea/
一個容器只執行單個應用
從技術角度講,你可以在Docker容器中執行多個程序。你可以將資料庫,前端,後端,ssh,supervisor都執行在同一個Docker容器中。但是,這會讓你非常痛苦:
- 非常長的構建時間(如,修改前端之後,整個後端也需要重新構建)
- 非常大的映象大小
- 多個應用的日誌難以處理(不能直接使用stdout,否則多個應用的日誌會混合到一起)
- 橫向擴充套件時非常浪費資源(不同的應用需要執行的容器數並不相同)
- 殭屍程序問題(你需要選擇合適的init程序)
因此,建議大家為每個應用構建單獨的Docker映象。
選擇合適的基礎映象
合適的基礎映象,如scratch、busybox、alpine、distroless等映象。可以幫助我們減少映象的大小。同時,越小的映象表示無用的程式越少,可以大大的減少被攻擊的目標,從而提高了安全性。
將多個RUN指令合併為一個
Docker映象是分層的,下面這些知識點非常重要:
- Dockerfile中的每個指令都會建立一個新的映象層。
- 映象層將被快取和複用
- 當Dockerfile的指令修改了,複製的檔案變化了,或者構建映象時指定的變數不同了,對應的映象層快取就會失效
- 某一層的映象快取失效之後,它之後的映象層快取都會失效
- 映象層是不可變的,如果我們再某一層中新增一個檔案,然後在下一層中刪除它,則映象中依然會包含該檔案(只是這個檔案在Docker容器中不可見了)。
現在,我們將所有的RUN指令合併為一個。同時把apt-get upgrade
刪除,因為它會使得映象構建非常不確定(我們只需要依賴基礎映象的更新就好了)。
```Dockerfile FROM ubuntu
ADD . /app
RUN apt-get update \ && apt-get install -y nodejs \ && cd /app \ && npm install
CMD npm start ``` 記住一點,我們只能將變化頻率一樣的指令合併在一起。將node.js安裝與npm模組安裝放在一起的話,則每次修改原始碼,都需要重新安裝node.js,這顯然不合適。
因此,正確的寫法是這樣的:
```Dockerfile FROM ubuntu
RUN apt-get update && apt-get install -y nodejs
ADD . /app
RUN cd /app && npm install
CMD npm start ```
基礎映象和生產映象的標籤不要使用latest
當映象沒有指定標籤時,將預設使用latest 標籤。因此, FROM ubuntu 指令等同於FROM ubuntu:latest。當時,當映象更新時,latest標籤會指向不同的映象,這時構建映象有可能失敗。如果你的確需要使用最新版的基礎映象,可以使用latest標籤,否則的話,最好指定確定的映象標籤。
樣例:
```Dockerfile FROM ubuntu:16.04 # 使用16.04作為標籤。
RUN apt-get update && apt-get install -y nodejs
ADD . /app
RUN cd /app && npm install
CMD npm start ```
每個RUN指令後刪除多餘檔案
假設我們更新了apt-get源,下載,解壓並安裝了一些軟體包,它們都儲存在/var/lib/apt/lists/
目錄中。但是,執行應用時Docker映象中並不需要這些檔案。我們最好將它們刪除,因為它會使Docker映象變大。
樣例:
Dockerfile中,我們可以刪除/var/lib/apt/lists/
目錄中的檔案(它們是由apt-get update
生成的)。
```Dockerfile FROM ubuntu:16.04
RUN apt-get update \ && apt-get install -y nodejs \ # added lines && rm -rf /var/lib/apt/lists/*
ADD . /app
RUN cd /app && npm install
CMD npm star ```
設定WORKDIR和CMD
WORKDIR指令可以設定預設目錄,也就是執行RUN / CMD / ENTRYPOINT
指令的地方。
CMD指令可以設定容器建立是執行的預設命令。另外,你應該講命令寫在一個數組中,陣列中每個元素為命令的每個單詞。
樣例:
```Dockerfile FROM node:7-alpine
WORKDIR /app
ADD . /app
RUN npm install
CMD ["npm", "start"] ```
使用ENTRYPOINT時,用exec啟動命令(可選)
在使用entrypoint的指令碼中,我們要用exec命令執行應用。不使用exec的話,我們則不能順利地關閉容器,因為SIGTERM訊號會被bash指令碼程序吞沒。exec命令啟動的程序可以取代指令碼程序,因此所有的訊號都會正常工作。
相比ADD,優先使用COPY
COPY指令非常簡單,僅用於將檔案拷貝到映象中。ADD相對來講複雜一些,可以用於下載遠端檔案以及解壓壓縮包。
樣例:
```Dockerfile FROM node:7-alpine
WORKDIR /app
COPY . /app
RUN npm install
ENTRYPOINT ["./entrypoint.sh"]
CMD ["start"] ```
設定預設的環境變數,對映埠和資料卷
執行Docker容器時很可能需要一些環境變數。在Dockerfile設定預設的環境變數是一種很好的方式。另外,我們應該在Dockerfile中設定對映埠和資料卷。
樣例:
```Dockerfile FROM node:7-alpine
ENV PROJECT_DIR=/app
WORKDIR $PROJECT_DIR
COPY package.json $PROJECT_DIR
RUN npm install
COPY . $PROJECT_DIR
ENV MEDIA_DIR=/media \ NODE_ENV=production \ APP_PORT=3000
VOLUME $MEDIA_DIR
EXPOSE $APP_PORT
ENTRYPOINT ["./entrypoint.sh"]
CMD ["start"] ``` ENV指令指定的環境變數在容器中可以使用。如果你只是需要指定構建映象時的變數,你可以使用ARG指令。
使用LABEL設定映象元資料
使用LABEL指令,可以為映象設定元資料,例如映象建立者或者映象說明。舊版的Dockerfile語法使用MAINTAINER指令指定映象建立者,但是它已經被棄用了。有時,一些外部程式需要用到映象的元資料,例如nvidia-docker需要用到com.nvidia.volumes.needed。
樣例:
```Dockerfile FROM node:7-alpine
LABEL maintainer "[email protected]" ```
一個映象可以有多個label。要指定多個labels,Docker推薦儘可能地把多個labels合併到一個LABEL指令中去。每一個LABEL指令會生成一個新的映象層,如果你使用多個label,將導致構建出一個低效的映象。
新增HEALTHCHECK
執行容器時,可以指定--restart always
選項。這樣的話,容器崩潰時,Docker守護程序(docker daemon)會重啟容器。對於需要長時間執行的容器,這個選項非常有用。但是,如果容器的確在執行,但是不可(陷入死迴圈,配置錯誤)用怎麼辦?
使用HEALTHCHECK指令可以讓Docker週期性的檢查容器的健康狀況。我們只需要指定一個命令,如果一切正常的話返回0,否則返回1。
樣例:
```Dockerfile FROM node:7-alpine
LABEL maintainer "[email protected]"
ENV PROJECT_DIR=/app
WORKDIR $PROJECT_DIR
COPY package.json $PROJECT_DIR
RUN npm install
COPY . $PROJECT_DIR
ENV MEDIA_DIR=/media \ NODE_ENV=production \ APP_PORT=3000
VOLUME $MEDIA_DIR
EXPOSE $APP_PORT
HEALTHCHECK CMD curl --fail http://localhost:$APP_PORT || exit 1
ENTRYPOINT ["./entrypoint.sh"]
CMD ["start"] ```
當請求失敗時,curl --fail
命令返回非0狀態。
合理調整COPY和RUN的順序
我們應該把變化最少的部分放在Dockerfile的前面,這樣可以充分利用映象快取。
樣例:
原始碼會經常變化,則每次構建映象時都需要重新安裝NPM模組,這顯然不是我們希望看到的。因此我們可以先拷貝package.json,然後安裝NPM模組,最後才拷貝其餘的原始碼。這樣的話,即使原始碼變化,也不需要重新安裝NPM模組。
```Dockerfile FROM node:7-alpine
WORKDIR /app
COPY package.json /app
RUN npm install
COPY . /app
ENTRYPOINT ["./entrypoint.sh"]
CMD ["start"] ```
參考文件
- 2022年終總結:路雖遠,行則將至
- 監控生產環境中的機器學習模型
- 監控模型在生產環境的效能(Arize)
- DVC 使用案例(二):共享資料與模型檔案
- 純乾貨!構建Dockfile映象的十三個最佳實踐點
- 無程式碼 AI 概覽(Levity)
- 無程式碼人工智慧平臺:成功的基石(Noogata)
- 我們為什麼建立無程式碼 AI 平臺 Noogata
- 無程式碼人工智慧:它是什麼,它為什麼重要?(Noogata)
- 快速入門DVC(三):資料與模型版本管理
- 以資料為中心的人工智慧應該如何實施(Valohai)
- 如何將 MLOps 用於物聯網和邊緣裝置(Valohai)
- 無程式碼 AI 和 MLOps:無程式碼 AI 僅用於不會程式碼的終端使用者(Valohai)
- 用於 MLOps 的最佳訓練編排工具(Aporia)
- 如何理解機器學習中的偏見和公平(Aporia)
- 機器學習模型監控(Aporia)
- Arize AI 對頂級 ML 團隊調查得出的 3 個結論
- MLflow 快速入門
- Algorithmia 執行長 Diego Oppenheimer 談從研發到人工智慧的投資回報率
- 淺析Linux中的五種IO模型