[[418928]]

1. 工具說明

• 安裝 Docker >= 19.03: 該 Docker 版本包含 buildx。
• 安裝 buildx: https://github.com/docker/buildx#in。
• Linux kernel >= 4.8: 自該Linux內(nèi)核版本 binfmt_misc 支持 fix-binary (F) flag。fix_binary 標(biāo)志允許內(nèi)核在容器或chroot內(nèi)使用binfmt_misc注冊的二進(jìn)制格式處理程序，即使該處理程序二進(jìn)制文件不是該容器或chroot內(nèi)可見的文件系統(tǒng)的一部分。

Docker Buildx 是一個 docker CLI 插件，其擴(kuò)展了 docker 命令，支持 Moby BuildKit 提供的功能。提供了與 docker build 相同的用戶體驗(yàn)，并增加了許多新功能。

BuildKit 是下一代的鏡像構(gòu)建組件，主要特點(diǎn)有很多，本文主要使用其可以編譯多種系統(tǒng)架構(gòu)的特性。

網(wǎng)址：https://github.com/moby/buildkit

需要注意的是，該功能僅適用于 Docker v19.03+ 版本。

本文將講解如何使用 Buildx 構(gòu)建多種系統(tǒng)架構(gòu)的鏡像。

在開始之前，已經(jīng)默認(rèn)你在 Linux 系統(tǒng)(各大發(fā)行版)下安裝好了 64 位的 Docker。

在寫本文時，使用的Docker版本號是 19.03.11。

root@i-3uavns2y:~# docker version 
Client: Docker Engine - Community 
Version:           19.03.11 
 API version:       1.40 
Go version:        go1.13.10 
Git commit:        42e35e61f3 
Built:             Mon Jun  1 09:13:48 2020 
 OS/Arch:           linux/amd64 
Experimental:      true 
Server: Docker Engine - Community 
Engine: 
  Version:          19.03.11 
  API version:      1.40 (minimum version 1.12) 
  Go version:       go1.13.10 
  Git commit:       42e35e61f3 
  Built:            Mon Jun  1 09:12:26 2020 
  OS/Arch:          linux/amd64 
  Experimental:     false 
 containerd: 
  Version:          1.2.13 
  GitCommit:        7ad184331fa3e55e52b890ea95e65ba581ae3429 
 runc: 
  Version:          1.0.0-rc10 
  GitCommit:        dc9208a3303feef5b3839f4323d9beb36df0a9dd 
 docker-init: 
  Version:          0.18.0 
  GitCommit:        fec3683 
  root@i-3uavns2y:~# uname -a 
Linux i-3uavns2y 4.15.0-55-generic #60-Ubuntu SMP Tue Jul 2 18:22:20 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 

2. 運(yùn)行原理

Buildx 本質(zhì)上調(diào)用了 buildkit 的 api，構(gòu)建是在 buildkit 的環(huán)境中進(jìn)行的。是否支持多架構(gòu)，取決于 buildkit 的環(huán)境，如果需要 buildkit 支持多架構(gòu)，需要在宿主機(jī)執(zhí)行。(當(dāng)然這個不是必須的，按構(gòu)建的需求進(jìn)行控制)

BuildKit 旨在為多個平臺進(jìn)行構(gòu)建，而不僅適用于調(diào)用構(gòu)建的用戶碰巧運(yùn)行的體系結(jié)構(gòu)和操作系統(tǒng)。

調(diào)用構(gòu)建時，您可以設(shè)置--platform標(biāo)志以指定構(gòu)建輸出的目標(biāo)平臺(例如linux/amd64，linux/arm64、 或 darwin/amd64)。

當(dāng)當(dāng)前構(gòu)建器實(shí)例由docker-container或 kubernetes驅(qū)動程序支持時，您可以一起指定多個平臺。在這種情況下，它會構(gòu)建一個清單列表，其中包含所有指定架構(gòu)的類型。當(dāng)你在docker run or 中使用這個鏡像時docker service，Docker 會根據(jù)節(jié)點(diǎn)的平臺選擇正確的鏡像。

您可以使用 Buildx 和 Dockerfiles 支持的三種不同策略構(gòu)建多平臺鏡像：

• 在內(nèi)核中使用 QEMU 仿真支持
• 使用相同的構(gòu)建器實(shí)例在多個本機(jī)節(jié)點(diǎn)上構(gòu)建
• 使用 Dockerfile 中的一個階段交叉編譯到不同的架構(gòu)

如果您的節(jié)點(diǎn)已經(jīng)支持 QEMU，那么 QEMU 是最簡單的入門方式(例如，如果您使用的是 Docker Desktop)。它不需要對 Dockerfile 進(jìn)行任何更改，并且 BuildKit 會自動檢測可用的二級架構(gòu)。當(dāng) BuildKit 需要為不同的架構(gòu)運(yùn)行二進(jìn)制文件時，它會通過在binfmt_misc 處理程序中注冊的二進(jìn)制文件自動加載它。

要使binfmt_misc在主機(jī)操作系統(tǒng)上注冊的 QEMU 二進(jìn)制文件在容器內(nèi)透明地工作，它們必須使用該fix_binary 標(biāo)志進(jìn)行注冊。這需要內(nèi)核 >= 4.8 和 binfmt-support >= 2.1.7。您可以通過檢查在/proc/sys/fs/binfmt_misc/qemu-*是否有內(nèi)容來檢查是否正確注冊。雖然 Docker Desktop 預(yù)先配置了binfmt_misc對其他平臺的支持，但對于其他安裝，它可能需要使用tonistiigi/binfmt 鏡像進(jìn)行安裝。

root@i-tpmja312:~# docker run --privileged --rm tonistiigi/binfmt --install all 
root@i-tpmja312:~# ls /proc/sys/fs/binfmt_misc/qemu-* 
/proc/sys/fs/binfmt_misc/qemu-aarch64   /proc/sys/fs/binfmt_misc/qemu-ppc64le 
/proc/sys/fs/binfmt_misc/qemu-arm       /proc/sys/fs/binfmt_misc/qemu-riscv64 
/proc/sys/fs/binfmt_misc/qemu-mips64    /proc/sys/fs/binfmt_misc/qemu-s390x 
/proc/sys/fs/binfmt_misc/qemu-mips64el 

使用多個原生節(jié)點(diǎn)可以更好地支持 QEMU 無法處理的更復(fù)雜的情況，并且通常具有更好的性能。您可以使用該--append標(biāo)志向構(gòu)建器實(shí)例添加其他節(jié)點(diǎn)。

2. 啟用 Buildx

Docker在19.03引入了一個新的特性，使得Docker可以構(gòu)建不同CPU體系結(jié)構(gòu)的鏡像，比如ARM鏡像，這是不必引入模擬器的情況下，Docker自身所提供的原生統(tǒng)一構(gòu)建機(jī)制，但是使用時需要進(jìn)行設(shè)定才能進(jìn)行使用。(從 v20.10 版本開始，Docker CLI 所有實(shí)驗(yàn)特性的命令均默認(rèn)開啟，無需再進(jìn)行配置或設(shè)置系統(tǒng)環(huán)境變量。)

buildx 命令屬于實(shí)驗(yàn)特性，因此首先需要開啟該特性。

• 問題現(xiàn)象

直接使用時可能會出現(xiàn)如下問題，因?yàn)闆]開啟實(shí)驗(yàn)特性

root@i-3uavns2y:~# docker buildx version 
docker: 'buildx' is not a docker command. 
See 'docker --help' 

• 永久開啟 dockerd 的實(shí)驗(yàn)特性

編輯 ~/.docker/config.json 文件，新增如下內(nèi)容(以下的演示適用于事先不存在 .docker 目錄的情況下),使用 docker version 命令查看版本信息，配置生效后可以看到 Server: Docker Engine 中有 Experimental: true ：

root@i-3uavns2y:~# mkdir ~/.docker 
root@i-3uavns2y:~# cat > ~/.docker/config.json <<EOF 
{ 
"experimental": "enabled" 
} 
EOF 
root@i-3uavns2y:~# docker buildx version 
github.com/docker/buildx v0.3.1-tp-docker 6db68d029599c6710a32aa7adcba8e5a344795a7 

• 臨時開啟

Linux/macOS 下或者通過設(shè)置環(huán)境變量的方式(不推薦)：

$ export DOCKER_CLI_EXPERIMENTAL=enabled 
$ docker buildx version 
github.com/docker/buildx v0.3.1-tp-docker 6db68d029599c6710a32aa7adcba8e5a344795a7 

3. 新建 builder 實(shí)例

在 Docker 19.03+ 版本中可以使用 docker buildx build 命令使用 BuildKit 構(gòu)建鏡像。該命令支持 --platform 參數(shù)可以同時構(gòu)建支持多種系統(tǒng)架構(gòu)的 Docker 鏡像，大大簡化了構(gòu)建步驟。

Docker 在 Linux 系統(tǒng)架構(gòu)下是不支持 arm 架構(gòu)鏡像，因此我們可以運(yùn)行一個新的容器讓其支持該特性，Docker 桌面版則無需進(jìn)行此項(xiàng)設(shè)置(mac系統(tǒng))。

在內(nèi)核中使用 QEMU 仿真支持來進(jìn)行多架構(gòu)鏡像構(gòu)建：

# 安裝模擬器（用于多平臺鏡像構(gòu)建） 
$ docker run --rm --privileged tonistiigi/binfmt:latest --install all 

注：docker/binfmt 可以參考網(wǎng)址：https://hub.docker.com/r/docker/binfmt/tags 獲取最新鏡像。

由于 Docker 默認(rèn)的 builder 實(shí)例不支持同時指定多個 --platform，我們必須首先創(chuàng)建一個新的 builder 實(shí)例。同時由于國內(nèi)拉取鏡像較緩慢，我們可以使用配置了 鏡像加速地址 dockerpracticesig/buildkit:master 鏡像替換官方鏡像。

如果你有私有的鏡像加速器，可以基于 https://github.com/docker-practice/buildx 構(gòu)建自己的 buildkit 鏡像并使用它。

# 適用于國內(nèi)環(huán)境 
root@i-3uavns2y:~# docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master 
 
# 適用于騰訊云環(huán)境(騰訊云主機(jī)、coding.net 持續(xù)集成) 
root@i-3uavns2y:~# docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master-tencent 
# 使用默認(rèn)鏡像 
root@i-3uavns2y:~# docker buildx create --name mybuilder --driver docker-container 
 
# 使用新創(chuàng)建好的 builder 實(shí)例 
root@i-3uavns2y:~# docker buildx use mybuilder 

查看已有的 builder 實(shí)例：

root@i-tpmja312:~# docker buildx ls 
NAME/NODE    DRIVER/ENDPOINT             STATUS   PLATFORMS 
mybuilder *  docker-container 
  mybuilder0 unix:///var/run/docker.sock inactive 
default      docker 
  default    default                     running  linux/amd64, linux/386 

4. 新建 Dockerfile 文件

要想構(gòu)建多種系統(tǒng)架構(gòu)的鏡像，還需要一個支持的 Dockerfile 文件，這里面多架構(gòu)鏡像最主要的就是基礎(chǔ)鏡像和安裝的軟件都需要支持多架構(gòu)。

以下是一個示例的 Dockerfile 文件，該 Dockerfile 文件內(nèi)容如下：

mkdir ~/demo 
cd ~/demo 
cat > Dockerfile <<EOF 
FROM --platform=$TARGETPLATFORM alpine 
RUN uname -a > /os.txt 
CMD cat /os.txt 
EOF 

$TARGETPLATFORM 是內(nèi)置變量，由 --platform 參數(shù)來指定其值。

由于是基于 alpine 的鏡像來制作的，而 alpine 是支持以下 7 種系統(tǒng)架構(gòu)的，因此我們制作的鏡像也就跟著支持這 7 種系統(tǒng)架構(gòu)。

linux/amd64, linux/arm/v6, linux/arm/v7, linux/arm64/v8, linux/386, linux/ppc64le, linux/s390x 

更友好一點(diǎn)的架構(gòu)名稱如下：

amd64, arm32v6, arm32v7, arm64v8, i386, ppc64le, s390x 

這里穿插一句吐槽,簡單統(tǒng)計(jì)了一下，ARM 的系統(tǒng)架構(gòu)有如下各種簡稱：

arm64, armv8l, arm64v8, aarch64 
arm, arm32, arm32v7, armv7, armv7l, armhf 
arm32v6, armv6, armv6l, arm32v5, armv5,  armv5l, armel, aarch32 

而對比 Intel 和 AMD 的就簡單多了：

x86, 386, i386, i686 
x86_64, x64, amd64 

5. 構(gòu)建鏡像

docker buildx build 的具體參數(shù)含義，參考下面的官方文檔：https://docs.docker.com/engine/reference/commandline/buildx_build/ 。

使用 $ docker buildx build 命令構(gòu)建鏡像，注意將 myusername 替換為自己的 Docker Hub 用戶名。--push 參數(shù)表示將構(gòu)建好的鏡像推送到 Docker 倉庫。再來構(gòu)建一個多系統(tǒng)架構(gòu)鏡像，并將構(gòu)建好的鏡像推送到 Docker 倉庫(也就是 hub.docker.com)。在此操作之前，你需要事先注冊一個賬號(演示過程省略)，并登錄。

登錄命令如下：

root@i-tpmja312:~/demo# docker login 

輸入你的用戶名和密碼即可登錄。

注意，以下演示的命令中 tag 的前面是我的用戶名 doubledong，如果你想制作自己的鏡像，請自行替換為你自己的用戶名。

使用 --push 參數(shù)構(gòu)建好的鏡像推送到 Docker 倉庫。

構(gòu)建命令如下：

在本地構(gòu)建支持 7 種 platform 的鏡像

root@i-tpmja312:~/demo# docker buildx build --platform linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/386,linux/ppc64le,linux/s390x -t doubledong/hello . --push 
 
# 查看鏡像信息 
root@i-tpmja312:~/demo# docker buildx imagetools inspect doubledong/hello 
Name:      docker.io/doubledong/hello:latest 
MediaType: application/vnd.docker.distribution.manifest.list.v2+json 
Digest:    sha256:7fd51fbd9f5a478c751ab2138d87341da7937b82bbf2362b23d474727b2c7234 
 
Manifests: 
  Name:      docker.io/doubledong/hello:latest@sha256:564098e26174ef2142fbb8bf21d3e57bc2cb31e31933e6e23c5ee8a7bea05219 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/amd64 
 
  Name:      docker.io/doubledong/hello:latest@sha256:d378c84bcd8bce4b5d771be692bd251a8cb3bbaca9f203d20a5da6989d42c614 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/arm/v6 
 
  Name:      docker.io/doubledong/hello:latest@sha256:1968399b3651bbcb0dc6218e6dfcb261995723decf39b9c80327624409158ff5 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/arm/v7 
 
  Name:      docker.io/doubledong/hello:latest@sha256:62ac2af6e39ab10e77d83114931ff1abe449c30a86d0bf590d4bbf71836dcec1 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/arm64 
 
  Name:      docker.io/doubledong/hello:latest@sha256:3ef9adac67717528ca95f89c184830aa072da155fc17e2a7e95dd9433d9aab51 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/386 
 
  Name:      docker.io/doubledong/hello:latest@sha256:67e4c3e5c7eca8af5909373446e9e5fa6d1083223b3766bb8e9e6f41c01ca43b 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/ppc64le 
 
  Name:      docker.io/doubledong/hello:latest@sha256:f3dc2d058e4915a61281d945ae92e77b44e2b81a601c63470ce1912e4e29c53e 
  MediaType: application/vnd.docker.distribution.manifest.v2+json 
  Platform:  linux/s390x 

.命令執(zhí)行成功后，你就會在 Docker Hub 看到你上傳的鏡像啦。示例圖如下：

做完上面的那一步，實(shí)際上是把構(gòu)建好的鏡像放在了本地路徑下，此時我們再來查看一下已有的 builder 實(shí)例。

root@i-tpmja312:~/demo# docker buildx ls 
NAME/NODE    DRIVER/ENDPOINT             STATUS  PLATFORMS 
mybuilder *  docker-container 
  mybuilder0 unix:///var/run/docker.sock running linux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/mips64le, linux/mips64, linux/arm/v7, linux/arm/v6 
default      docker 
  default    default                     running linux/amd64, linux/386 

你會發(fā)現(xiàn) mybuilder 下存在 8 種支持的架構(gòu)(riscv64 目前還用不上，但是已經(jīng)支持)。

此時查看一下 docker image 的運(yùn)行情況，會發(fā)現(xiàn)存在一個名為 buildx_buildkit_mybuilder0 的容器在運(yùn)行。

這是剛才在本地構(gòu)建時，自動創(chuàng)建的，切記不要將其停止，也不要刪除。

root@i-tpmja312:~/demo# docker ps -as|grep buildx_buildkit 
e274b21faea2        moby/buildkit:buildx-stable-1      "buildkitd"              7 minutes ago       Up 7 minutes                                         buildx_buildkit_mybuilder0                                                                                                                                0B (virtual 144MB) 

6. 寫在最后

在制作多系統(tǒng)架構(gòu)的 Docker 鏡像時，建議使用 CPU 比較強(qiáng)或者多核心的 vps 來構(gòu)建，否則會非常耗時，本篇文章主要講的是手動進(jìn)行多架構(gòu)鏡像的構(gòu)建，也可以是用cicd工具來自動化進(jìn)行構(gòu)建，后續(xù)文章進(jìn)行說明

參考鏈接：

https://yeasy.gitbook.io/docker_practice/image/manifest

https://github.com/docker/buildx#installing

本文轉(zhuǎn)載自微信公眾號「 運(yùn)維開發(fā)故事」