探索Linux內(nèi)核：Kconfig/kbuild的秘密

作者：Cao Jin 2019-08-15 16:00:21

為了探索如何編譯 Linux 內(nèi)核，本文將深入介紹 Kconfig/kbuild 內(nèi)部的過程，解釋如何生成 .config 文件和 vmlinux/bzImage 文件，并介紹一個巧妙的依賴性跟蹤技巧。

深入理解 Linux 配置/構(gòu)建系統(tǒng)是如何工作的。

自從 Linux 內(nèi)核代碼遷移到 Git 以來，Linux 內(nèi)核配置/構(gòu)建系統(tǒng)（也稱為 Kconfig/kbuild）已存在很長時間了。然而，作為支持基礎(chǔ)設(shè)施，它很少成為人們關(guān)注的焦點(diǎn)；甚至在日常工作中使用它的內(nèi)核開發(fā)人員也從未真正思考過它。

為了探索如何編譯 Linux 內(nèi)核，本文將深入介紹 Kconfig/kbuild 內(nèi)部的過程，解釋如何生成 .config 文件和 vmlinux/bzImage 文件，并介紹一個巧妙的依賴性跟蹤技巧。

Kconfig

構(gòu)建內(nèi)核的第一步始終是配置。Kconfig 有助于使 Linux 內(nèi)核高度模塊化和可定制。Kconfig 為用戶提供了許多配置目標(biāo)：

配置目標(biāo)	解釋
`config`	利用命令行程序更新當(dāng)前配置
`nconfig`	利用基于 ncurses 菜單的程序更新當(dāng)前配置
`menuconfig`	利用基于菜單的程序更新當(dāng)前配置
`xconfig`	利用基于 Qt 的前端程序更新當(dāng)前配置
`gconfig`	利用基于 GTK+ 的前端程序更新當(dāng)前配置
`oldconfig`	基于提供的 `.config` 更新當(dāng)前配置
`localmodconfig`	更新當(dāng)前配置，禁用沒有載入的模塊
`localyesconfig`	更新當(dāng)前配置，轉(zhuǎn)換本地模塊到核心
`defconfig`	帶有來自架構(gòu)提供的 `defconcig` 默認(rèn)值的新配置
`savedefconfig`	保存當(dāng)前配置為 `./defconfig`（最小配置）
`allnoconfig`	所有選項(xiàng)回答為 `no` 的新配置
`allyesconfig`	所有選項(xiàng)回答為 `yes` 的新配置
`allmodconfig`	盡可能選擇所有模塊的新配置
`alldefconfig`	所有符號（選項(xiàng)）設(shè)置為默認(rèn)值的新配置
`randconfig`	所有選項(xiàng)隨機(jī)選擇的新配置
`listnewconfig`	列出新選項(xiàng)
`olddefconfig`	同 `oldconfig` 一樣，但設(shè)置新符號（選項(xiàng)）為其默認(rèn)值而無須提問
`kvmconfig`	啟用支持 KVM 訪客內(nèi)核模塊的附加選項(xiàng)
`xenconfig`	啟用支持 xen 的 dom0 和訪客內(nèi)核模塊的附加選項(xiàng)
`tinyconfig`	配置盡可能小的內(nèi)核

我認(rèn)為 menuconfig 是這些目標(biāo)中最受歡迎的。這些目標(biāo)由不同的主程序host program處理，這些程序由內(nèi)核提供并在內(nèi)核構(gòu)建期間構(gòu)建。一些目標(biāo)有 GUI（為了方便用戶），而大多數(shù)沒有。與 Kconfig 相關(guān)的工具和源代碼主要位于內(nèi)核源代碼中的 scripts/kconfig/ 下。從 scripts/kconfig/Makefile 中可以看到，這里有幾個主程序，包括 conf、mconf 和 nconf。除了 conf 之外，每個都負(fù)責(zé)一個基于 GUI 的配置目標(biāo)，因此，conf 處理大多數(shù)目標(biāo)。

從邏輯上講，Kconfig 的基礎(chǔ)結(jié)構(gòu)有兩部分：一部分實(shí)現(xiàn)一種新語言來定義配置項(xiàng)（參見內(nèi)核源代碼下的 Kconfig 文件），另一部分解析 Kconfig 語言并處理配置操作。

大多數(shù)配置目標(biāo)具有大致相同的內(nèi)部過程（如下所示）：

請注意，所有配置項(xiàng)都具有默認(rèn)值。

第一步讀取源代碼根目錄下的 Kconfig 文件，構(gòu)建初始配置數(shù)據(jù)庫；然后它根據(jù)如下優(yōu)先級讀取現(xiàn)有配置文件來更新初始數(shù)據(jù)庫：

.config
/lib/modules/$(shell,uname -r)/.config
/etc/kernel-config
/boot/config-$(shell,uname -r)
ARCH_DEFCONFIG
arch/$(ARCH)/defconfig

如果你通過 menuconfig 進(jìn)行基于 GUI 的配置或通過 oldconfig 進(jìn)行基于命令行的配置，則根據(jù)你的自定義更新數(shù)據(jù)庫。最后，該配置數(shù)據(jù)庫被轉(zhuǎn)儲到 .config 文件中。

但 .config 文件不是內(nèi)核構(gòu)建的最終素材；這就是 syncconfig 目標(biāo)存在的原因。syncconfig曾經(jīng)是一個名為 silentoldconfig 的配置目標(biāo)，但它沒有做到其舊名稱所說的工作，所以它被重命名。此外，因?yàn)樗枪﹥?nèi)部使用的（不適用于用戶），所以它已從上述列表中刪除。

以下是 syncconfig 的作用：

syncconfig 將 .config 作為輸入并輸出許多其他文件，這些文件分為三類：

auto.conf ＆ tristate.conf 用于 makefile 文本處理。例如，你可以在組件的 makefile 中看到這樣的語句：obj-$(CONFIG_GENERIC_CALIBRATE_DELAY) += calibrate.o。
autoconf.h 用于 C 語言的源文件。
include/config/ 下空的頭文件用于 kbuild 期間的配置依賴性跟蹤。下面會解釋。

配置完成后，我們將知道哪些文件和代碼片段未編譯。

kbuild

組件式構(gòu)建，稱為遞歸 make，是 GNU make 管理大型項(xiàng)目的常用方法。kbuild 是遞歸 make 的一個很好的例子。通過將源文件劃分為不同的模塊/組件，每個組件都由其自己的 makefile 管理。當(dāng)你開始構(gòu)建時，頂級 makefile 以正確的順序調(diào)用每個組件的 makefile、構(gòu)建組件，并將它們收集到最終的執(zhí)行程序中。

kbuild 指向到不同類型的 makefile：

Makefile 位于源代碼根目錄的頂級 makefile。
.config 是內(nèi)核配置文件。
arch/$(ARCH)/Makefile 是架構(gòu)的 makefile，它用于補(bǔ)充頂級 makefile。
scripts/Makefile.* 描述所有的 kbuild makefile 的通用規(guī)則。
最后，大約有 500 個 kbuild makefile。

頂級 makefile 會將架構(gòu) makefile 包含進(jìn)去，讀取 .config 文件，下到子目錄，在 scripts/ Makefile.* 中定義的例程的幫助下，在每個組件的 makefile 上調(diào)用 make，構(gòu)建每個中間對象，并將所有的中間對象鏈接為 vmlinux。內(nèi)核文檔 Documentation/kbuild/makefiles.txt 描述了這些 makefile 的方方面面。

作為一個例子，讓我們看看如何在 x86-64 上生成 vmlinux：

vmlinux overview

（此插圖基于 Richard Y. Steven 的博客。有過更新，并在作者允許的情況下使用。）

進(jìn)入 vmlinux 的所有 .o 文件首先進(jìn)入它們自己的 built-in.a，它通過變量KBUILD_VMLINUX_INIT、KBUILD_VMLINUX_MAIN、KBUILD_VMLINUX_LIBS 表示，然后被收集到 vmlinux 文件中。

在下面這個簡化的 makefile 代碼的幫助下，了解如何在 Linux 內(nèi)核中實(shí)現(xiàn)遞歸 make：

# In top Makefile
vmlinux: scripts/link-vmlinux.sh $(vmlinux-deps)
                +$(call if_changed,link-vmlinux)
 
# Variable assignments
vmlinux-deps := $(KBUILD_LDS) $(KBUILD_VMLINUX_INIT) $(KBUILD_VMLINUX_MAIN) $(KBUILD_VMLINUX_LIBS)
 
export KBUILD_VMLINUX_INIT := $(head-y) $(init-y)
export KBUILD_VMLINUX_MAIN := $(core-y) $(libs-y2) $(drivers-y) $(net-y) $(virt-y)
export KBUILD_VMLINUX_LIBS := $(libs-y1)
export KBUILD_LDS          := arch/$(SRCARCH)/kernel/vmlinux.lds
 
init-y          := init/
drivers-y       := drivers/ sound/ firmware/
net-y           := net/
libs-y          := lib/
core-y          := usr/
virt-y          := virt/
 
# Transform to corresponding built-in.a
init-y          := $(patsubst %/, %/built-in.a, $(init-y))
core-y          := $(patsubst %/, %/built-in.a, $(core-y))
drivers-y       := $(patsubst %/, %/built-in.a, $(drivers-y))
net-y           := $(patsubst %/, %/built-in.a, $(net-y))
libs-y1         := $(patsubst %/, %/lib.a, $(libs-y))
libs-y2         := $(patsubst %/, %/built-in.a, $(filter-out %.a, $(libs-y)))
virt-y          := $(patsubst %/, %/built-in.a, $(virt-y))
 
# Setup the dependency. vmlinux-deps are all intermediate objects, vmlinux-dirs
# are phony targets, so every time comes to this rule, the recipe of vmlinux-dirs
# will be executed. Refer "4.6 Phony Targets" of `info make`
$(sort $(vmlinux-deps)): $(vmlinux-dirs) ;
 
# Variable vmlinux-dirs is the directory part of each built-in.a
vmlinux-dirs    := $(patsubst %/,%,$(filter %/, $(init-y) $(init-m) \
                     $(core-y) $(core-m) $(drivers-y) $(drivers-m) \
                     $(net-y) $(net-m) $(libs-y) $(libs-m) $(virt-y)))
 
# The entry of recursive make
$(vmlinux-dirs):
                $(Q)$(MAKE) $(build)=$@ need-builtin=1

遞歸 make 的配方recipe被擴(kuò)展開是這樣的：

make -f scripts/Makefile.build obj=init need-builtin=1

這意味著 make 將進(jìn)入 scripts/Makefile.build 以繼續(xù)構(gòu)建每個 built-in.a。在scripts/link-vmlinux.sh 的幫助下，vmlinux 文件最終位于源根目錄下。

vmlinux 與 bzImage 對比

許多 Linux 內(nèi)核開發(fā)人員可能不清楚 vmlinux 和 bzImage 之間的關(guān)系。例如，這是他們在 x86-64 中的關(guān)系：

源代碼根目錄下的 vmlinux 被剝離、壓縮后，放入 piggy.S，然后與其他對等對象鏈接到 arch/x86/boot/compressed/vmlinux。同時，在 arch/x86/boot 下生成一個名為 setup.bin 的文件。可能有一個可選的第三個文件，它帶有重定位信息，具體取決于 CONFIG_X86_NEED_RELOCS 的配置。

由內(nèi)核提供的稱為 build 的宿主程序?qū)⑦@兩個（或三個）部分構(gòu)建到最終的 bzImage 文件中。

依賴跟蹤

kbuild 跟蹤三種依賴關(guān)系：

所有必備文件（*.c 和 *.h）
所有必備文件中使用的 CONFIG_ 選項(xiàng)
用于編譯該目標(biāo)的命令行依賴項(xiàng)

第一個很容易理解，但第二個和第三個呢？內(nèi)核開發(fā)人員經(jīng)常會看到如下代碼：

#ifdef CONFIG_SMP
__boot_cpu_id = cpu;
#endif

當(dāng) CONFIG_SMP 改變時，這段代碼應(yīng)該重新編譯。編譯源文件的命令行也很重要，因?yàn)椴煌拿钚锌赡軙?dǎo)致不同的目標(biāo)文件。

當(dāng) .c 文件通過 #include 指令使用頭文件時，你需要編寫如下規(guī)則：

main.o: defs.h
        recipe...

管理大型項(xiàng)目時，需要大量的這些規(guī)則；把它們?nèi)繉懴聛頃芊ξ稛o聊。幸運(yùn)的是，大多數(shù)現(xiàn)代 C 編譯器都可以通過查看源文件中的 #include 行來為你編寫這些規(guī)則。對于 GNU 編譯器集合（GCC），只需添加一個命令行參數(shù)：-MD depfile

# In scripts/Makefile.lib
c_flags        = -Wp,-MD,$(depfile) $(NOSTDINC_FLAGS) $(LINUXINCLUDE)     \
                 -include $(srctree)/include/linux/compiler_types.h       \
                 $(__c_flags) $(modkern_cflags)                           \
                 $(basename_flags) $(modname_flags)

這將生成一個 .d 文件，內(nèi)容如下：

init_task.o: init/init_task.c include/linux/kconfig.h \
    include/generated/autoconf.h include/linux/init_task.h \
    include/linux/rcupdate.h include/linux/types.h \
    ...

然后主程序 fixdep 通過將 depfile 文件和命令行作為輸入來處理其他兩個依賴項(xiàng)，然后以 makefile 格式輸出一個 .<target>.cmd 文件，它記錄命令行和目標(biāo)的所有先決條件（包括配置）。它看起來像這樣：

# The command line used to compile the target
cmd_init/init_task.o := gcc -Wp,-MD,init/.init_task.o.d  -nostdinc ...
...
# The dependency files
deps_init/init_task.o := \
    $(wildcard include/config/posix/timers.h) \
    $(wildcard include/config/arch/task/struct/on/stack.h) \
    $(wildcard include/config/thread/info/in/task.h) \
    ...
    include/uapi/linux/types.h \
    arch/x86/include/uapi/asm/types.h \
    include/uapi/asm-generic/types.h \
    ...

在遞歸 make 中，.<target>.cmd 文件將被包含，以提供所有依賴關(guān)系信息并幫助決定是否重建目標(biāo)。

這背后的秘密是 fixdep 將解析 depfile（.d 文件），然后解析里面的所有依賴文件，搜索所有 CONFIG_ 字符串的文本，將它們轉(zhuǎn)換為相應(yīng)的空的頭文件，并將它們添加到目標(biāo)的先決條件。每次配置更改時，相應(yīng)的空的頭文件也將更新，因此 kbuild 可以檢測到該更改并重建依賴于它的目標(biāo)。因?yàn)檫€記錄了命令行，所以很容易比較最后和當(dāng)前的編譯參數(shù)。