Linux 中斷子系統(tǒng)的驅(qū)動(dòng)解析
GIC 驅(qū)動(dòng)
這里主要分析 linux kernel 中 GIC v3 中斷控制器的代碼(drivers/irqchip/irq-gic-v3.c)。
設(shè)備樹(shù)
先來(lái)看下一個(gè)中斷控制器的設(shè)備樹(shù)信息:
- gic: interrupt-controller@51a00000 {
- compatible = "arm,gic-v3";
- reg = <0x0 0x51a00000 0 0x10000>, /* GIC Dist */
- <0x0 0x51b00000 0 0xC0000>, /* GICR */
- <0x0 0x52000000 0 0x2000>, /* GICC */
- <0x0 0x52010000 0 0x1000>, /* GICH */
- <0x0 0x52020000 0 0x20000>; /* GICV */
- #interrupt-cells = <3>;
- interrupt-controller;
- interrupts = <GIC_PPI 9
- (GIC_CPU_MASK_SIMPLE(6) | IRQ_TYPE_LEVEL_HIGH)>;
- interrupt-parent = <&gic>;
- };
- compatible:用于匹配GICv3驅(qū)動(dòng)
- reg :GIC的物理基地址,分別對(duì)應(yīng)GICD,GICR,GICC…
- #interrupt-cells:這是一個(gè)中斷控制器節(jié)點(diǎn)的屬性。它聲明了該中斷控制器的中斷指示符(interrupts)中 cell 的個(gè)數(shù)
- interrupt-controller: 表示該節(jié)點(diǎn)是一個(gè)中斷控制器
- interrupts:分別代表中斷類(lèi)型,中斷號(hào),中斷類(lèi)型, PPI中斷親和, 保留字段
關(guān)于設(shè)備數(shù)的各個(gè)字段含義,詳細(xì)可以參考 Documentation/devicetree/bindings 下的對(duì)應(yīng)信息。
初始化
1. irq chip driver 的聲明:
- IRQCHIP_DECLARE(gic_v3, "arm,gic-v3", gic_of_init);
定義 IRQCHIP_DECLARE 之后,相應(yīng)的內(nèi)容會(huì)保存到 __irqchip_of_table 里邊:
- #define IRQCHIP_DECLARE(name, compat, fn) OF_DECLARE_2(irqchip, name, compat, fn)
- #define OF_DECLARE_2(table, name, compat, fn) \
- _OF_DECLARE(table, name, compat, fn, of_init_fn_2)
- #define _OF_DECLARE(table, name, compat, fn, fn_type) \
- static const struct of_device_id __of_table_##name \
- __used __section(__##table##_of_table) \
- = { .compatible = compat, \
- .data = (fn == (fn_type)NULL) ? fn : fn }
__irqchip_of_table 在鏈接腳本 vmlinux.lds 里,被放到了 __irqchip_begin 和 __irqchip_of_end 之間,該段用于存放中斷控制器信息:
- #ifdef CONFIG_IRQCHIP
- #define IRQCHIP_OF_MATCH_TABLE() \
- . = ALIGN(8); \
- VMLINUX_SYMBOL(__irqchip_begin) = .; \
- *(__irqchip_of_table) \
- *(__irqchip_of_end)
- #endif
在內(nèi)核啟動(dòng)初始化中斷的函數(shù)中,of_irq_init 函數(shù)會(huì)去查找設(shè)備節(jié)點(diǎn)信息,該函數(shù)的傳入?yún)?shù)就是 __irqchip_of_table 段,由于 IRQCHIP_DECLARE 已經(jīng)將信息填充好了,of_irq_init 函數(shù)會(huì)根據(jù) “arm,gic-v3” 去查找對(duì)應(yīng)的設(shè)備節(jié)點(diǎn),并獲取設(shè)備的信息。or_irq_init 函數(shù)中,最終會(huì)回調(diào) IRQCHIP_DECLARE 聲明的回調(diào)函數(shù),也就是 gic_of_init,而這個(gè)函數(shù)就是 GIC 驅(qū)動(dòng)的初始化入口。
2. gic_of_init 流程:
- static int __init gic_of_init(struct device_node *node, struct device_node *parent)
- {
- ......
- dist_base = of_iomap(node, 0); ------(1)
- if (!dist_base) {
- pr_err("%pOF: unable to map gic dist registers\n", node);
- return -ENXIO;
- }
- err = gic_validate_dist_version(dist_base); ------(2)
- if (err) {
- pr_err("%pOF: no distributor detected, giving up\n", node);
- goto out_unmap_dist;
- }
- if (of_property_read_u32(node, "#redistributor-regions", &nr_redist_regions)) ------(3)
- nr_redist_regions = 1;
- rdist_regs = kzalloc(sizeof(*rdist_regs) * nr_redist_regions, GFP_KERNEL);
- if (!rdist_regs) {
- err = -ENOMEM;
- goto out_unmap_dist;
- }
- for (i = 0; i < nr_redist_regions; i++) { ------(4)
- struct resource res;
- int ret;
- ret = of_address_to_resource(node, 1 + i, &res);
- rdist_regs[i].redist_base = of_iomap(node, 1 + i);
- if (ret || !rdist_regs[i].redist_base) {
- pr_err("%pOF: couldn't map region %d\n", node, i);
- err = -ENODEV;
- goto out_unmap_rdist;
- }
- rdist_regs[i].phys_base = res.start;
- }
- if (of_property_read_u64(node, "redistributor-stride", &redist_stride)) ------(5)
- redist_stride = 0;
- err = gic_init_bases(dist_base, rdist_regs, nr_redist_regions, ------(6)
- redist_stride, &node->fwnode);
- if (err)
- goto out_unmap_rdist;
- gic_populate_ppi_partitions(node); ------(7)
- gic_of_setup_kvm_info(node);
- return 0;
- ......
- return err;
- }
- 映射 GICD 的寄存器地址空間。
- 驗(yàn)證 GICD 的版本是 GICv3 還是 GICv4(主要通過(guò)讀GICD_PIDR2寄存器bit[7:4]. 0x1代表GICv1, 0x2代表GICv2…以此類(lèi)推)。
- 通過(guò) DTS 讀取 redistributor-regions 的值。
- 為一個(gè) GICR 域分配基地址。
- 通過(guò) DTS 讀取 redistributor-stride 的值。
- 下面詳細(xì)介紹。
- 設(shè)置一組 PPI 的親和性。
- static int __init gic_init_bases(void __iomem *dist_base,
- struct redist_region *rdist_regs,
- u32 nr_redist_regions,
- u64 redist_stride,
- struct fwnode_handle *handle)
- {
- ......
- typer = readl_relaxed(gic_data.dist_base + GICD_TYPER); ------(1)
- gic_data.rdists.id_bits = GICD_TYPER_ID_BITS(typer);
- gic_irqs = GICD_TYPER_IRQS(typer);
- if (gic_irqs > 1020)
- gic_irqs = 1020;
- gic_data.irq_nr = gic_irqs;
- gic_data.domain = irq_domain_create_tree(handle, &gic_irq_domain_ops, ------(2)
- &gic_data);
- gic_data.rdists.rdist = alloc_percpu(typeof(*gic_data.rdists.rdist));
- gic_data.rdists.has_vlpis = true;
- gic_data.rdists.has_direct_lpi = true;
- ......
- set_handle_irq(gic_handle_irq); ------(3)
- gic_update_vlpi_properties(); ------(4)
- if (IS_ENABLED(CONFIG_ARM_GIC_V3_ITS) && gic_dist_supports_lpis())
- its_init(handle, &gic_data.rdists, gic_data.domain); ------(5)
- gic_smp_init(); ------(6)
- gic_dist_init(); ------(7)
- gic_cpu_init(); ------(8)
- gic_cpu_pm_init(); ------(9)
- return 0;
- ......
- }
- 確認(rèn)支持 SPI 中斷號(hào)最大的值為多少。
- 向系統(tǒng)中注冊(cè)一個(gè) irq domain 的數(shù)據(jù)結(jié)構(gòu),irq_domain 主要作用是將硬件中斷號(hào)映射到 irq number,后面會(huì)做詳細(xì)的介紹。
- 設(shè)定 arch 相關(guān)的 irq handler。gic_irq_handle 是內(nèi)核 gic 中斷處理的入口函數(shù),后面會(huì)做詳細(xì)的介紹。
- gic 虛擬化相關(guān)的內(nèi)容。
- 初始化 ITS。
- 設(shè)置 SMP 核間交互的回調(diào)函數(shù),用于 IPI,回到函數(shù)為 gic_raise_softir。
- 初始化 Distributor。
- 初始化 CPU interface。
- 初始化 GIC 電源管理。
中斷的映射
當(dāng)早期的系統(tǒng)只存在一個(gè)中斷控制器,而且中斷數(shù)目也不多的時(shí)候,一個(gè)很簡(jiǎn)單的做法就是一個(gè)中斷號(hào)對(duì)應(yīng)到中斷控制器的一個(gè)號(hào),可以說(shuō)是簡(jiǎn)單的線(xiàn)性映射:
但當(dāng)一個(gè)系統(tǒng)中有多個(gè)中斷控制器,而且中斷號(hào)也逐漸增加的時(shí)候。linux 內(nèi)核為了應(yīng)對(duì)此問(wèn)題,引入了 irq_domain 的概念。
irq_domain 的引入相當(dāng)于一個(gè)中斷控制器就是一個(gè) irq_domain。這樣一來(lái)所有的中斷控制器就會(huì)出現(xiàn)級(jí)聯(lián)的布局。利用樹(shù)狀的結(jié)構(gòu)可以充分的利用 irq 數(shù)目,而且每一個(gè) irq_domain 區(qū)域可以自己去管理自己 interrupt 的特性。
每一個(gè)中斷控制器對(duì)應(yīng)多個(gè)中斷號(hào), 而硬件中斷號(hào)在不同的中斷控制器上是會(huì)重復(fù)編碼的, 這時(shí)僅僅用硬中斷號(hào)已經(jīng)不能唯一標(biāo)識(shí)一個(gè)外設(shè)中斷,因此 linux kernel 提供了一個(gè)虛擬中斷號(hào)的概念。
接下來(lái)我們看下硬件中斷號(hào)是如何映射到虛擬中斷號(hào)的。
數(shù)據(jù)結(jié)構(gòu)
在看硬件中斷號(hào)映射到虛擬中斷號(hào)之前,先來(lái)看下幾個(gè)比較重要的數(shù)據(jù)結(jié)構(gòu)。
- struct irq_desc 描述一個(gè)外設(shè)的中斷,稱(chēng)之中斷描述符。
- struct irq_desc {
- struct irq_common_data irq_common_data;
- struct irq_data irq_data;
- unsigned int __percpu *kstat_irqs;
- irq_flow_handler_t handle_irq;
- ......
- struct irqaction *action;
- ......
- } ____cacheline_internodealigned_in_smp;
- irq_data:中斷控制器的硬件數(shù)據(jù)
- handle_irq:中斷控制器驅(qū)動(dòng)的處理函數(shù),指向一個(gè) struct irqaction 的鏈表,一個(gè)中斷源可以多個(gè)設(shè)備共享,所以一個(gè) irq_desc 可以?huà)燧d多個(gè) action,由鏈表結(jié)構(gòu)組織起來(lái)
- action:設(shè)備驅(qū)動(dòng)的處理函數(shù)
struct irq_data 包含中斷控制器的硬件數(shù)據(jù)。
- struct irq_data {
- u32 mask;
- unsigned int irq;
- unsigned long hwirq;
- struct irq_common_data *common;
- struct irq_chip *chip;
- struct irq_domain *domain;
- #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
- struct irq_data *parent_data;
- #endif
- void *chip_data;
- };
- irq:虛擬中斷號(hào)
- hwirq:硬件中斷號(hào)
- chip:對(duì)應(yīng)的 irq_chip 數(shù)據(jù)結(jié)構(gòu)
- domain:對(duì)應(yīng)的 irq_domain 數(shù)據(jù)結(jié)構(gòu)
struct irq_chip 用于對(duì)中斷控制器的硬件操作。
- struct irq_chip {
- struct device *parent_device;
- const char *name;
- unsigned int (*irq_startup)(struct irq_data *data);
- void (*irq_shutdown)(struct irq_data *data);
- void (*irq_enable)(struct irq_data *data);
- void (*irq_disable)(struct irq_data *data);
- void (*irq_ack)(struct irq_data *data);
- void (*irq_mask)(struct irq_data *data);
- void (*irq_mask_ack)(struct irq_data *data);
- void (*irq_unmask)(struct irq_data *data);
- void (*irq_eoi)(struct irq_data *data);
- int (*irq_set_affinity)(struct irq_data *data, const struct cpumask *dest, bool force);
- int (*irq_retrigger)(struct irq_data *data);
- int (*irq_set_type)(struct irq_data *data, unsigned int flow_type);
- int (*irq_set_wake)(struct irq_data *data, unsigned int on);
- void (*irq_bus_lock)(struct irq_data *data);
- void (*irq_bus_sync_unlock)(struct irq_data *data);
- ......
- };
- parent_device:指向父設(shè)備
- name:/proc/interrupts 中顯示的名字
- irq_startup:?jiǎn)?dòng)中斷,如果設(shè)置成 NULL,則默認(rèn)為 enable
- irq_shutdown:關(guān)閉中斷,如果設(shè)置成 NULL,則默認(rèn)為 disable
- irq_enable:中斷使能,如果設(shè)置成 NULL,則默認(rèn)為 chip->unmask
- irq_disable:中斷禁止
- irq_ack:開(kāi)始新的中斷
- irq_mask:中斷源屏蔽
- irq_mask_ack:應(yīng)答并屏蔽中斷
- irq_unmask:解除中斷屏蔽
- irq_eoi:中斷處理結(jié)束后調(diào)用
- irq_set_affinity:在 SMP 中設(shè)置 CPU 親和力
- irq_retrigger:重新發(fā)送中斷到 CPU
- irq_set_type:設(shè)置中斷觸發(fā)類(lèi)型
- irq_set_wake:使能/禁止電源管理中的喚醒功能
- irq_bus_lock:慢速芯片總線(xiàn)上的鎖
- irq_bus_sync_unlock:同步釋放慢速總線(xiàn)芯片的鎖
- struct irq_domain 與中斷控制器對(duì)應(yīng),完成硬件中斷號(hào) hwirq 到 virq 的映射。
- struct irq_domain {
- struct list_head link;
- const char *name;
- const struct irq_domain_ops *ops;
- void *host_data;
- unsigned int flags;
- unsigned int mapcount;
- /* Optional data */
- struct fwnode_handle *fwnode;
- enum irq_domain_bus_token bus_token;
- struct irq_domain_chip_generic *gc;
- #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
- struct irq_domain *parent;
- #endif
- #ifdef CONFIG_GENERIC_IRQ_DEBUGFS
- struct dentry *debugfs_file;
- #endif
- /* reverse map data. The linear map gets appended to the irq_domain */
- irq_hw_number_t hwirq_max;
- unsigned int revmap_direct_max_irq;
- unsigned int revmap_size;
- struct radix_tree_root revmap_tree;
- unsigned int linear_revmap[];
- };
- link:用于將 irq_domain 連接到全局鏈表 irq_domain_list 中
- name:irq_domain 的名稱(chēng)
- ops:irq_domain 映射操作函數(shù)集
- mapcount:映射好的中斷的數(shù)量
- fwnode:對(duì)應(yīng)中斷控制器的 device node
- parent:指向父級(jí) irq_domain 的指針,用于支持級(jí)聯(lián) irq_domain
- hwirq_max:該 irq_domain 支持的中斷最大數(shù)量
- linear_revmap[]:hwirq->virq 反向映射的線(xiàn)性表
- struct irq_domain_ops 是 irq_domain 映射操作函數(shù)集。
- struct irq_domain_ops {
- int (*match)(struct irq_domain *d, struct device_node *node,
- enum irq_domain_bus_token bus_token);
- int (*select)(struct irq_domain *d, struct irq_fwspec *fwspec,
- enum irq_domain_bus_token bus_token);
- int (*map)(struct irq_domain *d, unsigned int virq, irq_hw_number_t hw);
- void (*unmap)(struct irq_domain *d, unsigned int virq);
- int (*xlate)(struct irq_domain *d, struct device_node *node,
- const u32 *intspec, unsigned int intsize,
- unsigned long *out_hwirq, unsigned int *out_type);
- ......
- };
- match:用于中斷控制器設(shè)備與 irq_domain 的匹配
- map:用于硬件中斷號(hào)與 Linux 中斷號(hào)的映射
- xlate:通過(guò) device_node,解析硬件中斷號(hào)和觸發(fā)方式
struct irqaction 主要是用來(lái)存設(shè)備驅(qū)動(dòng)注冊(cè)的中斷處理函數(shù)。
- struct irqaction {
- irq_handler_t handler;
- void *dev_id;
- ......
- unsigned int irq;
- unsigned int flags;
- ......
- const char *name;
- struct proc_dir_entry *dir;
- } ____cacheline_internodealigned_in_smp;
- handler:設(shè)備驅(qū)動(dòng)里的中斷處理函數(shù)
- dev_id:設(shè)備 id
- irq:中斷號(hào)
- flags:中斷標(biāo)志,注冊(cè)時(shí)設(shè)置,比如上升沿中斷,下降沿中斷等
- name:中斷名稱(chēng),產(chǎn)生中斷的硬件的名字
- dir:指向 /proc/irq/ 相關(guān)的信息
這里,我們用一張圖來(lái)匯總下上面的數(shù)據(jù)結(jié)構(gòu):
上面的結(jié)構(gòu)體 struct irq_desc 是設(shè)備驅(qū)動(dòng)加載的過(guò)程中完成的,讓設(shè)備樹(shù)中的中斷能與具體的中斷描述符 irq_desc 匹配,其中 struct irqaction 保存著設(shè)備的中斷處理函數(shù)。右邊框內(nèi)的結(jié)構(gòu)體主要是在中斷控制器驅(qū)動(dòng)加載的過(guò)程中完成的,其中 struct irq_chip 用于對(duì)中斷控制器的硬件操作,struct irq_domain 用于硬件中斷號(hào)到 Linux irq 的映射。
下面我們結(jié)合代碼看下中斷控制器驅(qū)動(dòng)和設(shè)備驅(qū)動(dòng)是如何創(chuàng)建這些結(jié)構(gòu)體,并且硬中斷和虛擬中斷號(hào)是如何完成映射的。
中斷控制器注冊(cè) irq_domain
通過(guò) __irq_domain_add 初始化 irq_domain 數(shù)據(jù)結(jié)構(gòu),然后把 irq_domain 添加到全局的鏈表 irq_domain_list 中。
外設(shè)的驅(qū)動(dòng)創(chuàng)建硬中斷和虛擬中斷號(hào)的映射關(guān)系
設(shè)備的驅(qū)動(dòng)在初始化的時(shí)候可以調(diào)用 irq_of_parse_and_map 這個(gè)接口函數(shù)進(jìn)行該 device node 中和中斷相關(guān)的內(nèi)容的解析,并建立映射關(guān)系
- of_irq_parse_one 函數(shù)用于解析DTS文件中設(shè)備定義的屬性,如"reg", “interrupt”
- irq_find_matching_fwspec 遍歷 irq_domain_list 鏈表,找到 device node 匹配的 irq_domain
- gic_irq_domain_translate 解析出中斷信息,比如硬件中斷號(hào) hwirq,中斷觸發(fā)方式
- irq_domain_alloc_descs 分配一個(gè)虛擬的中斷號(hào) virq,分配和初始化中斷描述符 irq_desc
- gic_irq_domain_alloc 為 hwirq 和 virq 創(chuàng)建映射關(guān)系。內(nèi)部會(huì)通過(guò) irq_domain_set_info 調(diào)用 irq_domain_set_hwirq_and_chip,然后通過(guò) virq 獲取 irq_data 結(jié)構(gòu)體,并將 hwirq 設(shè)置到 irq_data->hwirq 中, 最終完成 hwirq 到 virq 的映射
- irq_domain_set_info 根據(jù)硬件中斷號(hào)的范圍設(shè)置 irq_desc->handle_irq 的指針,共享中斷入口為 handle_fasteoi_irq,私有中斷入口為 handle_percpu_devid_irq
最后,我們可以通過(guò) /proc/interrupts 下的值來(lái)看下它們的關(guān)系:
現(xiàn)在,我們已經(jīng)知道內(nèi)核為硬件中斷號(hào)與 Linux 中斷號(hào)做了映射,相關(guān)數(shù)據(jù)結(jié)構(gòu)的綁定及初始化,并且設(shè)置了中斷處理函數(shù)執(zhí)行的入口。接下來(lái)我們?cè)倏聪略O(shè)備的中斷是怎么來(lái)注冊(cè)的?
中斷的注冊(cè)
設(shè)備驅(qū)動(dòng)中,獲取到了 irq 中斷號(hào)后,通常就會(huì)采用 request_irq/request_threaded_irq 來(lái)注冊(cè)中斷,其中 request_irq 用于注冊(cè)普通處理的中斷。request_threaded_irq 用于注冊(cè)線(xiàn)程化處理的中斷,線(xiàn)程化中斷的主要目的把中斷上下文的任務(wù)遷移到線(xiàn)程中,減少系統(tǒng)關(guān)中斷的時(shí)間,增強(qiáng)系統(tǒng)的實(shí)時(shí)性。
- static inline int __must_check
- request_irq(unsigned int irq, irq_handler_t handler, unsigned long flags,
- const char *name, void *dev)
- {
- return request_threaded_irq(irq, handler, NULL, flags, name, dev);
- }
其中 irq 是 linux 中斷號(hào),handler 是中斷處理函數(shù),flags 是中斷標(biāo)志位,name 是中斷的名字。在講具體的注冊(cè)流程前,先看一下主要的中斷標(biāo)志位:
- #define IRQF_SHARED 0x00000080 //多個(gè)設(shè)備共享一個(gè)中斷號(hào),需要外設(shè)硬件支持
- #define IRQF_PROBE_SHARED 0x00000100 //中斷處理程序允許sharing mismatch發(fā)生
- #define __IRQF_TIMER 0x00000200 //時(shí)鐘中斷
- #define IRQF_PERCPU 0x00000400 //屬于特定CPU的中斷
- #define IRQF_NOBALANCING 0x00000800 //禁止在CPU之間進(jìn)行中斷均衡處理
- #define IRQF_IRQPOLL 0x00001000 //中斷被用作輪訓(xùn)
- #define IRQF_ONESHOT 0x00002000 //一次性觸發(fā)的中斷,不能嵌套,1)在硬件中斷處理完成后才能打開(kāi)中斷;2)在中斷線(xiàn)程化中保持關(guān)閉狀態(tài),直到該中斷源上的所有thread_fn函數(shù)都執(zhí)行完
- #define IRQF_NO_SUSPEND 0x00004000 //系統(tǒng)休眠喚醒操作中,不關(guān)閉該中斷
- #define IRQF_FORCE_RESUME 0x00008000 //系統(tǒng)喚醒過(guò)程中必須強(qiáng)制打開(kāi)該中斷
- #define IRQF_NO_THREAD 0x00010000 //禁止中斷線(xiàn)程化
- #define IRQF_EARLY_RESUME 0x00020000 //系統(tǒng)喚醒過(guò)程中在syscore階段resume,而不用等到設(shè)備resume階段
- #define IRQF_COND_SUSPEND 0x00040000 //與NO_SUSPEND的用戶(hù)共享中斷時(shí),執(zhí)行本設(shè)備的中斷處理函數(shù)
創(chuàng)建完成后,通過(guò) ps 命令可以查看系統(tǒng)中的中斷線(xiàn)程,注意這些線(xiàn)程是實(shí)時(shí)線(xiàn)程 SCHED_FIFO:
- # ps -A | grep "irq/"
- root 1749 2 0 0 irq_thread 0 S [irq/433-imx_drm]
- root 1750 2 0 0 irq_thread 0 S [irq/439-imx_drm]
- root 1751 2 0 0 irq_thread 0 S [irq/445-imx_drm]
- root 1752 2 0 0 irq_thread 0 S [irq/451-imx_drm]
- root 2044 2 0 0 irq_thread 0 S [irq/279-isl2902]
- root 2192 2 0 0 irq_thread 0 S [irq/114-mmc0]
- root 2199 2 0 0 irq_thread 0 S [irq/115-mmc1]
- root 2203 2 0 0 irq_thread 0 S [irq/322-5b02000]
- root 2361 2 0 0 irq_thread 0 S [irq/294-4-0051]