NUMA的出現

我們都知道，CPU是計算機的核心組件，它被設計用來完成計算機的核心任務：計算，這里的計算既包括數學上的運算，還包括條件的判斷、IO設備的讀寫等多個方面。

在計算機發展初期，為了提升CPU的計算能力，工程師們的方法是不斷增加晶體管的數量和提升CPU的主頻，因為這可以讓CPU在單位時間內完成更多次數的計算。

然而，當技術發展到一定程度之后，CPU的散熱和功耗的問題開始變得突出，單純提升主頻開始變得越來越困難，然后工程師們又有了新的想法：既然一個人干活效率有限，那就讓更多的人一起干活吧！于是，多核CPU應運而生。

多核CPU可以同時處理多個任務，極大地提高了計算機的運算速度。然而，隨著核心數量的增加，新的問題也隨之出現。在多核CPU系統中，所有的核心共享同一塊內存，當多個核心同時訪問內存時，就會產生爭用，這種爭用會導致內存訪問的延遲增加，從而影響系統的整體性能。

為了解決這個問題，工程師們又提出了非統一內存訪問（NUMA）架構。在NUMA架構中，每個節點都有自己的內存，節點之間通過CPU互連網絡進行通信。這樣，每個節點中的處理器訪問自己的內存時，就不會與其他節點產生爭用，從而減少了內存訪問的延遲，提高了系統的整體性能。

圖片

NUMA的問題

雖然非統一內存訪問（NUMA）架構可以提高多處理器系統的性能，但它也帶來了一些新的問題，主要包括以下幾點：

內存訪問不均衡

在NUMA系統中，處理器訪問遠程內存時需要經過核心之間的通道進行，因此本地內存的速度要比訪問遠程內存快，大約比訪問其它節點快2倍以上。這就意味著，如果一個程序的數據大部分位于遠程節點，那么它的性能可能會受到影響。例如，假設有一個程序，它在處理器A上運行，但它需要訪問的數據大部分在處理器B的本地內存中，那么它需要花費更多的時間來獲取這些數據，這就降低了程序的運行效率。

還有，如果程序的數據不是均勻的分布在各個內存節點，CPU訪問數據時就可能時快時慢，這會給程序的穩定運行帶來一些挑戰，對于一些性能敏感的應用影響會比較大。

數據管理復雜

在NUMA系統中，每個處理器都有自己的內存，這就需要操作系統和應用程序更加智能地管理數據的分布和遷移，以確保內存訪問的均衡性。例如，操作系統需要能夠監控程序的內存訪問模式，并根據需要將數據從一個節點遷移到另一個節點，這增加了操作系統的復雜性。

另外，現代CPU的物理核心都會自帶一個高速緩存，它會緩存程序頻繁使用和即將使用的數據，如果程序頻繁的在各個物理核心之間切換執行，就會導致緩存的失效，影響程序的性能。解決這個問題需要復雜的緩存同步機制。

硬件和軟件兼容性問題

NUMA架構需要特定的硬件支持，并且需要操作系統和應用程序具有相應的調度和優化策略，以充分利用NUMA的優勢。例如，一些操作系統可能無法正確識別和優化NUMA硬件，或者一些應用程序可能沒有正確地使用NUMA API，這都可能影響到系統的性能。

解決方案

解決NUMA架構中遇到的問題并不是那么容易，這涉及到硬件設計、操作系統優化和應用程序調度等多方面的技術和策略，下面是一些常見的解決方案：

內存親和性

內存親和性(memory affinity)是一種讓程序盡可能訪問本地內存的技術。這主要有賴于操作系統，它可以通過調度策略，讓線程或進程在訪問數據時，優先訪問它們所在的CPU節點的內存。這樣可以減少訪問遠程內存的次數，提高程序的運行效率。

這還有賴于操作系統的智能內存管理機制。例如，Linux操作系統中的自動NUMA平衡功能，可以自動監控程序的內存訪問模式，并在需要時將數據遷移到更接近的節點，以減少訪問遠程內存的開銷。

高速互連技術

有時候跨節點訪問內存不可避免，為了盡量提高和穩定訪問速度，CPU廠商們在小小的硅片上搞出了很多小花樣。

在多核CPU中，一些核心可能會共享一級或二級緩存。操作系統可以將需要頻繁通信的線程調度到共享緩存的核心上，可以提高數據訪問的效率。

在大型的NUMA系統中，可能會有很多個處理器和內存節點。為了更好地管理這些資源，設計者們將相鄰的或者性能相似的節點組織在一起，形成一個子NUMA群組。每個群組內部的節點可以高速互連，而群組之間的連接可能會相對較慢。在應用程序設計和系統調度方面，我們可以將這些群組作為調度和內存分配的單位，以便更好地控制內存訪問的性能。

為了提高處理器內部或處理器之間的訪問速度，CPU廠商們搞出了一些高速互聯技術，比如AMD的Infinity Fabric和Intel的Ultra Path Interconnect（UPI），它們可以提供更高的帶寬和更低的延遲，提高了數據在節點之間的傳輸效率。

軟硬件兼容

為了充分利用NUMA的優勢，硬件、操作系統和應用程序需要進行相應的優化。硬件制造商需要提供支持NUMA的硬件，并提供相應的驅動程序。

操作系統依賴這些驅動程序，然后能夠識別和管理NUMA硬件，并提供相應的API供應用程序使用。比如Linux提供了numactl工具和libnuma庫，可以用來設置內存親和性。

應用程序開發者則需要了解NUMA架構，并使用正確的API和算法，以確保程序在NUMA系統上的性能。

比如在多線程環境中，如果兩個或更多的線程在同一個緩存行中的不同位置讀寫數據，一個線程寫數據就可能導致另一個線程需要讀取的數據在緩存中失效，從而導致很慢的內存讀取。這就需要在編程時注意：盡量讓同一緩存行中的數據被同一個線程訪問，或者是通過內存對齊和填充，使得同一緩存行中的數據不會被多個線程同時訪問。

一些高性能的程序都會考慮這方面的問題，比如Java中的Disruptor異步處理庫，Disruptor在每個事件處理器的序列號周圍填充了一些無用的數據，使得每個事件處理器的序列號都獨占一個緩存行。這樣，即使多個事件處理器在并發地更新自己的序列號，也不會影響到其他事件處理器的緩存行。

總的來說，解決NUMA架構中的問題需要硬件、操作系統和應用程序的配合。通過正確的設計和優化，可以充分利用NUMA的優勢，提高多處理器系統的性能。

應用案例

再舉兩個例子。

數據庫應用

在數據庫應用中，我們可以利用NUMA的特點進行優化。例如，我們可以將數據庫的表分區，并將不同的分區分配到不同的NUMA節點。這樣，當多個查詢同時運行時，它們可以在不同的節點上并行執行，互不干擾，從而提高了查詢的性能。

高性能計算

在高性能計算應用中，我們可以將并行的任務分配到不同的NUMA節點上。這樣，每個任務可以在本地內存中訪問數據，避免了訪問遠程內存的開銷，從而提高了計算的效率。

通過這些例子可以看到一個基本原則：在NUMA架構中，我們應該盡可能讓任務在本地內存中訪問數據，以避免訪問遠程內存的開銷。通過合理的任務調度和數據分布策略，我們可以充分利用NUMA的優勢，提高程序的性能。