一個測試記錄：利用【分段鎖】來處理并發情況下的資源競爭問題
目錄
- 問題描述
- 測試代碼
- 測試結果
- 測試代碼簡介
別人的經驗，我們的階梯!
在開發中經常遇到多個并發執行的線程，需要對同一個資源進行訪問，也就是發生資源競爭。
在這種場景中，一般的做法就是加鎖，通過鎖機制對臨界區進行保護，以達到資源獨占的目的。
這篇文章主要描述的就是使用分段鎖來解決這個問題，說起來很簡單：就是把鎖的粒度降低，以達到資源獨占、最大程度避免競爭的目的。
問題描述
周末和朋友聊天說到最近的工作，他們有個項目，需要把之前的一個單片機程序，移植到x86平臺。
由于歷史的原因，代碼中到處都充斥著全局變量，你懂得：在以前的單片機中充斥著大量的全局變量，方便、好用啊!
在代碼中，盡量避免使用全局變量。壞處有：不方便模塊化，函數不可重入，耦合性大。。。
由于大部分的單片機都只有一個CPU，是真正的串行操作。
也許你會說：會發生中斷啊，這也是一種異步操作。
沒錯，但是可以在訪問全局變量的地方把中斷關掉，這樣就不會避免了資源競爭的情況了。
但是，移植到x86平臺之后，在多核的情況下，多個線程(任務)是真正的并發執行序列。
如果多個線程同時操作某一個全局變量，就一定存在競爭的情況。
針對這個問題，首先想到的方案就是：分配一般互斥鎖，無論哪個線程想訪問全局變量，首先獲取到鎖，然后才能操作全局變量，操作完成之后再釋放鎖。
但是，這個方案有一個很大的問題，就是：當并發線程很多的情況下，程序的執行效率太低。
他們最后的解決方案是分段加鎖，也就是對全局變量按照數據索引進行分割，每一段數據分配一把鎖。
至于每一段的數據長度是多少，這需要根據實際的業務場景進行調整，以達到最優的性能。
回來之后，我覺得這個想法非常巧妙。
這個機制看起來很簡單，但是真的能解決大問題。
于是我就寫了一段代碼來測試一下：這種方案對程序的性能有多大的影響。
測試代碼
在測試代碼中，定義了一個全局變量：
volatile int test_data[DATA_TOTAL_NUM];
數組的長度是10000(宏定義：DATA_TOTAL_NUM)，然后創建100個線程來并發訪問這個全局變量，每個線程訪問100000次。
然后執行3個測試用例：
測試1：不使用鎖
00個線程同時操作全局變量，訪問的數據索引隨機產生，最后統計每個線程的平均執行時間。
不使用鎖的話，最后的結果(全局變量中的數據內容)肯定是錯誤的，這里僅僅是為了看一下時間消耗。
測試2：使用一把全局鎖(大鎖)
100個線程使用一把鎖。
每個線程在操作全局變量之前，首先要獲取到這把鎖，然后才能操作全局變量，否則的話只能阻塞著等其它線程釋放鎖。
測試3：使用分段鎖
根據全局變量的長度，分配多把鎖。
每個線程在訪問的時候，根據訪問的數據索引，獲取不同的鎖，這樣就降低了競爭的幾率。
在這個測試場景中，全局變量test_data的長度是10000，每100個數據分配一把鎖，那么一共需要100把鎖。
比如，在某個時刻：
- 線程1想訪問test_data[110]。
- 線程2想訪問test_data[120]。
- 線程3想訪問test_data[9900]。
首先根據每個線程要訪問的數據索引進行計算：這個索引對應的哪一把鎖?
計算方式：訪問索引 % 每把鎖對應的數據長度
經過計算得知：線程1、線程2就會對第二把鎖進行競爭;
而線程3就可以獨自獲取最后一把鎖，這樣的話線程3就避開了與線程1、線程2的競爭。
測試結果
$ ./a.out
test1_naked: average = 2876 ms
test2_one_big_lock: average = 11233 ms
test3_segment_lock: average = 3216 ms
從測試結果上看，分段加鎖比使用一把全局鎖，對于程序性能的提高確實很明顯。
當然了，測試結果與不同的系統環境、業務場景有關，特別是線程的競爭程度、在臨界區中的執行時間等。
測試代碼簡介
測試代碼沒有考慮跨邊界的情況。
比如：某個線程需要訪問190 ~ 210這些索引上的數據，這個區間正好跨越了200這個分界點。
第0把鎖：0 ~ 99。
第1把鎖：100 ~ 199。
第2把鎖：200 ~ 299。
因此，訪問190 ~ 210就需要同時獲取到第1、2把鎖。
在實際項目中需要考慮到這種跨邊界的情況，通過計算開始和結束索引，把這些鎖都獲取到才可以。
當然了，為了防止發生死鎖，需要按照順序來獲取。
#define THREAD_NUMBER 100 // 線程個數
#define LOOP_TIMES_EACH_THREAD 100000 // 每個線程中 for 循環的執行次數
#define DATA_TOTAL_NUM 10000 // 全局變量的長度
#define SEGMENT_LEN 100 // 多少個數據分配一把鎖
volatile int test_data[DATA_TOTAL_NUM]; // 被競爭的全局變量
void main(void)
{
test1_naked();
test2_one_big_lock();
test3_segment_lock();
while (1)
sleep(3); // 主線程保持運行，也可以使用getchar();
}
// 測試1：子線程執行的函數
void *test1_naked_function(void *arg)
{
struct timeval tm1, tm2;
gettimeofday(&tm1, NULL);
for (unsigned int i = 0; i < LOOP_TIMES_EACH_THREAD; i++)
{
do_some_work(); // 模擬業務操作
unsigned int pos = rand() % DATA_TOTAL_NUM;
test_data[pos] = i * i; // 隨機訪問全局變量中的某個數據
}
gettimeofday(&tm2, NULL);
return (tm2 - tm1);
}
// 測試2：子線程執行的函數
void *test2_one_big_lock_function(void *arg)
{
test2_one_big_lock_arg *data = (test2_one_big_lock_arg *)arg;
struct timeval tm1, tm2;
gettimeofday(&tm1, NULL);
for (unsigned int i = 0; i < LOOP_TIMES_EACH_THREAD; i++)
{
pthread_mutex_lock(&data->lock); // 上鎖
do_some_work(); // 模擬業務操作
unsigned int pos = rand() % DATA_TOTAL_NUM;
test_data[pos] = i * i; // 隨機訪問全局變量中的某個數據
pthread_mutex_unlock(&data->lock); // 解鎖
}
gettimeofday(&tm2, NULL);
return (tm2 - tm1);
}
// 測試3：子線程執行的函數
void *test3_segment_lock_function(void *arg)
{
test3_segment_lock_arg *data = (test3_segment_lock_arg *)arg;
struct timeval tm1, tm2;
gettimeofday(&tm1, NULL);
for (unsigned int i = 0; i < LOOP_TIMES_EACH_THREAD; i++)
{
unsigned int pos = rand() % DATA_TOTAL_NUM; // 產生隨機訪問的索引
unsigned int lock_index = pos / SEGMENT_LEN; // 根據索引計算需要獲取哪一把鎖
pthread_mutex_lock(data->lock + lock_index); // 上鎖
do_some_work(); // 模擬業務操作
test_data[pos] = i * i; // 隨機訪問全局變量中的某個數據
pthread_mutex_unlock(data->lock + lock_index); // 解鎖
}
gettimeofday(&tm2, NULL);
return (tm2 - tm1);
}
void test1_naked()
{
創建 100 個線程，線程執行函數是 test1_naked_function()
printf("test1_naked: average = %ld ms \n", ms_total / THREAD_NUMBER);
}
void test2_one_big_lock()
{
創建 100 個線程，線程執行函數是 test2_one_big_lock_function()，需要把鎖作為參數傳遞給子線程。
printf("test2_one_big_lock: average = %ld ms \n", ms_total / THREAD_NUMBER);
}
void test3_segment_lock()
{
根據全局變量的長度，初始化很多把鎖。
創建 100 個線程，線程執行函數是 test2_one_big_lock_function()，需要把鎖作為參數傳遞給子線程。
printf("test3_segment_lock: average = %ld ms \n", ms_total / THREAD_NUMBER);
}
在Linux系統中可以直接編譯、執行，拿來即用。
祝您好運!
本文轉載自微信公眾號「IOT物聯網小鎮」
