C# 高級:TAP 異步編程
本文轉(zhuǎn)載自微信公眾號「精致碼農(nóng)」,作者liamwang。轉(zhuǎn)載本文請聯(lián)系精致碼農(nóng)公眾號。
我們的應(yīng)用程序廣泛使用文件和網(wǎng)絡(luò) I/O 操作,I/O 相關(guān) API 傳統(tǒng)上默認(rèn)是阻塞的,導(dǎo)致用戶體驗和硬件利用率不佳,此類問題的編碼難度也較大。
解決此類問題需要使用異步編程,異步強調(diào)的是非阻塞,是一種編程模式,主要解決了因文件、網(wǎng)絡(luò)等 I/O 操作阻塞主線程工作的問題,比如阻塞期間 UI 無法響應(yīng)問題。
而異步編程又可以借助多線程技術(shù)來解決。前面我們講了基于 System.Threading 命名空間的多線程編程,該命名空間提供的類型是直接和線程相關(guān)的 API,雖然可以用來實現(xiàn)異步操作,但有些繁瑣。隨著 .NET 的發(fā)展,.NET 對多線程編程相繼做了進(jìn)一步的抽象封裝,引入了 System.Threading.Tasks 命名空間,使多線程異步編程更簡單易懂。
異步編程主要有如下用途:
在等待 I/O 請求返回的過程中,通過讓出線程使其能處理更多的服務(wù)器請求。
在等待 I/O 請求時讓出線程使其繼續(xù)進(jìn)行 UI 交互,并將需要長時間運行的工作過渡到其他 CPU 線程,使用戶界面的響應(yīng)性更強。
使用 .NET 基于 Task 的異步模型可以直接編寫 I/O 受限和 CPU 受限的異步代碼。該模型圍繞著 Task 和 Task
1Task 和 Task
Task 是 Promise 模型的實現(xiàn)。簡單說,它給出“承諾(Promise)”:會在稍后完成工作。而 .NET 的 Task 是為了簡化使用“Promise”而設(shè)計的 API。
Task 表示不返回值的操作,Task
重要的是要把 Task 理解為發(fā)起異步工作的抽象,而不是對線程的抽象。默認(rèn)情況下,Task 在當(dāng)前線程上執(zhí)行,并酌情將工作委托給操作系統(tǒng)。可以選擇通過 Task.Run API 明確要求任務(wù)在單獨的線程上運行。
Task 提供了一個 API 協(xié)議,用于監(jiān)視、等待和訪問任務(wù)的結(jié)果值。比如,通過 await 關(guān)鍵字等待任務(wù)執(zhí)行完成,為使用 Task 提供了更高層次的抽象。
使用 await 允許你在任務(wù)運行期間執(zhí)行其它有用的工作,將線程的控制權(quán)交給其它調(diào)用者,直到自己的任務(wù)完成。你不再需要依賴回調(diào)或事件來在任務(wù)完成后繼續(xù)執(zhí)行后續(xù)工作。
2Task 的狀態(tài)
雖然實際 TAP 編程中很少使用到 Task 的狀態(tài),但它是很多異步操作機理的基礎(chǔ)。Task 類為異步操作提供了一個生命周期,這個周期由 TaskStatus 枚舉表示,它有如下值:
- public enum TaskStatus
- {
- Created = 0,
- WaitingForActivation = 1,
- WaitingToRun = 2,
- Running = 3,
- WaitingForChildrenToComplete = 4,
- RanToCompletion = 5,
- Canceled = 6,
- Faulted = 7
- }
其中 Canceled、Faulted 和 RanToCompletion 狀態(tài)一起被認(rèn)為是任務(wù)的最終狀態(tài)。因此,如果任務(wù)處于最終狀態(tài),則其 IsCompleted 屬性為 true 值。
3I/O 受限異步操作
下面示例代碼演示了一個典型的異步 I/O 調(diào)用操作:
- public Task<string> GetHtmlAsync()
- {
- // 此處是同步執(zhí)行
- var client = new HttpClient();
- return client.GetStringAsync("https://www.dotnetfoundation.org");
- }
這個例子調(diào)用了一個異步方法,并返回了一個活動的 Task,它很可能還沒有完成。
下面第二個代碼示例增加了async和await關(guān)鍵字對任務(wù)進(jìn)行操作:
- public async Task<string> GetFirstCharactersCountAsync(string url, int count)
- {
- // 此處是同步執(zhí)行
- var client = new HttpClient();
- // 此處 await 掛起代碼的執(zhí)行,把控制權(quán)交出去(線程可以去做別的事情)
- var page = await client.GetStringAsync("https://www.dotnetfoundation.org");
- // 任務(wù)完成后恢復(fù)了控制權(quán),繼續(xù)執(zhí)行后續(xù)代碼
- // 此處回到了同步執(zhí)行
- if (count > page.Length)
- {
- return page;
- }
- else
- {
- return page.Substring(0, count);
- }
- }
使用 await 關(guān)鍵字告訴當(dāng)前上下文趕緊生成快照并交出控制權(quán),異步任務(wù)執(zhí)行完成后會帶著返回值去線程池排隊等待可用線程,等到可用線程后,恢復(fù)上下文,線程繼續(xù)執(zhí)行后續(xù)代碼。
GetStringAsync() 方法的內(nèi)部通過底層 .NET 庫調(diào)用資源(也許會調(diào)用其他異步方法),一直到 P/Invoke 互操作調(diào)用本地(Native)網(wǎng)絡(luò)庫。本地庫隨后可能會調(diào)用到一個系統(tǒng) API(如 Linux 上 Socket 的write()API)。Task 對象將通過層層傳遞,最終返回給初始調(diào)用者。
在整個過程中,關(guān)鍵的一點是,沒有一個線程是專門用來處理任務(wù)的。雖然工作是在某種上下文中執(zhí)行的(操作系統(tǒng)確實要把數(shù)據(jù)傳遞給設(shè)備驅(qū)動程序并中斷響應(yīng)),但沒有線程專門用來等待請求的數(shù)據(jù)回返回。這使得系統(tǒng)可以處理更大的工作量,而不是干等著某個 I/O 調(diào)用完成。
雖然上面的工作看似很多,但與實際 I/O 工作所需的時間相比,簡直微不足道。用一條不太精確的時間線來表示,大概是這樣的:
- 0-1--------------------2-3
從0到1所花費的時間是await交出控制權(quán)之前所花的時間。從1到2花費的時間是GetStringAsync方法花費在 I/O 上的時間,沒有 CPU 成本。最后,從2到3花費的時間是上下文重新獲取控制權(quán)后繼續(xù)執(zhí)行的時間。
4CPU 受限異步操作
CPU 受限的異步代碼與 I/O 受限的異步代碼有些不同。因為工作是在 CPU 上完成的,所以沒有辦法繞開專門的線程來進(jìn)行計算。使用 async 和 await 只是為你提供了一種干凈的方式來與后臺線程進(jìn)行交互。請注意,這并不能為共享數(shù)據(jù)提供加鎖保護(hù),如果你正在使用共享數(shù)據(jù),仍然需要使用適當(dāng)?shù)耐讲呗浴?/p>
下面是一個 CPU 受限的異步調(diào)用:
- public async Task<int> CalculateResult(InputData data)
- {
- // 在線程池排隊獲取線程來處理任務(wù)
- var expensiveResultTask = Task.Run(() => DoExpensiveCalculation(data));
- // 此時此處,你可以并行地處理其它工作
- var result = await expensiveResultTask;
- return result;
- }
CalculateResult方法在它被調(diào)用的線程(一般可以定義為主線程)上執(zhí)行。當(dāng)它調(diào)用Task.Run時,會在線程池上排隊執(zhí)行 CPU 受限操作 DoExpensiveCalculation,并接收一個Task
對于開發(fā)者,CPU 受限和 I/O 受限的在調(diào)用方式上沒什么區(qū)別。區(qū)別在于所調(diào)用資源性質(zhì)的不同,不必關(guān)心底層對不同資源的調(diào)用的具體邏輯。編寫代碼需要考慮的是,對于 CPU 受限的異步任務(wù),根據(jù)實際情況考慮是否需要使其和其它任務(wù)并行執(zhí)行,以加快程序的整體運行時間。
5異步編程模式
最后簡單回顧一下 .NET 歷史上提供的三種執(zhí)行異步操作的模式。
- 基于任務(wù)的異步模式(Task-based Asynchronous Pattern,TAP),它使用單一的方法來表示異步操作的啟動和完成。TAP 是在 .NET Framework 4 中引入的。它是 .NET 中異步編程的推薦方法。C# 中的 async 和 await 關(guān)鍵字為 TAP 添加了語言支持。
- 基于事件的異步模式(Event-based Asynchronous Pattern,EAP),這是基于事件的傳統(tǒng)模式,用于提供異步行為。它需要一個具有 Async 后綴的方法和一個或多個事件。EAP 是在 .NET Framework 2.0 中引入的。它不再被推薦用于新的開發(fā)。
- 異步編程模式(Asynchronous Programming Model,APM)模式,也稱為 IAsyncResult 模式,這是使用 IAsyncResult 接口提供異步行為的傳統(tǒng)模式。在這種模式中,需要Begin和End方法同步操作(例如,BeginWrite和EndWrite來實現(xiàn)異步寫操作)。這種模式也不再推薦用于新的開發(fā)。
下面簡單舉例對三種模式進(jìn)行比較。
假設(shè)有一個 Read 方法,該方法從指定的偏移量開始將指定數(shù)量的數(shù)據(jù)讀入提供的緩沖區(qū):
- public class MyClass
- {
- public int Read(byte [] buffer, int offset, int count);
- }
若用 TAP 異步模式來改寫,該方法將是簡單的一個 ReadAsync 方法:
- public class MyClass
- {
- public Task<int> ReadAsync(byte [] buffer, int offset, int count);
- }
若使用 EAP 異步模式,需要額外多定義一些類型和成員:
- public class MyClass
- {
- public void ReadAsync(byte [] buffer, int offset, int count);
- public event ReadCompletedEventHandler ReadCompleted;
- }
- public delegate void ReadCompletedEventHandler(
- object sender, ReadCompletedEventArgs e);
- public class ReadCompletedEventArgs : AsyncCompletedEventArgs
- {
- public MyReturnType Result { get; }
- }
若使用 AMP 異步模式,則需要定義兩個方法,一個用于開始執(zhí)行異步操作,一個用于接收異步操作結(jié)果:
- public class MyClass
- {
- public IAsyncResult BeginRead(
- byte [] buffer, int offset, int count,
- AsyncCallback callback, object state);
- public int EndRead(IAsyncResult asyncResult);
- }
后兩種異步模式已經(jīng)過時不推薦使用了,這里也不再繼續(xù)探討。年長的 .NET 程序員可能比較熟悉后兩種異步模式,畢竟那時候沒有 async/await,應(yīng)該沒少折騰。
下面來介紹幾個常見的基于 TAP 的異步操作。
6手動控制任務(wù)啟動
為了支持手動控制任務(wù)啟動,并支持構(gòu)造與調(diào)用的分離,Task 類提供了一個 Start 方法。由 Task 構(gòu)造函數(shù)創(chuàng)建的任務(wù)被稱為冷任務(wù),因為它們的生命周期處于 Created 狀態(tài),只有該實例的 Start 方法被調(diào)用才會啟動。
任務(wù)狀態(tài)平時用的情況不多,一般我們在封裝一個任務(wù)相關(guān)的方法時,可能會用到。比如下面這個例子,需要判斷某任務(wù)滿足一定條件才啟動:
- static void Main(string[] args)
- {
- MyTask t = new(() =>
- {
- // do something.
- });
- StartMyTask(t);
- Console.ReadKey();
- }
- public static void StartMyTask(MyTask t)
- {
- if (t.Status == TaskStatus.Created && t.Counter>10)
- {
- t.Start();
- }
- else
- {
- // 這里模擬計數(shù)業(yè)務(wù)代碼,直到 Counter>10 再執(zhí)行 Start
- while (t.Counter <= 10)
- {
- // Do something
- t.Counter++;
- }
- t.Start();
- }
- }
- public class MyTask : Task
- {
- public MyTask(Action action) : base(action)
- {
- }
- public int Counter { get; set; }
- }
同樣,TaskStatus.Created 狀態(tài)以外的狀態(tài),我們叫它熱任務(wù),熱任務(wù)一定是被調(diào)用了 Start 方法激活過的。
7確保任務(wù)已激活
注意,所有從 TAP 方法返回的任務(wù)都必須被激活,比如下面這樣的代碼:
- MyTask task = new(() =>
- {
- Console.WriteLine("Do something.");
- });
- // 在其它地方調(diào)用
- await task;
在 await 之前,任務(wù)沒有執(zhí)行 Task.Start 激活,await 時程序就會一直等待下去。所以如果一個 TAP 方法內(nèi)部使用 Task 構(gòu)造函數(shù)來實例化要返回的 Task,那么 TAP 方法必須在返回 Task 對象之前對其調(diào)用 Start。
8任務(wù)取消
在 TAP 中,取消對于異步方法實現(xiàn)者和消費者來說都是可選的。如果一個操作允許取消,它就會暴露一個異步方法的重載,該方法接受一個取消令牌(CancellationToken 實例)。按照慣例,參數(shù)被命名為 cancellationToken。例如:
- public Task ReadAsync(
- byte [] buffer, int offset, int count,
- CancellationToken cancellationToken)
異步操作會監(jiān)控這個令牌是否有取消請求。如果收到取消請求,它可以選擇取消操作,如下面的示例通過 while 來監(jiān)控令牌的取消請求:
- static void Main(string[] args)
- {
- CancellationTokenSource source = new();
- CancellationToken token = source.Token;
- var task = DoWork(token);
- // 實際情況可能是在稍后的其它線程請求取消
- Thread.Sleep(100);
- source.Cancel();
- Console.WriteLine($"取消后任務(wù)返回的狀態(tài):{task.Status}");
- Console.ReadKey();
- }
- public static Task DoWork(CancellationToken cancellationToken)
- {
- while (!cancellationToken.IsCancellationRequested)
- {
- // Do something.
- Thread.Sleep(1000);
- return Task.CompletedTask;
- }
- return Task.FromCanceled(cancellationToken);
- }
如果取消請求導(dǎo)致工作提前結(jié)束,甚至還沒有開始就收到請求取消,則 TAP 方法返回一個以 Canceled 狀態(tài)結(jié)束的任務(wù),它的 IsCompleted 屬性為 true,且不會拋出異常。當(dāng)任務(wù)在 Canceled 狀態(tài)下完成時,任何在該任務(wù)注冊的延續(xù)任務(wù)仍都會被調(diào)用和執(zhí)行,除非指定了諸如 NotOnCanceled 這樣的選項來選擇不延續(xù)。
但是,如果在異步任務(wù)在工作時收到取消請求,異步操作也可以選擇不立刻結(jié)束,而是等當(dāng)前正在執(zhí)行的工作完成后再結(jié)束,并返回 RanToCompletion 狀態(tài)的任務(wù);也可以終止當(dāng)前工作并強制結(jié)束,根據(jù)實際業(yè)務(wù)情況和是否生產(chǎn)異常結(jié)果返回 Canceled 或 Faulted 狀態(tài)。
對于不能被取消的業(yè)務(wù)方法,不要提供接受取消令牌的重載,這有助于向調(diào)用者表明目標(biāo)方法是否可以取消。
9進(jìn)度報告
幾乎所有異步操作都可以提供進(jìn)度通知,這些通知通常用于用異步操作的進(jìn)度信息更新用戶界面。
在 TAP 中,進(jìn)度是通過 IProgress
- static void Main(string[] args)
- {
- var progress = new Progress<int>(n =>
- {
- Console.WriteLine($"當(dāng)前進(jìn)度:{n}%");
- });
- var task = DoWork(progress);
- Console.ReadKey();
- }
- public static async Task DoWork(IProgress<int> progress)
- {
- for (int i = 1; i <= 100; i++)
- {
- await Task.Delay(100);
- if (i % 10 == 0)
- {
- progress?.Report(i);
- };
- }
- }
輸出如下結(jié)果:
- 當(dāng)前進(jìn)度:10%
- 當(dāng)前進(jìn)度:20%
- 當(dāng)前進(jìn)度:30%
- 當(dāng)前進(jìn)度:40%
- 當(dāng)前進(jìn)度:50%
- 當(dāng)前進(jìn)度:60%
- 當(dāng)前進(jìn)度:70%
- 當(dāng)前進(jìn)度:80%
- 當(dāng)前進(jìn)度:90%
- 當(dāng)前進(jìn)度:100%
IProgress
- public Task ReadAsync(
- byte[] buffer, int offset, int count,
- IProgress<long> progress)
再如 FindFilesAsync 方法返回符合特定搜索模式的所有文件列表,進(jìn)度回調(diào)可以提供工作完成的百分比和當(dāng)前部分結(jié)果集,它可以用一個元組來提供這個信息。
- public Task<ReadOnlyCollection<FileInfo>> FindFilesAsync(
- string pattern,
- IProgress<Tuple<double, ReadOnlyCollection<List<FileInfo>>>> progress)
或使用 API 特有的數(shù)據(jù)類型:
- public Task<ReadOnlyCollection<FileInfo>> FindFilesAsync(
- string pattern,
- IProgress<FindFilesProgressInfo> progress)
如果 TAP 的實現(xiàn)提供了接受 IProgress
10Task.Yield 讓步
我們先來看一段 Task.Yield() 的代碼:
- Task.Run(async () =>
- {
- for(int i=0; i<10; i++)
- {
- await Task.Yield();
- ...
- }
- });
這里的 Task.Yield() 其實什么也沒干,它返回的是一個空任務(wù)。那 await 一個什么也沒做的空任務(wù)有什么用呢?
我們知道,對計算機來說,任務(wù)調(diào)度是根據(jù)一定的優(yōu)先策略來安排線程去執(zhí)行的。如果任務(wù)太多,線程不夠用,任務(wù)就會進(jìn)入排隊狀態(tài)。而 Yield 的作用就是讓出等待的位置,讓后面排除的任務(wù)先行。它字面上的意思就是讓步,當(dāng)任務(wù)做出讓步時,其它任務(wù)就可以盡快被分配線程去執(zhí)行。舉個現(xiàn)實生活中的例子,就像你在排隊辦理業(yè)務(wù)時,好不容易到你了,但你的事情并不急,自愿讓出位置,讓其他人先辦理,自己假裝臨時有事到外面溜一圈什么事也沒干又回來重新排隊。默默地做了一次大善人。
Task.Yield() 方法就是在異步方法中引入一個讓步點。當(dāng)代碼執(zhí)行到讓步點時,就會讓出控制權(quán),去線程池外面兜一圈什么事也沒干再回來重新排隊。
11定制異步任務(wù)后續(xù)操作
我們可以對異步任務(wù)執(zhí)行完成的后續(xù)操作進(jìn)行定制。常見的兩個方法是 ConfigureAwait 和 ContinueWith。
ConfigureAwait
我們先來看一段 Windows Form 中的代碼:
- private void button1_Click(object sender, EventArgs e)
- {
- var content = CurlAsync().Result;
- ...
- }
- private async Task<string> CurlAsync()
- {
- using (var client = new HttpClient())
- {
- return await client.GetStringAsync("http://geekgist.com");
- }
- }
想必大家都知道 CurlAsync().Result 這句代碼在 Windows Form 程序中會造成死鎖。原因是 UI 主線程執(zhí)行到這句代碼時,就開始等待異步任務(wù)的結(jié)果,處于阻塞狀態(tài)。而異步任務(wù)執(zhí)行完后回來準(zhǔn)備找 UI 線程繼續(xù)執(zhí)行后面的代碼時,卻發(fā)現(xiàn) UI 線程一直處于“忙碌”的狀態(tài),沒空搭理回來的異步任務(wù)。這就造成了你等我,我又在等你的尷尬局面。
當(dāng)然,這種死鎖的情況只會在 Winform 和早期的 ASP.NET WebForm 中才會發(fā)生,在 Console 和 Web API 應(yīng)用中不會生產(chǎn)死鎖。
解決辦法很簡單,作為異步方法調(diào)用者,我們只需改用 await 即可:
- private async void button1_Click(object sender, EventArgs e)
- {
- var content = await CurlAsync();
- ...
- }
在異步方法內(nèi)部,我們也可以調(diào)用任務(wù)的 ConfigureAwait(false) 方法來解決這個問題。如:
- private async Task<string> CurlAsync()
- {
- using (var client = new HttpClient())
- {
- return await client
- .GetStringAsync("http://geekgist.com")
- .ConfigureAwait(false);
- }
- }
雖然兩種方法都可行,但如果作為異步方法提供者,比如封裝一個通用庫時,考慮到難免會有新手開發(fā)者會使用 CurlAsync().Result,為了提高通用庫的容錯性,我們就可能需要使用 ConfigureAwait 來做兼容。
ConfigureAwait(false) 的作用是告訴主線程,我要去遠(yuǎn)行了,你去做其它事情吧,不用等我。只要先確保一方不在一直等另一方,就能避免互相等待而造成死鎖的情況。
ContinueWith
ContinueWith 方法很容易理解,就是字面上的意思。作用是在異步任務(wù)執(zhí)行完成后,安排后續(xù)要執(zhí)行的工作。示例代碼:
- private void Button1_Click(object sender, EventArgs e)
- {
- var backgroundScheduler = TaskScheduler.Default;
- var uiScheduler = TaskScheduler.FromCurrentSynchronizationContext();
- Task.Factory
- .StartNew(_ => DoBackgroundComputation(), backgroundScheduler)
- .ContinueWith(_ => UpdateUI(), uiScheduler)
- .ContinueWith(_ => DoAnotherBackgroundComputation(), backgroundScheduler)
- .ContinueWith(_ => UpdateUIAgain(), uiScheduler);
- }
如上,可以一直鏈?zhǔn)降膶懴氯ィ蝿?wù)會按照順序執(zhí)行,一個執(zhí)行完再繼續(xù)執(zhí)行下一個。若其中一個任務(wù)返回的狀態(tài)是 Canceled 時,后續(xù)的任務(wù)也將被取消。這個方法有好些個重載,在實際用到的時候再查看文檔即可。
12小結(jié)
System.Threading.Tasks 命名空間中關(guān)鍵的一個類是 Task 類,基于 Task 的異步 API 和語言級異步編程模式顛覆了傳統(tǒng)模式,使得異步編程非常簡單。它使我們可以只關(guān)注業(yè)務(wù)層面要處理的任務(wù),而不必關(guān)心和使用線程或線程池。重要的是要把 Task 理解為發(fā)起異步工作的抽象,而不是對線程的抽象。本文還介紹了 .NET 異步編程模式,而我們現(xiàn)在主流用的都是 TAP 模式,最后本文羅列一些常見的異步操作。