Python是一門非常適合處理數(shù)據(jù)和自動化完成重復(fù)性工作的編程語言，我們在用數(shù)據(jù)訓(xùn)練機器學(xué)習(xí)模型之前，通常都需要對數(shù)據(jù)進(jìn)行預(yù)處理，而Python就非常適合完成這項工作，比如需要重新調(diào)整幾十萬張圖像的尺寸，用Python沒問題！

你幾乎總是能找到一款可以輕松完成數(shù)據(jù)處理工作的Python庫。

然而

雖然Python易于學(xué)習(xí)，使用方便，但它并非運行速度最快的語言。

默認(rèn)情況下，Python程序使用一個CPU以單個進(jìn)程運行。

不過如果你是在最近幾年配置的電腦，通常都是四核處理器，也就是有4個CPU。

這就意味著在你苦苦等待Python腳本完成數(shù)據(jù)處理工作時

你的電腦其實有75%甚至更多的計算資源就在那閑著沒事干！

今天就教大家怎樣通過并行運行Python函數(shù)，充分利用你的電腦的全部處理能力。

得益于Python的 concurrent.futures 模塊，

我們只需3行代碼

就能將一個普通數(shù)據(jù)處理腳本變?yōu)槟懿⑿刑幚頂?shù)據(jù)的腳本，提速4倍。

普通Python處理數(shù)據(jù)方法

比方說：

我們有一個全是圖像數(shù)據(jù)的文件夾，想用Python為每張圖像創(chuàng)建縮略圖。

下面是一個短暫的腳本：

用Python的內(nèi)置glob函數(shù)獲取文件夾中所有JPEG圖像的列表，

然后用Pillow圖像處理庫為每張圖像保存大小為128像素的縮略圖：

這段腳本沿用了一個簡單的模式

你會在數(shù)據(jù)處理腳本中經(jīng)常見到這種方法：

• 首先獲得你想處理的文件（或其它數(shù)據(jù)）的列表
• 寫一個輔助函數(shù)，能夠處理上述文件的單個數(shù)據(jù)
• 使用for循環(huán)調(diào)用輔助函數(shù)，處理每一個單個數(shù)據(jù)，一次一個。

咱們用一個包含1000張JPEG圖像的文件夾測試一下這段腳本，

看看運行完要花多長時間：

運行程序花了8.9秒，但是電腦的真實工作強度怎樣呢？

我們再運行一遍程序

看看程序運行時的活動監(jiān)視器情況：

電腦有75%的處理資源處于閑置狀態(tài)！這是什么情況？

這個問題的原因就是我的電腦有4個CPU，但Python只使用了一個。

所以程序只是卯足了勁用其中一個CPU，另外3個卻無所事事。

因此我需要一種方法能將工作量分成4個我能并行處理的單獨部分。

幸運的是，Python中有個方法很容易能讓我們做到！

試試創(chuàng)建多進(jìn)程

下面是一種可以讓我們并行處理數(shù)據(jù)的方法：

• 將JPEG文件劃分為4小塊。運行Python解釋器的4個單獨實例。
• 讓每個Python實例處理這4塊數(shù)據(jù)中的一塊。
• 將這4部分的處理結(jié)果合并，獲得結(jié)果的最終列表。

4個Python拷貝程序在4個單獨的CPU上運行，

處理的工作量應(yīng)該能比一個CPU大約高出4倍，

對吧？

最妙的是，Python已經(jīng)替我們做完了最麻煩的那部分工作。

我們只需告訴它想運行哪個函數(shù)以及使用多少實例就行了，剩下的工作它會完成。

整個過程我們只需要改動3行代碼。

首先

我們需要導(dǎo)入concurrent.futures庫

這個庫就內(nèi)置在Python中：

接著，我們需要告訴Python啟動4個額外的Python實例。

我們通過讓Python創(chuàng)建一個Process Pool來完成這一步：

默認(rèn)情況下：

它會為你電腦上的每個CPU創(chuàng)建一個Python進(jìn)程，

所以如果你有4個CPU，就會啟動4個Python進(jìn)程。

***一步：

讓創(chuàng)建的Process Pool用這4個進(jìn)程在數(shù)據(jù)列表上執(zhí)行我們的輔助函數(shù)。

完成這一步，我們要將已有的for循環(huán)：

替換為新的調(diào)用executor.map():

該executor.map()函數(shù)調(diào)用時需要輸入輔助函數(shù)和待處理的數(shù)據(jù)列表。

這個函數(shù)能幫我完成所有麻煩的工作

包括將列表分為多個子列表、將子列表發(fā)送到每個子進(jìn)程、運行子進(jìn)程以及合并結(jié)果等。

干得漂亮！

這也能為我們返回每個函數(shù)調(diào)用的結(jié)果。

Executor.map()函數(shù)會按照和輸入數(shù)據(jù)相同的順序返回結(jié)果。

所以我用了Python的zip()函數(shù)作為捷徑，一步獲取原始文件名和每一步中的匹配結(jié)果。

這里是經(jīng)過這三步改動后的程序代碼：

我們來運行一下這段腳本

看看它是否以更快的速度完成數(shù)據(jù)處理：

腳本在2.2秒就處理完了數(shù)據(jù)！比原來的版本提速4倍！

之所以能更快的處理數(shù)據(jù)

是因為我們使用了4個CPU而不是1個。

但是

如果你仔細(xì)看看，會發(fā)現(xiàn)“用戶”時間幾乎為9秒。

那為何程序處理時間為2.2秒，但不知怎么搞得運行時間還是9秒？

這似乎不太可能啊？

這是

因為“用戶”時間是所有CPU時間的總和，

我們最終完成工作的CPU時間總和一樣，都是9秒，

但我們使用4個CPU完成的，實際處理數(shù)據(jù)時間只有2.2秒！

注意：

啟用更多Python進(jìn)程以及給子進(jìn)程分配數(shù)據(jù)都會占用時間，因此靠這個方法并不能保證總是能大幅提高速度。

這種方法總能幫我的數(shù)據(jù)處理腳本提速嗎？

如果你有一列數(shù)據(jù)

并且每個數(shù)據(jù)都能單獨處理時，使用我們這里所說的Process Pools是一個提速的好方法。

下面是一些適合使用并行處理的例子：

• 從一系列單獨的網(wǎng)頁服務(wù)器日志里抓取統(tǒng)計數(shù)據(jù)。
• 從一堆XML，CSV和JSON文件中解析數(shù)據(jù)。
• 對大量圖片數(shù)據(jù)做預(yù)處理，建立機器學(xué)習(xí)數(shù)據(jù)集。

但也要記住，Process Pools并不是***的。

使用Process Pool需要在獨立的Python處理進(jìn)程之間來回傳遞數(shù)據(jù)。

如果你要處理的數(shù)據(jù)不能在處理過程中被有效地傳遞，這種方法就行不通了。

簡而言之，你處理的數(shù)據(jù)必須是Python知道怎么應(yīng)對的類型。

同時

也無法按照一個預(yù)想的順序處理數(shù)據(jù)。

如果你需要前一步的處理結(jié)果來進(jìn)行下一步，這種方法也行不通。

那GIL的問題呢？

你可能知道Python有個叫全局解釋器鎖（Global Interpreter Lock）的東西，即GIL。

這意味著即使你的程序是多線程的，每個線程也只能執(zhí)行一個Python指令。

GIL確保任何時候都只有一個Python線程執(zhí)行。

換句話說：

多線程的Python代碼并不能真正地并行運行，從而無法充分利用多核CPU。

但是Process Pool能解決這個問題！

因為我們是運行單獨的Python實例，每個實例都有自己的GIL。

這樣我們獲得是真正能并行處理的Python代碼！

不要害怕并行處理！

有了concurrent.futures庫

Python就能讓你簡簡單單地修改一下腳本后，立刻讓你電腦上所有CPU投入到工作中。

不要害怕嘗試這種方法，一旦你掌握了

它就跟一個for循環(huán)一樣簡單

卻能讓你的數(shù)據(jù)處理腳本快到飛起。