媲美Pandas的數據分析工具包Datatable
前言
Data.table 是 R 中一個非常通用和高性能的包，使用簡單、方便而且速度快，在 R 語言社區非常受歡迎，每個月的下載量超過 40 萬，有近 650 個 CRAN 和 Bioconductor 軟件包使用它。如果你是 R 的使用者，可能已經使用過 data.table 包。
而對于 Python 用戶，同樣存在一個名為 datatable 包，專注于大數據支持、高性能內存/內存不足的數據集以及多線程算法等問題。在某種程度上，datatable 可以被稱為是 Python 中的 data.table。
Datatable簡介
為了能夠更準確地構建模型，現在機器學習應用通常要處理大量的數據并生成多種特征，這已成為必要的。而 Python 的 datatable 模塊為解決這個問題提供了良好的支持，以可能的最大速度在單節點機器上進行大數據操作 (最多100GB)。datatable 包的開發由 H2O.ai 贊助，它的第一個用戶是 Driverless.ai。
2.1 安裝
- Mac OS系統
- Linux系統
安裝過程需要通過二進制分布來實現
很遺憾的是，目前 datatable 包還不能在 Windows 系統上工作，但 Python 官方也在努力地增加其對 Windows 的支持。更多的信息可以查看 Build instructions 的說明。
https://datatable.readthedocs.io/en/latest/install.html
2.2 數據讀取
這里使用的數據集是來自 Kaggle 競賽中的 Lending Club Loan Data 數據集, 該數據集包含2007-2015期間所有貸款人完整的貸款數據，即當前貸款狀態 (當前，延遲，全額支付等) 和最新支付信息等。整個文件共包含226萬行和145列數據，數據量規模非常適合演示 datatable 包的功能。
數據集：
- 首先將數據加載到 Frame 對象中，datatable 的基本分析單位是 Frame，這與Pandas DataFrame 或 SQL table 的概念是相同的：即數據以行和列的二維數組排列展示。
使用datatable讀取數據
這個數據集一共226萬行，145列，將近1.2G的數據，通過datatable讀取只用了2.54s
如上所示，fread() 是一個強大又快速的函數，能夠自動檢測并解析文本文件中大多數的參數，所支持的文件格式包括 .zip 文件、URL 數據，Excel 文件等等。此外，datatable 解析器具有如下幾大功能：
- 能夠自動檢測分隔符，標題，列類型，引用規則等。
- 能夠讀取多種文件的數據，包括文件，URL，shell，原始文本，檔案和 glob 等。
- 提供多線程文件讀取功能，以獲得最大的速度。
- 在讀取大文件時包含進度指示器。
- 可以讀取 RFC4180 兼容和不兼容的文件。
- 使用pandas讀取數據
!!!注意:由于數據量過大，使用pandas讀取數據會經常使服務掛機，所以可以使用數據量稍小的數據集來測試
由此可以看出，結果表明在讀取大型數據時 datatable 包的性能明顯優于 Pandas，Pandas 需要接近30秒的時間來讀取這些數據，而 datatable 只需要2秒多。
2.3 幀轉換 (Frame Conversion)
對于當前存在的幀，可以將其轉換為一個 Numpy 或 Pandas dataframe 的形式，如下所示：
下面，將 datatable 讀取的數據幀轉換為 Pandas dataframe 形式，并比較所需的時間，如下所示：
由于 Lending Club Loan Data 數據集的數據量過大，使用to_padnas操作，jupyte服務容易掛機，所以使用一個數據集較小的進行測試。
通過datatable讀取數據加上將其轉換為DataFrame數組，一共是2.62ms.
單通過pandas讀取數據，總共需要14.4ms。
看起來將文件作為一個 datatable frame 讀取，然后將其轉換為 Pandas dataframe比直接讀取 Pandas dataframe 的方式所花費的時間更少。因此，通過 datatable 包導入大型的數據文件再將其轉換為 Pandas dataframe 的做法是個不錯的主意。
2.4 幀的基礎屬性
下面來介紹 datatable 中 frame 的一些基礎屬性，這與 Pandas 中 dataframe 的一些功能類似。
也可以通過使用 head 命令來打印出輸出的前 n 行數據，如下所示：
注意：這里用顏色來指代數據的類型，其中紅色表示字符串，綠色表示整型，而藍色代表浮點型。
2.5 統計總結
在 Pandas 中，總結并計算數據的統計信息是一個非常消耗內存的過程，但這個過程在 datatable 包中是很方便的。如下所示，使用 datatable 包計算以下每列的統計信息：
下面分別使用 datatable 和Pandas 來計算每列數據的均值，并比較二者運行時間的差異。
- Datatable讀取
- Pandas讀取
使用 Pandas 計算時拋出內存錯誤的異常。
數據操作
和 dataframe 一樣，datatable 也是柱狀數據結構。在 datatable 中，所有這些操作的主要工具是方括號，其靈感來自傳統的矩陣索引，但它包含更多的功能。諸如矩陣索引，C/C++，R，Pandas，Numpy 中都使用相同的 DT[i，j] 的數學表示法。下面來看看如何使用 datatable 來進行一些常見的數據處理工作。
選擇行/列的子集
下面的代碼能夠從整個數據集中篩選出所有行及 funded_amnt 列：
展示如何選擇數據集中前5行3列的數據，如下所示：
幀排序
- datatable 排序
在 datatable 中通過特定的列來對幀進行排序操作，如下所示：
- Pandas 排序
可以看到兩種包在排序時間方面存在明顯的差異。
- 刪除行/列
下面展示如何刪除 member_id 這一列的數據：
- 分組 (GroupBy)
與 Pandas 類似，datatable 同樣具有分組 (GroupBy) 操作。下面來看看如何在 datatable 和 Pandas 中，通過對 grade 分組來得到 funded_amout 列的均值：
- datatable 分組
- pandas 分組
.f 代表什么
在 datatable 中，f 代表 frame_proxy，它提供一種簡單的方式來引用當前正在操作的幀。在上面的例子中，dt.f 只代表 dt_df。
過濾行
在 datatable 中，過濾行的語法與GroupBy的語法非常相似。下面就來展示如何過濾掉 loan_amnt 中大于 funding_amnt 的值，如下所示。
保存幀
在 datatable 中，同樣可以通過將幀的內容寫入一個 csv 文件來保存，以便日后使用。如下所示：
有關數據操作的更多功能，可查看 datatable 包的說明文檔
地址：https://datatable.readthedocs.io/en/latest/using-datatable.html
總結
在數據科學領域，與默認的 Pandas 包相比，datatable 模塊具有更快的執行速度，這是其在處理大型數據集時的一大優勢所在。然而，就功能而言，目前 datatable 包所包含的功能還不如 pandas 完善。相信在不久的將來，不斷完善的 datatable 能夠更加強大。
