鑒于某些策略需要一定水平的技術數據，而其他數據可能只需要花費一個小時的時間，該過程并不總是那么簡單，而基礎架構，可用性和連接性等元素可能會因數據類型的不同而大相徑庭。

但是為什么本文僅涉及獲取“交易”數據，為什么我們使用Binance API？你可能對我的文章內容有些疑問。

數據頻率和平衡

我想說，交易數據端點主要在99.99％的交易所中提供。它是細粒度的，提供了足夠的詳細信息（在某些非常特殊的情況下）用于回測高頻交易（HFT）策略，并且可以用作 OHLC candles（1S至24H或更多，如果你想要的話）的基礎。

交易數據是通用的，并且允許使用不同頻率的策略進行大量實驗。

為什么選擇Binance？

那只是因為它是我由于數量龐大而傾向于回溯的交易所之一。

我們將要進行的編碼

我們將創建一個Python腳本，該腳本接收對符號，開始日期和結束日期作為命令行參數。它將包含所有交易的CSV文件輸出到磁盤。該過程可以通過以下步驟進行詳細說明：

1、解析symbol，starting_date和ending_date論據。

2、獲取開始日期發生的第一筆交易，以獲取第一筆交易trade_id。

3、循環獲取每個請求1000筆交易（Binance API限制），直到ending_date達到為止。

4、最后，將數據保存到磁盤。對于示例，我們將其保存為CSV，但是你還有其他選擇，不一定保存為CSV。

5、我們將使用pandas，requests，time，sys，和datetime。在代碼段中，將不會顯示錯誤驗證，因為它不會為說明添加任何值。

編碼時間

該腳本將使用以下參數：

1、symbol：交易對的符號，由Binance定義。可以在此處查詢，也可以從Binance Web應用程序的URL復制（不包括 _ 字符）。

-starting_date and ending_date：不言自明。期望的格式為mm/dd/yyyy，或者使用Python lang語為%m/%d/%Y。

為了獲取參數，我們將使用內置函數sys（這里沒有什么花哨的地方），并且為了解析日期，我們將使用datetime庫。

我們將添加一天并減去一微秒，以使ending_date時間部分始終處于23:59:59.999，這使得獲取當天間隔更加實用。

提取交易

使用Binance的API并使用aggTrades端點，我們可以在一個請求中獲得最多1000 筆交易，如果我們使用開始和結束參數，則它們之間的間隔最多為一小時。

在出現一些失敗之后，通過使用時間間隔獲取（在某個時間點或另一個時間點，流動性會變得瘋狂，我會失去一些寶貴的交易），我決定嘗試from_id策略。

將aggTrades選擇的端點，因為它返回壓縮行業。這樣，我們將不會丟失任何寶貴的信息。

獲得壓縮的總交易。在同一時間從同一訂單以相同價格執行的交易將匯總數量。

該from_id策略是這樣的：

我們要得到的第一筆交易starting_date 通過發送日期的時間間隔向終點。之后，我們將從第一個獲取的交易ID開始獲取1000個交易。然后，我們將檢查最后一筆交易是否發生在我們之后ending_date。

如果是這樣，我們已經遍歷了所有時間段，可以將結果保存到文件中。否則，我們將更新from_id變量以獲取最后的交易ID，然后重新開始循環。

取得第一個交易編號

首先，我們創建一個new_end_date。那是因為我們aggTrades通過傳遞a startTime和endTime 參數來使用。

現在，我們只需要知道該期間的第一個交易編號，因此我們將增加60秒。在低流動性貨幣對中，可以更改此參數，因為不能保證在請求的第一天發生交易。

然后，使用我們的輔助函數解析日期，以使用該calendar.timegm函數將日期轉換為Unix毫秒表示形式。該timegm函數是首選函數，因為它將日期保留為UTC。

請求的響應是按日期排序的貿易對象列表，格式如下：

因此，由于我們需要第一個交易ID ，因此我們將返回該response[0]["a"]值。

主循環

現在我們有了第一個交易ID，我們可以一次提取1000個交易，直到達到ending_date。以下代碼將在我們的主循環中調用。它將使用from_id參數，放棄startDate和endDate參數，執行我們的請求。

現在，這是我們的主循環，它將執行請求并創建我們的DataFrame。

我們檢查是否current_time包含最近獲取的交易日期大于to_date，如果是，則我們：

•  使用from_id參數獲取交易
•  使用從最新交易中獲取的信息來更新from_id和current_time參數
  
• 打印nice調試消息
  
•  pd.concat 這些交易與我們之前的交易 DataFrame
  
•  使用sleep讓Binance不會給我們一個429 HTTP響應
  

清潔和保存

組裝完之后DataFrame，我們需要執行簡單的數據清理。我們將刪除重復trim的交易和之后發生的交易to_date（我們有這個問題，因為我們要獲取1000筆交易中的大部分，因此，我們有望在目標結束日期之后執行一些交易）。

我們可以封裝我們的trim功能：

并執行我們的數據清理：

現在，我們可以使用以下to_csv方法將其保存到文件中：

我們還可以使用其他數據存儲機制，例如Arctic。

最后：驗證你的數據

在使用交易策略時，我們必須信任我們的數據，這一點很重要。通過應用以下驗證，我們可以輕松地利用獲取的交易數據來做到這一點：

在代碼段中，我們將其轉換DataFrame為NumPy數組，并逐行迭代，檢查交易ID是否每行遞增1。

Binance交易ID是以遞增方式編號的，并且是為每個交易品種創建的，因此，很容易驗證數據是否正確。

PS：創建成功的交易策略的第一步是擁有正確的數據。