使用PandaSQL在Pandas中進行SQL查詢

作者：學研君 2023-10-18 18:31:04

本文介紹了如何使用Pandasql在Pandas數據幀上運行SQL查詢。盡管在Pandasql中使用SQL查詢數據幀變得非常簡單，但也存在一些限制。

一、簡介

SQL是開發者最重要的技能之一。在Python數據分析生態中，Pandas的使用最為廣泛。但是，如果不熟悉Pandas，則必須學習Pandas函數（分組、聚合、連接等）。相比之下，使用SQL查詢數據幀更加容易。Pandasql庫正好可以滿足需求！

【Pandasql項目主頁】：https://pypi.org/project/pandasql/

圖片

二、Pandasql的初始步驟

設置工作環境。

2.1 安裝Pandasql

如果使用的是Google Colab，可以使用pip來安裝Pandasql并進行相關代碼編寫：

pip install pandasql

如果在本地機器上使用Python，請確保在專門為該項目創建的虛擬環境中安裝了Pandas和Seaborn。可以使用內置的venv軟件包創建和管理虛擬環境。

本文在Ubuntu LTS 22.04上運行Python 3.11。因此，以下說明適用于Ubuntu（在Mac上也同樣適用）。如果使用的是Windows機器，請按照以下說明來創建和激活虛擬環境。

在項目目錄中運行以下命令創建虛擬環境（此處命名為v1）：

python3 -m venv v1

然后激活虛擬環境：

source v1/bin/activate

現在安裝Pandas、Seaborn和Pandasql：

pip3 install pandas seaborn pandasql

注意：如果尚未安裝pip，可以通過運行apt install python3-pip更新系統軟件包并安裝它。

2.2 sqldf函數

要在Pandas數據幀上運行SQL查詢，可以使用以下語法導入并使用sqldf：

from pandasql import sqldf
sqldf(query, globals())

其中：

query表示想要在Pandas數據幀上執行的SQL查詢語句。它應該是一個包含有效SQL查詢的字符串。
globals()指定了查詢中使用的數據幀所在的全局命名空間。

三、使用Pandasql查詢Pandas數據幀

首先導入所需的包和從Pandasql導入sqldf函數：

import pandas as pd
import seaborn as sns
from pandasql import sqldf

由于將在數據幀上運行多個查詢，因此可以定義一個函數，這樣就可以通過將查詢作為參數傳遞來調用它：

# 為運行SQL查詢定義可重復使用的函數
run_query = lambda query: sqldf(query, globals())

對于接下來的所有示例，本文將運行run_query函數（該函數在底層使用了sqldf()），在tips_df數據幀上執行SQL查詢，然后打印出返回的結果。

3.1 加載數據集

這里，使用內置于Seaborn庫中的"tips"數據集。"tips"數據集包含有關餐廳小費的信息，包括總賬單、小費金額、付款人的性別、星期幾等。

將"tips"數據集加載到名為tips_df的數據幀中：

# 將"tips"數據集加載到`pandas`數據幀中
tips_df = sns.load_dataset("tips")

3.2 示例1 - 選擇數據

下面是本文的第一個查詢，簡單的SELECT語句：

# 簡單的SELECT查詢
query_1 = """
SELECT *
FROM tips_df
LIMIT 10;
"""
result_1 = run_query(query_1)
print(result_1)

如圖所示，該查詢選擇了tips_df數據幀中的所有列，并使用"LIMIT"關鍵字將輸出限制在前10行。這相當于在Pandas中執行tips_df.head(10)：

圖片

query_1的輸出

3.3 示例2 - 根據條件過濾

接下來，編寫根據條件過濾結果的查詢：

# 根據條件過濾
query_2 = """
SELECT *
FROM tips_df
WHERE total_bill > 30 AND tip > 5;
"""

result_2 = run_query(query_2)
print(result_2)

該查詢根據WHERE子句中指定的條件過濾tips_df數據幀。它從tips_df數據幀中選擇其中'total_bill'大于30并且'tip'金額大于5的所有列。

運行query_2將得到以下結果：

query_2的輸出

3.4 示例3 - 分組和聚合

運行以下查詢，以獲取按天分組的平均賬單金額：

# 分組和聚合
query_3 = """
SELECT day, AVG(total_bill) as avg_bill
FROM tips_df
GROUP BY day;
"""

result_3 = run_query(query_3)
print(result_3)

以下是輸出結果：

query_3的輸出

可以清楚地看到周末的平均賬單金額略高。

再舉一個分組和聚合的例子。觀察以下查詢：

query_4 = """
SELECT day, COUNT(*) as num_transactions, AVG(total_bill) as avg_bill, MAX(tip) as max_tip
FROM tips_df
GROUP BY day;
"""

result_4 = run_query(query_4)
print(result_4)

查詢query_4通過'day'列對tips_df數據幀中的數據進行分組，并為每個分組計算以下聚合函數：

num_transactions：交易次數。
avg_bill：'total_bill'列的平均值。
max_tip：'tip'列的最大值。

如圖所示，得到了按日期分組的上述數量：

query_4的輸出

3.5 示例4 - 子查詢

接下來添加一個使用子查詢的查詢示例：

# 子查詢
query_5 = """
SELECT *
FROM tips_df
WHERE total_bill > (SELECT AVG(total_bill) FROM tips_df);
"""

result_5 = run_query(query_5)
print(result_5)

其中，

內部子查詢計算了tips_df數據幀中'total_bill'列的平均值。
然后，外部查詢選擇了tips_df數據幀中'total_bill'大于計算得到的平均值的所有列。

運行query_5，得到以下結果：

query_5的輸出

3.6 示例5 - 連接兩個數據幀

由于目前只有一個數據幀。為了進行簡單的連接操作，創建另一個數據幀，如下所示：

# 創建另一個要與`tips_df`連接的數據幀
other_data = pd.DataFrame({
    'day': ['Thur','Fri', 'Sat', 'Sun'],
    'special_event': ['Throwback Thursday', 'Feel Good Friday', 'Social Saturday','Fun Sunday', ]
})

other_data數據幀將每天與一個特殊事件關聯起來。

現在，在共同的'day'列上執行tips_df和other_data數據幀之間的LEFT JOIN：

query_6 = """
SELECT t.*, o.special_event
FROM tips_df t
LEFT JOIN other_data o ON t.day = o.day;
"""

result_6 = run_query(query_6)
print(result_6)

以下是連接操作的結果：

query_6的輸出

四、總結