十段代碼讓你掌握Python Polars，高性能數據處理和分析工具
作者：學研君
本文向讀者全面介紹 Polars 庫，從其獨特特性、便捷的安裝方式，到基礎操作與高級應用技巧，還會探討它在實際項目中的廣泛應用場景，助力讀者深入掌握并靈活運用這一工具，為數據處理工作帶來質的飛躍。
在數據處理與分析領域，高效應對大規模數據集是一項核心挑戰。Python 的 Polars 庫作為一款高性能工具，為開發者提供了強大助力，能大幅提升數據處理的速度與效率。
本文向讀者全面介紹 Polars 庫，從其獨特特性、便捷的安裝方式，到基礎操作與高級應用技巧，還會探討它在實際項目中的廣泛應用場景，助力讀者深入掌握并靈活運用這一工具，為數據處理工作帶來質的飛躍。
1 Polars簡介
Polars是一個基于Apache Arrow構建的高性能數據處理庫，專為快速進行數據幀操作而設計。
與Pandas不同，Polars使用內存映射和多線程技術，實現更快的數據處理。對于大規模數據集，Polars是理想之選，它擁有豐富的特性和靈活的API，讓數據分析變得更快速、更輕松。
1.1安裝
使用pip可以輕松安裝Polars：
pip install polars1.2 主要特性
- 高性能數據幀操作：能快速創建、篩選、選擇和轉換數據幀。
- 多線程計算：通過多線程提升數據處理速度。
- 靈活的表達式API：可執行復雜的數據操作和計算。
- 內存映射：利用內存映射高效處理大規模數據集。
- 數據聚合和分組：執行高級聚合和分組操作。
2 基礎用法示例
2.1 創建數據幀
以下是使用Polars創建簡單數據幀的方法：
import polars as pl
# 創建示例數據
data = {'date': pl.date_range(start='2021-01-01', end='2021-01-10'),
'open': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'high': [101, 103, 102, 104, 105, 106, 107, 108, 109, 110],
'low': [99, 101, 100, 102, 103, 104, 105, 106, 107, 108],
'close': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'volume': [1000, 1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900]}
# 創建數據幀
df = pl.DataFrame(data)
print(df)2.2 基礎數據操作
Polars提供了類似Pandas的操作，如篩選、選擇和轉換數據：
import polars as pl
# 創建示例數據幀
data = {'date': pl.date_range(start='2021-01-01', end='2021-01-10'),
'open': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'high': [101, 103, 102, 104, 105, 106, 107, 108, 109, 110],
'low': [99, 101, 100, 102, 103, 104, 105, 106, 107, 108],
'close': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'volume': [1000, 1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900]}
df = pl.DataFrame(data)
# 篩選數據
filtered_df = df.filter(pl.col("close") > 105)
# 選擇特定列
selected_df = df.select(["date", "close"])
# 創建新列
df = df.with_column((pl.col("high") - pl.col("low")).alias("range"))
print(filtered_df)
print(selected_df)
print(df)2.3 數據聚合
Polars支持高效的聚合操作，如計算均值或總和：
import polars as pl
# 創建示例數據幀
data = {'date': pl.date_range(start='2021-01-01', end='2021-01-10'),
'open': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'high': [101, 103, 102, 104, 105, 106, 107, 108, 109, 110],
'low': [99, 101, 100, 102, 103, 104, 105, 106, 107, 108],
'close': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'volume': [1000, 1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900]}
df = pl.DataFrame(data)
# 計算平均收盤價
avg_close = df.select(pl.col("close").mean()).to_series()
print(avg_close)3 高級特性與技巧
3.1 多線程計算
Polars使用多線程加速數據處理：
import polars as pl
# 創建大規模數據集
data = {'date': pl.date_range(start='2021-01-01', end='2022-01-01'),
'value': pl.arange(1, 366)}
df = pl.DataFrame(data)
# 使用多線程計算總和
total_value = df.select(pl.sum("value")).to_series()
print(total_value)3.2 內存映射
利用內存映射高效處理大規模數據集：
import polars as pl
# 創建示例數據
data = {'date': pl.date_range(start='2021-01-01', end='2021-01-10'),
'open': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'high': [101, 103, 102, 104, 105, 106, 107, 108, 109, 110],
'low': [99, 101, 100, 102, 103, 104, 105, 106, 107, 108],
'close': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'volume': [1000, 1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900]}
df = pl.DataFrame(data)
# 保存為Parquet文件
df.write_parquet('example.parquet')
# 使用內存映射加載數據
df_mmap = pl.scan_parquet('example.parquet')
print(df_mmap.collect())3.3 表達式API
Polars的表達式API支持復雜的數據操作：
import polars as pl
# 創建示例數據幀
data = {'date': pl.date_range(start='2021-01-01', end='2021-01-10'),
'open': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'high': [101, 103, 102, 104, 105, 106, 107, 108, 109, 110],
'low': [99, 101, 100, 102, 103, 104, 105, 106, 107, 108],
'close': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109],
'volume': [1000, 1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900]}
df = pl.DataFrame(data)
# 使用表達式API計算極差
df = df.with_column((pl.col("high") - pl.col("low")).alias("range"))
# 計算平均極差
avg_range = df.select(pl.col("range").mean()).to_series()
print(avg_range)4 實際應用案例
4.1 實時數據分析
使用Polars進行實時數據分析：
import polars as pl
import numpy as np
# 模擬實時數據流
data = {'time': pl.date_range(start='2021-01-01', end='2021-01-10'),
'value': np.random.randn(10)}
# 轉換為Polars數據幀
df = pl.DataFrame(data)
# 計算滾動均值
df = df.with_column(pl.col('value').rolling_mean(window_size=3).alias('rolling_mean'))
print(df)4.2 大規模地理空間數據處理
用Polars處理大規模地理空間數據集：
import polars as pl
# 創建示例地理空間數據
data = {'latitude': [40.7128, 34.0522, 41.8781, 29.7604, 39.7392],
'longitude': [-74.0060, -118.2437, -87.6298, -95.3698, -104.9903],
'population': [8398748, 3990456, 2705994, 2325502, 716492]}
df = pl.DataFrame(data)
# 計算平均緯度和經度
avg_lat_lon = df.select([pl.col("latitude").mean().alias("avg_latitude"),
pl.col("longitude").mean().alias("avg_longitude")])
print(avg_lat_lon)4.3 金融數據分析
使用Polars分析金融數據：
import polars as pl
# 創建示例金融數據
data = {'date': pl.date_range(start='2021-01-01', end='2021-01-10'),
'close': [100, 102, 101, 103, 104, 105, 106, 107, 108, 109]}
df = pl.DataFrame(data)
# 計算收益率
df = df.with_column((pl.col("close") / pl.col("close").shift(1) - 1).alias("return"))
# 計算月度收益率
monthly_returns = df.groupby(pl.col("date").dt.month()).agg(pl.col("return").sum().alias("monthly_return"))
print(monthly_returns)責任編輯：武曉燕
來源：
Python學研大本營
