在當今數(shù)據(jù)驅(qū)動的時代，數(shù)據(jù)分析已成為企業(yè)和研究者不可或缺的工具。然而，傳統(tǒng)的數(shù)據(jù)分析方法往往需要專業(yè)的技術知識，這使得非技術背景的用戶難以高效地利用數(shù)據(jù)。開源項目 PandasAI 的出現(xiàn)，為這一問題提供了創(chuàng)新的解決方案。它通過自然語言處理和大語言模型（LLM），讓數(shù)據(jù)分析變得更加直觀和易于操作。

一、項目概述：PandasAI，讓數(shù)據(jù)“開口說話”

PandasAI 是一個基于 Python 的開源平臺，由 Sinaptik AI 團隊開發(fā)。它通過結合大語言模型（LLM）和檢索增強生成（RAG）技術，使用戶能夠以自然語言的形式與數(shù)據(jù)進行交互。無論是技術專家還是非技術用戶，都可以通過簡單的對話方式快速獲取數(shù)據(jù)洞察，極大地提高了數(shù)據(jù)分析的效率和可訪問性。PandasAI 支持多種數(shù)據(jù)格式，包括 SQL 數(shù)據(jù)庫、CSV 文件和 Parquet 文件，能夠無縫集成到現(xiàn)有的數(shù)據(jù)生態(tài)系統(tǒng)中。

二、技術揭秘：LLM + RAG，為數(shù)據(jù)分析注入“智慧大腦”

（一）LLM：用自然語言“指揮”數(shù)據(jù)分析

PandasAI 的核心是大語言模型（LLM），它能夠理解自然語言指令并生成相應的數(shù)據(jù)分析代碼。LLM 的強大語言理解和生成能力使得用戶可以通過簡單的對話形式提出問題，而無需編寫復雜的代碼。例如，用戶可以直接詢問“哪些國家的銷售額最高？”而無需編寫 SQL 查詢或 Python 腳本。

（二）RAG：為模型“導航”，讓答案更精準

為了進一步提升模型的準確性和效率，PandasAI 采用了檢索增強生成（RAG）技術。RAG 技術通過檢索與問題相關的上下文信息，幫助模型更好地理解問題背景，從而生成更準確的答案。這種技術尤其適用于處理復雜的多表查詢和大規(guī)模數(shù)據(jù)集。

（三）Docker 沙盒：數(shù)據(jù)安全的“金鐘罩”

PandasAI 提供了 Docker 沙盒環(huán)境，確保代碼執(zhí)行的安全性和隔離性。用戶可以在沙盒中運行代碼，而無需擔心數(shù)據(jù)泄露或惡意攻擊的風險。這種設計不僅保護了用戶數(shù)據(jù)的安全，還為用戶提供了靈活的使用場景。

三、功能亮點：數(shù)據(jù)分析從未如此簡單

（一）自然語言交互：像聊天一樣“問”數(shù)據(jù)

PandasAI 的核心功能是通過自然語言與數(shù)據(jù)進行交互。用戶可以直接使用自然語言提出問題，而無需編寫復雜的代碼。例如，用戶可以詢問“銷售額最高的前 5 個國家是什么？”PandasAI 會自動解析問題并生成相應的數(shù)據(jù)分析結果。

（二）多數(shù)據(jù)格式支持：無縫對接各類數(shù)據(jù)

PandasAI 支持多種數(shù)據(jù)格式，包括 SQL 數(shù)據(jù)庫、CSV 文件和 Parquet 文件。用戶可以輕松地將這些數(shù)據(jù)加載到 PandasAI 中，并通過自然語言進行查詢和分析。這種靈活性使得 PandasAI 能夠無縫集成到現(xiàn)有的數(shù)據(jù)生態(tài)系統(tǒng)中。

（三）數(shù)據(jù)可視化：用圖表“點亮”數(shù)據(jù)

除了基本的數(shù)據(jù)查詢功能，PandasAI 還支持數(shù)據(jù)可視化。用戶可以通過自然語言指令生成各種圖表，如柱狀圖、折線圖和餅圖。例如，用戶可以要求“繪制一個顯示各國銷售額的柱狀圖”，PandasAI 會自動生成相應的圖表。

（四）多 DataFrame 支持：跨表查詢“一鍵搞定”

PandasAI 支持多個 DataFrame 的聯(lián)合查詢。用戶可以將多個數(shù)據(jù)表加載到 PandasAI 中，并通過自然語言提出跨表查詢問題。例如，用戶可以詢問“哪些員工的工資最高？”PandasAI 會自動關聯(lián)多個數(shù)據(jù)表并生成答案。

四、應用場景

（一）企業(yè)數(shù)據(jù)分析：

PandasAI 可以幫助企業(yè)快速獲取數(shù)據(jù)洞察。無論是市場分析、銷售數(shù)據(jù)還是客戶行為研究，PandasAI 都能夠通過自然語言交互提供即時的數(shù)據(jù)分析結果。企業(yè)用戶可以通過簡單的對話形式獲取關鍵數(shù)據(jù)指標，從而更好地支持決策制定。

（二）數(shù)據(jù)科學教育

PandasAI 為數(shù)據(jù)科學教育提供了新的工具。學生可以通過自然語言與數(shù)據(jù)進行交互，而無需編寫復雜的代碼。這種直觀的學習方式可以幫助學生更好地理解數(shù)據(jù)分析的概念和方法，同時激發(fā)他們對數(shù)據(jù)科學的興趣。

（三）非技術用戶的數(shù)據(jù)分析

PandasAI 特別適合非技術背景的用戶。通過自然語言交互，這些用戶可以輕松地獲取數(shù)據(jù)洞察，而無需依賴技術團隊的支持。例如，市場營銷人員可以通過 PandasAI 快速獲取銷售數(shù)據(jù)，從而更好地制定營銷策略。

五、快速上手

（一）環(huán)境準備：Python 3.8+，pip 安裝

PandasAI 需要 Python 3.8 及以上版本，但低于 3.12。安裝非常簡單，只需運行以下命令：

pip install "pandasai>=3.0.0b2"

（二）基本使用：加載數(shù)據(jù)，創(chuàng)建數(shù)據(jù)集，自然語言查詢

1. 加載數(shù)據(jù)：PandasAI 支持多種數(shù)據(jù)格式的加載。比如加載 CSV 文件：

import pandasai as pai
file = pai.read_csv("./filepath.csv")

2. 創(chuàng)建數(shù)據(jù)集：將數(shù)據(jù)保存為數(shù)據(jù)集并推送到 PandasAI 平臺：

dataset = pai.create(
    path="your-organization/dataset-name",
    df=file,
    name="dataset-name",
    descriptinotallow="dataset-description"
)
dataset.push()

3. 自然語言查詢：使用自然語言提出問題并獲取答案：

df = pai.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "revenue": [5000, 3200, 2900, 4100, 2300, 2100, 2500, 2600, 4500, 7000]
})
pai.api_key.set("your-pai-api-key")
df.chat('Which are the top 5 countries by sales?')

（三）高級功能：數(shù)據(jù)可視化、多 DataFrame 查詢、Docker 沙盒

1. 數(shù)據(jù)可視化：生成數(shù)據(jù)圖表：

df.chat("Plot the histogram of countries showing for each one the revenue. Use different colors for each bar")

2. 多 DataFrame 查詢：聯(lián)合多個數(shù)據(jù)表進行查詢：

employees_data = {
    'EmployeeID': [1, 2, 3, 4, 5],
    'Name': ['John', 'Emma', 'Liam', 'Olivia', 'William'],
    'Department': ['HR', 'Sales', 'IT', 'Marketing', 'Finance']
}
salaries_data = {
    'EmployeeID': [1, 2, 3, 4, 5],
    'Salary': [5000, 6000, 4500, 7000, 5500]
}
employees_df = pai.DataFrame(employees_data)
salaries_df = pai.DataFrame(salaries_data)
pai.chat("Who gets paid the most?", employees_df, salaries_df)

3. Docker 沙盒環(huán)境：確保代碼執(zhí)行的安全性：

from pandasai_docker import DockerSandbox
sandbox = DockerSandbox()
sandbox.start()
pai.chat("Who gets paid the most?", employees_df, salaries_df, sandbox=sandbox)
sandbox.stop()

六、結語

PandasAI 作為一款創(chuàng)新的數(shù)據(jù)分析工具，通過自然語言交互和大語言模型的應用，極大地降低了數(shù)據(jù)分析的門檻，使得更多用戶能夠輕松地獲取數(shù)據(jù)洞察。無論是企業(yè)用戶、數(shù)據(jù)科學家還是非技術背景的人員，PandasAI 都能夠提供強大的支持。隨著技術的不斷發(fā)展，PandasAI 有望在數(shù)據(jù)分析領域發(fā)揮更大的作用。

GitHub 地址：?https://github.com/sinaptik-ai/pandas-ai

本文轉(zhuǎn)載自???小兵的AI視界???，作者：AGI小兵