如果你想躋身 AI 工程師的頂尖 1%，別再浪費時間了，趕緊看看這份清單！

我知道這看起來有點多，一下子學完肯定不現實。但慢慢來，你得搞懂這些庫的功能，以及在項目中啥時候用它們。

AI 行業變化快得像坐火箭，半年前的熱門技術可能現在已經過時了。公司急需能打造生產級系統的 AI 工程師。很多開發者卡殼，是因為他們只追逐炫酷的玩意兒，比如最新的 GPT 包裝器或社交媒體上炒得火熱的新框架，卻忽略了那些真正區分專業選手和業余玩家的基礎庫。

有人搞了個酷炫的 ChatGPT 克隆，興奮得不行，結果一到擴展規模或融入實際業務流程就撞墻了。這就是為什么我整理了這 27 個 Python 庫的清單，它們是區分專業 AI 工程師和周末愛好者的完整工具箱。

每個庫在 AI 工程中都有特定作用。掌握它們，你就能開發出讓企業愿意掏大錢的 AI 應用。

但首先，AI 工程師到底是啥？對不同人來說，定義可不一樣。

AI 工程師是誰？

在我看來，AI 工程師專注于把預訓練模型整合到應用和產品中。你不是從零開始訓練模型，那是機器學習工程師和數據科學家干的事。你是用現成的 AI 能力，把它們塞進企業能用的現實系統里。

換句話說，如果數據科學家發現一個模型能預測客戶流失，你就是那個開發系統來阻止流失的人。

作為 AI 工程師，你的核心職責包括：

? 打造能每分鐘處理上千請求的可靠APIs。

? 設計能穩定處理復雜現實數據的數據流水線。

? 創建讓復雜 AI 功能用起來簡單直觀的用戶界面。

? 確保系統在企業級規模下穩定運行不崩。

? 將多個 AI 模型整合成統一的業務流程。

這區別很重要，因為它直接決定了你需要掌握哪些工具。你更關心系統架構、數據流和用戶體驗，而不是訓練算法。

基礎與數據準備

1. NumPy

NumPy 是你打造的每個 AI 系統的數學基石。

很多 AI 工程師覺得 NumPy 理所當然，但搞懂它的核心概念能省下無數調試時間。它的威力在處理大數據集時顯現，靠 vectorized operations（矢量化操作）讓操作百萬數據點變得高效，比純 Python 循環快幾百倍。

關鍵功能：

? 優化的N-dimensional array對象，內存占用低。

?Broadcasting功能，支持不同尺寸數組的操作。

? 元素級數學函數，覆蓋整個數組。

? 隨機數生成，適合 AI 模型測試和驗證。

? 線性代數操作，機器學習的基石。

? 與 C/C++ 和 Fortran 集成，性能拉滿。

NumPy 是其他一切的基礎。掌握數組索引和廣播，你就懂了現代 AI 框架的運行原理。

資源鏈接：NumPy 官方文檔 （https://numpy.org/doc/stable/）

2. Pandas

Pandas 把雜亂的現實數據變成 AI 模型能用的信息。

數據清洗和準備占了我 40% 的 AI 項目時間，Pandas 讓這活兒變得能忍受。沒有它，處理缺失值或合并數據集得寫幾百行代碼。DataFrame 結構讓你像思考一樣操作數據，同時保留程序化控制。

關鍵功能：

?DataFrame和Series對象，輕松操作結構化數據。

? 強大的數據清洗工具，處理重復值和缺失值。

?Group-by操作，跨維度聚合數據。

? 時間序列分析，處理時間數據。

? 支持從 CSV、JSON、SQL、Excel 導入/導出數據。

? 內存高效，處理超大數據集。

Pandas 連接了原始數據和 AI 就緒數據集。別盯著單個數據點，學會用流水線和轉換的思維。

資源鏈接：Pandas 官方文檔 （https://pandas.pydata.org/docs/）

3. Pydantic

Pydantic 讓你的 AI 應用在面對用戶亂七八糟的數據時不崩盤。

每個 AI 系統都會大量用 Pydantic。它能完全控制驗證和轉換 AI 應用中亂糟糟的數據，比如用戶輸入、數據庫記錄、API 響應。結合類型提示，你的代碼自帶文檔，還能在運行時錯誤炸掉應用前抓到問題。

關鍵功能：

? 用 Python 類型提示自動驗證數據。

? 自定義驗證器，應對復雜業務邏輯。

? 生成JSON schema，方便 API 文檔。

? 序列化和反序列化，帶錯誤處理。

? 與FastAPI集成，自動驗證請求/響應。

? 支持環境變量的設置管理。

Pydantic 把不可靠的數據變成經過驗證的可靠數據。

資源鏈接：Pydantic 官方文檔 （https://docs.pydantic.dev/latest/）

4. Pydantic-Settings

Pydantic-Settings 安全存儲敏感數據，把所有配置集中管理。

它能避免把數據庫 URL 和 API 密鑰硬編碼到代碼里。配置管理聽起來無聊，但它區分了業余項目和專業系統。部署到不同環境（本地、測試、生產）需要不同配置，Pydantic-Settings 通過環境變量自動搞定。

關鍵功能：

? 自動加載環境變量，支持類型轉換。

? 分層配置，支持默認值和覆蓋。

? 應用啟動時驗證配置值。

? 支持.env文件，方便本地開發。

? 支持復雜的嵌套配置對象。

? 自動生成配置選項文檔。

用 Pydantic-Settings，你的應用既安全又可移植。

資源鏈接：Pydantic-Settings 文檔 （https://docs.pydantic.dev/latest/concepts/pydantic_settings/）

5. Docling

Docling 是 IBM 打造的頂級 AI 文檔處理器，專為從 PDF 提取有意義信息。

普通文檔處理庫只能簡單提取文本，但 AI 應用需要保留格式、表格和元數據的結構化數據。Docling 能處理這種復雜性，保持文檔元素間的關系。

相比傳統解析庫，Docling 的提取質量明顯更高，尤其對復雜布局。

關鍵功能：

? 高級 PDF 解析，保留布局和表格提取。

? 支持多種文檔格式，包括 Word、PowerPoint 和圖片。

?OCR功能，處理掃描文檔和圖片 PDF。

? 結構化輸出，帶元數據、格式和層級信息。

? 與主流 AI 框架集成，方便后續處理。

? 批量處理，搞定大文檔集合。

Docling 解決傳統需要定制方案的文檔處理難題。如果你在處理商業文檔，這庫能省你幾個月開發時間。

資源鏈接：Docling GitHub 倉庫 （https://github.com/docling-project/docling）

后端基礎設施與 API

6. Python-Dotenv

Python-Dotenv 讓你的密鑰安全，配置井井有條。簡單但關鍵，防止你不小心把 API 密鑰提交到 GitHub，或把數據庫密碼硬編碼到源碼里。

AI 應用的泄密事件常因開發者偷懶配置管理。我見過項目直接在主 Python 文件里暴露 OpenAI API 密鑰，誰有倉庫權限都能看見。

用 Python-Dotenv 很簡單：本地建個 .env 文件，加到 .gitignore，應用自動加載所需環境變量，敏感信息不外泄。

關鍵功能：

? 輕松加載.env文件，自動解析環境變量。

? 支持變量擴展和默認值分配。

? 與現有環境變量工作流集成。

? 核心功能無額外依賴。

? 跨平臺兼容，適應不同開發環境。

? 支持開發和測試場景的覆蓋功能。

Python-Dotenv 零復雜解決配置管理。一次設置，省去安全隱患。

資源鏈接：Python-Dotenv GitHub 倉庫（??https://github.com/theskumar/python-dotenv??）

7. FastAPI（我最愛的后端框架）

FastAPI 打造能應對生產級 AI 應用需求的現代 API。當 Flask 太簡單、Django 太重時，FastAPI 是你的最佳選擇。

自動生成的 API 文檔就值回票價。每個端點都有交互式文檔，團隊能立刻用，代碼更新文檔也自動同步。

性能對 AI 模型服務很重要，處理每個請求可能要幾秒。FastAPI 的 async 支持讓你能處理數百并發請求不卡殼，對面向用戶的 AI 應用至關重要。

關鍵功能：

? 自動生成帶交互式Swagger UI的 API 文檔。

? 用 Pydantic 模型內置數據驗證。

?Async/await支持高性能并發處理。

? 類型提示集成，提升代碼補全和錯誤檢測。

?WebSocket支持實時 AI 應用。

?OAuth2和JWT認證，保護 AI 端點。

FastAPI 把你的 AI 模型變成可擴展的專業 API。學習曲線平緩，能力卻是企業級的。

資源鏈接：FastAPI 官方文檔 （??https://fastapi.tiangolo.com/??）

8. Celery

Celery 處理那些耗時太長的 AI 操作，保持 API 響應迅速。AI 工作流常涉及多步操作：數據預處理、模型推理、后處理、結果存儲。沒有任務管理，用戶得等半天，服務器也容易崩。

我每個生產級 AI 系統都用 Celery，它把快速 API 響應和慢速后臺處理分開。用戶得到即時反饋，AI 工作在后臺異步完成。

關鍵功能：

? 分布式任務隊列，支持多工作進程。

? 結果后端存儲，跟蹤任務進度和獲取輸出。

? 定時任務，適合定期重新訓練 AI 模型。

? 生產級任務隊列監控和管理工具。

? 與Redis和RabbitMQ等消息代理集成。

? 錯誤處理和重試機制，應對失敗的 AI 任務。

Celery 讓你的 AI 應用從單用戶 demo 擴展到企業級系統。掌握異步工作流，你就能建能應對真實用戶負載的 AI 系統。

資源鏈接：Celery 官方文檔 （??https://docs.celeryq.dev/en/stable/??）

9. SQLAlchemy

SQLAlchemy 讓你不用為每次數據庫操作寫原始 SQL，管理數據持久化。它把 Python 對象和數據庫表連接起來，讓數據管理變得有趣。

AI 應用的數據庫交互很快變復雜。你得存用戶輸入、模型輸出、處理日志和性能指標。SQLAlchemy 讓你用 Python 類和關系思考，而不是糾結于 JOIN 語句和外鍵。

當 AI 應用超簡單 CRUD 操作時，ORM 方法更有價值。你需要復雜的分析查詢、批量數據處理和模式變更的遷移工具。

關鍵功能：

? 用 Python 類定義數據庫表，實現對象關系映射。

? 方法鏈式查詢構建器，處理復雜數據庫操作。

? 連接池和事務管理，確保生產級可靠性。

? 通過Alembic集成支持遷移，管理模式版本。

? 數據庫無關代碼，支持PostgreSQL、MySQL、SQLite。

? 延遲加載和預加載策略，優化查詢性能。

SQLAlchemy 連接數據庫存儲和 Python 應用邏輯。理解關系模式后，數據庫設計會直觀得多。

資源鏈接：SQLAlchemy 官方文檔（??https://docs.sqlalchemy.org/??）

10. Alembic

Alembic 管理 AI 應用增長時的數據庫模式變更。它是數據庫結構的版本控制，快速迭代數據模型時至關重要。

AI 項目總在變：加字段存模型元數據、建表存用戶反饋、或重組數據提升性能。如果遷移管理沒做好，這些變更就是部署噩夢。

Alembic 與 SQLAlchemy 配合，跟蹤每次模式變更。你能像用 Git 提交代碼一樣，前進或回退數據庫版本。

關鍵功能：

? 從 SQLAlchemy 模型變更自動生成遷移腳本。

? 數據庫模式版本控制，支持前進和后退遷移。

? 批量操作，高效處理大表修改。

? 分支和合并，適合并行開發工作流。

? 與 CI/CD 管道集成，自動化數據庫部署。

? 離線遷移生成，適合無數據庫訪問的環境。

Alembic 防止數據庫部署災難搞垮生產 AI 系統。項目早期用上它，數據庫變更就成常規操作。

資源鏈接：Alembic 官方文檔（??https://alembic.sqlalchemy.org/??）

機器學習核心

11. Scikit-learn

Scikit-learn 是 Python 中經典機器學習的金標準。

雖然大家都在聊深度學習，但現實中大部分 AI 問題還是靠傳統算法解決，Scikit-learn 實現得完美。它讓你先掌握基礎，再進階復雜架構。

庫的 API 設計一致，學會一個算法，其他的也差不多。每個估算器都遵循相同的 fit/predict 模式，方便實驗不同方法。

關鍵功能：

? 全面的有監督和無監督學習算法集合。

? 一致的 API，涵蓋fit/predict/transform方法。

? 內置交叉驗證和模型選擇工具。

? 特征選擇和降維功能。

? 數據清洗和轉換的預處理工具。

? 模型評估指標和性能分析工具。

Scikit-learn 教你機器學習基礎，同時提供生產級實現。

資源鏈接：Scikit-learn 官方文檔（??https://scikit-learn.org/stable/??）

12. TensorFlow

TensorFlow 驅動了全球最大規模的 AI 系統，從 Google 搜索到自動駕駛汽車。它為規模而生，覆蓋從移動端到跨千個 GPU 的分布式訓練。

TensorFlow 生態龐大：TensorFlow Serving 處理模型部署，TensorFlow Lite 優化移動端，TensorFlow Extended (TFX) 管理整個 ML 流水線。

TensorFlow 2.x 簡化了 API，保留了研究和生產的處理能力。

關鍵功能：

? 多 GPU 和 TPU 分布式訓練。

?TensorBoard用于模型可視化和調試。

?TensorFlow Serving實現可擴展模型部署。

? 移動和邊緣部署用TensorFlow Lite。

?TFX管理完整 ML 流水線。

?Keras集成，提供高級神經網絡 API。

TensorFlow 在需要規模化部署模型或用 Google 云基礎設施時表現最佳。

資源鏈接：TensorFlow 官方文檔（??https://www.tensorflow.org/??）

13. PyTorch

PyTorch 改變了研究者對深度學習的思考方式。

Meta 的支持打造了強大的 PyTorch 生態。從研究論文到生產部署，PyTorch 成了 AI 社區的首選框架。

過去，PyTorch 從研究到生產的轉換是弱點，但 TorchScript 和 TorchServe 補齊了短板。現在你能用 PyTorch 原型開發，直接部署到生產。

關鍵功能：

? 動態計算圖，靈活構建模型架構。

?Autograd自動求導，計算梯度。

? 開箱即用的CUDA支持 GPU 加速。

?TorchScript用于生產部署和優化。

? 通過torchvision和torchaudio提供預訓練模型中心。

? 活躍社區，創新研究實現。

PyTorch 適合研究和快速原型開發。如果你要實現新架構或需要最大靈活性，PyTorch 是最佳選擇。

資源鏈接：PyTorch 官方文檔（??https://pytorch.org/??）

14. XGBoost

XGBoost 在表格數據競賽中稱霸有理。

它能處理缺失值、分類特征和不平衡數據，無需大量預處理，在結構化數據集上持續優于其他算法。

最近的 GPU 加速讓 XGBoost 在大數據集上快得飛起。以前要幾小時的模型訓練，現在幾分鐘搞定，超參數調優也更實際。

關鍵功能：

? 最先進的梯度提升實現。

? 內置處理缺失值和分類特征。

? GPU 加速訓練和推理。

? 交叉驗證和早停，防止過擬合。

? 特征重要性排名，提升模型可解釋性。

? 與scikit-learnAPI 集成，易于采用。

XGBoost 是表格數據問題的首選。從原始數據到生產級模型，它往往是最快路徑。

資源鏈接：XGBoost 官方文檔（??https://xgboost.readthedocs.io/en/stable/??）

15. Matplotlib/Seaborn

數據可視化比大部分工程師想的更驅動 AI 開發。你得看見數據才能理解，Matplotlib 是 Python 所有可視化庫的基礎。

Seaborn 基于 Matplotlib，提供適合 AI 項目的統計可視化。在把數據喂給模型前，用回歸可視化、相關矩陣和分布圖能更好理解數據。

兩者結合，從快速探索圖到出版級圖形全覆蓋。Matplotlib 提供底層控制，Seaborn 提供高級統計圖形。

關鍵功能：

? Matplotlib 提供對圖表每個細節的完全控制。

? Seaborn 優化數據分析的統計可視化。

? 與Pandas DataFrame無縫集成繪圖。

? 支持交互式后端和基于 Web 的可視化。

? 支持多種格式（PNG、PDF、SVG）的出版級輸出。

? 豐富的主題和樣式自定義選項。

好的可視化能發現數據質量問題，保護模型。花時間學好這兩個庫。

資源鏈接：Matplotlib 文檔 | Seaborn 文檔（??https://matplotlib.org/??）

深度學習與神經網絡

16. Keras

Keras 讓深度學習易上手又不失強大。它把復雜神經網絡架構變成易讀的 Python 代碼。

先學 Keras，再去碰原生 TensorFlow 或 PyTorch。它的抽象層適合學習概念，不會被實現細節淹沒。

Keras 現已集成到 TensorFlow 2.x，提供簡單 API 處理常規任務，同時保留 TensorFlow 完整功能。

關鍵功能：

? 高級神經網絡 API，模型構建直觀。

? 預建層支持常見架構（CNN、RNN、LSTM、Transformer）。

?Functional和SequentialAPI，適應不同建模方式。

? 內置訓練循環，帶回調監控和控制。

? 模型保存和加載，方便部署。

? 豐富的預訓練模型，支持遷移學習

Keras 加速深度學習開發周期。快速構建原型，再優化到生產無需重寫。

資源鏈接：Keras 官方文檔(??https://keras.io/??)

17. Transformers

Hugging Face Transformers 讓你用上最先進的語言模型。

模型中心有上千個預訓練模型，隨時可用。不管是文本分類、問答還是文本生成，總有適合你的模型。

它用統一 API 處理不同模型架構的復雜性，令人印象深刻。

關鍵功能：

? 通過 Hub 訪問上千預訓練模型。

? 統一 API，支持不同模型架構和框架。

? 支持PyTorch和TensorFlow后端。

? 內置優化分詞器，適配每種模型。

?Pipeline API，無需配置即可快速推理。

? 帶訓練類和優化的微調功能。

Transformers 是現代 NLP 的入口，消除了研究與應用的障礙。

資源鏈接：Hugging Face Transformers 文檔(??https://huggingface.co/docs/transformers/index??)

18. OpenCV

OpenCV 是計算機視覺項目的重型武器。從基礎圖像處理到復雜目標檢測，它是 CV 應用的支柱超過二十年。

它覆蓋傳統計算機視覺算法到現代深度學習集成。可以用傳統方法預處理圖像，再喂給 PyTorch 或 TensorFlow 訓練的神經網絡。

OpenCV 核心功能用 C++ 優化，支持多核 CPU 或通過 CUDA 和 OpenCL 的 GPU 加速。

關鍵功能：

? 全面的圖像和視頻處理能力。

? 實時計算機視覺，優化 C++ 核心。

? 與深度學習框架集成，構建現代 CV 流水線。

? 支持多后端（CPU、CUDA、OpenCL）。

? 從基礎濾波到高級檢測的豐富算法集合。

? 跨平臺支持桌面、移動和嵌入式系統。

OpenCV 連接經典計算機視覺與現代深度學習。

資源鏈接：OpenCV 官方文檔(??https://docs.opencv.org/??)

19. NLTK

NLTK 提供自然語言處理的基礎構建塊。

雖然新庫聚焦深度學習，NLTK 教你語言學基礎，讓你明白 NLP 為啥這樣工作。它帶語料庫、示例和詳細解釋，幫你理解某些 NLP 技術的原理。

NLTK 的分詞、詞干提取和解析工具對預處理文本很有用，之后再喂給現代語言模型。

關鍵功能：

? 全面的文本處理和語言分析工具。

? 大量語料庫和詞匯資源。

? 學習 NLP 概念的教育材料和示例。

? 分詞、詞干提取和詞形還原功能。

? 詞性標注和命名實體識別。

? 句法解析和語義分析功能。

NLTK 打下你的 NLP 基礎。先用它理解語言處理，再跳到 transformer 模型。

資源鏈接：NLTK 官方文檔(??https://www.nltk.org/??)

大語言模型整合與框架

20. Instructor

Instructor 把 LLM 的雜亂輸出轉成結構化的 Python 對象，讓你的應用得到干凈的數據模型。

太多 AI 項目失敗，因為開發者花更多時間解析 LLM 響應，而不是開發功能。Instructor 保證類型安全的輸出，消滅這類 bug。

它與 Pydantic 模型集成，兼容任何 OpenAI 兼容的 API。

關鍵功能：

? 自動將 LLM 響應轉為 Pydantic 模型。

? 類型驗證和錯誤處理，確保結構化輸出。

? 支持復雜嵌套數據結構和自定義類型。

? 與 OpenAI、Anthropic 等 LLM 提供商集成。

? 帶驗證的重試邏輯，提升可靠性。

? 流式支持，實時生成結構化數據。

Instructor 消除 LLM 整合的猜謎游戲，讓 AI 應用可預測、可維護。

資源鏈接：Instructor 文檔(??https://python.useinstructor.com/??)

21. LangChain

LangChain 把語言模型連到外部數據源和工具，實現無縫整合。它把靜態 LLM 變成能搜索數據庫、調用 API 和與現實世界互動的動態智能體。

LangChain 生態龐大，數百個集成覆蓋從向量數據庫到網頁抓取工具，輕松構建復雜 AI 工作流。

它的抽象層很獨特。更換 LLM、向量存儲或內存系統不用重寫應用邏輯。

關鍵功能：

? 鏈式連接 LLM 操作，構建復雜工作流。

? 內存系統，保持對話上下文。

? 工具集成，連接 LLM 到外部 API 和數據庫。

? 向量存儲抽象，支持語義搜索和檢索。

? 智能體框架，支持自主任務執行。

? 預建集成和連接器生態。

LangChain 加速 LLM 應用開發。模塊化工具和集成簡化復雜工作流。

資源鏈接：LangChain 文檔(??https://python.langchain.com/docs/introduction/??)

22. LlamaIndex

LlamaIndex 專為連接 LLM 和你的私有數據優化。LangChain 聚焦通用工作流，LlamaIndex 則專為 檢索增強生成（RAG） 系統優化。

LlamaIndex 有高級索引技術，自動處理文檔分塊、嵌入創建和檢索優化，讓你專注于應用邏輯。

它特別適合企業應用，數據安全和檢索準確性比靈活性更重要。它的嚴格方法配置少，結果更好。

關鍵功能：

? 優化多種文檔類型的數據攝取和索引。

? 高級檢索策略，帶排名和過濾。

? 支持文本、圖像和結構化數據的多模態。

? 自動路由和子問題生成的查詢引擎。

? 與主流向量數據庫和搜索引擎集成。

? 評估框架，測量 RAG 系統性能。

LlamaIndex 擅長構建生產級 RAG 系統。數據檢索準確性關鍵時用它。

資源鏈接：LlamaIndex 文檔(??https://docs.llamaindex.ai/en/stable/??)

23. DSPy

DSPy 用編程取代提示工程。你不用手動寫提示，只需定義系統要干啥，DSPy 自動優化提示。

從提示到編程的范式轉變提升了 LLM 應用的可靠性。你的提示被當做可學習參數，根據訓練數據和成功指標優化。

DSPy 處理復雜多步推理很厲害。傳統提示鏈容易斷，DSPy 的編譯程序自動適應不同場景。

關鍵功能：

? 根據訓練示例自動優化提示。

? 可組合模塊，構建復雜推理系統。

? 支持多步推理，帶自動回溯。

? 與多種 LLM 提供商和本地模型集成。

? 基于指標的任務性能優化。

? 編譯過程生成優化的提示和權重。

DSPy 讓 LLM 應用更健壯、可維護。它是構建可靠 AI 系統的未來。

資源鏈接：DSPy 文檔(??https://dspy.ai/??)

生產與專業工具

24. Pinecone

Pinecone 處理大規模向量存儲和相似性搜索。當你的 AI 應用需要從百萬文檔或圖片中找相關信息，傳統數據庫就不夠用了。

它的托管服務省去自己運行向量數據庫的復雜性。你不用操心索引優化、分片或集群管理，Pinecone 搞定基礎設施，讓你專注應用。

實時更新是 Pinecone 的亮點。你能在服務查詢的同時插入、更新、刪除向量，適合數據頻繁變化的動態應用。

關鍵功能：

? 托管向量數據庫，自動擴展和優化。

? 即使數十億向量，查詢性能也亞秒級。

? 無中斷的實時向量更新。

? 多種索引類型，優化不同用例。

? 內置元數據過濾，支持混合搜索。

? 支持 Python、JavaScript 等流行語言 SDK。

Pinecone 解決向量數據庫的麻煩。你的相似性搜索即使大規模也能正常工作。

資源鏈接：Pinecone 文檔(??https://docs.pinecone.io/guides/get-started/overview??)

25. Langfuse

Langfuse 為 LLM 應用提供可觀察性。你沒法改進你測不了的東西，LLM 應用如果沒好監控，調試和優化就是噩夢。

它跟蹤從令牌使用、延遲到用戶反饋和模型性能的一切。這種可見性對了解生產中 AI 應用的表現至關重要。

你能用 Langfuse 識別提示變體的性能。沒有這級監控，優化是不可能的。

關鍵功能：

? 全面的 LLM 應用監控和分析。

? 跨不同模型和提供商的成本跟蹤。

? 用戶反饋收集和分析工具。

? 提示和模型比較的 A/B 測試框架。

? 與主流 LLM 框架和提供商集成。

? 自定義指標和儀表盤，滿足特定用例。

Langfuse 讓 LLM 應用可測量、可改進。生產 AI 系統需要這種監控。

資源鏈接：Langfuse 文檔(??https://langfuse.com/docs??)

26. PyMuPDF

PyMuPDF 精準提取 PDF 的文本、圖片和元數據。很多庫能讀 PDF，但 PyMuPDF 保留格式、處理復雜布局，處理速度還快得驚人。

PDF 處理復雜，因為文檔常含嵌入字體、旋轉文本、表格和圖片，簡單庫常處理不好或直接忽略。

它特別適合為 RAG 系統 準備文檔，保留文檔結構和元數據，幫 LLM 更好理解上下文。

關鍵功能：

? 高保真文本提取，保留格式。

? 圖片提取和操作功能。

? 訪問元數據，包括文檔屬性和注釋。

? 頁面渲染成圖片，供視覺處理。

? 文檔修改和創建功能。

? 優化的快速批量處理。

PyMuPDF 處理 PDF 復雜性，讓你的 AI 應用接收干凈的結構化數據，而不是亂七八糟的文本。

資源鏈接：PyMuPDF 文檔(??https://pymupdf.readthedocs.io/en/latest/??)

27. Jinja

Jinja 為 LLM 應用生成動態提示。它提供強大的模板系統，優雅處理復雜的提示構建。

模板繼承和宏讓管理大型提示庫變得可維護。你能為不同任務類型創建基礎模板，針對特定用例擴展，不用重復代碼。

Jinja 模板的條件邏輯和循環支持讓你建復雜提示，根據上下文、用戶數據或對話歷史自適應。

關鍵功能：

? 強大的模板語法，支持變量、循環和條件。

? 模板繼承，支持可復用的提示組件。

? 內置文本處理和格式化過濾器。

? 宏系統，封裝復雜提示邏輯。

? 沙箱執行環境，確保安全。

? 與 Web 框架和獨立應用集成。

Jinja 改變你的提示管理，讓維護更輕松。

資源鏈接：Jinja 文檔

最后思考

這 27 個庫是 AI 工程的支柱。

從 NumPy 的數值基礎到 Pinecone 的向量搜索能力，每個庫在 AI 開發堆棧中都有特定作用。

知道啥時候用哪個庫是一項需要時間培養的技能。

數據操作用 Pandas，API 開發用 FastAPI，向量操作用 Pinecone ，當然還有一些開源輕量的向量數據庫比如：Chroma Milvus等專業數據庫。

本文轉載自??PyTorch研習社??，作者：PyTorch研習社