我記得一個周末，我坐下來，確信自己終于可以構建一個像樣的研究助理代理原型了。沒什么特別的——只是能讀取 PDF 文件、提取關鍵信息，或許還能回答一些后續問題而已。應該很簡單，對吧？

相反，我花了將近兩天的時間在文檔不全的倉庫、死掉的 GitHub 問題和含糊不清的博客文章之間來回切換。其中一個工具看起來有望成功，直到我意識到它已經八個月沒有更新了。另一個工具需要啟動四個不同的服務才能解析一個文檔。到最后，我的“代理”幾乎看不懂文件名，更不用說內容了。

但支撐我繼續下去的不是挫敗感，而是好奇。我想知道：實際建造者使用的工具有哪些？不是那些出現在光鮮亮麗的 VC 地圖上的，而是那些你悄悄安裝、放在你的堆棧里、并且真正使用的東西。那些不需要用三頁 Notion 來解釋的東西。

這次搜索讓我找到了一套令人驚訝的開源庫——這些工具輕量級、可靠，并且是專為開發人員設計的。

因此，如果您正在努力讓代理真正發揮作用，那么這篇文章就適合您。

那么，您準備好構建 AI 代理了嗎？

你可能會問：

• 人們用什么來構建語音代理？
• 最好的開源文檔解析工具是什么？
• 我如何給我的代理提供內存而不用將矢量數據庫粘貼到所有內容上？

本指南并非試圖涵蓋所有工具，這是有意為之。它精選了我實際使用過、保存過以及在構建真實代理原型時會用到的工具。這些工具并非那些在演示中看起來很酷或出現在所有宣傳帖中的工具，而是那些幫助我從“想法”到“實際可用”且不會迷失方向的工具。

以下是堆棧，分為以下類別：

1. 構建和編排代理的框架

如果您是從頭開始構建，請從這里開始。這些工具可以幫助您構建代理的邏輯——做什么、何時做以及如何處理工具。您可以將其視為將原始語言模型轉化為更自主的模型的核心大腦。

2. 計算機和瀏覽器的使用

一旦你的代理能夠規劃，它就需要采取行動。此類別包含的工具可讓你的代理點擊按鈕、輸入字段、抓取數據，并像人類一樣控制應用或網站。

3. 聲音

如果您的座席需要說話或聆聽，這些工具可以處理音頻方面的問題——將語音轉換為文本，然后再轉換為文本。非常適合免提用例或語音優先的座席。有些工具甚至足以勝任實時對話。

4. 文檔理解

現實世界中，大量數據以 PDF、掃描件或其他雜亂的格式存在。這些工具可以幫助您的客服人員真正閱讀并理解這些數據內容——無論是發票、合同還是基于圖像的文件。

5.記憶

為了超越一次性任務，你的代理需要記憶。這些庫可以幫助它記住剛剛發生的事情、你之前告訴它的內容，甚至隨著時間的推移構建一個長期檔案。

6.測試與評估

事情難免會出錯。這些工具可以幫助您在錯誤影響生產之前發現它們——通過運行場景、模擬交互以及檢查代理的行為是否合理。

7. 監控和可觀察性

代理上線后，您需要了解其運行情況和性能。這些工具可幫助您跟蹤使用情況、調試問題并了解成本或延遲影響。

8.模擬

在將代理投入實際使用之前，請先在安全的沙盒環境中進行測試。模擬環境可讓您在受控的環境中進行實驗、優化決策邏輯并發現極端情況。

9.垂直代理

并非所有東西都需要從零開始構建。這些是專為特定任務（例如編碼、研究或客戶支持）構建的現成代理。您可以按原樣運行它們，也可以根據您的工作流程進行自定義。

1. 構建和編排代理的框架

要構建真正能完成任務的代理，您需要一個堅實的基礎——能夠處理工作流、內存和工具集成，而不會變成一堆亂七八糟的腳本。這些框架為您的代理提供了理解目標、制定計劃并執行所需的結構。

CrewAI——協調多個代理協同工作。非常適合需要協調和基于角色的行為的任務。

Agno——專注于記憶、工具使用和長期互動。非常適合需要記憶和適應能力的助手。

Camel——專為多代理協作、模擬和任務專業化而設計。

AutoGPT — 通過規劃和執行循環自動化復雜的工作流程。最適合需要獨立運行的代理。

AutoGen——讓代理相互溝通以解決復雜問題。

SuperAGI——簡化設置，快速構建和運送自主代理。

Superagent——一個靈活的開源工具包，用于創建自定義 AI 助手。

LangChain和LlamaIndex——用于管理內存、檢索和工具鏈的首選工具。

2. Computer and Browser Use

一旦你的代理具備了思考能力，下一步就是幫助它行動。這意味著它能夠像人類一樣與計算機和網絡交互——點擊按鈕、填寫表單、瀏覽頁面以及運行命令。這些工具彌合了推理和行動之間的差距，讓你的代理能夠在現實世界中運作。

Open Interpreter ——將自然語言翻譯成機器上的可執行代碼。想要移動文件或運行腳本？只需描述即可。

Self-Operating Computer ——讓代理完全控制您的桌面環境，允許他們像人一樣與您的操作系統進行交互。

Agent-S——一個靈活的框架，讓 AI 代理像真實用戶一樣使用應用程序、工具和界面。

LaVague——使網絡代理能夠瀏覽網站、填寫表格并實時做出決策——非常適合自動執行瀏覽器任務。

Playwright——跨瀏覽器自動化網頁操作。方便測試或模擬用戶流程。

Puppeteer——一款可靠的 Chrome 或 Firefox 控制工具。非常適合抓取和自動化前端行為。

3. 聲音

語音是人類與 AI 代理交互最直觀的方式之一。這些工具可以處理語音識別、語音合成和實時交互，讓您的代理感覺更像人類。

Speech2Speech

Ultravox——頂級語音對語音模型，可流暢處理實時語音對話。快速響應。

Moshi——語音轉語音任務的另一款強大選擇。在實時語音交互方面表現可靠，但 Ultravox 在性能上更勝一籌。

Pipecat——用于構建語音代理的全棧框架。支持語音轉文本、文本轉語音，甚至基于視頻的交互。

Speech2text

Whisper ——OpenAI 的語音轉文本模型——非常適合跨多種語言的轉錄和語音識別。

Stable-ts — 一個更方便開發者使用的 Whisper 封裝器。添加了時間戳和實時支持，非常適合用于對話代理。

說話人分類 3.1 — Pyannote 用于檢測說話人何時說話的模型。這對于多說話人對話和會議式音頻至關重要。

文本轉語音

ChatTTS——迄今為止我發現的最好的模型。它速度快、穩定，并且適用于大多數生產環境。

ElevenLabs（商業版）——當質量比開源更重要時，這是您的首選。它提供高度自然的聲音，并支持多種風格。

Cartesia （商業）——如果您正在尋找超越開放模型所能提供的富有表現力、高保真的語音合成，這是另一個強大的商業選擇。

雜項工具

它們并不完全適合某一類別，但在構建或改進語音代理時非常有用。

Vocode — 用于構建語音驅動的 LLM 代理的工具包。它可以輕松地將語音輸入/輸出與語言模型連接起來。

語音實驗室——用于測試和評估語音代理的框架。可用于輸入正確的提示、語音角色或模型設置。

4. 文檔理解

大多數有用的業務數據仍然以非結構化格式存在——PDF、掃描件、基于圖像的報告。這些工具可以幫助您的客服人員讀取、提取并理解這些雜亂的數據，而無需復雜的 OCR 流程。

Qwen2-VL——阿里巴巴強大的視覺語言模型。在混合圖像和文本的文檔任務上，其性能優于 GPT-4 和 Claude 3.5 Sonnet，非常適合處理復雜的現實世界格式。

DocOwl2 — 一個輕量級的多模態模型，無需OCR 即可理解文檔。它快速、高效，并且能夠從雜亂的輸入中提取結構和含義，準確率極高。

5.記憶

如果沒有記憶，客服人員就會陷入循環——把每一次互動都當成第一次。這些工具讓他們能夠回憶過去的對話，追蹤他們的偏好，并建立連續性。這能讓一個一次性的助手隨著時間的推移變得更加有用。

Mem0 — 一個自我改進的記憶層，可讓您的代理適應之前的交互。非常適合構建更加個性化和持久的 AI 體驗。

Letta（原名 MemGPT） ——為 LLM 代理添加長期記憶和工具使用功能。可以將其視為需要記憶、推理和進化的代理的支架。

LangChain——包括即插即用的內存組件，用于跟蹤對話歷史和用戶上下文——在構建需要在多個回合中保持接地的代理時非常方便。

6.測試與評估

當您的代理不再只是聊天——瀏覽網頁、做出決策、大聲說話——您需要了解他們如何處理特殊情況。這些工具可以幫助您測試代理在不同情況下的行為，及早發現錯誤，并追蹤故障點。

eeVoice Lab——一個用于測試語音代理的綜合框架，確保您的代理的語音識別和響應準確而自然。

AgentOps——一套用于跟蹤和基準測試 AI 代理的工具，幫助您發現任何問題并在問題影響用戶之前優化性能。

AgentBench——用于評估 LLM 代理在各種任務和環境中的表現的基準工具，從網頁瀏覽到游戲，確保多功能性和有效性。

7. 監控和可觀察性

為了確保您的 AI 代理能夠大規模、順暢高效地運行，您需要深入了解其性能和資源使用情況。這些工具能夠提供必要的洞察，讓您能夠監控代理行為、優化資源，并在問題影響用戶之前將其捕獲。

openllmetry——使用 OpenTelemetry 為 LLM 應用程序提供端到端可觀察性，讓您清楚地了解代理性能，并幫助您快速排除故障和優化。

AgentOps——一款全面的監控工具，可跟蹤代理的績效、成本和基準，幫助您確保代理高效且在預算之內。

8.模擬

在部署之前模擬真實環境將帶來翻天覆地的變化。這些工具可讓您創建受控的虛擬空間，讓您的代理能夠在其中進行交互、學習和決策，而無需擔心在真實環境中出現意外后果。

AgentVerse——支持在不同的應用程序和模擬中部署多個基于 LLM 的代理，確保在各種環境中有效運行。

Tau-Bench——一種基準測試工具，用于評估零售或航空等特定行業的代理與用戶之間的交互，確保順利處理特定領域的任務。

ChatArena——一個代理之間可以交互的多代理語言游戲環境，非常適合在安全、可控的空間中研究代理行為和改進溝通模式。

AI Town——一個虛擬環境，其中 AI 角色可以進行社交互動、測試決策并模擬真實世界場景，從而幫助微調代理行為。

生成代理——斯坦福大學的一個項目，專注于創建模擬復雜行為的類人代理，非常適合在社交環境中測試記憶和決策。

9.垂直代理

垂直代理是專門為解決特定問題或優化特定行業任務而設計的工具。雖然這類工具的生態系統正在不斷發展，但以下是我個人使用過的一些特別有用的工具：

編碼：

OpenHands——一個由人工智能驅動的軟件開發代理平臺，旨在自動化編碼任務并加快開發過程。

aider——一種直接與您的終端集成的結對編程工具，提供 AI 副駕駛來協助您的編碼環境。

GPT 工程師——使用自然語言構建應用程序；只需描述您想要的內容，AI 就會闡明并生成必要的代碼。

屏幕截圖到代碼 ——使用 HTML、Tailwind、React 或 Vue 將屏幕截圖轉換為功能齊全的網站，非常適合快速將設計想法轉化為實時代碼。

研究：

GPT 研究員——自主代理，進行全面研究、分析數據并撰寫報告，簡化研究流程。

SQL：

Vanna — 使用自然語言查詢與您的 SQL 數據庫交互；不再需要復雜的 SQL 命令，只需提出問題，Vanna 就會檢索數據。

小結

回顧我早期嘗試開發研究助手的過程，我發現我把事情搞得太復雜了。最終，這個項目變得一團糟——過時的代碼、不成熟的工具，甚至連PDF這種簡單的文件都處理不順暢。但矛盾的是，這正是我學到最多的地方。

關鍵不在于找到完美的工具，而在于堅持有效的方法，并保持簡潔。那次失敗讓我明白，最可靠的代理是建立在務實、直接的技術棧上的，而不是追逐各種炫酷的新工具。

成功的代理開發并不需要重新發明輪子。

關鍵在于選擇合適的工具，精心集成，并不斷完善原型。無論您是要實現工作流程自動化、構建語音代理，還是解析文檔，一個精心挑選的技術棧都能讓整個流程更加順暢高效。