繼OpenAI最近的爭議后，AI工程師和公司開始減少乃至完全擺脫對其API的依賴。

譯自Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency，作者 Richard MacManus 是 The New Stack 的高級編輯，并撰寫有關 Web 和應用程序開發趨勢的文章。此前，他于 2003 年創立了 ReadWriteWeb，并將其打造成為世界上最有影響力的技術新聞網站之一。從早期開始...

無論過去幾天圍繞 OpenAI 的劇情如何發展，有一件事是清楚的:那些依賴 OpenAI API 構建的創業公司現在正在重新思考他們的策略。正如 Shawn "swyx" Wang 在劇情泄露到新聞后不久所指出的那樣，"99% 的 AI 工程師的工作以 OpenAI 模型開始，可能也將以 OpenAI 模型結束。" 但是現在，Wang 警告說，"OpenAI 霸權的日子結束了。"

人們預計 OpenAI 的競爭對手，如 Anthropic 和 Google，將從中受益；開源 LLM 如 Meta 的 Llama 2 也是如此。但這種動蕩也會滲透到第三方工具中。例如，Swyx 認為，"相對來說，像 LangChain 和 LlamaIndex 這樣與模型無關的工具，以及模型路由器和網關，將更有價值。"

歸根結底，最大的教訓是一個熟悉的教訓：不要讓你的工作項目或創業公司依賴于另一家公司的技術。這是 Twitter 開發人員早在 2012 年(然后在十年后重新學習)就吃到了苦頭的事情。

直到上周，AI 工程師們普遍認為 OpenAI 的 LLM 優于所有其他 LLM。今年有人談論開源模型正在趕上。Meta 在 7 月宣布的 Llama 2 目前領先于斯坦福大學的 HELM(語言模型整體評估)基準排行榜。然而，OpenAI 最新的模型(GPT-4 及以上)還沒有被 HELM 評估——感覺是 GPT 仍然是最好的。

OpenAI 的開發者體驗也很難打敗，主要是因為你不需要自己訓練或微調 LLM。你只需要使用 OpenAI 的 API，然后在它上面做提示工程，在如 LangChain 這樣的工具幫助下。

總的來說，使用 OpenAI 的 API 一直被視為 AI 工程最高效、最簡單的方法。然而，過去幾天的鬧劇生動地展示了依賴一家公司 API 的風險。所以，許多 AI 初創公司現在可能會決定，擁有對 LLM 的直接訪問權限(特別是如果它們是開源的)才是更好的選擇。

評估替代方案

非 OpenAI 的供應商已經站出來幫助創業公司測試替代方案。AnyScale 的 Robert Nishihara最近在 X(原 Twitter)上寫道:

“如果你想要并排比較 OpenAI 和開源模型(Llama 2、Mistral、Zephyr 等)，請查看 Anyscale Endpoints。我們提供兼容 OpenAI 的 API(用于推理和微調)。”

即使創業公司決定繼續使用 OpenAI 目前市場領先的 GPT 模型，它們也可能決定從 OpenAI 更穩定的合作伙伴那里為它們提供服務：Microsoft。一家名為 Sardine 的 AI 創業公司的創始人兼 CEO Soups Ranjan 在 X 上評論說：“許多公司可能已經將他們的模型服務直接遷移到了 Microsoft 的 Azure AI API。”的確，Ranjan 證實他的公司就是這么做的。

Ranjan 還建議 AI 創業公司應該通過“跨多個模型編排——如 Google 的 PaLM、Anthropic 的 Claude2 或開源模型 Llama”來使其 LLM 多樣化。

然而，Ranjan 警告說，開源不是簡單的選擇，你需要一個堅實的后端來使其工作。他在 X 上寫道："不要低估 OpenAI 或 Azure 或 Google Cloud 的超級力量——他們擁有世界級的服務基礎設施，可以托管這些需要大量 RAM 或定制 GPU 芯片(如英偉達 A100 或 H100)的大型語言模型，而這些芯片供應非常緊張。"

但最終它可能是值得的。Ranjan 總結說："控制你的模型，控制你的命運。"

執行 AI 轉型

在 LinkedIn 上，AI 創業家 Aishwarya (AG) Goel 寫了一篇指南，介紹如何讓你的創業公司擺脫 OpenAI，轉向Hugging Face 的開源工具。她概述了如何在該平臺上找到模型，使用 Hugging Face 的推理 API 對其進行測試，進行成本分析，并考慮“無服務器部署選項”(她自己的公司提供該服務)。

但要當心，更改 LLM 提供商有隱藏的危險。LangChain 是 OpenAI 的重要合作伙伴，可能是除 OpenAI 自身之外使用最廣泛的AI 工程工具，它在一條推文中寫道：“不同的 LLM 通常需要不同的提示策略。”

LangChain 補充說：“切換 API 端點通常是簡單的部分。難點是讓一個 LLM 的表現與另一個 LLM 類似。讓單個 LLM 表現良好就已經夠難的了!”

該公司說目前沒有"很好的選擇"來做到這一點，但它建議開發人員使用其自己的LangSmith Prompt Hub來測試“適用于你正在使用的模型的提示示例”。

是時候擴展業務了

在撰寫本文時(美國太平洋時間周三凌晨早些時候)，OpenAI 劇情的最新消息是 Sam Altman 將回任 CEO，并且最終不會加入 Microsoft。如果那確實發生了，許多 AI 工程師和 AI 創業公司將舒了一口氣。但他們不應忘記這里的基本教訓：不要依賴一家公司來運行你的產品！

其中一位已經開始測試 OpenAI 替代方案的工程師是 Redis 的創造者 Salvatore Sanfilippo(也稱為 @antirez)。在一條推文中承認他喜歡 ChatGPT 后，他寫道：“如果你的產品使用了 OpenAI API，而你沒有嘗試這個任務是否可以由微調(通過 LoRa 或其他方式)的 Mistral 7B 來處理......嗯，在這種情況下，你真的錯過了一些東西。”

如果 Redis 的創造者正在考慮其他選擇——在他的例子中是一個名為Mistral 7B的新的開源 LLM——那么你也許也應該這么做。