出品 | 51CTO技術棧（微信號：blog51cto）
作者 | Liam Crilly
編譯 | 言征
從GitHub Copilot到Microsoft Office Copilot再到ChatGPT等，AI已經(jīng)以光速從“總有一天我們會到達那里”轉(zhuǎn)變?yōu)椤澳愕腁I戰(zhàn)略是什么？”
因此，組織正在迅速接受AI——創(chuàng)造增強的最終用戶體驗、降低的運營成本和競爭優(yōu)勢。圍繞AI流程和工作流程構建的全新應用程序正在涌現(xiàn)。像大多數(shù)新的應用程序和服務一樣，AI服務，如OpenAI或各種云提供商提供的服務，是通過API提供和消費的。
那么在AI應用跟大模型之間怎么交互呢？這里就是AI網(wǎng)關的用武之地。
AI網(wǎng)關是專門構建的系統(tǒng)，用于管理、保護和觀察激增的AI流量和應用需求。因此，它們正迅速成為一個重要的產(chǎn)品類別。那么什么是AI網(wǎng)關呢？也許你還真的需要一個！
一、什么是AI網(wǎng)關：快速定義
AI網(wǎng)關是一種專門的設備或解決方案，旨在管理和簡化應用程序和AI模型之間的交互，特別是在大型語言模型（LLM）和其他AI服務的背景下。網(wǎng)關充當AI流量的中心控制點，為應用程序訪問各種AI后端和模型提供統(tǒng)一的接口。AI網(wǎng)關還允許運營和安全團隊管理關鍵領域，如安全、治理、可觀察性和成本管理。
大多數(shù)AI網(wǎng)關包括以下幾組功能：
1.安全性和合規(guī)性
AI安全既是最重要的，也是最重要的。AI應用程序可能用于處理客戶數(shù)據(jù)或其他形式的個人身份信息，并且經(jīng)常暴露在有價值的專有公司數(shù)據(jù)中。越來越多的第三方AI機器人試圖在未經(jīng)授權的情況下對公開的數(shù)據(jù)進行訓練。
網(wǎng)關處理身份驗證和零信任，充當AI服務和API訪問的看門人。
面對這些和其他風險，AI網(wǎng)關正在成為一種新型防火墻。AI網(wǎng)關管理AI服務的消費者和提供者的安全憑證。
網(wǎng)關處理身份驗證和零信任，充當AI服務和API訪問的看門人。它還提供了一個授權層，以確保只有經(jīng)過批準的用戶才能訪問特定的服務，或者根據(jù)定義的策略批準使用服務。策略可能會根據(jù)地理位置、業(yè)務部門、角色、基礎設施提供商或基礎設施類型來限制使用。
對于特定的AI提示管理，AI網(wǎng)關可以實現(xiàn)提示安全、驗證和模板生成。這通過將功能整合在一個控制平面中簡化了即時管理，該控制平面可以在不需要更新本地開發(fā)環(huán)境或不同模型系統(tǒng)或AI應用程序的情況下進行管理。這對于負責任和合規(guī)的AI使用至關重要，因為它可以防止開發(fā)人員圍繞受限制的主題構建AI集成或在提示中設置錯誤的上下文。
此外，AI網(wǎng)關被用作AI數(shù)據(jù)的防火墻或數(shù)字丟失保護系統(tǒng)。一個功能齊全的AI網(wǎng)關可以防止模型中毒、模型盜竊和其他對AI系統(tǒng)的新生網(wǎng)絡安全威脅。
2.負載平衡和集中消耗管理
你可能需要一個AI負載均衡器，即使你還沒有。AI應用程序可能具有高度的數(shù)據(jù)密集性和計算依賴性。不管理AI應用程序的流量可能意味著非常昂貴的GPU閑置著，等待資源不足的上游部分完成工作。對于面向消費者的產(chǎn)品來說，AI應用程序的延遲是一個殺手——你讓某人等待聊天機器人響應的時間越長，他們向左或向右滑動的可能性就越大。
然后是消費問題。如今，大多數(shù)組織都在使用多種AI模型即服務產(chǎn)品。這些大多是通過云提供商或其他第三方服務提供的。AI網(wǎng)關為管理組織內(nèi)不同團隊和應用程序的AI消費提供了一個集中的平臺。這種集中化對于保持對AI流量的控制以及確保AI以合規(guī)和負責任的方式使用至關重要。
AI網(wǎng)關為管理不同團隊和應用程序的AI消費提供了一個集中的平臺。
通過提供統(tǒng)一的控制平面和負載均衡器，AI網(wǎng)關使組織能夠管理所有AI消耗和可觀測性收集。在AI中，消費是不同的，因為它是以代幣而不是交易或數(shù)據(jù)量來衡量的。
然而，令牌的簡單測量是不精確的：某些類型的查詢需要更多的令牌來運行作業(yè)，并且同一提示所需的令牌數(shù)量可能會隨著時間的推移而變化。換言之，假設您的標準應用程序為同一請求返回了可變數(shù)量的數(shù)據(jù)。這是AI細微差別的核心——消費可能更難預測和控制。
3.簡化開發(fā)人員工作流
如今，開發(fā)者和平臺運營團隊面臨著一系列令人眼花繚亂的AI集成和API可供選擇。云提供商可以通過其API簡化消費，但AI網(wǎng)關的設計允許輕松管理AIAPI和單個集成管理點。
AI網(wǎng)關支持多種AI服務，并提供單個API接口，開發(fā)人員可以使用該接口訪問他們需要的任何AI模型。端點可能允許開發(fā)人員訪問OpenAI提供的各種模型，但也可以訪問Hugging Face上包含的數(shù)千個更精細調(diào)整的開源模型和工具。AI網(wǎng)關可以自動啟用需要訪問AI服務的團隊。
是的，AI的蔓延是一件事，你不希望你的開發(fā)者擾亂它。
這個統(tǒng)一的API端點簡化了開發(fā)工作流程并加快了集成過程。這反過來又使開發(fā)人員能夠?qū)Ｗ⒂跇嫿ˋI應用程序，而不是管理復雜的集成。
正如開發(fā)人員希望在開發(fā)軟件時有一系列框架和開源模塊可供選擇一樣，AI開發(fā)人員也越來越希望有廣泛的模型和AI服務可供選擇，以便更快、更適當?shù)囟ㄖ茟贸绦颉Ｊ堑模珹I的蔓延是一件事，你不希望你的開發(fā)者擾亂它。
4.成本優(yōu)化、監(jiān)控和可觀測性
AI網(wǎng)關允許組織從其AI使用中學習，以管理和降低成本。網(wǎng)關可以深入了解每個模型的消耗配額，從而實現(xiàn)高效的資源分配和成本控制。這種透明度允許用戶有效地管理他們的AI資源使用情況，確保最佳利用率并防止浪費（例如為閑置的GPU付費）。
更先進的AI網(wǎng)關可以通過將上下文應用于每個作業(yè)，將正確類型的AI計算作業(yè)引導到最經(jīng)濟的基礎設施。例如，需要大規(guī)模和吞吐量的最關鍵的作業(yè)可能被定向到容量最高的GPU集群，而更簡單的推理作業(yè)可以被定向到更接近最終用戶但功能較弱的GPU。
優(yōu)化硬幣的另一面是可觀察性和監(jiān)控性。AI網(wǎng)關從一個地方管理AI的可觀察性，甚至可以將數(shù)據(jù)發(fā)送給第三方日志/度量收集器。這使得捕獲生成的整個AI流量更加容易，以進一步確保數(shù)據(jù)合規(guī)性并識別使用中的任何異常情況。其中一些與安全性重疊，但大部分是AI特有的，因為AI的消費模式不同，信號問題的異常也不同。
例如，AI在生產(chǎn)中對應用程序的推理可能看起來與正常的應用程序流量相似，但AI模型訓練和調(diào)整看起來非常突然，有大量的流量和依賴的計算工作，需要密切監(jiān)控，以確保GPU不會浪費在低效的數(shù)據(jù)管道中等待。
二、為AI的狂野西部帶來秩序
更令人困惑的是，許多點產(chǎn)品關注的是更全面的AI網(wǎng)關尋求解決的一兩個問題。一些供應商還將API網(wǎng)關包裝成一些特定于AI的功能，并將其命名為AI網(wǎng)關。
有一些開源項目提供了上面討論的一些功能。例如，許多機器學習操作平臺和服務為開發(fā)團隊的AI消費創(chuàng)建了統(tǒng)一的API端點。
將許多不同的產(chǎn)品捆綁在一起以獲得所有功能最終將成為一個難以克服的麻煩，而且會更加昂貴。正如API管理集中在API網(wǎng)關上一樣，AI管理也將表現(xiàn)出對綜合AI網(wǎng)關的偏見。
最好的將為每一個接觸到這種強大的新技術范式的人提供一種有效的方式來馴服AI“狂野的西部”。
合適的AI網(wǎng)關將為企業(yè)采用AI鋪平道路，并使部署這項強大的新技術在任何規(guī)模上都更加常規(guī)、安全和經(jīng)濟。
