作者 | David Linthicum
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
眾所周知，大型語言模型（LLMs）需要大量的計算資源。這意味著開發(fā)和部署主要集中在強大的集中式系統(tǒng)上，如公共云提供商。然而，盡管許多人認為我們需要大量的GPU和龐大的存儲空間來運行生成式AI，但實際上，存在使用分層或分區(qū)架構(gòu)為特定業(yè)務(wù)用例創(chuàng)造價值的方法。
不知怎的，有一種聲音認為，在生成式AI的時代背景下，邊緣計算似乎行不通。這是因為生成式AI模型的處理要求以及推動高性能推斷的需求。當我提出“邊緣知識”架構(gòu)時，由于這種聲音，我常常受到質(zhì)疑。我們錯過了巨大的創(chuàng)新機會，讓我們來看看吧。
1.“云+邊緣”混合LLM方法可行嗎？
這種混合方法使兩種基礎(chǔ)設(shè)施類型的效率最大化。在邊緣運行某些操作可以顯著降低延遲，這對于需要即時反饋的應(yīng)用程序至關(guān)重要，例如交互式AI服務(wù)和實時數(shù)據(jù)處理。不需要實時響應(yīng)的任務(wù)可以委托給云服務(wù)器。
對這些模型進行分區(qū)提供了一種平衡計算負載、提高響應(yīng)速度并增加AI部署效率的方法。該技術(shù)涉及在邊緣設(shè)備、集中式云服務(wù)器或本地服務(wù)器上運行LLMs（大型語言模型）的不同部分或版本。
通過分區(qū)LLMs，我們實現(xiàn)了一種可擴展的架構(gòu)，其中邊緣設(shè)備處理輕量級、實時任務(wù)，而繁重的計算則卸載到云端。例如，假設(shè)我們正在運行分布在世界各地的醫(yī)療掃描設(shè)備。基于AI的圖像處理和分析是這些設(shè)備價值的核心；然而，如果我們將巨大的圖像發(fā)送回某個中央計算平臺進行診斷，那將不是最優(yōu)選擇。網(wǎng)絡(luò)延遲會延遲部分處理，如果網(wǎng)絡(luò)在某些情況下出現(xiàn)故障（這在許多農(nóng)村地區(qū)可能會發(fā)生），那么你的業(yè)務(wù)就會受到影響。
大約80%的診斷測試可以在靠近掃描儀的低功率設(shè)備上正常運行。因此，掃描儀設(shè)計用于檢測的常規(guī)事物可以在本地處理，而需要更廣泛或更復(fù)雜的處理的測試可以推送到中央服務(wù)器進行額外診斷。
其他用例包括飛行中噴氣發(fā)動機部件的診斷。用戶會希望利用AI的力量來監(jiān)控和糾正噴氣發(fā)動機操作中的問題，并且需要在接近實時的情況下糾正這些問題。將操作診斷推送回某些集中的AI處理系統(tǒng)不僅不是最佳選擇，而且也不安全。
2.為什么混合LLM架構(gòu)沒有得到廣泛應(yīng)用？
分區(qū)架構(gòu)減少了延遲，節(jié)省了能源和計算能力。敏感數(shù)據(jù)可以在邊緣設(shè)備上本地處理，通過減少互聯(lián)網(wǎng)上的數(shù)據(jù)傳輸來緩解隱私擔(dān)憂。以我們的醫(yī)療設(shè)備為例，這意味著個人可識別信息的擔(dān)憂減少了，數(shù)據(jù)的安全性也更加直接明了。然后，云可以處理一般化、非敏感性的方面，確保采用分層安全方法。
那么，為什么沒有人使用它呢？
首先，它很復(fù)雜。這種架構(gòu)需要思考和規(guī)劃。生成式AI是新的，大多數(shù)AI架構(gòu)師也是新的，他們從推動云的云提供商那里獲取架構(gòu)線索。這就是為什么讓特定云提供商的架構(gòu)師設(shè)計你的AI系統(tǒng)不是一個好主意。你每次都會得到一個云解決方案。云提供商，我在看著你們。
其次，生成式AI生態(tài)系統(tǒng)需要更好的支持。它們?yōu)榧惺健⒒谠频摹⒈镜氐幕蜷_源的AI系統(tǒng)提供了更好的支持。對于混合架構(gòu)模式，你必須自己動手，盡管市場上有一些有價值的解決方案，包括支持AI的邊緣計算工具集。
3.如何構(gòu)建混合LLM架構(gòu)
第一步是評估LLM（大型語言模型）和AI工具包，并確定哪些組件可以在邊緣有效地運行。這通常包括執(zhí)行推理任務(wù)的輕量級模型或更大模型中的特定層。
復(fù)雜的訓(xùn)練和微調(diào)操作仍然保留在云端或其他持久化系統(tǒng)中。邊緣系統(tǒng)可以預(yù)處理原始數(shù)據(jù)以減少其體積和復(fù)雜性，然后再將其發(fā)送到云端或使用其LLM（或小型語言模型）進行處理。預(yù)處理階段包括數(shù)據(jù)清洗、匿名化和初步特征提取，以簡化后續(xù)的集中處理。
因此，邊緣系統(tǒng)可以扮演兩個角色：它是將數(shù)據(jù)和API調(diào)用傳遞給集中式LLM的預(yù)處理器，或者它執(zhí)行一些處理/推理，這些處理/推理最好使用邊緣設(shè)備上的小型模型來處理。這種混合邊緣/中心模型提供了最佳效率，因為兩個層級都在協(xié)同工作，同時我們也在使用盡可能少的資源來實現(xiàn)最大化效果。
為了使分區(qū)模型能夠協(xié)同工作，邊緣和云系統(tǒng)必須有效地同步。這需要強大的API和數(shù)據(jù)傳輸協(xié)議來確保系統(tǒng)通信的順暢。持續(xù)的同步還允許實時更新和模型改進。
最后，會進行性能評估以微調(diào)分區(qū)模型。該過程包括負載均衡、延遲測試和資源分配優(yōu)化，以確保架構(gòu)滿足特定應(yīng)用的要求。
將生成式AI的大型語言模型（LLMs）分區(qū)部署在邊緣和中心/云基礎(chǔ)設(shè)施上，是AI部署的下一個前沿領(lǐng)域。這種混合方法提高了性能和響應(yīng)速度，并優(yōu)化了資源使用和安全性。然而，大多數(shù)企業(yè)甚至技術(shù)提供商都害怕這種架構(gòu)，認為它太復(fù)雜、太昂貴，并且構(gòu)建和部署速度太慢。
事實并非如此。不考慮這種選擇意味著你可能會錯過良好的商業(yè)價值。此外，幾年后像我這樣的人可能會出現(xiàn)并指出您在AI優(yōu)化方面錯過了機會。您已經(jīng)被警告過了。
參考鏈接：https://www.infoworld.com/article/3715488/partitioning-an-llm-between-cloud-and-edge.html
