云VS本地：誰是生成式人工智能主導的未來戰場？
譯文作者 | DAVID VELLANTE
企業客戶的數據明確但存在沖突。盡管有94%的客戶表示他們今年在人工智能上的投入更多，但由于預算的限制，這將會削減在其他項目的投入。此外，關于在哪里運行生成式AI的問題，客戶幾乎完全分為公共云和本地/邊緣計算兩派。讓問題變得更加復雜的是，開發人員稱公共云在功能豐富性和創新速度方面的體驗非常出色，然而知識產權泄露、合規性、法律風險和成本等問題將限制組織機構對公共云的使用。
在這份報告中，我們將分享關于大型語言模型采用情況的最新數據和思考，以及影響市場發展的因素。與往常一樣，我們將分享最新的ETR數據，以揭示客戶在平衡風險和價值實現時間方面所面臨的關鍵問題。
企業IT支出仍然緊縮
下面的圖表是最新的ETR支出快照中的數據。該數據包括1,777名高級IT決策者，代表了超過7500億美元的支出能力。
高級IT決策者們在2022年結束時期望他們的預算能增加4-5%。但到了一月份，這個數字反而下降了4.1%，盡管在今年的各個時間段都有小幅度的增長，但目前仍然只增長了2.9%，遠低于最初的預期。
預算限制迫使進行權衡
在預算有限的情況下，生成式AI的迅速發展導致組織機構不得不重新設置優先級。正如我們在去年與Andy Thurai進行的分析中所分享的那樣，人工智能投資回報一直難以捉摸。但ChatGPT熱潮促使董事會下達了一項自上而下的命令，并因此改變了企業技術方面的支出重點。
上圖顯示了ETR追蹤的行業。凈分數或支出動力位于縱軸上，調查中的普及度位于橫軸上。雖然所有行業在2022年都感受到了預算限制的壓力，但AI作為領先的細分市場之一，到了2022年10月，被壓縮到低于40%的紅色虛線——即支出速度的高水位線。ChatGPT在11月份進入市場后，AI支出加速增長。然而，預算并沒有發生明顯變化。
因此，我們看到其他行業出現了壓縮的情況，這表明在短期內，對生成式AI的資金投入將對市場的其他細分領域產生一定程度的稀釋效應。
對AI的支出超過其他項目
正如我們之前提到的，在下面的數據中顯示，94% 的客戶報告稱他們將在2023年增加他們在AI上的支出。
盡管大多數客戶報告稱其支出增長幅度為10%或更低，但有36%的客戶表示他們的支出將增長兩位數。
高層領導的要求與風險偏好相沖突
來自高層自上而下的壓力要求企業“搞清楚”生成式AI，這是一項緊迫的任務，實際執行起來更具有挑戰性。下圖顯示了客戶在生產環境中如何使用生成式AI。雖然有34%的客戶表示他們不在評估中，但這個數字較上一季度大幅下降。
無論如何，在實際生產環境中，有兩件事值得注意：
1）大多數人仍處在評估階段；
2）使用案例相當直觀，聊天機器人是最重要的應用領域，其次是代碼生成、文本摘要和撰寫市場營銷文案。
我們認為，組織必須真正理解商業案例并確定投資回報率。最大的投資回報驅動因素將是降低勞動力成本。你可以將其歸類為提高生產力，但最終目標是減少對人力資源的需求。這并不一定意味著失業率會上升——它只是意味著價值的主要驅動因素將是減少員工數量。這無疑會改變就業所需的技能。
組織必須評估GenAI的風險
一個關鍵挑戰是，在上層動力確實存在的情況下，部署會帶來一系列風險問題。下面這張幻燈片來自Technalysis發布的一項最新研究，該獨立分析公司由分析師鮑勃·奧唐奈爾運營。它展示了1,000名IT決策者所關注的GenAI相關最重要的問題，包括合規性、知識產權泄露、法律問題（如版權侵犯）、數據和工具質量等。
這些都是對生成AI及其使用方式謹慎的合理原因。
重新思考云與本地之間的平衡
對于GenAI風險的擔憂導致許多組織表示他們將在本地進行GenAI部署。
下面是ETR提供的一些數據，顯示組織報告了相同比例的私有和公有基礎架構，即公共云或本地/邊緣部署。云的吸引力在于它擁有最好的工具，但出于Technalysis調查中提到的原因，私有基礎架構預計將成為一個流行的部署選項。
但云仍然具有優勢。目前，云中存儲了大量的數據——我們認為40-45％的工作負載正在云上運行，也許到明年可能達到50％。正如我們在以前的研究中報道的那樣，云和本地正在趨于平衡——云仍在以更快的速度增長——但對于許多傳統應用程序來說，遷移到云端的商業案例還沒有那么強大。我們相信，云端增長的很大一部分來自于現有云工作負載之上的新應用程序或功能。
本地工作負載正成為注入人工智能的良機，諸如思科、IBM、戴爾技術和HPE等老牌企業正在尋找機會并積極投資。
云依然具有巨大優勢
事實上，在與開發人員交流時，他們普遍認為云在人工智能領域非常強大。以下是我們強調過的八個觀點，開發者告訴我們公共云滿足了這些需求。我們相信，在考慮云和本地GenAI解決方案之間的功能權衡時，這些觀點可以作為客戶的參考指南。
AI的創新速度，建立在像Amazon SageMaker這樣的先前工具之上。集成的簡易性和推動的生產力……使開發人員能夠迅速實現預期結果。我們鼓勵我們的社區訪問thecubeai.com作為一個示例，并注冊我們的私有測試版。我們的團隊使用AWS上現成可用的工具，包括開源LLMs、MongoDB、Milvus作為我們的向量數據庫和其他云工具，在幾周內迅速構建了這個平臺。
根據我們收到的查詢，模型訓練需要更多時間，但是MVP（最小可行產品）開發時間僅為正常軟件產品開發周期的十分之一。
我們在上述第4點中強調了重要性——即模型選項的多樣性——不僅來自云供應商，還來自于第三方供應商。
第5點和第6點也非常關鍵——能夠隔離推理請求，使LLM供應商無法訪問任何客戶數據。安全性提供豐富性也是關鍵因素。例如，確保數據保留在特定地區以及對數據傳輸進行加密等功能。
云提供了從硅到AI工具鏈、最大程度的數據庫選擇、治理選擇、身份訪問、開源工具可用性以及豐富的合作伙伴生態系統的一流工具。
因此，盡管HPE和Dell這樣的公司已經宣布提供LLMs作為服務，但他們的能力如何，以及他們是否真正將LLMs無縫地集成到解決方案中，還并不確定。
雖然在本地進行工作可以降低風險并且非常合理，但現有企業需要做大量工作來建立全面的解決方案和生態系統合作伙伴堆棧。
比較云與現有企業之間客戶支出勢頭
與現有企業基礎設施供應商相比，云供應商具有更強勁的業務動力。盡管有關云優化、重返本地和增長放緩等話題屢見不鮮，但數據仍明顯支持云供應商。
上面是ETR數據，顯示了幾位有潛力的LLM領導者的凈分數分解。凈分數是一種度量支出速度的指標。它跟蹤新客戶的百分比-這就是酸橙色。深綠色表示與去年相比支出增加6％或更多。灰色表示支出持平，粉紅色表示支出減少6％或更糟，明亮紅色表示流失客戶。將紅色從綠色中減去，就可以得到右側柱形圖中顯示的凈分數。
在凈分數右側，我們顯示了調查中的回應數量，這是市場影響力的代理變量。因此，正如您所看到的，AWS、微軟和谷歌的凈分數分別為51％、49％和34％，并且N值接近或超過1,000。
DELL和HPE相比，在市場影響力方面，DELL有著很強的存在感（N超過800），HPE也高達483。但從支出角度來看，云計算仍然具有明顯較高的動力。
追蹤一些關鍵數據平臺
下面我們展示了Databricks、Snowflake、IBM和Oracle等一些重要的數據平臺名稱的同樣數據。Databricks具有非常可靠的60％凈分數，已經超過了47％的Snowflake，盡管Snowflake在市場影響力上更大。但顯然Databricks正在逐漸接近Snowflake的傳統領域。正如您所看到的，IBM和Oracle的凈分數較低，分別為10％和-1％，但數據集中有大量數據。
GenAI何時會在利潤表中顯示出來？
我們預計對人工智能（包括GenAI）的支出將在2023年下半年開始對利潤表產生明顯影響。
以AWS為代表，下圖顯示了AWS自2022年第一季度以來的收入增長率。我們認為，在第三季度，減速將趨于穩定，根據當前的預測，由于人工智能作為助推因素和第四季度的季節性因素，增長將在第四季度重新加速。特別是我們預計GenAI將推動更多的計算和存儲支出，并在數據平臺和相關工具方面產生附加支出。
這種情況存在一些風險，包括宏觀環境和大數定律的作用，以及競爭，但我們目前的想法是我們正在云優化的尾聲階段，并轉向新的工作負載啟用。
GenAI的功耗分布
John Furrier經常在theCUBE上談論冪律。我們將通過觀察對大型語言模型進行修改后的冪律分布來進行總結。
冪律分布是兩個數量之間的統計關系。簡單地說，冪律分布可以理解為80/20法則。例如，我們銷售額的80%來自我們產品組合中的20%。在下面的圖表中，我們對這個概念做了一些改進，認為只有少數公司會構建大規模的語言模型。大多數LLM將位于X軸上較長的尾部，并且非常特定于行業，并且它們的規模較小。
此外，邊緣部署將會非常豐富，并且高度敏感于延遲、經濟性和功耗消耗。
在這里，我們想要提出幾點觀點：
首先，我們認為企業技術創新仍然受到消費者規模的推動。個人電腦芯片、來自搜索引擎和社交媒體的數據實力、閃存存儲以及最近的Nvidia游戲等等，所有這些都通過消費者渠道進入了企業。
我們相信，大型云計算和消費品牌將主導最大模型空間和模型的持續運行。
與Web不同的是，Web上的冪律曲線就像一堵筆直向下沒有軀干的墻（橙色線沿Y軸）。我們相信LLM領域將像紅色虛線所示一樣被拉升并向右上方移動。在這個領域，我們相信開源和第三方工具將填補空白，以及Snowflake和Databricks等云合作伙伴。
戴爾、HPE和IBM等本地市場占主導地位的企業將成功，當他們能夠利用LLM多樣性，并將其部署在他們的市場模型中...以一種與云計算一樣簡單、更受控制且對于他們特定用例而言更具成本效益的方式。重要的是，我們認為企業人工智能將需要明確的投資回報率和經濟價值，否則項目將無法成功。
正如我們之前所說，我們相信主要價值將來自于減少人員數量。
與此同時，我們相信邊緣計算將由基于低成本、低功耗、高性能系統構建的架構主導 ——往往是基于Arm的設計，并且是大規模的。比如特斯拉和蘋果。我們相信邊緣計算的經濟學最終將進入企業并成為一股破壞性力量。
這可能需要十年左右的時間，但自個人電腦打破大型機以來，企業IT的經濟學一直受消費者規模的推動，我們認為這一浪潮也不例外。人工智能+數據+規模經濟學將決定未來幾年內行業的基本結構。
無論您在哪個行業中，我們認為這是一值得做出投資的。然而，應用它需要仔細和深入的思考...
