編輯 | 言征
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
有點(diǎn)震驚，谷歌也開(kāi)始擁抱英偉達(dá)的GPU了！
盡管有著自家的TPU，但為了更好地市場(chǎng)競(jìng)爭(zhēng)，英偉達(dá)的GPU終究是繞不開(kāi)（皮衣客黃教主盡情笑吧?。?/p>
近日，谷歌抖了大料：不僅推出了云端的GPU，把AI引進(jìn)了Serverless，同時(shí)贈(zèng)送了幾個(gè)開(kāi)源大模型以供開(kāi)發(fā)者進(jìn)行部署和微調(diào)。
這對(duì)開(kāi)源大模型愛(ài)好者們而言是一個(gè)重大利好：省事更省錢了。
這相當(dāng)于不管是硬件的算力，還是軟件層面的大模型，谷歌直接給出了一個(gè)完整的全家桶，不必再苦于本地設(shè)備的能力不足，而不能體驗(yàn)性能領(lǐng)先的開(kāi)源大模型了！在此基礎(chǔ)上，開(kāi)源開(kāi)發(fā)者可以創(chuàng)建自己的Copilot、智能體等應(yīng)用程序。
1.谷歌推出云端GPU，附帶開(kāi)源LLM
如果你熱愛(ài)開(kāi)源AI，但卻沒(méi)有在本地運(yùn)行AI模型的計(jì)算能力，谷歌今天的消息的確令人興奮。
據(jù)悉，谷歌正在將英偉達(dá)的L4 GPU引入其云服務(wù)。L4 GPU是H100 GPU的輕量級(jí)版本，曾用于訓(xùn)練Meta的Llama 3.1和OpenAI的GPT-4o模型。
開(kāi)發(fā)者可以登錄谷歌的Cloud Run，在容器中加載Ollama，啟動(dòng)開(kāi)源LLM，如谷歌的Gemma 2或Meta的Llama 3.1，指向L4 GPU，然后進(jìn)行推理。具體指令將在下文提供。
2.將 AI 引入無(wú)服務(wù)器世界
Cloud Run是 Google 的全托管無(wú)服務(wù)器平臺(tái)，由于能夠簡(jiǎn)化容器部署和管理，因此一直受到開(kāi)發(fā)人員的青睞。然而，人工智能工作負(fù)載（尤其是需要實(shí)時(shí)處理的工作負(fù)載）的需求不斷增加，凸顯了對(duì)更強(qiáng)大的計(jì)算資源的需求。
GPU 支持的集成將為 Cloud Run 開(kāi)發(fā)者開(kāi)辟了廣泛的用例，包括：
- 使用輕量級(jí)開(kāi)放模型（例如 Gemma 2B/7B 或 Llama3 (8B)）進(jìn)行實(shí)時(shí)推理，可以創(chuàng)建響應(yīng)式自定義聊天機(jī)器人和即時(shí)文檔摘要工具。
- 提供定制的微調(diào)生成式 AI 模型，包括可根據(jù)需求擴(kuò)展的品牌特定圖像生成應(yīng)用程序。
- 加速圖像識(shí)別、視頻轉(zhuǎn)碼和 3D 渲染等計(jì)算密集型服務(wù)，并能夠在不使用時(shí)擴(kuò)展到零。
3.GPU的無(wú)服務(wù)器玩法
Google Cloud Run 無(wú)服務(wù)器產(chǎn)品現(xiàn)在集成了 Nvidia L4 GPU，使組織能夠運(yùn)行無(wú)服務(wù)器推理。
無(wú)服務(wù)器服務(wù)的承諾是，服務(wù)僅在需要時(shí)運(yùn)行，用戶只需為使用的內(nèi)容付費(fèi)。這與典型的云實(shí)例形成對(duì)比，后者將作為持久服務(wù)運(yùn)行一段時(shí)間，并且始終可用。在這種情況下，無(wú)服務(wù)器服務(wù)只會(huì)在需要時(shí)啟動(dòng)和使用用于推理的 GPU。
無(wú)服務(wù)器推理可以部署為Nvidia NIM，以及其他框架（例如 VLLM、Pytorch 和 Ollama）。Nvidia L4 GPU 的添加目前處于預(yù)覽階段。
Google Cloud Serverless 產(chǎn)品經(jīng)理 Sagar Randive 告訴 VentureBeat：“隨著客戶越來(lái)越多地采用 AI，他們正在尋求在他們熟悉并啟動(dòng)的平臺(tái)上運(yùn)行推理等 AI 工作負(fù)載?！?“Cloud Run 用戶更喜歡該平臺(tái)的效率和靈活性，并一直要求谷歌增加 GPU 支持?！?/p>
4.運(yùn)行無(wú)服務(wù)器 AI 推理會(huì)更便宜嗎？
無(wú)服務(wù)器的一個(gè)常見(jiàn)問(wèn)題是性能。畢竟，如果服務(wù)并非始終運(yùn)行，那么僅僅為了讓服務(wù)從所謂的冷啟動(dòng)運(yùn)行，性能就會(huì)受到影響。
Google Cloud 旨在消除任何此類性能擔(dān)憂，并引用了新的支持 GPU 的 Cloud Run 實(shí)例的一些令人印象深刻的指標(biāo)。據(jù) Google 稱，包括 Gemma 2b、Gemma2 9b、Llama2 7b/13b 和 Llama 3.1 8b 在內(nèi)的各種型號(hào)的冷啟動(dòng)時(shí)間范圍為 11 到 35 秒，展示了該平臺(tái)的響應(yīng)能力。
每個(gè) Cloud Run 實(shí)例均可配備一個(gè) Nvidia L4 GPU，最高可配備 24GB vRAM，為許多常見(jiàn)的 AI 推理任務(wù)提供充足的資源。
Google Cloud 還計(jì)劃在運(yùn)行哪些模型方面做到與模型無(wú)關(guān)，不過(guò)它在某種程度上也采取了兩面下注的做法。
“我們不限制任何 LLM，用戶可以運(yùn)行他們想要的任何模型，”Randive 說(shuō)道。“但為了獲得最佳性能，建議他們?cè)?13B 參數(shù)下運(yùn)行模型。”
無(wú)服務(wù)器的一個(gè)關(guān)鍵優(yōu)勢(shì)是更好地利用硬件，這也意味著更低的成本。
至于對(duì)于組織來(lái)說(shuō)，以無(wú)服務(wù)器或長(zhǎng)期運(yùn)行的服務(wù)器方式提供人工智能推理是否實(shí)際上更便宜，這是一個(gè)有點(diǎn)微妙的問(wèn)題。
“這取決于應(yīng)用程序和預(yù)期的流量模式，”Randive 表示?！拔覀儗⒏挛覀兊亩▋r(jià)計(jì)算器，以反映 Cloud Run 的新 GPU 價(jià)格，屆時(shí)客戶將能夠比較他們?cè)诟鱾€(gè)平臺(tái)上的總運(yùn)營(yíng)成本?！?/p>
5.終于，為開(kāi)源社區(qū)提供服務(wù)
谷歌終于擁有了一個(gè)完整的硬件和軟件包，開(kāi)源開(kāi)發(fā)者可以在此基礎(chǔ)上利用開(kāi)源模型創(chuàng)建應(yīng)用程序。開(kāi)發(fā)者可以完全控制前端和后端，并可以通過(guò)Cloud Run指向谷歌云中的L4。
到目前為止，Cloud Run服務(wù)僅限于谷歌的專有模型，包括Gemini 1.0 LLM、用于圖像生成的Imagen以及用于多模態(tài)模型的Gemini 1.5 Flash。
現(xiàn)在，Cloud Run已經(jīng)擁有了Gemma 2（Gemini的開(kāi)源版本）和Llama 3.1。L4 GPU也是一個(gè)新增的功能，可用于在開(kāi)源模型上進(jìn)行推理。
6.在PC上本地運(yùn)行LLM的替代方案
谷歌提供的服務(wù)避免了在PC上加載Ollama并本地運(yùn)行LLM的繁瑣過(guò)程。谷歌的Cloud Run可以在30秒內(nèi)加載LLM和Ollama。
在大多數(shù)情況下，大多數(shù)PC都沒(méi)有運(yùn)行具有大上下文窗口的LLM所需的GPU。像LM Studio這樣的應(yīng)用程序已經(jīng)可以實(shí)現(xiàn)下載LLM，并且該軟件會(huì)顯示這些LLM是否可以在本地GPU上運(yùn)行，但這仍然需要時(shí)間。
Cloud Run上提供的最新模型包括擁有90億參數(shù)的Gemma 2和擁有80億參數(shù)的Llama 3.1。其他可用的模型還包括擁有130億參數(shù)的Llama 2和擁有20億參數(shù)的Gemma。
谷歌表示，配備L4 GPU的Cloud Run實(shí)例將在大約5秒內(nèi)加載，之后還需要幾秒鐘的時(shí)間用Ollama初始化框架和模型。整個(gè)LLM的大小可達(dá)7.4GB，可以在幾秒鐘內(nèi)完成下載和初始化。
最小的20億參數(shù)的Gemma模型需要11到17秒，而最新的90億參數(shù)的Gemma 2需要25到30秒。80億參數(shù)的Llama 3.1需要15到21秒來(lái)加載。
7.關(guān)于定價(jià)：是否值得一試
谷歌尚未公布在L4 GPU上運(yùn)行開(kāi)源Llama和Gemma模型的定價(jià)。但根據(jù)目前的定價(jià)結(jié)構(gòu)，在谷歌云上運(yùn)行Gemma的成本很高，使用L4作為云GPU的起步價(jià)為516美元。
谷歌承諾每月免費(fèi)提供兩百萬(wàn)次請(qǐng)求，不過(guò)業(yè)內(nèi)實(shí)際情況比較復(fù)雜，當(dāng)幾乎所有變量都考慮在內(nèi)時(shí)，客戶通常最終可能會(huì)選擇支付費(fèi)用。
時(shí)間就是金錢，而且你沒(méi)有本地的處理能力，那么L4可能是最便宜的GPU選擇；但如果你已經(jīng)投資了一臺(tái)配備頂級(jí)GPU的筆記本電腦，并且可以等待10到20分鐘來(lái)下載、調(diào)整和加載LLM，那么還是堅(jiān)持使用本地設(shè)備吧。
目前，Cloud Run GPU僅在谷歌位于美國(guó)中部1區(qū)（愛(ài)荷華州）可用，預(yù)計(jì)今年年底將在歐洲和亞洲上線。谷歌在一封電子郵件中表示：“我們未來(lái)可能會(huì)提供更多GPU選項(xiàng)，并擴(kuò)展到更多地區(qū)。”
8.寫在最后：谷歌對(duì)待AI開(kāi)發(fā)的玩法變了
要知道此前，開(kāi)發(fā)者們一般是借用了谷歌Colab上可用的硬件來(lái)進(jìn)行推理。這很簡(jiǎn)單，只需使用帶有Python腳本的Jupyter筆記本，選擇硬件（CPU、GPU或TPU），然后運(yùn)行視頻、圖像、文本或語(yǔ)音AI應(yīng)用程序。
免費(fèi)層級(jí)原本僅供研究人員使用，因此有人認(rèn)為這會(huì)導(dǎo)致一部分人在濫用這一資源。
所以，后來(lái)谷歌Colab最終取消了廣泛的GPU訪問(wèn)權(quán)限的免費(fèi)使用。大多數(shù)應(yīng)用程序無(wú)法利用谷歌的TPU，而是默認(rèn)使用CPU，這非常緩慢。
現(xiàn)在Colab上唯一提供的GPU是接近八年歷史的英偉達(dá)T4。
不過(guò)，今天我們看到了Google似乎開(kāi)始篤定的走上“GPU+無(wú)服務(wù)器”這條道路了，畢竟AI開(kāi)發(fā)的需求已經(jīng)毫無(wú)疑問(wèn)地成為了新的增長(zhǎng)引擎。
