一直以來，谷歌已經構建了業界領先的 AI 能力，比如引領新一代人工智能發展的 Transformer 架構、利用 AI 進行優化的基礎設施等。其中谷歌云則致力于提供先進的 AI 基礎設施服務，包括 GPU 和 TPU。

當地時間 8 月 29 日，谷歌云舉辦了 Google Cloud Next ’23 年度大會，推出了全新的 TPU 產品 ——Cloud TPU v5e，它是 AI 優化的基礎設施產品組合，并將成為迄今為止最具成本效益、多功能且可擴展的云 TPU。目前已經提供了預覽版。

我們了解到， TPU v5e 能夠與 Google Kubernetes Engine（GKE）、用于構建模型和 AI 應用的開發者工具 Vertex AI 以及 Pytorch、JAX、TensorFlow 等深度學習框架集成在一起，提供了易用和熟悉的界面，很容易上手。

谷歌云還推出了基于英偉達 H100 GPU 的 GPU 超級計算機 A3 VMs，為大規模 AI 大模型提供支持。這款產品將于 9 月份全面上市。

谷歌 CEO 皮查伊。

谷歌首席科學家、知名學者 Jeff Dean 的推文。

此外在活動上，谷歌還宣布將 Meta 和 Anthropic 等公司的 AI 工具（如 Llama 2 和 Claude 2）添加到其云平臺上， 在云產品中集成強大的生成式 AI 能力。目前包括 Llama 2 和 Claude 2 在內，谷歌云客戶可以使用 100 多個強大的 AI 模型和工具。

相較于 TPU v4，TPU v5e 在哪些方面升級了

谷歌云這次推出的 TPU v5e 性能和易用性到底如何呢？我們接著來看。

根據官方提供的數據，Cloud TPU v5e 為中型和大型訓練和推理帶來了高性能和成本效益。這代 TPU 可以說專為大語言模型和生成式 AI 模型打造，與前代 TPU v4 相比，每美元訓練性能提升高達 2 倍、每美元推理性能提升高達 2.5 倍。并且 TPU v5e 的成本不到 TPU v4 的一半，使更多機構有機會訓練和部署更大、更復雜的 AI 模型。

TPU v5e 芯片。

值得一提的是， 得益于技術上的創新，這些成本效益并不需要犧牲任何性能或靈活性。谷歌云利用 TPU v5e pods 來平衡性能、靈活性和效率，最多允許 256 個芯片互連，總帶寬超過 400 Tb/s，INT8 性能達到 100 petaOps。

一個 TPU v5e 的 2D 切片細節。

TPU v5e 還具有很強的多功能性，支持八種不同的虛擬機配置，單片內芯片數量可以從一個到 256 個，允許客戶選擇合適的配置來支持不同規模的大語言模型和生成式 AI 模型。

除了更強功能和成本效益之外，TPU v5e 的易用性也達到了一個全新的高度。現在客戶可以通過 Google Kubernetes Engine（GKE）來管理 TPU v5e 以及 TPU v4 上的大規模 AI 工作負載編排，進而提升 AI 開發效率。對于喜歡簡單托管服務的機構而言，Vertex AI 現在支持使用 Cloud TPU 虛擬機來訓練不同的框架和庫了。

另外如前文提到的，Cloud TPU v5e 為 JAX、PyTorch 和 TensorFlow 等領先的 AI 框架以及流行開源工具（Huggingface 的 Transformers 和 Accelerate、PyTorch Lightning 和 Ray）提供了內置支持。即將推出的 PyTorch/XLA 2.1 版本將支持 TPU v5e 以及用于大規模模型訓練的建模和數據并行等新功能。

最后為了更輕松地擴展訓練工作，谷歌云在 TPU v5e 預覽版中引入了 Multislice 技術，使用戶輕松擴展 AI 模型，并且可以超出物理 TPU pods 的范圍，最多可以容納數萬個 TPU v5e 或 TPU v4 芯片。

利用多個 TPU Podslices 實現性能線性擴展。

截至目前，使用 TPU 的訓練工作僅限于單片 TPU 芯片，TPU v4 的最大切片數量為 3,072。借助 Multislice，開發人員可以利用單個 Pod 內的 ICI（芯片內互連）技術或者通過數據中心網絡（DCN）上的多個 Pod，將工作負載擴展到數萬個芯片。

這種多層切片技術為谷歌構建其最先進的 PaLM 模型提供了支持。現在谷歌云客戶也能體驗這一技術了。

此次升級的 TPU v5e 得到了客戶的高度認可。AssemblyAI 技術副總裁 Domenic Donato 表示，當使用 TPU v5e 在他們的 ASR（自動語音識別）模型上運行推理時，每美元的性能始終是市場同類解決方案的 4 倍。這種強大的軟硬件組合能夠為他們的客戶提供更經濟高效的 AI 解決方案。

隨著谷歌云不斷升級 AI 基礎設施，越來越多的客戶將選擇使用谷歌云服務。據此前谷歌母公司 Aplabet 的介紹，超過半數的生成式 AI 初創公司正在使用谷歌的云計算平臺。

對于谷歌而言，此次 Cloud TPU v5e 拉開了進一步變革產品模式、賦能云客戶的序幕。