在數字時代的今天，AI正在驅動新一輪的產業變革。在倍受關注的SIGGRAPH 2024上，NVIDIA黃仁勛認為，AI很快將能和人一樣做決策。他表示，除了目前的語言模型外，人工智能還將擁有物理世界模型，應該研究如何通過視覺訓練教會機器認知物理世界。機器人技術將不再是一個遙不可及的概念，而是日益融入人類的日常生活。

為了加速推動AI在不同行業的不同場景中落地，簡化開發流程，NVIDIA發布適用于OpenUSD語言、幾何體、物理學和材質的生成式AI模型與NIM微服務。新的服務將加速基于通用場景描述的工作流以及工業數字孿生和機器人的開發。

全新發布的OpenUSD助推AI創新應用

本次NVIDIA全新發布的通用場景描述（OpenUSD），將進一步擴大這一通用3D數據交換框架在機器人、工業設計和工程領域的應用，提高開發者為AI新一輪發展構建高精度虛擬世界的能力。

通過基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平臺構建的 NVIDIA 加速的開發框架，越來越多的行業現在能夠開發出用于可視化工業設計和工程項目的應用，以及用于構建新一代物理AI和機器人的環境仿真的應用。

新推出的內容包括適用于AI模型的NVIDIA NIM?微服務，這些微服務可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質應用于3D物體、理解3D空間和物理學以幫助加快數字孿生的開發等。其他還包括可用于機器人和工業仿真數據格式的全新USD連接器，以及各種開發者工具，用戶可通過它們將海量NVIDIA RTX?全光線追蹤數據集傳輸到Apple Vision Pro。

NVIDIA Omniverse與仿真技術副總裁Rev Lebaredian表示：“重工業的生成式AI潮已經到來。直到最近，數字世界的主要用戶還是創意行業；而現在，借助NVIDIA NIM微服務為OpenUSD帶來的增強功能和可訪問性，各個行業都可以創建基于物理學的虛擬世界和數字孿生，在加快創新的同時，為機器人這次新一輪AI技術熱潮做好準備。”

通過NVIDIA NIM將生成式AI應用于USD

NVIDIA開發的用于OpenUSD開發的生成式AI模型將以NVIDIA NIM微服務的形式提供。借助這些模型，開發者能夠將生成式AI copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業、汽車行業和機器人等新工業領域的應用。

預覽版中的微服務包括：

USD Code NIM微服務：回答常識性OpenUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應用，以實現相應3D數據的可視化。

USD Search NIM微服務：使開發者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數據庫中進行搜索。

USD Validate NIM微服務：檢查上傳文件與OpenUSD發布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應用編程接口）驅動的RTX渲染路徑追蹤圖像。

即將提供的新微服務包括：

USD Layout NIM微服務：使用戶能夠基于空間智能，根據一系列文本提示組裝出基于 OpenUSD的場景。

USD SmartMaterial NIM微服務：預測并將逼真的材料應用于計算機輔助設計對象。

fVDB Mesh Generation NIM微服務：根據點云數據生成基于OpenUSD的網絡，并通過 Omniverse Cloud API進行渲染。

fVDB Physics Super-Res NIM微服務：對幀或幀序列執行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。

fVDB NeRF-XL NIM微服務：使用 Omniverse Cloud API 在 OpenUSD中生成大規模神經輻射場。

Foxconn在全球擁有 170 多家工廠，受益于NVIDIA的計算平臺，利用 NIM 微服務和 Omniverse 為一家正在開發中的工廠創建了數字孿生。

Foxconn史喆表示：“數字孿生將幫助我們加速新一波工業制造和自主機器的發展。NVIDIA Omniverse 和全新的 NIM 微服務將使數字孿生的開發變得更加普及，并幫助我們的團隊以前所未有的速度構建基于物理的虛擬工廠。”

WPP是USD Search和USD Code NIM微服務的早期用戶之一。該公司將這些微服務用于其基于NVIDIA Omniverse構建的生成式AI內容創建管線中，為可口可樂公司等客戶提供服務。

WPP Stephan Pretorius表示：“這些創新的美妙之處在于它與我們的工作方式高度兼容，并充分利用了開放標準。這不僅加速了未來的工作，而且使我們能夠繼續鞏固和擴展我們之前在OpenUSD等標準上的所有投資。通過使用NVIDIA NIM微服務與NVIDIA Omniverse，我們能夠以前所未有的速度與可口可樂公司等企業聯合推出創新的新生產工具。”

USD連接器為更多行業帶來生成式AI

去年，NVIDIA與皮克斯、Adobe、蘋果和Autodesk 共同創立了OpenUSD聯盟，并通過OpenUSD聯盟與其他伙伴一起發布了 OpenUSD 的新版本、OpenUSD 核心規范的進展以及新成員的加入情況。

現在，多款適用于機器人數據格式和Apple Vision Pro流式傳輸的全新USD連接器將為更多行業帶來 OpenUSD互操作性與高級創作能力。

為幫助更多使用 OpenUSD的工業工作負載，NVIDIA與全球工業自動化和軟件商西門子正在擴大合作。西門子將把OpenUSD 流水線與其Simcenter仿真技術組合集成，以支持基于證據的決策和關鍵利益相關方之間的協作。

該集成可實現復雜仿真數據的高保真、實時、逼真可視化，讓企業能夠更加深入地了解產品在實際操作環境中的性能。西門子將把Omniverse納入到其Teamcenter 產品生命周期管理軟件組合中，為這項工作打好基礎。

NVIDIA還發布了一個從統一機器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機器人專家能夠將他們的機器人數據無縫導入到用于設計、仿真和強化學習等用途的各種應用中。

為了進一步推動OpenUSD生態系統的擴張，NVIDIA發布了OpenUSD Exchange軟件開發套件，幫助開發者創建出自己的強大OpenUSD數據連接器。

新的開發者工具和API可通過NVIDIA Graphics Delivery Network（GDN），將大規模OpenUSD場景從基于Omniverse平臺構建的應用流式傳輸到 Apple Vision Pro。目前，這些新工具和API提供搶先體驗版本。

皮克斯 Steve May 表示：“OpenUSD 正在徹底改變我們創建3D內容并與之互動的方式。現在，借助NVIDIA為OpenUSD打造的這些新服務和API，我們有望看到USD以更快的速度增長和普及，這將為新用戶和行業更輕松地參與我們的生態系統鋪平道路。”

目前，NVIDIA API目錄現在提供USD Search、USD Code 和 USD Validate NIM微服務的預覽版。OpenUSD - URDF連接器現已與 NVIDIA Isaac Sim?一起提供。

開發者可以使用全新Omniverse開發者工具和參考工作流，將生成式AI集成到OpenUSD工作流中，使用OpenUSD構建生成式AI賦能的合成數據管線。

開源推動AI未來創新

剛剛發布不久的Llama 3.1系列大模型，性能有了很大的提升。根據官方數據顯示，在150多個基準測試集中，405B版本的表現追平甚至超越了現有SOTA模型GPT-4o和Claude 3.5 Sonnet。作為支持開源AI的模型，Llama 3.1提供高級功能，并優化訓練棧和推理能力，并支持開源和廣泛生態合作。

在備受期待的 SIGGRAPH 2024 爐邊談話中，NVIDIA黃仁勛和 Meta馬克·扎克伯格探討了開源 Al和 AI助手的變革潛力。

扎克伯格強調了開源在推動 A1發展中的重要性。他表示，過去，推動所有改進的要素之一是每種類型的內容都有不同的模型。現在，隨著模型變得更大、更通用，這種情況正在不斷改善。

據了解，Llama 3.1開源模型花費了大量時間和訓練資源投入。 Llama 版本擁有 4050 億個參數，使用 16000 多個 NVIDIA H100 GPU 進行了訓練。

黃仁勛則表示， Blackwell架構是英偉達今年發布的新款芯片架構，也是兩年前推出的Hopper架構的繼承者。相比Hopper架構GPU，Blackwell架構GPU單芯片訓練性能是Hopper架構的2.5倍，推理性能是Hopper架構的5倍。

談到AI未來的發展趨勢，黃仁勛強調了與 AI的交互如何變得更加流暢，而不僅僅是基于文本交互。他表示，今天的 AI 有點類似一來一回的模式。你說一句，它回你一句。未來的 AI將會考慮多個選項，生成一個選項樹，并模擬結果，從而使其更強大。

點擊觀看NVIDIA CEO 黃仁勛的爐邊談話。

寫在最后：

在推動人工智能發展的道路上，NVIDIA始終站在行業的前列。無論是剛剛發布OpenUSD語言、幾何體、物理學和材質的生成式AI模型與NIM微服務，還是在今年初發布的Blackwell架構，NVIDIA一直在不斷的用新技術、新產品和新服務，推動著AI的高速創新發展，用實際行動加速AI在千行百業的落地應用，