2021年被稱為元宇宙的元年。經過一年多的發展,元宇宙相關的技術在不同參與者的演繹下日益豐富。近日由51CTO主辦的MetaCon元宇宙技術大會上,中國首位游戲設計博士、中國傳媒大學副教授黃石帶來了主題演講《未來已來:元宇宙游戲技術展望》,為大眾呈現全新的視角。
黃石認為,元宇宙是人類歷史進化的一種必然;今日的技術就是未來的藝術;科技的發展速度會越來越快,將來很可能迎來“奇點”。此外,黃石還詳細介紹了元宇宙游戲中的相關技術。
本文對演講的精彩內容進行了整理,希望能夠對大家有所幫助。
什么是元宇宙?
元宇宙到底是什么?我的答案是,元宇宙是一種信仰。我認為元宇宙是人類歷史進化的一種必然。縱觀人類發展的歷史,人類從原始人進化到會使用工具的人,用了200萬年;從石器時代到農業社會用了10萬年;從農業社會到工業社會用了8000年;從工業社會到電器時代用了200年;進入到現在的互聯網時代僅僅用了30年。可以看出,人類文明的進化是一個明顯加速的過程,文明的發展速度越來越快。現在所有的技術,都以一種難以想象的速度在加速發展。
元宇宙的歷史比較短,1978年第一款網絡游戲的上線可以看作是最早的元宇宙的雛形,那時還是非常簡單的基于命令行的游戲方式;1992年,科幻小說《雪崩》首次提及“元宇宙”一詞;2003年,游戲《第二人生》開啟了元宇宙游戲的帷幕;2006年,游戲Roblox問世,這款游戲直接帶動了元宇宙游戲概念的火爆;2021年可以被稱為元宇宙的元年,因為這一年Facebook更名為Meta。
元宇宙共有三個發展階段。第一個是原始階段,也就是現在所處的階段。目前這個階段的元宇宙的主要內容基于游戲和社交,其主要載體是VR、AR和桌面的顯示,仍然是非常原始的階段,和真正的元宇宙還有很大區別。
元宇宙發展到第二階段,可稱之為雛形階段。那個時候元宇宙將成為提高社會生產力、提升生產效率的工具,主要內容包括數字孿生、萬物互聯,硬件則以MR為主。
第三階段是元宇宙真正成熟的階段,那時可能90%以上的人類都生活在元宇宙虛擬的社會之中,它會有自己的法律和經濟體系。現在難以想象它所采用的硬件是什么,很有可能是采用腦機接口或更先進的設備。
現在是元宇宙萬里長征的第一步,此時元宇宙的入口應該聚焦在社交和游戲這兩點之上。
Roblox的CEO提出了元宇宙游戲的八大特征:身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明。
另一個著名學者Jon Radoff提出了元宇宙的七大層級:
1、基礎設施:5G、WIFI 6、6G、云計算、7nm到1.4nm工藝、微機電、GPU、材料學;
2、人機交互:手機、可穿戴設備、手勢、語音、神經網絡;
3、去中心化計算:邊緣計算、AI代理、微服務、區塊鏈;
4、虛擬空間:3D引擎、VR/AR/XR、界面、空間可視化;
5、眾創經濟:眾創工具、資產市場、工作流、商貿;
6、發現:廣告網絡、社交、策劃、評級、商店、代理商;
7、體驗:游戲、社交、電競、展演、購物。
元宇宙游戲中的渲染技術
接下來為大家介紹元宇宙最常用的一項技術——渲染。眾所周知,游戲都是用游戲引擎來渲染的,常用的游戲引擎包括Unity、UNREAL、WebGPU等。但現在所看到的技術遠遠不是我們能夠達到的最高層級。
上圖的畫面是UE5虛幻引擎最新的技術制作的,它能夠在同一個畫面渲染高達160億個多邊形,已經逼近了電影畫質。而人工智能技術的引進,可以把渲染技術再提升一個等級。運用人工智能技術進行降噪,可以加速渲染時間。用較少的取樣點,就能用人工智能把剩下的細節補齊。目前AI降噪這項技術已經比較成熟。
今天我們想重點介紹一種名為NeRF的渲染技術。2020 年,UC Berkeley、谷歌的研究者提出了NeRF渲染模型,可以用幾張圖片生成多視角的 3D 場景,開創了神經輻射場的渲染技術。
隨后,這條技術線出現了很多分支,比如說mip-NeRF,它可以360度渲染一個沒有邊界的空間,和真實世界非常接近了。
再比如另一個新分支——Plenoxels,其特點是訓練速度更快。傳統的神經輻射場最早版本的渲染,訓練大概需要1.6天的時間,而在新項技術里,它只需要8.8分鐘的時間。
再比如基于點的神經輻射場的渲染——Point-NeRF,訓練速度能夠提高30倍,細節表現也更好。
還有一個微軟改進的版本FastNeRF,最大的特點是能讓渲染速度達到實時的200FPS,有望用到游戲里。因為游戲一般只要最低30FPS就可以達到基本的交互,FastNeRF的速度在VR里也滿足要求。
元宇宙游戲中的面部捕捉技術
元宇宙有一個非常重要的技術領域是數字人,其中表情捕捉十分關鍵。人與人交流的時候,表情交流占據很大的比重,微表情細微的變化,會給我們帶來相應的情感體驗。這項技術傳統的方式是采用這種標記點,在演員的臉上貼很多小的marker,才能獲得精確的捕捉數據,比如科幻電影《阿凡達》即采用這一路線。隨著人工智能技術的發展,我們可以用無標記的方式,通過人工智能算法獲取演員臉上的微表情。
迪士尼也研發了相似的面部捕捉的方法,它的特點是對人的下頜骨的數據進行了優化,因此其捕捉到的數據也更加精確。
動作捕捉公司DI4D的技術特點是直接用程序驅動模型的面片運動,表情的變化并非骨骼動畫,而是用人工智能驅動面片形成的效果。
元宇宙游戲中的動畫技術
目前,在元宇宙的游戲里,諸如NPC、主角等虛擬的人物大部分都有骨骼動畫。而骨骼的綁定非常耗費人力。現在運用人工智能技術能自動預測角色的骨骼,自動計算皮膚權重,生成角色動畫。
此外,游戲里有很多的動作,比如走、跑、跳、開槍等,這些動作之間的穿插,以前都是用動畫融合(Blending)的技術實現,但這種融合是基于線性的算法,表現不是很自然。運用人工智能技術以后,動畫過度就顯得更加自然。
與此同時,人工智能技術也給游戲動畫提供了非常方便的工具,比如Nekki最近開源了一個動畫軟件,能夠大大簡化動畫師的工作量。與之類似的是Ziva Dynamics基于人工智能的增強肌肉系統的物理動畫系統。該系統通過人工智能算法解算動物的骨骼和肌肉的運動,在制作動畫時,外表皮會根據骨骼和肌肉的真實運動變形,使皮膚的褶皺,運動時肌肉的膨脹、拉伸、收縮等,都呈現出逼真的動畫效果。目前這項技術大多還是用在電影里,隨著元宇宙技術的發展,相信這項技術未來也能用到游戲里。
人工智能在特效領域同樣提供了非常好的應用。在游戲里,流體是一個非常耗費算力的過程,而通過人工智能的方式,則可以大大縮短計算的過程,提高計算的效率。在傳統算法里,流體碰撞十分耗費計算機CPU或者GPU的資源。通過神經網絡的方法,可以把訓練庫里的真實數據用人工智能的方法加以簡化。雖然在視覺效果上沒有大的改變,但是其效率、計算的速度卻顯著提高。
總的來說,人工智能將帶來徹底的行業變革:游戲美術的工作流程將大為簡化,如手工拓撲、LOD、環境道具擺放、Mocap數據清理、展開UV貼圖、程序化場景生成等都將更加快捷、智能。同時,AI驅動的沉浸體驗將成為新的游戲平臺和媒介。
今日的技術就是未來的藝術
公元前150世紀,人類還處在石器時代。那時人類已經開始為自己創造沉浸化的環境了。例如下圖的壁畫,是法國的Lascaux洞穴,洞壁上畫了大量的動物形象。人類的祖先用原始的方法創造出一個人工環境,可以說是最早的虛擬現實。
Lascaux壁畫
15世紀以后,出現了圖像式的沉浸。通過油畫,把環境、人物直觀地再現出來,這種沉浸是基于圖像的沉浸,它所表現的是光影的環境。
阿爾諾芬尼夫婦像(1434)
19世紀出現了第二次工業革命,人類通過化學、光學的方法,實現了攝影術。這時沉浸又進入到新的層次,人類可以用科學的方法更客觀地記錄外在的世界。
巴黎街景(1838)
20世紀,影像開始活躍,運動的影像帶來大眾喜聞樂見的形式——電影。這一階段可稱之為影像的沉浸。
2001太空漫游(1968)
人類的歷史發展,隨著不同階段的媒介進步和技術演進,每個歷史階段都有相應的藝術形式,以及相應的沉浸平臺。從石器時代的壁畫到中世紀青銅時代的藝術,再到文藝復興時的油畫,直到20世紀的電影,人類文明在不斷地創造新的環境。
現在進入到信息時代,人類必然需要一種更新的方式來表達對于幻想、未知和想象的呈現。
隨著時間的推移,科技的發展速度并不是一個平均的曲線,而是一個指數發展的曲線。科技發展速度會越來越快,很有可能在未來的某一個時間點,我們可以在非常短的時間內,爆發出無限多的智能。這個狀態現在看起來非常難以想象,我們稱之為“奇點”。奇點到底會不會來,我們拭目以待。
技術的發展是不以人類的主觀意志為轉移的——未來已經來到了,元宇宙還會遠嗎?
在本次MetaCon元宇宙技術大會上,還有很多專家學者也做了相關主題演講,點擊進入官網,了解更多元宇宙技術精彩內容!(https://metacon.51cto.com/)