人工智能實時捕捉,實現近700人腳下雪花如影隨形
2月4日北京冬奧會開幕式上,小演員們雙手舉著“和平鴿”,隨著腳步的移動,腳下盛開出一朵朵晶瑩潔白的雪花。
當晚開幕式現場“和平鴿”的表演中,依賴新的技術手段,在超過一萬平方米的場地上,對將近700個演員,進行實時捕捉和實時效果的跟蹤和呈現,這種嘗試在大規模的文藝演出的開閉幕式場合下,是世界首創。
演員隨意走動,腳下屏幕的效果就會隨他互動起來,而這種所謂“如影隨形”的效果離不開兩個系統的完美配合。據北京電影學院教務處處長兼任聲音學院院長童雷介紹,一個是基于人工智能的運動員運動分析的實時捕捉技術,一個是實現實時渲染的交互引擎。
據了解,前者通過視頻攝像機實時捕捉場上演員所在的位置和形狀姿態,識別完后,會將該演員的相關信息傳遞給下一個系統,也就是交互引擎系統。“我們采用的實時交互的引擎,就是獲取演員信息后,按照導演或者美術創意的需求,給它生成一個需要的效果,類似于腳下雪花的綻放、推開等。并且實時、無延時地重現在演員腳下。”童雷說。
為了實現“冰面倒影”的效果,童雷和其團隊成員們先從形成倒影的物理性出發,做了大量編程和算法的論證,并在這一過程中做出了更多、更好看的效果。
童雷稱,各自的技術原本多應用于各自的領域,比如捕捉技術是運用在運動員的運動分析上,實時渲染技術多用在大型游戲領域中,而這次創意是把這兩種技術完美地結合在了一起,形成了從捕捉到識別,再到呈現渲染一整套的鏈路,保證了交互效果實時完美地呈現給觀眾。