火山引擎超清修復Beyond經典演唱會,技術能力已對外開放
7月3日晚,抖音攜手環球音樂旗下廠牌寶麗金,直播經過火山引擎超清修復的Beyond Live1991生命接觸演唱會及紀念音樂會精選內容,吸引了超1.4億人次觀看。
Beyond是一支成立于1983年的搖滾樂隊,隨著粵語音樂的興起,Beyond樂隊的名字成為一個時代的文化印記。“Beyond Live1991生命接觸” 是Beyond第一次在紅磡體育館舉辦的演唱會,寶麗金隨后發行的影碟在90年代幾乎一盤難求。此后的31年中,這場演唱會成為幾代歌迷的音樂啟蒙和青春記憶。
受限于當時的拍攝器材、存儲介質及錄音設備技術,演唱會母帶及網絡上流傳的各版本音視頻質量欠佳。為了提升觀看和聽感體驗,再現Beyond這場經典之作,火山引擎從畫質和音質兩個方面進行了修復。
火山引擎多媒體實驗室介紹,早期軟硬件設備落后,導致影片在制作、壓縮、傳輸等過程中存在畫面模糊、紋理丟失和噪聲瑕疵等問題。提升畫質的同時恢復盡可能多的細節,優化色彩并保留復古感,以及調節不同大小、姿態人像的修復效果,是本次修復的難點。
“我們的目標是從畫面整體清晰度、人像五官復原度、色彩亮度、流暢度、美觀度等方面對畫質進行提升。”畫質上,本次修復通過清晰度增強和瑕疵修復、分區域色彩亮度增強等算法,處理早期軟硬件設備落后導致的問題。視頻分辨率從不足540p提升到接近4K水平,幀率從25fps提升到60fps。
通過人像增強算法修復,黃家駒面部的眼線、毛孔等細節清晰可見
此外,火山引擎多媒體實驗室還自研自適應人像增強算法,針對人臉壓縮損傷、模糊、低分辨率等問題,進行修復增強。該技術基于深度學習,在消除人臉整體的模糊和壓縮損傷的同時,進一步對人臉關鍵的五官進行細節重建。修復后,人物面部的胡須、毛孔清晰可見,給觀眾帶來更佳視覺感受。
在音質修復方面,火山引擎音頻技術團隊通過音頻降噪、音頻超分和響度算法,消除噪聲提升音質,解決響度、噪聲干擾、帶寬不足等問題。
與傳統降噪方案不同,本次降噪算法針對音樂場景和人聲場景,實現了兼容AI降噪算法,在保留音樂和人聲的前提下,抑制周圍噪聲。音頻超分算法則對演唱會中的人聲部分進行頻帶拓展,豐富高頻信息,使人聲更加清晰。從頻譜圖中可以看到,通過超分模塊的處理,原始音頻的高頻部分得到了拓展和增強。
通過音頻超分算法的處理,原始音頻大于12kHz的高頻信息得到了一定程度的補全修復
由于演唱會的拾音情況不同,導致演唱會唱歌的聲音有時候相對樂器聲和環境音過小,火山引擎音頻技術團隊利用響度算法首先單獨提取唱歌的部分,然后調整唱歌部分的響度,最后再混合,使得整體的人聲更加舒適。
據了解,演唱會的這些修復能力均已通過火山引擎智能處理、音頻技術產品對外提供服務。另外,火山引擎還對外開放了畫質全鏈路端到端解決方案,覆蓋上傳、轉碼、傳輸、消費等環節,實現視頻內容在畫質、碼率、體驗等方面的全方位優化。
數字化技術正成為驅動文化傳承的力量。相關報道顯示,2021年10月,西瓜視頻及火山引擎推出“經典視頻4K修復計劃”,通過技術手段,已累計修復完成71部經典動畫片,修復后的內容可在西瓜視頻、鮮時光TV免費觀看。
火山引擎相關負責人介紹,未來還會利用更多先進技術修復經典影像,讓經典煥發新生。