抖音世界杯的畫(huà)質(zhì)優(yōu)化實(shí)踐

作者：多媒體實(shí)驗(yàn)室 2023-03-03 15:43:23

世界杯賽事涉及鏈路眾多，如何保障各鏈路的畫(huà)質(zhì)穩(wěn)定并進(jìn)一步提升畫(huà)質(zhì)，是一個(gè)巨大的挑戰(zhàn)。本文主要介紹火山引擎多媒體實(shí)驗(yàn)室在世界杯期間畫(huà)質(zhì)的相關(guān)工作。

背景介紹

卡塔爾世界杯已經(jīng)結(jié)束，29 天賽程，64 場(chǎng)比賽，最終梅西帶領(lǐng)阿根廷時(shí)隔三十六年再次捧杯。世界杯期間，抖音提供的穩(wěn)定高質(zhì)直播畫(huà)面為觀眾帶來(lái)了完美的觀賽體驗(yàn)，決賽的 PCU 高達(dá) 3700W+。

畫(huà)質(zhì)優(yōu)化鏈路

世界杯涉及鏈路較長(zhǎng)，可簡(jiǎn)化為下圖流程，F(xiàn)IFA 現(xiàn)場(chǎng)信號(hào)首先傳到央視端進(jìn)行合規(guī)安全處理，然后經(jīng)過(guò)演播室的制作傳輸給 CDN 再進(jìn)一步分發(fā)到用戶側(cè)。從畫(huà)質(zhì)角度來(lái)看整個(gè)鏈路可分為畫(huà)質(zhì)檢測(cè)與畫(huà)質(zhì)優(yōu)化兩個(gè)部分，對(duì)于 CDN 之前的鏈路以畫(huà)質(zhì)監(jiān)測(cè)為主，以發(fā)現(xiàn)問(wèn)題/定位問(wèn)題/推動(dòng)對(duì)應(yīng)鏈路人員解決問(wèn)題為目的。畫(huà)質(zhì)優(yōu)化在 CDN 和客戶端兩側(cè)進(jìn)行，下面的內(nèi)容主要介紹畫(huà)質(zhì)優(yōu)化部分。

本次世界杯直播使用支持 HDR（高動(dòng)態(tài)范圍）設(shè)備錄制，團(tuán)隊(duì)對(duì)支持 HDR 的設(shè)備增加了 HDR 檔位，同時(shí)提供了多種不同分辨率/幀率的檔位。為了使得觀眾獲得更好的畫(huà)質(zhì)體驗(yàn)，團(tuán)隊(duì)通過(guò)自研的自適應(yīng) ToneMapping，視頻降噪，ROI，端上超分等算法有效地提升了賽事畫(huà)質(zhì)。

卡塔爾世界杯采用 HDR 拍攝方式，HDR 拍攝的片源擁有更廣的色域，更大的動(dòng)態(tài)范圍。但對(duì)很多終端顯示設(shè)備而言，并不支持 HDR 信號(hào)播放，所以通過(guò) ToneMapping 算法將 HDR 信號(hào)轉(zhuǎn)換為 SDR（標(biāo)準(zhǔn)動(dòng)態(tài)范圍）信號(hào)是十分必要的。

相比 SDR 信號(hào)，HDR 信號(hào)擁有更廣的色域和更大的動(dòng)態(tài)范圍，在轉(zhuǎn)換到 SDR 信號(hào)的過(guò)程中不可避免會(huì)產(chǎn)生一些信息損失。常用的一些 ToneMapping 方法，不論是 Reinhard，F(xiàn)ilmic 或者 Hable，其本質(zhì)都是設(shè)計(jì)固定的映射曲線實(shí)現(xiàn)從 HDR 到 SDR 的轉(zhuǎn)換，同時(shí)盡量保持對(duì) HDR 效果的還原。但對(duì)于世界杯等大型賽事，現(xiàn)場(chǎng)動(dòng)態(tài)范圍跨度極大，場(chǎng)館的燈光/草地/球員亮度差異明顯，觀眾感興趣的球員信息實(shí)際集中在暗部區(qū)域，這就導(dǎo)致 ToneMapping 之后的 SDR 信號(hào)過(guò)暗的問(wèn)題，為了解決這一問(wèn)題，團(tuán)隊(duì)提出了內(nèi)容自適應(yīng) ToneMapping 算法，通過(guò)統(tǒng)計(jì)視頻內(nèi)容的實(shí)際光照情況動(dòng)態(tài)地進(jìn)行 ToneMapping，從而得到更優(yōu)效果。

左: Hable 算法，右: 內(nèi)容自適應(yīng) ToneMapping

為了兼顧視頻碼率和主觀畫(huà)質(zhì)，團(tuán)隊(duì)使用了基于 LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）的時(shí)域 ROI 技術(shù)，通過(guò)人眼顯著性區(qū)域檢測(cè)和編碼相結(jié)合的方式，讓碼率在畫(huà)面上的分配更加合理。目前市面上沒(méi)有專門(mén)針對(duì)足球場(chǎng)景的 saliency(顯著性物體檢測(cè))數(shù)據(jù)集，通用的 saliency 數(shù)據(jù)集在世界杯這類特定場(chǎng)景中表現(xiàn)并不理想。針對(duì)這一問(wèn)題，團(tuán)隊(duì)專門(mén)制作了足球場(chǎng)景的 saliency 數(shù)據(jù)集，通過(guò)眼動(dòng)儀追蹤球迷觀看球賽時(shí)的關(guān)注區(qū)域得到足球比賽的專用 saliency 數(shù)據(jù)集，從而極大增加了模型的準(zhǔn)確性。針對(duì)足球場(chǎng)景中顯著性物體較多，顯著性區(qū)域分散的特點(diǎn)，團(tuán)隊(duì)對(duì)檢測(cè)模型進(jìn)行了專門(mén)的優(yōu)化，在保證檢測(cè)速度的前提下，提高了模型的召回率和不同場(chǎng)景的魯棒性，從而實(shí)現(xiàn)更優(yōu)的主觀質(zhì)量。

注：紅色框內(nèi)表示 ROI 區(qū)域，左邊為通用方案結(jié)果，右邊為優(yōu)化結(jié)果

同時(shí)團(tuán)隊(duì)使用了視頻降噪算法，根據(jù)視頻信息對(duì)其進(jìn)行空域、時(shí)域噪聲的去除，將帶有噪聲的視頻處理成干凈、沒(méi)有噪聲的視頻。由于去除了視頻的噪聲，在提升視頻質(zhì)量的基礎(chǔ)上同時(shí)降低了傳輸?shù)拇a率。由于用戶側(cè)網(wǎng)速的限制，端上存在多個(gè)檔位，當(dāng)看播端網(wǎng)速較慢時(shí)，可能會(huì)切換到 480P/720P 等低分辨檔位，此時(shí)會(huì)觸發(fā)端上超分算法提升畫(huà)面清晰度。超分辨率技術(shù)指的是，基于機(jī)器學(xué)習(xí)/深度學(xué)習(xí)方法，根據(jù)視頻信息對(duì)其進(jìn)行空域、時(shí)域建模重構(gòu)出缺失的細(xì)節(jié)，將低分辨率的視頻重建出高分辨率視頻的技術(shù)。這樣即使是在低分辨檔位也能體驗(yàn)到更清晰的畫(huà)質(zhì)。