當(dāng)AI遇見海量視頻,IBM用20秒打開新時(shí)代之門
前言:
如何從接近 6 萬小時(shí)的視頻中找出屬于某個(gè)人的精彩 1 分鐘?
6 萬小時(shí)什么概念?那是 66 年零 7 個(gè)月。
在這接近人一生長(zhǎng)度的視頻中,恐怕即便是親身經(jīng)歷者也很難快速給你答案。而在視頻工業(yè)迅速崛起的當(dāng)下,觀眾可等不了太久。
當(dāng)一個(gè)新人在某場(chǎng)體育比賽中嶄露頭角,觀眾們想要在比賽結(jié)束后就立刻了解到他的過去以及他的成長(zhǎng)。但顯然,在傳統(tǒng)技術(shù)條件下,這是不可能的。
面對(duì)浩如煙海的視頻資料,即便是最資深的編輯使用***大的非線性編輯軟件和高性能的硬件;在面對(duì)整理個(gè)人生平和精彩瞬間這樣的任務(wù)需求時(shí),編輯通常也需要付出數(shù)小時(shí)甚至數(shù)天的時(shí)間。而且由于時(shí)間和精力的限制,其間的遺漏更是在所難免。
面對(duì)越來越無法等待的觀眾,傳統(tǒng)的視頻制作方只能大規(guī)模的增加視頻編輯數(shù)量,以期提升視頻整理和制作的速度。
但隨著視頻素材的不斷積累以及比賽中明星選手的不斷涌現(xiàn),這項(xiàng)工作只會(huì)越來越困難,越來越耗時(shí)。
騰訊的 NBA 之路
2015 年,騰訊與 NBA 簽約,成為 NBA 中國(guó)數(shù)字媒體獨(dú)家官方合作伙伴。而這不僅意味著騰訊體育可以直播 NBA 所有比賽,更意味著騰訊體育可以獲得 NBA 聯(lián)賽開始以來所有的視頻資料及其使用權(quán)。
這一合作不僅為騰訊體育帶來了過億的 NBA 球迷用戶,更對(duì)騰訊體育的視頻能力提出了更高的要求。
在騰訊體育基于 NBA 的視頻業(yè)務(wù)中,很大一部分都是各類比賽和球員的精彩瞬間。
在過去,騰訊的視頻編輯需要將每場(chǎng)比賽的所有視頻資料進(jìn)行精編,并根據(jù)每段內(nèi)容的各種屬性進(jìn)行粗略剪輯,以備后用。
而在進(jìn)行各類“精彩瞬間”視頻的制作時(shí),騰訊的視頻編輯就需要在這些浩如煙海的視頻庫中尋找對(duì)應(yīng)標(biāo)簽的素材,并結(jié)合主題、音樂、特效等進(jìn)行精細(xì)編輯,整個(gè)流程相當(dāng)漫長(zhǎng)。
即便只是輸出 1 分鐘的精彩集錦,也需要幕后編輯付出數(shù)小時(shí)、甚至數(shù)天的辛苦勞作。
但隨著新媒體營(yíng)銷話題性、時(shí)效性要求的逐步提升,傳統(tǒng)的編輯流程和模式已經(jīng)不再能夠適應(yīng)新媒體和數(shù)字化傳播的需求。
各類基于話題和實(shí)時(shí)比賽的營(yíng)銷和推廣已經(jīng)無法再為傳統(tǒng)視頻編輯模式提供足夠的編輯制作時(shí)間。
面對(duì)這一困境,按照傳統(tǒng)手段買設(shè)備、增人員的升級(jí)模式也無以為繼。產(chǎn)業(yè)需求面臨變革,但支持產(chǎn)業(yè)變革的內(nèi)容產(chǎn)生模式卻還沒有出現(xiàn);這對(duì)矛盾看似已經(jīng)無解……
AI Vision 為騰訊體育提供視頻編輯新解
在新一代算法和半導(dǎo)體技術(shù)的推動(dòng)下,人工智能大潮已經(jīng)開始在多個(gè)層面給企業(yè)的業(yè)務(wù)帶來變革,將人們從簡(jiǎn)單、繁瑣的重復(fù)性勞動(dòng)中解放出來。
自動(dòng)駕駛、文字及語音識(shí)別、簡(jiǎn)單邏輯判斷等應(yīng)用開始成為 AI 大展拳腳的新領(lǐng)域。
而作為全球領(lǐng)先科技的探索者,IBM 中國(guó)研究院更是在 AI 技術(shù)的應(yīng)用方面布局已久。
前段時(shí)間,為了探索人工智能應(yīng)用在視頻應(yīng)用方面的更多可能,騰訊體育與 IBM 成為工智能分析與剪輯合作伙伴,以領(lǐng)先的人工智能視覺深度學(xué)習(xí)平臺(tái)——被喻為“IBM AI Vision 視覺大腦”,為騰訊 NBA 編輯團(tuán)隊(duì)定制 AI 視頻剪輯方案,使海量歷史賽事視頻資料變得可搜索可隨需提取,讓每一幀每一秒的視頻價(jià)值***化,將為 1.25 億籃球迷提供***他們期待的在線觀賽新體驗(yàn)。
通過全新的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù),IBM“AI Vision 視覺大腦”可以依照需求自動(dòng)根據(jù)籃球比賽各類技術(shù)動(dòng)作和熱點(diǎn)維度進(jìn)行建模、分析,并依據(jù)建模在騰訊體育的視頻庫中尋找各類球星、主題的視頻信息,之后再將這些精選視頻剪輯在極短時(shí)間內(nèi)提供給視頻編輯。
而視頻編輯則可以直接開始相關(guān)的配樂、精細(xì)剪輯工作。因此,整個(gè)視頻內(nèi)容的產(chǎn)出工作將被極大的簡(jiǎn)化,視頻產(chǎn)出速度亦將大幅提升。
由 IBM AI Vision 視覺大腦技術(shù)參與制作的杜蘭特 11 年精彩回顧(轉(zhuǎn)載自騰訊視頻)
以“為 2018 季后賽總決賽 MVP 凱文·杜蘭特制作生涯精彩瞬間集錦”這一工作為例,我們來詳解“AIVision 視覺大腦”的工作流程:
·首先,騰訊體育編輯根據(jù)球賽中球員的表現(xiàn)為“AIVision 視覺大腦”下達(dá)任務(wù):尋找凱文·杜蘭特的精彩瞬間,這些精彩瞬間包括投籃、扣籃、搶斷、蓋帽等內(nèi)容。
·之后,“AI Vision 視覺大腦”會(huì)根據(jù)視頻編輯的需求,邊看比賽邊識(shí)別和分析杜蘭特的比賽視頻,在晃動(dòng)的視角、告訴運(yùn)動(dòng)的球員、相互遮擋激烈對(duì)抗的攻防戰(zhàn)中將其中所有相關(guān)的內(nèi)容剪輯出來,并根據(jù)精彩程度等相關(guān)指標(biāo)進(jìn)行加權(quán)評(píng)估。
·***,在 20 秒內(nèi),實(shí)時(shí)生成精彩視頻集錦。
開啟 AI 視覺分析技術(shù)應(yīng)用新藍(lán)海
面對(duì)如此強(qiáng)悍的性能,也許我們會(huì)擔(dān)心“AI Vision 視覺大腦”會(huì)占用大量的硬件資源。
但事實(shí)上,在騰訊體育的應(yīng)用案例中,“AI Vision 視覺大腦”完成某位球星的精彩瞬間僅需調(diào)用十余塊協(xié)處理器的計(jì)算資源;而這對(duì)于騰訊所擁有的海量硬件資源來說更是九牛之一毛。
在極少的資源占用和極高的性能表現(xiàn)下,建模、遍歷、計(jì)算、分析、輸出結(jié)果,所有動(dòng)作一氣呵成。這是騰訊體育的勝利,更是 AI 技術(shù)的勝利。當(dāng)然,如此強(qiáng)大的性能并非只是騰訊體育或 NBA 的專屬。
借助“AI Vision 視覺大腦”所具備的多種能力,亮點(diǎn)視頻制作、比賽復(fù)盤、電影預(yù)告片制作、攝像頭畫面實(shí)時(shí)分析、自動(dòng)駕駛、路況實(shí)時(shí)識(shí)別、殘障人士關(guān)懷等眾多場(chǎng)景均可因此受益。
短短幾十秒,騰訊體育獲得的是一段精彩視頻,而我們獲得的是一整個(gè) AI 時(shí)代。