近日，第二十二屆中國國際軟件博覽會（簡稱“2018軟博會”）第五場全球軟件產(chǎn)業(yè)發(fā)展高峰論壇“大數(shù)據(jù)賦能實體經(jīng)濟(jì)”在北京展覽館召開。快手科技平臺研發(fā)和大數(shù)據(jù)負(fù)責(zé)人韋彬發(fā)表主題演講“快手的數(shù)據(jù)驅(qū)動實踐”，分享中提到數(shù)據(jù)驅(qū)動是快手公司文化的一部分，每個崗位的員工都需要用科學(xué)系統(tǒng)化的方法解決問題。

[[235386]]

（快手科技平臺研發(fā)和大數(shù)據(jù)負(fù)責(zé)人韋彬在大會上發(fā)表主題演講）

用大數(shù)據(jù)、AI等技術(shù) 提升每個人獨特幸福感

韋彬舉了兩個快手用戶的例子，解釋快手如何用科技提升用戶的幸福感。四川大涼山懸崖村的用戶楊陽，楊陽通過快手向全世界展示家鄉(xiāng)的美麗景色，幫助家鄉(xiāng)的土特產(chǎn)找到了銷路，帶領(lǐng)村里人脫貧。還有一位的獨居的老人，老人在快手展示拉二胡的視頻積累了8萬多粉絲，體會到網(wǎng)友的關(guān)注、關(guān)心，快手幫助老人消除了一點點孤獨感，提升了一點點幸福感。

韋彬介紹，要做好提升每個人獨特的幸福感，需要用到大數(shù)據(jù)技術(shù)、AI技術(shù)，實現(xiàn)數(shù)億級別用戶和50億海量視頻的精準(zhǔn)匹配。此外，快手采用AR等前沿技術(shù)給用戶帶來等新奇體驗，提升用戶體驗。

快手簡單UI背后是復(fù)雜的AI系統(tǒng)。從視頻生產(chǎn)到分發(fā)的各個環(huán)節(jié)，AI技術(shù)貫穿其中。在視頻生產(chǎn)階段，快手自研的YCNN深度學(xué)習(xí)引擎及AR算法，通過人臉識別、姿態(tài)估計、肢體識別等技術(shù)給用戶提供新奇的視頻特效。視頻上傳后，會通過AI來識別和理解視頻中的人物、場景、語言、音樂等各種豐富內(nèi)容。

用戶理解環(huán)節(jié)，快手會通過大數(shù)據(jù)去理解每一位用戶的興趣偏好，不僅基于視頻內(nèi)容，還基于點贊、評論、觀看時長、用戶關(guān)系等用戶行為數(shù)據(jù)，幫助快手來更好的理解用戶。除了理解用戶的興趣偏好，還會理解用戶潛在的興趣，幫助用戶探索更大的未知領(lǐng)域。

快手的視頻分發(fā)環(huán)節(jié)，背后是一個超大規(guī)模的實時推薦系統(tǒng)，它基于深度學(xué)習(xí)模型，使用萬億級的特征大數(shù)據(jù)，實現(xiàn)了全鏈路的實時在線學(xué)習(xí)。能夠?qū)⒂脩魧崟r行為秒級更新到模型，通過檢索、預(yù)測、排序等子系統(tǒng)實現(xiàn)視頻與用戶的精準(zhǔn)匹配

AI是快手大腦 數(shù)據(jù)驅(qū)動是心臟

產(chǎn)品是快手的面龐，工程是快手的整個身軀，AI是快手的大腦，數(shù)據(jù)驅(qū)動就是快手的心臟。韋彬介紹，之所數(shù)據(jù)驅(qū)動可以稱之為快手的心臟，因為不管是算法、產(chǎn)品還是工程，在快手均重度依賴數(shù)據(jù)，需要數(shù)據(jù)體系的持續(xù)支撐。

快手的數(shù)據(jù)驅(qū)動，有自己的一套價值觀，韋彬把它總結(jié)為三個關(guān)鍵詞。***個是文化，數(shù)據(jù)驅(qū)動是快手公司文化的一部分，在快手要求每個崗位的同事，需要用科學(xué)系統(tǒng)化的方法解決問題，數(shù)據(jù)驅(qū)動是系統(tǒng)性方法里最基本的。

第二個是賦能。希望公司任何一個崗位的同事，只要對數(shù)據(jù)有需求，只要能夠通過數(shù)據(jù)改進(jìn)工作，都可以方便高效地使用快手?jǐn)?shù)據(jù)平臺及工具獲取和使用數(shù)據(jù)。

第三個是洞見。數(shù)據(jù)驅(qū)動應(yīng)該幫助各個不同層級，不同崗位的同事做業(yè)務(wù)上的決策。也就是說，關(guān)注的是從數(shù)據(jù)上，能夠發(fā)掘出有洞見的知識及有價值的結(jié)論。

數(shù)據(jù)賦能 用數(shù)據(jù)驅(qū)動建設(shè)短視頻社區(qū)

韋彬分享了快手在數(shù)據(jù)驅(qū)動實踐過程中的經(jīng)驗積累。經(jīng)驗之一，如果不能很好的監(jiān)測和量化數(shù)據(jù)，就不能去管理和改進(jìn)。韋彬認(rèn)為，使用科學(xué)的數(shù)據(jù)驅(qū)動方法，是快手建立短視頻社區(qū)以及社區(qū)獲得高速發(fā)展的重要原因。

快手很早建立實時的數(shù)據(jù)指標(biāo)監(jiān)測體系，通過定義核心指標(biāo)、監(jiān)測核心指標(biāo)來指導(dǎo)社區(qū)優(yōu)化，逐步建立正反饋的健康社區(qū)。比如，通過監(jiān)測原創(chuàng)視頻的一些核心指標(biāo)，不斷提升原創(chuàng)視頻的比例，并刺激原創(chuàng)視頻生產(chǎn)，形成良性循環(huán)。

快手的普惠價值觀，希望所有人都能在這個平臺上分享生活。韋彬介紹，快手把這個價值觀落地成了具體的可以數(shù)據(jù)驅(qū)動的指標(biāo)。比如，經(jīng)濟(jì)學(xué)用基尼系數(shù)反應(yīng)貧困差距的核心指標(biāo)，快手的社區(qū)系統(tǒng)里面，也會建立類似的核心指標(biāo)，監(jiān)測整個系統(tǒng)的中心化的程度以及“貧富差距”程度。

經(jīng)驗之二，不同職能團(tuán)隊需要不同的數(shù)據(jù)賦能方法。韋彬以決策人員、產(chǎn)品經(jīng)理、算法\策略工程師、后端工程師四個不同的崗位為例，分析了不同的數(shù)據(jù)賦能方法。

決策人員更關(guān)心宏觀的核心指標(biāo)，以及隨時間的變化趨勢，一旦發(fā)現(xiàn)異常會希望能下鉆分析和找出原因，針對決策層面的數(shù)據(jù)需求，快手建設(shè)了配置化報表平臺、留存分析、多維分析等一系列工具。

對于產(chǎn)品經(jīng)理，他們對數(shù)據(jù)系統(tǒng)的關(guān)注點在于怎么使產(chǎn)品的迭代更加快，怎么樣更好的做產(chǎn)品上的決策。針對產(chǎn)品的訴求，快手建立了高效的A/B Test平臺。快手的A/B Test的平臺能夠支持同時并行，互不干擾做大量并行的小流量實驗。每天同一時刻有上百個實驗同時進(jìn)行，最終選擇客觀指標(biāo)證明更優(yōu)的方案，產(chǎn)品迭代的效率得到數(shù)量級的提升。

大數(shù)據(jù)怎樣給AI體系最核心的開發(fā)人員賦能？韋彬介紹，快手的算法策略工程師，每天在花大量時間分析和回答各種偏微觀的數(shù)據(jù)上的問題，這些問題通常具有不確定性和可探索性，快手針對這些場景建設(shè)了一個交互式多維分析系統(tǒng)。

系統(tǒng)的實時性能夠?qū)崿F(xiàn)亞秒更新，實時接入；系統(tǒng)具有非常強(qiáng)的交互性，在90%的場景可以一秒鐘之內(nèi)返回結(jié)果。此外，該系統(tǒng)提供豐富的多維分析能力以及可視化能力。

對于后端的工程師的賦能，快手建立一個基于服務(wù)間調(diào)用大數(shù)據(jù)的調(diào)用鏈分析監(jiān)控系統(tǒng)，在快手復(fù)雜的服務(wù)依賴樹中，實時發(fā)現(xiàn)問題，確定影響指標(biāo)，定位問題范圍，以讓后端工程師對服務(wù)質(zhì)量盡在掌握。

經(jīng)驗之三，韋彬分享了平臺重要的基本功。快手的數(shù)據(jù)增長非常迅速，超大規(guī)模存儲與計算設(shè)施的建設(shè)考驗平臺的基本功。在監(jiān)控、調(diào)優(yōu)開源系統(tǒng)的基礎(chǔ)上，快手對開源系統(tǒng)做了二次開發(fā)的深度優(yōu)化，并搭建平臺，實現(xiàn)對超大規(guī)模集群的使用。

此外，隨著數(shù)據(jù)規(guī)模的極速增長、數(shù)據(jù)從生產(chǎn)到消費的鏈條變長變復(fù)雜，給數(shù)據(jù)體系帶來多方面的挑戰(zhàn)。快手重視數(shù)據(jù)治理，在質(zhì)量治理、產(chǎn)出治理、安全治理、成本治理4個方面，并持續(xù)投入，通過工具鏈研發(fā)、流程改進(jìn)、指標(biāo)驅(qū)動等方法為快手大數(shù)據(jù)持續(xù)健康發(fā)展做好保障。