B站大數(shù)據(jù)開發(fā)治理平臺的產(chǎn)品設(shè)計(jì)心得

作者：楊蕊鴻 2024-01-24 07:36:29

Bilibili 是一家數(shù)據(jù)驅(qū)動的公司，數(shù)據(jù)在員工日常工作中至關(guān)重要。B 站內(nèi)部有60% 的員工日常參與用數(shù)和數(shù)據(jù)決策，數(shù)據(jù)平臺的建設(shè)直接影響了他們的工作效率。本文將介紹 B 站大數(shù)據(jù)開發(fā)治理平臺產(chǎn)品的設(shè)計(jì)心得。

一、B 站的用數(shù)場景及數(shù)據(jù)開發(fā)治理平臺的概況介紹

B 站大數(shù)據(jù)開發(fā)治理平臺歷經(jīng) 5 年建設(shè)，目前包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)安全、數(shù)據(jù)分析等多個模塊，服務(wù)于公司各個業(yè)務(wù)部門。

B 站數(shù)據(jù)平臺的使用者覆蓋了 60% 的員工，其面向的用戶群體主要是技術(shù)開發(fā)、產(chǎn)品、運(yùn)營、算法工程師、分析師、數(shù)據(jù)開發(fā)等。通過對用戶的數(shù)據(jù)能力進(jìn)行分層，我們可將數(shù)據(jù)平臺的用戶大致區(qū)分為高階開發(fā)、中階用戶、數(shù)據(jù)小白等 3 個用戶群體。

基于用戶分群，我們提出了數(shù)據(jù)平臺的產(chǎn)品定位：專業(yè)，門檻，標(biāo)準(zhǔn)化，閉環(huán)。

專業(yè)：數(shù)據(jù)平臺需要滿足專業(yè)的數(shù)據(jù)開發(fā)及分析訴求，提升數(shù)據(jù)供給效率。
門檻：數(shù)據(jù)平臺需要滿足產(chǎn)運(yùn)等用戶低門檻的建數(shù)、用數(shù)、取數(shù)要求。
標(biāo)準(zhǔn)化：數(shù)據(jù)平臺需要快速滿足多業(yè)務(wù)、各部門不同的數(shù)據(jù)訴求，功能既要通用，也要足夠靈活。
閉環(huán)：數(shù)據(jù)平臺在 B 站也是數(shù)據(jù)中臺，我們同時承擔(dān)了數(shù)據(jù)運(yùn)營、成本治理、規(guī)范約束、質(zhì)量監(jiān)控等管理角色，因此平臺需要替業(yè)務(wù)完成數(shù)據(jù)從入倉、生產(chǎn)、運(yùn)維、治理等流程的全閉環(huán)。

根據(jù)不用的業(yè)務(wù)場景和用數(shù)訴求，平臺主要包括數(shù)據(jù)生成、數(shù)據(jù)消費(fèi)、數(shù)據(jù)管理三大場景，分別提供相應(yīng)的數(shù)據(jù)服務(wù)。

本文將重點(diǎn)介紹數(shù)據(jù)地圖和數(shù)據(jù)治理產(chǎn)品的設(shè)計(jì)。

二、基于價(jià)值體系的數(shù)據(jù)地圖產(chǎn)品建設(shè)

1、數(shù)據(jù)運(yùn)營的痛點(diǎn)

面向多業(yè)務(wù)的數(shù)據(jù)中臺團(tuán)隊(duì)或數(shù)倉團(tuán)隊(duì)，當(dāng)模型基數(shù)較大時，往往會面臨數(shù)據(jù)運(yùn)營難的痛點(diǎn)。如何通過數(shù)據(jù)平臺，結(jié)合數(shù)據(jù)內(nèi)容的建設(shè)，解決用戶找數(shù)用數(shù)痛點(diǎn)，是數(shù)據(jù)運(yùn)營產(chǎn)品的核心目標(biāo)。隨著模型規(guī)模的快速增長，我們從 20 年開始，也逐漸面臨數(shù)據(jù)運(yùn)營難的痛點(diǎn)。數(shù)據(jù)運(yùn)營的痛點(diǎn)是分階段暴露的：

2、數(shù)據(jù)運(yùn)營的解決方案

針對上述痛點(diǎn)，我們提出了一套解決方案：完善產(chǎn)品功能體系，推動數(shù)據(jù)運(yùn)營體系的建設(shè)，建設(shè)數(shù)據(jù)模型的評估能力。

3、數(shù)據(jù)地圖產(chǎn)品建設(shè)

數(shù)據(jù)地圖是一個基于元數(shù)據(jù)的數(shù)據(jù)門戶，它能夠幫助用戶更好地理解和管理數(shù)據(jù)資源。作為一個企業(yè)的數(shù)據(jù)中心，數(shù)據(jù)地圖具備多種功能，包括數(shù)據(jù)檢索、元數(shù)據(jù)詳情、數(shù)據(jù)預(yù)覽、數(shù)據(jù)血緣和數(shù)據(jù)管理等。這些功能的存在，有效地提升了用戶的找數(shù)效率，降低了數(shù)據(jù)理解難度，也降低了使用門檻。

通過完善洞察推薦、全文檢索、類目體系、數(shù)據(jù)畫像、UGC 及 API、數(shù)據(jù)專輯、數(shù)據(jù)血緣、影響分析等八大產(chǎn)品矩陣，能夠滿足用戶在找數(shù)、用數(shù)、數(shù)據(jù)理解、數(shù)據(jù)治理、數(shù)據(jù)推廣等不同場景下的使用訴求。

4、數(shù)據(jù)運(yùn)營方法

基于數(shù)據(jù)地圖產(chǎn)品體系的迭代，沉淀了一些數(shù)據(jù)運(yùn)營方法。

點(diǎn)(用戶)：1V1 標(biāo)準(zhǔn)化

采用線上和線下的 1v1 方案針對問題進(jìn)行答疑和解惑，使用工具咨詢或者解決數(shù)倉相關(guān)問題。

線(業(yè)務(wù))：周期節(jié)點(diǎn)化

定期線下結(jié)合數(shù)據(jù)內(nèi)容對運(yùn)營同學(xué)進(jìn)行培訓(xùn)、訪談以及工具的普及。

面(平臺)：1VN 體系化

將點(diǎn)和面的問題及解決方案進(jìn)行記錄，通過平臺進(jìn)行沉淀，并體系化地反饋給業(yè)務(wù)方。

通過點(diǎn)線面結(jié)合的運(yùn)營方法，結(jié)合線上和線下的運(yùn)營策略，形成了 B 站的數(shù)據(jù)運(yùn)營方案，同時從數(shù)據(jù)價(jià)值、用戶指標(biāo)、用戶訪談、定期調(diào)研四個評估體系，能夠更有效的完成策略和效率提升。

5、評估數(shù)據(jù)價(jià)值

經(jīng)過產(chǎn)品功能迭代和運(yùn)營體系化建設(shè)，已經(jīng)可以很好地引導(dǎo)用戶找數(shù)、用數(shù)，但是我們發(fā)現(xiàn)眾多的數(shù)據(jù)模型，仍無法讓業(yè)務(wù)有“模型建設(shè)得好”的感知，為了更好地衡量數(shù)據(jù)價(jià)值，對模型進(jìn)行 ROI 評估，驅(qū)動良性的模型運(yùn)營和數(shù)據(jù)建設(shè)，構(gòu)建了模型價(jià)值評估體系。通過衡量數(shù)據(jù)價(jià)值，能有效提升業(yè)務(wù)的數(shù)據(jù)認(rèn)可度，基于此可建設(shè)數(shù)據(jù)推薦策略、數(shù)據(jù)開發(fā)價(jià)值評估、模型的管理策略和治理策略。

6、數(shù)據(jù)價(jià)值計(jì)算

根據(jù)數(shù)據(jù)價(jià)值，設(shè)計(jì)了模型價(jià)值分。數(shù)據(jù)應(yīng)用場景主要包括數(shù)據(jù)查詢熱度、ETL 引用情況、API 引用情況、BI報(bào)表熱度、數(shù)據(jù)應(yīng)用使用情況、出倉業(yè)務(wù)場景熱度。價(jià)值元素主要包括內(nèi)部人效、外部基線等級、外部數(shù)據(jù)質(zhì)量、安全等級、數(shù)據(jù)新鮮度等方面，根據(jù)不同場景和不同因素進(jìn)行份子權(quán)重設(shè)定，并通過產(chǎn)品化方案，更有效地支持多業(yè)務(wù)自定義數(shù)據(jù)價(jià)值。

7、數(shù)據(jù)地圖效果展示

以下是具體場景下的產(chǎn)品功能展示：

找數(shù)場景

包括元數(shù)據(jù)展示、標(biāo)簽展示、用戶洞察、數(shù)據(jù)專輯功能等功能。

用數(shù)場景

主要集中在表詳情頁的功能，提供了豐富的應(yīng)用功能，包括基本信息、業(yè)務(wù)信息、存儲信息、標(biāo)簽等。

血緣&影響分析

基于血緣數(shù)據(jù)，沉淀了血緣地圖和歸因/影響分析兩個產(chǎn)品。血緣地圖提供手動探查、可視化分析、鏈路分析的功能；歸因/影響分析功能提供基于血緣的向上和向下的數(shù)據(jù)聚合分析的功能，主要針對下游數(shù)據(jù)異動快速定位問題、口徑變更對基線的影響的問題，提供批量血緣查詢、信息聚合、拉群和通知的功能。

產(chǎn)品功能、數(shù)據(jù)運(yùn)營體系、以及數(shù)據(jù)價(jià)值評價(jià)三方面的建設(shè)，為數(shù)據(jù)運(yùn)營帶來了顯著提升。經(jīng)過迭代，數(shù)據(jù)地圖滲透率從 30% 提升到 60% ;推薦表熱度提升 40%，用戶評價(jià)提升 33%。同時數(shù)據(jù)價(jià)值被業(yè)務(wù)認(rèn)可，價(jià)值分 Top 熱度提升 20%，用戶能找好數(shù)，用對數(shù)，數(shù)據(jù)建設(shè)價(jià)值可被衡量和評估。

三、基于抽象配置的數(shù)據(jù)治理產(chǎn)品建設(shè)

在 B 站，表和任務(wù)以每半年翻倍的速度進(jìn)行增長。從 22 年開始，我們關(guān)注到數(shù)據(jù)治理需要以更高效的方式進(jìn)行推進(jìn)和落地，因此提出了用 B 端產(chǎn)品化的思路針對數(shù)據(jù)治理方案提供的通用治理工具，以高效解決數(shù)據(jù)治理問題。

1、建設(shè)背景及產(chǎn)品架構(gòu)

在業(yè)務(wù)快速發(fā)展期間，數(shù)據(jù)資產(chǎn)增長較快、資產(chǎn)管理混亂，數(shù)據(jù)治理工作往往迫在眉睫。通常數(shù)據(jù)治理工作有如下痛點(diǎn)：

數(shù)據(jù)治理入手及落地難，操作和流程無法指導(dǎo)
運(yùn)動式,治理工作不可持續(xù)
治理成效的可視化不足
治理不到人，權(quán)責(zé)不分明
運(yùn)營成本高，消耗人力

從數(shù)據(jù)成本、數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全四大方向入手進(jìn)行治理。治理中心的產(chǎn)品框架主要由管理運(yùn)營、治理配置& 應(yīng)用、基礎(chǔ)數(shù)據(jù)模塊組成。以元數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)，基于靈活配置，提升治理效果。

2、數(shù)據(jù)治理運(yùn)營機(jī)制及工作流程

結(jié)合數(shù)據(jù)委員會、治理工具、運(yùn)營機(jī)制三個方面，逐漸形成了一套持續(xù)可執(zhí)行的治理運(yùn)營流程。治理工作推進(jìn)流程采用策略線上 POC->數(shù)據(jù)委員會發(fā)布->策略上線的新流程，對比之前流程有很大的改善。

3、B 站治理運(yùn)營的推進(jìn)痛點(diǎn)和訴求

在 B 站，數(shù)據(jù)治理運(yùn)營的痛點(diǎn)主要有三個方向：治理的資產(chǎn)對象多、資產(chǎn)的操作路徑特殊、存量問題資產(chǎn)多，增量快。

4、治理工具的解決方案

通過豐富的元素和配置，可以實(shí)現(xiàn)用戶個性化訴求，解決不同業(yè)務(wù)、不同視角、不同用戶制定的形態(tài)各異的治理策略，比如：配置流程固定化、配置參數(shù)規(guī)范化、配置操作簡單化。讓業(yè)務(wù)自主完成治理方案的制定、規(guī)則定義和工作推進(jìn)。