本文簡單介紹了“抖音集團數(shù)據(jù)資產(chǎn)管理平臺”全貌，數(shù)據(jù)資產(chǎn)管理平臺是抖音集團在復雜業(yè)務(wù)場景中思考的新方向，啟發(fā)大家對于元數(shù)據(jù)以及數(shù)據(jù)資的全新思考。文章重點展開介紹了“抖音集團大數(shù)據(jù)血緣的演進和應(yīng)用”部分，讓大家以更宏觀視角認識血緣，并在如何建設(shè)好數(shù)據(jù)血緣給出建設(shè)性的思路。

首先整體介紹下抖音集團的一站式數(shù)據(jù)資產(chǎn)門戶平臺。在大數(shù)據(jù)領(lǐng)域，各大公司通常會開展元數(shù)據(jù)采集以及數(shù)據(jù)地圖的建設(shè)工作，行業(yè)內(nèi)的普遍認知聚焦于“元數(shù)據(jù)”。而在抖音集團，我們的認知核心在于“數(shù)據(jù)資產(chǎn)”。其核心點在于，我們發(fā)現(xiàn)若要真正服務(wù)好用戶，單純依靠原始元數(shù)據(jù)，難以滿足更精準化的找數(shù)需求。因此，我們經(jīng)過全方位的思考，構(gòu)建了更具系統(tǒng)化的“管、找、用”數(shù)據(jù)資產(chǎn)平臺。以下為抖音集團數(shù)據(jù)資產(chǎn)管理平臺。

我們的資產(chǎn)平臺支持豐富的數(shù)據(jù)源類型，借助于強大的元數(shù)據(jù)采集能力，將所有數(shù)據(jù)源元數(shù)據(jù)采集至元數(shù)據(jù)中心，形成統(tǒng)一元數(shù)據(jù)湖，其中就包括全鏈路血緣。基于采集后的原始元數(shù)據(jù)，數(shù)據(jù) BP 會通過資產(chǎn)管理進行二次上下架、分級分類等管理操作，平臺會借助主動元數(shù)據(jù)手段（Gartner 提出）等，持豐富資產(chǎn)元數(shù)據(jù)。我們會建立資產(chǎn)評估體系評估資產(chǎn)的完善度，牽引資產(chǎn)不斷做好。在消費場景上，我們基于數(shù)據(jù)資產(chǎn)元數(shù)據(jù)構(gòu)建搜索、門戶以及推薦等產(chǎn)品化能力，同時結(jié)合大模型構(gòu)建AI搜索，通過多樣化產(chǎn)品矩陣滿足數(shù)據(jù)資產(chǎn)元數(shù)據(jù)消費需求。以上是數(shù)據(jù)資產(chǎn)平臺整體簡單介紹。

一、抖音集團血緣整體介紹

1. 整體概覽

在抖音集團內(nèi)，對于數(shù)據(jù)血緣建設(shè)的目標是：構(gòu)建全覆蓋、實時、準確的大數(shù)據(jù)血緣，基于血緣數(shù)據(jù)打造全場景血緣應(yīng)用賦能提效。這里我們的認知是：數(shù)據(jù)血緣是元數(shù)據(jù)的核心基礎(chǔ)能力，如果想致力于打造更高效的數(shù)據(jù)平臺，可提高對于數(shù)據(jù)血緣的建設(shè)重視程度。

2. 建設(shè)背景

血緣，即元數(shù)據(jù)實體之間的關(guān)系，也可以簡單理解為大數(shù)據(jù)任務(wù) ETL 的結(jié)構(gòu)化信息。抖音集團內(nèi)部數(shù)據(jù)血緣建設(shè)背景，可以分為四個方面：

• 看鏈路：整個大數(shù)據(jù)是一個超大的數(shù)據(jù)鏈路，集團內(nèi)有百萬級別的任務(wù)，需要結(jié)合血緣看清楚這些業(yè)務(wù)之間的關(guān)系。
• 保質(zhì)量：生產(chǎn)任務(wù)每天都在線上迭代，每天有萬級別的線上任務(wù)變更，該如何評估好這些迭代對線上是否會產(chǎn)生影響，需要結(jié)合血緣鏈路去評估，以保障整個生產(chǎn)的質(zhì)量。
• 保安全：安全是企業(yè)數(shù)據(jù)數(shù)據(jù)的生命線，如何高效發(fā)現(xiàn)企業(yè)中的敏感數(shù)據(jù)，需要依賴血緣數(shù)據(jù)傳播能力。
• 降成本：超大規(guī)模集群規(guī)模背后是大量的計算、存儲資源，如何合理利用資源，并精準發(fā)現(xiàn)低價值資源，并驅(qū)動治理，也需要依賴血緣實現(xiàn)。

因此，建設(shè)好大數(shù)據(jù)血緣對我們來說迫在眉睫。

3. 血緣整體鏈路

那么如何建設(shè)好一套大數(shù)據(jù)血緣呢？

簡化來看大數(shù)據(jù)鏈路：從埋點到消息隊列（或者上游的業(yè)務(wù) DB），構(gòu)建離線數(shù)倉、實時數(shù)倉，數(shù)倉加工完后寫入到高速存儲，提供線上服務(wù)或者產(chǎn)品化能力。基于大數(shù)據(jù)鏈路，我們需覆蓋血緣包括以下三類。粒度上覆蓋表級血緣和字段級血緣，其中字段級我們更多提細粒度字段級血緣，包括行級血緣和算子血緣。

• 數(shù)據(jù)源或數(shù)據(jù)采集的血緣：埋點血緣
• 數(shù)據(jù)生產(chǎn)鏈路的血緣：實時數(shù)倉血緣、離線數(shù)倉血緣
• 應(yīng)用端的血緣：服務(wù)/產(chǎn)品應(yīng)用的血緣

4. 血緣模型抽象

在建設(shè)血緣時，該如何抽象模型呢？

前面介紹到，血緣可以簡單理解為關(guān)系，那是否把血緣抽象為點和邊就能解決血緣的問題呢？如上圖示例，表 tb 包含兩列，列都來自于表 ta，ta 和 tb 通過任務(wù)產(chǎn)生的關(guān)系，同時兩個表的列也都產(chǎn)生了關(guān)系，這是最直接的模型。另外，會發(fā)現(xiàn)是這個任務(wù)讓兩個實體產(chǎn)生了關(guān)系，所以另外一種模型方式是把任務(wù)節(jié)點也抽象出來。我們可以通過這兩種模型來表達血緣關(guān)系，但實際兩個模型其實存在差異。

第一個模型：表現(xiàn)更新時會非常慢，一旦任務(wù)變更，需要去更新所有任務(wù)相關(guān)實體節(jié)點，但讀取會非常高效，因為關(guān)系被直接被固化存儲；第二個模型：更新非常快，更新任務(wù)時只需更新任務(wù)相關(guān)的關(guān)系，但讀會非常慢，需推導最終血緣關(guān)系。

基于該案例推演，我們設(shè)計了更泛化的血緣模型，在模型中抽象三類實體。第一個 DataStore 實體，與通常的 Hive Table 對應(yīng)；第二個抽象是 Column，由于實體和實體之間存在從屬的關(guān)系，所以再往下抽象一層即 column，column 可以從屬于 DataStore；第三個抽象是 Process，實體與實體通過 task 產(chǎn)生關(guān)系，所以抽象出 Process 來表達 task。

通過三類實體產(chǎn)生六類關(guān)系：實體和實體的關(guān)系（如表和表的血緣關(guān)系），列與列的關(guān)系（即字段血緣），任務(wù)和任務(wù)之間的關(guān)系等。通過實踐驗證，該模型能夠覆蓋到所有血緣關(guān)系，在實際存儲過程中又考慮到以上兩個特點，我們存儲了兩類模型，寫入時使用第二個模型，查詢時使用第一個模型，從而滿足大數(shù)據(jù)場景下高效的存儲和讀取。

5. 血緣衡量指標

我們定義了“血緣質(zhì)量分”指標來衡量血緣質(zhì)量，包括三個一級指標，加權(quán)后為血緣質(zhì)量分。抖音集團內(nèi)部當前血緣質(zhì)量分處于較好水平，但仍然也需要持續(xù)提升。

• 血緣覆蓋率：考慮任務(wù)成功解析的數(shù)量，覆蓋多少任務(wù)；
• 血緣準確率：成功解析并不代表完全正確，會在覆蓋基礎(chǔ)上近一步排除異常解析的情況。
• 血緣完整率：成功解析也不一定完整，最終通過完整率來看清楚血緣是否完全覆蓋。

6. 血緣整體生態(tài)體系

血緣數(shù)據(jù)重點依賴依賴上游生產(chǎn)任務(wù)邏輯或者日志，通過多種接入模式采集，然后通過血緣處理（其中重點是解析）形成統(tǒng)一血緣數(shù)據(jù)。對外提供血緣分析服務(wù)以及血緣應(yīng)用，包括血緣圖譜、口徑探查、血緣分析以及基于血緣的各種工具箱，幫助用戶方便快捷地使用血緣。借助于血緣開放生態(tài)，希望人人能夠貢獻血緣，人人能夠用好血緣。

整套血緣體系有幾個特點：覆蓋全鏈路、精細化血緣、準確度非常高、應(yīng)用場景廣泛。

二、抖音集團血緣系統(tǒng)架構(gòu)

1. 血緣系統(tǒng)建設(shè)挑戰(zhàn)

血緣系統(tǒng)建設(shè)主要面臨如下一些挑戰(zhàn)：

• 首先，如何精準化解析細粒度血緣；
• 其次，如何覆蓋非結(jié)構(gòu)化數(shù)據(jù)源，比如實時鏈路中會有 Redis、Kafka 等；
• 然后，如何覆蓋跨 region 的機房血緣；
• 最后，如何覆蓋調(diào)用較大的應(yīng)用端調(diào)用血緣。

2. 血緣系統(tǒng)解決方案架構(gòu)

基于以上四個挑戰(zhàn)，我們設(shè)計了整套血緣架構(gòu)。

• 數(shù)據(jù)源：覆蓋各種上游數(shù)據(jù)源的有價值信息，包括任務(wù)代碼、配置信息、離線表以及人工補錄的數(shù)據(jù)。
• 采集：元數(shù)據(jù)鏈路和血緣鏈路，元數(shù)據(jù)鏈路重點關(guān)注元信息采集到元數(shù)據(jù)的體系里面；血緣鏈路，重點結(jié)合解析服務(wù)和 Catalog，提取血緣數(shù)據(jù)；
• 存儲：通過圖庫存儲血緣數(shù)據(jù)，開源圖庫有JanusGraph、Neo4j、NebulaGraph 等。離線鏈路通過圖庫 Dump 任務(wù)到 hdfs，并構(gòu)建數(shù)倉；
• 分析：通過實時數(shù)據(jù)和離線數(shù)據(jù)，以通用的血緣分析服務(wù)，支持實時以及離線的分析場景。

3. 統(tǒng)一解析服務(wù)

Java 體系中有兩個比較出名的解析器：Antlr 和 Calcite。Antlr 是一個詞法和語法解析器，能夠方便地幫我們解析各種各樣語言，變成抽象語法樹。Calcite 對 SQL 領(lǐng)域適配較好，SQL 方面定義了 RelNode，和對 SQL 相關(guān)的優(yōu)化規(guī)則。

解析是血緣領(lǐng)域非常核心的組件，需要關(guān)注支持多種方言，因為生產(chǎn)任務(wù)是多樣化的，有實時、離線、OLAP、非結(jié)構(gòu)化數(shù)據(jù)以及更復雜的任務(wù)腳本。

這里我們提出的比較理想解析方案是：基于 Antlr+Calcite 的統(tǒng)一解析器，既能覆蓋多方言，又能處理復雜腳本，充分利用兩個解析器的優(yōu)勢。我們只要定義詞法文件和語法文件，通過 Antlr 生成語法樹，然后把語法樹通過 SQLNode 轉(zhuǎn)換器轉(zhuǎn)換為 Calcite 的 SQLNode，在 SQLNode 和 RelNode 中提取出血緣信息。

4. 血緣接入服務(wù) -生產(chǎn)血緣

上圖中是數(shù)據(jù)生產(chǎn)血緣示例，一張商品表寫到下游的一張表。解析器將任務(wù)邏輯解析，獲取到表與表的依賴關(guān)系，比如商品的 detail 表依賴商品表，商品 detail 表里商品的 number 依賴下面表的商品 number。我們會存儲幾個關(guān)鍵的信息，字段與字段的裁剪掉代碼片段，還會將計算算子存儲下來，比如先做 aggregate -> select -> where,存到字段的血緣里面，這就是算子級別血緣。

對于 no schema 的任務(wù)，需要去查詢 catalog 構(gòu)建血緣信息，catalog 中已提前管理 MQ/Redis 的 meta 信息。對于算子血緣，希望能夠盡量全的存儲計算信息，會在一些場景使用。

5. 血緣接入服務(wù) -跨 Region 血緣

在集團內(nèi)部有很多 region，region 之間的數(shù)據(jù)可能會涉及到一些關(guān)聯(lián)計算，因此需要跨 region 血緣去處理。例如 A、B、C 三個區(qū)域的血緣，我們會先在本區(qū)域獲取 local 血緣，然后發(fā)到總線上去構(gòu)建跨 region 血緣。如果某個區(qū)域是一個 global 表，我們會借助某個區(qū)域訪問 catalog，將 global 表展開到具體 region。

6. 血緣接入服務(wù) -應(yīng)用血緣

應(yīng)用端血緣在業(yè)界并不常見，是抖音集團血緣的一大特色。我們有非常多的應(yīng)用端服務(wù)和產(chǎn)品，因此希望能夠覆蓋端到端的血緣關(guān)系，實現(xiàn)真正的全鏈路血緣。所以，我們構(gòu)建了應(yīng)用端的血緣。

應(yīng)用產(chǎn)品大體可以分成兩類，第一類就是搭建類，可以通過低代碼平臺去搭建應(yīng)用產(chǎn)品，第二類就是定制開發(fā)的一些應(yīng)用產(chǎn)品。這兩類都會通過 HTTP 或者 RPC，去調(diào)用后端服務(wù)。后端服務(wù)會調(diào)用大數(shù)據(jù) oservice（統(tǒng)一數(shù)據(jù)服務(wù)），one service 服務(wù)會調(diào)用到物理表。另外一種可能是服務(wù)會直接調(diào)用物理表。

應(yīng)用產(chǎn)品頁面跟后端服務(wù)的血緣關(guān)系打通幾個方案：對于搭建類的產(chǎn)品，借助于低代碼的 meta 信息去構(gòu)建血緣；通過 spider 爬取頁面信息，通過頁面信息提取出頁面和接口的信息；通過 trace 日志，基于一套日志規(guī)范，讓業(yè)務(wù)去按照規(guī)范打日志，血緣系統(tǒng)中提取日志獲取血緣數(shù)據(jù)。

服務(wù)和服務(wù)之間的血緣，主要依賴 trace 日志去構(gòu)建血緣關(guān)系。服務(wù)和 one service，基于 one service 元信息構(gòu)建血緣關(guān)系。

應(yīng)用血緣采集過程中面臨的關(guān)鍵問題：埋點日志量可能會非常大，我們采取日志聚合或采樣來縮小量級；埋點日志不準確，業(yè)務(wù)方把關(guān)系打在日志中，我們稱之為染色。

三、抖音集團血緣應(yīng)用場景

以上介紹了數(shù)據(jù)血緣系統(tǒng)的建設(shè)思路，接下來介紹血緣在內(nèi)部具體的應(yīng)用場景。

1. 血緣應(yīng)用整體介紹

我們希望能夠發(fā)揮數(shù)據(jù)血緣在數(shù)據(jù)全鏈路的價值，助力公司降本提效。這里列舉了四大應(yīng)用場景，分別為數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)和數(shù)據(jù)安全，其中一些已經(jīng)覆蓋，還有一些正在建設(shè)中。接下來將詳細介紹各個場景的應(yīng)用。

2. 數(shù)據(jù)開發(fā)場景的應(yīng)用

數(shù)據(jù)開發(fā)場景中的應(yīng)用主要包括：

• 數(shù)據(jù)變更影響面評估：提供全鏈路任務(wù)、表、列的血緣關(guān)系查詢、篩選和展示，支持切換 select 血緣及 non-select 血緣，幫助用戶看清數(shù)據(jù)之間的關(guān)系。
• 快速查看字段或者指標加工口徑：通過血緣能力計算數(shù)據(jù)開發(fā)鏈路，并根據(jù)指定字段進行代碼裁剪， 只展示該字段相關(guān)邏輯，大幅減少無關(guān)代碼，提高閱讀效率。
• 實時開發(fā)任務(wù)提效：基于指定任務(wù)，使用血緣能力為下游任務(wù)鏈路創(chuàng)建影子鏈路，提供測試鏈路數(shù)據(jù)預覽功能及線上數(shù)據(jù)比對功能，預覽最終產(chǎn)品的變動。
• 精準選擇待回溯鏈路：基于列級別的回溯范圍計算，同時支持用戶指定首尾節(jié)點、根據(jù)特征進行二次篩選等，提升回溯的整體效率和準確性。
• 上游數(shù)據(jù)變化及時感知：監(jiān)聽元數(shù)據(jù)埋點變更，根據(jù)血緣關(guān)系判斷影響范圍，并實時發(fā)送通知，幫助開發(fā)人員及時感知上游變更。
• 數(shù)據(jù)模型重構(gòu)高校切換：基于用戶配置好待切換模型后，根據(jù)血緣計算出待切換任務(wù)列表，自動生成切換代碼，自動完成數(shù)據(jù)比對。

3. 數(shù)據(jù)治理場景的應(yīng)用

下面重點看數(shù)據(jù)治理鏈路應(yīng)用，數(shù)據(jù)治理的核心目標是質(zhì)量、成本、安全。

• 低價值/風險資產(chǎn)識別：通過血緣發(fā)現(xiàn)耗費大量資源、下游使用很少的，低 ROI 的資產(chǎn)，以及一些高風險資產(chǎn)。
• 成本計算：基于鏈路級別血緣計算全鏈路成本。
• 及時性保障：構(gòu)建鏈路級別的時效性保障能力。
• 準確性保障：檢測高風險、高優(yōu)先級價值的資產(chǎn)質(zhì)量是否符合預期，是否存在風險。
• 安全保障：高效發(fā)現(xiàn)高密數(shù)據(jù)，檢測安全風險。

對于及時性保障場景。通常大家做及時性保障，可能會做單點保障，比如監(jiān)控某個任務(wù)的完成時間。我們可以充分利用血緣傳播能力，當我們發(fā)現(xiàn) 6 這個任務(wù)是一個非常核心任務(wù)時，我們可以優(yōu)先級傳播到整個鏈路，進而可以提升鏈路優(yōu)先級。當要求任務(wù) 6 需要 6 點完成，在任務(wù) 1 執(zhí)行時可以預判，任務(wù) 6 在 6 點完成是否有風險，進而實現(xiàn)鏈路預測告警。另外，還可以做跨部門 SLA 簽署，比如要保某個任務(wù)，需要上游一起保障，就可以通過血緣發(fā)現(xiàn)相關(guān)資產(chǎn)，然后聯(lián)合相關(guān)部門簽署 SA，從而保障整個資產(chǎn)及時性。

對于成本計算場景。在大數(shù)據(jù)鏈路里面，我們希望看到每個節(jié)點實際的資源成本消耗。例如任務(wù) 6 本身消耗資源并不大，但是為了計算 6，需要 12345 這五個任務(wù)來輔助計算，那這 5 個任務(wù)的成本也要算在 6 的成本上，這時就可以基于血緣關(guān)系將成本分攤下去。計算成本是為了能夠看清楚資產(chǎn)的計算成本，同時也可以用于評估資產(chǎn)的 ROI，結(jié)合治理規(guī)則，找到低 ROI 的資產(chǎn)做治理。

四、未來展望

最后簡單介紹一下對未來的設(shè)想。

1. 數(shù)據(jù)血緣未來規(guī)劃

對于血緣的未來規(guī)劃：全覆蓋 和 血緣價值。

首先，會將血緣能力做得更加標準化，簡化血緣的理解和接入；其次，基于標準化，做更高維度的能力開放，讓人人都可以貢獻血緣；最后，進一步構(gòu)建更細顆粒的精細化的血緣，比如行級血緣。

近一步挖掘數(shù)據(jù)血緣在質(zhì)量、效率、安全方面的價值。

2. 數(shù)據(jù)資產(chǎn)平臺未來展望

火山引擎數(shù)智平臺 VeDI 旗下 DataLeap 一直致力于打造一套領(lǐng)先的數(shù)據(jù)資產(chǎn)全鏈路能力，解決數(shù)據(jù)資產(chǎn)“管、找、用”的問題，未來期望在集團內(nèi)部產(chǎn)生更大價值。

我們會構(gòu)建更完善的元數(shù)據(jù)，行業(yè)里面有主動元數(shù)據(jù)、大模型等新的理念，結(jié)合算法能力挖掘更多元數(shù)據(jù)，形成統(tǒng)一的元數(shù)據(jù)知識圖譜。持續(xù)借助平臺能力把數(shù)據(jù)用好，例如數(shù)據(jù)資產(chǎn)門戶。我們還會基于元數(shù)據(jù)構(gòu)建豐富的應(yīng)用，幫助用戶用好這些元數(shù)據(jù)。

同時也通過火山引擎在 ToB 市場持續(xù)輸出到行業(yè)，能夠幫助到有需要的公司，為行業(yè)大數(shù)據(jù)賦能。