1 導讀

本次分享偏向于面向數倉建設、業務交付等過程中遇到的效率、質量、成本、研發等相關問題的系統性評估和治理，著重于設計思路和實踐成果的展示，不涉及太多的技術細節。讀者朋友可以根據自身業務場景和實際面臨的問題，選擇性參考并應用到實際工作中。

2 背景介紹

2.1 為什么搭建數倉評估體系

數倉評估體系起源于23年底，作為轉轉數據治理的評價層，是非常重要的一環。過去很長一段時間里，轉轉數倉團隊服務于快速發展和變化的業務，為了能夠高效響應業務的數據需求，一方面存在煙囪式建設的情況，指標管理也較為粗放；另一方面對于線上的表和任務往往是只做加法不做減法，帶來額外的計算和存儲成本。??基于上述現狀，衍生出如下問題：

管理者視角：

• 看不清數倉整體建設情況
• 看不清成本增長和分布
• 內外部用數效率和數據質量提升難
• 看不清研發規范落地效果

數倉RD視角：

• 名下哪些資產有問題，有什么問題
• 模型完備度如何，哪些業務過程建設較薄弱
• 模型復用率如何，哪些模型沒人用
• 哪些規范沒有執行好

外部用戶視角：

• 找數、用數難，用戶效率低
• 準確性、及時性、一致性等問題頻出
• 報表、郵件、播報權限難管控

為了能夠系統性解決上述問題，我們在24年將數據治理規劃成年度重點項目。我們通過制定標準、夯實基建、搭建指標庫和數倉地圖等手段來進行事前預防和事中監控以及輔助提效，數倉評估體系作為事后的評價和復盤工具，則是貫穿整體治理過程。

圖片

以上是數據治理的整體規劃及數倉評估體系所處的位置，我們對數倉評估體系的定位是：基于客觀事實進行數倉現狀及問題的量化分析及橫縱向對比，實現基于結果指標和治理項驅動的數據治理及效果回收。

2.2 需要解決的技術問題

?數倉評估指標的設計與落地?“客觀事實”數據的獲取與處理?存量的問題怎么治理?增量的問題怎么管控?如何不斷完善和健壯評估體系

3 設計思路

整個評估體系分為結果評估和過程評估兩大模塊。我們通過結果評估中關于效率、質量、成本、模型相關的結果指標，觀測數倉治理目標達成情況；通過過程評估的治理項驅動數倉RD進行具體問題的治理。

3.1 整體架構設計

整個數倉評估體系大致上可以分為三層：

圖片

• 指標層： 以數據處理層產出的數據模型為基礎、結果指標和過程指標體系為目標進行指標加工，產出相應的指標結果表，支持趨勢分析和橫向的對比分析
• 數據處理層： 對數據源層獲取到的數據為基礎，進行數據清洗和建模
• 數據源層： 整合數據源，包括Hive元數據、平臺查詢日志、告警日志、賬單數據、治理項規則、組織架構等

3.2 產品形態設計

整個評估體系規劃為結果評估、過程評估兩大模塊，分別對應結果指標和治理項兩套指標體系。結果評估用于觀測當前現狀及趨勢，看的是整體表現；過程評估驅動日常的數據治理，直擊各RD的問題資產及具體的問題明細。

圖片

結果評估

用于呈現當前在效率、質量、成本、模型相關的指標現狀，并進行橫縱向的量化分析，支持組織、組件、人等粒度的下鉆分析。數據主要來自于分析師和產品運營等數據使用方的數據查詢日志進行統計分析、對數據質量監控服務日志的統計分析、以及人工打標線上問題或事故的統計分析。

圖片

過程評估

通過對日常問題、規范的抽象總結，形成各類治理項。目前包含效率、質量、研發、成本四大類治理項，匯集成治理工作臺。通過治理項驅動數倉RD進行數據治理。

圖片

3.2 指標體系搭建

數倉評估體系的指標體系大致上可以兩層。第一層是過程評估關注的每個具體問題對應的治理項；第二層是結果評估關注的結果指標。??

治理項，來自于對日常規范的抽象，是每一個具體的問題的檢查項，是數據治理的最細粒度。我們一期圍繞效率、質量、研發、成本四方面一共設置了24個治理項。

圖片

結果指標，是各類問題的聚合結果，是某一類問題或者單個核心問題的當前現狀表現。我們對管理者視角、RD視角、用戶視角所存在的問題進行了抽象和歸類成具體的治理項，設置如下指標體系：

• 效率上： 我們會關注效率分，這是一個基于平均運行時長、ODS穿透率、復雜SQL占比加權統計出來的復合指標，用來觀測評估業務側通過即席查詢使用數據時的效率情況。
• 質量上： 我們關注線上問題次數
• 成本上： 我們關注成本整體的增長率、分組件的成本分布和增長情況，并且關注具體到業務和個人的成本分布。
• 模型上： 我們關注整體的完備度、復用率、穩定性、規范性等。

4 結果呈現

4.1 結果評估模塊展示

效率評估

實現效率分的橫向和縱向對比，支持分業務下鉆至具體的個人以及具體的某次查詢。通過內部模型完備、宣導加提效工具的賦能，輔助業務側的運營、產品、分析師等同事，提升日常查詢數據的效率。

圖片

質量評估

實現線上質量問題的趨勢分析。這塊目前以手動填報為主，后續會引入質量監控、任務告警等數據，作為質量問題的評估依據。當前還是側重于業務感知問題記錄和復盤。

圖片

成本評估

成本這塊，我們重點關注月度增長趨勢是否在可控的范圍內，后續會通過任務及存儲的系統性治理，驅動成本的下降，今年的重心還是在內部模型相關治理上。

圖片

成本拆解至組件、組織和個人：

圖片

模型評估

??這塊是今年投入時間最多的部分。我們通過完備度、復用率、穩定性、規范性指標，觀測治理的成果。通過目標驅動RD使用治理工作臺進行各類問題下具體治理項的治理。

圖片

4.2 過程評估模塊展示

本模塊呈現各RD當前存在問題的資產明細，通過點擊資產名稱，可跳轉查看具體問題項。也可通過控件篩選查詢當前關注的治理項。

圖片

資產問題治理項明細：

圖片

通過治理報告可觀測當前目標的達成情況，及本周或本月的治理進展。并且通過新增資產監控實現增量問題的管控。

圖片

4.3 階段性治理收益

過去一年，我們通過數倉評估體系驅動的數據治理，重點還是在于數倉內部的治理。偏向于完備度、復用率、穩定性和規范性。磨刀不誤砍柴工，勤修煉內功，為后續的效率和質量治理奠定基礎。

治理收益如下：

圖片

• 驅動完備度從年初的50.2%提升至93.97%，凈提升43.77%
• 驅動復用率從年初的51.65%提升至88.61%，凈提升36.96%
• 驅動穩定性從年初的76.27%提升至94.45%，凈提升18.18%
• 驅動規范性從年初的76.56%提升至94.61%，凈提升18.05%

給數倉帶來的核心變化是：

完備度治理驅動24年新上線模型達到上一年2.6倍，增長161%，對應的符合復用標準的模型數不降反升，說明模型更貼合當前的業務場景及業務過程且復用程度更高，另外治理過程整合下線無用模型，一定程度上減少了存儲空間占用。??最終完備度達到95%，則說明內部承接的需求，95%都可以通過模型層滿足，過往只能滿足50%左右。??在規范性上，之前一直存在的跨層穿透問題、回流引用問題、引用外部門表問題、注釋缺失問題、缺依賴問題等存量問題基本治理完畢并得到了控制，后續持續觀測即可。

5 未來規劃

• 通過定期復盤，持續迭代和完善治理項，使評估更準確、更全面
• 慢慢由內部的治理，轉向外部效率&質量治理提升
• 挖掘成本存在浪費的業務或個人，通過治理驅動降本增效
• 逐步推廣至倉外評估和治理

關于作者

邱狄凡，轉轉大數據開發工程師，C2&新媒體數倉負責人，數據治理數倉主R。