數據分層：打造數據資產管家
一、引言
隨著企業數據規模的增長，數據的價值變得越來越重要。然而，傳統的數據庫在承載大量數據時面臨挑戰，需要高效有序的維護。因此，建立高效的數據倉庫成為了企業決策和管理的基石，但現代技術的背景下，數據管理和保護仍然存在著重要挑戰。
為了解決這些挑戰，數據分層成為了數倉建設中不可或缺的步驟之一。通過對數據的分層整理，不同的數據可以被合理地分類，方便企業快速進行數據分析和決策。
在實際應用中，數據分層需要進行靈活而有效的規劃和設計，并結合相關的技術和工具進行管理和監控。只有這樣，企業才能提高決策和管理的效率，增強市場競爭力。
二、了解數據分層
什么是數據分層
數據分層是一種管理海量數據的方法。因為數據通常會包括許多不同的來源，而這些來源往往也會以不同的方式存儲和處理數據。這就是為什么需要使用數據分層。通過將數據分級存儲、加工和管理，可以更好地維護數據一致性、數據安全和數據復用。
數據分層前后對比
為什么需要使用數據分層
如果把數據看作圖書館里的書，我們希望看到它們在書架上分門別類地放置；如果把數據看作城市的建筑，我們希望城市規劃布局合理；如果把數據看作電腦文件和文件夾，我們希望按照自己的習慣有很好的文件夾組織方式，而不是糟糕混亂的桌面，經常為找一個文件而不知所措。
簡單來說，數據分層是將現實世界中收集到的有效信息，按照其特點和用途進行分類和組織，從而更加合理地表現數據的價值。數據分層解決了數據管理中的各種挑戰和問題，并滿足了以下幾個方面的需求：
1.數據量和質量——提高數據管理效率和準確性
- 隨著企業數據不斷增長，數據量龐大且多樣化，數據質量也面臨挑戰。
- 數據分層可以對不同的數據類別進行基本的數據清洗和整理，從而提高數據的質量和可信度。
- 常見的數據類別包括：
數值型數據（如銷售額、成本等）
文本型數據（如文件、文檔等）
圖像型數據
視頻型數據
音頻型數據
2.數據來源和結構——促進數據集成和共享
- 不同數據源和系統中的數據結構和格式差異巨大，使得數據之間無法直接進行比較和集成。
- 數據分層通過對不同的數據類別進行轉換、整合和標準化，以實現數據的一致性和互操作性。
- 常見的數據類別包括：
結構化數據（如關系型數據庫中的表格數據）
半結構化數據（如JSON、XML等非嚴格格式化數據）
非結構化數據（如文本、日志等無固定格式的數據）
3.數據定位和權限控制——加強數據安全和合規性
- 隨著多個部門和用戶共享數據的需求增加，需要確保數據的定位清晰且能夠進行精確的權限控制。
- 數據分層可以明確每個數據類別的歸屬和訪問權限，保障數據的安全性和隱私保護。
- 常見的數據類別包括：
個人身份數據（如個人身份證號碼、手機號碼等）
機密數據（如公司財務數據、合同等）
敏感數據（如用戶的健康狀況、信用卡信息等）
4.數據處理流程和效率——增強數據價值和應用
- 數據處理過程中不合理的流程和冗余操作可能導致數據的重復和浪費。
- 數據分層可以建立規范和優化的數據處理流程，以提高數據處理的效率和準確性。
- 常見的數據類別包括：
處理過程中生成的臨時數據
派生數據（如計算指標和數據挖掘結果）
集成數據（如數據倉庫中的整合數據）
5.數據歸檔和壓縮——降低數據管理和使用成本
- 通過對數據進行歸檔和壓縮，可以減少存儲空間的占用。
- 根據數據的使用頻率和價值，將不常訪問的數據歸檔到較廉價但仍可靠的存儲介質中，從而釋放出更多高速和高成本存儲設備的存儲空間。
- 常見的數據類別包括：
歷史數據（如過去幾年的銷售訂單數據）
備份數據（如系統的數據庫備份）
歸檔數據（如長期存儲的審計日志）
三、數據分層的邏輯
數據有哪些分層
了解了數據分層的一些優勢，大家可能就有疑問了。我們如何進行數據分層呢？大概需要分幾層呢？
其實這個問題需要根據實際的業務狀況以及需要處理的數據體量來進行劃分，介紹分層之前，咱們先來了解下會有哪些分層，每層的作用和目的是啥。
圖片
如何進行數據分層
下面以一個互聯網在線學習平臺為例：
如果想要從學生、教師和課程等不同維度進行深入的數據分析和挖掘，則單一的數據源無法滿足這一需求，必須進行數據分層，將數據按照不同的層次進行清洗和整合，并與不同維度的數據進行連接和關聯。如果不進行數據分層的處理，數據的管理和維護將變得非常困難，同時也會導致數據的準確性和可靠性受到影響。
此外，如果各個業務之間的數據交互和處理沒有進行優化和規劃，數據處理在不同業務之間的流轉和傳遞就會變得十分復雜，這對平臺的運營效率和效果產生不良影響。同時無法為用戶提供更好的個性化服務，因為個性化服務需要對用戶的屬性、偏好和需求進行深入的了解和分析。
因此，數據分層處理對于在線學習平臺的優化是十分必要的：
圖片
從這個案例可以分析出，通過數據分層設計帶來如下價值：
- 更準確的數據收集和管理：通過ODS層的操作數據層，平臺可以對學生和教師的注冊信息、學習行為數據進行更準確地收集和管理，保證數據的真實可靠性。
- 更深入的數據分析：借助DWD層的數據倉庫明細層，平臺可以深入分析學生的學習行為，如觀看視頻的時長、做題的次數等。同時，通過課程維度表的建立，也可對課程信息進行更詳盡的分析。
- 更全面的數據匯總：在DWS層的數據倉庫匯總層中，平臺可以對學生的學習行為和成績情況進行詳細匯總、分析和展示，同時可以綜合考慮課程信息，制作出更詳盡的報告。這樣做可以方便平臺進行更全面的數據分析和統計，也可為教師和學生提供更有效的反饋和建議。
- 更靈活的數據維護：在DIM層的維度數據層中，平臺可以對學生、教師和課程等屬性信息進行維護和管理，方便后續數據分析和應用。同時，這些維度表也可以根據實際需求不斷調整和擴展，增強平臺的數據分析和應用能力。
- 更精準的數據應用：在ADS層的應用數據層中，平臺可以根據學生和教師的數據情況，進行更精準的教學評估、學習進度分析和課程推薦等功能。這樣，平臺可以為教師和學生提供更精準、個性化的服務，提高用戶體驗和平臺價值。
數據分層的優勢
由上述案例可見，數據倉庫的分層設計具有諸多價值，能夠提升數據管理效率、簡化復雜問題處理、提高數據復用能力，并為平臺提供規范化的數據管理和分析支持:
- 提供方便使用的數據結構：通過規范化的數據分層設計，使得學生、教師和課程等不同維度的數據能夠被清晰地定位和理解，方便使用方進行數據分析和挖掘。
- 追溯數據源頭：分層后的數據血緣關系清晰明確，能夠快速準確地追蹤數據的來源，幫助用戶了解數據的可靠性和可信度。
- 提高數據的維護效率：通過數據分層的規范化設計，可以減少數據開發的工作量，節約計算和存儲資源的使用，同時方便維護人員進行數據管理和維護操作。
- 簡化復雜問題的處理：將復雜的業務問題劃分為多個步驟，并在每一層只處理單一的步驟，有助于提高問題的可控性和可理解性。當數據出現問題時，只需要修復有問題的部分，而不需要對所有數據進行修復。
- 提升數據的復用能力：通過規范化的數據分層設計，可以開發一些通用的中間層數據，減少重復計算，提高業務表的使用率，從而提升系統的執行效率。
- 減少業務變化的影響：由于業務可能會經常變化，通過數據分層設計，無需每次業務變化都重新接入數據，降低了對業務的影響和改動的成本。
- 統一數據指標口徑：通過數據分層設計，提供統一的數據出口和對外輸出的數據指標口徑，保證數據的一致性和統一性，為平臺提供規范化的數據管理和分析支持。
四、得物數據分層的案例介紹
背景
為了幫助公司了解員工對公司目標、文化、薪酬福利、職業發展、工作環境等方面的滿意度和需求，有助于識別問題、改善環境、增加團隊凝聚力，從而提高員工的工作效率和工作滿意度。得物每年會進行兩次全司的員工滿意度調研，從中挖掘出有價值的指標，以便更好地了解員工需求并制定相應的改進計劃。
數據分析痛點
員工滿意度數據分析中，存在以下痛點需注意：
- 業務邏輯復雜：為維護員工隱私，指標的計算需要滿足填答人數必須大于3才能出統計數據。這一規則的設計，增加了數據處理的難度，提高數據出錯的風險。
- 復雜的統計維度和指標：統計維度多樣化，包括性別、年齡、司齡、崗位、職級等等，這也給數據的處理和分析增加了難度。
- 業務變更頻繁：員工滿意度調查問卷在不同周期會增加、刪除、變更題目。這也增加了數據處理和維護的難度和工作量。
設計數據分層
為了解決上述痛點和需求，我們決定設計數據分層。通過將數據劃分為不同層次，將數據處理、分析和服務化的流程分解成多個獨立部分，從而最大限度地提高數據分析處理的效率和安全性。
數據分層不僅實現了數據的可視化維護和服務化，還為數據加工、應用和管理提供了更加清晰和規范化的指導方針，從而助力業務的發展和優化。
操作數據存儲層ODS
ODS層的設計目標是捕獲和保存原始數據，以便后續的數據清洗、整合和轉換。在這一層，數據通常以源系統的格式保存，保留了數據的完整性和粒度，并提供了適當的數據結構和字段以支持后續的轉換處理。
圖片
明細數據層DWD
DWD層的設計目標是提供清洗、結構化和可查詢的明細數據，以滿足企業不同業務需求和分析要求。在DWD層，數據已經經過了一系列的清洗和轉換過程，包括校驗、敏感數據加密、去重、標準化、格式化和結構調整等，以確保數據的準確性、完整性和一致性。
圖片
匯總數據層DWS
DWD層的數據分散且過于細節化，難以支持更高層次的分析和決策。此時就需要使用DWS層對DWD層的數據進行匯總和聚合，以得到更高層次的數據信息。從而提供大量的元數據、預先計算的指標和快速數據查詢等功能。
DWS層的數據通常具有更高的抽象層次，可以根據不同的業務需要進行不同的聚合方式，比如按照性別、年齡、司齡等粒度提供滿意度指標1，滿意度指標2等匯總指標。
圖片
維度層DIM
DIM層可以看作是用來對數據進行分類、分組和篩選的“標簽”。它通常是一些描述性的屬性或特征，對數據進行了翻譯和轉換。
例如，對于系統滿意度事實表，可以將維度層分為系統安全、系統性能、系統體驗、系統穩定性等屬性信息，這些屬性可以對滿意度調研數據進行分類、分組和篩選，幫助系統負責人更好地優化產品和服務。
圖片
數據應用層ADS
ADS是數據倉庫中最接近用戶和應用系統的一層，也是企業數據分析和應用的重要來源和基礎。它的主要作用是將數據倉庫中的數據用于企業的業務運營、決策分析、客戶服務等方面，為用戶和應用系統提供便利的數據訪問和操作接口。
在設計和實施數據應用層ADS時，需要考慮以下因素：
- 數據質量：數據應用層的數據質量直接影響企業的業務應用效果和決策分析結果。因此，在實施數據應用層時需要嚴格控制數據質量，保證數據的準確性、完整性和一致性。
- 安全性：數據在應用層的使用涉及到企業的核心業務和敏感數據，因此，在設計和實施數據應用層時需要考慮數據安全的問題，采取一定的安全措施和技術手段，例如數據加密、權限控制等，確保數據安全和保密。
- 可維護性：數據應用層是企業應用的基礎，其穩定性和可維護性對企業長期發展至關重要。因此，在實施和應用數據應用層時需要考慮系統的可靠性、可擴展性和可維護性，例如數據備份、故障恢復、日志記錄等。
圖片
總結
在這個案例中，我們遇到了許多困難，如數據權限限制、業務邏輯復雜、統計維度多樣、業務變更頻繁等，這些困難給數據的處理和分析帶來了很大的難度和不便。
由于數據的分析是一個復雜的過程，可以采用數據分層的方法來解決這些問題。數據分層將數據處理、分析和服務化的流程分解成多個獨立部分，從而最大限度地提高數據分析處理的效率和安全性。通過將數據劃分為不同層次，數據分層實現了數據的可視化維護和服務化，為數據加工、應用和管理提供了更加清晰和規范化的指導方針，從而助力業務的發展和優化。
五、寫在末尾
數據分層帶來的一些問題
雖然數據分層設計帶來了許多優點和價值，但也存在一些缺點。其中，主要包括以下幾點：
- 復雜性增加：數據分層設計的實現需要付出一定的設計與維護成本，需要建立與維護多個層級，有時出現數據結構紊亂、重復等問題可能會使得整個數據分層變得更加復雜。
- 數據冗余：因為數據分層設計需要建立多個層級，可能會引入一定的數據冗余問題，導致數據冗余或重復使用。
- 需要專業的技術人員：由于數據分層設計需要大量的技術編程和數據建模知識，需要專業的技術人員進行開發和維護。這會給公司帶來額外的專業技術成本和困難。
- 數據倉庫容量問題：隨著數據分層設計的層數增加，數據倉庫的大小和存儲容量也會相應增加，可能會帶來一定的存儲管理問題。
因此，在實際數據倉庫建設中，合理利用數據分層來組織、管理和分析數據是非常重要的。數據分層需要根據實際情況和企業需求來調整。
思考
數據分層在數倉建設中扮演了一個不可或缺的角色。通過按照一定的規則和標準，重新組織和歸納數據，數據分層可以提高數據利用率，加強數據管理，進一步幫助企業開展科學化、精細化的運營管理和決策分析。
隨著數據分析技術的進一步發展，數據分層也必將不斷優化和完善。從數據分析工具的不斷升級，到人工智能和機器學習技術的應用，數據分層必將成為企業數據管理和決策分析的頭號利器。因此，作為企業管理者和數據分析師，必須時刻關注數據分層技術的發展趨勢和變化，及時調整和優化自己的數據分層管理方案，保證企業數據管理和決策分析的高效性和準確性。
