從數據倉庫到數據中臺再到數據飛輪:金融行業的數據技術進化史
前言
大家好,我是一名大數據開發工程師,在金融行業深耕多年,其實數據技術的演進不僅是技術層面的革新,更是業務模式與決策方式的深刻變革。從最開始的數據倉庫興起,到數據中臺的普及,再到數據飛輪的出現,每一步都見證了金融行業對數據價值認知的深化和利用能力的提升。下面我將以我所了解到的知識來講一講金融行業的數據技術進化史。
數據倉庫:奠定數據基礎
數據倉庫這個概念,其實是由數據倉庫之父Bill Inmon在1991年出版的“Building the Data Warehouse"定義且被廣泛接受的——面向主題的、集成的、相對穩定的、反映歷史變化的數據集合,用于支持管理決策。從定義上來看,數據倉庫的關鍵詞為面向主題、集成、穩定、反映歷史變化、支持管理決策,而這些關鍵詞的實現就體現在分層架構內。
分層架構怎么分層呢?市面上主流的分層方式太多了,其實從核心思想上分可以分為ODM貼源層、SDMQ標準層、FDM主題層、ADM應用層,如下圖所示:
從數據倉庫到數據中臺再到數據飛輪:金融行業的數據技術進化史_數據
在數據倉庫階段,金融行業主要依賴于IBM、Oracle、Teradata等廠商提供的整體解決方案。然而,隨著數據量的進一步爆炸和業務需求的多樣化,數據倉庫逐漸顯露出其局限性。它雖然能夠存儲和管理大量數據,但在數據處理的實時性、靈活性和效率方面難以滿足日益增長的需求。
數據中臺:數據價值的深度挖掘
正是在這樣的背景下,數據中臺應運而生。前面提到數據倉庫的核心是分層架構,那么數據中臺的核心就是四化,即業務數據化、數據資產化、資產服務化和服務業務化。因為數據量的進一步爆炸和業務需求的多樣化,所以出現了數據中臺,數據中臺是如何解決這一現象呢?
下面這張圖是數據中臺的邏輯架構圖,可以看到數據中臺其實是將數據服務化之后提供給業務系統,目標是將數據能力滲透到各個業務環節,不限于決策分析類場景。這種架構可以加快數據賦能業務的速度,為業務提供速度更快、更多樣的數據服務。
從數據倉庫到數據中臺再到數據飛輪:金融行業的數據技術進化史_數據倉庫_02
金融行業其實已經步入了智能化的金融科技3.0時代,我認為智慧中臺是智慧金融的新基礎設施,金融行業想要實現四化的核心可以先理清金融機構自身的數據資產,梳理好機構內的數據資產后需要對數據的標準、口徑等進行統一,最后再向相關部門提供數據服務。
數據飛輪:構建數據消費的正循環
什么是數據飛輪呢?數據飛輪是今年大模型帶火的一個詞匯,核心其實就是通過客戶在應用程序中輸入的提示詞這樣的數據反饋,使大模型快速迭代。通俗一點就是,好的產品
從數據倉庫到數據中臺再到數據飛輪:金融行業的數據技術進化史_數據倉庫_03
雖然現在數據飛輪很火,但是想要在金融行業落地還是有很多挑戰的,比如金融行業科技技術人才占比較少,難以支撐數據飛輪落地以及后續的迭代、更新;難以將數據形成資產納入報表或財務體系,因為無法預估數據的價值形成整套的定價,也缺乏相應的質量管控體系等。
總結
從數據倉庫到數據中臺再到數據飛輪,金融行業的數據技術演進歷程不僅見證了數據價值的不斷挖掘和利用,也推動了業務模式的深刻變革和創新發展。在未來的發展中,我相信數據飛輪肯定能完美的在金融行業實現落地,助力企業業務持續增長和自我增強的循環。