商業銀行數據建模流程模式對比
商業銀行數據模型是指使用結構化的語言將收集到的企業業務經營、管理和決策中使用的數據需求進行綜合分析,按照模型設計規范將需求重新組織形成的結構化模型 。
數據模型是銀行數據架構管理的基礎領域。如:基礎數據標準體系建設需要依賴 數據模型,數據分布需要依賴企業級邏輯模型,以明確主要實體的主輔應用;數據 生命周期管理需要依據數據所屬主題和功能判斷數據的在線、離線和歸檔周期。完整、高質、穩定的數據模型有利于統一業務概念,促進信息整合和知識積 累,維持數據庫穩定,提高應用開發質量,同時也可以作為技術與業務之間溝通的 工具。
數據模型包括了三個部分: 數據結構、數據操作、數據約束。數據結構:數據模型中的數據結構主要用來描述數據的類型、內容、性質以及數 據間的聯系等。數據結構是數據模型的基礎,數據操作和數據約束都基本上是建立 在數據結構之上的。不同的數據結構具有不同的操作和約束。數據操作:數據模型中的數據操作主要用來描述在相應數據結構上的操作類型和 操作方式。數據約束:數據模型中的數據約束主要用來描述數據結構內數據間的語法、詞義 聯系、它們之間的制約和依存關系,以及數據動態變化的規則,以保證數據的正 確、有效和相容。
數據模型具有四大價值
在數據生產和管理過程中,數據模型發揮著關鍵作用,高質量的數據模型具有 以下價值:構建業務與技術溝通的橋梁。良好的數據模型有利于統一銀行內部人員對業務 定義與術語的認知,提升銀行內跨業務、跨團隊的溝通效率。保障業務與數據架構的一致性。數據模型的研發需要依托于業務架構,良好的 數據模型有利于從組織層面上,保障業務架構與數據架構的一致性,指導銀行內系 統建設與業務創新。優化數據成本。按照數據模型要求進行數據的研發應用,可以有效減少數據存 儲的冗余,增強數據的復用性,避免了孤島式、煙囪式建設。優化數據的存儲、建 設和應用成本。提升業務決策能力。數據模型的建立有助于明確數據流向,保障數據的真實 性,為行內業務決策者和數據使用者提供可靠的數據分析與應用,助力發揮數據價 值。
通過對我國大型商業銀行內模型領域專家開展廣泛調研與討論,我們發現,當 前普遍存在兩類數據模型建模方式,一是從企業架構視角進行建模,二是從數據應 用場景視角進行建模。
下面將分別介紹這兩種模式的建設流程及特點,并對二者進行對比。
(一)貫徹企業戰略—基于企業架構視角建模
基于企業級架構視角的模型是以企業戰略為核心,依托業務模型建立企業級數 據標準,貫穿戰略層面與系統應用層面?;谄髽I級架構視角的模型建設有助于打 破組織內IT系統的孤島式建設,核心任務是對銀行內戰略的分解、傳導,幫助企業將零散的能力“聚沙成塔”,確保戰略意圖和績效指標逐層落實到每一個流程步驟、 程序模塊、操作規范中。企業級架構中的業務模型從產品、流程及數據三個角度,對企業的業務運營進 行精細化、結構化的描述。
產品模型,主要包括產品分類結構、產品組件、產品條件和產品參數,以及可售產品實例化;通過對企業產品分類來優化和完善產品目錄,確定與產品相關的業務規則、約束、價格等關鍵要素,并采用產品條件及參數的形式表達;在操作流程中由產品確定的相關業務規則形成企業級的產品模型。
流程模型,是業務模型的主線,描述了客戶端到端的業務操作流程;通過提取 業務的變量(比如客戶C、產品P、渠道C和合作方P),形成匯總的企業級流程, 保證渠道、產品線之間業務流程的一致性以提供卓越的客戶體驗;流程模型能夠包 容客戶、產品、渠道及合作方的差異,支持線上線下全渠道整合,體現端到端的完 整業務處理流程,為客戶提供跨渠道的、一致的體驗和一站式的產品服務。
數據模型,是將流程模型以及產品模型中產生的所有數據需求進行邏輯化和抽 象化表示,反映企業的戰略目標在實施過程中所用到的所有數據實體及實體之間的 關系。集合每個操作流程需要進行讀寫處理的信息對象,流程規則需要讀取或記錄 的信息項及其關聯關系,構成了數據模型的基本輸入。
產品模型、流程模型和數據模型從不同的維度還原了業務本質。產品模型體現業務創新,流程模型體現運營模式,數據模型體現業務模式。通過三者模型的對 接,一方面交叉驗證提升業務模型質量,另一方面為后續IT設計提供輸入。
基于企業架構視角建模流程主要分為五步:
第一步,識別需求。通過研討會、訪談、業務手冊等方式,識別業務重點關注 的內容。
第二步,構造業務對象。提取相關名詞形成候選核心實體,并基于核心實體形 成業務對象。
第三步,界定數據范圍。提煉業務數據,界定系統的數據范圍。
第四步,劃分主題域。對業務數據進行分類,抽象業務對象,最終梳理出業務 實體,及實體間的業務關聯規則。
第五步,完善業務對象清單。結合流程模型驗證已識別業務對象的正確性和完 整性,識別完善與細化業務對象清單。
(二)穿透場景應用—基于應用場景視角建模
基于應用場景視角建模是從業務驅動的角度,從具體業務場景出發,覆蓋各方 業務需求。核心任務是對具體業務場景的業務邏輯進行抽象,將業務與技術融為合 力,為企業的戰略規劃、市場預測、產品研發等方面提供有力支持?;趹脠鼍耙暯墙A鞒讨饕譃樗牟剑?/span>
第一步,識別需求。明確需要建模的業務場景及模型應用訴求,例如風險評 估、客戶分析等場景。
第二步,系統調研。對現有源系統進行信息調研,獲取相關數據源、數據分布 等信息。
第三步,數據梳理?;跇I務需求梳理數據項,包括數據指標、業務實體等, 并逐步迭代定義實體關系,標識實體屬性。
第四步,建立映射。在實施過程中與底層庫表建立完善的映射關系,持續優化 建立描述各業務場景的數據模型。
兩種數據模型建設模式對比
基于企業架構視角的數據模型建設方式,通常適合于跨部門或系統的業務需求較多的組織。這種方式主要是由組織層面發起,通過對數據的宏觀把握和分析,梳理和整合不同部門和系統之間的業務邏輯和數據關系,通常實施開發周期較長,適合于組織重構數據模型或創新業務模式的時期。
基于應用場景視角的數據模型建設方式,則通常適合于精細化分析的業務需求較多的組織。這種方式主要是從某個特定的業務場景出發,通過對數據的深入挖掘和分析,梳理和分析具體場景中的數據關系和業務邏輯,實施開發周期與業務場景及需求有關,適合于組織對已有數據模型進行改造或升級的時期。
值得注意的是,數據模型構建的核心是為業務服務,在應用中企業需根據組織 實際情況和需求,綜合考慮企業數據現狀、存儲方式、處理效率與復雜度等情況, 靈活選擇或融合使用兩種數據模型建設方式,以實現更好的數據分析和業務決策。
企業級數據模型通常包含概念模型、邏輯模型和物理模型。建設數據模型是一 套專業且規范的構建工序,包括對數據結構進行整理、分析、信息歸類、裁剪與映射等一系列操作流程。企業級數據模型的建設原則與建設工藝,從各類 數據模型的建模關鍵活動、設計指導原則及實施工藝(或工具)息息相關。
(一)數據模型設計的六項原則
建設數據模型是一套專業且規范的構建工序,包括對數據結構進行整理、分析、信息歸類、裁剪與映射等一系列操作流程。在企業級模型研發的過程中應遵守 以下原則:
完整性原則:在充分參考各類業界企業級數據模型的基礎上,結合銀行的實際 情況,確保模型包含了正確的、全面的業務概念,涵蓋現有業務范疇及數據范圍如 存款、貸款、投融資、營銷等。其中涉及的重要實體、重要關系、重要分析維度等 屬性應保持完整。此外,還需要滿足各模型間的參照完整性,支持相關的業務活 動。
繼承性原則:指數據模型要遵循已有的概念,即所建立的模型應該在已存在主 題的基礎上進行細化。確保數據模型的全局一致,并保障數據可溯源,逐步形成企 業統一數據模型。
可擴展性原則:主題分類應具有高度的通用性,支持業務規則的多變性,保持 數據模型的動態調整能力,以適應復雜的業務情況,并為后續拓展新的業務提供一 定程度的技術支持。
連貫性原則:模型中的數據與數據之間應有連貫性,由于單獨的數據所體現的 價值往往比相關聯的數據少,數據間的連貫性可充分發揮數據的分析價值。
前瞻性原則:企業應從業務的未來發展趨勢看待模型,除了支持現有的業務與 數據需求外,設計出來的模型應能夠適應企業未來的業務發展,以支撐行業先進概 念與企業未來需求。
可操作性原則:模型的應用可與日常操作和實例快速結合使用,易于讓業務人 員理解和使用,有助于科技和業務部門人員的溝通,便于指導項目研發。
(二)概念數據模型
概念模型也稱為領域模型,是對數據的高級、抽象描述,概念模型的目標是捕 獲業務需求和數據的本質結構,通過模型幫助業務分析師和數據庫設計師理解業務 中的實體、實體間關系和數據分布關系,通常以實體-關系圖形式呈現。
設計工藝 概念模型設計分為以下五步:第一步:明確建模范圍;第二步:制定分類模板;第三步:識別分類模板;第 四步:細化分類層級;第五步:定義各級分類。
概念模型的主題劃分是依據業務主體參與的業務活動特性來劃分,建模人員需 根據設計指導規則,梳理企業業務架構及業務實體,對業務概念或信息系統數據進 行邏輯化,形成對數據模型分類框架的概念化結構。并按照“主體-行為-關系” (IBR)方法,建立數據域間的關聯關系。通常對應銀行業參考模型中的A(B)模 型設計活動。
(三)邏輯數據模型
邏輯模型是對概念模型的進一步細化,描述業務實體、屬性以及實體間的關 系,可轉化為數據庫表結構的設計,通常使用實體-關系模型來描述數據的結構和關 系。10 圖 5 概念分類模型工藝 圖 6 邏輯模型框架示意圖(參與人主題) 參與人 參與人
設計工藝 邏輯模型設計分為以下八步:第一步:識別候選實體;第二步:研發高階實體關系草圖;第三步:分配屬性 至候選實體;第四步:應用業務信息規范化原則;第五步:完善實體關系圖(E-R 圖);第六步:定義域和示例;第七步:檢查業務與流程的完整性;第八步:描述 屬性與業務規則。
邏輯模型是依據概念分類主題劃分做進一步細化,建模人員需根據設計規范識 別各概念主題下的候選實體,形成實體關系草圖,對實體屬性及實體間關系進行規 范性描述。其中從“分配屬性至候選實體”到“定義域和實例”的四個環節需要反復迭 代以持續完善模型內容。通常對應銀行業參考模型中的C/C'模型設計活動。在由企業級邏輯模型(C模型)到應用級數據模型(C'模型)設計過程中, C'模型數據對象繼承自C模型的業務對象,唯一的核心數據實體和屬性應 與業務對象保持一致。建立組織級數據模型與系統級數據模型的映射關 系,形成模型的同步更新機制
(四)物理數據模型
物理模型是數據庫的實施模型,用于詳細定義數據的物理結構,形成對真實數 據庫的完全描述。物理模型定義了數據庫在特定硬件和數據管理系統中的存儲和性 能細節
設計工藝 物理模型是對邏輯模型的進一步細化,需要對數據庫中的表、視圖、字段、數據 類型、主鍵、外鍵、索引等進行明確和定義。通常對應銀行業參考模型中的D模型設計 活動。
物理模型的設計還需要遵守如下原則:
一致性原則:主題分類及主要實體一致,繼承邏輯模型靈活性,易于擴展等優 點。
差異性原則:從邏輯模型到物理模型的落地設計過程中,對于集中式數據庫存 儲,通常實體和屬性是一一映射關系,主要考慮按不同的數據庫類型進行屬性類型和 索引等設計的差異。
性能保障原則:從應用性能和分布式存儲的設計考慮,物理模型落地時需從分 庫、分表及應用性能等方面進行設計規范,提高數據的處理性能。物理模型(D模型)需要一對一繼承 C’模型邏輯數據對象、實體和屬性,并根 據實際使用的數據庫,設計相應的物理特性。此外還需保障物理模型(D模型)和 企業級數據模型(C模型)、應用級數據模型(C’模型)間具有同步更新機制,確 保數據模型間的一致性。
企業除了模型設計工作外,還面臨著一系列的數據模型管理工作。總體來說, 數據模型的管理包含組織(人)、流程與工具三個方面。
銀行積累了大量敏感信息,包括交易數據和客戶資料。考慮到國家相關部門對數 據質量和數據安全的強力監管,數據模型的構建必須經過嚴格的模型管控,以確保數 據的合規性和安全性。為了更好地推動銀行內數據模型管理工作的開展,銀行可以從組織、流程以及工 具三個維度入手,協同保障數據模型管理工作的落實。
(一)組織管理
完善的組織架構保障模型管理溝通渠道暢通。銀行需要根據數據模型涉及的工作 范圍設立企業級的數據管理工作組,并在各業務(板塊)下設立數據模型接口人,便 于銀行進行管理溝通上的橫向協同與縱向打通。組織層面設立專門的數據管理部門,負責建設數據治理體系,包含數據標準、數 據模型、數據質量等治理規范的制定與落實管控。由具備專業知識和技能的數據模型 管理員負責企業級數據模型的管理,包括指導數據架構相關的工作和決策。部門層面設立IT業務研發部門,統一負責設計、開發和維護行內各業務系統。數 據架構師和模型研發工程師負責數據模型的設計和維護工作。其中,數據架構師根據 銀行的整體戰略和業務需求負責設計數據架構的設計原則、開發規范和標準。模型研 發工程師則負責數據模型的落地與維護,對接各業務條線的數據需求,并對模型進行 定期地優化和更新。14 圖 9 某銀行數據模型管理組織示意圖 業務部門A 數據BP 數據BP 數據BP 數據BP 業務部門B 業務部門B 業務研發部 數據管理部 數據模型管理員 負責設計數據 架構的設計 數據架構師 原則、開發 規范和標準。模型研發工程師 負責數據模型的落地與維護 負責對模型進行定期地優化 和更新。負責企業級數據模型的管理, 包括指導數據架構相關的工作 和決策。
通過這種分工明確的組織結構和職責劃分,有效地保障了數據模型的質量和可靠 性,為銀行的數字化轉型和業務創新提供了強有力的支持,有助于推動該行的數據管 理和應用水平的提升。相關人員職責要求示例
(二)流程管理
為了推動銀行內數據模型設計研發以及管理運維工作更規范化地開展,需要建立 完善的數據模型管理制度及流程。銀行通過建立并維護完善的數據模型管理流程,嚴格約束數據模型建設過程中的 相關操作,指導員工有序開展數據模型研發管理工作,從職能驅動向流程驅動轉型。為避免先污染、后治理的運動式建設模式,銀行通過規范的工作流程可以保障企 業級數據模型在跨部門、跨條線、跨系統場景下的統一維護。銀行可以從模型設計、 模型實施、模型管理等維度形成相關制度規范,規范數據模型在銀行內的設計及應 用,為數據模型的設計和管理工作提供參考依據。數據模型管理相關制度規范示例
某大型國有商業銀行通過在實踐過程中總結建模過程中使用的方法和規則形成 《企業級數據模型建模方法》,明確企業級數據模型的設計原則和要求。通過制定 《應用級數據模型設計規范》明確模型間的繼承規則,保證組織級數據模型與系統應 用級數據模型的一致性。通過《數據模型管理方法》明確數據模型管理相關部門職責 以及模型管理工作流程,進一步保障《應用級數據模型設計規范》的落地實施
這些規范的制定和實施,幫助銀行在數據模型研發管理工作中更加標準化、規范化, 同時保障了企業級數據模型的完整性和靈活性,助力該行構建企業級數字化經營體系。
(三)工具管理
為了保障數據模型研發管理工作的高效實施,企業離不開先進的工具支撐。銀行借助統一的數據模型設計、管理工具,保障數據模型管理規范與研發的一致 性,支撐數據模型管理的持續運營,協助數據模型研發管理人員提升工作質量與效 率。數據模型設計、管理平臺包括但不限于以下功能:
當前,國內大部分銀行業主要選擇采購如Erwin、ER/Studio等外部數據模型研 發、管理工具,幫助銀行梳理業務和數據現狀,實現多種數據模型的落地,支撐數據 模型的統一管理和維護。未來,國內銀行業將逐漸采用自研的工具平臺,解決銀行的個性化管理需求,優化銀行數據模型的設計流程,推動數據開發與治理的敏捷化、標準化、一體化。