[[342434]]

參考數(shù)據(jù)管理是對定義的數(shù)據(jù)值域進(jìn)行控制，包括對標(biāo)準(zhǔn)化術(shù)語、代碼值和其他唯一標(biāo)識(shí)符以及每個(gè)取值的業(yè)務(wù)定義的控制，和對數(shù)據(jù)域值列表內(nèi)部和跨不同列表之間的業(yè)務(wù)關(guān)系的控制;并且對準(zhǔn)確、及時(shí)和相關(guān)參考數(shù)據(jù)值的一致，共享使用進(jìn)行控制，以進(jìn)行數(shù)據(jù)分類和目錄整編。

如參考數(shù)據(jù)-“ 訂單狀態(tài) ”：新建立、處理中、完結(jié)、取消等。

主數(shù)據(jù)管理是對主數(shù)據(jù)值進(jìn)行控制，以實(shí)現(xiàn)跨系統(tǒng)的一致、共享、上下文相關(guān)地使用主數(shù)據(jù)，以及對核心業(yè)務(wù)實(shí)體的真實(shí)情況的最準(zhǔn)確、及時(shí)和相關(guān)的版本進(jìn)行控制。

主數(shù)據(jù)一般包括下列實(shí)體的數(shù)據(jù)：

人，包括個(gè)人、組織及其角色，比如客戶、公民、病人、廠商、供應(yīng)商、業(yè)務(wù)伙伴、競爭對手、員工和學(xué)生等。

產(chǎn)品，包括內(nèi)部和外部的產(chǎn)品。

財(cái)務(wù)結(jié)構(gòu)，例如總賬、成本中心、利潤中心等。

位置，例如地址信息

首先必須說明，單一的業(yè)務(wù)系統(tǒng)應(yīng)該沒有主數(shù)據(jù)的概念，參考數(shù)據(jù)為了確保不同的業(yè)務(wù)采用同樣的控制模式，可以存在。

隨著業(yè)務(wù)系統(tǒng)的不斷增加，核心業(yè)務(wù)實(shí)體不斷被抽象出來，在不同業(yè)務(wù)系統(tǒng)之間實(shí)現(xiàn)業(yè)務(wù)實(shí)體的共享和流轉(zhuǎn)，就產(chǎn)生了主數(shù)據(jù)管理。

按照DAMA-DMBOK，理想的參考數(shù)據(jù)和主數(shù)據(jù)架構(gòu)應(yīng)該是這樣的。

參考數(shù)據(jù)和主數(shù)據(jù)只有一份正本，各業(yè)務(wù)系統(tǒng)只在這一份正本數(shù)據(jù)上進(jìn)行相關(guān)業(yè)務(wù)操作，所有參考數(shù)據(jù)和主數(shù)據(jù)都是一致的。

但實(shí)際上主數(shù)據(jù)管理不是一蹴而就的，而且主數(shù)據(jù)的傳播跟業(yè)務(wù)也很大的相關(guān)性，實(shí)時(shí)性要求高的采用SOA總線接口方式，稍微差一些的采用消息隊(duì)列方式，批量數(shù)據(jù)的傳播則采用sftp/ftp方式，為了確保數(shù)據(jù)的一致性和版本管理，中間還構(gòu)建了主數(shù)據(jù)管理平臺(tái)，逐漸的主數(shù)據(jù)管理就演變成了以下的架構(gòu)方式。

這種架構(gòu)方式看起來也很合理，但筆者在最近做主數(shù)據(jù)監(jiān)控和管理過程中，發(fā)現(xiàn)了諸多問題，這些問題與主數(shù)據(jù)有關(guān)、與數(shù)據(jù)質(zhì)量有關(guān)、和業(yè)務(wù)系統(tǒng)有關(guān) 、和業(yè)務(wù)部門有關(guān)、和數(shù)據(jù)治理組織也有關(guān)。

在前文中有一個(gè)統(tǒng)計(jì)數(shù)據(jù)，據(jù)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量問題76%來自數(shù)據(jù)錄入錯(cuò)誤，53%來自源系統(tǒng)的變化，48%來自數(shù)據(jù)遷移或項(xiàng)目改建，46%來自用戶不同的期望，26%來自系統(tǒng)錯(cuò)誤。

在主數(shù)據(jù)問題分析中，也可以大致分為存量數(shù)據(jù)問題、業(yè)務(wù)流程問題、技術(shù)問題、網(wǎng)絡(luò)問題。

網(wǎng)絡(luò)問題是造成主數(shù)據(jù)流轉(zhuǎn)出現(xiàn)問題的直接原因，網(wǎng)絡(luò)抖動(dòng)和網(wǎng)絡(luò)問題時(shí)有發(fā)生，但不是主要問題，也可以通過重發(fā)機(jī)制，將數(shù)據(jù)彌補(bǔ)過來。

數(shù)量最多的是存量數(shù)據(jù)問題，這類問題大多數(shù)歷史遺留原因?qū)е碌模到y(tǒng)上線之初，未按照主數(shù)據(jù)的要求進(jìn)行數(shù)據(jù)遷移，A、B、C要確保一致性，只有A表正常遷移了;但需要同步A、B、C表，下游缺乏B、C表內(nèi)容，所以A表也無法同步下去，據(jù)統(tǒng)計(jì)存量數(shù)據(jù)問題約占了80%的數(shù)據(jù)量。

其次是技術(shù)問題，主數(shù)據(jù)從A系統(tǒng)分發(fā)到B系統(tǒng)，但B系統(tǒng)只負(fù)責(zé)接收，但實(shí)際上并未正確入庫，或者未正確返回狀態(tài)，這樣也會(huì)導(dǎo)致主數(shù)據(jù)不一致，上游的表結(jié)構(gòu)修改也會(huì)導(dǎo)致此類問題發(fā)生。

最后是業(yè)務(wù)流程問題，A系統(tǒng)和B系統(tǒng)按照相關(guān)的業(yè)務(wù)規(guī)范實(shí)現(xiàn)數(shù)據(jù)流轉(zhuǎn)，但隨著業(yè)務(wù)的變化，A系統(tǒng)進(jìn)行了相關(guān)修訂，但B系統(tǒng)認(rèn)為此修訂與之無關(guān)，既然無關(guān)，部分?jǐn)?shù)據(jù)可用可不用，所以干脆直接放棄好了。

后面的三類問題通過組織各個(gè)干系人，包括技術(shù)支撐部門、各業(yè)務(wù)部門、各業(yè)務(wù)廠家，終歸可以得到解決方案，但在實(shí)際解決過程中，常常面臨著職責(zé)不分，溝通協(xié)調(diào)機(jī)制、費(fèi)用分?jǐn)偟入y題，導(dǎo)致看起來容易解決的問題，實(shí)際解決起來遙遙無期。

這就涉及到數(shù)據(jù)治理組織的問題了。

本文轉(zhuǎn)載自微信公眾號(hào)「追夢IT人」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系追夢IT人公眾號(hào)。