Thoughtworks發(fā)布《數(shù)據(jù)工程白皮書》
隨著企業(yè)數(shù)字化轉(zhuǎn)型的不斷開展，企業(yè)對數(shù)據(jù)越來越重視、對數(shù)據(jù)的訴求越來越豐富。
盡管數(shù)字化轉(zhuǎn)型對于市場來說并不是一個(gè)新鮮事物，從技術(shù)視角來看，人工智能與大數(shù)據(jù)相關(guān)技術(shù)仍處于創(chuàng)新階段，各行業(yè)正在尋找和探索價(jià)值場景與新興技術(shù)融合的平衡點(diǎn)，希望在新興技術(shù)的加持下能夠在激烈的競爭中占據(jù)有利位置。
對于企業(yè)中需要直接面對或完成數(shù)據(jù)工作的負(fù)責(zé)人來說，需要有一套切實(shí)可行的方式方法來確保數(shù)據(jù)工作能夠保質(zhì)保量的順利開展、保障企業(yè)在數(shù)據(jù)領(lǐng)域的投入能夠有價(jià)值產(chǎn)出。這樣一套行之有效的方式方法我們稱為“數(shù)據(jù)工程”，而該體系的落地過程稱為“數(shù)據(jù)工程化”。
近日，Thoughtworks發(fā)布《數(shù)據(jù)工程白皮書》，旨在討論如何從工程化的角度加速數(shù)據(jù)到價(jià)值的轉(zhuǎn)化過程、為企業(yè)帶來更多的價(jià)值，幫助企業(yè)在數(shù)字化轉(zhuǎn)型過程中應(yīng)對來自業(yè)務(wù)、外部市場、內(nèi)部數(shù)據(jù)能力提升等一系列問題。
數(shù)據(jù)工程價(jià)值觀及原則
數(shù)據(jù)工程來源于軟件工程，數(shù)據(jù)工程包含了需求、設(shè)計(jì)、構(gòu)建、測試、維護(hù)演進(jìn)等階段，涉及項(xiàng)目管理、開發(fā)過程管理、工程工具與方法、構(gòu)建管理、質(zhì)量管理，是一套為了應(yīng)對規(guī)模化生產(chǎn)和使用數(shù)據(jù)、為業(yè)務(wù)提供數(shù)據(jù)支撐，最終產(chǎn)生價(jià)值的體系。
同時(shí)定義了在落地實(shí)施過程中如何確保需求準(zhǔn)確性、設(shè)計(jì)靈活性、開發(fā)便捷性、維護(hù)低成本性、架構(gòu)可修改性等保障性能、質(zhì)量的原則。
圖:數(shù)據(jù)工程價(jià)值觀及原則
三步走戰(zhàn)略
在面對業(yè)務(wù)協(xié)同性不夠、業(yè)務(wù)決策路徑不清晰、組織架構(gòu)可能導(dǎo)致的部門墻等諸多問題上，企業(yè)應(yīng)當(dāng)匯聚多業(yè)態(tài)、多鏈路中所涉及的不同業(yè)務(wù)數(shù)據(jù)、打通全產(chǎn)業(yè)鏈、構(gòu)建業(yè)務(wù)生態(tài)，打造以數(shù)據(jù)為中心的價(jià)值創(chuàng)新產(chǎn)品，通過數(shù)據(jù)去產(chǎn)生新洞見、發(fā)現(xiàn)新業(yè)務(wù)、打造新產(chǎn)品、驗(yàn)證新想法，從而驅(qū)動業(yè)務(wù)的快速迭代。
在此我們推薦三步走戰(zhàn)略：數(shù)據(jù)愿景對齊、數(shù)據(jù)工程落地實(shí)施、數(shù)據(jù)持續(xù)運(yùn)營。三步自頂向下，先確定總體目標(biāo)，再進(jìn)行目標(biāo)拆解，由目標(biāo)制定具體措施，再到具體工程實(shí)踐，最后以持續(xù)運(yùn)營手段，完成數(shù)據(jù)從業(yè)務(wù)中來，再到業(yè)務(wù)中去的完整價(jià)值閉環(huán)。
圖:數(shù)據(jù)工程落地三步走戰(zhàn)略
面對企業(yè)不同的現(xiàn)狀和實(shí)際情況，數(shù)據(jù)工程落地三步走戰(zhàn)略在實(shí)際開展的時(shí)候需要結(jié)合企業(yè)情況來進(jìn)行調(diào)整，并非一個(gè)絕對答案，在數(shù)據(jù)工程落地時(shí)需要從總體考慮數(shù)據(jù)治理工作要如何開展。從另一個(gè)角度來看，數(shù)據(jù)工程落地是一個(gè)持續(xù)優(yōu)化迭代的過程，因此沉淀、復(fù)用、持續(xù)運(yùn)營、能力建設(shè)都是數(shù)據(jù)工程落地過程中不可或缺的一部分。
圖:數(shù)據(jù)工程能力復(fù)用與保障
圖:數(shù)據(jù)持續(xù)運(yùn)營
總結(jié)
數(shù)據(jù)工程實(shí)現(xiàn)與落地過程中涉及到方方面面的工作，從確認(rèn)需求到后期運(yùn)營；從質(zhì)量管控到安全保障；從設(shè)計(jì)到實(shí)施等多個(gè)維度。意味著數(shù)據(jù)工程落地過程中需要有跨部門的合作；企業(yè)的業(yè)務(wù)與數(shù)據(jù)融合后的流程管控；對技術(shù)能力的更高的要求。這也對企業(yè)落地?cái)?shù)據(jù)工程帶來更大的挑戰(zhàn)，挑戰(zhàn)來源于數(shù)據(jù)工程落地的時(shí)候并非單純的技術(shù)問題，而是技術(shù)、數(shù)據(jù)、業(yè)務(wù)相融合后的結(jié)合體。
正如本白皮書引言部分提到的“數(shù)據(jù)已經(jīng)成為繼土地、勞動、資本、技術(shù)之后的第五大生產(chǎn)要素”，任何一次科技革命都會為企業(yè)、社會甚至是全球帶來沖擊，我們現(xiàn)在正處于技術(shù)革新的過程中。
這既是挑戰(zhàn)也是利好，挑戰(zhàn)在于我們需要重新審視企業(yè)未來的發(fā)展方向、積累和沉淀新的技術(shù)能力并與實(shí)際的業(yè)務(wù)相融合，企業(yè)需要著手開始自己的數(shù)據(jù)能力布局;利好的是企業(yè)戰(zhàn)略布局和轉(zhuǎn)型的主動權(quán)在自己的手里。
