BI和數據倉庫:企業分析決策真的離不開數據倉庫嗎?
很長一段時間,BI和數據倉庫幾乎都是如影隨形、難舍難分。企業如果想要實行“數據驅動決策-決策推動業務發展”的機制,就必須先有數據倉庫充當中央存儲庫,供BI查詢和調取,然后再在BI上進行數據的分析與可視化。
但數據分析和商業決策發展至今,企業想要實現數據驅動決策,是否還是無法繞過數據倉庫?在現代商業環境中重新定義BI和數據倉庫,我們又能不能找到合適的替代方案?
今天,我們就這個命題展開討論,希望能給大家提供一些思路。
數倉:BI背后的引擎(或管道)
數據倉庫:從字面意義上即數據的倉庫,是為了把操作型數據集成到統一的環境中,以提供決策型數據訪問。數據倉庫關注的是解決數據一致性,可信性,集合性.......這些問題,把越來越復雜的業務數據轉化成對于業務運營、業務分析來說簡單易用的數據形式;數據倉庫的終極目標是讓數據應用人員(無論是CEO還是普通分析師)思考怎么使用數據倉庫里的這些數據,創造更多的信息與價值;而不是發愁數據在哪里,數據對不對。
BI(商業智能):BI是分析數據并獲取洞察力、從而幫助企業做出決策的一系列方法、技術和軟件。相比數據倉庫,BI中還包含了數據挖掘,數據可視化,多維分析,標簽分類等方面。拿多維分析舉個例子,數據倉庫中只是提供了維度化的數據,但是基于某些工具,比如Ebay的kylen或者IBM的Cognos等,可以支持用戶在一定范圍內任意組合維度與指標,那這就上升到了決策支持的層面而不是“高級數據倉儲”層面了,也就是使用了數據倉庫的數據,但不是數據倉庫的功能。
傳統BI項目的構建路徑決定了其必須依賴數據倉庫才能進行數據分析。比如MicroStrategy,SAP BW,微軟 Analysis Server, IBM的Cognos,Oracle的OBIEE,這些傳統BI工具不具備使數據集成標準化的能力,數據倉庫的存在就是幫助他們建立數據治理結構,解決數據冗余、不一致、錯誤、無法輕松訪問等問題。
另一方面,BI對數據倉庫的這種依賴其實存在著極大的缺陷。一般來說,數據倉庫通常需要花費高經濟成本、時間成本從規劃到落地,但創造的價值大多數情況比較有限,ROI較低。搭建成功后,數據倉庫也僅支持極少數特定類型的分析,如果企業業務出現調整或者需要處理新類型的數據,屆時又將重新面臨重大的開發工作。
從現代商業決策視角,重新審視BI與數據倉庫的關系
在如今轉向服務導向架構(SOA)(*由Gartner提出,以“服務”為基本元素來組建企業IT架構的方式。SOA要解決的主要問題是:快速構建與應用集成,現已成為解決企業業務發展需求與企業IT支持能力之間矛盾的最佳方案。)的技術大背景中,耗費巨大心力進行大規模的數據整合和數據集成操作是否還有必要?構建數倉的收益是否能大于你將付出的成本?
再加上企業數據體量不斷提升,業務發展越來越迅速,對快速印證分析決策也提出了更高要求,更多的企業希望能夠降低技術設施成本,做到近乎實時地訪問操作源數據,在極短的時間內響應用戶請求。
于是我們看到了越來越多沒有數倉的BI項目。一方面,敏捷BI的興起,允許用戶快速接入各類數據源,無需借助數倉即可實現數據導入-處理-分析的流程。而另一方面,新一代AI+BI智能數據分析平臺,則在快速接入、敏捷分析的基礎上,實現了更進一步的應用:
- 自帶輕量的分布式數據存儲與數據流處理模塊,提供從數據抽取、數據建模、數據分析,到數據可視化、預警分發的一站式數據分析應用能力;
- 即便不抽取數據,也可實現多數據源的聯邦動態分析(聯動、鉆取、動態參數等交互分析功能)。
在這個角度上來看,一定程度上可以在沒有數據倉庫的前提下實現智能數據分析,但是,這僅限于數據量有限的中小型企業,不意味著我們推薦直接拿數據分析平臺上的數據存儲當做數據倉庫來用。
因為隨著企業用戶數據量、分析復雜度的不斷提升,數據分析平臺上輕量式數據存儲與數據流處理模塊是難以承受巨大的計算壓力的,從企業長遠發展的角度上考量,還是需要有計劃地建設數據倉庫或數據平臺。
企業構建分析決策架構的敏捷策略
企業分析決策架構的未來前景,取決于業務驅動因素以及技術的發展方向。如今企業數據呈指數級增長,對實時分析的需求比以往任何時候都要強烈,鑒于此,如何兼顧快速落地與高可擴展性,有機結合數據倉庫來構建企業分析決策架構,仍是擺在眾多企業面前的一個巨大難題。
對此,我們推薦的最佳實踐是:
- 在數倉尚未搭建或分析思路尚未成型時,直接在BI平臺內快速構建分析應用,快速反饋、快速迭代,實現quick win。
- 在分析結果得到業務的印證后,再將數據沉淀和復雜分析邏輯逐步固化到數據倉庫或數據平臺里面實施,此時BI平臺僅擔負輕量的數據分析與可視化壓力。
我們認為,數據分析的本質是為業務發展、商業決策而服務,而不是創建一堆無用的可視化圖表。通過以上提到的這種敏捷開發,快速印證,不斷沉淀的過程,將能夠更大程度上確保企業分析決策架構的方向正確,獲得業務端的認同,驅動業務發展,從而產生真正的商業價值。