創(chuàng)建有效的大數據模型的6個技巧
數據建模是一門復雜的科學,涉及組織企業(yè)的數據以適應業(yè)務流程的需求。它需要設計邏輯關系,以便數據可以相互關聯,并支持業(yè)務。然后將邏輯設計轉換成物理模型,該物理模型由存儲數據的存儲設備、數據庫和文件組成。
歷史上,企業(yè)已經使用像SQL這樣的關系數據庫技術來開發(fā)數據模型,因為它非常適合將數據集密鑰和數據類型靈活地鏈接在一起,以支持業(yè)務流程的信息需求。
不幸的是,大數據現在包含了很大比例的管理數據,并不能在關系數據庫上運行。它運行在像NoSQL這樣的非關系數據庫上。這導致人們認為可能不需要大數據模型。
問題是,企業(yè)確實需要對大數據進行數據建模。
以下是大數據建模的六個提示:
1.不要試圖將傳統(tǒng)的建模技術強加于大數據
傳統(tǒng)的固定記錄數據在其增長中穩(wěn)定且可預測的,這使得建模相對容易。相比之下,大數據的指數增長是不可預測的,其無數形式和來源也是如此。當網站考慮建模大數據時,建模工作應該集中在構建開放和彈性數據接口上,因為人們永遠不知道何時會出現新的數據源或數據形式。這在傳統(tǒng)的固定記錄數據世界中并不是一個優(yōu)先事項。
2.設計一個系統(tǒng),而不是一個模式
在傳統(tǒng)的數據領域中,關系數據庫模式可以涵蓋業(yè)務對其信息支持所需的數據之間的大多數關系和鏈接。大數據并非如此,它可能沒有數據庫,或者可能使用像NoSQL這樣的數據庫,它不需要數據庫模式。
正因為如此,大數據模型應該建立在系統(tǒng)上,而不是數據庫上。大數據模型應包含的系統(tǒng)組件包括業(yè)務信息需求、企業(yè)治理和安全、用于數據的物理存儲、所有類型數據的集成、開放接口,以及處理各種不同數據類型的能力。
3.尋找大數據建模工具
有商業(yè)數據建模工具可以支持Hadoop以及像Tableau這樣的大數據報告軟件。在考慮大數據工具和方法時,IT決策者應該包括為大數據構建數據模型的能力,這是要求之一。
4.關注對企業(yè)的業(yè)務至關重要的數據
企業(yè)每天都會輸入大量的數據,而這些大數據大部分是無關緊要的。創(chuàng)建包含所有數據的模型是沒有意義的。更好的方法是確定對企業(yè)來說至關重要的大數據,并對這些數據進行建模。
5.提供高質量的數據
如果組織專注于開發(fā)數據的正確定義和完整的元數據來描述數據來自何處、其目的是什么等等,那么可以對大數據模型產生更好的數據模型和關系。可以更好地支持支持業(yè)務的數據模型。
6.尋找數據的關鍵切入點
當今最常用的大數據載體之一就是地理位置,這取決于企業(yè)的業(yè)務和行業(yè),還有其他用戶需要的大數據常用密鑰。企業(yè)越能夠識別數據中的這些常用入口點,就越能夠設計出支持企業(yè)關鍵信息訪問路徑的數據模型。