隨著大數(shù)據(jù)的重要性和接受度的提高，人們也越來(lái)越需要考慮如何組織和托管大數(shù)據(jù)。答案之一是數(shù)據(jù)湖，在數(shù)據(jù)準(zhǔn)備和組織方面最廣泛的數(shù)據(jù)體系結(jié)構(gòu)系統(tǒng)。

簡(jiǎn)單地說(shuō)，它允許企業(yè)首先存儲(chǔ)數(shù)據(jù)，然后在需要時(shí)檢索數(shù)據(jù)。就像一個(gè)存儲(chǔ)單元，你只是把你的東西存儲(chǔ)，并在未來(lái)需要的時(shí)候找出來(lái)。

這種方法與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)截然不同，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)需要對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，且通常在記錄數(shù)據(jù)之前采用類(lèi)似表格的形式。數(shù)據(jù)倉(cāng)庫(kù)是一種固定形式的解決方案，它不是敏捷的，同時(shí)意味著額外的重新配置成本。但迄今為止，它一直是全球企業(yè)的首選。

那么，將數(shù)據(jù)湖作為數(shù)據(jù)管理選項(xiàng)的主要原因有哪些?

削減成本

因?yàn)樵诖鎯?chǔ)數(shù)據(jù)之前不需要設(shè)計(jì)數(shù)據(jù)的模式，所以沒(méi)有前期的開(kāi)發(fā)費(fèi)用。且處理數(shù)據(jù)湖的Hadoop系統(tǒng)是開(kāi)源的，因此沒(méi)有額外的軟件許可成本。

與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的不同之處在于，有了數(shù)據(jù)湖，ETL階段就完全沒(méi)有了。您不必知道存儲(chǔ)在湖中的數(shù)據(jù)類(lèi)型或者有多少字段。刪除ETL過(guò)程意味著沒(méi)有與許可、維護(hù)或增長(zhǎng)數(shù)據(jù)結(jié)構(gòu)相關(guān)的成本。

敏捷性

添加新單元或單個(gè)新項(xiàng)目可能會(huì)改變現(xiàn)有的整個(gè)數(shù)據(jù)結(jié)構(gòu)，從而引發(fā)額外的成本。此外，進(jìn)行這些更改所需的實(shí)現(xiàn)時(shí)間可能從幾天到幾周不等。

在數(shù)據(jù)湖中，所有的數(shù)據(jù)都已經(jīng)存儲(chǔ)，并且只有很少的變化，您可以隨時(shí)查詢(xún)。

這種方法幫助企業(yè)在當(dāng)今不斷變化的數(shù)據(jù)世界中保持敏捷性。未來(lái)幾年里可能會(huì)出現(xiàn)新的數(shù)據(jù)格式，其中一些甚至是現(xiàn)在還無(wú)法預(yù)見(jiàn)的。因此，企業(yè)數(shù)據(jù)存儲(chǔ)系統(tǒng)需要足夠靈活，在不進(jìn)行重大結(jié)構(gòu)更改的情況下滿足所有既定和突發(fā)要求。

多種格式

數(shù)據(jù)湖可以處理各種數(shù)據(jù)格式。即使數(shù)據(jù)湖中的一些數(shù)據(jù)看起來(lái)與其他數(shù)據(jù)無(wú)關(guān)，但從整體的角度進(jìn)行組合和分析時(shí)，它可以提供基本的業(yè)務(wù)見(jiàn)解。

例如，如果一個(gè)數(shù)據(jù)湖包含關(guān)于客戶(hù)的記錄，比如姓名、年齡、去年的支出，以及客戶(hù)在網(wǎng)上商店的行為統(tǒng)計(jì)圖，很難看出這些細(xì)節(jié)和銷(xiāo)售線索之間的直接聯(lián)系。然而，把所有的東西放在一起，可以發(fā)現(xiàn)一定年齡的客戶(hù)往往會(huì)更快地做出購(gòu)買(mǎi)決定，這可能會(huì)影響銷(xiāo)售策略。

除了多種格式，還有關(guān)于數(shù)據(jù)源的上下文透視圖。最常見(jiàn)的資源包括面向客戶(hù)的應(yīng)用程序、BI應(yīng)用程序、銷(xiāo)售日志等。物聯(lián)網(wǎng)的興起將增加數(shù)據(jù)源和格式的數(shù)量，使數(shù)據(jù)湖成為唯一可靠的解決方案。

人工智能

由于數(shù)據(jù)湖使用非結(jié)構(gòu)化數(shù)據(jù)，因此不適合使用傳統(tǒng)的基于sql的工具進(jìn)行查詢(xún)。相反，由于大多數(shù)數(shù)據(jù)都具有合適的3v(體積、速度、多樣性)，因此可以將其視為大數(shù)據(jù)并用于訓(xùn)練人工智能算法。

實(shí)際上，擁數(shù)據(jù)湖的目標(biāo)是讓信息實(shí)時(shí)(或幾乎實(shí)時(shí))準(zhǔn)備好進(jìn)行處理。這種動(dòng)態(tài)的方法為公司提供了立即反應(yīng)的機(jī)會(huì)。將所有數(shù)據(jù)放在同一個(gè)位置意味著在分析之前檢索數(shù)據(jù)的時(shí)間更少。

靈活性和規(guī)模

數(shù)據(jù)湖最典型的特性可能是其可伸縮性和靈活性，它可以適應(yīng)企業(yè)數(shù)據(jù)的任何變化，而不需要對(duì)基礎(chǔ)設(shè)施進(jìn)行重大更改。由于整個(gè)架構(gòu)是基于云的，通常通過(guò)按使用量付費(fèi)的業(yè)務(wù)模型進(jìn)行訪問(wèn)，所以任何升級(jí)或降級(jí)都意味著只需更改您的支付計(jì)劃。

這種靈活性與不能實(shí)時(shí)修改的遺留系統(tǒng)形成了對(duì)比。數(shù)據(jù)湖可以很容易地添加或合并數(shù)據(jù)。就像是現(xiàn)實(shí)中的湖泊，它可以由多條河流匯集，并且可以隨時(shí)添加新的河流，而不會(huì)干擾之前的設(shè)置。與此同時(shí)，遺留系統(tǒng)就像一個(gè)裝水設(shè)施，任何改變都需要更多的瓶子、更多的標(biāo)簽和重新安排時(shí)間。

局限

盡管數(shù)據(jù)湖有很多優(yōu)勢(shì)，但也并不是萬(wàn)無(wú)一失的解決方案，也絕對(duì)不是萬(wàn)能藥。數(shù)據(jù)湖最大的風(fēng)險(xiǎn)在于，它們可能會(huì)變成數(shù)據(jù)沼澤，數(shù)據(jù)可能會(huì)被毫無(wú)意義地丟棄。

所有保存的數(shù)據(jù)流都應(yīng)該與項(xiàng)目中的kpi和業(yè)務(wù)目標(biāo)相結(jié)合。避免信息癱瘓的一種方法是創(chuàng)建可視化儀表板，通過(guò)儀表板，數(shù)據(jù)可以被正確顯示，即使不是數(shù)據(jù)庫(kù)學(xué)家也可以理解數(shù)據(jù)。