在存儲大數(shù)據(jù)時，數(shù)據(jù)湖和數(shù)據(jù)倉庫都是既定術(shù)語，但是這兩個術(shù)語不是同義詞。數(shù)據(jù)湖是尚未確定用途的大量原始數(shù)據(jù)。另一方面，數(shù)據(jù)倉庫是用于特定目的的結(jié)構(gòu)化過濾數(shù)據(jù)的存儲庫。

[[376190]]

共同點

數(shù)據(jù)倉庫和數(shù)據(jù)湖代表了一個中央數(shù)據(jù)庫系統(tǒng)，可以在公司中用于分析目的。該系統(tǒng)從各種異構(gòu)數(shù)據(jù)源中提取，收集和保存相關(guān)數(shù)據(jù)，并提供給下游系統(tǒng)。

數(shù)據(jù)倉庫可以分為四個子過程：

• 數(shù)據(jù)獲取：從各種數(shù)據(jù)存儲庫中獲取和提取數(shù)據(jù)。
• 數(shù)據(jù)存儲：包括長期歸檔在內(nèi)的數(shù)據(jù)倉庫中的數(shù)據(jù)存儲。
• 數(shù)據(jù)提供：向下游系統(tǒng)提供所需的數(shù)據(jù)，提供數(shù)據(jù)集市。
• 數(shù)據(jù)評估：對數(shù)據(jù)庫存的分析和評估。

差異性

數(shù)據(jù)倉庫將經(jīng)典的ETL流程與關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)結(jié)合使用，而數(shù)據(jù)湖則使用諸如ELT的范式和讀取模式以及經(jīng)常使用的非結(jié)構(gòu)化數(shù)據(jù)[2]。

> Differences Data Warehouse vs. Lake

在上方，您可以看到主要區(qū)別。您使用的技術(shù)也完全不同。對于數(shù)據(jù)倉庫，您將使用SQL和關(guān)系數(shù)據(jù)庫，而對于數(shù)據(jù)湖，您可能將使用NoSQL或兩者的混合。

將兩者結(jié)合在混合數(shù)據(jù)湖中

那么如何將這兩個概念結(jié)合起來?在下圖中，您可以從高角度查看架構(gòu)。

該過程是將非結(jié)構(gòu)化和未轉(zhuǎn)換的數(shù)據(jù)加載到數(shù)據(jù)湖中。從這里，一方面可以將數(shù)據(jù)用于ML和Data Science任務(wù)。另一方面，數(shù)據(jù)也可以轉(zhuǎn)換為結(jié)構(gòu)化形式并加載到數(shù)據(jù)倉庫中。從這里，可以實現(xiàn)通過數(shù)據(jù)集市和(自助服務(wù))BI工具進(jìn)行的經(jīng)典數(shù)據(jù)倉庫分發(fā)。

> Hybrid Data Lake Concept — Image from Author

可以用于此體系結(jié)構(gòu)的主要技術(shù)例如：

• 通過talend，Google Dataflow，AWS Data Pipeline進(jìn)行ELT / ETL流程
• 通過Data Lake-HDFS，AWS Athena和S3，Google Cloud Storage
• 數(shù)據(jù)倉庫通過-Google BigQuery，AWS Redshift，Snowflake

注意：諸如Google的BiqQuery或AWS Redshift之類的技術(shù)通常被視為數(shù)據(jù)倉庫技術(shù)與數(shù)據(jù)湖技術(shù)之間的混合體，因為它們通常已經(jīng)具有NoSQL的某些特征。

結(jié)論

本文介紹了如何使用混合數(shù)據(jù)湖。數(shù)據(jù)湖使您的公司能夠靈活地以數(shù)據(jù)形式捕獲業(yè)務(wù)運營的各個方面，同時保持傳統(tǒng)數(shù)據(jù)倉庫的生命周期。

原文鏈接：https://towardsdatascience.com/what-is-a-hybrid-data-lake-b7ef2c3cce0c