?作者 | Dan Neault

譯者 | 陳峻

如今，大家都普遍認(rèn)為數(shù)據(jù)是商業(yè)環(huán)境中最有價值的資源。企業(yè)的成功往往與他們從數(shù)據(jù)中獲利的能力有著直接關(guān)系。而作為傳統(tǒng)關(guān)系型數(shù)據(jù)庫的演進(jìn)，數(shù)據(jù)湖（Data Lake）能夠從多個來源獲取原始形式的數(shù)據(jù)。這就是為什么許多組織已經(jīng)開始轉(zhuǎn)向通過數(shù)據(jù)湖，來改進(jìn)分析，實現(xiàn)更有效的協(xié)作，并支持大規(guī)模的數(shù)據(jù)驅(qū)動型決策的原因。

雖然數(shù)據(jù)湖能夠給組織帶來卓越的業(yè)務(wù)成果，但它們的快速采用，也可能會給一些缺乏資源和專業(yè)領(lǐng)域知識團隊，帶來合規(guī)性和安全控制上的門檻。更復(fù)雜的是，數(shù)據(jù)湖的廣泛使用，會讓更多內(nèi)、外部角色接觸到數(shù)據(jù)，進(jìn)而放大了業(yè)務(wù)安全的潛在風(fēng)險。

1、從數(shù)據(jù)庫到數(shù)據(jù)湖

在上個世紀(jì)60年代，隨著計算機變得更易于訪問，各個組織需要有效地存儲和管理手中的數(shù)據(jù)，這便催生了數(shù)據(jù)庫技術(shù)的產(chǎn)生。

在之后的幾十年中，在線事務(wù)處理（online transactional processing，OLTP）型的工作負(fù)載和關(guān)系型數(shù)據(jù)庫，充當(dāng)了快速、準(zhǔn)確地處理數(shù)據(jù)的主力軍。

到了20世紀(jì)80年代，數(shù)據(jù)倉庫（data warehouses）將數(shù)據(jù)處理從事務(wù)或操作系統(tǒng)，轉(zhuǎn)變?yōu)榱藳Q策支持系統(tǒng)。這種轉(zhuǎn)變使得許多組織能夠聚合來自多個環(huán)境的數(shù)據(jù)，并通過匯集商業(yè)智能（business intelligence，BI），來支持戰(zhàn)略決策的制定。

如今，大量的組織都會利用數(shù)據(jù)庫、數(shù)據(jù)倉庫和BI ，用以提供創(chuàng)新信息，并指導(dǎo)戰(zhàn)略決策。然而，隨著云計算和現(xiàn)代化編程語言的興起，數(shù)據(jù)庫的使用方式也隨著如下因素，發(fā)生了巨大的變化：

• 組織開始意識到，如果他們不被限制于預(yù)定義的模式、以及在事務(wù)或分析系統(tǒng)中的使用方式，那么他們可以從數(shù)據(jù)中獲得更多的價值。
• 數(shù)據(jù)可以被用于開發(fā)、訓(xùn)練、分析機器學(xué)習(xí)（machine learning，ML）模型，或是針對在任何類型的數(shù)據(jù)庫上，運行的現(xiàn)有工作負(fù)載，進(jìn)行現(xiàn)代化的改造。
• 云計算能夠以前所未有的速度和規(guī)模，快速配置現(xiàn)代化的工作負(fù)載。

數(shù)據(jù)倉庫在處理和分析結(jié)構(gòu)化的數(shù)據(jù)方面固然表現(xiàn)出色，但它們無法捕獲原始的、非結(jié)構(gòu)化的數(shù)據(jù)，這在某種程度上對組織的數(shù)字化業(yè)務(wù)產(chǎn)生了限制。因此，數(shù)據(jù)湖等非關(guān)系數(shù)據(jù)庫變得越來越受歡迎，一些數(shù)據(jù)架構(gòu)師正在嘗試著默認(rèn)使用數(shù)據(jù)湖，來處理新的工作負(fù)載，并對現(xiàn)有的工作負(fù)載進(jìn)行現(xiàn)代化的改造。

2、為什么要采用數(shù)據(jù)湖

正是由于數(shù)據(jù)架構(gòu)師們通過使用數(shù)據(jù)湖，來構(gòu)建ML模型，為無數(shù)分析系統(tǒng)提供數(shù)據(jù)，進(jìn)而按需執(zhí)行查詢與分析等操作，因此他們從中獲得了數(shù)據(jù)的潛在價值，也促進(jìn)了越來越多的組織，開始在數(shù)據(jù)湖中構(gòu)造它們的數(shù)據(jù)生命周期。

畢竟，在傳統(tǒng)方式上，數(shù)據(jù)倉庫常被用于定期分析大量的結(jié)構(gòu)化數(shù)據(jù)，或定期生成數(shù)據(jù)報告。而這往往要求企業(yè)在處理和存儲數(shù)據(jù)之前，就已經(jīng)完成、并將預(yù)定義的模式應(yīng)用到數(shù)據(jù)庫上。這在某種程度上，就限制了數(shù)據(jù)在后續(xù)交易或分析系統(tǒng)中的創(chuàng)新使用方式。

而數(shù)據(jù)湖并不需要這樣的前期工作。它能夠集成和存儲未經(jīng)轉(zhuǎn)換、或僅被少量處理的數(shù)據(jù)。這些數(shù)據(jù)可以來自包括：非結(jié)構(gòu)化的日志數(shù)據(jù)、物聯(lián)網(wǎng)（internet of things，IoT）傳感器、社交媒體、以及多媒體內(nèi)容等多個指向數(shù)據(jù)湖的來源。利用與數(shù)據(jù)湖配套的實現(xiàn)技術(shù)，數(shù)據(jù)架構(gòu)師們可以：

• 使用Apache Kafka等數(shù)據(jù)流處理工具，近乎實時地處理流入數(shù)據(jù)湖中的數(shù)據(jù)。
• 使用Google BigQuery或Amazon Athena等高性能查詢引擎，直接從數(shù)據(jù)湖中獲取特定的數(shù)據(jù)洞見。
• 使用Elasticsearch等工具對大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行按需分析，對來自日志和運營的數(shù)據(jù)予以搜索、過濾和可視化。

3、數(shù)據(jù)湖安全嗎？

顯然，進(jìn)入數(shù)據(jù)湖的數(shù)據(jù)需要得到與過去被存儲在關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，有著相同級別、甚至更高的保護(hù)。那么數(shù)據(jù)湖主要會面臨哪些安全風(fēng)險呢？

• 訪問控制：針對數(shù)據(jù)庫表的訪問權(quán)限控制，向來是靈活多變、且極具挑戰(zhàn)性的。而針對數(shù)據(jù)湖的權(quán)限設(shè)置更是如此。我們往往需要基于特定的對象或元數(shù)據(jù)來予以定義。否則，整個組織的人員都可以訪問數(shù)據(jù)湖的話，其中的個人數(shù)據(jù)、以及根據(jù)合規(guī)性要求保密的數(shù)據(jù)，就沒有了安全保證。根據(jù) Forrester Consulting 曾委托進(jìn)行的一項研究，58% 的安全事件都是由內(nèi)部威脅所引起的，如果不加以控制的話，員工對敏感數(shù)據(jù)的訪問將是一場安全噩夢。
• 數(shù)據(jù)保護(hù)：數(shù)據(jù)湖通常充當(dāng)?shù)氖墙M織內(nèi)信息的單一存儲庫。因此，它往往成為了最有價值的攻擊目標(biāo)。如果沒有適當(dāng)?shù)脑L問控制機制，不良行為者可以據(jù)此獲得整個組織的敏感數(shù)據(jù)，甚至修改各種訪問權(quán)限。
• 治理、隱私和合規(guī)性：由于數(shù)據(jù)湖的數(shù)據(jù)源多且雜，因此某些數(shù)據(jù)可能包含了在不同的系統(tǒng)和地域范圍內(nèi)屬于隱私、甚至是違規(guī)的信息內(nèi)容。由此產(chǎn)生的跨數(shù)據(jù)湖存儲架構(gòu)的定位、以及對不同層級數(shù)據(jù)的管控，將具有挑戰(zhàn)性。

可見，為了在不影響安全性的情況下，充分發(fā)揮數(shù)據(jù)湖的優(yōu)勢，組織需要遵循一套優(yōu)秀的實踐，來降低運營不合規(guī)、管理不善、數(shù)據(jù)泄漏、以及其他安全事件的發(fā)生風(fēng)險。

4、如何保護(hù)數(shù)據(jù)湖

有效的安全策略往往能夠給數(shù)據(jù)湖賦予清晰的可見性和控制權(quán)。為此，組織可以采取四個步驟：

• 梳理標(biāo)準(zhǔn)化的數(shù)據(jù)訪問流程：由于既可以給真實的用戶使用，也能夠供集成系統(tǒng)的調(diào)用，因此該流程應(yīng)當(dāng)能夠跟蹤數(shù)據(jù)的訪問和使用的全過程。
• 創(chuàng)建數(shù)據(jù)的分類方案和目錄：在數(shù)據(jù)湖中，數(shù)據(jù)應(yīng)當(dāng)按照內(nèi)容、使用場景、類型、以及可能的用戶群體進(jìn)行分類，并提供相應(yīng)的目錄，以實現(xiàn)數(shù)據(jù)的搜索和索引。同時，我們還應(yīng)該采取一種便利的方法，將需要保留的數(shù)據(jù)與待刪除的數(shù)據(jù)分開。
• 啟用數(shù)據(jù)保護(hù)：數(shù)據(jù)加密和自動監(jiān)控等安全管控措施應(yīng)被事先設(shè)置好。而當(dāng)出現(xiàn)未授權(quán)的訪問用戶、及其可疑活動時，應(yīng)能夠及時發(fā)出警報。
• 加強數(shù)據(jù)的治理、隱私保護(hù)、以及合規(guī)性：我們需要通過明確的數(shù)據(jù)政策，向相關(guān)人員傳達(dá)，該如何定位和使用數(shù)據(jù)湖，如何提高數(shù)據(jù)質(zhì)量和敏感數(shù)據(jù)的使用，以及如何按照數(shù)據(jù)隱私標(biāo)準(zhǔn)去存儲歷史數(shù)據(jù)。

5、在防范安全和隱私風(fēng)險的同時最大化數(shù)據(jù)價值

綜上所述，為了解決與數(shù)據(jù)湖的相關(guān)安全和合規(guī)風(fēng)險，組織應(yīng)該首先創(chuàng)建一種有效且高效的方法，來分類和發(fā)現(xiàn)其環(huán)境中的數(shù)據(jù)。接著，組織必須能夠識別誰在訪問數(shù)據(jù)，何時訪問了敏感數(shù)據(jù)，以及防止數(shù)據(jù)被惡意的內(nèi)部人員所竊取。

雖然上面提到的各種安全優(yōu)秀實踐都是創(chuàng)建數(shù)據(jù)湖安全環(huán)境的基礎(chǔ)步驟，但是組織應(yīng)當(dāng)從基礎(chǔ)入手，以數(shù)據(jù)為中心，確保數(shù)據(jù)在數(shù)據(jù)湖乃至組織的內(nèi)外部，無論身處何處、以何種形式存在，都是安全可控的。

原文鏈接：https://thenewstack.io/data-lake-security-dive-into-the-best-practices/