譯者 | 李睿

審校 | 孫淑娟

企業(yè)需要了解數(shù)據(jù)合成與數(shù)據(jù)管道如何提供可擴展的解決方案，以創(chuàng)建符合測試系統(tǒng)實際需求的一致數(shù)據(jù)。

很多企業(yè)如今被淹沒在數(shù)據(jù)之中。他們從多種來源收集數(shù)據(jù)，并試圖找到利用這些數(shù)據(jù)來推進業(yè)務目標的方法。解決這個問題的一種方法是使用數(shù)據(jù)管道作為連接到數(shù)據(jù)源，并通過管道將數(shù)據(jù)轉換為端點可用的某種形式。

雖然這是為企業(yè)操作數(shù)據(jù)的持續(xù)斗爭的一部分，但始終需要找到方法為測試提供良好的數(shù)據(jù)集。企業(yè)需要這些數(shù)據(jù)集來測試整個架構環(huán)境中的應用程序和系統(tǒng)。他們還需要數(shù)據(jù)集來專注于測試其企業(yè)的各個方面，例如安全性和質量保證。  

而創(chuàng)建合成數(shù)據(jù)是非常現(xiàn)實的需要。簡單地說，這真正意味著企業(yè)需要找到一種方法來創(chuàng)建虛構或虛假的數(shù)據(jù)。企業(yè)希望創(chuàng)建類似于測試系統(tǒng)實際需求的一致數(shù)據(jù)。以下將了解數(shù)據(jù)管道，并探索企業(yè)如何使用它來開始創(chuàng)建自己的合成數(shù)據(jù)，以便在企業(yè)中進行測試。

1.數(shù)據(jù)管道和測試  

數(shù)據(jù)管道的一個非常簡單的定義是“一組串聯(lián)的數(shù)據(jù)處理元素，其中一個元素的輸出是下一個元素的輸入”。更簡單地說，這些是用于將數(shù)據(jù)從數(shù)據(jù)源返回到可以分析、轉換然后由企業(yè)使用的級別的基本連接。  

數(shù)據(jù)管道從檢索數(shù)據(jù)開始。他們可以通過應用程序編程接口（API）等可編程接口，或通過數(shù)據(jù)流和事件處理接口，從SQL（DB）數(shù)據(jù)源等平臺內提取所需數(shù)據(jù)。

一旦檢索到數(shù)據(jù)，就可以決定轉換數(shù)據(jù)以滿足最終用戶的需求。這可以通過數(shù)據(jù)生成API、通過清理或更改檢索到的數(shù)據(jù)的結構來構建數(shù)據(jù)來完成，最后，出于安全原因，可以在呈現(xiàn)給最終用戶之前對數(shù)據(jù)實現(xiàn)匿名化。  

這些只是數(shù)據(jù)管道可用作測試過程一部分的幾個示例，圖1是從源到最終數(shù)據(jù)倉庫位置以供進一步使用的數(shù)據(jù)管道的一個簡單示例。  

圖1

測試要求企業(yè)向正在測試的系統(tǒng)、應用程序或代碼片段提供數(shù)據(jù)集。這一數(shù)據(jù)集可以人工創(chuàng)建、從現(xiàn)有數(shù)據(jù)集復制或生成以供測試團隊使用。

在處理非常小的數(shù)據(jù)集時，人工創(chuàng)建測試數(shù)據(jù)可能很有用，但是當需要大量數(shù)據(jù)集時，它會變得非常麻煩。如果數(shù)據(jù)包含敏感元素，則從現(xiàn)有（生產(chǎn)到測試）環(huán)境復制數(shù)據(jù)集會帶來安全和隱私問題。基于現(xiàn)有數(shù)據(jù)生成數(shù)據(jù)可以提供良好的結果。  

如果企業(yè)想大規(guī)模生成數(shù)據(jù)，考慮到安全性以提供匿名結果，并確保生成內容的靈活性，那么該怎么辦？這就是數(shù)據(jù)合成發(fā)揮重要作用的地方。它允許企業(yè)以可能需要的靈活性生成數(shù)據(jù)。  

2.初學者的數(shù)據(jù)合成  

生成合成數(shù)據(jù)可以在處理敏感數(shù)據(jù)元素的同時提供大量數(shù)據(jù)。合成數(shù)據(jù)可以基于關鍵數(shù)據(jù)維度，例如姓名、地址、電話號碼、帳號、社會保障、信用卡、標識符、駕駛執(zhí)照號碼等。  

合成數(shù)據(jù)被定義為虛假或創(chuàng)建的數(shù)據(jù)，但它通常基于真實數(shù)據(jù)，用于擴展以創(chuàng)建更大、更真實的數(shù)據(jù)集進行測試。然后，為測試生成的數(shù)據(jù)以安全且可擴展的方式在企業(yè)中提供給業(yè)務用戶和開發(fā)人員使用。  

這種合成數(shù)據(jù)在任何企業(yè)中都有廣泛的用途，例如醫(yī)療保健、金融、制造以及采用新技術來滿足各種業(yè)務需求的任何其他領域。它的直接用途是持續(xù)的測試、安全和質量保證實踐，以幫助實施、應用程序開發(fā)、集成和數(shù)據(jù)科學工作。  

企業(yè)不僅能夠通過數(shù)據(jù)合成大規(guī)模地提供數(shù)據(jù)集，而且還確保支持企業(yè)中多個域的數(shù)據(jù)一致性，同時提供代表現(xiàn)實世界格式的可行數(shù)據(jù)。它為開發(fā)人員、架構師和數(shù)據(jù)架構師提供了跨任何企業(yè)的一致方法，以利用數(shù)據(jù)進行測試。  

3.數(shù)據(jù)合成入門  

發(fā)現(xiàn)數(shù)據(jù)合成可以為企業(yè)提供好處的最佳方式是探索最常見的使用模式，然后潛入開源項目以啟動其體驗。開始數(shù)據(jù)合成有兩種簡單的模式：在云原生環(huán)境和云原生API中，如圖2所示。  

圖2

第一種模式是在企業(yè)選擇的云平臺上的單個容器內運行數(shù)據(jù)合成平臺，并利用API從容器中的源（例如應用程序或數(shù)據(jù)庫）中提取數(shù)據(jù)。第二個是可以在選擇的云平臺上部署數(shù)據(jù)合成平臺，并利用云原生API從任何來源（例如外部獨立數(shù)據(jù)源）提取數(shù)據(jù)。  

數(shù)據(jù)合成在以下用例中大放異彩：  

• 在平臺內檢索所需數(shù)據(jù)(SQL)  
• 數(shù)據(jù)檢索(API)  
• 數(shù)據(jù)生成(API)  

按需或按計劃構建更多虛構數(shù)據(jù)  

• 數(shù)據(jù)構建  

基于虛構數(shù)據(jù)按需或計劃構建更多結構化數(shù)據(jù)  

創(chuàng)建滿足需求的結構化或非結構化數(shù)據(jù)  

• 以流媒體行業(yè)為中心的數(shù)據(jù)

使用數(shù)據(jù)管道處理各種行業(yè)標準數(shù)據(jù)  

通過從實時系統(tǒng)中解析和填充來提供真實世界的屬性，從而實現(xiàn)去標識化和匿名化  

涵蓋這些用例中的每一個都超出了本文的范圍，但這個列表讓人們對數(shù)據(jù)合成和測試的適用性領域有一個很好的了解。對于數(shù)據(jù)合成數(shù)據(jù)層的概述，如圖3所示：  

這是數(shù)據(jù)層的概述，以及平臺如何使用美國各地的數(shù)據(jù)字段（郵政編碼和區(qū)號）作為示例將它們聯(lián)系在一起。在圖3的中心，可以看到可以根據(jù)需要擴展的松散耦合數(shù)據(jù)模型。它們構成了從現(xiàn)有數(shù)據(jù)、實施數(shù)據(jù)和行業(yè)標準數(shù)據(jù)進行訪問的核心基礎。這可以使用數(shù)據(jù)設置并基于企業(yè)中的現(xiàn)有數(shù)據(jù)結構進行調整。其輸出是生成的數(shù)據(jù)、參考數(shù)據(jù)和特定于平臺的數(shù)據(jù)。  

在這個簡短的數(shù)據(jù)合成之旅之后，下一步是開始探索名為Project Herophilus的開源項目，企業(yè)可以在其中開始使用數(shù)據(jù)合成平臺。  

企業(yè)將找到數(shù)據(jù)合成的關鍵起始區(qū)域：  

• 數(shù)據(jù)層——設計為可擴展并支持平臺的所有需求。  
• 數(shù)據(jù)層API——支持用戶請求需求的是數(shù)據(jù)層API，這個API集是關于能夠生成數(shù)據(jù)并將其持久化到數(shù)據(jù)層。  
• Web UI(s) ——旨在成為可用于查看企業(yè)實施的數(shù)據(jù)合成數(shù)據(jù)層的最小可行產(chǎn)品。  

數(shù)據(jù)合成項目中的三個模塊應該可以幫助企業(yè)快速開始開發(fā)測試數(shù)據(jù)集。  

4.結論  

隨著企業(yè)收集、探索、轉換和嘗試利用他們的數(shù)據(jù)，測試是一個不斷增長的挑戰(zhàn)。雖然生成測試數(shù)據(jù)集可以解決其中一些問題，但當流程需要擴展時，它通常會失敗。數(shù)據(jù)合成與數(shù)據(jù)管道一起，可以提供可擴展的解決方案，以創(chuàng)建類似于測試系統(tǒng)實際需求的一致數(shù)據(jù)。企業(yè)可以從探索名為Herophilus的開源項目開始，它提供了三個模塊來啟動其第一個數(shù)據(jù)合成項目。

原文鏈接：https://dzone.com/articles/modernizing-testing-with-data-pipelines