譯者 | 布加迪

審校 | 重樓

51CTO讀者成長(zhǎng)計(jì)劃社群招募，咨詢小助手（微信號(hào)：CTOjishuzhan）

總部位于加州的數(shù)據(jù)工程公司Prophecy近日宣布了其核心平臺(tái)的新版本，該平臺(tái)具有低代碼SQL功能。

名為Prophecy 3.0的版本為數(shù)據(jù)工程師將該平臺(tái)的范圍擴(kuò)大到了低代碼Spark之外，并為企業(yè)數(shù)據(jù)用戶提供了一款可視化的拖放式畫布，可用來在云數(shù)據(jù)平臺(tái)上直接構(gòu)建數(shù)據(jù)管道。

以前，這個(gè)過程需要他們編寫復(fù)雜的SQL代碼，這會(huì)造成延遲和準(zhǔn)確性問題，并影響下游的分析和機(jī)器學(xué)習(xí)工作。

1、低代碼SQL：它如何幫助數(shù)據(jù)管道？

構(gòu)建數(shù)據(jù)管道本質(zhì)上是準(zhǔn)備數(shù)據(jù)進(jìn)行分析。這意味著為諸多任務(wù)編寫SQL代碼：比如從數(shù)據(jù)庫(kù)中提取數(shù)據(jù)、轉(zhuǎn)換和清理信息以及將其加載到目標(biāo)數(shù)據(jù)平臺(tái)中。對(duì)于數(shù)據(jù)工程師來說，這些都很平常，但是如果數(shù)據(jù)用戶試圖自行準(zhǔn)備數(shù)據(jù)（可能是為了滿足特定的業(yè)務(wù)需求），這個(gè)過程就可能會(huì)成為瓶頸，導(dǎo)致無法及時(shí)為計(jì)劃的分析提供正確的數(shù)據(jù)。

畢竟，大多數(shù)業(yè)務(wù)用戶都是數(shù)據(jù)專家，而不是專家級(jí)數(shù)據(jù)工程師。

通過為平臺(tái)添加低代碼SQL，Prophecy彌合了這個(gè)差距，并為業(yè)務(wù)數(shù)據(jù)用戶提供可視化的拖放式界面，以構(gòu)建他們所需的數(shù)據(jù)管道。一旦使用這款畫布，平臺(tái)的技術(shù)就會(huì)將表示轉(zhuǎn)換成切實(shí)可行的SQL代碼（作為開源dbt Core項(xiàng)目），并準(zhǔn)備好管道進(jìn)行分析。

Prophecy的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Raj Bains告訴IT外媒VentureBeat：“業(yè)務(wù)團(tuán)隊(duì)可以快速簡(jiǎn)單地自行準(zhǔn)備數(shù)據(jù)進(jìn)行分析。這使他們能夠更快地交付分析成果，快速適應(yīng)不斷變化的業(yè)務(wù)需求。更重要的是，這還解放了常常不堪重負(fù)的集中式數(shù)據(jù)平臺(tái)團(tuán)隊(duì)。”

圖1. 具有低代碼SQL功能的Prophecy 3.0

值得注意的是，該技術(shù)也可以反向工作：用戶可以在Prophecy中打開現(xiàn)有的dbt Core項(xiàng)目，并將SQL代碼編輯為可視化管道，更改回過頭來保存為SQL。

Bains補(bǔ)充說：“早期用戶也非常高興低代碼開發(fā)者和SQL碼農(nóng)現(xiàn)在可以在同一個(gè)環(huán)境中工作，因?yàn)镻rophecy可以同時(shí)將低代碼管道轉(zhuǎn)換成SQL代碼、將SQL代碼轉(zhuǎn)換成低代碼管道。”

2、統(tǒng)一平臺(tái)

雖然低代碼SQL是新的，但要注意的是，這不是該平臺(tái)的第一個(gè)可視化工具。該公司已經(jīng)為Spark、Spark Streaming和Apache Airflow（用于數(shù)據(jù)工作流編排）提供低代碼支持——為具有不同專長(zhǎng)和需求的用戶提供了統(tǒng)一的服務(wù)。

Gartner前大數(shù)據(jù)和高級(jí)分析研究副總裁Sanjeev Mohan說：“當(dāng)不同的數(shù)據(jù)團(tuán)隊(duì)使用不同的工具來構(gòu)建管道時(shí)，這增加了成本、時(shí)間和風(fēng)險(xiǎn)……Prophecy 3.0版本可以幫助使用SQL的數(shù)據(jù)分析師、使用Spark的數(shù)據(jù)工程師、使用Apache Airflow的DevOps工程師借助統(tǒng)一的低代碼平臺(tái)進(jìn)行協(xié)作。這開辟了新的可能性，比如始終如一地運(yùn)用數(shù)據(jù)質(zhì)量檢查，而不必考慮具體的語(yǔ)言，并啟用自助服務(wù)框架來創(chuàng)建數(shù)據(jù)產(chǎn)品。”

Eckerson Group的研究副總裁Kevin Petrie表示了同樣的觀點(diǎn)，他特別指出，往Prophecy的產(chǎn)品組合添加低代碼SQL，為面向SQL的數(shù)據(jù)工程師和面向dbi的分析工程師構(gòu)建、管理和編排支持現(xiàn)代分析項(xiàng)目的管道提供了新的選擇。

他說：“企業(yè)繼續(xù)采用將基于SQL的查詢和轉(zhuǎn)換運(yùn)用于云原生對(duì)象存儲(chǔ)的湖倉(cāng)一體平臺(tái)。通過添加SQL管道功能，Prophecy顯著擴(kuò)大了其潛在市場(chǎng)。”

Prophecy 3.0現(xiàn)已上線，可以在Databricks湖倉(cāng)一體平臺(tái)上使用。

原文鏈接：https://venturebeat.com/data-infrastructure/how-prophecy-3-0-enables-businesses-to-build-data-pipelines-without-writing-sql-code/