zure Synapse Analytics 是一項針對大型公司的無限信息分析服務(wù)，它被呈現(xiàn)為 Azure SQL 數(shù)據(jù)倉庫 (SQL DW) 的演變，將業(yè)務(wù)數(shù)據(jù)存儲和宏或大數(shù)據(jù)分析結(jié)合在一起。

在處理、管理和提供數(shù)據(jù)以滿足即時商業(yè)智能和數(shù)據(jù)預(yù)測需求時，Synapse 為所有工作負(fù)載提供單一服務(wù)。后者通過與 Power BI 和 Azure 機(jī)器學(xué)習(xí)的集成而成為可能，因為 Synapse 能夠使用 ONNX 格式集成數(shù)學(xué)機(jī)器學(xué)習(xí)模型。它提供了處理和查詢大量信息的自由度.作為微軟在西班牙為數(shù)不多的 Power BI 合作伙伴之一，在 Bismart，我們在使用 Power BI 和 Azure Synapse 方面擁有豐富的經(jīng)驗。

Azure Synapse 分析如何工作?

微軟的服務(wù)是SaaS(軟件即服務(wù))，可以按需使用，只在需要的時候運行(這對成本節(jié)約有影響)。它有四個組成部分：

• 具有完整基于 T-SQL 的分析的 SQL 分析：SQL 集群(按計算單位付費)和 SQL 按需(按處理的 TB 付費)。
• Apache Spark 完全集成。
• 具有多個數(shù)據(jù)源的連接器。

Azure Synapse 使用 Azure Data Lake Storage Gen2 作為數(shù)據(jù)倉庫和包含管理、監(jiān)視和元數(shù)據(jù)管理部分的一致數(shù)據(jù)模型。在安全領(lǐng)域，它允許您保護(hù)、監(jiān)視和管理您的數(shù)據(jù)和分析解決方案，例如使用單點登錄和 Azure Active Directory 集成。基本上，Azure Synapse 完成了整個數(shù)據(jù)集成和 ETL 過程，它不僅僅是一個普通的數(shù)據(jù)倉庫，因為它包括該過程的進(jìn)一步階段，使用戶還可以創(chuàng)建報告和可視化。

在編程語言支持方面，它提供了 SQL、Python、.NET、Java、Scala 和 R 等多種語言的選擇。這使其非常適合不同的分析工作負(fù)載和不同的工程配置文件。

一切都包含在 Synapse Analytics Studio 中，可以輕松地將人工智能、機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)、智能應(yīng)用程序或商業(yè)智能集成到同一個統(tǒng)一平臺中。

使用 T-SQL 和 Spark

關(guān)于執(zhí)行時間，它允許兩個引擎。一方面是傳統(tǒng)的 SQL 引擎 (T-SQL)，另一方面是 Spark 引擎。通過這種方式，可以將 T-SQL 用于批處理、流式處理和交互式處理，或者在需要使用 Python、Scala、R 或 .NET 進(jìn)行大數(shù)據(jù)處理時使用 Spark。

在這里，它直接鏈接到 Azure Databricks，這是一種基于 Apache Spark 的人工智能和宏數(shù)據(jù)分析服務(wù)，允許在交互式工作區(qū)中對共享項目進(jìn)行自動可擴(kuò)展性和協(xié)作。Azure Synapse 在兩種服務(wù)之間提供了一個高性能連接器，可實現(xiàn)快速數(shù)據(jù)傳輸。這意味著可以繼續(xù)使用 Azure Databricks(Apache Spark 的優(yōu)化)和專門用于提取、轉(zhuǎn)換和加載 (ETL) 工作負(fù)載的數(shù)據(jù)架構(gòu)，以大規(guī)模準(zhǔn)備和塑造數(shù)據(jù)。反過來，Azure Synapse 和 Azure Databricks 可以對 Azure Data Lake Storage 中的相同數(shù)據(jù)運行分析。

Azure Synapse 和 Azure Databricks 為我們提供了更大的機(jī)會，可以將分析、商業(yè)智能和數(shù)據(jù)科學(xué)解決方案與服務(wù)之間的共享數(shù)據(jù)湖相結(jié)合。

在實現(xiàn)最大兼容性和功率的道路上

最初，Microsoft 服務(wù)是作為公司必須面對的兩個基本問題的解決方案而提出的。首先是兼容性。它集成的數(shù)據(jù)分析系統(tǒng)能夠同時處理傳統(tǒng)系統(tǒng)和非結(jié)構(gòu)化數(shù)據(jù)以及各種數(shù)據(jù)源。因此，它能夠分析存儲在系統(tǒng)中的數(shù)據(jù)，例如客戶數(shù)據(jù)庫(姓名和地址位于像電子表格一樣排列的行和列中)以及存儲在數(shù)據(jù)湖中的鑲木地板格式的數(shù)據(jù)。

但它還在自動處理任務(wù)以構(gòu)建用于分析數(shù)據(jù)的系統(tǒng)方面提供了更大的多功能性。這種增強(qiáng)的功能直接導(dǎo)致減少了程序員所需的工作量，并延長了項目開發(fā)時間(它是第一個也是唯一一個以 PB 級執(zhí)行所有 TPC-H 查詢的分析系統(tǒng))。

Azure Synapse 實現(xiàn)了需要幾個月的項目可以在幾天內(nèi)完成，或者需要幾分鐘或幾小時的復(fù)雜數(shù)據(jù)庫查詢現(xiàn)在只需幾秒鐘。

毫秒內(nèi)成功協(xié)商

除了單獨擴(kuò)展進(jìn)程和存儲資源之外，Azure Synapse Analytics 還因其結(jié)果緩存功能而脫穎而出(它具有完全托管的 1 TB 緩存)。因此，當(dāng)進(jìn)行查詢時，它會存儲在此緩存中，以加快使用相同類型數(shù)據(jù)的下一個查詢。

這是它能夠在毫秒內(nèi)引發(fā)響應(yīng)的關(guān)鍵之一。這是因為緩存在暫停、恢復(fù)和擴(kuò)展操作(可以通過為云設(shè)計的大規(guī)模并行處理架構(gòu)非常快速地激活)中幸存下來。

工作負(fù)載和性能

同樣值得注意的是它對 JSON 的全面支持、數(shù)據(jù)屏蔽以確保高水平的安全性、對 SSDT(SQL Server 數(shù)據(jù)工具)的支持，尤其是工作負(fù)載管理以及如何對其進(jìn)行優(yōu)化和隔離。在這里，多個工作負(fù)載共享實現(xiàn)的資源。這使得創(chuàng)建工作負(fù)載并為其分配 CPU 數(shù)量和并發(fā)性成為可能。

例如，在擁有 1000 個 DWU(數(shù)據(jù)倉庫單元)的情況下，Azure Synapse 有助于將工作的一部分分配給銷售，另一部分分配給市場營銷(例如 60% 分配給一個，40% 分配給另一個)。這個想法是為了便于管理和優(yōu)先考慮數(shù)據(jù)庫查詢。

在數(shù)據(jù)準(zhǔn)備和攝取方面，它支持以集成方式流式傳輸(Native SQL Streaming)以生成分析，例如與事件中心或物聯(lián)網(wǎng)中心集成。它通過實現(xiàn)高達(dá) 200MB/秒的高性能、以秒為單位的交付延遲、隨計算規(guī)模擴(kuò)展的攝取性能以及使用基于 Microsoft SQL 的組合、聚合、過濾器查詢的分析能力來實現(xiàn)這一目標(biāo)……

一些附加功能

最后，我們必須強(qiáng)調(diào) Azure Synapse Analytics 的其他有趣方面，這些方面有助于加快數(shù)據(jù)加載和促進(jìn)流程。其中有：

• 對于數(shù)據(jù)準(zhǔn)備和加載，復(fù)制命令不再需要外部表，因為它允許您將表直接加載到數(shù)據(jù)庫中。
• 它提供對標(biāo)準(zhǔn) CSV 的全面支持：換行符和自定義分隔符以及 SQL 日期。
• 提供用戶控制的文件選擇(通配符支持)
• 機(jī)器學(xué)習(xí)支持：可以以 ONNX 格式創(chuàng)建和保存機(jī)器學(xué)習(xí)模型，這些模型存儲在 Azure Synapse 數(shù)據(jù)存儲中并與本機(jī) PREDICT 指令一起使用。

與 Data Lake 集成：來自 Azure Synapse，文件以 Parquet 格式在 Data Lake 中讀取，從而實現(xiàn)了更高的性能，將 Polybase 執(zhí)行提高了 13 倍以上。

簡而言之，一種保證開發(fā)線的服務(wù)，以確保 SQL DW 客戶可以繼續(xù)在生產(chǎn)中運行現(xiàn)有的數(shù)據(jù)存儲工作負(fù)載并自動受益于新功能。

本文轉(zhuǎn)載自微信公眾號「超級架構(gòu)師」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系超級架構(gòu)師公眾號。