為了繼續實現 Spark 更快，更輕松，更智能的目標，Spark 2.3 在許多模塊都做了重要的更新，比如 Structured Streaming 引入了低延遲的連續處理(continuous processing);支持 stream-to-stream joins;通過改善 pandas UDFs 的性能來提升 PySpark;支持第四種調度引擎 Kubernetes clusters(其他三種分別是自帶的獨立模式Standalone，YARN、Mesos)。除了這些比較具有里程碑的重要功能外，Spark 2.3 還有以下幾個重要的更新：

• 引入 DataSource v2 APIs [SPARK-15689, SPARK-20928]
• 矢量化(Vectorized)的 ORC reader [SPARK-16060]
• Spark History Server v2 with K-V store [SPARK-18085]
• 基于 Structured Streaming 的機器學習管道API模型 [SPARK-13030, SPARK-22346, SPARK-23037]
• MLlib 增強 [SPARK-21866, SPARK-3181, SPARK-21087, SPARK-20199]
• Spark SQL 增強 [SPARK-21485, SPARK-21975, SPARK-20331, SPARK-22510, SPARK-20236]

這篇文章將簡單地介紹上面一些高級功能和改進，更多的特性請參見 Spark 2.3 release notes：https://spark.apache.org/releases/spark-release-2-3-0.html。

毫秒延遲的連續流處理

Apache Spark 2.0 的 Structured Streaming 將微批次處理(micro-batch processing)從它的高級 APIs 中解耦出去，原因有兩個：首先，開發人員更容易學習這些 API，不需要考慮這些 APIs 的微批次處理情況;其次，它允許開發人員將一個流視為一個***表，他們查詢流的數據，就像他們查詢靜態表一樣簡便。

但是，為了給開發人員提供不同的流處理模式，社區引入了一種新的毫秒級低延遲(millisecond low-latency)模式：連續模式(continuous mode)。

在內部，結構化的流引擎逐步執行微批中的查詢計算，執行周期由觸發器間隔決定，這個延遲對大多數真實世界的流應用程序來說是可以容忍的。

對于連續模式，流讀取器連續拉取源數據并處理數據，而不是按指定的觸發時間間隔讀取一批數據。通過不斷地查詢源數據和處理數據，新的記錄在到達時立即被處理，將等待時間縮短到毫秒，滿足低延遲的應用程序的需求，具體如下面圖所示：

目前連續模式支持 map-like Dataset 操作，包括投影(projections)、selections以及其他 SQL 函數，但是不支持 current_timestamp(), current_date() 以及聚合函數。它還支持將 Kafka 作為數據源和數據存儲目的地(sink)，也支持 console 和 memory sink。

現在，開發人員可以根據延遲要求選擇模式連續或微量批處理，來構建大規模實時流式傳輸應用程序，同時這些系統還能夠享受到 Structured Streaming 提供的 fault-tolerance 和 reliability guarantees 特性。

簡單來說，Spark 2.3 中的連續模式是實驗性的，它提供了以下特性：

• 端到端的毫秒級延遲
• 至少一次語義保證
• 支持 map-like 的 Dataset 操作
• 流與流進行Join

Spark 2.0 版本的 Structured Streaming 支持流 DataFrame/Dataset 和靜態數據集之間的 join，但是 Spark 2.3 帶來了期待已久的流和流的 Join 操作。支持內連接和外連接，可用在大量的實時場景中。

廣告收益是流與流進行Join的典型用例。例如，展示廣告流和廣告點擊流共享您希望進行流式分析的公共關鍵字(如adId)和相關數據，根據這些數據你可以分析出哪些廣告更容易被點擊。

這個例子看起來很簡答，但是實現流和流的Join需要解決很多技術難題，如下：

• 需要緩存延遲的數據，直到從其他流中找到匹配的事件;
• 通過 watermark 機制來限制緩存區使用增長;
• 用戶可以在資源使用和延遲之間作出權衡;
• 靜態連接和流式連接之間保持一致的SQL連接語義。

Apache Spark 和 Kubernetes

Apache Spark 和 Kubernetes 結合了它們的功能來提供大規模的分布式數據處理一點都不奇怪。在 Spark 2.3 中，用戶可以利用新的 Kubernetes scheduler backend 在 Kubernetes 集群上啟動 Spark 工作。 這使得 Spark 作業可以和 Kubernetes 集群上的其他作業共享資源。

此外，Spark 可以使用所有管理功能，例如資源配額(Resource Quotas)，可插拔授權(Pluggable Authorization)和日志記錄(Logging)。

支持 PySpark 的 Pandas UDFs

Pandas UDFs 也稱為 Vectorized UDFs，是提升 PySpark 性能的主要推動力。它構建在 Apache Arrow 的基礎上，為您提供兩全其美的解決方案：低開銷和高性能的UDF，并完全使用 Python 編寫。

在 Spark 2.3 中，有兩種類型的 Pandas UDF：標量(scalar)和分組映射(grouped map)。 兩者均可在 Spark 2.3 中使用。

下面是運行的一些基準測試，可以看出 Pandas UDFs 比 row-at-time UDFs 提供更好的性能。

MLlib 提升

Spark 2.3 包含了許多 MLlib 方面的提升，主要有算法、特性、性能、擴展性以及可用性。這里只介紹其中三方面。

首先，為了將 MLlib 模型和 Pipelines 移動到生產環境，現在擬合的模型(fitted models)和 Pipelines 可以在 Structured Streaming 作業中使用。 一些現有的管道(Pipelines)需要修改才能在流式作業中進行預測。

其次，為了實現許多 Deep Learning 圖像分析用例，Spark 2.3 引入了 ImageSchema [SPARK-21866] 用于在 Spark DataFrame中表示圖像，以及加載常見格式圖像的實用程序。

***，對于開發人員來說，Spark 2.3 引入了改進的 Python API以編寫自定義算法。