流式計算系統之對比
表1就上述3個流式系統做個分類比較,比較項基于DEBS2011會議上IFPSurvey中涉及的各種Models。Processing Model描述流元組進行計算時的選擇策略、消費策略及負載降級處理。Interaction Model描述輸入組件和計算系統、計算系統內部及計算系統和輸出組件的交互方式。Time Model描述事件流是否按照時間約束。Rules Model描述流式計算規則是顯示還是隱式。Data Model描述流中的數據組成、格式等。Function Model描述流式計算系統的功能模型。Language Model描述語言層面的各種算子。
表1 3種流式系統的模型對比
小結
本文介紹了業界主流的3個流式計算系統,希望從這些系統的設計中領悟到不同場景下流式計算所要解決的關鍵問題。
Yahoo! S4的***版本是Alpha version v0.3.0,動態負載均衡和在線服務遷移等重要功能都尚未實現,不過其代表性的3個特點值得學習,Actor模式、非中心化的對稱結構及可插入式的架構。
StreamBase是有著功能強大的IDE并且支持控件式的方法來搭建應用程序,同時還提供了高級語言來搭建應用程序的方法。由于是商業產品,其用戶接口的精彩設計值得借鑒,同時其可組合的HA方案也是亮點之一。
Borealis是學術界研究的重要產出,它對新一代的流式系統涉及的諸多方面,如系數據模型、負載管理、高可用性、可擴展性都作了全面和翔實的研究,一方面系統變得強大、先進,另一方面使得系統也變得臃腫、復雜。這套系統的許多策略都值得我們學習,可以應用于不同的流式計算場景。
【編輯推薦】