實時處理大數據的分布式系統Druid-IO
作者:佚名
Druid 是一個用于大數據實時查詢和分析的高容錯、高性能開源分布式系統,旨在快速處理大規模的數據,并能夠實現快速查詢和分析。
Druid 是一個用于大數據實時查詢和分析的高容錯、高性能開源分布式系統,旨在快速處理大規模的數據,并能夠實現快速查詢和分析。
Druid 具有以下主要特征:
- 為分析而設計——Druid 是為 OLAP 工作流的探索性分析而構建,它支持各種過濾、聚合和查詢等類;
- 快速的交互式查詢——Druid 的低延遲數據攝取架構允許事件在它們創建后毫秒內可被查詢到;
- 高可用性——Druid 的數據在系統更新時依然可用,規模的擴大和縮小都不會造成數據丟失;
- 可擴展——Druid 已實現每天能夠處理數十億事件和 TB 級數據。
當業務中出現以下情況時,Druid 是一個很好的技術方案選擇:
- 需要交互式聚合和快速探究大量數據時;
- 需要實時查詢分析時;
- 具有大量數據時,如每天數億事件的新增、每天數 10T 數據的增加;
- 對數據尤其是大數據進行實時分析時;
- 需要一個高可用、高容錯、高性能數據庫時。
查詢操作中數據流和各個節點的關系如下圖所示:
如下圖是 Druid 集群的管理層架構,該圖展示了相關節點和集群管理所依賴的其他組件(如負責服務發現的ZooKeeper集群)的關系:
責任編輯:未麗燕
來源:
開源中國社區