Prometheus 與 VictoriaMetrics 優缺點對比
時序數據庫有很多,比如Prometheus、M3DB、TimescaleDB、OpenTSDB、InfluxDB等等。Prometheus與VictoriaMetrics都是開源的時間序列數據庫,它們都提供了強大的監控和告警解決方案。本文我們分析下Prometheus和VictoriaMetrics之間的差異以及優缺點,從而來為用戶提供最合適的解決方案。
Prometheus
Prometheus最初是 SoundCloud 中的一個項目,是一個功能強大的監控和警報工具包,專門用于處理多維環境中的時間序列數據。由于其對多維數據收集、查詢和警報生成的本機支持,它在 SRE 和 DevOps 社區中變得非常受歡迎。
Prometheus 是在云原生計算基金會 (CNCF) 下開發的。Prometheus 服務器、客戶端庫、Alertmanager 和其他相關組件可以在 Prometheus GitHub 組織中找到。主要存儲庫是:https://github.com/prometheus/prometheus
VictoriaMetrics
VictoriaMetrics則是一個高性能、高性價比、可擴展的時間序列數據庫,可以作為Prometheus的長期遠程存儲。它擁有超強的數據壓縮和高速數據攝取能力,使其成為大規模監控任務的有吸引力的替代方案。VictoriaMetrics源代碼可以在以下位置找到:https://github.com/VictoriaMetrics/VictoriaMetrics
性能比較
VictoriaMetrics 與 Prometheus 之間的數據攝取和查詢率性能基于使用指標的基準node_exporter`測試。內存和磁盤空間使用情況數據適用于單個 Prometheus 或 VictoriaMetrics 服務器。
比較 | Prometheus | VictoriaMetrics |
數據采集 | 基于拉動 | 基于拉式和推式 |
數據攝取 | 每秒高達 240,000 個樣本 | 每秒高達 360,000 個樣本 |
數據查詢 | 每秒高達 80,000 次查詢 | 每秒高達 100,000 次查詢 |
內存使用情況 | 高達 14GB RAM | 高達 4.3GB 的 RAM |
數據壓縮 | 使用LZF壓縮 | 使用 Snappy 壓縮 |
磁盤寫入頻率 | 更頻繁地將數據寫入磁盤 | 減少將數據寫入磁盤的頻率 |
磁盤空間使用情況 | 需要更多磁盤空間 | 需要更少的磁盤空間 |
查詢語言 | PromQL | MetricsQL(向后兼容 PromQL) |
可擴展性和集成性比較
Prometheus使用基于PUll模型來收集指標,可以處理多達數百萬個活動時間序列。該架構雖然簡化了監控服務方的操作。但是也有一定的弊端,比如多個實例抓取的是相同的監控指標,不能保證采集的數據值為一致的,并且在實際的使用中可能遇到網絡延遲問題,所以會產生數據不一致的問題,不過對于監控報警這個場景來說,一般不會要求數據的強一致性,所以從業務上來說是可以接受,因為這種數據不一致性影響基本上沒什么影響。這種場景適合監控規模不大,只需要保存短周期監控數據的場景。
圖片
而 VictoriaMetrics支持pull模型和Push模型。它能夠處理大量數據和更廣泛的網絡場景(得益于其推送模型支持),使其具有可擴展性和靈活性。
Prometheus架構
圖片
Prometheus的架構由四個主要組件組成:
- Prometheus Server :Prometheus Server是Prometheus的核心組件,主要負責從各個目標(target)中收集指標(metrics)數據,并對這些數據進行存儲、聚合和查詢。
- Client Libraries :Prometheus提供了多種客戶端庫,用于在應用程序中嵌入Prometheus的指標收集功能。
- Exporters :Exporters是用于將第三方系統的監控數據導出為Prometheus格式的組件。Prometheus支持多種Exporters,例如Node Exporter、MySQL Exporter、HAProxy Exporter等。
- Alertmanager:Alertmanager是Prometheus的告警組件,用于根據用戶定義的規則對監控數據進行告警。
- 服務發現:Prometheus 支持各種服務發現機制,幫助它找到應該抓取的目標。
- PromQL:這是 Prometheus 內置的靈活查詢語言,用于數據探索和儀表板,與 SQL 不同。
VictoriaMetrics架構
VictoriaMetrics 提供單機版和集群版。如果您的每秒寫入數據點數小于100萬(這個數量是個什么概念呢,如果只是做機器設備的監控,每個機器差不多采集200個指標,采集頻率是10秒的話每臺機器每秒采集20個指標左右,100萬/20=5萬臺機器),VictoriaMetrics 官方默認推薦您使用單機版,單機版可以通過增加服務器的CPU核心數,增加內存,增加IOPS來獲得線性的性能提升。且單機版易于配置和運維。
下面這是一個集群版的架構圖
圖片
VictoriaMetrics在保持更簡單的架構的同時,還包括幾個核心組件:
- vmstorage:數據存儲以及查詢結果返回,默認端口為 8482
- vminsert:數據錄入,可實現類似分片、副本功能,默認端口 8480
- vmselect:數據查詢,匯總和數據去重,默認端口 8481
- vmagent:數據指標抓取,支持多種后端存儲,會占用本地磁盤緩存,默認端口 8429
- vmalert:報警相關組件,如果不需要告警功能可以不使用該組件,默認端口為 8880
數據壓縮和存儲效率
Prometheus擁有高效的存儲系統,但在長期數據存儲后端和檢索效率方面不如VictoriaMetrics。
VictoriaMetrics 相對于 Prometheus 的主要優勢之一是其數據壓縮功能。它的數據壓縮算法,可顯著降低存儲要求。VictoriaMetrics 聲稱提供比 Prometheus 高出 10 倍的數據壓縮,這是長期數據保留和成本優化的關鍵優勢。
Prometheus
- 內存存儲:Prometheus利用內存存儲來訪問最近的時間序列數據。數據庫中的這個部分被稱為head block。
- 磁盤存儲:當數據達到一定的年齡或大小后,位于"head block"中的數據會被移動到磁盤中,這個過程稱為checkpointing。這個數據庫由長期存儲的"persistent blocks"組成。
VictoriaMetrics
1.內存存儲:與 Prometheus 類似,VictoriaMetrics 使用內存存儲在傳入數據寫入磁盤之前進行緩沖。這種方法有助于優化寫入性能。同時還緩存經常訪問的數據以加快檢索速度。
2.磁盤存儲:VictoriaMetrics 中的大部分數據存儲在磁盤上。它使用一種高效的存儲格式,可以實現大幅度地進行數據壓縮。
查詢語言
PromQL
Prometheus使用PromQL。PromQL 允許實時選擇和聚合時間序列數據。它使我們能夠高度靈活地使用指標。通過 PromQL,用戶可以過濾和聚合指標,計算比率、比率、平均值和百分位數等指標。
MetricsQL
VictoriaMetrics向后兼容 PromQL。我們都可以按照理解的 PromQL 語法來進行查詢。但是,它還引入了 PromQL 的擴展,稱為MetricsQL。MetricsQL 增強了 PromQL 提供的查詢功能。它引入了新函數、運算符和語法糖。簡化并改善了用戶體驗,特別是對于復雜的查詢和聚合。
攝取率
Prometheus
- Prometheus定期從監控目標中獲取指標。這些獲取的頻率的調整可以控制數據攝取速率。
- Prometheus實際上能夠攝取數據的速率取決于許多因素,包括運行的硬件性能、被獲取的指標的復雜性以及存儲層的效率。
- 如果Prometheus無法跟上傳入數據量,可能會丟棄樣本或增加延遲。
VictoriaMetrics
- VictoriaMetrics則比Prometheus更加高效利用資源。它聲稱在相同的數據量下,能夠更高效地攝取數據,使用更少的CPU、內存和磁盤空間。
- 這種效率使得VictoriaMetrics在相同硬件上能夠比Prometheus更快地攝取數據。
- 在架構設計方面,VictoriaMetrics可以通過拉取(與Prometheus類似)和推送模式來攝取數據。推送模式對于高基數數據和攝取速率是有幫助的。
高可用性和可靠性
Prometheus 本身并不支持集群,這意味著它不提供原生高可用性。高可用性可以通過運行重復實例來實現,或者thanos架構,當然也可以整合VictoriaMetrics。
來源:vivo容器監控系統架構
而VictoriaMetrics 在設計時就考慮到了高可用性。它使用復制和集群來確保在實例發生故障時數據不會丟失,從而成為了很多大廠的選擇。
API接口
Prometheus和VictoriaMetrics都提供了基于 Http的 API接口,以滿足客戶端調用需求
Prometheus API
- 查詢:Prometheus提供了PromQL查詢語言,用戶可以使用該語言通過HTTP API查詢指標數據。
- 元數據:API endpoint提供對 Prometheus 服務器中關系列和標簽的元數據的訪問。
- 管理:某些管理任務,例如刪除系列、快照等,也可以通過 API 執行。
VictoriaMetrics API
VictoriaMetrics提供了一個全面的HTTP API,根據功能分為幾個部分:
- 適用于Prometheus的指標API:此API與Prometheus的HTTP API兼容,這意味著可以將VictoriaMetrics作為Prometheus的替代品。
- InfluxDB API:VictoriaMetrics還提供與InfluxDB的寫入和查詢API兼容的API。這使得從InfluxDB切換到VictoriaMetrics也很容易。
- Graphite API:VictoriaMetrics還為Graphite的API提供了一個兼容層。
- MetricsQL和PromQL API:這些API用于查詢存儲在VictoriaMetrics中的指標數據。MetricsQL是VictoriaMetrics特定的PromQL擴展,提供了PromQL中不可用的額外功能。
與 Grafana 集成
由于 VictoriaMetrics兼容Prometheus,所以在 在 Grafana 進行可視化配置時,可以使用“Prometheus”數據源,并將 Url 設置為VictoriaMetrics Server 地址即可。
總結
以上我們總結Prometheus與VictoriaMetrics的各個方面的對比,雖然VictoriaMetrics在某些方面可能比Prometheus更強大,比如在處理大規模數據和高并發負載時的性能表現,完全可以替換Prometheus,但它相對來說是相對較新的項目,尚未達到Prometheus在用戶社區和廣泛采用方面的水平。此外,Prometheus的發展時間更早,是CNCF第二個畢業的項目,已經得到了大量用戶的驗證,并且有更多的文檔、教程和案例可供參考。
此外,技術的流行和廣泛采用并不僅僅取決于技術本身的性能,還受到多個因素的影響,包括市場宣傳、社區支持、用戶體驗和可用性等。Prometheus在這些方面都做得相對較好,因此在監控領域更為流行和廣泛采用。
參考