本次分享的內容是監控報警系統搭建，以及基于開源組件的二次開發。自從接受了公司監控報警系統二期開發需求以來，我們完成了監控數據的補全完善、報警系統搭建調試和報警規則配置界面的開發。下圖是監控報警系統的架構圖，除了業務數據收集器外，其余全部基于原生開源組件或二次開發完成，整個系統采用TICK(telegraf + influxdb + chronograf + kapacitor)架構，使用go語言實現。

• influxdb時間序列數據庫

influxdb數據庫是一個時間序列數據庫，他會為每行數據打上時間戳，即使數據被并發寫入，也會按照時間先后順序存儲。同時它也是一個關系型數據庫，可以通過sql語言進行增刪改查，學習成本低。官方提供了一個簡單實用的web界面，非常地人性化。在工程實踐中，我們發現了它的一個坑，在大數據量查詢時會crash，重啟后才能恢復，這個問題仍待研究。不必擔心的是，因為監控系統中不存在特別大數據量的查詢，生產環境下influxdb的性能表現十分良好。

• telegraf數據收集器

telegraf是一個數據收集器，負責收集所有的原始數據，格式化后存入influxdb。telegraf內置了大量的數據輸入、輸出和分析插件，能夠收集php-fpm、nginx、access log、mysql、redis等組件的監控數據。telegraf的擴展性很強，開源社區也十分活躍，來自世界各地的開發者們會源源不斷地貢獻新的插件。我們基于它的插件架構開發了redis queue input plugin和access log parser plugin，用于收集和分析Laravel框架隊列和access log數據。

• collector業務數據收集器

collector是整個系統中唯一自研的組件。由于業務監控數據查詢規則復雜多變，我們開發了這個組件，用于從MySQL中查詢業務數據，支持配置sql語句、收集頻率、時間延遲等，并且按照influxdb的格式發送給telegraf數據收集器。

• kapacitor報警器

kapacitor是一個可以按照預先編寫好的規則，實時地訂閱influxdb數據或者批量查詢數據，并進行報警(郵件、短信、日志、exec等方式)的工具。官方為它設計了一個tickscript語言，可以方便地編寫規則腳本。我們的主要工作是tickscript的學習調試、報警規則的設計、報警周期(every字段)的調整和數據窗口(period字段)的調整。我們將報警腳本的修改重啟、報警腳本運行狀態的查詢和influxdb數據訂閱狀態的查詢等命令編寫成了shell腳本，便于后期維護和自動化。

• grafana數據可視化界面

grafana是一個數據可視化的組件，類似著名ELK架構中的kibana組件，支持多種數據源(influxdb、zabbix、elasticsearch等)，還有很多插件可供安裝，在***版本中加入了簡單的alert、電視模式等新功能。特別需要分享的是某些監控數據是隨時間不斷累加的，在展示時要應用聚合函數(difference、max、min等)進行處理。同時還可以為單個圖表配置超鏈接，增強交互性和可用性。還有很多有趣的功能，留待大家研究發現。

• chronograf可視化界面

chronograf是influxdata官方提供的一個數據可視化組件，可視化功能不如grafana強大，亮點是附帶了kapacitor組件的web界面，可以方便地配置報警規則，自動生成并啟用tickscript，還可以查詢報警歷史。我們對它進行了修改，美化了報警郵件的模板，增加了報警周期(every字段)和報警時間段的配置，讓郵件內容更加友好，并且可以自由調整報警周期。

綜上，我們在TICK開源架構上，結合我們自身業務特點和需求，研發了一整套包含數據采集格式化、可視化監控、自動化報警功能的監控報警系統，今后還將不斷調整優化，更好地為公司業務發展和技術研發團隊服務。