網管數據庫10年變遷:從文件存儲到RealDB
【51CTO.com 綜合報道】網管軟件離不開數據庫,數據庫既是網管軟件的重要組成部分,又是決定網管軟件性能的重要因素,一款好的網管軟件一定有一個與之相匹配的合適的數據庫。一些網管軟件廠商為了優化和提高網管軟件的性能,自己來開發專用的數據庫,比如MXsoft(美信)公司的CreCloud云網管就是自己開發的分布式專用實時數據庫。所以,要談網管軟件的歷史和創新,就離不開所使用的數據庫的歷史和創新。讓我們來看看,國內網管數據庫在過去的10年中經歷了哪些變遷和創新。
***代數據存儲方法:文件存儲
10年前,也就是2000年,美國有一個做服務器監測的公司叫Freshwater,這個公司使用文件格式來存儲數據,這種方法簡單靈活,所以被引進國內成為了國內網管軟件使用的***代數據存儲方法。不過大家很快就發現,這種文件格式存儲數據的方法有諸多不足:比如當數據量稍大時,數據存取的效率就會大幅下降;當歷史數據增多時,生成報表的速度非常慢;性能不夠穩定,數據很容易丟失或者損壞。既然這種文件存儲的方法有這么多缺點,又為什么會被采用呢?
MXsoft(美信)公司的技術總監陳新剛給了我們解釋,由于當時網管技術在中國剛起步,大家的注意力和重心集中在數據采集方面,數據存儲還沒有引起足夠多的重視。當時大家認為數據采集回來,只要有地方放就可以了。當產品在用戶處部署,數據量逐漸增加時,文件存儲的問題才一一暴露出來。這種文件格式存儲數據的方法很快被淘汰,大家努力尋找更加穩定可靠的新的數據存儲方法。
第二代數據存儲方法:通用數據庫
網管軟件采用通用數據庫來進行數據存儲,首先被采用的MySQL數據庫。MySQL作為開源數據庫的代表,開發和部署成本都非常低,所以首先被大家采用,即使到現在,依然有許多的網管軟件后臺使用MySQL數據庫。用MySQL存儲數據比起文件格式來,性能和可靠性都大大提升了。然而過了一段時間以后,大家發現對于大數據量的存儲,MySQL效率依然比較低,而且穩定性比起商業數據庫來要弱一些。
于是大家又開始嘗試使用商業數據庫來進行網管數據存儲,用的最多的就是SQL Server和Oracle。這兩種商業數據庫各有優劣,在Windows平臺下,SQL Server部署方便,成本也較低;Oracle則是許多大型企業和重要應用的***選擇,這些企業自然也希望網管軟件的數據能夠存儲到Oracle中。
不過最終大家發現,這兩種數據庫在面對大型IT基礎架構的海量網管數據存儲時,依然速度不夠快、效率不夠高。比如,在某大型運營商的網管項目中,需要監控的服務器、網絡設備和應用一共有200多個。該項目使用了Oracle數據庫來進行數據存儲,最初的性能表現還是不錯的,然而當網管軟件運行2個月以后,軟件的界面響應時間和報表生成效率就開始逐漸下降,后來網管軟件的平均頁面響應時間超過了8秒,這大大的超出了人們的等待極限。
就這一問題,MXsoft(美信)公司CTO陳新剛就多年的開發和用戶溝通經驗告訴我們,當人們坐在電腦前面,點擊一個軟件或者應用的頁面時,對頁面彈出時間的感受程度如下:
◆0-3秒,滿意
◆3-5秒,一般,但可以接受
◆5-8秒,差,不愿意接受
◆8秒以上,非常差,無法接受
網管廠商們想通過商業數據庫來解決網管軟件在監控大型項目時,海量數據的存儲效率問題沒有成功,這時一些做高端客戶的、富于創新的企業開始嘗試自己開發數據庫,MXsoft就是其中的杰出代表。
第三代數據存儲方法:專用數據庫
MXsoft開發成功的數據庫名字叫RealDB,即實時數據庫,究竟這種數據庫同通用數據庫如SQL Server和Oracle等有何區別呢?陳新剛告訴我們:通用數據庫主要是為了滿足對各種復雜應用的數據進行安全存儲,所以SQL解析層有許多注重安全性的冗余設計,雖然犧牲了效率,但是保證了數據的安全穩定性。而對于網管軟件來說,最重要的是實時性,要實現對大規模海量數據的實時監測和告警,就需要數據庫具備快速的數據處理能力,監測和告警如果延時太長,就失去了實時監控的意義。MXsoft的RealDB去掉了影響數據存儲的SQL解析層,采用了記錄級鎖、以及簡化數據結構去掉冗余算法的技術,極大的提高了并發處理數據的能力,滿足了網管軟件在大規模海量監控時的高強度數據記錄處理,從而一舉解決了傳統通用數據庫(SQL Server,Oracle,MySQL等) 在大規模海量監測時的瓶頸。
目前MXsoft的RealDB版本已經是3.0,數據處理效率在所有國內同行中排名***。在某大型石油公司的加油站項目測試中,單套軟件實時監測10000個點,每日采集數據高達100M,而軟件界面響應時間始終控制在3秒之內,這是非常了不起的成績,這個性能表現是所有參加測試的國內外10多款產品中表現***秀的,創造了網管軟件的性能記錄,當然也順理成章的為MXsoft贏得了訂單和客戶的贊譽。也正是基于RealDB實時數據庫的優異表現,MXsoft才能夠推出全球首創的CreCloud云網管。RealDB和CreCloud云網管的***配合,誕生了世界上迄今為止***的一個商業網管項目—10萬臺服務器和網絡設備的集中統一監控,這也是中國網管廠商帶給世界的一個奇跡。
從最初的文件存儲到現在的RealDB,國內網管數據庫伴隨著網管軟件的發展已經走過了10個年頭,這其中許多的網管廠商在開發和探索過程中都做出了他們的貢獻。我們期盼著MXsoft、或者是其他廠商能夠開發出更多充滿創新的、性能不斷刷新的、適合網管軟件的新的數據庫,或者它們叫RealDB,或許它們叫CMDB,這些都不重要,關鍵是我們在創新。只要有創新,我們就會不斷進步;只要有創新,我們就有可能***行業;只要有創新,我們就能夠贏得未來的挑戰。國內的網管廠商們,讓我們一起努力創新吧!