分布式對象存儲Ozone從Apache基金會畢業(yè),正式成為Apache頂級項目
剛剛獲悉,Apache基金董事會通過一致表決,正式批準分布式文件對象存儲Ozone從Hadoop社區(qū)孵化成功,成為獨立的Apache頂級開源項目。這意味著,作為騰訊大數(shù)據(jù)團隊首個參與和主導的開源項目,Ozone已得到全球Apache技術(shù)專家的一致認可,成為世界頂級的存儲開源項目之一。
Ozone 是Apache Hadoop社區(qū)推出的面向大數(shù)據(jù)領(lǐng)域的新一代分布式存儲系統(tǒng),它的推出解決了Hadoop分布式文件系統(tǒng)在可擴展性上限方面的缺陷問題,能夠支持百億甚至千億級文件規(guī)模的存儲。
自1999年成立以來,Apache 軟件基金會已成功建立起強大的生態(tài)圈,其社區(qū)涌現(xiàn)了非常多優(yōu)秀的開源項目,同時有越來越多國內(nèi)外項目走向這個國際開源社區(qū)進行孵化。目前所有的 Apache 項目都需要經(jīng)過孵化器孵化,滿足一系列質(zhì)量要求之后才可畢業(yè)。Ozone從Hadoop社區(qū)孵化成功,不僅是項目本身的重要里程碑,也是對項目成員學習Apache Way和推動社區(qū)發(fā)展等一系列成果的認可。
今年9月,騰訊主導的Ozone 1.0.0版本在Apache Hadoop社區(qū)正式發(fā)布,標志著歷經(jīng)了2年多的社區(qū)持續(xù)開發(fā),Ozone 已經(jīng)具備了在大規(guī)模生產(chǎn)環(huán)境下部署使用的能力。Ozone的設(shè)計,吸收和借鑒了很多HDFS的優(yōu)點。同時支持兼容AWS S3協(xié)議的對象訪問接口,且兼容 Hadoop Compatible File System的分布式文件訪問接口。
Ozone構(gòu)架圖
除了參與和貢獻社區(qū),在0zone的應(yīng)用層面,騰訊也走在前列。據(jù)了解,在騰訊內(nèi)部,目前已經(jīng)在對象和容器等一些場景使用了Ozone,并且獲得了內(nèi)部用戶積極的好評反饋,后續(xù)也會持續(xù)將這部分經(jīng)驗分享出來。
隨著1.0.0 的發(fā)布,騰訊參與和見證了 Ozone 孵化成為一個 Apache 頂級開源項目的過程。騰訊大數(shù)據(jù)團隊Ozone項目技術(shù)負責人陳怡也被社區(qū)推選為Apache Ozone 首位項目主席(Chair) ,同時項目團隊誕生了多位PMC成員和committer,帶領(lǐng)社區(qū)一起把Ozone向新一代大數(shù)據(jù)文件對象存儲系統(tǒng)推進。
Ozone的生態(tài)棧
“隨著Ozone 成為Apache 頂級項目,越來越多的貢獻者加入到社區(qū)的開發(fā)中。騰訊內(nèi)部,一方面計劃在Ozone的基礎(chǔ)上,開發(fā)基于SCM的新一代高性能分布式文件系統(tǒng);另一方面,持續(xù)推進 Ozone 在更多業(yè)務(wù)落地,部署更大規(guī)模的生產(chǎn)集群,進一步提高Ozone的可靠性、穩(wěn)定性和性能,立志將Ozone打磨成為新一代文件對象存儲的標桿。”騰訊云大數(shù)據(jù)團隊Ozone項目技術(shù)負責人陳怡表示。
開源協(xié)同是當前騰訊最重要的技術(shù)戰(zhàn)略之一。以大數(shù)據(jù)團隊為代表的騰訊內(nèi)部技術(shù)團隊經(jīng)歷了從使用開源、回饋開源再到主導開源的演變。除了在Ozone項目上的貢獻之外,目前已完成了大數(shù)據(jù)核心能力全開源。如今,在Apache基金會的大數(shù)據(jù)項目上,騰訊已經(jīng)為主流的Hadoop、Spark、Flink等項目貢獻了大量的特性和patch。
從各大開源基金會公開的數(shù)據(jù)來看,騰訊已經(jīng)成為對開源社區(qū)貢獻最大的中國互聯(lián)網(wǎng)公司之一。