近日，移動(dòng)云PaaS產(chǎn)品部王嘉凌，IaaS產(chǎn)品部張浩、王少杰、易新組隊(duì)開黑，參加Pulsar Hackathon黑客馬拉松競賽，獲得了全球第四名的好成績。

關(guān)于Apache Pulsar

作為 Apache 軟件基金會(huì)頂級(jí)項(xiàng)目，Apache Pulsar 正在快速成為熱門云原生技術(shù)之一，不斷加速各行業(yè)開發(fā)實(shí)時(shí)數(shù)據(jù)消息和流應(yīng)用的進(jìn)程。截至目前，Apache Pulsar 社區(qū)已擁有全球超過 400 名貢獻(xiàn)者、9K+ Star 、2.2K+ Fork。

關(guān)于Pulsar Hackathon競賽

[[408930]]

本次Pulsar黑客馬拉松競賽是由StreamNative主辦，意在加速Apache Pulsar項(xiàng)目和社區(qū)的發(fā)展，為更多的愛好者提供參與項(xiàng)目，展示創(chuàng)造力的機(jī)會(huì)。參賽者需要在Pulsar功能增強(qiáng)、大數(shù)據(jù)生態(tài)系統(tǒng)集成和解決方案等方向上尋找創(chuàng)新點(diǎn)，并通過集中式在線編程完成原型開發(fā)。來自全球各地的130多名參賽者在5月6 -7日兩天時(shí)間內(nèi)參與了競賽，共有11支團(tuán)隊(duì)提交了項(xiàng)目成果演示。由多名Apache Pulsar PMC成員組成的黑客馬拉松組委會(huì)根據(jù)提交項(xiàng)目的創(chuàng)新性，可用性以及項(xiàng)目難度進(jìn)行評(píng)分，并于6月16-17日舉行的Pulsar Summit北美峰會(huì)上現(xiàn)場宣布了成績和獲獎(jiǎng)團(tuán)隊(duì)。

從容不迫定課題 穩(wěn)抓穩(wěn)打定“三高”

代表移動(dòng)云參加黑客馬拉松競賽的四人小隊(duì)在時(shí)間緊、任務(wù)重的情況下，自加壓力定位高目標(biāo)、一著不讓追求高標(biāo)準(zhǔn)、精誠合作確保高質(zhì)量，在兩天時(shí)間內(nèi)完成了項(xiàng)目原型的開發(fā)和演示，向Pulsar黑客馬拉松提交了《Pulsar多租戶BookKeeper存儲(chǔ)隔離機(jī)制》的參賽課題，最終在和全球各路高手的巔峰PK中成功躋身前四。

數(shù)據(jù)分組隔離 全托管式Pulsar云服務(wù)

Apache Pulsar采用計(jì)算存儲(chǔ)分離的架構(gòu)，利用BookKeeper來存儲(chǔ)消息數(shù)據(jù)，無需重平衡數(shù)據(jù)即可進(jìn)行擴(kuò)縮容。同時(shí)，Apache Pulsar原始支持多租戶，通過認(rèn)證和授權(quán)機(jī)制實(shí)現(xiàn)了租戶之間的訪問隔離。基于Apache Pulsar的這些特性，移動(dòng)云上線了消息隊(duì)列Pulsar，為移動(dòng)云用戶提供全托管式的Pulsar云服務(wù)。在移動(dòng)云Pulsar上云過程中使用共享的BookKeeper集群作為底層存儲(chǔ)層，存儲(chǔ)所有用戶的數(shù)據(jù)。由于所有用戶的數(shù)據(jù)在BookKeeper中落盤時(shí)會(huì)存儲(chǔ)在同一個(gè)不斷滾動(dòng)的數(shù)據(jù)文件中，無法在文件層面區(qū)分每個(gè)用戶的存儲(chǔ)數(shù)據(jù)，導(dǎo)致難以對(duì)每個(gè)用戶的存儲(chǔ)數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)和配額管理。并且當(dāng)計(jì)算層已釋放部分用戶的存儲(chǔ)數(shù)據(jù)時(shí)，存儲(chǔ)層無法及時(shí)刪除BookKeeper中對(duì)應(yīng)的數(shù)據(jù)文件來釋放磁盤存儲(chǔ)空間。

針對(duì)消息隊(duì)列Pulsar遇到的這些痛點(diǎn)，移動(dòng)云消息中間件團(tuán)隊(duì)通過對(duì)BookKeeper消息存儲(chǔ)機(jī)制的深入調(diào)研，提出了對(duì)數(shù)據(jù)進(jìn)行分組隔離落盤的設(shè)想，作為本次黑客馬拉松競賽的參賽課題。通過在存儲(chǔ)數(shù)據(jù)的元數(shù)據(jù)中添加“資源組標(biāo)識(shí)”的方式，讓不同用戶的數(shù)據(jù)分別存儲(chǔ)到不同的文件路徑上的文件中，實(shí)現(xiàn)了文件級(jí)的隔離，從而讓Pulsar在BookKeeper存儲(chǔ)層也具有了多租戶的特性。這個(gè)特性將會(huì)完善Pulsar的多租戶機(jī)制，使得對(duì)每個(gè)用戶的存儲(chǔ)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和配額管理成為可能。

移動(dòng)云消息中間件團(tuán)隊(duì)后續(xù)將會(huì)持續(xù)完善該功能，并落實(shí)到消息隊(duì)列Pulsar產(chǎn)品中，實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)更精確的管理和更安全可靠的隔離。

訪問官網(wǎng)https://ecloud.10086.cn/home/product-introduction/epulsar

查看更多移動(dòng)云消息隊(duì)列Pulsar產(chǎn)品詳情