十年領(lǐng)航,亞馬遜云科技為何能成為云數(shù)據(jù)庫行業(yè)標(biāo)桿?
原創(chuàng)近日,在Gartner 發(fā)布的《2024 年 Gartner 云數(shù)據(jù)庫管理系統(tǒng)魔力象限報(bào)告》中,亞馬遜云科技以卓越的產(chǎn)品能力和前瞻性愿景,連續(xù)第十年被評(píng)為領(lǐng)導(dǎo)者。Gartner 指出,亞馬遜云科技是全球最廣泛采用的云服務(wù)提供商,提供廣泛的云DBMS服務(wù),并且其數(shù)據(jù)庫服務(wù)可滿足交易、操作、分析和流式應(yīng)用等多種工作負(fù)載的需求。
2024 年 Gartner 云數(shù)據(jù)庫管理系統(tǒng)魔力象限
在云數(shù)據(jù)庫領(lǐng)域競爭日益激烈之際,亞馬遜云科技究竟憑借何種能力,得以連續(xù)十年穩(wěn)居領(lǐng)導(dǎo)者之位?其背后的關(guān)鍵,在于亞馬遜云科技對(duì)用戶需求的精準(zhǔn)把握,以及對(duì)自我設(shè)限的持續(xù)突破。
對(duì)于用戶需求,亞馬遜云科技首席執(zhí)行官 Matt Garman 表示,如果摒棄各種限制,數(shù)據(jù)庫客戶認(rèn)為理想的數(shù)據(jù)庫解決方案需要具備高可用性、多區(qū)域運(yùn)行、極低的讀寫延遲、強(qiáng)一致性、沒有操作負(fù)擔(dān)和兼容 SQL 語義的能力。
這些需求并非“或”的關(guān)系,而是“和”的關(guān)系。單獨(dú)一個(gè)需求容易滿足,但如此之多的需求能夠同時(shí)滿足嗎?答案是可以。
2024 年 12 月,亞馬遜云科技在 2024 re:Invent 全球大會(huì)上發(fā)布了一款重磅的數(shù)據(jù)庫服務(wù)新品——Amazon Aurora DSQL。這是一款集多種理想型功能于一身的“全能理想型”無服務(wù)器分布式 SQL 數(shù)據(jù)庫,能夠滿足上述所有的功能需求。
若要揭秘亞馬遜云科技為何能“領(lǐng)航十年”,為何能打破限制推出 Amazon Aurora DSQL,則要從2014年說起。
打破“A 或 B”,打造“A 和 B”: 從 Amazon Aurora 到 Amazon Aurora DSQL
2014 年,亞馬遜云科技在 re:Invent 大會(huì)上推出了 Amazon Aurora。Amazon Aurora 一經(jīng)問世,便迅速成為企業(yè)上云的首選。究其原因,是因?yàn)?/span>在當(dāng)時(shí)的市場中,既能滿足高性能需求,又不會(huì)帶來高昂成本的數(shù)據(jù)庫可謂鳳毛麟角。而 Amazon Aurora 恰恰做到了性能與價(jià)格的兼顧,自然迅速贏得了企業(yè)的青睞。
十年前,Amazon Aurora 在 2014 年 re:Invent 上發(fā)布
Amazon Aurora 是兼容 MySQL 和 PostgreSQL 的云原生關(guān)系型數(shù)據(jù)庫,其核心突破在于將傳統(tǒng)數(shù)據(jù)庫的存儲(chǔ)與計(jì)算分離,通過分布式架構(gòu)實(shí)現(xiàn)高性能與高可用性。并且Amazon Aurora 的吞吐量達(dá)到傳統(tǒng) MySQL 的 5 倍,成本卻僅為同級(jí)別商業(yè)數(shù)據(jù)庫解決方案的 1/10。
Amazon Aurora 的問世一舉打破了 “魚與熊掌不可兼得” 的傳統(tǒng)認(rèn)知局限。突破傳統(tǒng)認(rèn)知的背后,是亞馬遜云科技轉(zhuǎn)變了“在 A 和 B 之間做選擇” 的固有思維定式,轉(zhuǎn)而深入探索 “如何同時(shí)達(dá)成 A 和 B” 的創(chuàng)新路徑。
“當(dāng)你嘗試構(gòu)建某些東西或者決策時(shí),常常會(huì)在 A 和 B 之間做選擇嗎?這種選擇恰恰限制了思路,亞馬遜云科技將其稱為‘或的暴政’,因?yàn)檫@種選擇制造了虛假的邊界,讓你馬上開始思考自己必須選出A 或 B。但亞馬遜云科技是推動(dòng)團(tuán)隊(duì)思考如何同時(shí)達(dá)成 A 和 B。”Matt Garman 在 2024 re:Invent 全球大會(huì)揭秘了亞馬遜云科技成功的秘訣之一。
滿足性能與價(jià)格的兼得后,Amazon Aurora 仍沒有停止創(chuàng)新的步伐。自Amazon Aurora 發(fā)布以來,亞馬遜云科技在此基礎(chǔ)上推出了眾多創(chuàng)新功能,如無服務(wù)器版本的推出讓用戶無需管理基礎(chǔ)設(shè)施地使用,推出Amazon Aurora Limitless Database以實(shí)現(xiàn)跨單臺(tái)服務(wù)器讀寫吞吐量限制進(jìn)行擴(kuò)展和自動(dòng)分布式分片,與其他數(shù)據(jù)庫和數(shù)據(jù)倉庫服務(wù)間的Zero-ETL以加速數(shù)據(jù)流動(dòng),與Amazon Bedrock集成以助力客戶更好地構(gòu)建生成式AI應(yīng)用。
亞馬遜云科技不僅為Amazon Aurora 打造了“A 和 B”的功能,更是實(shí)現(xiàn)了“A 和B 和 C 和 D”的技術(shù)迭代與創(chuàng)新。在持續(xù)探索與創(chuàng)新過程中,Amazon Aurora DSQL 誕生了。
突破傳統(tǒng)數(shù)據(jù)庫束縛的Amazon Aurora DSQL
前文提到,Amazon Aurora DSQL 是一款“全能理想型”無服務(wù)器分布式 SQL 數(shù)據(jù)庫,能夠同時(shí)實(shí)現(xiàn)低延遲、多區(qū)域的強(qiáng)一致性、幾乎無限擴(kuò)展的高可用性,以及零運(yùn)營負(fù)擔(dān)。
2024 re:Invent 大會(huì)上,亞馬遜云科技發(fā)布Amazon Aurora DSQL
同時(shí)達(dá)成這些能力并不容易。但對(duì)于亞馬遜云科技來說,只有突破傳統(tǒng)數(shù)據(jù)庫的束縛才能實(shí)現(xiàn)更好的創(chuàng)新,就像打破“或的暴政”一樣。因此,Amazon Aurora DSQL突破的第一個(gè)傳統(tǒng)束縛是將事務(wù)處理與存儲(chǔ)解耦。
對(duì)于傳統(tǒng)數(shù)據(jù)庫來說,在單一位置或單一區(qū)域?qū)崿F(xiàn)應(yīng)用程序和數(shù)據(jù)庫的往返信息傳遞非常容易,也能夠滿足低延遲的需求;可一旦跨區(qū)域執(zhí)行,信息受到光速的限制,不僅往返傳遞速度會(huì)大大降低,也難以達(dá)到多區(qū)域的強(qiáng)一致性要求。
為了解決這一難題,Amazon Aurora DSQL 應(yīng)用了一種全新的交易處理方式——解耦事務(wù)處理與存儲(chǔ)。這種方式使Amazon Aurora DSQL 在事務(wù)提交時(shí)會(huì)進(jìn)行一次性檢查,同時(shí)并行處理所有區(qū)域的所有寫入操作,從而提供具有強(qiáng)一致性和快速寫入的多區(qū)域數(shù)據(jù)庫服務(wù)。
實(shí)現(xiàn)低延遲和強(qiáng)一致性后,還需確保事務(wù)按照發(fā)生的順序提交。為了消除不同區(qū)域的時(shí)間偏差,Amazon Aurora DSQL 采用了 Amazon Time Sync 服務(wù),該服務(wù)在每個(gè) Amazon Elastic Compute Cloud(EC2) 實(shí)例上部署硬件參考時(shí)鐘,使實(shí)例與衛(wèi)星連接的原子鐘同步,以此實(shí)現(xiàn)全球范圍內(nèi)微秒級(jí)的精確時(shí)間同步。
這兩種能力結(jié)合使得Amazon Aurora DSQL 在確保低延遲的同時(shí)實(shí)現(xiàn)強(qiáng)一致性,即“所有在一個(gè)區(qū)域?qū)懭氲氖聞?wù)都將實(shí)時(shí)同步至其他區(qū)域”。
除此之外,Amazon Aurora DSQL 的另一突破是采用分布式架構(gòu),分離查詢處理層、提交層和存儲(chǔ)層,實(shí)現(xiàn)了“幾乎無限的擴(kuò)展能力”。
傳統(tǒng)數(shù)據(jù)庫由于集中式架構(gòu)和數(shù)據(jù)強(qiáng)一致性要求,在數(shù)據(jù)規(guī)模或應(yīng)用需求快速擴(kuò)大時(shí),難以高效地進(jìn)行橫向擴(kuò)展,且存在數(shù)據(jù)一致性難以保證、擴(kuò)展過程復(fù)雜等問題。
而Amazon Aurora DSQL 采用了分布式架構(gòu),允許查詢處理層、提交層和存儲(chǔ)層分離獨(dú)立擴(kuò)展,以適應(yīng)不同的讀寫比例、數(shù)據(jù)規(guī)模和查詢復(fù)雜性。這種設(shè)計(jì)不僅消除了傳統(tǒng)數(shù)據(jù)庫的擴(kuò)展瓶頸,支持水平擴(kuò)展,還能夠根據(jù)實(shí)際負(fù)載動(dòng)態(tài)調(diào)整資源分配。
Amazon Aurora DSQL 的無服務(wù)器特性也進(jìn)一步簡化了擴(kuò)展過程,用戶無需手動(dòng)管理服務(wù)器配置或進(jìn)行數(shù)據(jù)庫分片,即可實(shí)現(xiàn)從較小規(guī)模到大規(guī)模的無縫過渡。再加上主-主(Active-Active)架構(gòu)和多區(qū)域支持,Amazon Aurora DSQL 便能以高可用性和強(qiáng)一致性滿足各種工作負(fù)載需求,為用戶提供靈活、高效且無需妥協(xié)的數(shù)據(jù)庫解決方案。
從結(jié)果來看,Amazon Aurora DSQL 不僅提供了卓越的一致性,還將讀寫速度提升了 4 倍,實(shí)現(xiàn)了 99.999% 的多區(qū)域可用性,具備幾乎無限的可擴(kuò)展性,且完全消除了管理基礎(chǔ)設(shè)施的負(fù)擔(dān)。
云數(shù)據(jù)庫領(lǐng)域變革:AI 驅(qū)動(dòng)的創(chuàng)新力量
如果說不斷突破傳統(tǒng)束縛是亞馬遜云科技持續(xù)領(lǐng)跑的基礎(chǔ),那么對(duì)行業(yè)趨勢的前瞻把握則是保持競爭力的關(guān)鍵。進(jìn)入 AI 時(shí)代,各個(gè)垂直領(lǐng)域都在尋找與 AI 的融合之道,云數(shù)據(jù)庫領(lǐng)域也不例外。
《2024 年 Gartner 云數(shù)據(jù)庫管理系統(tǒng)魔力象限報(bào)告》指出,“云數(shù)據(jù)庫管理系統(tǒng)(DBMS)市場依舊充滿活力,并且正在進(jìn)行重大變革,特別是在生成式人工智能(AI)的應(yīng)用,以及數(shù)據(jù)庫管理系統(tǒng)與其他數(shù)據(jù)管理組件的交互方式上。”
因此,亞馬遜云科技認(rèn)為,越來越多的用戶將不再孤立地使用單一的數(shù)據(jù)分析和處理工具,而是結(jié)合分析、ML 和生成式 AI 從而獲取洞察并為用戶提供新體驗(yàn)。為此,亞馬遜云科技在2024 re:Invent 全球大會(huì)上推出了新一代 Amazon SageMaker 作為統(tǒng)一的“工作室”,為用戶提供單一的數(shù)據(jù)和 AI 開發(fā)環(huán)境,助力用戶更好地在 AI 時(shí)代持續(xù)創(chuàng)新發(fā)力。
具體來說, Amazon SageMaker Unified Studio 融合了 Amazon Bedrock、Amazon EMR、Amazon Redshift、Amazon Glue 以及現(xiàn)有 Amazon SageMaker Studio 中備受用戶青睞的一系列獨(dú)立“工作室”、查詢編輯器和可視化工具等功能。它為用戶打造了一個(gè)一站式的數(shù)據(jù)和 AI 開發(fā)環(huán)境,讓用戶能夠輕松地訪問和使用這些強(qiáng)大的工具,從而高效地完成數(shù)據(jù)發(fā)現(xiàn)與準(zhǔn)備、查詢編寫、數(shù)據(jù)處理以及機(jī)器學(xué)習(xí)模型的構(gòu)建。
結(jié)語
云數(shù)據(jù)庫領(lǐng)域的十年霸榜之路,亞馬遜云科技始終在證明:真正的行業(yè)領(lǐng)導(dǎo)者不僅要具備解決“既要、又要、還要”復(fù)雜需求的技術(shù)實(shí)力,更要擁有突破傳統(tǒng)思維定式的創(chuàng)新勇氣。未來,亞馬遜云科技將持續(xù)尋找突破成本、性能、易用性和功能極限的創(chuàng)新路徑,為用戶帶來更全面和強(qiáng)大的產(chǎn)品使用體驗(yàn)。