數(shù)字時代，云始終是企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型和增長的關(guān)鍵底座。隨著新一輪公共云競爭的日漸火熱，新的基于算力和基礎設施的需求蓬勃生長。在這場上云熱潮中，什么樣的基礎設施產(chǎn)品能夠打出優(yōu)勢，競得一方“云上天空”？

11月10日-24日，“乘云·向未來”火山引擎公共云·城市分享會先后走進北京、上海、深圳，會上火山引擎以“算力基礎設施護航業(yè)務平穩(wěn)上云實踐”為題，分享了火山引擎算力基礎設施在高性能計算和存儲集群、云原生和計算協(xié)同調(diào)度、資源池化和在離線融合等方面的優(yōu)勢，為企業(yè)業(yè)務平穩(wěn)上云保駕護航。

以下為演講實錄：

從字節(jié)跳動內(nèi)部業(yè)務演變看底層技術(shù)演進

一直以來，火山引擎都在認真做“云”。

作為云計算的“后來者”，火山引擎篤定“幫助客戶做業(yè)務和客戶的增長是很重要的事情”。在2021年底，火山引擎正式發(fā)布了云產(chǎn)品。從那時起，CPU、GPU等算力的大規(guī)模增長及配套存儲規(guī)模的提升，成為火山引擎基礎設施產(chǎn)品發(fā)展的“第一要義”。

回顧歷史，2003年到2010年期間，基礎網(wǎng)絡連接速度為10G。隨著AI的發(fā)展，如今的基礎網(wǎng)絡速度已經(jīng)達到了200G甚至400G。這種增長無疑是驚人的。面對網(wǎng)絡的“提速”，為了更好地服務客戶，火山引擎始終在努力提煉和優(yōu)化自身能力。

在過去的五六年里，火山引擎進行了大規(guī)模的服務器部署和深度系統(tǒng)建設，在IT成本、硬件服務器成本和運營成本等方面進行了系統(tǒng)、全面的優(yōu)化。例如，在上百萬臺服務器上進行了強大的供應鏈備貨和組裝，并建立了硬件優(yōu)化體系。這使得火山引擎的供應體系和硬件測試優(yōu)化能力都達到了極致——無論是云服務器、GPU服務器、彈性裸金屬，都打出了性價比優(yōu)勢。

基于這樣的先發(fā)優(yōu)勢，火山引擎在內(nèi)部和外部都采用了云原生架構(gòu)，使得整個系統(tǒng)實現(xiàn)了同步和較高利用率。在這基礎之上，通過內(nèi)外復用技術(shù)提高資源利用率，從而實現(xiàn)優(yōu)化運行。如此一來，在冷啟動階段，火山引擎便處于行業(yè)領先水平。

幾年間，經(jīng)過三代架構(gòu)演進和大規(guī)模內(nèi)部實踐，火山引擎有了非常大的進步。在資源覆蓋方面，公有云產(chǎn)品已經(jīng)服務到了華北、華東、華南、東南亞等地區(qū)，基于性價比優(yōu)勢和安全合規(guī)的基礎設施，與字節(jié)跳動業(yè)務等進行了深度融合。

而在這過程中，每一步的復制都不是簡單的“復制粘貼”，火山引擎要做的，是回歸到提高區(qū)域內(nèi)的使用率和售賣率的目標上來。在滿足客戶需求的同時，也錘煉自身強勁的競爭力。

算力基礎設施進化之道

算力基礎設施具有系統(tǒng)工程優(yōu)化、大規(guī)模訓練和推理優(yōu)化、全天候技術(shù)支持、供應鏈穩(wěn)定等特性。這些特性雖然在大體上相似，但每家供應商都有其獨特點。其中，供應鏈的穩(wěn)定性是提升競爭力的關(guān)鍵要素之一。

當前，人工智能技術(shù)的推動，以及由此產(chǎn)生的對高性能計算和存儲能力的需求，使得整個供應鏈的不穩(wěn)定性有所增加。因此，風險管理和對風險的容忍度成了至關(guān)重要的因素。

要應對這種不確定性，算力基礎設施需要支持各種不同體系架構(gòu)的高性能算力單元，保持集群的穩(wěn)定運行是一項極其重要的任務。我們現(xiàn)在所使用的機器，每臺都配備了兩顆CPU、8張GPU卡、4-8張網(wǎng)卡，這比傳統(tǒng)的服務器復雜度要高出一個數(shù)量級甚至更多。

正是這種硬件配置的復雜性，導致整個系統(tǒng)故障率是傳統(tǒng)CPU的10倍以上。當一個集群擁有上千張甚至上萬張GPU時候，故障的影響范圍將以指數(shù)形式增長。因此，如何確保百卡、千卡和萬卡規(guī)模的集群能夠長期穩(wěn)定運行，成為了亟待解決的問題。

為了解決這一難題，火山引擎提出進行硬件的冷遷移。當發(fā)生故障時，可以保留現(xiàn)場，將狀態(tài)存儲在云端，并快速進行機器的冷遷移。這種做法能夠最大限度地優(yōu)化加載和存儲過程。此外，還可以對網(wǎng)絡進行實時監(jiān)控，包括對GPU故障碼進行區(qū)分等，都是有效措施。

從汽車行業(yè)和制造行業(yè)應用居多的算力組網(wǎng)來看，行業(yè)需要處理的數(shù)據(jù)往往是多模態(tài)的，因此除了對算力有高要求外，在存儲和帶寬方面需求也隨之升高。為了更好地監(jiān)控網(wǎng)絡性能，火山引擎提供了毫秒級的網(wǎng)絡監(jiān)控能力。200G的網(wǎng)絡和400G的網(wǎng)絡在數(shù)據(jù)傳輸過程中可能會出現(xiàn)峰值突發(fā)的情況，這種情況會持續(xù)1至2秒。而毫秒級的監(jiān)控能夠有效解決這一難題。

對于萬卡規(guī)模的集群，火山引擎采用了三層架構(gòu)的設計。通過使用自主研發(fā)的優(yōu)勢，盡量消除了在計算方面可能出現(xiàn)的問題。同時，火山引擎在集群上掛載了400個存儲節(jié)點，運行文件系統(tǒng)的集群可以很好地提供存儲和帶寬能力。

針對存儲需求較高的任務，火山引擎在底層構(gòu)建了獨立的存儲系統(tǒng)；而對于那些對性能要求較高且計算較為簡單的任務，火山引擎提供了更優(yōu)化的方案——通過使用GPU本地盤以及后端緩存分離的技術(shù)實現(xiàn)分布式緩存架構(gòu)。這種方法對于容量不大但帶寬需求較大的任務，可以提供性價比更高的解決方案。

總體而言，充分利用這些算力資源是AI開發(fā)體系中的關(guān)鍵所在。在訓練過程中，不同的任務可能需要從幾十卡到數(shù)千卡的不同計算資源。如果能夠通過云原生的能力將這些任務融合在一起，并將底層資源利用到最佳狀態(tài)，那么整個資源的利用率將會更加高效。

在此過程中，值得一提的是火山引擎自研的DPU卡。從2018年開始研發(fā)的DPU，至今已經(jīng)可以實現(xiàn)幾千萬pps的性能，能夠完整地將虛擬化和存儲網(wǎng)絡能力卸載到卡上來，增強虛擬化的同時，很好地解決實際問題。

目前，火山引擎所有的GPU都已實現(xiàn)統(tǒng)一配置，并且接入到云上，以便實現(xiàn)更好的彈性。

靈活組網(wǎng)撬動云上增長杠桿

除了算力資源之外，火山引擎在網(wǎng)絡服務方面也取得了較好的進展。從功能上看，火山引擎公共云面向企業(yè)全面上云的網(wǎng)絡需求，能夠提供形態(tài)完整的網(wǎng)絡服務，幫助企業(yè)靈活組網(wǎng)，構(gòu)建符合企業(yè)要求的高效、可控、合規(guī)的云上網(wǎng)絡環(huán)境。

同時，火山引擎將致力于實現(xiàn)異構(gòu)機密可信，以及解決授信問題等技術(shù)挑戰(zhàn)，真正做到“將復雜的問題留給火山引擎，將更好的服務帶給客戶”。