讓大學(xué)生跑語言大模型,這場世界超算競賽剛結(jié)束,北大首次奪冠
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
第十屆ASC世界大學(xué)生超算競賽總決賽,終于在中國科學(xué)技術(shù)大學(xué)落下帷幕。
北京大學(xué)首次獲得ASC決賽冠軍,而東道主中國科學(xué)技術(shù)大學(xué)獲得亞軍,香港中文大學(xué)獲得線上競賽冠軍。
ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競賽,是由中國在2012年發(fā)起的世界最大規(guī)模的大學(xué)生超算競賽,與美國SC、德國ISC并稱全球三大超算競賽,今年正好是ASC第10屆。
大語言模型成關(guān)注熱門
今年的ASC決賽正式比賽在5月8日和9日兩天進(jìn)行,參賽隊(duì)伍是從初賽300支隊(duì)伍隊(duì)伍中脫穎而出的24支隊(duì)伍。
其中有20支來自中國大陸高校的隊(duì)伍,在中科大體育館內(nèi)完成線下比賽;另外4支來自港臺(tái)和國外的隊(duì)伍,則借助云計(jì)算資源完成線上比賽。
各高校參賽隊(duì)伍需要在2天內(nèi)完成6道賽題,時(shí)間緊任務(wù)重,任何失誤都可能導(dǎo)致與冠軍失之交臂,這也是ASC過去歷屆黑馬頻出的原因。
由于今年ChatGPT火熱,今年的大語言模型題受到了組委會(huì)和媒體的重點(diǎn)關(guān)注,這道題的優(yōu)勝者也將獲得本屆ASC的e Prize計(jì)算挑戰(zhàn)獎(jiǎng)。
ASC組委會(huì)提供了100GB的高質(zhì)量中文數(shù)據(jù)集,要求參賽隊(duì)基于這一數(shù)據(jù)集實(shí)現(xiàn)15億、179億參數(shù)兩個(gè)模型的訓(xùn)練。
參賽隊(duì)伍需要自行合理設(shè)計(jì)模型訓(xùn)練策略,在追求極致性能的同時(shí),還要滿足精度約束等嚴(yán)苛條件。
中國科學(xué)技術(shù)大學(xué)隊(duì)伍運(yùn)用多種業(yè)界前沿的大模型并行策略、顯存優(yōu)化方法,最終獲得了這道賽題的最高分,奪得本屆ASC e Prize計(jì)算挑戰(zhàn)獎(jiǎng)。
中科大選手吳天銘表示:“這道賽題是在ChatGPT火起來之前就出來了,我們?yōu)榇俗隽撕芏喙φn。不久后ChatGPT爆火,我們就已提前理解了它是怎么運(yùn)作的,所以覺得ChatGPT‘神奇也不神奇’。”
聚焦AI、量子計(jì)算前沿課題
除了大語言模型外,本屆ASC也聚焦于其他業(yè)界前沿問題。比如此前谷歌實(shí)現(xiàn)量子優(yōu)越性的量子計(jì)算芯片“懸鈴木”,參賽選手需要在超算上模擬該芯片的量子采樣問題。
谷歌曾宣稱在傳統(tǒng)超算上,這個(gè)問題需要運(yùn)行1萬年,而參賽選手需通過基于張量網(wǎng)絡(luò)的量子模擬算法實(shí)現(xiàn)10億倍的性能提升,將模擬時(shí)間縮短至10秒。
這道題也成為了本屆大賽的超級(jí)團(tuán)隊(duì)賽項(xiàng)目,即5個(gè)線下隊(duì)伍與1個(gè)線上隊(duì)伍組隊(duì)完成,讓各高校之間不僅是競爭對手,也是合作伙伴,極大地考驗(yàn)選手們的協(xié)作溝通能力。
此外,每屆大賽必不可少的“跑分”競賽項(xiàng)目也如期上演。
在HPL&HPCG基準(zhǔn)測試這道題中,各參賽隊(duì)伍需要自行設(shè)計(jì)超算系統(tǒng),在總功耗3000W約束下正確完成各項(xiàng)計(jì)算任務(wù)。
浙江大學(xué)以109萬億次/秒的HPL持續(xù)浮點(diǎn)運(yùn)算性能,獲得本屆ASC最高計(jì)算性能獎(jiǎng)。