開源大模型全球格局，一夜再變。

這不，全新開源大模型亮相，性能全面超越開源標(biāo)桿Llama 3。王座易主了。不是“媲美”、不是“追上”，是全面超越。發(fā)布兩小時(shí)，直接沖上HggingFace開源大模型榜單第一。

這就是最新一代開源大模型Qwen2，來(lái)自通義千問(wèn)，來(lái)自阿里巴巴。

在十幾項(xiàng)國(guó)際權(quán)威測(cè)評(píng)中，Qwen2-72B得分均勝過(guò)Llama3-70B，尤其在HumanEval、MATH等測(cè)試代碼和數(shù)學(xué)能力的基準(zhǔn)中表現(xiàn)突出。

不僅如此，作為國(guó)產(chǎn)大模型，Qwen2-72B也“畢其功于一役”，超過(guò)了國(guó)內(nèi)一眾閉源大模型：

Qwen2-72B相比于自家前代模型Qwen1.5-110B實(shí)現(xiàn)了整體性能的代際提升，而在上海AI Lab推出的OpenCompass大模型測(cè)評(píng)榜單上，Qwen1.5-110B已經(jīng)超過(guò)了文心4、Moonshot-v1-8K等一眾國(guó)內(nèi)閉源模型。隨著Qwen2-72B的問(wèn)世，這一領(lǐng)先優(yōu)勢(shì)還在擴(kuò)大。

有網(wǎng)友便感慨說(shuō)：這還只是剛開始。開源模型很可能在未來(lái)幾個(gè)月，就能擊敗GPT-4o為代表的閉源模型。

Qwen2的發(fā)布，可以說(shuō)是一石激起千層浪。

上線僅1天，下載量已經(jīng)超過(guò)3萬(wàn)次。

網(wǎng)友們還發(fā)現(xiàn)，除了72B和指令調(diào)優(yōu)版本，這次同步開源的Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B，開源許可都換成了Apache 2.0——

就是說(shuō)可以更加自由地商用。這是Llama 3系列都沒(méi)做到的。

在AI大模型領(lǐng)域，時(shí)間和速度都不同了。

因?yàn)榫嚯x阿里推出Qwen1.5-110B模型刷新SOTA，全球開源大模型形成雙雄格局，才剛過(guò)去1個(gè)月時(shí)間。

而現(xiàn)在，Qwen2獨(dú)領(lǐng)風(fēng)騷，全球開源第一，國(guó)產(chǎn)大模型第一——連不開源的大模型都超越了。

Qwen2挑戰(zhàn)高考數(shù)學(xué)真題

還是先來(lái)整體梳理一下Qwen2的基本情況。

根據(jù)官方技術(shù)博客介紹，Qwen2的特點(diǎn)和相比Qwen1.5的主要升級(jí)包括：

• 發(fā)布5個(gè)尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。其中Qwen2-57B-A14B是一個(gè)MoE模型。
• 在中文英語(yǔ)的基礎(chǔ)上，對(duì)27種語(yǔ)言進(jìn)行了增強(qiáng)。有阿拉伯語(yǔ)開發(fā)者表示，Qwen已經(jīng)成為4億阿拉伯語(yǔ)用戶喜歡的大模型，穩(wěn)居阿拉伯語(yǔ)開源模型榜單第一。

• 在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等國(guó)際權(quán)威測(cè)評(píng)中，Qwen2-72B斬獲十幾項(xiàng)世界第一，超過(guò)Llama 3。
• 代碼和數(shù)學(xué)能力顯著提升。
• 增大了上下文長(zhǎng)度支持，最長(zhǎng)實(shí)現(xiàn)128K tokens上下文長(zhǎng)度支持（Qwen2-7B-Instruct和Qwen2-72B-Instruct）。

紙面數(shù)據(jù)上，Qwen2在開源大模型中已經(jīng)達(dá)成全球最強(qiáng)，那么實(shí)際表現(xiàn)又會(huì)如何？

我們用新鮮出爐的高考數(shù)學(xué)真題上手實(shí)測(cè)了一波。

先來(lái)個(gè)簡(jiǎn)單題：

已知集合A={x|-5＜x^3<5}，B={-3,-1,0,2,3}，則A∩B=()

左邊是Qwen2-72B-Instruct，右邊是Llama-3-70B-Instruct。除了Llama 3原版的老問(wèn)題不咋支持中文外，兩邊的答案都是正確的。

那么就稍微上點(diǎn)難度：

當(dāng)x∈[0, 2π]時(shí)，曲線y=sinx與y=2sin(3x-π/6)的交點(diǎn)個(gè)數(shù)為？

Qwen2-72B-Instruct依然沒(méi)有被難住，一通計(jì)算后給出正確答案：交點(diǎn)個(gè)數(shù)為6個(gè)。

而Llama-3-70B-Instruct則計(jì)算錯(cuò)誤，扣5分。

Qwen2在數(shù)學(xué)能力方面，已經(jīng)到了高考考場(chǎng)接受真題檢驗(yàn)的水平。

通義千問(wèn)此番升級(jí)，官方和評(píng)測(cè)數(shù)據(jù)還突出了代碼能力的提升，我們也有LeetCode中等難度真題淺測(cè)了一下：

給你一個(gè)按照非遞減順序排列的整數(shù)數(shù)組nums，和一個(gè)目標(biāo)值target。請(qǐng)你找出給定目標(biāo)值在數(shù)組中的開始位置和結(jié)束位置。如果數(shù)組中不存在目標(biāo)值 target，返回 [-1, -1]。你必須設(shè)計(jì)并實(shí)現(xiàn)時(shí)間復(fù)雜度為 O(log n) 的算法解決此問(wèn)題。

Qwen2-72B-Instruct給出的python實(shí)現(xiàn)如下：

def searchRange(nums, target):def binary_search_left(nums, target):
        left, right = 0, len(nums)while left < right:
            mid = (left + right) // 2if nums[mid] < target:
                left = mid + 1else:
                right = midreturn left
def binary_search_right(nums, target):
        left, right = 0, len(nums)while left < right:
            mid = (left + right) // 2if nums[mid] <= target:
                left = mid + 1else:
                right = midreturn left
    left, right = binary_search_left(nums, target), binary_search_right(nums, target)return [left, right - 1] if left <= right - 1 and nums[left] == target and nums[right - 1] == target else [-1, -1]

一開始沒(méi)有定義Solution類導(dǎo)致報(bào)錯(cuò)，不過(guò)直接把報(bào)錯(cuò)信息反饋給Qwen2，它自己就能完成debug：

順利通過(guò)測(cè)試。

全尺寸模型標(biāo)配GQA

這波實(shí)測(cè)，你給通義千問(wèn)打幾分？

值得關(guān)注的是，這次阿里官方的技術(shù)博客中，還透露出了不少Q(mào)wen變強(qiáng)的技術(shù)細(xì)節(jié)。

首先，是GQA（Grouped Query Attention）的全面加持。

GQA，即分組查詢注意力機(jī)制，主要思想將輸入序列劃分成若干個(gè)組，在組內(nèi)和組間分別應(yīng)用注意力機(jī)制，以更好地捕捉序列內(nèi)的局部和全局依賴關(guān)系。

GQA能夠有效降低計(jì)算復(fù)雜度，同時(shí)很容易實(shí)現(xiàn)并行化從而提高計(jì)算效率。

在Qwen1.5系列中，只有32B和110B模型使用了GQA。而Qwen2則全系列用上了這一注意力機(jī)制。也就是說(shuō)，無(wú)論是高端玩家還是愛(ài)好者入門，這回都能在Qwen2各個(gè)尺寸模型中體驗(yàn)到GQA帶來(lái)的推理加速和顯存占用降低的優(yōu)勢(shì)。

另外，針對(duì)小模型（0.5B和1.5B），由于embedding參數(shù)量較大，研發(fā)團(tuán)隊(duì)使用了tie embedding的方法讓輸入和輸出層共享參數(shù)，以增加非embedding參數(shù)的占比。

其次，在上下文長(zhǎng)度方面，Qwen2系列中所有Instruct模型，均在32K上下文長(zhǎng)度上進(jìn)行訓(xùn)練，并通過(guò)YARN或Dual Chunk Attention等技術(shù)擴(kuò)展至更長(zhǎng)的上下文長(zhǎng)度。

其中，Qwen2-7B-Instruct和Qwen2-72B-Instruct支持128K上下文。72B版本的最長(zhǎng)上下文長(zhǎng)度可以達(dá)到131072個(gè)token。

Qwen2-57B-A14B-Instruct能處理64K上下文，其余兩個(gè)較小的模型（0.5B和1.5B）則支持32K的上下文長(zhǎng)度。

大海撈針的實(shí)驗(yàn)結(jié)果如下?？梢钥吹?，Qwen2-72B-Instruct在處理128K上下文長(zhǎng)度內(nèi)的信息抽取任務(wù)時(shí)，表現(xiàn)稱得上完美。

除此之外，在數(shù)據(jù)方面，Qwen2繼續(xù)探索Scaling Law的路線。

比如數(shù)學(xué)能力的提升，就是研究團(tuán)隊(duì)給模型喂了大規(guī)模高質(zhì)量數(shù)學(xué)數(shù)據(jù)的結(jié)果。

在多語(yǔ)言能力方面，研究團(tuán)隊(duì)也針對(duì)性地在訓(xùn)練數(shù)據(jù)中增加了27種語(yǔ)言相關(guān)的高質(zhì)量數(shù)據(jù)。

博客還透露，接下來(lái)，通義千問(wèn)研究團(tuán)隊(duì)還將繼續(xù)探索模型及數(shù)據(jù)的Scaling Law，還會(huì)把Qwen2擴(kuò)展為多模態(tài)模型。

重新認(rèn)識(shí)中國(guó)開源大模型

更強(qiáng)的性能、更開放的態(tài)度，Qwen2剛一發(fā)布，堪稱好評(píng)如潮。

而在此前，生態(tài)方面，Qwen系列下載量已突破1600萬(wàn)次。海內(nèi)外開源社區(qū)也已經(jīng)出現(xiàn)了超過(guò)1500款基于Qwen二次開發(fā)的模型和應(yīng)用。

已經(jīng)有開發(fā)者感受到了：在開源路線上，現(xiàn)在中國(guó)大模型正在成為引領(lǐng)者。

Qwen2的最新成績(jī)單，至少印證了兩個(gè)事實(shí)。

其一，中國(guó)開源大模型，從性能到生態(tài)，都已具備跟美國(guó)最強(qiáng)開源大模型Llama 3全面對(duì)壘的硬實(shí)力。

其二，如圖靈獎(jiǎng)得主Yann LeCun所預(yù)言，開源大模型已經(jīng)走在了超越閉源模型的道路上，拐點(diǎn)已現(xiàn)。

事實(shí)上，這也是包括阿里在內(nèi)，開源大模型玩家的明牌——

大模型的持續(xù)優(yōu)化和進(jìn)步，一方面依賴于強(qiáng)大的AI研發(fā)能力、領(lǐng)先的基礎(chǔ)設(shè)施能力，也就是人工智能和云的強(qiáng)強(qiáng)聯(lián)合。

以阿里為例，作為中國(guó)云廠商份額第一，依托于強(qiáng)大的云計(jì)算能力，能為AI訓(xùn)練、AI應(yīng)用提供穩(wěn)定高效的AI基礎(chǔ)服務(wù)體系，同時(shí)在人工智能方面有長(zhǎng)期的積累。

另一方面也需要來(lái)自外界的不斷反饋和技術(shù)推動(dòng)。

開源社區(qū)的技術(shù)反哺，從Qwen2上線第一天，GitHub上的Issues數(shù)量就可見一斑。

在技術(shù)領(lǐng)域，開源就是我為人人、人人為我，是全球科技互聯(lián)網(wǎng)繁榮發(fā)展至今最核心的精神要素。

不論任何一個(gè)時(shí)代，不管哪種新興技術(shù)浪潮，沒(méi)有程序員、工程師不以開源感到驕傲，甚至快樂(lè)。

阿里高級(jí)算法專家、開源負(fù)責(zé)人林俊旸，曾對(duì)外分享過(guò)通義千問(wèn)進(jìn)展飛快的“秘籍”：快樂(lè)。

因?yàn)槊嫦蛉蜷_發(fā)者服務(wù)，面向其他開發(fā)者交流，給別人帶去實(shí)實(shí)在在的幫助，這樣通義千問(wèn)大模型的打造者們快樂(lè)又興奮，關(guān)注著每一個(gè)開發(fā)者的反饋，激動(dòng)于全新意想不到的落地應(yīng)用。

這也是科技互聯(lián)網(wǎng)世界曾經(jīng)快速發(fā)展的核心原因，黃金時(shí)代，開源才是約定俗成的，不開源反而要遭受質(zhì)疑。

然而時(shí)移世易，在大模型時(shí)代，由于研發(fā)成本、商業(yè)模式和競(jìng)爭(zhēng)多方面的原因，閉源的光芒一度掩蓋了開源，Close成了寵兒。

所以Meta的Llama也好，阿里通義千問(wèn)的Qwen也好，復(fù)興傳統(tǒng)，重新證明科技互聯(lián)網(wǎng)領(lǐng)域不變的精神和內(nèi)核。

這種精神和內(nèi)核，在通義千問(wèn)這里，也擁有不言自明的可持續(xù)飛輪。

阿里巴巴董事長(zhǎng)蔡崇信已經(jīng)對(duì)外分享了思考，在全球云計(jì)算和AI的第一梯隊(duì)中，有領(lǐng)先的云業(yè)務(wù)又有自研大模型能力的，僅谷歌和阿里兩家。其他有云服務(wù)的微軟、亞馬遜，都是合作接入大模型；其他自研大模型的OpenAI、Meta，沒(méi)有領(lǐng)先的云服務(wù)。

全球唯二，中國(guó)唯一。

而在開源生態(tài)的推動(dòng)中，技術(shù)迭代會(huì)更快，云計(jì)算的服務(wù)延伸會(huì)越廣，技術(shù)模型和商業(yè)模式，飛輪閉環(huán)，循環(huán)迭代，在固有基礎(chǔ)設(shè)施的基礎(chǔ)上壘起新的基礎(chǔ)設(shè)施，形成穩(wěn)固持續(xù)的競(jìng)爭(zhēng)力。

但開源大模型，最大的價(jià)值和意義依然回歸開發(fā)者，只有足夠強(qiáng)大的開源大模型，AI for All、AI無(wú)處不在才不會(huì)成為紙上空談。

所以通義千問(wèn)Qwen2，此時(shí)此刻，登頂?shù)氖侨蜷_源性能最高峰，引領(lǐng)的是開源對(duì)閉源的超越階段，象征著中國(guó)大模型在新AI時(shí)代中的競(jìng)爭(zhēng)力。

但更值得期待的價(jià)值是通過(guò)開源大模型，讓天下沒(méi)有難開發(fā)的AI應(yīng)用、讓天下沒(méi)有難落地的AI方案。完整兌現(xiàn)AI價(jià)值，讓新一輪AI復(fù)興，持續(xù)繁榮，真正改變經(jīng)濟(jì)和社會(huì)。

參考鏈接：

https://qwenlm.github.io/zh/blog/qwen2/。