阿里發(fā)布Qwen3 技術(shù)報告
Qwen3 Technical Report
本文介紹了最新的 Qwen 模型家族——Qwen3，它是一個大型語言模型系列，旨在提高性能、效率和多語言能力。該系列包括密集架構(gòu)和混合專家（MoE）架構(gòu)的模型，參數(shù)規(guī)模從 0.6 到 235 億不等。Qwen3 的創(chuàng)新之處在于將思考模式（用于復(fù)雜、多步推理）和非思考模式（用于快速、基于上下文的響應(yīng)）整合到一個統(tǒng)一框架中，消除了切換不同模型的需求，并可以根據(jù)用戶查詢或聊天模板動態(tài)切換模式。此外，Qwen3 引入了思考預(yù)算機制，允許在推斷過程中適應(yīng)性地分配計算資源，從而根據(jù)任務(wù)復(fù)雜度平衡延遲和性能。通過利用旗艦?zāi)Ｐ偷闹R，作者顯著減少了構(gòu)建小規(guī)模模型所需的計算資源，同時確保它們具有高度競爭力的表現(xiàn)。實驗結(jié)果表明，Qwen3 在各種基準測試中實現(xiàn)了最先進的結(jié)果，包括代碼生成、數(shù)學(xué)推理、代理任務(wù)等任務(wù)，在與更大規(guī)模的 MoE 模型和專有模型的競爭中表現(xiàn)出色。與前一代 Qwen2.5 相比，Qwen3 擴展了對 119 種語言和方言的支持，提高了跨語言理解和生成的能力，增強了全球可訪問性。為了促進可重復(fù)性和社區(qū)驅(qū)動的研究和發(fā)展，所有 Qwen3 模型都以 Apache 2.0 許可證的形式公開可用。
論文方法
方法描述
本文提出了一種名為“Qwen3”的新型預(yù)訓(xùn)練模型，包括6個密集模型和2個MoE模型。這些模型使用了Grouped Query Attention、SwiGLU、Rotary Positional Embeddings以及RMSNorm等技術(shù)，并引入了QK-Norm來確保穩(wěn)定的訓(xùn)練過程。此外，該模型采用了與Qwen2.5相似的基本架構(gòu)，但在MoE模型中進行了創(chuàng)新，如實現(xiàn)細粒度專家分割和排除共享專家等。
Qwen3模型還利用了Qwen的分詞器來進行文本識別和處理。在數(shù)據(jù)集方面，該模型收集了大量的高質(zhì)量數(shù)據(jù)，覆蓋了多種語言和領(lǐng)域，以提高模型的語言能力和跨語言能力。同時，通過多維度的數(shù)據(jù)標(biāo)注系統(tǒng)，優(yōu)化了數(shù)據(jù)混合的效果。
在預(yù)訓(xùn)練階段，Qwen3模型采用了三個階段的訓(xùn)練方式：第一階段是通用階段（S1），在此階段中，所有模型都基于超過30萬億個標(biāo)記的語料庫進行訓(xùn)練；第二階段是推理階段（S2），在此階段中，增加了STEM、編碼、推理和合成數(shù)據(jù)的比例，并使用更高的質(zhì)量標(biāo)記進行進一步的訓(xùn)練；第三階段是長序列階段，在此階段中，使用數(shù)百億個標(biāo)記的高質(zhì)量長序列語料庫擴展模型的上下文長度。最后，該模型根據(jù)前兩個階段的結(jié)果預(yù)測出每個模型的最佳學(xué)習(xí)率和批量大小策略。
方法改進
相比于之前的模型，Qwen3模型在多個方面進行了改進：
- 擴大了訓(xùn)練數(shù)據(jù)的規(guī)模和多樣性，提高了模型的語言能力和跨語言能力。
- 引入了新的技術(shù)和算法，如QK-Norm、YARN和Dual Chunk Attention，提高了模型的性能。
- 實現(xiàn)了細粒度專家分割和排除共享專家等創(chuàng)新設(shè)計，提高了模型的效率和穩(wěn)定性。
- 利用了多維度的數(shù)據(jù)標(biāo)注系統(tǒng)，優(yōu)化了數(shù)據(jù)混合的效果。
解決的問題
Qwen3模型解決了以下問題：
- 提高了模型的語言能力和跨語言能力，使其能夠更好地應(yīng)對多樣化的自然語言處理任務(wù)。
- 改進了模型的性能，使其具有更好的推理能力和穩(wěn)定性。
- 提供了一個有效的數(shù)據(jù)混合方案，使模型能夠更有效地利用大規(guī)模數(shù)據(jù)集。
論文實驗
本文主要介紹了針對自然語言處理領(lǐng)域的大型預(yù)訓(xùn)練模型的系列實驗，并對其進行了全面的評估和比較。作者使用了多種指標(biāo)來衡量模型在不同任務(wù)上的表現(xiàn)，包括通用知識問答、數(shù)學(xué)計算、科學(xué)知識、編程等多領(lǐng)域。具體實驗內(nèi)容如下：
- 性能評估：對大型預(yù)訓(xùn)練模型（如Qwen3系列）與同類開源模型（如DeepSeek-V3 Base、Gemma-3、Llama-4-Maverick等）進行了性能評估，比較它們在多個基準測試數(shù)據(jù)集上的表現(xiàn)。結(jié)果顯示，Qwen3系列模型在大多數(shù)任務(wù)上都表現(xiàn)出色，特別是在科學(xué)知識、編程等領(lǐng)域具有顯著優(yōu)勢。
- 模型大小評估：將Qwen3系列模型與其他領(lǐng)先的開源模型（如Llama-4-Maverick、Qwen2.5-72B-Base等）進行了模型大小的比較。結(jié)果表明，Qwen3系列模型不僅在性能上有優(yōu)勢，而且相對于其他模型而言，其參數(shù)量和激活參數(shù)量都更少，具有更高的效率。
- 跨語言能力評估：通過MGLUE多語言評估數(shù)據(jù)集，對Qwen3系列模型的跨語言能力進行了評估。結(jié)果顯示，Qwen3系列模型在不同語言的任務(wù)上都有較好的表現(xiàn)，證明了其在多語言環(huán)境下的應(yīng)用潛力。
綜上所述，本文通過對Qwen3系列模型進行全面的評估和比較，展示了其在各個任務(wù)和指標(biāo)上的優(yōu)越性能，為自然語言處理領(lǐng)域的研究提供了有力的支持。
table_4
table_6
本文轉(zhuǎn)載自???柏企閱文??，作者：tailet
