Grok-1官宣開源不過半月，新升級(jí)的Grok-1.5出爐了。

剛剛，馬斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。

并且，很快就會(huì)上線。

11天前，Grok-1模型的權(quán)重和架構(gòu)開源，展示了Xai在去年11月之前取得的進(jìn)展。

Grok-1有3140億參數(shù)，是Llama 2的4倍大，而且采用的是MoE架構(gòu)，8個(gè)專家中2個(gè)是活躍專家。

Xai介紹，也就是從那時(shí)起，團(tuán)隊(duì)改進(jìn)了最新模型Grok-1.5的推理和解決問題的能力。

OpenAI前開發(fā)者關(guān)系負(fù)責(zé)人表示，從xAI重大發(fā)布的時(shí)間可以看出他們前進(jìn)的步伐和緊迫感。令人振奮！

128K上下文，Grok-1.5數(shù)學(xué)推理能力暴漲

根據(jù)官方介紹，Grok-1.5改進(jìn)了推理能力，上下文長(zhǎng)度為128K。

Grok-1.5最顯著的改進(jìn)之一是，它在編碼和數(shù)學(xué)相關(guān)任務(wù)中的表現(xiàn)。

在測(cè)試中，Grok-1.5在數(shù)學(xué)基準(zhǔn)上取得50.6%的得分，在GSM8K基準(zhǔn)上獲得了90%，這兩個(gè)數(shù)學(xué)基準(zhǔn)涵蓋了從小學(xué)到高中的各種競(jìng)賽問題。

此外，在評(píng)估代碼生成和解決問題能力的HumanEval基準(zhǔn)測(cè)試中，Grok-1.5獲得了74.1%的高分。

從下圖中，與Grok-1相比，可以看出Grok-1.5在數(shù)學(xué)方面的能力得到大幅提升，GSM8K上從62.9%改進(jìn)到90，MATH上從23.9%提升到50.6%。

128K長(zhǎng)語(yǔ)境理解，擴(kuò)增16倍

Grok-1.5另一全新特點(diǎn)是，能夠在其上下文窗口內(nèi)處理高達(dá)128K token的文本。

這使Grok的內(nèi)存容量，增加到以前上下文長(zhǎng)度的16倍，從而使它能夠利用更長(zhǎng)的文檔中的信息。

此外，新模型還可以處理更長(zhǎng)和更復(fù)雜的提示，同時(shí)在其上下文窗口擴(kuò)展時(shí)仍保持其指令跟隨能力。

在Needle In A Haystack（NIAH）評(píng)估中，Grok-1.5 展示了強(qiáng)大的檢索能力，可檢索長(zhǎng)度達(dá) 128K 字節(jié)的上下文中的嵌入文本，并取得了完美的檢索結(jié)果。

Grok-1.5基礎(chǔ)設(shè)施

Grok-1.5構(gòu)建在基于JAX、Rust和Kubernetes的定制分布式訓(xùn)練框架之上。

這個(gè)訓(xùn)練堆棧可以讓xAI團(tuán)隊(duì)能夠以最少的投入，大規(guī)模構(gòu)建創(chuàng)意，以及訓(xùn)練新的架構(gòu)。

在大型計(jì)算群集上進(jìn)行訓(xùn)練LLM的一個(gè)主要挑戰(zhàn)是，最大限度地提高訓(xùn)練任務(wù)的可靠性和正常運(yùn)行時(shí)間。

xAI定制的訓(xùn)練編排器，可確保自動(dòng)檢測(cè)有問題的節(jié)點(diǎn)，并將其從訓(xùn)練任務(wù)剔除。

與此同時(shí)，他們還優(yōu)化了檢查點(diǎn)、數(shù)據(jù)加載和訓(xùn)練任務(wù)的重啟，以最大限度地減少發(fā)生故障時(shí)的停機(jī)時(shí)間。

xAI表示，Grok-1.5將很快提供給早期測(cè)試者，以幫助改進(jìn)模型。

博客還預(yù)告了Grok-1.5將在未來(lái)幾天里推出幾個(gè)新功能。

最后，xAI還是一如既往地po出了招募信息。