馬斯克的Grok 5偷偷藏不住了。
好小汁,啥時候開始 Grok 都彎道超車了?OpenAI、Anthropic、谷歌一眾明星模型都被壓一頭。
我現(xiàn)在認(rèn)為 Grok 5 能達(dá)到 AGI。
馬斯克瘋狂劇透 Grok 5
這事還得從 Grok 4 超越預(yù)期的表現(xiàn)說起,發(fā)布才兩個月就登上多個榜單第一的寶座,而就在剛剛,ARC Prize 發(fā)布了兩個最新的ARC-AGI榜單 SOTA 方案:
都是開源的。
都使用的是 Grok 4 作為基礎(chǔ)模型。
都實現(xiàn)了帶測試自適應(yīng)的程序合成外循環(huán)。
測試任務(wù)包含 v1 和 v2 版本,v2 需要 LLM 完成更多的多步驟推理,一般來說,即使是最優(yōu)秀的 LLM 也只能在 v2 中獲得16%的準(zhǔn)確率。
Jeremy Berman 的新方案則是在 Grok 4 基礎(chǔ)上,用英語替代了傳統(tǒng)的 Python,最終得分來到 79.6% 和 29.44%。
Eric Pang 則在 Jeremy 的工作上,設(shè)計了一個受DreamCoder啟發(fā)、LLM 輔助的程序合成系統(tǒng),能夠通過從不斷擴展的程序庫中學(xué)習(xí)來解決越來越難的任務(wù)。
當(dāng)問及兩位作者選擇 Grok 4 的理由,他們均表示,這是他們測試下來效果最好的模型。
當(dāng)中所體現(xiàn)出的 AGI 潛力,也讓馬斯克感到自豪,隨即透露了一系列有關(guān)Grok 5的消息。
老馬表示,這才只是 Grok 4,而 Grok 5 將很有可能達(dá)成AGI。
所以為什么老馬能對 Grok 5 抱以如此強烈的信心呢?
訓(xùn)練數(shù)據(jù)及硬件資源的投入
歸根結(jié)底,是馬斯克在 Grok 訓(xùn)練中投入之深。
據(jù)悉,Grok 5 將擁有較之前代更多的訓(xùn)練數(shù)據(jù)。
Grok 4 的訓(xùn)練量是 Grok 2 的 100 倍、Grok 3 的 10 倍,而 Grok 5 則只會更多。
可以說,馬斯克在當(dāng)下數(shù)據(jù)為王的時代,最不缺的就是數(shù)據(jù)。
此外,xAI 在硬件資源上也投入頗多,目標(biāo)在 5 年內(nèi)完成相當(dāng)于 5000 萬臺 H100 GPU 同等算力的部署。
其專門為 Grok 系列打造的超級計算集群Colossus,已經(jīng)部署了約 23 萬張 GPU。其中包括 3 萬張 NVIDIA GB200(基于 Nvidia 的 Blackwell 架構(gòu)),將會持續(xù)為 Grok 提供強大的算力支持。
參考鏈接:
[ 1 ] https://x.com/elonmusk/status/1968196086193066365
[ 2 ] https://jeremyberman.substack.com/p/how-i-got-the-highest-score-on-arc-agi-again
[ 3 ] https://ctpang.substack.com/p/e760eba7-c8b3-4fda-b631-61b89dd0d0fd
[ 4 ] https://www.tomshardware.com/tech-industry/artificial-intelligence/elon-musk-says-xai-is-targeting-50-million-h100-equivalent-ai-gpus-in-five-years-230k-gpus-including-30k-gb200s-already-reportedly-operational-for-training-grok
一鍵三連「點贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評論區(qū)留下你的想法!
— 完 —
年度科技風(fēng)向標(biāo)「2025 人工智能年度榜單」評選報名開啟啦!我們正在尋找 AI+ 時代領(lǐng)航者 點擊了解詳情
企業(yè)、產(chǎn)品、人物 3 大維度,共設(shè)立了 5 類獎項,歡迎企業(yè)報名參與
一鍵關(guān)注 點亮星標(biāo)
科技前沿進(jìn)展每日見