突發(fā)：馬斯克Grok開(kāi)源！

作者 |??云鵬，編輯?|??心緣

全球最大開(kāi)源大模型！馬斯克Grok-1參數(shù)量3410億，正式開(kāi)源。

6個(gè)月掏出3410億參數(shù)自研大模型，馬斯克說(shuō)到做到！智東西3月18日消息，就在剛剛，馬斯克的AI創(chuàng)企xAI正式發(fā)布了此前備受期待大模型Grok-1，其參數(shù)量達(dá)到了3140億，遠(yuǎn)超OpenAI GPT-3.5的1750億。這是迄今參數(shù)量最大的開(kāi)源大語(yǔ)言模型，遵照Apache 2.0協(xié)議開(kāi)放模型權(quán)重和架構(gòu)。

Grok-1是一個(gè)混合專家（Mixture-of-Experts，MOE）大模型，這種MOE架構(gòu)重點(diǎn)在于提高大模型的訓(xùn)練和推理效率，形象地理解，MOE就像把各個(gè)領(lǐng)域的“專家”集合到了一起，遇到任務(wù)派發(fā)給不同領(lǐng)域的專家，最后匯總結(jié)論，提升效率。決定每個(gè)專家做什么的是被稱為“門控網(wǎng)絡(luò)”的機(jī)制。xAI已經(jīng)將Grok-1的權(quán)重和架構(gòu)在GitHub上開(kāi)源。

GitHub地址：https://github.com/xai-org/grok-1?tab=readme-ov-file目前Grok-1的源權(quán)重?cái)?shù)據(jù)大小大約為300GB。截至北京時(shí)間3月18日上午7時(shí)許，Grok-1項(xiàng)目收獲了3400顆星。

Grok-1是馬斯克xAI自2023年7月12日成立以來(lái)發(fā)布的首個(gè)自研大模型。xAI特別強(qiáng)調(diào)說(shuō)這是他們自己從頭訓(xùn)練的大模型。Grok-1沒(méi)有針對(duì)特定應(yīng)用進(jìn)行微調(diào)。

xAI是馬斯克去年剛剛成立的明星AI創(chuàng)企，其目的之一就是與OpenAI、谷歌、微軟等對(duì)手在大模型領(lǐng)域進(jìn)行競(jìng)爭(zhēng)，其團(tuán)隊(duì)來(lái)自O(shè)penAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業(yè)和研究機(jī)構(gòu)。

此前馬斯克剛剛“怒噴”O(jiān)penAI不夠“Open”，后腳這就開(kāi)源了自家的頂級(jí)3410億參數(shù)自研大模型Grok-1。雖然馬斯克在預(yù)熱到發(fā)布的過(guò)程中也“放了幾次鴿子”，但最終他并沒(méi)有食言。

今天，xAI還公布了Grok-1的更多細(xì)節(jié)：基礎(chǔ)模型基于大量文本數(shù)據(jù)訓(xùn)練，未針對(duì)特定任務(wù)進(jìn)行微調(diào)。3140億參數(shù)的Mixture-of-Experts模型，其對(duì)于每個(gè)token，活躍權(quán)重比例為25%。xAI從2023年10月開(kāi)始使用自定義訓(xùn)練堆棧在JAX和Rust之上從頭開(kāi)始訓(xùn)練。

但此次xAI并沒(méi)有放出Grok-1的具體測(cè)試成績(jī)，其與OpenAI即將發(fā)布的GPT-5的大模型王者之戰(zhàn)，必將成為業(yè)內(nèi)關(guān)注的焦點(diǎn)。當(dāng)然，馬斯克發(fā)大模型，怎么會(huì)少的了大佬隔空對(duì)線“互懟”？xAI官方消息剛剛發(fā)布，ChatGPT的官方賬號(hào)馬上就跟馬斯克在X平臺(tái)上進(jìn)行了互動(dòng)，在Grok官方賬號(hào)評(píng)論下回復(fù)道：“偷了我的笑話?！?/p>

馬斯克自然不會(huì)示弱，馬上說(shuō)請(qǐng)告訴我OpenAI“Open”之處在哪里。馬斯克高仿號(hào)也馬上跑過(guò)來(lái)添油加醋，說(shuō)我們都知道是Sam在運(yùn)營(yíng)ChatGPT的賬號(hào)。值得一提的是，此次xAI發(fā)布Grok-1消息的封面圖片，是由Midjourney生成，Grok給出了提示文本：一個(gè)神經(jīng)網(wǎng)絡(luò)的3D插圖，具有透明節(jié)點(diǎn)和發(fā)光連接，展示不同粗細(xì)和顏色的連接線的不同權(quán)重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。