Tehnologie

Elon Musk: Grok 4.8 a întârziat pentru că xAI și-a rescris software-ul de la zero în C/C++

Noul Grok întârzie deoarece xAI a renunțat la instrumentele open-source cu care a antrenat și a pus în funcțiune modelele sale. Musk numește rezultatul „nu încă incredibil” și mizează pe faptul că rescrierea va dauu rezultate în Grok 5.
Adrian Kessler
Adaugă-ne în Google

Partea interesantă din cea mai recentă actualizare a lui Elon Musk despre Grok nu ține de limbajul de programare. Ci de mărturisirea strecurată în mesaj: următorul model întârzie fiindcă echipa care îl dezvoltă a renunțat la infrastructura open-source folosită pentru antrenarea și livrarea modelelor și și-a construit propria soluție.

Citită ca un anunț de lansare, postarea e optimistă: antrenarea s-a încheiat, rezultatele evaluărilor sunt în creștere, iar lansarea treptată va avea loc până la sfârșitul săptămânii. Privită ca o poveste despre sisteme, spune ceva mai important. xAI, care face acum parte din SpaceX, a decis că frameworkurile comune o țineau pe loc și pariază acest model — și pe următorul — pe controlul fiecărui nivel software dintre cercetători și GPU-uri.

„Am renunțat la JAX/SGLang și am rescris de la zero întregul stack de RL și inferență în C/C++, ceea ce ne-a luat ceva timp în plus”, a scris Musk pe X, răspunzând unui utilizator care întrebase când va apărea Grok 4.8. JAX este biblioteca numerică bazată pe Python cu care xAI antrena modelele; SGLang este un framework open-source pentru servirea modelelor lingvistice mari. Preantrenarea s-a încheiat, a spus el, după ce „a fost nevoie de multă curățare a datelor SFT”, setul de fine-tuning supravegheat. „Acum, 4.8 este în etapa de RL, iar rezultatele evaluărilor încep să crească.”

Replica lămurește o întârziere pe care Musk însuși a anunțat-o. La mijlocul lui septembrie, a prezentat modelul drept „un model de 2,5 T antrenat cu noul nostru stack software C++”, care urma să „încheie antrenarea săptămâna aceasta și să înceapă RL”. Cam în aceeași perioadă, după cum a relatat Analytics India Magazine, a descris componenta de învățare prin recompensă drept „încă un amalgam oarecum moștenit de sisteme software terțe diferite”, care urma să fie reparat „la momentul potrivit”. Spre sfârșitul lui octombrie, scria: „Știu că a durat mai mult decât ne așteptam, dar Grok 4.8 nu va dezamăgi.” S-a dovedit că remedierea a fost chiar cauza întârzierii. Codul de preantrenare era deja nou; componenta care învață modelul cum să se comporte și cea care răspunde utilizatorilor trebuiau reconstruite înainte ca modelul să poată trece mai departe.

„Rescrierea în C++” din titluri este, în cea mai mare parte, o rescriere în C. Întrebat despre limbaj, Musk a răspuns: „C, cu puțin C++, dar nu prea mult.” Spune că stackul își are originea în software-ul scris de inginerii SpaceX pentru Starlink („La SpaceX, ne scriem propriile headere și ne calculăm singuri timpul”, a adăugat el), iar în septembrie a afirmat că echipa Starlink a scris codul de preantrenare și că acesta „nu a fost scris de AI”, fiindcă „AI-ul încă nu se pricepe suficient la software-ul de înaltă performanță (dar se va pricepe)”.

Argumentul a fost făcut public încă din primăvară. La sfârșitul lui mai, Musk a spus că SpaceX era aproape de finalizarea unui stack intern de antrenare în C, care se „mapează exact” pe un cluster de 220.000 de cipuri Nvidia GB300, și a estimat că, în cazul rundelor mari de antrenare, viteza ar putea fi „de peste zece ori” mai mare decât cu JAX. La sfârșitul lui iunie, a promis „câștiguri cu adevărat masive” în aproximativ trei luni, după rescrierea întregului stack de antrenare și inferență, când „majoritatea straturilor software vor fi eliminate complet”. Raportată la acest calendar, rescrierea a întârziat cu aproximativ șase săptămâni. Niciuna dintre afirmațiile despre viteză nu a fost verificată în afara companiei.

Controlul asupra stackului are avantaje și dezavantaje. Renunțarea la JAX și SGLang eliberează xAI de abstracțiile și calendarele de lansare ale altora și le permite inginerilor să adapteze software-ul direct la o anumită componentă hardware. Costul este că fiecare eroare din bucla de antrenare și din procesul de servire îi revine acum exclusiv xAI, într-un cod pe care nicio comunitate din afara companiei nu l-a folosit înainte să ajungă la utilizatori.

Musk coboară și ștacheta așteptărilor — și o face apăsat. „Din fericire, Grok 4.8 nu va semăna deloc cu 4.7”, a scris el, desconsiderând public modelul lansat de xAI pe 21 septembrie. „Încă nu e extraordinar, dar de data asta fundația e construită cum trebuie, așa că mă aștept să evolueze și să devină ceva special.” Mai puțin de o oră mai târziu, întrebat cum se va compara 4.8 cu Opus 5.5 de la Anthropic, a răspuns: „Nu va fi la fel de bun. Opus 5.5 este o capodoperă.” Promisiunea sa adevărată ține de un orizont mai îndepărtat: „Grok 5 ar trebui să-l depășească pe Opus 5.5 și poate că asta se va întâmpla în două sau trei luni.”

În rest, informațiile lipsesc. Pagina de știri și documentația pentru dezvoltatori ale xAI nu conțin nicio mențiune despre model, potrivit site-urilor de monitorizare care le verifică; nu există o fișă a modelului, rezultate de benchmark, un preț sau o listare API. Cifra de 2,5 trilioane de parametri îi aparține doar lui Musk, la fel ca rezultatele evaluărilor despre care spune că sunt în creștere. Lansarea treptată va ajunge la utilizatorii Grok Bot „mai târziu în această săptămână”, fără să fie precizată o zi, iar în octombrie Musk a spus că majoritatea acestor solicitări vor fi gestionate de „o versiune extrem de rapidă a Grok 4.8”.

Asta înseamnă că lansarea din această săptămână va testa mai degrabă infrastructura decât modelul. Dacă modelul face față traficului real din Grok Bot, rescrierea va deveni platforma pe care va fi antrenat Grok 5. Dacă se poticnește, nu va mai exista niciun framework din amonte pe care să poată da vina.

Etichete: , , , ,

Adaugă-ne în Google

Discuție

Există 0 comentarii.