Mistral Large 4 e gratuit, dar acasă cere un Mac de 22.299 de dolari

Mistral a publicat ponderile complete ale modelului Mistral Large 4, poreclit Le Chonk, astfel încât oricine îl poate descărca, modifica și rula pe propriul hardware. Laboratorul francez spune că este acum cel mai puternic model cu ponderi deschise pentru programare și pentru activități de securitate defensivă, cum ar fi reproducerea unei vulnerabilități software și apoi remedierea ei. Pentru cei care speră să-l ruleze acasă, problema este dimensiunea.

Le Chonk are aproximativ un trilion de parametri, dintre care 49 de miliarde sunt active pentru fiecare cuvânt pe care îl generează. Chiar și cele mai comprimate versiuni, cu cuantizare la 2 biți, realizate de echipa llama.cpp și de Unsloth, au nevoie de o singură mașină Apple Silicon Ultra cu 512 GB de memorie unificată, potrivit Hugging Face. Singurul Mac vândut de Apple cu atât de multă memorie este un Mac Studio cu cip M5 Ultra, iar 9to5Mac relatează că prețul său ajunge la 22.299 de dolari în SUA, în această configurație. Orice altă variantă de rulare presupune folosirea împreună a mai multor plăci grafice de top.

Mistral își susține modelul cu performanțele în programare. Compania spune că obține 41% la Terminal-Bench 4.0, un test pentru agenții AI care lucrează în linia de comandă, cel mai bun rezultat dintre modelele cu ponderi deschise. Mai afirmă că modelul este la egalitate cu GLM-5.3 în indicele pentru agenți de programare al Artificial Analysis, folosind însă cu 47% mai puțini tokeni pentru fiecare sarcină, ceea ce îl face mai ieftin de rulat. În evaluările comparative oarbe realizate de Surge, evaluatorii i-au preferat codul celui generat de GLM-5.3, Kimi K3 și DeepSeek V4.1 Flash, clasându-l mai jos doar pe cel al modelului Claude Opus 5.5 de la Anthropic.

Argumentul privind securitatea se adresează celor care se ocupă de apărare. Hugging Face spune că modelul a obținut 82% la o probă Artificial Analysis în care i se cere să reproducă o vulnerabilitate reală dintr-un program open-source și apoi să o remedieze. Totodată, Mistral afirmă că mai multe modele de frontieră cu acces închis obțin rezultate apropiate de zero, fiindcă refuză să încerce. O bancă sau o instituție guvernamentală poate rula modelul pe propriile servere, îi poate furniza propriul cod și propriile jurnale de blocare și poate continua să-l folosească dacă un furnizor își schimbă condițiile. „AI-ul va ajunge să fie precum electricitatea. Nu vrei să trăiești într-o lume în care vecinul îți poate tăia curentul de pe o zi pe alta”, le-a spus Pierre Stock, vicepreședintele pentru știință al Mistral, jurnaliștilor, potrivit Wired.

Majoritatea acestor cifre provin de la Mistral, pe baza unor teste alese chiar de companie, iar evaluările independente abia au început. În indicele general de inteligență al Artificial Analysis, Hugging Face îl plasează pe locul al cincilea între modelele cu ponderi deschise, nu pe primul. Argumentul privind securitatea funcționează însă și în sens invers. Mistral a scris că, în timp ce urmărea traficul în timp real în perioada de previzualizare, a observat „un potențial de a facilita desfășurarea unor atacuri reale” și că își înăsprește măsurile de protecție. Ponderile publice pot fi însă descărcate și reajustate de oricine, inclusiv de atacatori. „Este, în mod clar, o tehnologie cu dublă utilizare”, a declarat pentru Wired Rafe Pilling, director senior pentru informații despre amenințări la Sophos.

Folosirea acasă presupune și compromisuri, chiar dacă ai Mac-ul potrivit. Hugging Face a rulat versiunea cu cuantizare la 2 biți pe un Mac Studio mai vechi, cu cip M3 Ultra, și a obținut aproximativ 15 tokeni pe secundă: suficient pentru conversații, dar lent pentru sarcini lungi de programare. Cu patru plăci Nvidia RTX 6000 Pro și documente foarte lungi, viteza de generare a scăzut la aproximativ 3 tokeni pe secundă. Reducerea modelului la 2 biți afectează și acuratețea, în comparație cu versiunea completă evaluată de Mistral.

Ponderile pot fi descărcate de oriunde din lume de pe Hugging Face, în baza licenței Mistral Ecosystem Open-Weight License, o versiune modificată a licenței MIT care permite utilizarea gratuită, ajustarea fină și crearea de produse comerciale, cu o singură excepție: companiile care vând modelul ca serviciu găzduit au nevoie de o licență comercială separată de la Mistral. Toți ceilalți îl pot folosi și prin API-ul Mistral, la un tarif de 0,70 dolari pentru un milion de tokeni de intrare și 2,10 dolari pentru un milion de tokeni de ieșire, sau prin OpenRouter și Microsoft Foundry. Mistral a lansat o versiune de previzualizare la începutul lunii octombrie și a publicat ponderile finale pe 29 octombrie. Apple spune că Mac Studio-urile comandate cu 512 GB de memorie vor fi livrate între sfârșitul lui noiembrie și începutul lui decembrie.

„Odată ce publici ponderile open-source, ajung peste tot pe internet. Este imposibil să le blochezi accesul”, i-a spus Stock publicației Wired. Pentru cei care nu au un computer de 22.299 de dolari, obstacolul este prețul memoriei.

Etichete: securitate cibernetică, Hugging Face, Mac Studio, IA open-weight, Le Chonk, Mistral AI