llm-d 1.0: Red Hat, IBM, Google și Nvidia pariază că adevărata factură a AI este inferența

Timp de trei ani, discuția despre AI s-a învârtit în jurul întrebării cine construiește cel mai mare model. Întrebarea mai puțin spectaculoasă — cât costă să ții acel model răspunzând, de milioane de ori pe zi, fără să cadă — este acum locul pe unde se scurg banii. llm-d, proiectul open source de inferență pornit de Red Hat, IBM, Google Cloud, CoreWeave și Nvidia, a ajuns la versiunea 1.0, iar oferta lui țintește exact această scurgere.

Mecanismul merită spus pe șleau. Un agent AI nu pune o întrebare și pleacă. Ține deschise sesiuni lungi, recitește aceleași documente și lansează ajutoare în paralel care lovesc hardware-ul în rafale imprevizibile. În acest tipar, gestionarea contextului poate costa mai mult decât producerea răspunsului. Orice echipă care servește modele la scară mare, spune Shadi Saba, vicepreședinte de inginerie AI/ML la CoreWeave, se lovește de un „context care adesea costă mai mult de gestionat decât rezultatul în sine”. Răspunsul llm-d este rutarea: fiecare cerere este trimisă la serverul care are deja contextul în cache, în loc să fie recalculat de la zero.

Versiunea 1.0 aduce mai puține trucuri noi și mai multe garanții că cele existente pot rula luni la rând. Proiectul oferea deja rutare conștientă de cache, descărcarea cache-ului KV și separarea fazelor de prefill și decode pe mașini diferite, peste servere de modele precum vLLM și SGLang. Noua versiune adaugă controale de prioritate și echitate, astfel încât cererile sensibile la latență și agenții care lucrează în rafale să împartă aceeași flotă de GPU fără să se sufoce reciproc, un router cu disponibilitate ridicată pentru actualizări fără întreruperi, un API de configurare v1 stabil și o rutare pe sesiune care ține conversațiile cu mai multe runde aproape de starea lor din cache.

Lecturi recomandateIA de frontieră a devenit cu 83% mai ieftină — dacă ești dispus să o găzduiești singur

Cifrele de performanță din anunț provin din demonstrațiile contribuitorilor înșiși, așa că trebuie citite ca afirmații, nu ca audituri. Într-una dintre ele, cercetătorii au servit GLM 5.2, un model cu ponderi deschise de aproximativ 753 de miliarde de parametri, pe GPU-uri Nvidia larg răspândite, cu vârfuri de peste 6,6 milioane de tokeni de ieșire pe minut și până la 3.000 de agenți de programare simultani; la tarifele actuale de închiriere în cloud, susțin ei, costul pe token a fost de cinci până la zece ori mai mic decât prețul unui API comercial echivalent. IBM Research raportează un cost de inferență de 11,5 ori mai mic decât al unei configurații complet proprietare, într-un proiect de proiectare a cipurilor pentru corecția erorilor cuantice, cu o rată de reușită a cache-ului de circa 98%.

Mai grăitor este cine se sprijină deja pe el. JetBrains spune că llm-d servește o parte semnificativă din traficul Junie Lite, planul gratuit al agentului său de programare; DigitalOcean își rulează pe el inferența serverless, iar Mistral și Roblox descriu straturile lor de servire construite pe proiect. Google Cloud integrează versiunea 1.0 în Google Kubernetes Engine pe întreaga sa ofertă de TPU și GPU Nvidia, în timp ce AMD o aduce pe acceleratoarele sale Instinct.

Fondat în 2025 și guvernat acum de Cloud Native Computing Foundation, llm-d numără peste 500 de contribuitori din peste 25 de organizații. Versiunea 1.0 a fost anunțată pe 20 octombrie 2026, la San José, și este disponibilă de acum ca software open source.

Consecința este o mutare a raportului de forțe. Dacă partea scumpă a AI este servirea, nu antrenarea, cine controlează stratul de servire controlează factura. llm-d este o încercare de a se asigura că acest strat rămâne comun și deschis, în loc să fie închis în API-ul unui singur furnizor.

Etichete: știri, nvidia, agenti AI, IBM, CoreWeave, modele lingvistice mari, Red Hat

Conținut similar

Noul model AI DeepSeek vorbește mai puțin, iar o sarcină de programare costă 20 de cenți

Apple pariază pe Mac mini M6 pentru IA locală de la 899 de dolari

Cipul Jalapeño al OpenAI ruleaza inferenta cu o eficienta de 1,9 ori mai mare decat Nvidia Blackwell pe watt

Modelul AI al Alibaba costă 2 dolari pe milion de tokeni — greutățile deschise sosesc pe 10 august

Alphabet strânge 85 de miliarde de dolari: giganții tech finanțează IA prin datorii

Nvidia investește 27 de miliarde de dolari în tehnologie IA fără să cumpere nicio companie