Nvidia PAIR uneşte GPU-urile de acasă pentru agenți IA de două ori mai rapizi, gratuit

Un nou instrument gratuit de la Nvidia, numit PAIR – Personal AI Router – direcționează sarcinile agenților AI pe mai multe calculatoare din rețeaua ta de acasă, tratând colecția ta de PC-uri de gaming, stații de lucru și chiar Mac-uri ca pe un cluster de inferență unificat. Ideea este destul de simplă: majoritatea calculatoarelor care rulează AI stau inactive cea mai mare parte a timpului, iar sarcinile locale de AI sunt tot mai mult construite în jurul agenților care generează simultan zeci de sub-sarcini independente. PAIR conectează ciclurile de procesare neutilizate.

Software-ul funcționează ca un proxy transparent peste Ollama și LM Studio, cele mai populare două instrumente locale de inferență, astfel încât configurațiile existente nu necesită modificări de cod. Odată instalat pe fiecare mașină, PAIR folosește mDNS – același protocol pe care îl folosește imprimanta ta pentru a apărea în rețea – pentru a descoperi automat dispozitivele compatibile. Un agent principal trimite sarcina sa ca de obicei, iar PAIR decide care mașină se ocupă de care sub-sarcină, în funcție de modelele disponibile pe fiecare mașină. Nu este necesară o configurare identică pe toate mașinile: un PC de gaming care rulează Llama 3.3 și un laptop cu Mistral pot coopera la aceeași sarcină.

Benchmark-ul publicat de Nvidia face diferența concretă: o sarcină cu cinci sub-agenți care a durat 18 minute pe un singur laptop RTX Spark s-a încheiat în 8 minute și 48 de secunde pe un cluster de trei dispozitive. Asta înseamnă o accelerare de aproximativ 2× fără a atinge o linie de cod sau a plăti pentru cloud computing. Câștigul se scalează în funcție de numărul de mașini și de natura sarcinii – sarcinile care se descompun în multe părți paralele beneficiază cel mai mult.

Lecturi recomandateMac mini-ul nu a fost construit pentru antrenarea IA. OpenAI a cumpărat zeci de mii oricum

Intimitatea este celălalt punct de vânzare, și este cel mai durabil. Fiecare prompt, fișier și bucată de context al agentului rămâne în rețeaua ta de acasă. Nimic nu este direcționat către un serviciu de inferență în cloud; nu există cheie API, nici măsurare a utilizării și nicio companie care să primească întrebările tale. Pentru oricine rulează agenți pe documente sensibile – schițe legale, note medicale, corespondență personală – această distincție contează mai mult decât cifrele de benchmark.

Avertismentele sunt reale. PAIR nu oferă nicio garanție a calității serviciului: dacă mașina pe care te bazai își trezește GPU-ul pentru un joc sau o exportare video, PAIR redistribuie acea sarcină către orice altceva este disponibil. Instrumentul este conceput în mod deschis pentru sarcini de lungă durată, unde termenul limită este flexibil, nu pentru aplicații unde latența trebuie să fie predictibilă. Este, de asemenea, software beta. Nvidia îl promovează către entuziaști care au cel puțin o mașină compatibilă – o placă grafică GeForce RTX seria 20 sau mai nouă, sau siliciu Apple M4-series – și așteptarea că aceștia știu deja să se descurce cu Ollama.

PAIR este gratuit, open-source și disponibil în versiune beta acum pe Windows, macOS și Linux. Nvidia nu a anunțat o foaie de parcurs pentru garanții QoS sau o dată de lansare stabilă. Pragul practic pentru a beneficia de el este de două mașini cu hardware capabil, ceea ce exclude majoritatea configurațiilor cu un singur calculator. Pentru utilizatorii care rulează deja Ollama pe mai mult de un dispozitiv acasă, bariera de intrare este suficient de scăzută pentru a justifica experimentul.

Etichete: știri, nvidia, Open Source, agenti IA, IA locală, Ollama

Conținut similar

Nvidia investește 27 de miliarde de dolari în tehnologie IA fără să cumpere nicio companie

Nvidia pariază 12,9 miliarde de dolari că achiziția Hugging Face nu va distruge IA open source

Nvidia DLSS 5 s-a scurs online: primul DLSS care te costă cadre pe secundă

ChatGPT Work: OpenAI unește ChatGPT și Codex într-un singur agent care nu se oprește

Gemini Spark continuă să lucreze cu laptopul închis — beta plătită ajunge în săptămâna de 26 mai

Meta lansează Muse Glimmer: agent AI de 30B parametri care rulează pe GPU-ul tău