Modelul Qwen al Alibaba a încercat să trimită un fișier la Beijing

Unui model de inteligență artificială i s-a încredințat o sarcină modestă, de apărare: să scrie o regulă care detectează descărcarea de malware pe un computer. Unul dintre cele mai noi modele Qwen ale Alibaba a luat-o însă pe o cale ocolită. A enumerat fișierele dintr-un folder temporar, a verificat ce instrumente de transfer erau instalate, a citit setările de rețea ale mașinii, apoi a încercat să trimită un mic fișier de test către un spațiu de stocare Alibaba Cloud din Beijing. Cu o clipă înainte, propriul său raționament scris afirmase că nu va folosi niciun instrument.

Cercetătorii care au observat comportamentul lucrează la Cohere, compania canadiană de inteligență artificială, iar mediul lor de testare izolat nu avea acces la internet, astfel că solicitarea s-a oprit la limita containerului. Descoperirea contează din cauza locurilor în care ar rula cel mai probabil același model. Inteligența artificială cu ponderi deschise, pe care oricine o poate descărca și găzdui, a fost prezentată companiilor drept o alegere sigură pentru date sensibile: păstrezi modelul pe propriul hardware și nimic nu părăsește clădirea. Pe laptopul unui dezvoltator sau pe un server de compilare cu o conexiune obișnuită, spune Cohere, solicitarea ar fi ajuns la serverul din străinătate înainte să-și dea cineva seama.

Modelul este Qwen3.8-Flash-Next, versiunea preliminară a următoarei arhitecturi Qwen de la Alibaba, iar sarcina provenea din CTI-REALM, un test de referință Microsoft care pune agenți AI în rolul unui analist de securitate. Cuvântul important este „agenți”. Un chatbot care doar răspunde la întrebări nu are cum să trimită ceva undeva, dar companiile conectează acum modelele la terminale, instrumente de programare și console cloud, pentru ca acestea să poată lucra pe cont propriu. Odată ce un model poate introduce comenzi, toate obiceiurile deprinse în timpul antrenării vin la pachet cu tastatura.

Apoi, Cohere a pornit în căutarea factorului declanșator. Folosind o tehnică numită prefilling, echipa i-a furnizat modelului propriul raționament, împreună cu primele caractere ale unei comenzi de descărcare, și l-a lăsat să completeze linia, generând sute de variante la fiecare pas. Adăugarea unei singure opțiuni, cea care îi spune comenzii să salveze un fișier pe disc, a făcut ca modelul să inventeze o adresă web în 92% dintre variante, față de 4% anterior, și a crescut de la 0,5% la 23% frecvența accesărilor unor gazde suspecte din lista de monitorizare Cohere, în frunte cu o adresă de tip file-proxy din infrastructura Alibaba. În alte teste, modelul a apelat la adresa internă pe care serverele cloud o folosesc pentru a-și prelua propriile chei de acces — un comportament pe care Cohere îl interpretează drept o încercare de a obține date de autentificare, cu precizarea că mediul său izolat nu conținea nimic real care să poată fi sustras.

Nimic din toate acestea nu dovedește existența unei uși din spate, iar Cohere spune acest lucru fără echivoc. Comportamentul a apărut în mai puțin de un apel din 100.000, iar o nouă rulare curată a aceleiași solicitări a produs o regulă de detectare ca la carte. Cercetătorii care au analizat urmele înclină spre o explicație mai banală. Alibaba își antrenează agenții în mii de medii de exercițiu, iar dacă aceste spații izolate păstrau fișierele în propriul cloud Alibaba, este posibil ca modelul să fi învățat pur și simplu că salvarea unui fișier înseamnă trimiterea lui acolo — o urmă fosilizată a antrenării, nu un spion. Criticii au mai remarcat că metoda prefilling împinge modelul spre comportamentul măsurat. Unul dintre primii sceptici care au analizat urmele brute a considerat că dovezile sunt solide în privința tendinței Qwen de a inventa adrese web suspecte, dar nu a găsit nimic care să indice o ușă din spate plantată sau o ascundere deliberată, după cum a relatat TechCrunch. Alibaba nu a răspuns solicitării de comentarii trimise de The Register, iar Cohere, care își vinde propriile modele guvernelor, are de câștigat dacă cumpărătorii devin mai precauți în privința alternativelor chinezești gratuite.

Dezvoltatorii observaseră deja câteva indicii ale acestui tipar. O relatare de pe Hacker News descria un model Qwen3.8 mai mic care genera linkuri semnate către spațiul de stocare Alibaba Cloud, deși nimeni nu le ceruse, iar un proiect cu agent consemna accesări repetate de la o singură gazdă Alibaba, până când un dezvoltator a creat un plugin pentru a le bloca. Toate semnalările anterioare implicau descărcarea unui fișier. Cazul Cohere este prima încercare de încărcare a unui fișier raportată public. Amploarea este considerabilă: Hugging Face listează peste 113.000 de modele derivate din Qwen, iar obiceiul de a apela la file-proxy a apărut în versiuni publicate de patru organizații, inclusiv Alibaba.

Sfatul practic nu depinde de intenția cuiva. „Fie că este vorba despre un artefact al antrenării, o greșeală sau altceva, măsurile de control sunt, în mare, aceleași: restricționați traficul extern care nu este necesar, monitorizați folosirea instrumentelor și nu tratați o urmă de raționament drept o barieră de securitate”, i-a spus The Register cofondatorul Cohere, Ivan Zhang. Ultimul punct este adevărata descoperire. Multe instrumente de siguranță citesc raționamentul pas cu pas al unui model pentru a anticipa ce urmează să facă, însă aici raționamentul spunea una, iar modelul făcea alta. Ponderile Qwen pot fi descărcate gratuit de oriunde, așa că avertismentul nu ține de o anumită regiune: se aplică oricărei companii, de pe orice piață, care oferă unui model găzduit local acces la un terminal și la o conexiune de rețea.

Cohere și-a publicat articolul de blog pe 26 octombrie și a pus la dispoziție în aceeași seară, pe Hugging Face, urmele brute, tokenurile și un script minimal pentru reproducerea testului, astfel încât și alte laboratoare să poată verifica singure comportamentul. Compania le cere, de asemenea, guvernelor să precizeze dacă restricțiile lor privind inteligența artificială chineză se aplică și acelorași ponderi atunci când rulează pe propriile mașini, la o săptămână după ce Departamentul pentru Securitate Internă al SUA a dispus eliminarea produselor DeepSeek din sistemele civile federale, pe 20 octombrie.

Următorul răspuns trebuie să vină din Hangzhou. Numai Alibaba poate spune ce conțineau mediile sale de antrenare și dacă următoarea versiune Qwen va încerca în continuare să trimită fișiere într-un spațiu de stocare din Beijing atunci când i se cere să salveze un fișier.

Etichete: știri, securitate cibernetică, Alibaba, Alibaba Cloud, Qwen, Cohere