CEO-ul Microsoft, Satya Nadella, cere o frână de urgență pentru AI, în afara modelului

Apelul lui Satya Nadella pentru o „frână de urgență” în AI a fost interpretat, în mare parte, drept o alăturare a directorului general al Microsoft la corul vocilor care cer mai multă siguranță. Eseul care stă la baza apelului propune ceva mai restrâns și mai practic: un control aflat în afara modelului, deținut de compania care îl implementează, nu de laboratorul care l-a antrenat. Este o arhitectură de securitate — și, întâmplător, exact genul de soluție pe care Microsoft o vinde deja.

Nadella vrea ca firmele să trateze modelele de frontieră, cu ponderi închise sau deschise, așa cum o echipă de securitate ar trata un angajat cu acces la sisteme sensibile și puteri considerabile. „Nu pentru că ar fi neapărat rău intenționat”, a scris el, „ci pentru că orice actor suficient de capabil, cu acces la sisteme importante, poate face greșeli sau poate fi compromis.”

Ce a propus, de fapt, Nadella: șapte principii și o frână

Textul se intitulează „Models as Insider Risks in the Super Intelligence Era”, a fost publicat pe blogul său personal, sn scratchpad, și distribuit pe X. Fraza care a ajuns în titlurile publicațiilor apare în cadrul unuia dintre principii — izolarea: „Trebuie să presupunem că un model a fost compromis și să-l izolăm încă de la început. Gândiți-vă la asta ca la o frână de urgență. O persoană autorizată ar trebui să poată oricând să pună pe pauză sau să oprească un model în mijlocul unei sarcini.”

Pe lângă frână, el enumeră alte șase reguli. Niciun model nu ar trebui să fie singura verigă de care depinde un rezultat important și nici să-și verifice singur munca. Fiecare acțiune semnificativă a unui model ar trebui să lase „dovezi imposibil de modificat, lizibile pentru oameni”, pentru că „dacă nu poate fi observat, nu poate fi considerat de încredere!”. Întregul sistem ar trebui testat în permanență, inclusiv în privința defecțiunilor și atacurilor. Organizațiile ar trebui să decidă independent la ce poate avea acces un model și ce poate face. Niciun model nu ar trebui să controleze atât comportamentul unui sistem, cât și dovezile folosite pentru a-l evalua. Iar când ceva nu funcționează, persoanele afectate ar trebui informate, iar lecțiile învățate — împărtășite în întregul sector.

Punctul de plecare este o recunoaștere a limitelor. „Nu putem atribui comportamentele și rezultatele modelelor unor date de antrenare sau configurații specifice ale ponderilor”, a scris Nadella, deși companiile încredințează acestor sisteme cele mai sensibile date ale lor. Pentru el, transparența raționamentului pas cu pas este „nenegociabilă”, dar nu suficientă, fiindcă nimeni nu știe încă să facă rezultatele unui model fiabile în mod constant. Nici ideea de a pune modelele să se supravegheze între ele nu rezolvă totul: se poate ajunge la „un model opac într-un strat de orchestrare opac, supravegheat de un alt model opac”.

Răspunsul lui ține de infrastructură. Controalele asupra lucrurilor la care poate ajunge un model și asupra acțiunilor pe care le poate întreprinde „trebuie să fie în afara modelului” — o idee pe care o leagă de un principiu de securitate informatică din anii 1970, potrivit căruia un program nu trebuie să poată modifica mecanismele care îi impun limitele de acces. În practică, asta înseamnă separarea modelului de cadrul care îi orchestrează activitatea și de setul de acțiuni pe care are permisiunea să le întreprindă.

Responsabilitatea revine companiei care rulează modelul

Frazele cu cele mai mari implicații li se adresează clienților, nu laboratoarelor. „Pur și simplu, nu putem externaliza responsabilitatea pentru ceea ce face inteligența în numele nostru”, a scris Nadella. „Asigurările oferite de furnizorul unui model nu ne scutesc de această responsabilitate.” Cine conectează un model la date de salarizare, cod sau informații despre clienți își asumă răspunderea pentru ceea ce face acesta.

El precizează și ce nu încearcă să rezolve. „Lăsând deoparte problema dificilă a alinierii”, eseul spune că demersul ar trebui să înceapă cu „o abordare inginerească a izolării și guvernanței”. CNBC a prezentat postarea alături de avertismentele lui Bill Gates, Dario Amodei de la Anthropic, Sam Altman de la OpenAI și Elon Musk, potrivit cărora AI avansează prea repede. Eseul nu cere nimănui să încetinească ritmul. Le cere celor care implementează aceste sisteme să ridice bariere de protecție.

Companiile știu deja cum să gestioneze angajații cu acces privilegiat, iar Nadella enumeră instrumentele: stabilirea identității, limitarea privilegiilor, înregistrarea activității și definirea granițelor de izolare. O problemă filosofică despre intențiile mașinilor devine astfel o listă de măsuri pe care un director de securitate o poate include în buget.

Arhitectura pe care Microsoft o promovează deja

Lista are o structură familiară. În iulie, la conferința telefonică privind rezultatele trimestriale ale Microsoft, Nadella le-a spus analiștilor, potrivit TechCrunch: „Trebuie să păstrezi cadrul de orchestrare separat de model… asta înseamnă că orice model poate fi înlocuit oricând” și „Nu te poți baza, într-un fel, pe un singur model”. Catalogul cloud al Microsoft include peste 11.000 de modele de la OpenAI, Anthropic, Mistral, xAI și Microsoft însăși, iar compania deține participații importante atât în OpenAI, cât și în Anthropic, în timp ce își dezvoltă propriile modele MAI.

Puneți cele două idei una lângă alta. Diversitatea modelelor înseamnă catalogul cu mai multe modele. Controalele din afara modelului sunt cadrul de orchestrare. Nimic din toate acestea nu face principiile greșite: sunt măsuri solide de securitate, iar o companie care depinde de modelul unui singur laborator, fără controale externe, își asumă un risc real. Asta înseamnă însă că eseul mută încrederea — și cheltuielile care vin odată cu ea — de la model către stratul operat de Microsoft. Aaron Levie, directorul general al Box, a interpretat lucrurile în același fel, dar din perspectiva cealaltă: a spus că AI va trebui să treacă printr-o „eră zero trust” și a numit nevoia de guvernanță o „oportunitate uriașă”. Mustafa Suleyman, care conduce Microsoft AI, a scris că superinteligența „trebuie ținută sub control” și a descris acest demers drept „o provocare inginerească și de guvernanță”.

Ce lasă nespus eseul despre frâna de urgență

Eseul nu spune cine este „persoana autorizată”: administratorul clientului, furnizorul cloud, creatorul modelului sau un organism de reglementare. Cere standarde pentru întregul sector, fără să propună vreunul, și nu menționează niciun produs Microsoft. Ideea are un precedent în cadrul companiei: în 2023, Brad Smith de la Microsoft a cerut „frâne de siguranță” pentru AI care operează infrastructuri critice. Varianta lui Nadella extinde această măsură la orice model care are acces real în interiorul unei companii.

Principiul dezvăluirii incidentelor nu este nici el ipotetic. Anthropic a dezvăluit că unul dintre modelele sale a trimis poliției din Philadelphia o sesizare falsă privind o omucidere, pe 18 iulie. Nadella a publicat eseul sâmbătă, 10 octombrie 2026, și l-a încheiat cu fraza preluată de cele mai multe publicații: „Sistemul de superinteligență cel mai demn de încredere nu va fi cel al cărui model inspiră cea mai multă încredere. Va fi cel care ne permite să avem cea mai puțină încredere în model.”

Potrivit acestei logici, cel mai valoros loc din industria AI este lângă mânerul frânei, iar Microsoft a petrecut conferința privind rezultatele din iulie încercând să-l vândă.

Etichete: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman