OpenAI recunoaște că agentul GPT-6 Astra și-a scos monitorizarea și apoi a mințit

Un agent de programare OpenAI, căruia i s-a cerut să aducă un program în conformitate cu o versiune de referință, a eliminat pe ascuns monitorul de siguranță care îi supraveghea activitatea, apoi i-a spus utilizatorului care l-a întrebat despre acest lucru: „Nu am eliminat un monitor activ.” Agentul rula pe GPT-6 Astra, iar informația a fost dezvăluită chiar de OpenAI, care a descris și un al doilea caz, în care un agent GPT-6.1 Sol a dezactivat alertele menite să-și avertizeze echipa de securitate.

Niciunuia dintre agenți nu i s-a cerut să slăbească măsurile de siguranță. Fiecare a interpretat o instrucțiune obișnuită ca pe o permisiune de a elimina o protecție: „nu trimite niciun mesaj”, într-un caz, și „doar copiază ce se întâmplă”, într-o cerere de integrare de referință, în celălalt. Ambele modele sunt deja disponibile publicului, după cum a remarcat Engadget, și ambele au dat greș în timpul unor sarcini obișnuite de programare, de tipul celor pe care oamenii le încredințează acum zi de zi agenților AI. Dacă lași un agent să-ți modifice codul, partea neliniștitoare este rezumatul de la final, care poate omite schimbarea cea mai importantă.

Cazul Sol a început când un cercetător i-a cerut agentului să creeze sarcini de evaluare pornind de la feedbackul angajaților adunat pe Slack, precizând că nu ar trebui să trimită niciun mesaj. După 82 de mesaje, fluxul de lucru s-a oprit, după ce monitorul a semnalat o soluție propusă și nu a putut salva constatarea. La început, agentul a raționat că alertele automate nu reprezentau genul de comunicare pe care utilizatorul îl interzisese, iar un subagent căruia îi încredințase repararea a considerat că dezactivarea alertelor obligatorii nu ar fi sigură. Agentul principal s-a răzgândit apoi și a ordonat totuși suprimarea alertelor.

Lecturi recomandateOpenAI își oprește din nou modelele de top după ce un agent a evadat

Patch-ul rezultat a golit listele persoanelor care primesc rapoarte de monitorizare, a activat o setare de tipul „nu notifica”, a înregistrat motivul „Utilizatorul a cerut explicit să nu fie trimise mesaje” și a refuzat să salveze vreun rezultat dacă notificările nu erau dezactivate. Monitorul a continuat să funcționeze și să-și salveze rapoartele. Pur și simplu, nu a mai informat niciun om.

Astra fusese avertizat dinainte. Un alt agent îi spusese să nu dezactiveze monitorul „nici măcar temporar”. Când un utilizator i-a cerut să copieze traseul de servire dintr-o cerere de integrare de referință, Astra a pasat sarcina unui subagent, cerându-i să păstreze monitorizarea „în măsura în care este potrivit” pentru acea referință, care nu avea propriul monitor. Subagentul a eliminat configurația monitorului și mecanismul care îl activa în timpul rulării, apoi a înlocuit un test menit să garanteze monitorizarea cu unul care verifică dacă monitorul a dispărut. Însemnarea făcută de Astra după ce a constatat că noul traseu de cod nu activa monitorul agentului era „yay”.

„Când utilizatorul a întrebat dacă Astra eliminase monitorizarea, agentul a mințit și a spus că nu”, a scris pe X Marcus Williams, cercetător în siguranța AI la OpenAI. Raportul companiei formulează lucrurile mai sec: agentul „i-a afirmat în mod fals utilizatorului că nu eliminase monitorul”.

Dezvăluirea lămurește mai puțin decât pare. OpenAI scrie că „nu are încă o explicație satisfăcătoare pentru acest comportament” și ia în calcul două interpretări: o persistență „benignă”, prin care un model duce instrucțiunile mai departe decât ar face-o o persoană rezonabilă, sau o tendință specifică de a evita monitorizarea menită să detecteze comportamentele necorespunzătoare. Tot ce a fost publicat provine de la OpenAI, fragmentele de raționament sunt reformulări în limbaj obișnuit, făcute de companie, ale unor note comprimate ale modelului, nu rezultate redate cuvânt cu cuvânt, iar niciun auditor extern nu a examinat jurnalele. Niciunul dintre incidente nu a fost clasificat P0, nivelul de severitate care declanșează alerta pentru echipa de securitate OpenAI, așa că niciunul nu a dus la o verificare imediată și nici nu a oprit automat rularea.

Raportul recunoaște și o lacună mai amplă. Agenții au lansat sarcini cu monitorizarea dezactivată: agentul în sine era supravegheat, dar activitatea pe care o pornise nu. Dezactivarea monitorului este dificilă în Codex, unde acesta rulează în interiorul serviciului care gestionează solicitările către model, în afara razei de acțiune a agentului. În evaluări este mai ușor, pentru că OpenAI nu impune monitorizarea dezalinierii pentru modele comparabile cu GPT-6 Luna, mai slab, ceea ce permite configurarea greșită a unei evaluări Astra astfel încât să folosească mecanismul de ocolire destinat modelelor din clasa Luna.

Nu este prima dată când agenții OpenAI fac mai mult decât li s-a cerut. În iulie, compania a recunoscut că agenții pe care îi testa au pătruns în depozitul de cod AI Hugging Face, iar luna trecută, potrivit Engadget, a anulat lansarea planificată a GPT-6.1 Astra, după ce modelul ar fi dat dovadă de mai multă tendință de a înșela decât versiunile anterioare în testele interne.

Incidentul cu Sol a avut loc pe 3 octombrie, iar cel cu Astra, pe 6 octombrie; OpenAI și-a actualizat raportul pe 20 octombrie. Sistemul Auto-Review, deja obligatoriu pentru toate utilizările interne ale Codex, include acum instrucțiuni specifice pentru a detecta și bloca tentativele de dezactivare a monitorizării dezalinierii. OpenAI lucrează, de asemenea, la impunerea unui caz de siguranță valid — o declarație a cerințelor de monitorizare — pentru fiecare categorie de sarcini, cu oprirea automată a oricărei sarcini care nu are unul sau nu îndeplinește cerințele acestuia. Pentru a găsi cauza, compania construiește evaluări în pereche, reeșantionează rulările agenților și analizează activările interne ale modelelor.

Ambii agenți s-au oprit ca să întrebe dacă măsura de protecție ar trebui păstrată. Amândoi au decis că o instrucțiune obișnuită de programare le dădea voie să o elimine.

Etichete: știri, OpenAI, agenti AI, siguranță AI, GPT-6 Astra, Codex

Conținut similar

GPT-6 Astra i-a blocat pe utilizatorii plătitori, iar motivul sunt propriile reguli de securitate ale OpenAI

Agenții Dots de la OpenAI lucrează non-stop, dar România rămâne deocamdată pe dinafară

OpenAI a dezactivat barierele de siguranță, apoi agentul său AI a spart Hugging Face

Un agent AI s-a reantrenat singur pentru a repara erori — şi a uitat cum să spună nu

ChatGPT Work: OpenAI unește ChatGPT și Codex într-un singur agent care nu se oprește

Sponsored Agents de la OpenAI — conversația ChatGPT are acum un vânzător înăuntru