Tehnologie

Anthropic își activează regulile împotriva IA care se autoperfecționează

Adrian Kessler
Adaugă-ne în Google

Anthropic a concluzionat oficial că inteligența artificială își accelerează acum cercetarea suficient de mult pentru a depăși o limită stabilită chiar de companie. În prospectul de IPO, modificat recent, creatorul Claude spune că a atins pragul de capabilități în cercetare și dezvoltare AI prevăzut în Responsible Scaling Policy, regulamentul intern care stabilește nivelul de securitate și supraveghere necesar pentru modelele sale. Politica descrie acest prag drept începutul auto-îmbunătățirii recursive: momentul în care sistemele AI încep să accelereze procesul de construire a unor sisteme AI mai performante.

Neobișnuit la această concluzie este faptul că nu se bazează pe ceea ce s-ar putea crede. Anthropic scrie că a ajuns la ea „pe baza a ceea ce ne așteptăm de la modelele viitoare și a ritmului general al progresului nostru, nu pe baza a ceea ce am observat la modelele actuale”. Nu s-a demonstrat că vreun model Claude disponibil comercial a depășit limita. Compania acționează în funcție de propria prognoză și le comunică acest lucru investitorilor înainte ca acțiunile sale să înceapă să fie tranzacționate.

Dovezile invocate sunt interne. Prospectul spune că, într-o lună recentă, Claude a scris peste 90% din contribuțiile la baza de cod a Anthropic și că volumul de cod realizat zilnic de fiecare inginer a crescut de peste 45 de ori. Anthropic adaugă că modelele sale „scriu o parte mare și tot mai importantă din codul nostru și desfășoară tot mai mult din activitatea noastră de cercetare, inclusiv cercetarea în domeniul siguranței”.

Politica stabilește două modalități de a depăși acest prag. Prima este dezvoltarea unui model capabil să înlocuiască integral personalul Anthropic format din cercetători și ingineri, la un cost competitiv. A doua este o „accelerare dramatică” a progresului AI, definită în politică drept comprimarea a aproximativ doi ani de progres într-unul singur, probabil datorită cercetării automatizate. Cum al doilea criteriu este îndeplinit dacă firma poate „observa sau anticipa” un asemenea salt, o prognoză este suficientă pentru a-l activa.

Depășirea limitei obligă Anthropic să adopte un set mai amplu de măsuri de protecție. Politica prevede proiecte de securitate „de anvergură” împotriva celor mai bine finanțați atacatori din lume, precum și o stare de „supraveghere totală”, în care fiecare activitate critică de dezvoltare AI este înregistrată și analizată de AI pentru identificarea amenințărilor, inclusiv a celor venite din interior, fie de la oameni, fie de la mașini. Echipa internă de red team trebuie, de asemenea, să descopere mai multe metode de jailbreak decât toți cercetătorii externi din programele companiei de recompensare a raportării vulnerabilităților, la un loc. Prospectul spune că firma a amânat deja cu peste o lună preantrenarea unui nou model de ultimă generație, pentru a consolida protecția împotriva furtului ponderilor modelului, și că analizează reguli care ar impune aprobarea unui om pentru anumite decizii de cercetare, pe măsură ce Claude preia tot mai mult din această activitate.

Pentru cei care folosesc Claude la serviciu sau Claude Code, efectul practic ar putea fi lansări mai lente. Scrisoarea fondatorilor, publicată odată cu documentele pentru IPO, spune că s-ar putea întâmpla ca Anthropic să aleagă „să avanseze mai încet decât am putea, pentru a ne face sistemele mai sigure, chiar dacă asta ne-ar dezavantaja în raport cu concurența”. Deocamdată, aplicațiile nu se schimbă.

Concluzia este o autoevaluare în cadrul unei politici voluntare, redactate și revizuibile de Anthropic, și nu a fost confirmată de niciun auditor extern. Politica recunoaște că pragul „s-a dovedit dificil de transpus în practică”, iar documentul depus admite că o mare parte din dovezi se bazează pe indicatori întârziați, ceea ce înseamnă că o accelerare reală ar putea fi detectată abia după ce s-a produs. Dezvăluirile privind riscurile dintr-un prospect sunt redactate și pentru a proteja o companie de eventuale procese viitoare, iar o versiune anterioară a aceluiași document spunea doar că Anthropic „ar putea îndeplini în curând” criteriile, după cum a relatat Gizmodo.

Anthropic spune că încă analizează datele pe care se bazează concluzia și că va publica rapoarte suplimentare despre ce înseamnă atingerea pragului. Se estimează că prețul acțiunilor va fi stabilit pe 18 noiembrie, iar tranzacționarea lor pe Nasdaq, sub simbolul bursier ANT, va începe pe 19 noiembrie; intervalul de preț propus este de 70–78 de dolari pe acțiune. Deocamdată, singura dovadă că limita a fost depășită este prognoza proprie a Anthropic.

Etichete: , , , , ,

Adaugă-ne în Google

Discuție

Există 0 comentarii.