Nate Soares, cercetătorul în IA care a încetat să mai economisească pentru pensie

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Născut	1989
Ocupație	Cercetător în inteligență artificială

Nate Soares are în continuare contul de pensie pe care l-a deschis la Google. Nu a mai depus bani în el de vreo zece ani. Nu din nepăsare: președintele Machine Intelligence Research Institute crede că inteligența artificială supraumană îi va ucide, cel mai probabil, pe toți înainte să ajungă suficient de bătrân ca să-și poată folosi economiile, iar acum spune asta în public cu calmul sec al unui inginer care citește rezultatul unui test. „Nu sunt omul care crede că IA va provoca o apocalipsă a locurilor de muncă”, i-a spus el unui intervievator în toamna aceasta. „Sunt omul care crede că IA îi va ucide pe toți oamenii.” Întrebarea care îi ghidează munca este cea pe care refuză să o considere închisă: dacă cineva care se așteaptă la ce e mai rău îi mai poate convinge pe cei care construiesc această tehnologie să se oprească.

Ceea ce face greu de ignorat perspectiva lui este parcursul său. Soares nu este un filosof care s-a apucat târziu de informatică. A studiat informatica și economia la George Washington University, apoi a scris programe pentru guvernul federal, mai întâi ca cercetător asociat la National Institute of Standards and Technology, iar apoi ca antreprenor al Department of Defense, unde a construit instrumente pentru National Defense University. Au urmat Microsoft și Google, exact genul de companii pe care le cere acum guvernelor să le țină în frâu.

În 2014, pe la mijlocul vârstei de douăzeci de ani (s-a născut în 1989), a plecat de la Google pentru a se alătura unei mici organizații nonprofit din Berkeley, California, care de ani întregi punea o întrebare pe care cea mai mare parte a industriei o considera science-fiction: cum faci o minte mai inteligentă decât tine să facă ceea ce ai intenționat? Ca cercetător la MIRI, a devenit autorul principal al agendei de cercetare tehnică a institutului, redactată împreună cu Benya Fallenstein și publicată ulterior sub titlul „Agent Foundations for Aligning Machine Intelligence with Human Interests”. În ianuarie 2015, agenda a fost citată în „Research Priorities for Robust and Beneficial Artificial Intelligence”, lucrarea lui Stuart Russell, Daniel Dewey și Max Tegmark, publicată împreună cu o scrisoare deschisă prin care cercetătorii în IA erau îndemnați să acorde beneficiului social al sistemelor lor aceeași importanță ca performanțelor brute.

În aceeași perioadă a apărut lucrarea care a contribuit la vocabularul domeniului său. „Corrigibility”, scrisă împreună cu Fallenstein, Eliezer Yudkowsky și Stuart Armstrong și prezentată la un atelier AAAI la începutul lui 2015, aborda o problemă care pare simplă, dar nu este: un sistem suficient de capabil pentru a fi util ar putea fi la fel de capabil să se opună corectării sau opririi sale. Soares și Yudkowsky susțin că lucrarea a introdus termenul „AI alignment problem”, expresie folosită acum chiar de laboratoarele ale căror planuri li se opun.

Mai târziu, în 2015, Soares i-a succedat lui Luke Muehlhauser în funcția de director executiv al MIRI, pe care a deținut-o timp de opt ani. Sub conducerea sa, institutul s-a ocupat de matematică abstractă, nu de produse: teoria deciziei, incertitudinea logică și problema formală a modului în care un agent ar trebui să raționeze despre sine. A fost coautor al lucrării „A Formal Approach to the Problem of Logical Non-Omniscience”, alături de Scott Garrabrant și alții, precum și al articolului „Cheating Death in Damascus”, o lucrare despre teoria deciziei scrisă împreună cu Benjamin Levinstein și publicată în The Journal of Philosophy în 2020. În 2017 s-a întors la Google pentru a ține o prezentare despre problemele nerezolvate ale alinierii și pentru a susține că sunt mai dificile decât credea domeniul. Pe blogul său, Minding Our Way, a publicat și Replacing Guilt, o serie de eseuri despre motivație pe care cititorii o pot cumpăra acum sub formă de carte; în unele cercuri, aceasta l-a făcut mai cunoscut pentru sfaturile despre cum să muncești decât pentru orice ține de mașini.

Cotitura a venit în 2023. MIRI a anunțat că își mută atenția de la cercetarea privind alinierea către avertizarea responsabililor politici și a publicului, continuând totodată să susțină o parte din activitatea tehnică. Soares a trecut din funcția de director executiv în cea de președinte, iar Malo Bourgon a devenit director general. În 2025, Soares i-a spus publicației The Atlantic că se concentrează pe informarea publicului, fiindcă dezvoltarea IA avansa prea repede pentru a putea fi puse în aplicare măsuri de protecție adecvate.

Această schimbare a dus la apariția cărții If Anyone Builds It, Everyone Dies, scrisă împreună cu Yudkowsky și publicată de Little, Brown în septembrie 2025. Argumentul este chiar în titlu. O superinteligență construită „folosind orice tehnici cât de cât asemănătoare celor actuale” ar duce, cel mai probabil, la dispariția omenirii; cercetarea privind alinierea este departe de a fi pregătită, iar numai reglementarea internațională îi poate opri pe dezvoltatori să se întreacă în construirea unor sisteme pe care autorii le consideră catastrofal de periculoase. În octombrie 2025, cartea a intrat pe lista de bestselleruri a The New York Times. A urmat o ediție în spaniolă, publicată de Planeta, iar Hayakawa Shobo a lansat o traducere în japoneză în aprilie 2026.

Reacțiile au scos la iveală punctul slab al argumentului. Unele dintre cele mai tăioase obiecții au venit de la oameni care împărtășesc îngrijorarea autorilor. Will MacAskill, unul dintre fondatorii mișcării altruismului eficient, a numit cartea dezamăgitoare și a spus că se bazează pe argumente slabe, construite în jurul unei analogii cu evoluția și al presupunerii nerostite că progresul IA va face salturi, nu va avansa treptat. Recenzia semnată de Clara Collier în Asterisk a avut un titlu care rezuma frustrarea cititorilor înțelegători: „More Was Possible”. Există și un aspect incomod asupra căruia Soares nu stăruie prea mult. MIRI a încercat ani la rând să rezolve problema alinierii, apoi a ajuns la concluzia că aceasta nu va fi rezolvată la timp; lucrul acesta poate fi interpretat fie drept onestitate intelectuală, fie drept recunoașterea eșecului propriului program de cercetare. Pentru a-și apăra certitudinea, el recurge la o analogie cu șahul: poate fi sigur că Magnus Carlsen l-ar învinge fără să știe ce piesă i-ar da mat. Pentru criticii săi, tocmai aceasta este problema: o predicție despre final, fără nicio explicație a mutărilor.

Nimic din toate acestea nu l-a îmblânzit. În octombrie 2026, la The Most Interesting Thing in AI, podcastul prezentat de Nicholas Thompson, a spus că estimează la peste 50% șansele ca omenirea să nu mai aibă parte de încă un deceniu și a explicat de ce nu s-a atins de contul 401(k). În aceeași conversație, a insistat că rezultatul nu este prestabilit. „Fac tot ce pot ca să împiedic acest deznodământ. Nu cred că este inevitabil”, a spus el, invocând eseul lui C.S. Lewis „On Living in an Atomic Age”, în care autorul susținea că, dacă bomba va cădea, ar trebui să-i găsească pe oameni făcând lucruri chibzuite, omenești, nu stând îngroziți. Varianta lui Soares: „Să ne găsească făcând presiuni asupra guvernelor noastre pentru tratate de neproliferare nucleară.”

Aceasta este munca pe care și-a ales-o. Rămâne președintele MIRI și își petrece timpul acordând interviuri, ținând prelegeri și participând la briefinguri menite să transforme o preocupare marginală din cercetare într-un acord internațional care să oprească cursa către superinteligență. Contul de pensie de la Google este încă deschis. Pur și simplu, a încetat să mai parieze pe el.

Etichete: inteligența artificială, Google, Eliezer Yudkowsky, siguranță IA, Machine Intelligence Research Institute, Nate Soares

Persoane asociate

Persoane asociate

Discuție