O linie în robots.txt va bloca antrenarea AI la Google, OpenAI și Microsoft

Până acum, cei care voiau să-și țină site-ul în afara antrenării AI trebuiau să scrie câte o regulă separată pentru fiecare companie și să învețe, rând pe rând, nume precum GPTBot, ClaudeBot și Google-Extended. Google, OpenAI, Anthropic și Microsoft spun acum că vor citi cu toții aceeași linie: un „token de politică” comun în robots.txt, micul fișier text care le spune motoarelor de căutare, încă din primele zile ale internetului, unde să nu intre. Scrisă o singură dată, această intrare va transmite același răspuns către patru dintre cei mai mari dezvoltatori de AI.

Ideea îi aparține lui Kevin Kelley, responsabil tehnic pentru standarde la Anthropic, care a înaintat-o către Internet Engineering Task Force, organismul care stabilește regulile tehnice ale internetului. Partea ingenioasă este că nu introduce o sintaxă nouă. Proprietarul unui site scrie un grup obișnuit de reguli, dar linia User-Agent indică o utilizare, nu un crawler: __usage_ai-training. Sub aceasta, „Disallow: /” înseamnă că nimic de pe site nu poate fi folosit pentru antrenare, iar o linie „Allow” poate prevedea excepții — de pildă, un kit de presă din care compania ar fi bucuroasă să învețe un model.

Pentru un blog, un magazin sau o redacție, cel mai util detaliu este ce nu afectează această linie. Ea exprimă o preferință privind modul în care este folosit conținutul, nu cine poate accesa site-ul, așa că funcția de căutare rămâne intactă. Google spune că, dacă un site se retrage prin tokenul comun și nu menționează separat Google-Extended, va interpreta acest lucru drept o blocare pentru Google-Extended, care acoperă antrenarea Gemini, fără să scoată pagina din Google Search. Microsoft face aceeași promisiune pentru Bing: setarea nu schimbă posibilitatea ca o pagină să apară în rezultatele căutării.

Microsoft merge mai departe decât celelalte companii. Pe lângă antrenare, introduce o preferință separată privind grounding-ul, setată pentru fiecare pagină printr-o metaetichetă sau un antet HTTP, care stabilește dacă pagina poate contribui la răspunsurile generate pe loc de Bing, Copilot și Microsoft 365. Un site ar putea refuza antrenarea, dar să permită în continuare grounding-ul, păstrându-și citările și linkurile în răspunsurile AI. Microsoft avertizează că refuzul grounding-ului va „reduce semnificativ” vizibilitatea site-ului în aceste experiențe și că niciuna dintre opțiuni nu garantează includerea, traficul sau plata.

Există însă o capcană ascunsă în fișierul pe care majoritatea site-urilor îl au deja. Proiectul lui Kelley face în mod deliberat ca regula wildcard familiară, „User-agent: *”, să nu țină cont de noul token, așa că un robots.txt care blochează în prezent toți boții nu exprimă deloc o preferință privind antrenarea AI. Proprietarii care vor să se retragă trebuie să adauge un nou grup, indicându-l explicit după nume. Semnalul se aplică și numai de acum înainte: tot ce au accesat companiile înainte de apariția liniei se află deja în seturile lor de antrenare, iar proiectul nu obligă nicio companie să o respecte. Este o solicitare pe care patru firme au promis că o vor respecta, nu o garanție.

Cea mai vizibilă absență este Meta. Andy Stone, șeful departamentului de comunicare al companiei, a declarat pentru The Verge că un semnal comun, care ajunge simultan la mai mulți furnizori, este „un pas important”, dar nu a spus dacă Meta îl va respecta. Momentul este delicat. În aceeași zi în care cele patru companii și-au anunțat sprijinul, au intrat în vigoare noii termeni comerciali ai Meta, care îi permit să trimită crawlere către site-urile asociate conturilor profesionale de Facebook, Instagram și WhatsApp și să folosească datele colectate pentru a-și antrena produsele.

Implementarea este inegală. Anthropic a început deja să adopte tokenul, deși Kelley a scris că va dura până când acesta va acoperi toate serviciile companiei. Microsoft îl va respecta pentru paginile accesate începând cu 1 februarie 2027, iar după 1 martie nu va mai interpreta vechile sale etichete NoArchive și NoCache drept semnale privind antrenarea sau grounding-ul. Google vizează adoptarea tokenului în 2027 și promite să ofere actualizări despre progres, în timp ce OpenAI s-a angajat doar să îl implementeze în lunile următoare. Propunerea trebuie să treacă încă prin grupul de lucru AI Preferences al IETF înainte de a deveni un standard oficial, iar Google observă că se încadrează în codul de bune practici al UE pentru modelele AI de uz general, care consideră deja robots.txt principala modalitate prin care editorii își exprimă preferințele într-un format lizibil de mașini.

Ce face momentul remarcabil este amploarea soluției. După ani de procese și dispute privind licențele și dreptul de proprietate asupra internetului deschis, primul răspuns comun constă în câteva caractere într-un fișier text simplu, pe care oricine îl poate modifica într-un minut. Cât de mult va proteja această măsură depinde de cine i se va alătura în continuare, iar compania ale cărei platforme găzduiesc cele mai multe pagini profesionale nu a spus încă da.

Etichete: inteligența artificială, OpenAI, Google, Anthropic, microsoft, meta