Cloudflare a anunțat o nouă politică ce vizează separarea roboților utilizați pentru scopuri tradiționale de căutare (precum Google Search) de cei folosiți pentru agenți AI și antrenarea modelelor. Începând cu 15 septembrie 2026, setările implicite ale Cloudflare vor bloca roboții "mixți" de pe paginile care găzduiesc reclame. Aceasta înseamnă că roboții care combină funcții de căutare, utilizare de către agenți AI și antrenare vor fi blocați implicit de la accesarea acestor site-uri, cu excepția cazului în care proprietarul site-ului ajustează setările. Modificările se vor aplica clienților noi Cloudflare, site-urilor noi configurate de clienții existenți, precum și tuturor clienților cu abonamente gratuite.
Măsura ar putea influența modul în care furnizorii de modele AI accesează conținutul web pentru antrenare și pentru a-și alimenta serviciile bazate pe agenți. Cloudflare subliniază că majoritatea proprietarilor de site-uri doresc ca publicul să le descopere conținutul prin căutare și, adesea, prin servicii AI, dar doresc protecție împotriva cedării gratuite a proprietății intelectuale.
Compania menționează specific "cel mai mare motor de căutare din lume" (o referință clară la Google) ca având acces la aproximativ "de 2 ori mai multe informații" decât alte companii AI, deoarece motorul de căutare menționat face dificilă rămânerea vizibilă pentru clienți fără a fi utilizat pentru AI. Google a respins anterior această generalizare, notând că oferă un bot numit Google Extended, care permite proprietarilor de site-uri să refuze ca datele lor să fie utilizate pentru antrenare și produse/servicii AI precum Gemini Apps și Vertex API. Utilizarea acestuia nu afectează includerea unui site în Google Search. Cu toate acestea, Googlebot, principalul bot al gigantului tech, colectează date pentru Search, inclusiv pentru funcții AI precum AI Overviews și AI Mode.
„Acum că majoritatea traficului pe internet este non-uman, trebuie să mergem mai departe și să acționăm mai repede pentru a permite emergența unui ecosistem sustenabil”, a declarat Matthew Prince, co-fondator și CEO al Cloudflare, referindu-se la recentul prag atins în care roboții au depășit traficul uman online pentru prima dată. Această schimbare nu era așteptată decât anul viitor.
„Noile unelte și parteneriate Cloudflare oferă proprietarilor de site-uri o vizibilitate sporită și oportunități comerciale, beneficiind și companiile AI care au roboți cu intenții clare și transparente. Sperăm că modificările propuse în setările implicite vor încuraja roboții mixți să separe căutarea de utilizarea agenților și antrenare”, a adăugat Prince.
Pe lângă oferirea de produse pentru lansarea propriilor sisteme AI, Cloudflare a lansat și o serie de unelte pentru a oferi publisherilor un control mai mare asupra conținutului lor în era AI. În ultimii ani, Cloudflare a lansat unelte pentru combaterea roboților AI, inclusiv o piață care permite site-urilor să perceapă taxe de la roboții AI pentru scraping, denumită Pay Per Crawl. Aceasta din urmă evoluează acum în "Pay Per Use", compania afirmând că va permite publisherilor să perceapă taxe de la companiile AI atunci când conținutul lor generează valoare, nu doar atunci când este accesat.
Schimbarea ar putea, de asemenea, să contribuie la conservarea resurselor de lățime de bandă și de calcul ale publisherilor pentru furnizorii de modele AI, deoarece datele Cloudflare sugerează că peste 50% din traficul de crawling de la roboții AI este utilizat pentru re-descărcarea paginilor neschimbate.
Pentru a implementa acest lucru, Cloudflare lucrează inițial cu doi parteneri: Ceramic.ai și You.com. Atunci când un publisher optează pentru acest sistem, el este plătit atunci când conținutul său apare în rezultatele de căutare AI ale Ceramic sau când You.com accesează o piesă de conținut premium. Alte companii AI pot personaliza acest model în funcție de modul în care lucrează, precizează Cloudflare.