Cloudflare ha anunciat que, per defecte, bloquejarà els bots d’intel·ligència artificial (IA) que intenten accedir als llocs web que allotja. Aquesta mesura respon a l’augment de bots que recopilen, sense permís, grans quantitats de dades de pàgines web per entrenar models de llenguatge. Molts d’aquests bots ignoren directives com “no crawl” i són difícils de detectar, ja que alguns es fan passar per usuaris humans.

Els propietaris de webs podran gestionar manualment quins bots d’IA permeten o bloquegen, i Cloudflare oferirà la possibilitat de cobrar als bots per cada vegada que accedeixin a la seva informació (“pay-per-crawl”). Per millorar la defensa, Cloudflare utilitza tècniques avançades, com l’AI Labyrinth: un sistema que genera automàticament laberints de pàgines amb contingut creat per IA, dissenyades per distreure i esgotar els recursos dels bots no autoritzats sense proporcionar-los informació valuosa. Aquesta estratègia ajuda a protegir el contingut i dificulta la tasca dels bots que busquen dades per entrenar sistemes d’IA.

Aquesta nova eina és accessible per a tots els clients, fins i tot en el pla gratuït, i representa un pas important per protegir la privadesa i el control sobre les dades publicades a internet davant el creixement dels sistemes d’IA generativa.