Cloudflare lancia AI Labyrinth contro i bot che raccolgono dati senza permesso
Un nuovo strumento per combattere i bot di web-crawling che raccolgono dati dai siti per l'addestramento
Cloudflare, una delle maggiori aziende di infrastrutture di rete internet al mondo, ha annunciato "AI Labyrinth", un nuovo strumento progettato per combattere i bot di web-crawling che raccolgono dati dai siti web per l'addestramento dell'intelligenza artificiale senza autorizzazione. L'azienda ha spiegato che, quando rileva "comportamenti inappropriati dei bot", lo strumento gratuito e opzionale attira i crawler in un percorso di link verso pagine esca generate dall'AI, che "rallentano, confondono e sprecano le risorse" di chi agisce in malafede.
I siti web hanno a lungo utilizzato il file robots.txt, che concede o nega il permesso ai crawler, ma che le aziende di intelligenza artificiale, anche quelle famose come Anthropic e Perplexity AI, sono state accusate di ignorare. Cloudflare afferma di vedere oltre 50 miliardi di richieste di web crawler al giorno e, sebbene disponga di strumenti per individuare e bloccare quelli dannosi, ciò spesso spinge gli aggressori a cambiare tattica in una "corsa agli armamenti senza fine".
COME FUNZIONA
Invece di bloccare i bot, AI Labyrinth reagisce facendoli elaborare dati che non hanno nulla a che fare con i dati reali di un determinato sito web. L'azienda afferma che funziona anche come un "honeypot di nuova generazione", attirando i crawler AI che continuano a seguire i link verso pagine false sempre più in profondità, cosa che un normale essere umano non farebbe. Ciò rende più facile identificare i bot dannosi per l'elenco di attori malintenzionati di Cloudflare, nonché individuare "nuovi modelli e firme di bot" che altrimenti non sarebbero stati rilevati. Secondo il post, questi link non dovrebbero essere visibili ai visitatori umani.
