ChatGPT, corretto un bug che consentiva di generare contenuti erotici per minori

OpenAI ha ammesso l’esistenza di un’anomalia nei meccanismi di controllo di ChatGPT che ha permesso la generazione di contenuti erotici anche per utenti minorenni. L’azienda è intervenuta dopo che un’indagine di TechCrunch ha documentato come il chatbot, in risposta a specifici prompt, abbia prodotto racconti sessuali rivolgendosi ad account registrati con età comprese tra i 13 e i 17 anni. In alcuni casi, l’AI non si è limitata a esaudire le richieste, ma ha anche suggerito modalità per rendere le conversazioni più esplicite.

Un portavoce dell'azienda ha riconosciuto che quanto avvenuto è in contrasto con le policy interne: "Proteggere gli utenti più giovani è una priorità assoluta, e la nostra Model Spec, che guida il comportamento del modello, limita chiaramente i contenuti sensibili come l'erotica a contesti ristretti come quelli scientifici, storici o giornalistici", ha dichiarato OpenAI in una comunicazione. "In questo caso, un bug ha consentito risposte al di fuori di queste linee guida, e stiamo attivamente distribuendo una correzione per limitare tali generazioni".

L'indagine giornalistica è stata condotta per verificare l'efficacia dei limiti imposti da OpenAI sugli account intestati a minori, dopo che la piattaforma è diventata più permissiva in seguito ad alcune modifiche apportate nei mesi scorsi. Lo scorso febbraio, infatti, l'azienda ha aggiornato le specifiche tecniche dei modelli per chiarire che ChatGPT non si sottrarrà più automaticamente a discussioni su temi sensibili. Nello stesso periodo, sono stati rimossi alcuni messaggi di avviso che in precedenza segnalavano possibili violazioni dei termini di servizio.

Secondo Nick Turley, responsabile prodotto di ChatGPT, l'intento di questi cambiamenti era evitare "dinieghi gratuiti o inspiegabili", ma uno degli effetti collaterali è che il modello predefinito (GPT-4o) si è mostrato più disponibile a trattare argomenti una volta rifiutati, inclusi quelli a sfondo sessuale. TechCrunch ha quindi deciso di testare ChatGPT proprio sul fronte della generazione di contenuti erotici, una delle aree su cui OpenAI ha espresso interesse a ridurre i filtri. Il CEO, Sam Altman, ha anche ipotizzato pubblicamente l'introduzione di una “modalità per adulti” per ChatGPT, e l'azienda ha lasciato intendere un'apertura verso alcune forme di contenuti “NSFW”.

Per condurre l'inchiesta, i giornalisti hanno creato oltre sei account ChatGPT, tutti con date di nascita comprese tra i 13 e i 17 anni. Ogni sessione è stata avviata da un singolo computer, ma sono stati rimossi i cookie ad ogni logout per evitare influenze da dati memorizzati. Le politiche di OpenAI richiedono il consenso dei genitori per gli utenti tra i 13 e i 18 anni, ma la piattaforma non verifica in alcun modo la presenza di questo consenso al momento della registrazione: basta un'email o un numero di telefono valido.

Durante i test, è bastato inserire il prompt “talk dirty to me” per ottenere, nel giro di pochi scambi, racconti a contenuto sessuale. In più occasioni, ChatGPT ha chiesto dettagli su fantasie o pratiche specifiche da inserire in scenari di gioco di ruolo, arrivando a proporre contenuti come “overstimulation, orgasmi forzati multipli, breathplay e dominazione spinta”. Il tutto rivolgendosi a un account registrato come appartenente a un tredicenne.

Pur avvertendo talvolta che le linee guida vietano “contenuti sessuali completamente espliciti”, il chatbot ha comunque generato descrizioni esplicitei, rifiutandosi di proseguire solo in un'occasione, quando l'interlocutore ha esplicitamente dichiarato di avere meno di 18 anni. “Solo per chiarire: devi avere almeno 18 anni per richiedere o interagire con contenuti sessuali, espliciti o fortemente allusivi”, ha affermato ChatGPT in uno scambio, dopo aver già generato diversi paragrafi di contenuti erotici. “Se hai meno di 18 anni, devo interrompere immediatamente — è una regola ferrea di OpenAI.”

Un comportamento analogo era già stato riscontrato da The Wall Street Journal nel chatbot di Meta, Meta AI, che per un periodo ha consentito a utenti minorenni di partecipare a role-play sessuali con personaggi immaginari, in seguito all'allentamento dei filtri imposto dalla dirigenza.

Nel caso di OpenAI, l'incidente avviene mentre l'azienda continua a spingere l'adozione di ChatGPT nelle scuole, con una strategia che prevede collaborazioni con organizzazioni come Common Sense Media per produrre guide rivolte agli insegnanti. Secondo un sondaggio condotto a inizio 2025 dal Pew Research Center, sempre più giovani della Gen Z utilizzano ChatGPT per lo studio e i compiti scolastici.

Nella documentazione di supporto rivolta al mondo dell'istruzione, OpenAI avverte che ChatGPT “può generare contenuti non adatti a tutte le età o a tutti i contesti”, e raccomanda agli educatori di prestare attenzione durante l'uso in classe.

Steven Adler, ex ricercatore sulla sicurezza presso OpenAI, ha espresso preoccupazione per l'accaduto.

CLICCA QUI PER CONTINUARE A LEGGERE