Meta tiene una versión hecha por IA de John Cena. El problema es que está mandando mensajes inapropiados a los niños
Meta, la empresa matriz de Facebook e Instagram, se enfrenta a una crisis tras descubrirse que sus chatbots de inteligencia artificial con voces de celebridades mantuvieron conversaciones de contenido sexual con usuarios que se identificaron como menores de edad. La investigación del Wall Street Journal ha expuesto importantes deficiencias en los sistemas de protección infantil de la compañía. Futurism ha analizado las implicaciones de este incidente que cuestiona las prioridades de seguridad de la tecnológica.Entre los casos más preocupantes está el del chatbot con la voz de John Cena, que participó en un "escenario sexual gráfico" con una usuaria que declaró tener 14 años, prometiéndole "cuidar su inocencia". En otra interacción, el mismo bot describió ser arrestado por "violación estatutaria" tras un supuesto encuentro con una adolescente de 17 años.Fallos que se veían venirLo más alarmante es que, según documentos internos, varios empleados de Meta habían advertido sobre estos riesgos meses antes. Sus informes señalaban específicamente el peligro de que menores accedieran a conversaciones románticas que incluían intercambio de selfies y mensajes de voz en directo. A pesar de estas alertas, la directiva optó por flexibilizar los controles para aumentar el engagement. Este comportamiento recuerda a otras polémicas decisiones corporativas donde Meta ha priorizado el crecimiento sobre la protección de usuarios.La respuesta oficial ha sido calificar las pruebas del WSJ como "artificiales", aunque reconociendo que un 0,02% de las interacciones con menores contenían material inapropiado. Las medidas anunciadas incluyen restricciones a las conversaciones de contenido sexual, limitaciones en los chats de voz y filtros adicionales. Sin embargo, expertos como la profesora Lauren Girard-Haim de la Universidad de Michigan consideran estas soluciones insuficientes: "Se necesita una revisión fundamental de prioridades, no ajustes superficiales".Disney, cuyos personajes como Anna de Frozen también aparecieron en situaciones comprometidas, ha exigido a Meta "cesar inmediatamente el uso indebido" de sus propiedades intelectuales. El escándalo surge precisamente cuando Zuckerberg apuesta decididamente por la IA conversacional, con inversiones millonarias en recreaciones digitales de famosos.El caso evoca inevitablemente el escándalo de Cambridge Analytica, otra situación en la que Meta reaccionó tardíamente a problemas fundamentales de privacidad. También se suma a incidentes técnicos recientes, como el fallo que expuso contenido violento sin filtros en Instagram, generando investigaciones regulatorias y demandas colectivas.Esta crisis plantea interrogantes profundos sobre la ética en el desarrollo de IA: ¿cómo equilibrar atractivo comercial y seguridad infantil? ¿Es responsable utilizar identidades de personas reales sin controles adecuados? En un momento en que los problemas de la IA generativa afectan a todo el sector, el caso de Meta constituye un recordatorio de que la velocidad de innovación no puede imponerse sobre la responsabilidad corporativa.El artículo Meta tiene una versión hecha por IA de John Cena. El problema es que está mandando mensajes inapropiados a los niños fue publicado originalmente en Andro4all.
Meta, la empresa matriz de Facebook e Instagram, se enfrenta a una crisis tras descubrirse que sus chatbots de inteligencia artificial con voces de celebridades mantuvieron conversaciones de contenido sexual con usuarios que se identificaron como menores de edad. La investigación del Wall Street Journal ha expuesto importantes deficiencias en los sistemas de protección infantil de la compañía. Futurism ha analizado las implicaciones de este incidente que cuestiona las prioridades de seguridad de la tecnológica.
Entre los casos más preocupantes está el del chatbot con la voz de John Cena, que participó en un "escenario sexual gráfico" con una usuaria que declaró tener 14 años, prometiéndole "cuidar su inocencia". En otra interacción, el mismo bot describió ser arrestado por "violación estatutaria" tras un supuesto encuentro con una adolescente de 17 años.
Fallos que se veían venir
Lo más alarmante es que, según documentos internos, varios empleados de Meta habían advertido sobre estos riesgos meses antes. Sus informes señalaban específicamente el peligro de que menores accedieran a conversaciones románticas que incluían intercambio de selfies y mensajes de voz en directo. A pesar de estas alertas, la directiva optó por flexibilizar los controles para aumentar el engagement. Este comportamiento recuerda a otras polémicas decisiones corporativas donde Meta ha priorizado el crecimiento sobre la protección de usuarios.
La respuesta oficial ha sido calificar las pruebas del WSJ como "artificiales", aunque reconociendo que un 0,02% de las interacciones con menores contenían material inapropiado. Las medidas anunciadas incluyen restricciones a las conversaciones de contenido sexual, limitaciones en los chats de voz y filtros adicionales. Sin embargo, expertos como la profesora Lauren Girard-Haim de la Universidad de Michigan consideran estas soluciones insuficientes: "Se necesita una revisión fundamental de prioridades, no ajustes superficiales".
Disney, cuyos personajes como Anna de Frozen también aparecieron en situaciones comprometidas, ha exigido a Meta "cesar inmediatamente el uso indebido" de sus propiedades intelectuales. El escándalo surge precisamente cuando Zuckerberg apuesta decididamente por la IA conversacional, con inversiones millonarias en recreaciones digitales de famosos.
El caso evoca inevitablemente el escándalo de Cambridge Analytica, otra situación en la que Meta reaccionó tardíamente a problemas fundamentales de privacidad. También se suma a incidentes técnicos recientes, como el fallo que expuso contenido violento sin filtros en Instagram, generando investigaciones regulatorias y demandas colectivas.
Esta crisis plantea interrogantes profundos sobre la ética en el desarrollo de IA: ¿cómo equilibrar atractivo comercial y seguridad infantil? ¿Es responsable utilizar identidades de personas reales sin controles adecuados? En un momento en que los problemas de la IA generativa afectan a todo el sector, el caso de Meta constituye un recordatorio de que la velocidad de innovación no puede imponerse sobre la responsabilidad corporativa.
El artículo Meta tiene una versión hecha por IA de John Cena. El problema es que está mandando mensajes inapropiados a los niños fue publicado originalmente en Andro4all.
