The Check: lo que aprendimos al crear un chatbot contra la desinformación

Después de meses de investigación, desarrollo y pruebas, lanzamos The Check, un chatbot multilingüe de verificación de datos impulsado por inteligencia artificial generativa que utiliza nuestras propias verificaciones para responder a los usuarios de forma natural. 

Durante el último año, las organizaciones de fact-checking Newtral, Delfi (Lituania), Ostro (Eslovenia), Lakmusz (Hungría) y Faktoje (Albania), con el apoyo de EMIF, han explorado cómo la inteligencia artificial generativa puede apoyar el trabajo de los verificadores y mejorar el acceso público a información verificada en distintos idiomas.

El chatbot de The Check está diseñado para guiar a la próxima generación de chatbots de verificación basados en IA generativa, capaces de responder a las consultas de los usuarios de manera natural y precisa, aportando información contrastada y confiable. Esto permitirá que la lucha contra la desinformación sea más eficaz y escalable.

El sistema cuenta con una arquitectura de generación aumentada por recuperación (RAG, por sus siglas en inglés), y permite a los usuarios hacer preguntas y recibir respuestas claras y transparentes respaldadas por fuentes. El chatbot fue entrenado no solo para recuperar información correcta, sino también para citar sus fuentes, una característica clave que lo diferencia de otras herramientas impulsadas por IA.

Trabajo colaborativo. Los fact-checkers anotaron y revisaron cientos de respuestas generadas por la IA, evaluando su precisión, claridad y atribución de fuentes. Este ciclo de retroalimentación práctica fue fundamental para entrenar el sistema y detectar casos límite en los que era necesario mejorar.

Vacíos de información. Uno de los retos más frecuentes fue la incapacidad del chatbot para encontrar una verificación de hechos relevante que respondiera a la consulta del usuario. Esto puso en evidencia una limitación clave: la IA solo puede recuperar lo que ya existe en su base de datos.

• Si no se ha publicado una verificación sobre una afirmación específica, el chatbot guarda silencio o muestra contenidos relacionados con la pregunta. Esto resalta la importancia de ampliar las bases de datos estructuradas de verificaciones y etiquetarlas con metadatos más detallados para mejorar la cobertura futura.

Calidad de las respuestas. Incluso cuando el chatbot de The Check ofrecía una respuesta correcta, a veces surgían problemas debido a que las fuentes aportadas no correspondían, eran irrelevantes, o estaban en otros idiomas. Generar una respuesta de calidad requiere no solo que los datos sean correctos, sino que respondan a lo que se ha preguntado. 

• Mejorar el filtrado de fuentes, la detección de idioma y la validación de respuestas fue clave para minimizar este tipo de errores.

Más allá de probar las habilidades lingüísticas de la herramienta, el proyecto proporcionó valiosos aprendizajes sobre cómo la IA puede complementar el trabajo de los verificadores humanos y ampliar su alcance. Al identificar las partes en las que la tecnología tiene éxito y en las que aún presenta dificultades (por ejemplo, al tratar con afirmaciones matizadas o contextos locales), el equipo sentó las bases para enfocar mejor los esfuerzos.

El chatbot de The Check forma parte de una ola creciente de iniciativas que ven a la IA no solo como un desafío en el espacio de la desinformación, sino también como parte de la solución.