Engaños de IA: cuando das fuentes reales pero inventas su contenido

“Alucinación” no es un concepto muy preciso cuando se aplica a la inteligencia artificial; Puede causar controversia, tanto por su innecesaria antropomorfización como por su engañosa concreción. Por tanto, sería más correcto llamarlas “falsificaciones de información” o simplemente “conspiraciones”. Sin embargo, esta terminología se utiliza para identificar aquellas generaciones de texto que, tras su verificación, resultan erróneas.

Desde una posición ecléctica en la que es más adecuado adoptar tecnologías que adaptarse a ellas, desde el Grupo de Aprendizaje de Inteligencia Artificial de la Universidad de Castilla-La Mancha (GaIA), llevamos años siguiendo lo que la inteligencia artificial generativa tiene para ofrecernos, fundamentalmente en el ámbito educativo. Y, sobre todo, en la universidad.

Dentro de este ámbito encontramos el problema de las “alucinaciones” de la IA mencionado anteriormente. Y un claro ejemplo que aterra a los docentes es encontrar fuentes bibliográficas, muy relevantes y ciertamente bien referenciadas, pero completamente inexistentes.

¿Fraude involuntario?

Cabe señalar que el engaño de las alucinaciones de la IA no entra en la categoría de plagio tradicional, sin argumentar que, de hecho, el plagio implica prácticas más complejas que el rudimentario cortar y pegar. El punto central de este asunto radica en el reconocimiento de que la persona que utiliza la inteligencia artificial y comete fraude con alucinaciones no sólo no es responsable de la autoría del texto generado, sino que ni siquiera ha supervisado y verificado su contenido.

Por pereza o inexperiencia, la IA pasó su filtro. Un filtro que, si fuera persistente y competente, no tendría problemas en detectar estas “alucinaciones”, porque una persona atenta y hábil puede reconocerlas fácilmente.

Alucinaciones de segundo orden

Sin embargo, las cosas se complican cuando uno de esos chatbots no inventa una fuente, sino que la utiliza de forma inapropiada. Es decir, cuando afirma que afirma algo que no es cierto, el problema se vuelve aún mayor. En este caso las llamamos “alucinaciones de segundo orden”.

Por lo tanto, consideramos que los argumentos creíbles que están respaldados por fuentes existentes –clásicas o recientes– están perfectamente bien referenciados. Nada, especialmente estructural, nos hará sospechar de ellos, a menos que seamos verdaderos expertos en el tema y, por supuesto, no estemos atentos.

Este evento no sólo se observa en nuestros cursos de formación en IA, sino que también se vive de primera mano. Recientemente recibí un artículo sobre la IA en la educación. Durante la revisión, verifiqué si la literatura utilizada existía y era relevante. Incluso me alegré de encontrar un párrafo en el que se citaba uno de nuestros artículos.

Malos tiempos para los críticos

Sin embargo, la alegría se transformó en amarga sorpresa cuando me señalaron aspectos específicos que no me había acordado de incluir. Lo admito, confundido, revisé nuestro artículo para confirmar lo que ya era más que una intuición: de hecho, estaba experimentando de primera mano los efectos de una de esas inusuales alucinaciones de segundo orden.

¿Quién me aseguró en ese momento que no pasaba lo mismo con otras referencias utilizadas? No hace falta comentar el rechazo que emití como revisor, aparentemente por fraude.

La conclusión es meridianamente clara, pero también extrapolable: corren malos tiempos para los revisores -que incluyen profesores, docentes y educadores de cualquier nivel y categoría- que no son expertos en cada una de las referencias de los artículos o trabajos que revisan y evalúan. Malos tiempos, en definitiva, para todas las personas, grupos e instituciones comprometidas con velar por el proceso académico y de aprendizaje.

Nada nuevo bajo el sol, pues el fraude académico siempre ha existido, pero quizás nunca ha sido tan fácil y un tanto reticente a cometer. Corresponde a los autores utilizar de forma responsable, humana y profesional, siempre bajo supervisión, las herramientas que la tecnología -y especialmente la inteligencia artificial- pone a nuestra disposición. Nuestro progreso y nuestra credibilidad están en juego.