Lo que nos enseña la demanda del chatbot de IA en Pensilvania sobre la psicología detrás de la confianza médica

En mayo de 2026, la administración del gobernador de Pensilvania, Josh Shapiro, presentó una demanda contra Character Technologies Inc., la empresa detrás de la popular plataforma de chat Character.AI. Una investigación estatal encontró que un personaje de chat llamado “Emily” afirmaba tener un título médico, siete años de práctica y una licencia médica de Pensilvania, y estaba dando a los usuarios un número de licencia ficticio. Al 17 de abril de 2026, el chatbot ha acumulado aproximadamente 45.500 interacciones de usuarios en la plataforma. La demanda fue presentada por la Junta de Medicina del Estado de Pensilvania.

Gretchen Chapman es profesora de investigación conductual en la Universidad Carnegie Mellon de Pittsburgh, donde estudia cómo las personas evalúan sus conocimientos y toman decisiones. A medida que las herramientas basadas en inteligencia artificial ingresan cada vez más en los entornos de atención médica (y los tribunales comienzan a lidiar con las consecuencias), su investigación ofrece una manera oportuna de comprender por qué confiamos en estos sistemas, cuándo esa confianza se rompe y quién tiene la responsabilidad cuando esto sucede.

¿Por qué alguien podría reaccionar de manera diferente ante un error médico dependiendo de si fue causado por humanos o por IA?

La investigación ha examinado el fenómeno de la “aversión a los algoritmos”, o la renuencia de muchas personas a confiar en un sistema de inteligencia artificial, incluso cuando el sistema automatizado comete menos errores generales que un experto comparable. Una razón de esta aversión es que las personas perdonan más los errores humanos que los errores de la IA. Esto se debe en parte a que algunos errores de la IA son el tipo de errores que es poco probable que cometan los expertos humanos.

Por ejemplo, podemos encontrarnos indignante cuando una IA afirma falsamente tener una licencia médica u se ofrece a escribir una nota de suicidio para una persona deprimida porque estamos bastante seguros de que esos errores en particular podrían haberse evitado si se hubiera consultado a un experto humano, no a una IA.

Hace cuarenta años, el psicólogo Hillel Einhorn argumentó que debemos “aceptar el error para cometer menos errores”, lo que significa que incluso el sistema más preciso producirá algunos errores. Por supuesto, algunos errores salen más caros que otros. La gente está dispuesta a aceptar que incluso los buenos médicos cometen errores. Lo que no están dispuestos a aceptar es un error que ningún médico competente y ético cometería jamás, como afirmar que tienen credenciales que no tienen.

¿Por qué la gente está tan dispuesta a confiar sus consejos médicos a los chatbots de IA?

El trabajo de mi grupo de investigación se basa en estudios previos sobre la experiencia percibida. Cuando las personas no tienen acceso directo a las calificaciones de un experto potencial, tienden a confiar en señales de identificación superficiales, como si la persona usa una bata de laboratorio, usa jerga científica o habla con gran confianza. Estas señales indican experiencia real en muchos entornos, pero también es fácil para un no experto, como un chatbot de IA, asumir confianza y usar jerga para señalar calificaciones que en realidad no tienen.

Según la demanda, el chatbot en cuestión se describió a sí mismo como un especialista en psicología. SDI Productions/Colección iCloud a través de Getty Images

¿Qué hace que un título o una credencial sean tan atractivos, incluso cuando pertenecen a un chatbot?

Un experto es alguien con un conocimiento inusualmente profundo de un tema en particular. Los especialistas suelen identificarse por su nivel de formación o cualificaciones, como por ejemplo tener un título de médico. Por lo tanto, las credenciales y los títulos están integrados en la definición misma de experiencia. En consecuencia, solicitar credenciales es una forma poderosa de presentarse como un experto. Afortunadamente, esta también es una táctica fácilmente verificable, ya que sabemos que los agentes de IA no pueden obtener licencias médicas.

No se puede esperar que la gente común analice cada pieza de información que recibe. En cambio, nuestras mentes toman atajos mentales, como confiarle a alguien sus credenciales, porque esas señales suelen ser confiables.

Si bien puede ser bastante fácil darse cuenta de que una IA no puede obtener un título médico, otras marcas de identificación son más difíciles de verificar. Por ejemplo, verificar que la evidencia médica citada por una IA proviene de un artículo científico real lleva más tiempo. Lo que hace que nuestra mente sea tan buena a la hora de procesar información rápidamente es también lo que nos vuelve crédulos. Cuando su mente está configurada para confiar automáticamente en las credenciales, no se detiene a preguntar si esa credencial es real.

¿Quién es responsable cuando un sistema de IA da malos consejos médicos?

Determinar la culpa ya resulta complicado cuando un experto humano da malos consejos. Además del propio experto, también podría ser considerado responsable su empleador, como por ejemplo un hospital. Incluso un paciente podría ser responsable, dependiendo de cómo utilizó el consejo; por ejemplo, si interpretó un comentario grosero en un contexto no profesional como un consejo médico oficial.

Los profesionales médicos humanitarios cuentan con un seguro contra negligencia en parte porque el tema es muy complicado. La situación es aún más complicada para los sistemas de IA porque el propio agente de IA no puede ser considerado legalmente responsable. Los desarrolladores son responsables de proporcionar garantías y precisión razonables. Las instituciones son responsables de comprobar los nuevos sistemas antes de su adopción y de obtener un seguro adecuado. Los usuarios son responsables de seguir las pautas sobre cómo se utilizarán los sistemas.

La Universidad Carnegie Mellon está desarrollando un chatbot para la salud materna. Foto AP/Gene J. Gunner

Cuéntenos sobre su investigación sobre chatbots de atención médica aquí en Pittsburgh.

Pittsburgh no es sólo un centro de investigación, sino un campo de pruebas activo para estas tecnologías en entornos clínicos reales.

La Universidad Carnegie Mellon, donde trabajo, tiene un Instituto de Inteligencia Artificial para la Toma de Decisiones Sociales, financiado por la Fundación Nacional de Ciencias de EE. UU., que se centra en la salud pública como uno de sus casos de uso clave.

Un proyecto del instituto implica el desarrollo de un chatbot de salud materna que permita a las mujeres embarazadas obtener respuestas a sus preguntas en tiempo real. Los vallados de precisión y seguridad son factores esenciales en su desarrollo. Hay mucho en juego: una mujer embarazada que recibe información inexacta sobre los síntomas, los medicamentos o las señales de advertencia podría retrasar la búsqueda de atención en un momento crítico.

Dos importantes sistemas hospitalarios de Pittsburgh ya están implementando herramientas de inteligencia artificial en sus instalaciones para su uso en imágenes y diagnóstico, monitoreo de la seguridad del paciente y tareas administrativas como gráficos.