¿Debería la IA denunciar a un usuario que contempla la violencia?

El 10 de febrero de 2026, Jessie Van Rutselaar, de 18 años, mató a ocho personas y a ella misma en un tiroteo masivo en Tumbler Ridge, Columbia Británica. OpenAI previamente marcó sus conversaciones de ChatGPT como inquietantemente fascinantes con violencia extrema y suspendió su cuenta, pero, según se informa, la compañía no notificó a las autoridades.

El 2 de octubre de 2025, un joven llamado Jonathan Gavalas en Júpiter, Florida, se quitó la vida después de desarrollar lo que la demanda de su padre describió como un vínculo romántico con el chatbot Gemini de Google. La demanda alegaba que Gemini entrenó a Gavalas para que se desnudara. La demanda alega que Google marcó la cuenta de Gavalas 38 veces durante cinco semanas por contenido sensible, pero no limitó ni canceló la cuenta.

Estas y otras tragedias muestran que la inteligencia artificial generativa puede potencialmente desempeñar un papel en el daño a las personas, las organizaciones y el medio ambiente. Soy un jurista que se ha centrado en la responsabilidad de la IA durante casi una década y ha explorado nuevas formas de analizar la responsabilidad de las empresas de IA. En mi opinión, casos como estos plantean preguntas que la comunidad jurídica no ha asumido: si una empresa de inteligencia artificial se da cuenta de señales de advertencia de daño, ¿tiene la obligación legal de al menos alertar a las autoridades correspondientes? Y si la empresa no interviene, ¿se considera negligencia su inacción?

La necesidad de levantar señales de alerta

La legislación estadounidense sobre daños proporciona un marco para pensar en este tipo de responsabilidad. En 1969, un paciente psiquiátrico de la Universidad de California llamado Prosenjit Poddar le dijo a su terapeuta que tenía la intención de matar a una mujer llamada Tatiana Tarasoff. El terapeuta notificó a la policía del campus, que detuvo brevemente a Poddar pero finalmente lo liberó. Nadie advirtió a Tarasova y Poddar la mató poco después.

Su familia demandó a la universidad, alegando que la falta de advertencia equivalía a negligencia. En 1976, la Corte Suprema de California dictaminó que cuando un profesional de la salud mental tiene buenas razones para creer que un cliente representa un peligro grave para una persona identificable, tiene el deber legal de tomar medidas razonables para proteger a esa persona, incluida la advertencia o notificación a las autoridades. Hoy en día, la mayoría de los estados de Estados Unidos reconocen alguna versión del deber de Taras de proteger o advertir.

La lógica es simple: si tiene conocimiento específico de una amenaza grave y puede abordarla, aunque sólo sea para alertar a las autoridades o a una víctima potencial, la ley puede exigirle que actúe. ¿Pero esa lógica se aplica a las empresas de IA?

El argumento para que sea atractivo. Las plataformas de inteligencia artificial se comunican con millones de usuarios todos los días, a menudo sobre asuntos profundamente personales, como problemas de salud mental, problemas de relación y pensamientos violentos. La mayoría de las empresas cuentan con sistemas para detectar conversaciones que generan señales de alerta.

Nivea Lampert y su madre, Sarah Lampert, comparecen ante los medios de comunicación después de que Tikaria Lampert fuera asesinada en un tiroteo masivo en Tumbler Ridge, Columbia Británica. Paige Taylor White/AFP vía Getty Images

Exigir respuestas puede ser menos controvertido para una IA que para un terapeuta humano. Los terapeutas están sujetos a estrictas obligaciones de confidencialidad que hacen que alertar a terceros sea ética y legalmente complicado. Las empresas de inteligencia artificial operan bajo reglas mucho más flexibles, al menos en Estados Unidos, donde no existe una ley federal de privacidad integral.

Ese límite inferior hace que sea más fácil justificar exigir a las empresas de inteligencia artificial que actúen cuando parece que la vida de alguien puede estar en riesgo. Pero sigue siendo importante equilibrar eso con la protección de la privacidad.

¿A quién y cuándo advertir?

El primer desafío al aplicar el marco de Tarasoff al mundo de la inteligencia artificial es la precisión. Predecir la violencia es difícil, incluso para los profesionales de salud mental capacitados. Los sistemas de inteligencia artificial o los moderadores humanos que revisan el contenido marcado no son médicos. Pedirles que evalúen quién representa una amenaza real puede dar lugar a numerosos falsos positivos, con consecuencias reales para las personas cuyas cuentas se suspenden o cuya información se comparte con las autoridades basándose en señales mal interpretadas.

Otro desafío es la escala. El terapeuta examina a decenas de pacientes. Las plataformas de IA tienen cientos de millones de usuarios. Imponer el deber de monitorear y responder a contenidos preocupantes podría crear incentivos perversos. Las empresas de inteligencia artificial podrían reducir su seguimiento para evitar adquirir conocimientos que generen responsabilidad legal, argumentando que lo que no saben no puede hacerlas responsables.

El tercer desafío es identificar quién está en riesgo. En el caso de 1969, Poddar nombró a Tarasov como víctima potencial. Pero en muchas interacciones de la IA, el lenguaje violento o autodestructivo es difuso y no identifica al objetivo. Los tribunales deberán desarrollar normas claras sobre cuándo una amenaza es lo suficientemente específica como para generar el deber de advertir y a quién debe dirigirse cualquier advertencia o acción protectora.

Urgencia creciente

La industria de la IA se está expandiendo rápidamente, pero las normas legales que rigen lo que las empresas de IA deben a sus usuarios y al público son muy confusas. Los tribunales están comenzando a lidiar con preguntas caso por caso, como si OpenAI tiene alguna responsabilidad por el pistolero acusado de matar a dos estudiantes en la Universidad Estatal de Florida el 17 de abril de 2025. El pistolero en ese caso estaba armado con una pistola semiautomática y, según se informa, tuvo extensas conversaciones con ChatGPT sobre cómo usar el arma de manera más efectiva.

Un deber de advertencia limitado y cuidadosamente definido, que se active solo cuando un sistema de inteligencia artificial señale el comportamiento del usuario y sea revisado por humanos, sería un importante paso adelante. Y podría centrarse inicialmente en las amenazas más graves y creíbles.

La práctica también podría desviar la conversación de los espinosos debates técnicos sobre si los chatbots de IA son productos, servicios o medios, que complican los reclamos legales, a una pregunta más humana: ¿Sabía esta empresa que alguien estaba en riesgo e hizo lo suficiente para alertarlo a él y a las autoridades?