¿El “desaprendizaje federado” en IA mejora la privacidad de los datos o crea un nuevo riesgo de ciberseguridad?

A medida que la capacidad de la inteligencia artificial (IA) aumenta exponencialmente, también aumentan las preocupaciones sobre la privacidad de los datos de los usuarios.

Las organizaciones de todo el mundo están adoptando cada vez más algo llamado desaprendizaje federado, que permite entrenar la IA sin centralizar datos confidenciales. Esto permite que hospitales, bancos y agencias gubernamentales colaboren mientras mantienen los datos locales, un enfoque considerado un avance importante en materia de privacidad.

El desaprendizaje federado promete que los datos del usuario se pueden eliminar de un sistema de inteligencia artificial capacitado. Un hospital, por ejemplo, puede pedirle a su sistema de inteligencia artificial que olvide los datos de los pacientes.

En la Unión Europea esto se define como el “derecho al olvido”. Existen derechos de eliminación de datos similares en todo el mundo, pero con diferentes poderes legales e interpretaciones técnicas.

¿Pero qué pasa si la petición de ser olvidado no es fiable en sí misma? Nuestra investigación muestra que, si bien la exclusión voluntaria federal parece ser una extensión natural de los derechos sobre los datos, también introduce nuevos riesgos de seguridad ocultos que socavan la confianza en nuestro mundo digital.

Lea también: Amenazas cibernéticas silenciosas: cómo la IA en la sombra puede socavar las defensas sanitarias digitales de Canadá

Nuevas vulnerabilidades sigilosas

Durante el proceso de desaprendizaje federado, los participantes entrenan modelos locales sobre datos personales y luego envían actualizaciones de esos modelos a un servidor central. El servidor agrega estas actualizaciones para aprender un sistema único y compartido, lo que permite que los modelos se beneficien del volumen y la escala de los datos.

Los investigadores ya saben que estos sistemas federados pueden verse afectados por ataques de envenenamiento de datos en los que los atacantes sesgan los datos que utilizan para entrenar su modelo local para alterar el rendimiento del modelo conjunto.

Los ataques de envenenamiento pueden crear vulnerabilidades ocultas, también conocidas como “puertas traseras”, que se activan sólo bajo ciertas condiciones.

El desaprendizaje federado introduce una dimensión nueva y sutil a esta amenaza.

Un atacante podría primero inyectar patrones maliciosos en el modelo. Posteriormente podrían presentar una solicitud para que se eliminen sus datos. Si el proceso de desaprendizaje es imperfecto (como lo son muchos métodos actuales), las huellas visibles del ataque pueden desaparecer, mientras que los efectos ocultos permanecen.

Garantizar la privacidad de los datos médicos es un desafío constante para la regulación de la IA. (Getty/Unsplash+) El nuevo punto ciego de seguridad

Esta cuestión crea un nuevo tipo de vulnerabilidad intersectorial de la seguridad nacional que es fácil de pasar por alto.

En un escenario hipotético, las solicitudes repetidas para desaprender podrían degradar gradualmente el rendimiento del modelo: una perturbación lenta y difícil de detectar. A diferencia de los ciberataques tradicionales, esto no provocaría un fallo inmediato del modelo, pero degradaría su fiabilidad con el tiempo.

En el segundo caso, la eliminación de datos cuidadosamente programada puede sesgar los resultados. Un modelo de riesgo financiero, por ejemplo, podría cambiarse sutilmente eliminando ciertas contribuciones de datos en momentos clave.

Estos riesgos se ven amplificados por la propia naturaleza de los sistemas federales. Debido a que los datos permanecen distribuidos, a menudo hay una visibilidad limitada de cómo las contribuciones individuales afectan el modelo final.

Lo que surge es un punto ciego de seguridad: un mecanismo diseñado para mejorar la privacidad que también puede debilitar la integridad del sistema.

Por qué fallan las soluciones actuales

Muchas técnicas de desaprendizaje asociadas están diseñadas teniendo en cuenta la eficiencia. En lugar de entrenar un modelo desde cero, lo que puede resultar costoso, las técnicas intentan aproximarse a la eliminación del sesgo de datos. Aunque práctico, este enfoque tiene limitaciones.

Nueva evidencia muestra que los modelos de aprendizaje automático pueden retener patrones complejos incluso después de intentar eliminar los datos y, en entornos adversos, los efectos nocivos pueden persistir incluso después de “desaprender”.

Al mismo tiempo, existen varias salvaguardas para comprobar que la solicitud de exclusión voluntaria en sí es legítima. Esta brecha no es sólo técnica, sino también estructural y puede generar múltiples vulnerabilidades de seguridad.

No aprender es un problema de seguridad

El desaprendizaje federado a menudo se presenta como una característica de privacidad. Este encuadre está incompleto. En la práctica, eliminar datos de un modelo cambia su comportamiento, a veces de manera impredecible. Esto hace que desaprender sea una operación sensible a la seguridad, no solo una herramienta de administración de datos.

Al igual que otras acciones sistémicas críticas, el desaprendizaje federal debe estar sujeto a verificación, auditoría y supervisión. Estas acciones adicionales pueden incluir:

Confirmación del origen de la solicitud de desaprendizaje. Monitorear cómo cambia el comportamiento del modelo después de eliminar los datos. Detección de solicitudes duplicadas o sospechosas. Diseñar métodos que aseguren la eliminación completa de influencias nocivas. Un momento crítico para la gestión de la inteligencia artificial

Los sistemas de inteligencia artificial se utilizan cada vez más en decisiones que afectan la vida de las personas, desde diagnósticos médicos hasta aprobaciones financieras. Aquí, tanto la privacidad como la confiabilidad son importantes.

El desaprendizaje federal se encuentra en esta encrucijada. Su objetivo es proteger los derechos de los datos, pero puede introducir riesgos que no se comprenden ampliamente. Si se ignoran, los sistemas diseñados para aumentar la confianza podrían verse socavados.

Canadá se encuentra en una encrucijada importante en la configuración de cómo se gobiernan los sistemas de inteligencia artificial. Las políticas de eliminación de datos, rendición de cuentas y transparencia están evolucionando rápidamente.

Es probable que el desaprendizaje federado forme parte de este panorama. Una vez adoptado, debe tratarse con el mismo nivel de control que otros mecanismos críticos para la seguridad.

El desafío ya no es sólo hacer que la IA olvide los datos. Es asegurar que, en el proceso de olvido, no permitamos que quede algo más peligroso.