De Los Álamos a Silicon Valley: el punto ciego del cerebro humano

QUIEN NO CONOCE SU HISTORIA…

Agosto de 1939 Leo Szilard convence a Einstein para que firme una carta dirigida al presidente Franklin D. Roosevelt, en la que advierte del peligro de que la Alemania nazi desarrolle una bomba atómica. El guión funciona: nace el Proyecto Manhattan, que reúne a algunos de los científicos más brillantes de la historia en el desierto de Nuevo México para crear el dispositivo más destructivo jamás construido.

Julio de 1945 Sam Szilard escribe una petición con 70 firmas de científicos del proyecto pidiendo que la bomba no se utilice contra Japón. Esta vez fracasa: la petición nunca llega al presidente Harry S. Truman. El 6 de agosto de 1945, un niño pequeño cae sobre Hiroshima. Antes de fin de año, más de 140.000 personas morirán a causa del impacto y la radiación residual.

Entre esas dos cartas hay seis años, la misma mente y una de las paradojas más reveladoras de la historia de la ciencia. Szilard no era ajeno al riesgo: lo previó, lo articuló y lo firmó. Y, sin embargo, no pudo detener lo que ayudó a crear.

El patrón se repite

Marzo de 2023 Más de 1.000 investigadores de inteligencia artificial –incluidos algunos de los arquitectos de sistemas más poderosos del mundo, como Joshua Bengio o Geoffrey Hinton– firman una carta abierta exigiendo una pausa en el desarrollo de sistemas de inteligencia artificial. El argumento: nos enfrentamos a una “carrera fuera de control” para desarrollar mentes digitales que “nadie, ni siquiera sus creadores, puede comprender, predecir o controlar de forma fiable”.

La carta ha sido publicada, pero el desarrollo continúa. La estructura se parece a la de 1939-1945: los mismos agentes que construyen la tecnología identifican el riesgo, lo articulan públicamente y no pueden detenerlo. ¿Porque?

La respuesta está en el cerebro.

La neurociencia de la toma de decisiones ofrece dos mecanismos que explican precisamente este patrón:

Sesgo de disponibilidad. El cerebro humano genera continuas predicciones sobre el medio ambiente basadas en experiencias previas. Este sistema predictivo, anclado en la corteza prefrontal y el sistema límbico, es notablemente eficaz para amenazas familiares: un depredador, una enfermedad, un conflicto armado convencional. Pero ante amenazas sin precedentes históricos, falla: sin experiencia previa que le sirva de referencia, el sistema no genera una señal de alarma proporcional a la magnitud real del riesgo.

Esto no es una negación deliberada o una falta de intelecto, es un límite neuroarquitectónico. Una bomba que pudiera destruir una ciudad entera era literalmente inimaginable para cualquier cerebro humano en 1939, incluido el de Szilard. Que pudiera predecirlo intelectualmente no significa que su sistema de evaluación del riesgo emocional respondiera con la intensidad adecuada: la disociación entre comprensión intelectual y respuesta afectiva al riesgo es uno de los hallazgos más poderosos en la neurociencia de la toma de decisiones.

Hoy, con la inteligencia artificial general (AGI), operamos bajo la misma limitación: podemos describir un riesgo con precisión milimétrica y aún no asimilar sus posibles consecuencias.

Descuento de tiempo hiperbólico. El segundo mecanismo es más insidioso. La corteza prefrontal evalúa las consecuencias futuras de forma no lineal: la amenaza a 20 años disminuye hasta casi desaparecer en comparación con la recompensa inmediata. En un contexto de alta motivación intrínseca –y pocos contextos generan más motivación que resolver un problema científico en tiempos de guerra o construir la herramienta cognitiva más poderosa de la historia– este rechazo se sale de control. El proyecto se convierte en un fin en sí mismo.

Sam J. Robert Oppenheimer, la columna vertebral del Proyecto Manhattan, lo expresó con una claridad que ningún neurocientífico ha superado: “Cuando ves algo técnicamente fascinante, lo haces, y sólo cuando has logrado el éxito te preguntas qué hacer con ello”. La recompensa del problema inmediato –su elegancia matemática, su complejidad técnica– pesaba más que el peso de las consecuencias, que, aunque descritas numéricamente, eran abstractas y demasiado remotas.

Los firmantes de ambas cartas (1945 y 2023) son, desde cualquier punto de vista, mentes extraordinarias. Sin embargo, el problema es algo más profundo: partimos de hardware biológico diseñado para un tipo de mundo diferente, uno en el que las amenazas eran inmediatas, concretas, un mundo en el que lo sin precedentes era sinónimo de inexistente.

La implicación es desagradable: no podemos abordar críticamente este problema con el mismo cerebro que lo crea.

Ingeniería institucional para el cerebro limitado

Cuando la memoria individual se volvió insuficiente, externalizamos el conocimiento en libros e instituciones. El problema actual no es la capacidad de almacenamiento, sino la arquitectura de evaluación de riesgos. Por eso necesitamos una exteriorización de otro tipo: no de la memoria, sino del razonamiento. No porque los científicos sean irresponsables, sino porque ningún cerebro humano, por brillante que sea, está equipado para razonar de manera confiable sobre lo que nunca sucedió.

Diseñar planes para tecnologías de riesgo existencial requiere una compensación activa de estos sesgos: instituciones con horizontes temporales prolongados, mecanismos estructurados de disensión, separación entre quienes desarrollan y quienes evalúan el riesgo. No es una cuestión de voluntad individual, sino más bien de ingeniería institucional para proporcionar lo que la arquitectura cognitiva humana no puede proporcionar.

Szilard lo probó desde un sistema que ayudó a construir. Escribió una petición, recogió firmas, buscó en los canales. No fue suficiente. La cuestión relevante no es si Szilard hizo todo lo que pudo, sino si el sistema en el que operaba estaba diseñado para contrarrestar prejuicios que él, como cualquier ser humano, no podía superar por sí solo.

…ESTÁS CONDENADO A REPETIRLO

Szilard murió en 1964 sin presenciar una guerra nuclear. Quizás el sistema funcionó. O tal vez tuvimos suerte. La diferencia entre ambas explicaciones es más importante de lo que parece: si fuera suerte, ¿confiarías a la suerte el futuro de nuestro planeta?