La industria tecnológica se está moviendo rápido y rompiendo cosas nuevamente (y esta vez es la realidad compartida de la humanidad y el management de nuestra imagen antes y después de la muerte) gracias a plataformas de generación de imágenes de inteligencia synthetic como Sora 2 de OpenAI.

El vídeo típico de Sora, realizado en la aplicación OpenAI y difundido en TikTok, Instagram, X y Fb, está diseñado para ser lo suficientemente divertido como para que puedas hacer clic y compartirlo. Podría ser el rap de la reina Isabel II o algo más común y creíble. Un género common de Sora son las imágenes falsas de una cámara de timbre que captura algo ligeramente extraño (por ejemplo, una boa constrictor en el porche o un caimán acercándose a un niño imperturbable) y termina con una leve sorpresa, como una abuela gritando mientras golpea al animal con una escoba.

Pero un coro cada vez mayor de grupos de defensa, académicos y expertos están dando la alarma sobre los peligros de permitir que las personas creen movies de IA sobre casi cualquier cosa que puedan escribir en un mensaje, lo que lleva a la proliferación de imágenes no consensuadas y falsificaciones realistas en un mar de “basura de IA” menos dañina. OpenAI ha tomado medidas enérgicas contra las creaciones de inteligencia synthetic de figuras públicas (entre ellas Michael Jackson, el reverendo Martin Luther King Jr. y Mister Rogers) haciendo cosas extravagantes, pero solo después de una protesta de las propiedades familiares y un sindicato de actores.

La organización sin fines de lucro Public Citizen ahora exige que OpenAI retire Sora 2 del público, escribiendo en una carta el martes a la compañía y al CEO Sam Altman que el lanzamiento apresurado de la aplicación para que pudiera lanzarse antes que los competidores muestra un «patrón consistente y peligroso de OpenAI corriendo al mercado con un producto que es intrínsecamente inseguro o carece de las barreras de seguridad necesarias». Sora 2, cube la carta, muestra un “desprecio imprudente” por la seguridad de los productos, así como por los derechos de las personas a su propia imagen y la estabilidad de la democracia. El grupo también envió la carta al Congreso.

OpenAI no respondió de inmediato a una solicitud de comentarios el martes.

“Nuestra mayor preocupación es la amenaza potencial a la democracia”, dijo en una entrevista el defensor de la política tecnológica de Public Citizen, JB Department. «Creo que estamos entrando en un mundo en el que la gente no puede confiar realmente en lo que ve. Y estamos empezando a ver estrategias en política donde la primera imagen, el primer vídeo que se publica, es lo que la gente recuerda».

Department, autor de la carta del martes, también ve preocupaciones más amplias sobre la privacidad de las personas que afectan de manera desproporcionada a las poblaciones vulnerables en línea.

OpenAI bloquea la desnudez, pero Department dijo que “las mujeres se ven acosadas en línea” de otras maneras, como con contenido de nicho fetichizado que supera las restricciones de las aplicaciones. El medio de comunicación informó sobre una avalancha de vídeos de mujeres estranguladas realizados por Sora.

OpenAI presentó su nueva aplicación Sora en iPhone hace más de un mes. Se lanzó en teléfonos Android la semana pasada en EE.UU., Canadá y varios países asiáticos, incluidos Japón y Corea del Sur.

Gran parte del rechazo más fuerte proviene de Hollywood y otros intereses del entretenimiento, incluida la industria del manga japonesa. OpenAI anunció sus primeros grandes cambios pocos días después del lanzamiento, diciendo que «la moderación excesiva es muy frustrante» para los usuarios, pero que es importante ser conservador «mientras el mundo todavía se está adaptando a esta nueva tecnología».

A esto le siguieron acuerdos anunciados públicamente con la familia de Martin Luther King Jr. el 16 de octubre, para evitar “representaciones irrespetuosas” del líder de los derechos civiles mientras la compañía trabajaba en mejores salvaguardias, y otro el 20 de octubre con el actor de “Breaking Unhealthy” Bryan Cranston, el sindicato SAG-AFTRA y agencias de talentos.

“Eso está muy bien si eres famoso”, dijo Department. «Es simplemente un patrón que tiene OpenAI en el que están dispuestos a responder a la indignación de una población muy pequeña. Están dispuestos a publicar algo y disculparse después. Pero muchos de estos problemas son decisiones de diseño que pueden tomar antes de publicarlo».

OpenAI ha enfrentado quejas similares sobre su producto estrella, ChatGPT. Siete nuevas demandas presentadas la semana pasada en los tribunales de California afirman que el chatbot llevó a las personas al suicidio y a delirios dañinos incluso cuando no tenían problemas de salud psychological previos. Presentadas en nombre de seis adultos y un adolescente por el Social Media Victims Regulation Heart y Tech Justice Regulation Challenge, las demandas afirman que OpenAI, a sabiendas, lanzó GPT-4o prematuramente el año pasado, a pesar de las advertencias internas de que period peligrosamente adulador y psicológicamente manipulador. Cuatro de las víctimas se suicidaron.

Public Citizen no estuvo involucrado en las demandas, pero Department dijo que ve paralelos en la apresurada liberación de Sora.

Dijo que están «pisando el acelerador a fondo sin tener en cuenta los daños. Mucho de esto parece previsible. Pero prefieren sacar un producto al mercado, conseguir que la gente lo descargue, atraer gente que sea adicta a él en lugar de hacer lo correcto y probar estas cosas de antemano y preocuparse por la difícil situación de los usuarios cotidianos».

OpenAI pasó la semana pasada respondiendo a las quejas de una asociación comercial japonesa que representa a animadores famosos como Studio Ghibli de Hayao Miyazaki y fabricantes de videojuegos como Bandai Namco y Sq. Enix. OpenAI dijo que muchos fanáticos del anime quieren interactuar con sus personajes favoritos, pero la compañía también ha establecido barreras para evitar que se generen personajes conocidos sin el consentimiento de las personas propietarias de los derechos de autor.

«Estamos interactuando directamente con estudios y titulares de derechos, escuchando comentarios y aprendiendo de cómo la gente usa Sora 2, incluso en Japón, donde las industrias culturales y creativas son profundamente valoradas», dijo OpenAI en un comunicado sobre la carta del grupo comercial la semana pasada.

Ortutay y O’Brien escriben para Related Press.