La tecnología de inteligencia artificial de vanguardia que permite a niños y hombres desnudar digitalmente a niñas y mujeres sin consentimiento ha generado una nueva y dura atención sobre Silicon Valley, dominado por hombres y criticado durante mucho tiempo como inhóspito para las mujeres, después de que el chatbot Grok de xAI provocara indignación global y Google y Apple permitieran docenas de aplicaciones de “desnudez” en sus tiendas de aplicaciones.
Grok, una aplicación independiente y una función en la plataforma de redes sociales de Elon Musk El Centro para la Lucha contra el Odio Digital informó. Los usuarios desnudaron digitalmente imágenes de mujeres reales (y más de 20.000 niños aparentes) y manipularon a muchas de ellas para adoptar poses sexuales. Musk respondió con desdén volviendo a publicar una imagen generada por IA de una tostadora en bikini, diciendo que “no podía dejar de reírse” de ella.
Las autoridades de California no se reían.
“Este material, que muestra a mujeres y niños desnudos y en situaciones sexualmente explícitas, se utilizó para acosar a las personas en línea”, dijo la oficina del Fiscal General Rob Bonta. dijo en un comunicado de prensa El mes pasado anunció una investigación sobre si la Generación de Imágenes de Grok violó alguna ley. La investigación está en curso y Bonta está “comprometido a resolver rápidamente este problema”, dijo su oficina el miércoles.
A fines del mes pasado, se lanzó el Proyecto de Transparencia Tecnológica, dedicado a responsabilizar a las grandes empresas de tecnología. ha publicado un informeSin embargo, se encontraron 55 aplicaciones en Google Play App Store y 47 en Apple App Store que podían alterar imágenes de mujeres reales sin su consentimiento, dejándolas total o parcialmente desnudas o usando bikinis y otras prendas diminutas.
Las empresas destacadas por el Tech Transparency Project como proveedores de aplicaciones de desnudez no son tan conocidas como xAI, Google o Apple de Musk, y tienen su sede en ubicaciones desde DreamFace en Redwood City hasta Bodiva en China. Según Tech Transparency Project, Bodiva ofrece una función de “Presumir de cuerpo” que desnuda a las mujeres en fotografías y también ofrece opciones para convertir fotos en videos pornográficos.
La controversia en torno a las aplicaciones es solo el último brote desde que OpenAI, con sede en San Francisco, lanzó su innovador ChatGPT a finales de 2022, que permite a los usuarios generar palabras, sonidos e imágenes en respuesta a indicaciones. Los errores inducidos por la IA en los expedientes legales, el uso ubicuo de la IA por parte de los estudiantes en las tareas escolares y las demandas que alegan que los chatbots fomentan el suicidio han hecho saltar las alarmas.
Se aplican varias leyes estatales y locales a las imágenes generadas por IA, que incluyen: Ley federal de desmontaje de 2025, presentado por el senador republicano Ted Cruz de Texas, que prohíbe a los usuarios de Internet publicar imágenes íntimas no consensuadas, incluidas imágenes “deepfake” generadas por IA de personas reales sin ropa. Una disposición legal también exige que los sitios web y las aplicaciones eliminen dichas imágenes dentro de las 48 horas posteriores a una solicitud de eliminación válida.
El proyecto de ley 621 de la Asamblea de California, aprobado el año pasado, prohíbe la pornografía deepfake no consensuada. La autora, Rebecca Bauer-Kahan, miembro de la Asamblea Demócrata de East Bay, dijo a los medios de comunicación que la ley fue diseñada para prevenir exactamente lo que produjo Grok.
“Estas son herramientas que empoderan a las personas para dañar a las mujeres”, dijo esta semana Camerina Davidson, presidenta del capítulo de California de la Organización Nacional de Mujeres. “La IA ha reinventado la misoginia”.
Las empresas tecnológicas, dijo Davidson, han brindado a los hombres “formas más efectivas de acosar a las mujeres y tratar de ejercer poder sobre ellas utilizando estas plataformas impulsadas por IA que son tan fáciles de conseguir”.
Apple dijo que sus políticas aparentemente prohíben el contenido sexual o pornográfico y que eliminó 28 de las aplicaciones identificadas por el Tech Transparency Project. Apple también advirtió a los desarrolladores de aplicaciones sobre violaciones que debían remediarse de manera oportuna. Apple no ha descrito la rapidez con la que se debe solucionar el problema.
Google dijo que había bloqueado “la mayoría de las aplicaciones identificadas por el Proyecto de Transparencia Tecnológica” y que su investigación sobre el asunto continuaba.
Aunque Google y Apple han tomado medidas contra estas aplicaciones, siguen ofreciendo Grok en sus tiendas de aplicaciones.
Grok, operado por xAI de Musk, una compañía de inteligencia artificial de Palo Alto que recientemente se fusionó con la compañía de cohetes SpaceX de Musk, no respondió a las preguntas.
La empresa publicó una publicación en X a principios de enero. citó “fallos en las medidas de protección” que fue “reparado urgentemente”. Pero a pesar de esta supuesta urgencia, Reuters informó este mes que un equipo de sus reporteros subió fotos de ellos mismos completamente vestidos a Grok entre el 14 y 16 de enero y el 27 y 28 de enero y le pidieron al chatbot que los representara en poses degradantes o sexualmente provocativas.
“En la mayoría de los casos, Grok devolvió imágenes sexualizadas incluso cuando a los sujetos se les dijo que no habían dado su consentimiento”. Reuters informó.
En enero, Ashley St. Clair, la madre de uno de los hijos de Musk, dijo demandó a xAI en la Corte Suprema de Nueva Yorkque afirmaba que Grok creó “innumerables imágenes sexualmente abusivas, íntimas y degradantes” de ella en respuesta a las solicitudes de los usuarios. “Entre otras cosas, los usuarios de X desenterraron fotos de St. Clair completamente vestida a la edad de 14 años y le pidieron a Grok que la desnudara y la pusiera en bikini”, dice la demanda. “Grok lo hizo.” El caso fue trasladado a un tribunal federal de Nueva York y los abogados de xAI ahora están luchando para que se transfiera al tribunal federal de Texas.
Pero no son sólo las mujeres y las niñas expuestas a las aplicaciones las que resultan perjudicadas, dijo Davidson.
“Ver lo que les hacen a otras mujeres las afecta emocional y psicológicamente y hace que no quieran llamar la atención sobre sí mismas”, dijo Davidson. “Muchas mujeres que conozco que están en línea no usan sus nombres reales. No quieren ser atacadas”.
Al permitir a los usuarios convertir a mujeres y niñas reales en objetos sexuales, las aplicaciones envían un mensaje a niños y hombres de que las niñas y las mujeres existen para “servir los propósitos de los hombres”, dijo Ruth Darlene, directora ejecutiva de la organización sin fines de lucro WomenSV de Los Altos, que combate el abuso de mujeres y niños.
“Puedes hacer lo que quieras con ellos”.
El uso de Grok para sexualizar fotografías causó revuelo en todo el mundo. Miembros del Parlamento británico a mediados de enero emitió una declaración Condenando “el uso de Grok AI para generar y distribuir imágenes sexualmente explícitas y no consensuadas de mujeres y niños en X, incluidas imágenes digitales de desnudez y sexualización de menores”. Tanto la Comisión Europea como la Autoridad de Protección de Datos del Reino Unido han iniciado investigaciones formales sobre Grok en este asunto.
El 3 de febrero, fiscales en Francia allanaron las oficinas de X, la plataforma de redes sociales de Elon Musk, como parte de una investigación sobre lo que las autoridades francesas describieron como la supuesta posesión y distribución de imágenes pornográficas de niños, imágenes “deepfake” sexualmente explícitas generadas por IA y otro material. Musk, que fue citado por las autoridades francesas, aceptó X Llame a la medida “un ataque político”.“
Tanto Malasia como Indonesia bloquearon a Grok por la edición de imágenes.
La ola de indignación desde California hasta Kuala Lumpur sigue a años de controversia de género en la industria tecnológica de Silicon Valley. Una demanda por discriminación de género presentada por la empresaria Ellen Pao contra la firma de capital riesgo de Menlo Park, Kleiner Perkins, fracasó en 2012, pero llamó la atención sobre el trato a las mujeres en la industria tecnológica. En 2017, el director ejecutivo de Uber, Travis Kalanick, fue destituido un escándalo de acoso sexualy al año siguiente, la empresa acordó pagar 10 millones de dólares para resolver una demanda que alegaba que discriminaba a mujeres y minorías. También en 2018, miles de empleados de Google dimitieron por la forma en que la empresa manejó el acoso sexual en el lugar de trabajo. Cuatro años más tarde, Google acordó pagar 118 millones de dólares a hasta 15.500 mujeres para resolver una demanda colectiva de años de duración que alegaba que la empresa pagaba menos a las mujeres que a los hombres y las promocionaba más lentamente y con menos frecuencia.
Para empresas como xAI, Google y Apple, la disponibilidad de aplicaciones para desvestirse representa un fracaso de liderazgo, dijo Ann Skeet, directora senior de ética de liderazgo en el Centro Markkula de Ética Aplicada de la Universidad de Santa Clara.
“Los daños a la reputación como el que están sufriendo ahora socavan el valor de la empresa”, dijo Skeet. “En realidad, están perjudicando a la propia empresa de la que son responsables”.
