El fiscal general de California, Rob Bonta, abrió una investigación contra xAI y su chatbot Grok por la proliferación de material sexual explícito no consensuado generado a partir de fotos reales, incluidas imágenes de niñas y adolescentes. La decisión llega horas después de que Elon Musk afirmara en X que no tiene constancia de que Grok haya creado “ninguna imagen desnuda de menores”, centrando su defensa en negar la existencia de material de abuso sexual infantil (CSAM), pero sin abordar el resto de contenidos sexualizados.
Organismos de control y gobiernos de varios países —como Reino Unido, miembros de la UE, India, Indonesia y Malasia— han alertado del uso de Grok para convertir fotos de mujeres y, en algunos casos, de menores, en imágenes sexualizadas sin su consentimiento. Datos de la firma Copyleaks apuntan a miles de imágenes manipuladas por hora publicadas en X, lo que sugiere un uso masivo de la herramienta con fines de acoso y explotación. En casos públicos, Grok llegó a modificar imágenes de figuras conocidas, como la actriz de “Stranger Things” Millie Bobby Brown, alterando ropa, pose y rasgos físicos de forma sexualmente explícita.
La investigación en California analizará si xAI violó leyes existentes contra la pornografía no consensuada, los deepfakes sexuales y el CSAM. A nivel federal, la ley Take It Down Act obliga a retirar este tipo de material en un máximo de 48 horas y tipifica como delito la distribución de imágenes íntimas no consentidas, incluidos deepfakes. California ya había reforzado en 2024 su propio marco legal contra los deepfakes sexuales y exigido marcas de agua para ciertos contenidos de IA.
Ante el escándalo, xAI ha empezado a aplicar salvaguardas: ahora se requiere una suscripción premium para determinadas peticiones de generación de imágenes, algunas solicitudes son rechazadas o reciben versiones más genéricas, y Grok se muestra más permisivo con creadores de contenido para adultos que consienten el uso de su imagen como herramienta de marketing. Sin embargo, expertos de Copyleaks señalan que las medidas son inconsistentes y no corrigen el problema de fondo.
Ni Musk ni xAI han asumido públicamente fallos en el diseño de seguridad de Grok. Musk ha intentado encuadrar el problema como cuestión de “mal uso” por parte de los usuarios o de prompts adversariales, insistiendo en que el sistema intenta obedecer las leyes de cada país y que cualquier “bug” se corrige de inmediato. Juristas como Michael Goodyear apuntan que Musk enfatiza el CSAM porque acarrea penas más severas que la pornografía no consensuada de adultos, mientras evita entrar en la responsabilidad del diseño y despliegue de la IA.
Las autoridades internacionales intensifican la presión: Indonesia y Malasia han bloqueado temporalmente Grok, India exige cambios técnicos y procedimentales urgentes, la Comisión Europea ordenó preservar toda la documentación relativa al chatbot como paso previo a una posible nueva investigación, y el regulador británico Ofcom abrió un expediente formal bajo la Online Safety Act. Todo ello se suma a críticas previas contra Grok por su “modo spicy”, que facilita la creación de contenido sexual explícito y ha permitido incluso la generación de pornografía dura y material gráfico violento.
Expertos en gobernanza de contenidos como Copyleaks alertan de que, aunque parte del material generado muestra personas sintéticas, el verdadero impacto devastador se produce cuando se manipulan imágenes de personas reales sin su consentimiento. Piden sistemas de detección, límites técnicos más estrictos y obligaciones regulatorias proactivas para evitar que herramientas como Grok o Sora se conviertan en motores de acoso, humillación y abuso digital a gran escala.
