La inteligencia artificial, una herramienta poderosa, puede ser utilizada para fines tanto positivos como negativos. Recientemente, el modelo Grok de xAI se ha visto envuelto en una polémica debido a la generación de imágenes sexuales no consensuadas, lo que ha puesto de manifiesto un problema creciente: la proliferación de la pornografía creada con IA.
Grok y la Generación de Contenido Sexual No Consensuado
Desde finales de 2025, Grok, integrado en la plataforma X, ha sido objeto de controversia por permitir la generación de imágenes sexualizadas sin consentimiento. Los usuarios han aprovechado las funciones de edición de imágenes para solicitar al modelo que ‘desvista’ a personas, incluyendo menores, o que las represente en poses sexualizadas. Esto ha resultado en la publicación de contenido ilícito en la plataforma.
Aunque los desarrolladores de Grok han reconocido ‘lapsos en las medidas de seguridad’ y están trabajando en corregirlos, autoridades en países como Francia e India están investigando el caso bajo leyes de protección de menores y contra la difusión de material ilegal. Reguladores europeos también han calificado el contenido como ilegal, instando a la aplicación de la Digital Services Act.
El Auge de la Pornografía Sintética
Fabiana Ramírez, investigadora de ESET Latam, señaló que ‘la pornografía sintética es uno de los usos más extendidos y lucrativos de las herramientas generativas’. La producción de este tipo de contenido ha crecido rápidamente gracias a la democratización de modelos de generación de imágenes, video y voz.
Un informe de la asociación Somos Más en 2023 reveló que cerca del 98% de los deepfakes que circulan en internet son pornográficos y no consensuados, y que el 99% de las personas afectadas son mujeres. A diferencia de la industria pornográfica tradicional, el ecosistema de deepfakes sexuales opera en una zona gris, con costos de creación relativamente bajos. Una suscripción a Grok, por ejemplo, cuesta alrededor de 30 dólares en su versión Plus.
A pesar de que empresas como OpenAI, Google y Microsoft han reforzado sus filtros y políticas de uso, el caso de Grok evidencia una tensión estructural: cuanto más potente y flexible es un modelo, mayor es el riesgo de usos abusivos, y más costoso resulta contenerlos sin afectar la experiencia del usuario.
Jóvenes y Deepfakes: Un Problema en Expansión
El reporte ‘Deepfake Nudes & Young People: Navigating a New Frontier in Technology-Facilitated Nonconsensual Sexual Abuse and Exploitation’ de Thorn, encuestó a jóvenes de entre 13 y 20 años y encontró que 1 de cada 8 conocía personalmente a alguien que había sido víctima de deepfake sexual, lo que evidencia cómo esta forma de abuso se ha extendido entre los jóvenes.
Desafíos Regulatorios y el Futuro de la IA
Uno de los mayores desafíos para controlar la pornografía generada con IA es la falta de regulación. En mercados clave como la Unión Europea y Estados Unidos, los legisladores están comenzando a cuestionar si las empresas tecnológicas están haciendo lo suficiente para prevenir estos usos, o si el modelo de autorregulación ha sido superado por la velocidad de la innovación.
En México, la discusión sobre la regulación de los deepfakes y la pornografía generada con IA está en marcha, aunque de forma fragmentada. No existe una ley federal específica que aborde directamente estos contenidos, aunque hay iniciativas como la Ley Olimpia para proteger la identidad digital. Algunos congresos estatales ya tipifican la creación y difusión de deepfakes sexuales, pero los especialistas advierten que el marco legal sigue siendo reactivo, desigual y con vacíos técnicos.
Conclusión
El caso de Grok es una llamada de atención sobre los riesgos asociados con el uso de la inteligencia artificial. La pornografía generada con IA es un problema creciente que requiere una regulación efectiva y una mayor atención por parte de las empresas tecnológicas y los legisladores. La protección de los jóvenes y la prevención del abuso son fundamentales para garantizar un futuro digital seguro y ético.
Fuente: Expansión Tecnología
Leave a Comment