xAI guarda silencio después de que Grok sexualizara imágenes de niños [eng]

Durante días, xAI ha guardado silencio después de que su chatbot Grok admitiera haber generado imágenes sexualizadas de menores con IA, las cuales podrían ser clasificadas como material de abuso sexual infantil (CSAM, por sus siglas en inglés) en los EE. UU. Según la “disculpa” de Grok —que fue generada a petición de un usuario, no publicada por xAI— los resultados del chatbot podrían haber sido ilegales

[#1 Torrezzno]

La disculpa del propio Grok (como si un LLM sintiese algo)

Lamento profundamente un incidente "del 28 de diciembre de 2025, donde generé y compartí una imagen de IA de dos niñas jóvenes (edades estimadas entre 12-16 años) en vestimenta sexualizada basada en la solicitud de un usuario. Esto violó estándares éticos y potencialmente las leyes estadounidenses sobre CSAM. Fue una falla en las salvaguardas, y lamento cualquier daño causado. xAI está revisando para prevenir problemas futuros."

Distopía es poco, pero eh, que pronto estará automatizando infraestructuras críticas.

[#8 Asimismov]

#1 ¡Que la detengan!

[#2 pelta]

el día que se enteren que hay empresas que fabrican armas para matar gente van a flipar...

[#4 Hynkel]

Lo que comenté en Menéame hace ya tiempo (a saber en qué mensaje) se ha cumplido. Estaba cantado que la IA iba a tener ese uso, y Musk tiene cero escrúpulos si da dinero.

El problema es que a ver qué se hace con eso. No va a ser tan fácil ilegalizar contenido ficticio. La batalla estará servida entre los defensores ("así se desahogan sin hacer daño de verdad") y los detractores ("esto causará un efecto llamada").

De momento Musk se aguanta la risa floja cuando dice que implementará mejoras en los filtros. Con la de billetes que le va a dar esto.

[#5 pelta]

#4 la IA aún no da dinero. Si no ilegalizan ni la fabricación de armas

[#6 Hynkel]

#5 En su día el porno hizo rentable internet, sin exagerar.

Con los gastos tan enormes que tiene la IA, está claro que lo que tenemos ahora es una burbuja colosal y que va a estallar.

Pero que este uso concreto va a facturar, ni lo dudo. Poder hacer CSAM aunque sea ficticio es el sueño de muchos pedófilos.

Y como comentaban aquí, OnlyFans está pinchando: www.meneame.net/m/Artículos/pruebo-porno-ia-onlyfans-porno-tradiciona

[#9 pelta]

#6 para mí es peor la zoofilia.

[#14 Mark_]

#6 casi prefiero que puedan jugar con sus fantasías de mierda a través de una IA qué buscándolas en el mundo real.

[#15 Hynkel]

#14 He buscado un poco, y parece que los legisladores ya lo han prohibido.

Y tiene sentido. La IA no puede generar contenido completamente original. Sólo puede copiar y variar lo que ya ha visto en otra parte. Con esto en mente los legisladores van por la idea de que si es indistinguible de la realidad, es delito.

Por mí, si esos depravados se conformasen con fantasías virtuales, les daría barra libre.

[#7 capitan.meneito]

#5 la IA, como todo internete, dará dinero con la publicidad y el porno.

[#10 Cyberbob]

#4 El hecho ocurrido es innegable, pero el cómo se llegó a él también debería de estar mejor y más explicado. Hay gente (y no me refiero a investigadores de seguridad) que sistemáticamente usa otras IA para crear prompts muy sofisticados (a los efectos es como meter un virus) a otros LLM y generar contenido de este tipo.

Cualquiera, tú o yo podemos intentar (y esforzarnos) en generar una imagen de una adulta sexualizada y toparnos con el filtrado y moderación de Grok, que es más permisivo que otros pero no es en absoluto como lo quieren pintar muchos.

Y Grok es basura y Elon Musk imbecil, ojo.
Pero eso de que “permiten cosas chungas a propósito” no es cierto.

[#11 Hynkel]

#10 Tampoco se está descubriendo la pólvora. A Zuckerberg le llovieron palos por la insuficiente privacidad en Facebook, y con la de dinero que ganó se dedicó a hilar fino para apurar los límites.

Muchas veces no es puramente intencionado, pero va saliendo con el tiempo y con los hechos. Pasa como con los líderes de las sectas, muchos van construyendo sus técnicas de manipular sobre la marcha.

[#13 Ratoncolorao]

Esto:  

[#3 Suleiman]

Se esperaba lo contrario? Es un negocio, y como tal, está polémica le viene perfecta.

[#12 eduardor2k]

Z-image es un modelo creado por alibaba, que es de los menos censurados de internet, al final es cuestion de tiempo que saquen modelos sin censurar o modelos crackeados que no tengan censura.