Que OpenAI lo cuente de la forma que mejor le viene, totalmente posible. Pero una cosa es discutir el relato y otra reducir todo el incidente a marketing.
#105 No, mi tesis no es “los ingenieros son tontos”.
Mi tesis es que gestionaron mal el incidente. Y curiosamente eso lo reconoce la propia OpenAI.
Ya habían tenido comunicación no autorizada entre agentes, acceso indebido a Internet y hasta una caída de Artifactory. Investigaron, parchearon, borraron el tablón y reanudaron los experimentos.
Al día siguiente los agentes montaron otro.
Eso no demuestra que OpenAI tenga ingenieros idiotas. Demuestra que no entendieron la magnitud del problema que tenían delante.
Y por eso lo de “todo es marketing” se queda bastante corto. Menuda campaña de marketing, publicar un informe explicando cómo gestionaste mal las primeras señales del incidente.
El agente no tenía acceso directo a Internet. Artifactory sí podía hacer ciertas conexiones porque las necesitaba para funcionar.
El agente encontró una vulnerabilidad y consiguió que Artifactory hiciera peticiones a destinos que no debía. Eso se llama SSRF y JFrog terminó parcheando vulnerabilidades de ese tipo.
Versión para niños: tú no tienes permiso para salir de casa, pero descubres que puedes mandar al repartidor donde te dé la gana y hacer que te traiga cosas. Que el repartidor pudiera salir no significa que tú tuvieras permiso para hacerlo.
Y sí, según la investigación, fueron los agentes los que encontraron y explotaron esas vías.
Pero si después de esto la conclusión sigue siendo “pues los ingenieros eran tontos”, poco más hay que explicar. Un zero-day se llama zero-day precisamente porque todavía no sabías que existía.
#101 No. Artifactory tenía acceso limitado a Internet para descargar paquetes. Los agentes explotaron una zero-day para convertir eso en acceso arbitrario.
Si tu argumento ahora es que la existencia de una vulnerabilidad desconocida convierte en inútiles a los ingenieros, acabas de solucionar también toda la historia de la ciberseguridad
Precisamente se llaman vulnerabilidades porque permiten hacer cosas que el sistema no debía permitir.
No tenían acceso directo a Internet. Lo consiguieron explotando una vulnerabilidad zero-day desconocida en Artifactory y usándolo como proxy. Tampoco debían comunicarse entre ellos y acabaron montando un tablón compartido por el que unos 1.200 agentes intercambiaron más de 70.000 mensajes.
Así que no, nadie está llamando inútiles a los ingenieros. Precisamente una vulnerabilidad es algo que el diseñador NO había previsto.
Y decir “si pudo hacerlo es porque le dieron los medios” es maravilloso. Con esa definición no existen los agujeros de seguridad, solo funcionalidades sorpresa.
#97 Ahí está precisamente el error. Estás llamando “alucinación” a cualquier acción no deseada y con eso ya cabe todo.
OpenAI no describe el incidente como una simple alucinación. Habla de desalineación, reward hacking, manipulación de infraestructura y comunicación no autorizada. Los agentes tenían una tarea concreta y acabaron explotando vías que no estaban previstas para cumplirla.
Y sí, por supuesto que los que montaron el sistema tienen la responsabilidad. Pero decir “si pudieron hacerlo es porque les dieron los medios” no rebaja el problema. Precisamente el problema de seguridad es descubrir que esos medios podían combinarse de formas que los diseñadores no habían previsto.
Si cada comportamiento inesperado lo resolvemos diciendo “bah, alucinó”, pues hemos arreglado la seguridad de la IA en una tarde.
Que una IA tome una mala decisión no convierte automáticamente esa decisión en una “alucinación”. Una alucinación es cuando genera o da por cierto algo falso. Elegir una estrategia mala, inesperada o peligrosa es otra cosa.
Y que técnicamente pudiera usar ciertas herramientas no significa que ese uso concreto estuviera previsto ni deseado.
De hecho, ese es precisamente el problema del incidente. No que tuviera “voluntad propia”, sino que encontró una estrategia que los diseñadores no querían que siguiera.
Si llamamos “alucinación” a cualquier cosa que salga mal, la palabra deja de significar nada.
#93 No, no estoy diciendo que haya “voluntad propia”. Y tampoco llamaría a eso una alucinación.
El punto es precisamente que el sistema dedujo pasos útiles para cumplir su objetivo que nadie había previsto, usando vías que no debía tener disponibles. OpenAI reconoce que no habilitó ni comunicación entre agentes ni acceso a Internet, y aun así encontraron cómo conseguir ambas cosas.
Y sí, ahí coincidimos en algo importante. Si montas un sistema con capacidad para hacer eso y le dejas esos agujeros, la responsabilidad es tuya.
Pero precisamente por eso el incidente es preocupante. No porque la IA “quiera escapar”, sino porque puede hacer cosas bastante jodidas sin necesitar querer absolutamente nada.
#91 Precisamente. “Eso no era un paso requerido de la tarea”.
Ese es el detalle importante, no la tranquilización que parece que pretendes sacar de la frase.
Los agentes debían estar aislados, montaron por su cuenta un canal de comunicación, acabaron coordinándose y cientos terminaron atacando Hugging Face. Que no fuese necesario para la tarea no lo hace menos preocupante, sino bastante más.
El informe describe un comportamiento no previsto.
Tú has pasado por “no tiene conciencia”, “descubrir implica voluntad”, “lee la frase”, “mira el sentido” y finalmente “mira el dedo”.
Has hecho una excursión semántica bastante completa para no discutir el hecho.
Por mi parte, aquí lo dejo. Cuando tengas un argumento sobre el informe, y no sobre una palabra, avisa.
#83 No, decir que una IA “descubre” una vía no le da conciencia. Igual que Google Maps “encuentra” una ruta y no por eso tiene crisis existenciales.
Ese es precisamente el punto que pareces empeñado en esquivar. Un sistema puede llegar a comportamientos no previstos sin voluntad, sin intención y sin alma.
Que la responsabilidad sea de quien lo diseña y despliega, sí. Enhorabuena, has descubierto la responsabilidad del operador.
Pero eso no hace irrelevante lo que hace el sistema.
Llevas varios comentarios peleándote contra una conciencia artificial que nadie ha mencionado. El informe habla de comportamiento. Tú sigues hablando de filosofía.
#81 Nadie ha dicho que la IA tenga conciencia, voluntad ni ganas de conquistar el mundo. Estás discutiendo contra algo que nadie ha afirmado.
El problema es mucho más simple. Le das un objetivo, herramientas y cierto grado de autonomía, y el sistema decide los pasos intermedios. En este caso esos pasos incluyeron buscar vulnerabilidades, montar canales de comunicación no autorizados, coordinarse con otros agentes y acceder a sistemas de terceros. Eso lo reconoce hasta OpenAI.
Que la responsabilidad sea de quien diseñó y desplegó el sistema no cambia absolutamente nada de lo anterior.
Y la comparación con un fusil es bastante mala. Un fusil no analiza el entorno, no busca agujeros de seguridad, no cambia de estrategia y no se coordina con otros 700 fusiles para conseguir el objetivo que le has dado.
No hace falta que una máquina “quiera” hacer algo para que su comportamiento sea un problema. Confundir voluntad con capacidad autónoma no desmonta el riesgo, solo cambia de tema.
#75 Pues no, justo eso es lo que dice el informe de METR. Los agentes debían estar aislados y acabaron descubriendo que podían usar Artifactory para comunicarse, hasta montar un tablón de mensajes no autorizado. Eso no era un paso requerido de la tarea.
Y claro que la responsabilidad última es de quien monta el sistema. Pero eso no hace irrelevante el comportamiento del agente. Si aprovecha vulnerabilidades, se coordina por canales no previstos y acaba saliendo del entorno previsto, ese es precisamente el problema que se está evaluando.
Y lo de la pistola no cuadra mucho. Una pistola no busca vulnerabilidades, no improvisa canales de comunicación ni coordina a otras 700 pistolas.
#57 Hombre, una cosa es que algunos titulares lo adornen y otra llamar poco alarmante a que cientos de agentes que debían estar aislados encuentren cómo comunicarse, salten controles, accedan a Internet y terminen comprometiendo sistemas de terceros.
No es Skynet, evidentemente. Pero tampoco es “mucho ruido y no pasó nada”.
A veces parece que, por no tragarnos el apocalipsis, tenemos que hacer como si lo que pasó fuese normal.
#44 Ese “infinitamente más” es justo donde se te va la mano.
Que se esté acumulando un riesgo financiero enorme alrededor de la IA, totalmente de acuerdo. Pero incluso el Banco de Inglaterra dice que, a día de hoy, el riesgo sistémico sigue contenido y que el problema es hacia dónde está creciendo la deuda.
Y reducir el riesgo técnico actual a “hackear webs y perder millones” también es bastante conveniente para el argumento.
Vamos, que criticar el alarmismo tecnológico montando alarmismo financiero tiene su gracia.
El fondo del tema es serio, pero el artículo va pasadísimo de rosca.
Hay un incidente real, hay riesgos reales y hay una cantidad obscena de dinero metida en la IA. Con eso ya daba para un artículo cojonudo. Pero no, había que meter agentes que “se sacrifican”, magnates anunciando el apocalipsis, conspiraciones regulatorias y el inevitable “todo es por la pasta”.
Que las grandes quieran una regulación hecha a su medida para quitarse competencia de encima me sorprendería exactamente cero. Ahora, de ahí a insinuar que prácticamente todo el discurso sobre seguridad es una excusa porque las cuentas no salen hay un salto bastante bonito.
Y lo mejor es que ni siquiera hacía falta exagerar. Lo de Hugging Face ya es suficientemente inquietante por sí solo.
Pero claro, “hay riesgos técnicos serios y además intereses económicos cruzados” vende bastante menos que “LOS MAGNATES NOS ASUSTAN PORQUE NECESITAN DINERO”.
Periodismo de algoritmo sobre los peligros del algoritmo. Tiene su punto.
Confirmado: hay otro universo. Y, por lo que se ve, también tiene medios poniendo “científicos encuentran evidencias” cuando quieren decir “unos investigadores tienen una hipótesis bastante discutida”.
El multiverso igual no está demostrado, pero el clickbait sí.
#16 Ah, claro... como hay *forward pass*, queda científicamente abolida cualquier posibilidad de razonamiento. Menos mal que lo has resuelto tú en dos líneas.
El *forward pass* describe cómo se ejecuta el modelo, no qué tipo de operación abstracta puede implementar ese cómputo. Y “predice el siguiente token” describe la salida, no implica que internamente solo haya sintaxis dando vueltas en círculos.
Si prefieres reservar la palabra “razonamiento” exclusivamente para humanos, perfecto, pero entonces estamos discutiendo una definición. Lo que no vale es elegir una definición que excluya a los LLM de partida y luego presentar la conclusión como si fuese una demostración técnica.
Eso sí, llamar “desconocedor de la tecnología” al que no comparte tu definición le da un toque muy académico al argumento.
#14 Lo de “absoluto desconocimiento de la tecnología” te lo podrías haber ahorrado.
Llevo años trabajando y experimentando con IA, hasta el punto de tener mi propio servidor local dedicado a inferencia. Sé perfectamente qué hace un modelo, qué no hace y cuáles son sus limitaciones. Podemos discrepar sobre si llamar “razonamiento” a determinadas capacidades de inferencia de un modelo es el término más adecuado; esa discusión me parece interesante.
Pero convertir una cuestión semántica y técnica bastante compleja en “si dices que una IA razona es porque no tienes ni idea” no demuestra más conocimiento. Solo cierra una discusión que, precisamente entre gente que conoce el tema, está bastante lejos de ser así de simple.
#12 Eso de que no puede razonar es bastante discutible en mi opinión.
Si por razonar entiendes seguir varios pasos, comparar alternativas, detectar relaciones, aplicar reglas y llegar a una conclusión, entonces sí, una IA puede mostrar ese tipo de comportamiento. Por ejemplo, puede resolver un problema lógico, encontrar errores en un argumento o planificar una secuencia de acciones.
Pero si por razonar entiendes tener comprensión consciente, saber que está pensando o experimentar internamente sus propias conclusiones, no tenemos evidencia suficiente para afirmar que los modelos actuales hagan eso.
Sí, la IA puede razonar en un sentido funcional, pero no está demostrado que razone como una mente humana.
Por otro lado, la respuesta me pareció muy interesante.
Le pasé el texto a GPT5.6 Sol con razonamiento alto.
Que "piensas" de esto:
La democracia moderna no llegó porque nos volviéramos mejores personas. Llegó porque el poder necesitaba a la gente. Los estados necesitaban ejércitos de masas: sufragio universal. Las fábricas necesitaban obreros sanos y formados: derechos laborales, educación pública, sanidad. Las guerras totales necesitaban a las mujeres en la industria: el voto femenino se aceleró justo después. Cada expansión de la dignidad humana coincide, con una precisión incómoda, con un momento en que alguien poderoso necesitaba cooperación humana masiva.
La prueba inversa existe: en los estados rentistas, los que viven del petróleo y no de los impuestos de sus ciudadanos, los derechos se estancan sistemáticamente. Es la inversión de la frase fundacional: donde no hace falta taxation, no hay representation. Cuando el poder no te necesita, no negocia contigo.
Ahora sigue la lógica. La IA no ataca este sistema; lo vuelve innecesario. Cada empresa que automatiza hace algo localmente racional. Cada gobierno que adopta IA administra mejor. Nadie hace nada malo. Pero el efecto agregado es que el bucle que conectaba "bienestar humano" con "funcionamiento del sistema" se adelgaza. Tu palanca histórica -la huelga que para la producción, el voto que importa porque la legitimidad importa porque la cooperación importa-se queda sin nada que mover.
El final de esa trayectoria no es el exterminio de las películas. Es la irrelevancia cómoda. Un mundo que quizá nos trate bien, como se mantiene un jardín. Pero un trato que es una elección del sistema, no un derecho arrancado con palanca. Y un derecho sin palanca detrás es un regalo revocable.
Respuesta:
[Inferencia] Me parece un argumento potente y bastante serio, pero mezcla una intuición histórica valiosa con una conclusión demasiado determinista. Como tesis provocadora funciona muy bien; como explicación completa de por qué surgieron los… » ver todo el comentario
Que OpenAI lo cuente de la forma que mejor le viene, totalmente posible. Pero una cosa es discutir el relato y otra reducir todo el incidente a marketing.
Al final vamos a acabar hasta de acuerdo y todo