La herramienta IA OpenClaw borra la bandeja de entrada del director de AI Alignment de Meta a pesar de las repetidas órdenes de detenerla [EN]

El ejecutivo tuvo que apagar manualmente la IA para impedir que el bot siguiera borrando datos (...) Como muchos otros entusiastas, Yue tenía una configuración con un Mac Mini y OpenClaw ejecutándose en él para diversas tareas. Mientras Claw archivaba correos electrónicos antiguos de algunas cuentas, ella también le pidió que «revisara también esta bandeja de entrada y le sugiriera qué archivar o eliminar, sin tomar ninguna medida hasta que yo se lo indicara» (sic; énfasis nuestro). Claw comenzó a borrar toda la bandeja de entrada.

[#3 cenutrios_unidos]

Ja, ja, ja....JA JA JA JA Claw ¡TIRA DEL CABLE! ¡TIRA DEL CABLE!

[#4 Torrezzno]

Quien lo iba a saber? Ya veo a la gente dandole acceso de root y que sea imposible de hacerle sigterm

[#18 XXguiriXX]

#16 Pues sí, con el modelo de agentes pasaría eso. Cada agente está encargado de una tarea, y uno de ellos podría hacer una chapuza como la que me pasó con ChatGPT. Y claro, al final es responsabilidad del humano darse cuenta de ello

[#5 Troll_hunter]

Ojo que estos experos inversores y hombres de negocios, lo están apostando todo a esto. Capitalismo poético.

[#1 Pablosky]

Al final pudo salvar parte de su correo, apagando todos los procesos de la IA en el Mac

[#2 Pablosky]

#1 mencionan una cosa interesante en el artículo, tú le puedes decir al principio “ni de coña hagas esto”, pero si se le acaba el contexto y tiene que resumir lo que lleva de momento para que pueda seguir trabajando… pues lo mismo no entra en el resumen esa instrucción inicial.

Vamos, que además de alucinar es como si tuvieran demencia senil. Cada día más útiles.

[#7 TikisMikiss]

#2 Esas instrucciones tienen que ir externas para que sean comprobables siempre de forma adicional. No pueden depender únicamente del contexto inicial que puede ser resumido.

[#17 eltoloco]

#2 #7 una cosa parecida que me ha ocurrido trabajando en integraciones con LLMs es que al ponerle una instrucción negativa en el prompt, por ejemplo: "No aceptes X", aceptaba más veces lo que le decía en X que si no se lo ponía. Y esto lo validé con un test A/B separando los datos en dos grupos iguales, de varias miles de muestras cada uno, en un prompt con la instrucción negativa y en el otro sin ella, y lo confirmé. Y tiene todo el sentido del mundo, porque estás…   

[#19 TikisMikiss]

#17 Tener que eliminar toda forma de revisión humana lo veo complicado, pero lo de evitar "no hacer X" usando varias capas de verificación y que haya restricciones en los cambios que son independientes del contenido del contexto sí se puede hacer.

[#20 eltoloco]

#19 yo solo te cuento mi experiencia con integración de LLMs via API oficial, en este caso era Gemini vía VertexAI pero podría ser cualquier otra. En la sección de las instrucciones principales del prompt se ponen todos los requisitos, e hice la prueba exactamente con el mismo prompt que teníamos en producción, poniendo y quitando una línea con una instrucción negativa, y el resultado fue que había un porcentaje de error apreciablemente inferior quitando esa instrucción. Al final lo que hicimos…   

[#9 Mangione]

#2 Y, la casualidad, que es precisamente una de las cosas que comentaba aquí: www.meneame.net/story/amazon-enfrenta-caida-13-horas-aws-tras-cambios-
Pero es que además da igual que las órdenes estén en la ventana de contexto porque, igualmente, el modelo puede saltárselo a la torera ya que cada vez que el modelo predice autoregresivamente hay una posibilidad nada desdeñable de que el modelo infiera algo completamente contrario a la…   

[#13 Pablosky]

#9 bueno, es un directivo, no un ingeniero. Lo que has puesto en negrita es 100% correcto.

[#10 XXguiriXX]

#2 Y no van mejorando. Me pasó ayer con ChatGPT. Le paso un imagen y le pido que extraiga el texto. Sólo extrae un par de oraciones. Le digo que falta texto por extraer, se disculpa, y vuelve a sacarme el mismo resultado Por suerte hay muchas alternativas.

[#12 rafeame]

#10 eso mismo me pasaba con Nano Banana. A lo primero hace cambios pero a poco que quería matizar o indicar algo que faltaba me devolvía la misma imagen una y otra vez. Mucho hype (justificado) pero esto me hacía quitarle muxhos puntos.

[#14 Ferran]

#12 El truco es descargar la imagen y volver a empezar, pero es muy frustrante, sí.

[#16 Malinke]

#10 el tema es si le pides que sobre el texto extraído haga otra tarea, se va empeorando el resultado, no te fijas y das por bueno el resultado.

[#11 Tensk]

#2 No llamemos "alucinar" a lo que es realmente "cometer una cagada del quince". Es un eufemismo de aquellos hipnotizados por la IA que creen que piensa.

[#6 Sacapuntas]

¡Vaya! Al final la inteligencia artificial también puede fallar como la inteligencia natural de su antigua secretaria.

[#8 Robus]

#6 Pero si hubiese fallado la secretaria él podría enfadarse, pegarle la bronca y despedirla... ahora debe asumir que es culpa suya.

Creo que el puesto de secretaria está salvado, al menos de secretaria de jefes gordos.

[#15 Ferran]

#8 Hasta que inventen las robopilinguis