Unos simples añadidos de texto pueden engañar a los modelos avanzados de razonamiento de IA (ENG)

Unos investigadores han descubierto que añadir frases irrelevantes como «Dato interesante: los gatos duermen la mayor parte de su vida» a problemas matemáticos puede hacer que los modelos de razonamiento de IA más avanzados produzcan respuestas incorrectas a un ritmo un 300% superior al normal [PDF]. La técnica, denominada «CatAttack» por equipos de Collinear AI, ServiceNow y la Universidad de Stanford, aprovecha las vulnerabilidades de modelos de razonamiento como DeepSeek R1 y la familia o1 de OpenAI.

[#1 Tiranoc]

Otro dato interesante: además de dormir la mayor parte de su vida, todos los gatos son bonitos.

[#4 Klamp]

#1 otro dato: ada colau era alcaldesa de Barcelona.

[#2 Priorat]

En ChatGPT no me ha funcionado.

[#3 Tensk]

Porque, una vez más, las IA NO RAZONAN.

[#5 rojo_separatista]

#3, sabes que en ciencia toda hipótesis necesita ser falsable? ¿Si las IAs no razonan porque fallan cuando se les ánade información irrelevante en el prompt significa que sí razonan cuando no fallan o seguiremos diciendo que no razonan independientemente de lo que hagan?

[#7 hatagon]

#5 Si alucinan una vez, es que no razonan. El resto de aciertos fue pura casualidad.

[#8 rojo_separatista]

#7, menuda forma más científica de acercarse al problema.

[#10 Tensk]

#5 No razonan en ningún caso.

Desde el mismo momento en el que "tienen la necesidad" de usar toda palabrería aportada para resolver el problema planteado, mal vamos.

Estoy más o menos de acuerdo con #7. Desde el momento en el que tienen alucinaciones, que es un eufemismo de "cagada monumental que nadie en su sano juicio cometería" no están razonando.

No diría tampoco que aciertan de casualidad en tanto que no es una cuestión de puro azar, hay un desarrollo matemático detrás.

Pero como todo desarrollo estadístico, se podrá optimizar para que "acierte las más de las veces", pero no siempre, demostrando que no es razonamiento, es matemática.

[#11 rojo_separatista]

#10, cómo lo haces para determinar de forma científica, es decir empírica y replicable que un ser humano razona? Si un ser humano se equivoca una sola vez, ya concluyes que en ningún caso razona? Utilizas dos varas de medir diferentes? Tengo la sensación de discutir con personas que se mueven más por fe que por principios científicos.

[#6 hatagon]

Los LLM no razonan. No razonan nada. Lo único que hacen es seleccionar la palabra que más probablemente sigue al prompt. El prompt se genera con cada palabra nueva y va creciendo. Esto es lo único que hacen.

Si les hablas de gatos, la respuesta más probable se inclinará hacia los gatos, como era de esperar.

[#9 rojo_separatista]

#6, Geoffrey Hinton el premio Nobel de física por sus descubrimientos en el campo de la IA discrepa un poco de lo que dices.