Unos investigadores han descubierto que añadir frases irrelevantes como «Dato interesante: los gatos duermen la mayor parte de su vida» a problemas matemáticos puede hacer que los modelos de razonamiento de IA más avanzados produzcan respuestas incorrectas a un ritmo un 300% superior al normal [PDF]. La técnica, denominada «CatAttack» por equipos de Collinear AI, ServiceNow y la Universidad de Stanford, aprovecha las vulnerabilidades de modelos de razonamiento como DeepSeek R1 y la familia o1 de OpenAI.
|
etiquetas: ia , razonamiento , gatos 
Por lo tanto, cuando aciertan en una respuesta, eso lo logran sin razonar.
Es un resultado notable, pero está claro que no pueden razonar.
Para ti si el resultado es el mismo entonces el proceso es el mismo. Eso es FALSO con todas las letras.
Y puedes seguir con tu berrinche si quieres, yo paso.
Y si no es el mismo proceso, porque NO LO ES, complicado que se le pueda llamar lo mismo.
Los humanos tienen la capacidad de razonar, lo que pasa es que casi nunca la usan.
Pero parece que tienes un problema con la carga de la prueba. Aquí la afirmación es "los LLM razonan", que es falsable. Y se ha demostradop falsa con multitud de contraejemplos.
Desde el mismo momento en el que "tienen la necesidad" de usar toda palabrería aportada para resolver el problema planteado, mal vamos.
Estoy más o menos de acuerdo con #7. Desde el momento en el que tienen alucinaciones, que es un eufemismo de "cagada monumental que nadie en su sano juicio cometería" no están razonando.
No diría tampoco que aciertan de casualidad en tanto que no es una cuestión de puro azar, hay un desarrollo matemático detrás.
Pero como todo desarrollo estadístico, se podrá optimizar para que "acierte las más de las veces", pero no siempre, demostrando que no es razonamiento, es matemática.
Es un concepto interesante sobre el que deberías reflexionar con mucha sinceridad.
El problema no está, y lo sabes, en si comete una equivocación como tal, sino en el tipo y "calidad" de la equivocación. Y lo sabes.
Dicho esto, se trata de dar respuestas en base a lo más probable después de ingente entrenamiento. Se basa en que esa mayor probabilidad coincide con lo esperable razonablemente en muchos casos. Pero no siempre.
Eso y que la IA a fin de cuentas tiene en su entenamiento la misión de valorar, de darle valor, a los distintos elementos que forman parte del entrenamiento y el "prompt" y, a diferencia de lo que sí puede hacer un humano medio normalmente, no siempre va a saber separar la paja del grano como demuestra este meneo.
La respuesta probable va a depender del entrenamiento. Mientras que si pudiera razonar haría una criba de respuestas no razonables.
Evidentemente que depende del entrenamiento. Si digo lo mismo que tú.
Si les hablas de gatos, la respuesta más probable se inclinará hacia los gatos, como era de esperar.
Pero lo de la falacia de autoridad aplica directamente. Entonces, ¿quién es más fiable, el tio ese o yo? Porque yo no tengo intereses en el tema y él sí, y por lo tanto él tiene muchos posibles motivos para mentir, mientras que yo podría simplemente estar equivocado.
Entonces, consultado lo que dice el tipo éste, resulta que es de la opinión de que las redes neuronales funcionan igual que el cerebro humano, lo que es una afirmación extraordinariamente notable cuando no sabemos cómo funciona el cerebro humano. Yo le acuso de hype agudo o si lo quieres más claro, de mentir por dinero.