Entre palabras y sistemas: los límites estructurales de los LLM

Así como al principio los LLM pueden parecer casi mágicos, “hay un momento en el que […] la ilusión se deshace”. Un LLM “no ejecuta algoritmos en tiempo de inferencia ni mantiene estados explícitos […] lo que hace es generar secuencias de texto plausibles”, a diferencia del desarrollador que opera con una noción de estado y coherencia global. Por eso funciona bien en dominios estandarizados, donde “basta con que la solución se parezca a algo correcto”, pero falla cuando “no hay margen para la plausibilidad”: o se cumplen invariantes o no.

[#2 eltxoa]

Es que si fuera el tipo de problemas que pueden resolverse de forma fácil de forma determinista no se estarían usando las soluciones que llámanos IA.

[#3 rystan]

#2 El indeterminismo en los LLM sólo sirve para que no sean demasiado aburridos.

[#1 rystan]

A primera vista, diría que el problema es que es probabilístico y no determinista. La respuesta es correcta pero se me hace insuficiente

En efecto. Es posible bajar la temperatura a cero. La interfaz del LLM no te va a permitir tanto, pero posible de hacerse, lo es. Lo convierte en totalmente determinista. Esto no soluciona nada.