Así como al principio los LLM pueden parecer casi mágicos, “hay un momento en el que […] la ilusión se deshace”. Un LLM “no ejecuta algoritmos en tiempo de inferencia ni mantiene estados explícitos […] lo que hace es generar secuencias de texto plausibles”, a diferencia del desarrollador que opera con una noción de estado y coherencia global. Por eso funciona bien en dominios estandarizados, donde “basta con que la solución se parezca a algo correcto”, pero falla cuando “no hay margen para la plausibilidad”: o se cumplen invariantes o no.
|
etiquetas: llms , arquitectura de software , programación 
En efecto. Es posible bajar la temperatura a cero. La interfaz del LLM no te va a permitir tanto, pero posible de hacerse, lo es. Lo convierte en totalmente determinista. Esto no soluciona nada.