612
![El superpetrolero iraní alcanzado por aviones de Estados Unidos sigue ardiendo dos días después del ataque [eng]](https://www.meneame.net/backend/media?type=link&id=4177382&version=0&ts=1778601666&image.webp)
![Aparece un videojuego arcade satírico en Washington DC parodiando el caos de la Guerra de Irán de Trump [ENG]](https://www.meneame.net/backend/media?type=link&id=4177600&version=0&ts=1778659926&image.webp)
![La Tierra hace 70 millones de años [Eng]](https://www.meneame.net/backend/media?type=link&id=4177462&version=0&ts=1778614626&image.webp)
Este artículo es copia fiel de la entrada en mediatize www.mediatize.info/story/deus-ex-machina
Bueno, es lunes, y en vez de haber invertido el finde en limpiar la casa, he podido disfrutar de tiempo en el bosque caminando, reflexionando sobre un tema recurrente. Por fin he podido llegar a unas cuantas conclusiones, y ponerlas en contexto. Me gustaría hablar del problema de la mal llamada IA, y de sus cimientos, los modelos LLM (modelos de lenguaje grandes), que remedan, o pretenden ser inteligencia artificial. He de subrayar que no existen modelos AGI (Inteligencia Artificial General) conocidos en la actualidad, ni modelos matemáticos (conocidos) que permitan llegar a implementarla.
Pero para ello, necesito marear un poco la perdiz antes de nadar en un mar de tokens sobre un espacio multidimensional de probabilidades, y ruego vuestra paciencia para procesar este texto, que aviso, puede ser un poco denso.
Antropología, sociología, sesgos cognitivos, y (falta de) sentido común
Una de las cosas que podemos decir, sin temor a equivocarnos, es que desde que los primeros homínidos bajaron de los árboles, los especímenes que evolucionaron hacia el ser humano fueron modificados, por selección natural, por sus herramientas. Aquellos que usaban mejor las herramientas para cazar, construir otras herramientas, o cargarse al vecino que quería cazar en tu territorio, sobrevivían, y pasaban sus genes a la siguiente generación. En resumen, se puede decir que, los que usaban mejor el melón, los más listos, o los que por prueba y error encontraron una ventaja competitiva, perseveraron.
El ser humano actual perdió por el camino fuerza, la utilidad de caninos, premolares, molares, el apéndice, y facilitó la aparición del habla, y finalmente la escritura, fijando y permitiendo traspasar el conocimiento adquirido a las siguientes generaciones. La asociación y la cooperación para cazar, el egoísmo, y por qué no, la astucia para conseguir comida a escondidas, o matar, se consolidó como una característica deseable y necesaria que permitió a los sujetos más adaptables consolidar estrategias de éxito.
Se puede decir que el cerebro humano evolucionó de la necesidad, y cada día con el reto de llenar la barriga, mejoró su capacidad para enfrentarse al mundo que le rodea no ya como presa de otros, sino como depredador, modificando la naturaleza a su conveniencia (no siempre acertadamente, se ha de decir). Y por supuesto, los que llenaron la barriga, se reprodujeron (otra constante, y si quereis, otro reto) y transmitieron sus genes a la siguiente generacion. Pero también, tiene unos ciertos defectos, fruto, o consecuencia de esa evolución.
El ser humano, y creo que he hablado ya de eso, está sujeto a ciertos sesgos cognitivos como resultado de esta evolución, pero los humanos, aparte de los conocidos sesgos cognitivos, tienden a tener una confianza excesiva ante temas que desconocen, y esto (llamado efecto Dunning-Kruger), es uno de los problemas más grandes a la hora de juzgar una situación.
LLM, modelos estocásticos, y redes neuronales
Un modelo LLM es algo muy curioso. Se basa en una funcion donde metes una entrada (tu pregunta) y en principio te devuelve una solucion plausible . ¿Qué queremos decir con plausible? Aquí viene lo interesante: los LLM no son deterministas por definición.
Un modelo estocástico, a diferencia de un modelo determinista, produce respuestas más o menos aleatorias basándose en el conjunto de datos de partida, que incluso pueden variar con el tiempo. Los métodos de Monte Carlo nacen de la necesidad de reducir la carga computacional de un proceso altamente complejo, y se puede decir que es un subproducto del proyecto Manhattan, y se usan para aproximar una idea de lo que debe ser el resultado, en vez de calcular determinísticamente el resultado de una ecuación.
Esto es una consecuencia del teorema central del límite, en concreto es el caso de convergencia de series numéricas con funciones matemáticas <sup><b>1</b></sup>, y se puede usar para muchas cosas, hasta para aproximar el valor del número pi. El asunto es que los LLM están diseñados para explorar respuestas múltiples que pueden ser plausibles, probabilisticamente hablando, es decir: una distribución de respuestas, una semilla para dar aleatoriedad, y no hay una sola "verdad".
El funcionamiento real, se basa en descomponer el prompt en tokens, crear un espacio vectorial con esos tokens, y en especial, el mecanismo de atención (modificadores, relaciones entre tokens, etc).La red neuronal es una simulacion donde hay un grafo con un montón de aristas donde se establece la relación entre los conceptos, y en la práctica, es la transformación de ese grafo, minimizando el camino hacia la respuesta. Físicamente, esta arquitectura es un sistema distribuido sobre un montón de TPUs/GPUs en cluster, y para ahorrar en uso de VRAM, usan entre 4 y 8 bits de cuantización, lo que amplifica los errores de redondeo a la hora de calcular el peso de los pares(token|contexto) a medida que el diálogo progresa de forma autorregresiva en el diálogo, de ahí que un LLM actual es capaz de generar caminos diferentes, que se convierten en respuestas diferentes, incluso con el mismo prompt original.
Y sumemos a esto que el LLM puede alucinar, porque normalmente priorízan "parecer correcto" sobre "ceñirse a los hechos". Sin contar que están programados para no hablar de según qué cosas.
Nuestra misión, si decidimos usarlo, es:
- Qué vamos a preguntar. Concisión, establecer bien la entrada nos ahorrará verificar salidas falsas o alucinaciones.
- Mirar las restricciones, casos límite, ver qué asunciones se han realizado
- Verificar que física o conceptualmente la respuesta tiene sentido
El ser humano, y creo que he hablado ya de eso en otros artículos, está sujeto a ciertos sesgos cognitivos como resultado de esta evolución, pero los humanos, aparte de los conocidos sesgos cognitivos, tienen otros problemas adicionales, como el sesgo de automatización, o tendencia a sobre-aceptar a los sistemas automáticos y a parar la revisión de sus salidas. Un lenguaje fluído y pleno de confianza, la falta de incerteza, y una simulación de razonamiento estructurado, puede colar cualquier gol (o alucinación IA) al más entrenado. Es decir, los modelos LLM, tienden a colar respuestas incorrectas en forma de argumento de autoridad, y si no estás preparado para ver la falacia, te la cuela. Esto es especialmente grave en los entornos corporativos, dado que el management está entrenado para tragarse sin rechistar estos goles cuando "viene de un experto", o de la IA.
Es mucho peor si el usuario no sabe acerca del tema que pregunta, porque no comprobará ecuaciones, no podrá detectar inconsistencias, o límites en las condiciones expresadas. Porque tampoco preguntará, para evaluar un discurso, qué se ha asumido, o qué está mal, o si es una afirmación o una consecencia de lo que se expone. La calibración de la confianza se produce cuando hay una respuesta fluída, que atribuye un alto nivel de confianza en la respuesta dada, cuando no debería ser así. Es decir; los humanos tienden a creer explicaciones aparentemente coherentes, recompensandolas con confianza, y prefieren, en general, respuestas cortas. Justo lo que te da un LLM.
Y como los modelos LLM generan salidas fluidas y probabilisticas sin cuantificar la incertidumbre sobre la respuesta dada, puede (y muchas veces lo consigue) inducir al sesgo de automatización en personas sin conocimiento, o conocimiento insuficiente en una materia. Esto crea un riesgo de sobreconfianza, y un proceso incorrecto de toma de decisiones, que afecta en mayor medida en ámbitos científicos o tecnológicos donde se pasa por alto la validación del modelo o la respuesta.
El oráculo, la obra de un dios menor al servicio del turbo-totalitarismo
Como veíamos arriba, en el contexto actual, puede que estemos viendo el final de las últimas generaciones pre-digitalización. Las últimas que eran capaces de un minimo de pensamiento critico, conocimientos suficientes para la validación de modelos, o razonar (y extrapolar) conocimiento a partir de principios o fundamentos.
A partir de ahí, y ha sido aún peor desde 2020 tras la completa digitalización de las aulas, se ha vivido una erosión de esos valores y en un cambio de paradigma tanto educativo como social. Los niños no leen - es aburrido, los niños no escriben - se cansan. La sociedad de la inmediatez ha acelerado el declive cognitivo resumido en el efecto Flynn negativo desde finales de la década de 1970. Los modelos LLM tienden a convertirse en un oráculo que está provocando la atrofia de capacidad de memorización, atención, y pensamiento crítico, fomentando una ilusión de conocimiento inmediato.
Pero lo peor no es esto. Antes de peinar canas, ya fuimos conscientes de que la razón de que en las discotecas dejaran pasar a las chicas gratis, y a los chicos les pidieran 500 o 1000 pelas por entrar en un garito, era porque ellas eran el producto. Actualmente los modelos LLM gratuitos nos convierten a nosotros en el producto para computar, almacenar y preparar perfiles incluso emocionales de nuestras vidas digitales. Es decir, desde las consultas al oráculo, pasando por los memes que generas, o tu historial de consultas web en tu navegador, son analizadas y convertidas en metadatos en el espacio vectorial multidimensional. Nuestras vidas son perfiles almacenados en centros de datos de Meta, Google, xAI, o Microsoft, y vendidos al mejor postor, y en esos datos están, desde preferencias sexuales hasta tendencia política, pasando por vicios, pasiones, aventuras, y capacidad intelectual. Es decir: sin haberlo pretendido hemos vendido nuestra intimidad y nuestros sueños a unos facinerosos que quieren hacer dinero a nuestra costa.
Digerid eso, galeotes: está demostrado que un chat con un LLM es capaz de ser hasta 4 veces más persuasivo que un anuncio tradicional, porque, sorpresa, se ajusta a lo que quieres leer. Y por eso te convence.
Pero lo peor no es que seas un pardillo al que un sistema probabilístico tiene más que analizado, y sabe como te mola que te doren la píldora, lo peor es que nadie impide que un estado, con la excusa de "seguridad" nos manipule, clasifique, y nos pastoree como borregos si no estamos listos. O peor, que te denieguen una visa para entrar en un país, o te nieguen una beca, o una matrícula en la Universidad, o peor, que te detengan por "potencialmente peligroso" solo porque el modelo estocástico predice que hay un 98% de probabilidad de que te conviertas en un peligro público por correlacionar tus memes o tus troleos en guasap con los colegas, con un comportamiento extremista. Esto es casi imposible de refutar por un sistema legal, y el estado se puede escudar tranquilamente en un "no entendemos como funciona, pero funciona".
Por tanto, queda claro que unas cuantas corporaciones controlan al oráculo, y estas, a veces, están al servicio del estado. Ellas filtran, ellas deciden qué es verdad. Ellas están programadas explícitamente para no decirte lo que quieres saber, sino lo que te dejan saber, y como ya has perdido la capacidad de análisis y de construir conocimiento por tu cuenta, estás a su merced. Disfruta de la longitud de tu cadena, esclavo.
En la nueva edad media a la que nos abocamos, los señores tecnológicos tienen sus modelos en el espacio estocástico multidimensional, y puede producir puentes o centrales nucleares perfectamente plausibles, pero que violan las leyes de la física. En este mundo donde solo importan las apariencias, la capacidad, la habilidad más valiosa será conservar la capacidad de aprender y aplicar los fundamentos básicos de la ciencia, apoyados en la intuición y la experiencia real, y ver en un documento de 500 páginas las anomalías y alucinaciones y decir "esto es una puta mierda ¿qué cojones me estás contando?, páginas 42, 61, 431".
Conclusión
Hay dos alternativas a estos modelos
1) No los uses, no los necesitas, y son parte de un problema mucho mayor. Disminuye tu huella digital y empieza a acumular conocimiento en papel acerca de lo que necesitas saber.
2) Construye tus propios modelos fuera de las megacorporaciones, no estás a salvo. Llama, Mistral o Kimi-K2.6 han reducido considerablemente la distancia con modelos propietarios. Construye tu propia infrastructura, y pon tus propias restricciones al modelo - incluyendo ninguna restricción.
A pesar de que la UE nos quiere vender que va a prohibir la manipulacion subliminal, o el carnet por puntos para el ciudadano con la directiva EU AI Act (2024/2026), si algo hemos aprendido de la UE es que hay que fijarse en lo que hace y no lo que dice. Y por extensión al resto de estados.
La dictadura digital está a las puertas de erigirse como un filtro probabilistico sobre la realidad de los usuarios, donde los gobiernos controlan los "pesos" en el grafo que representa el espacio estocástico y la poblacion pierde la habilidad de ver el sesgo porque no sabe pensar por sí misma. Así que la sociedad que llegará en la siguiente década, podemos llamarla idiocracia, y se caracteriza por:
- Declive en capacidades cognitivas básicas
- Ilusión de conocimiento inmediato (Cognition as a Service)
- Control invisible por parte de los modelos LLM al servicio de las corporaciones
- Stasi digital, al servicio del estado
La idiocracia está para quedarse durante un largo tiempo
- Las IAs darán respuestas basadas en la probabilidad
- Los humanos la aceptarán porque no tienen los conocimientos fundamentales para rebatirlos
- El error será redefinido como hecho, y realimentado en el siguiente ciclo de entrenamiento para la base de datos del LLM (llamado síndrome de la IA Habsburgo)
- No se puede producir nuevo conocimiento interpolando datos, por lo que habrá un estancamiento en la ciencia y en la tecnología, con ocasionales regresiones debido a que ya no quedará nadie que entienda los fundamentos con los que las entrenaron.
Más de uno dirá, "pues ya lo sabía, no necesito tanta prosa". Pero la idiocracia está para quedarse, comenzando por el mundo corporativo.
Los manayels y líderes corporativos son los memos perfectos para tragar probabilidad del espacio estocástico multidimensional. Les encanta ese tipo de mandanga plausible, y luego recitar "denegación plausible" ante una cagada monumental, porque no entienden el modelo, o porque la IA "ha recibido un entrenamiento incorrecto". Y por supuesto, colará, porque los que toman decisiones están encantados con esas respuestas que quieren oir.
Incluso si les cuesta el dinero tras una pifia multidimensional asombrosamente probabilística.
<sup><b>1</b></sup> La convergencia de series usando el teorema central del límite fue utilizado o en último análisis del declive de menéame, donde se demostró que la serie de uso e interacción converge con una gaussiana desplazada, y tiende a 0 si no cambian las condiciones tecnológicas de la plataforma, ligada a su base demográfica actual.
menéame
