#16, para nada es como tu dices. El embeding del texto se pasa como una de las entradas con las que se construyen las matrices de auto-atención. A partir de ahí la red construye internamente una representación de los conceptos que se aprenden a partir de cómo se interrelacionan las palabras. Hay tantos millones de parámetros y tantas conexiones que es imposible saber a ciencia cierta cómo construye estas representaciones, pero no son palabras, ni frases enteras, sino conceptos formados por grupos de palabras.
Dar a entender como hace él, que lo que se hace es una búsqueda, sea en forma de embeding o en texto plano, en una base de datos en la que están las entradas con las que se ha entrenado es manifiestamente erróneo. No vale, en aras de simplificar la explicación, dar respuestas equivocadas.
Portada
mis comunidades
otras secciones
#11 Sabe perfectamente de qué habla y lo ha explicado perfectamente. Lo que GPT busca en sus entradas históricas es el embedding del texto, es decir, la representación numérica de la pregunta/frase de entrada. Eso activará uno o varios elementos de procesado y las subsiguientes capas de la red neuronal serán las que modifiquen los resultados de salida.
La explicación para profanos es impecable. Está dando una entrevista para divulgación, no presentando un paper en un congreso para técnicos. Lo de la base de datos te lo has sacado tú de la manga.
Su descripción, aunque simplificada, es correcta. Al ser inmensamente grande, tiene "almacenadas" un montón de frases.