GPT, o Generative Pretrained Transform (transformación generativa preentrenada) es la base de ChatGPT y otros modelos de IA generativa. ¿Qué son, y cómo funcionan?
La verdad, Grant Sanderson esta dejando un legado en youtube impresionante. A aquellos que no lo conozcan, sus series la esencia del calculo y la esencia del algebra, son oro para cualquiera que busque entender un poco mas cosillas que ves en primero de carrera. Mencion de honor a su video de la transformada de fourier, que me hizo verla con otros ojos tras años de usarla a lo tonto en teleco
#4 Sip el GPT se ha usado para reconstruir imagenes cortadas de forma coherente. No se si tiene aplicaciones practicas, en imagenes. Un problema gordo de los transformes es que consumen muchisimo calculo y por tanto energia. Creo que tambien requiere mucha mas memoria.
Yo no sé donde se ejecutan porque no caben en tarjetas normales y creo que no se puede dividir el modelo en varias tarjetas graficas.
¿Ven señores como no hay ninguna base de datos indexada sino correlaciones de diferente orden entre tokens que representan abstracciones matemáticas de la estructura del lenguaje mediante enormes matrices de parámetros? A ver si dejamos de repetir la tontería de que los modelos de IA se limitan a indexar enormes bases de datos que regurgitan cosas que han visto antes.
#3, correlaciones que no solo tienen porque estar en el lenguaje, sino en imágenes, audio o cualquier tipo de dato de entrada que se pueda trocear en una cadena de tokens.
Comentarios
La verdad, Grant Sanderson esta dejando un legado en youtube impresionante. A aquellos que no lo conozcan, sus series la esencia del calculo y la esencia del algebra, son oro para cualquiera que busque entender un poco mas cosillas que ves en primero de carrera. Mencion de honor a su video de la transformada de fourier, que me hizo verla con otros ojos tras años de usarla a lo tonto en teleco
#1 El tío lo hace de 10, además público como software libre la librería que usa para hacer sus animaciones matemáticas.
DotCSV, tambien lo explico.
https://invidious.fdn.fr/watch?v=aL-EmKuB078
https://invidious.fdn.fr/watch?v=xi94v_jl26U
#2
Creo que estos canales en Español tambien esas librerias.
https://invidious.fdn.fr/channel/UCd_Kj_7JmfFwNqsV8EaaSRw
https://invidious.fdn.fr/channel/UC-ihtKdODqNE7iPISJD3DnA
https://invidious.fdn.fr/channel/UC-_kZ3UZBsnCWJEVr8ysMww
#4 Sip el GPT se ha usado para reconstruir imagenes cortadas de forma coherente. No se si tiene aplicaciones practicas, en imagenes. Un problema gordo de los transformes es que consumen muchisimo calculo y por tanto energia. Creo que tambien requiere mucha mas memoria.
Yo no sé donde se ejecutan porque no caben en tarjetas normales y creo que no se puede dividir el modelo en varias tarjetas graficas.
¿Ven señores como no hay ninguna base de datos indexada sino correlaciones de diferente orden entre tokens que representan abstracciones matemáticas de la estructura del lenguaje mediante enormes matrices de parámetros? A ver si dejamos de repetir la tontería de que los modelos de IA se limitan a indexar enormes bases de datos que regurgitan cosas que han visto antes.
#3, correlaciones que no solo tienen porque estar en el lenguaje, sino en imágenes, audio o cualquier tipo de dato de entrada que se pueda trocear en una cadena de tokens.
#3 son loros estocásticos como los humanos