Menéame: comentarios [4112414] http://www.meneame.net www.meneame.nethttp://www.meneame.nethttp://cdn.mnmstatic.net/m/mnm/img/mnm/eli-rss.png Sitio colaborativo de publicación y comunicación entre blogs Thu, 30 Oct 2025 12:28:39 +0000 http://blog.meneame.net/ es 43758289 4112414 3 rogerius 1 34 https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia #3 La publicación que puede cambiar cómo trabajamos con IA https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia/c03#c-3 Thu, 30 Oct 2025 12:28:39 +0000 rogerius https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia/c03#c-3 #1 Estos chinos son la monda. Lironda. :troll:

» autor: rogerius

]]> 43758264 4112414 2 Torrezzno 2 43 https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia #2 La publicación que puede cambiar cómo trabajamos con IA https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia/c02#c-2 Thu, 30 Oct 2025 12:25:57 +0000 Torrezzno https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia/c02#c-2 Recomiéndo leer a Andrej sobre el tema, poca gente sabe más que el del tema

x.com/karpathy/status/1980397031542989305


Quizás tiene más sentido que todas las entradas a los LLM sean siempre imágenes. Incluso si tienes una entrada de texto puro, tal vez preferirías renderizarla y luego introducirla así:
- más compresión de información (ver el artículo) => ventanas de contexto más cortas, más eficiencia
- flujo de información significativamente más general => no solo texto, sino, por ejemplo, texto en negrita, texto en color, imágenes arbitrarias.
- la entrada ahora se puede procesar con atención bidireccional fácilmente y por defecto, no con atención autorregresiva, lo que es mucho más potente.
- ¡¡eliminar el tokenizador (en la entrada)!! Ya me he quejado de lo poco que me gusta el tokenizador. Los tokenizadores son feos, son una etapa separada, no de extremo a extremo. "Importan" toda la fealdad de Unicode, las codificaciones de bytes, heredan mucho bagaje histórico, riesgos de seguridad/jailbreak (por ejemplo, bytes de continuación). Hacen que dos caracteres que a la vista parecen idénticos se vean como dos tokens completamente diferentes internamente en la red. Un emoji sonriente parece un token extraño, no una... cara sonriente real, con sus píxeles y todo, y todo el aprendizaje por transferencia que eso conlleva. El tokenizador debe desaparecer.

» autor: Torrezzno

]]> 43758235 4112414 1 rojo_separatista 1 34 https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia #1 La publicación que puede cambiar cómo trabajamos con IA https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia/c01#c-1 Thu, 30 Oct 2025 12:22:10 +0000 rojo_separatista https://www.meneame.net/m/mnm/publicacion-puede-cambiar-como-trabajamos-ia/c01#c-1 Me parece super interesante por lo contraintuitiva que es la idea de que utilizando tokens de imagen en lugar de un embeding de texto se pueda obtener algo tan funcional.

» autor: rojo_separatista

]]>