#2 La apuesta de los mil millones de dólares de Yann LeCun - Parte 1 | [EN]

mandelbr0t — Sun, 03 May 2026 07:36:25 +0000

#teahorro37minutos

#1 Esta es una síntesis de los puntos clave de la visión de Yann LeCun y su arquitectura JEPA (Joint-Embedding Predictive Architecture):
1. El problema de los modelos actuales (LLMs)

Yann LeCun, pionero de la IA, sostiene que los modelos de lenguaje actuales (como ChatGPT) tienen limitaciones fundamentales:

Son puramente generativos y autorregresivos: Predicen el siguiente token o píxel, lo cual funciona en texto pero falla en video.

El problema de la "borrosidad": Al intentar predecir píxeles en un video, debido a la incertidumbre (hay infinitas posibilidades de lo que puede pasar después), los modelos generativos promedian los resultados y producen imágenes borrosas e inservibles.

Falta de "sentido común": Los LLMs no entienden el mundo físico ni las consecuencias de sus acciones; solo manipulan lenguaje.

2. ¿Qué es JEPA?

JEPA no es un modelo único, sino una arquitectura alternativa que no es generativa. En lugar de predecir píxeles o texto directamente, funciona así:

Codificadores (Encoders): Pasa la entrada (X) y la salida (Y) a través de modelos que las convierten en vectores matemáticos llamados embeddings.

Predictor: Un tercer modelo entrena para predecir el embedding de la salida a partir del embedding de la entrada.

Ventaja: Al trabajar en un espacio abstracto (embeddings) y no a nivel de píxeles, el modelo ignora detalles irrelevantes (como el movimiento de las hojas de un árbol) y se enfoca en la estructura semántica y física de la escena.

3. Superar el "Colapso de Representación"

Históricamente, estos modelos (llamados Redes Siamesas) fallaban porque la IA "hacía trampa" devolviendo siempre el mismo vector para cualquier entrada (colapso).

La solución (Barlow Twins): Inspirado en la neurociencia, LeCun y su equipo desarrollaron un método para reducir la redundancia entre neuronas, forzando al modelo a extraer información útil sin colapsar.

Dino V3: Se menciona como un hito donde el aprendizaje autodidacta (sin etiquetas humanas) alcanzó la precisión de los modelos supervisados por humanos.

4. Hacia los "Modelos de Mundo"

La gran apuesta de LeCun es que la IA debe tener un Modelo de Mundo:

Aprendizaje como los humanos: Un adolescente aprende a conducir en 20 horas, mientras que una IA necesita millones de datos. Esto es porque los humanos tenemos un modelo interno de cómo funciona la física.

Planificación: JEPA permite que una IA simule las consecuencias de una acción antes de tomarla. Si se aplica a la robótica, el modelo puede "imaginar" qué movimientos llevarán a un objetivo específico.

Sustitución de los LLMs: LeCun cree que, aunque hoy resuelven problemas distintos, los enfoques basados en modelos de mundo eventualmente reemplazarán a los LLMs porque permitirán crear agentes verdaderamente inteligentes, capaces de razonar, planificar y ser seguros.

Conclusión

Mientras que Silicon Valley está obsesionado con la IA generativa, LeCun propone una vía no generativa basada en aprendizajes de representaciones abstractas. Para él, el futuro de la IA no es "predecir la siguiente palabra", sino entender y predecir el funcionamiento del mundo físico a través de arquitecturas de incrustación conjunta (JEPA).

» autor: mandelbr0t

#1 La apuesta de los mil millones de dólares de Yann LeCun - Parte 1 | [EN]

JungSpinoza — Sun, 03 May 2026 06:44:03 +0000

Secciones
0:00 - Introducción
2:28 - El problema del aprendizaje profundo
4:17 - La inteligencia es pan comido
5:15 - El auge de la IA generativa
8:00 - Imágenes borrosas
8:54 - HRT es un lugar increíble para trabajar
11:16 - ¿Pero por qué tan borrosas?

13:30 - ¿Nuestros modelos necesitan ser generativos?

15:16 - Redes siamesas
17:53 - Colapso de la representación
19:54 - La epifanía de Yann y los gemelos Barlow
27:22 - DINO
28:58 - JEPA y los modelos mundiales
34:09 - ¿Pero es bueno JEPA?

36:19 - El libro de Welch Labs

» autor: JungSpinoza

Menéame: comentarios [4174282]

#2 La apuesta de los mil millones de dólares de Yann LeCun - Parte 1 | [EN]

#1 La apuesta de los mil millones de dólares de Yann LeCun - Parte 1 | [EN]