Por qué los 1.000 tokens por segundo de Mercury 2 cambian las reglas del juego

Y justo cuando pensábamos que la solución era meterle más fuerza bruta al asunto, aparece Inception Labs y decide cambiar las reglas de la física del lenguaje. Han lanzado Mercury 2, y no es otro modelo más. Es el primer dLLM (diffusion LLM) de razonamiento comercial que abandona la “generación de texto” tradicional para escupir más de 1.000 tokens por segundo.

[#1 Gry]

Lo probé el otro día y es entretenido ver cómo va generando todo el texto al mismo tiempo en lugar de palabra por palabra. En teoría se le da bien trabajar con textos estructurados, que no dependan de lo generado antes para cada sección del mismo.

[#2 daphoene]

#1 Yo realmente no sé si será mejor o peor, pero en algún momento me pregunté si no se podría hacer algún modelo de difusión estilo a imagen y vídeo, y me ha hecho gracia que haya salido esto.

Realmente no creo que sea tan distinto, a nivel de entrada y salida, el contexto global supongo que sigue siendo el mismo, lo que no sé es si es igual de divisible en partes o agentes.

[#4 Gry]

#2 Probé a pasarle el índice de un informe que hice hace unas semanas y lo "rellenó" escribiendo todas las secciones en paralelo en un par de segundos. Es increíblemente rápido comparado con Chatgpt.

Tiene cierto parecido con los agentes, en lo de dividir tareas, pero tiene la ventaja de que no son procesos/agentes independientes así que tiene en cuenta todo lo que están haciendo "los demás" en tiempo real.

[#5 daphoene]

#4 Sí, yo me refería justo a divisiones de tareas fuera de ese contexto, y que sea capaz de integrarlas en el contexto general.

Aunque imagino que un LLM al uso actualmente tendrá los mismos problemas, y seguramente pregunte antes para luego combinar la información o rehacer la información con los ajustes del prompt, así que no será muy distinto. Imagino que será un proceso en tres pasos, pero más rápido en general si cada paso cuenta con esta ventaja de la velocidad.

[#3 Escafurciao]

Lo veo muy útil en la traducción automática a tiempo real, antes que tú digas algo ya lo ha traducido.

[#6 Chinchorro]

¿Y esto para que sirve? ¿Qué utilidad práctica tiene? ¿En qué aspecto va a mejorar la vida de quién?
Son preguntas no irónicas.