Menéame: comentarios [4020733]

#33 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

StarlightHunter.com — Fri, 24 Jan 2025 08:28:04 +0000

#32 Pues en breve si te descuidas te pasa lo mismo. Los juegos ya van por el orden de 150GB de disco.

» autor: StarlightHunter.com

#32 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

chatOGT — Thu, 23 Jan 2025 20:53:48 +0000

#1 no será IBM? Yo empecé en el mundo digital con ese... Para jugar a un juego tenía que borrar el anterior e instalar el nuevo. Qué tiempos!!

» autor: chatOGT

#31 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

prejudice — Thu, 23 Jan 2025 20:25:08 +0000

#25 por eso hablo de un equivalente no de un 486

» autor: prejudice

#30 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

diablos_maiq — Thu, 23 Jan 2025 18:11:01 +0000

#25Â640 kB deberían ser suficientes para todo el mundo

» autor: diablos_maiq

#29 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

pacote — Thu, 23 Jan 2025 13:33:52 +0000

Menos mal que salen cosicas como esta para demostrar que no hace falta tener una gráfica nvidia de 1000 euros para "mover un poco" un modelo de IA ya entrenado.

» autor: pacote

#28 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

ACEC — Thu, 23 Jan 2025 13:16:45 +0000

Por fin Clippo va a ser inteligente

» autor: ACEC

#27 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

--777905-- — Thu, 23 Jan 2025 12:58:11 +0000

#7 Linux puede usar VRAM como RAM.

Por cierto, he ejecutado whisper_cpp en un netbook ATOM n270, 1GB de RAM, haciendo como 1.5 con ZRAM.

Para transcribir un vídeo de 5 minutos tardó como entre 6 y 8 horas.

» autor: --777905--

#26 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

SmithW6079 — Thu, 23 Jan 2025 12:44:08 +0000

Y a 640x480 con dos webos

» autor: SmithW6079

#25 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

Westgard — Thu, 23 Jan 2025 12:37:29 +0000

#4 si me encuentras un 486 que sea de 64 bits (para el direccionamiento de la RAM) lo hablamos

» autor: Westgard

#24 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

neiviMuubs — Thu, 23 Jan 2025 12:37:27 +0000

Al final estos modelos serán el nuevo Doom. ¿Puede el microondas de casa correr uno? al tiempo...

» autor: neiviMuubs

#23 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

troll_hdlgp — Thu, 23 Jan 2025 12:22:37 +0000

#1 Con eso también puedes ejecutarlo, pero a todos los prompts va a responder con "Hola mundo"

» autor: troll_hdlgp

#22 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

tdgwho — Thu, 23 Jan 2025 12:04:44 +0000

#20 Como JARVIS

» autor: tdgwho

#21 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

mahuer — Thu, 23 Jan 2025 11:50:50 +0000

#17 2 Gb para unos y 2 Gb para ceros.

» autor: mahuer

#20 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

sysdani — Thu, 23 Jan 2025 11:47:34 +0000

#9 Aunque lo veremos es una mala idea que cada dispositivo tenga su propia IA separado del resto del ecosistema. Lo óptimo es que los diferentes dispositivos se conecten a la red interna y sea la misma IA de casa, oficina o donde sea la que administre los dispositivos. En caso contrario tendrás que hacer correcciones y actualizaciones en todas y cada una de ellas de forma periódica, sin entrar en el consumo de recursos innecesario.

» autor: sysdani

#19 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

sysdani — Thu, 23 Jan 2025 11:39:45 +0000

#3 Con la cuantización máxima en FP32 son 4 bytes por parámetro, 260.000 * 4 = 1040000 bytes = 0,9918212890625 MB, es un modelo que no llega a 1 mega de RAM.

» autor: sysdani

#18 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

c0re — Thu, 23 Jan 2025 11:27:01 +0000

#7 aún tengo alguna PCI y AGP de 256Mb, como me gustan estos “rescates” de tecnología obsoleta.

» autor: c0re

#17 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

diablos_maiq — Thu, 23 Jan 2025 11:10:17 +0000

#11 2GiB de memoria positiva y otros 2 de memoria negativa

» autor: diablos_maiq

#16 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

vazana — Thu, 23 Jan 2025 11:04:21 +0000

#14 H100 como derecho fundamental para todos.

Acabemos con la pobreza de GPUs.

» autor: vazana

#15 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

mstk — Thu, 23 Jan 2025 10:30:18 +0000

#10 64GB si el procesador dispone de PAE

» autor: mstk

#14 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

Sr.Polilla — Thu, 23 Jan 2025 10:29:45 +0000

#8 Pocos CUDAs vas a mover en un Pentium 2, por lo que veo, para AGP lo último que salió fue la serie 7000 GTX.

» autor: Sr.Polilla

#13 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

parladoiro — Thu, 23 Jan 2025 10:22:30 +0000

#9 un horno usará SeamlessAlign(por poner la de Meta, hay otras) para convertir voz en una instrucción propia. Llama obviando el chiste del nombre en un horno es tonteria primero por meterte en la consola de texto, ya que por voz sería usar la SeamlessAling y segundo la función sería para recetas.

» autor: parladoiro

#12 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

llorencs — Thu, 23 Jan 2025 10:19:18 +0000

#4 RAM y RAM en la GPU, es decir VRAM. La VRAM es la más importante.

» autor: llorencs

#11 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

mahuer — Thu, 23 Jan 2025 10:19:12 +0000

#10 quería decir 4 G bits, he mezclado cosas.

» autor: mahuer

#10 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

mahuer — Thu, 23 Jan 2025 10:08:55 +0000

#4 La máxima capacidad de direccionamiento de memoria de un sistema de 32 bits, 2^32= 2GB

» autor: mahuer

#9 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

Ainur — Thu, 23 Jan 2025 10:07:19 +0000

Lo importante es que IA para tareas sencillas es viable en dispositivos pequeños con pocos recursos, como por ejemplo un horno que se configura con la voz sin necesidad de conexion a internet. Por poner un ejemplo

» autor: Ainur

#8 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

vazana — Thu, 23 Jan 2025 10:05:00 +0000

#5 ¿pero va con CUDA o va lento?

» autor: vazana

#7 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

navi2000 — Thu, 23 Jan 2025 10:04:29 +0000

#4 en realidad lo importante es la VRAM. Evidentemente se puede sustituir VRAM por RAM como han hecho en este caso, pero incluso se podría sustituir la VRAM por memoria paginada en disco duro, pero entonces la velocidad decaería muchísimo. La cuestión es que para que un modelo sea útil, no solo debe dar buenas respuestas, las debe dar en un tiempo aceptable. Unos 3 tokens por segundo puede ser el límite de lo aceptable, pero sin duda 1 token por minuto sería absolutamente inútil.

» autor: navi2000

#6 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

parladoiro — Thu, 23 Jan 2025 09:30:22 +0000

#5 será por modelos de todos los tamaños para edge y ARM.

» autor: parladoiro

#5 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

tpm1 — Thu, 23 Jan 2025 07:41:36 +0000

#3 Lo importante de la noticia es esto:

"For this, the company is developing what it calls the "BitNet" – a transformer architecture that uses ternary weights to drastically reduce model size. With this architecture, a 7 billion parameter model needs just 1.38GB of storage, making it feasible to run on most budget hardware."

» autor: tpm1

#4 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

prejudice — Thu, 23 Jan 2025 06:54:30 +0000

#3 por lo que he leido lo importante es la RAM
Si se pudiera poner a un procesador equivalente a un 486 varios teras de RAM podría moverlo (Aunque supongo que aumentaría la latencia bastante)

» autor: prejudice

#3 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

eduardor2k — Thu, 23 Jan 2025 06:22:58 +0000

Ok, Han ejecutado una versión optimizada de llama de 260.000 parámetros, que seguramente cabe en esos 128mb de RAM, por lo que la noticia es un poco sensacionalista.

Tienes modelos de llama que ocupan 1gb de RAM, que puedes ejecutar en CPU y que son extremadamente rápidos, pero que al ser muy simples, sus respuestas suelen dejar bastante que desear.

Para los que quieran trastear un poco, solo tienes que bajarte "ollama" y probar modelos que quepan en tu RAM.

Llama3.2:3b suele equivaler a algo menos de 3gb de RAM
Los modelos 8b suelen ser menos de 8gb de RAM

Cuanto mayor xb más preciso es, más consumo de RAM y más lento es.

» autor: eduardor2k

#2 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

skaworld — Wed, 22 Jan 2025 15:03:56 +0000

#1 Es capaz de entender lenguaje natural, pero responde siempre empezando con un "Eso me recuerda a lo que dijo el otro dia Iker Jimenez"

» autor: skaworld

#1 Modelo de lenguaje LLaMA ejecutado en una antigua computadora con Windows 98 y 128 MB de RAM [EN]

Peka — Wed, 22 Jan 2025 06:47:23 +0000

Tengo un 386sx con 4 megas y disco duro de 40 megas. A ver qué hacen.

» autor: Peka