El nuevo AI HAT de Raspberry Pi añade 8 GB de RAM para LLM locales [en]

Raspberry Pi ha lanzado su nuevo AI HAT+ 2 de 130 $, que incluye un Hailo 10H y 8 GB de RAM LPDDR4X. Con esto, el Hailo 10H es capaz de ejecutar LLM de forma totalmente autónoma, liberando la CPU y la RAM del sistema de la Pi para otras tareas

[#1 woody_alien]

Aunque le añade memoria sigue ejecutando el LLM en modo CPU por lo que va mas lento que el caso Montoro.

[#2 joffer]

#1 o el caso novio Ayuso

[#4 ElBeaver]

No entiendo por qué una Raspberry Pi sería mejor que un PC, especialmente ahora que su precio ha subido. El mercado de segunda mano en PCs está lleno de opciones muy buenas, como los modelos SFF, que consumen más o menos lo mismo que una Raspberry Pi.

[#5 WarDog77]

#4 Hasta donde se la Pi tiene un bus de comunicación con el procesador que le permite delegar tareas de procesado en hardware externo (parecido a como hace un PC con los gráficos por ejemplo). En los PCs no se puede hacer eso.
Quizas podrías asignar núcleos del pocesador exclusivos a esa tarea, pero no sé hasta que punto eso aísla el proceso impidiendo que consuma recursos del resto de mucleos.
Aparte de que el Halio es un procesador perfeccionado para IAs generativas.

[#3 nemeame]

Buena iniciativa. Ya que nos vamos a comer la IA si o si por lo menos que se ejecute en local