El nuevo AI HAT de Raspberry Pi añade 8 GB de RAM para LLM locales [en]

Raspberry Pi ha lanzado su nuevo AI HAT+ 2 de 130 $, que incluye un Hailo 10H y 8 GB de RAM LPDDR4X. Con esto, el Hailo 10H es capaz de ejecutar LLM de forma totalmente autónoma, liberando la CPU y la RAM del sistema de la Pi para otras tareas

[#1 woody_alien]

Aunque le añade memoria sigue ejecutando el LLM en modo CPU por lo que va mas lento que el caso Montoro.

[#2 joffer]

#1 o el caso novio Ayuso

[#6 pip]

#1 esto es una NPU, la idea es usarla.

[#4 ElBeaver]

No entiendo por qué una Raspberry Pi sería mejor que un PC, especialmente ahora que su precio ha subido. El mercado de segunda mano en PCs está lleno de opciones muy buenas, como los modelos SFF, que consumen más o menos lo mismo que una Raspberry Pi.

[#5 WarDog77]

#4 Hasta donde se la Pi tiene un bus de comunicación con el procesador que le permite delegar tareas de procesado en hardware externo (parecido a como hace un PC con los gráficos por ejemplo). En los PCs no se puede hacer eso.
Quizas podrías asignar núcleos del pocesador exclusivos a esa tarea, pero no sé hasta que punto eso aísla el proceso impidiendo que consuma recursos del resto de mucleos.
Aparte de que el Halio es un procesador perfeccionado para IAs generativas.

[#7 pip]

#4 no es "mejor" en todo, pero es un mini-ordenador que cabe en cualquier sitio y es fácilmente integrable con electrónica. Aunque el artículo diga que es "para LLM", en realidad se trata de una NPU quede usarse para múltiples procesos de IA, y al ser un miniordenador es adecuado para muchos proyectos de robótica.

[#8 ElBeaver]

#7 Estoy parcialmente de acuerdo, pero el precio de la Raspberry Pi ha subido tanto que, para ciertos usos, ya no resulta rentable. Además, están empezando a surgir alternativas a la Raspberry Pi para muchas aplicaciones.

[#9 pip]

#8 el mundo embedded depende muchísimo de qué quieras hacer exactamente con el hardware circundante y de si es un prototipo o qué. Seguramente para producción puedas usar por ejemplo una NXP i.MX8M que tiene la NPU integrada, pero claro, también requiere placa de desarrollo y no es tan inmediata de poner en marcha.

La Raspnerry lo que tiene es una comunidad muy grande y no es tan embedded, es más tipo miniordenador, así que puedes montar más rápido un prototipo con un Debian entero.

Es que depende muchísimo de lo que quieras hacer. Seguramente las siguientes Raspberry que saquen ya llevarán NPU integrada.

[#3 nemeame]

Buena iniciativa. Ya que nos vamos a comer la IA si o si por lo menos que se ejecute en local