Las APUs Ryzen AI HX 300 han sido un gran éxito para AMD. Su CPU combina núcleos Zen 5 con núcleos Zen 5c, tienen una NPU de hasta 50 TOPs de potencia, y además incluyen una GPU RDNA 3.5 cuya potencia puede llegar a superar a una GPU dedicada básica.
Estas APUs son potentes y eficientes, y están preparadas para trabajar con LM Studio, un framework basado en el proyecto Llama.cpp que permite implementar rápida y fácilmente LLMs (grandes modelos de lenguaje) sin dependencias, y con soporte de aceleración por CPU y por GPU, utilizando las instrucciones AVX2.
Los Ryzen AI HX 300 cuentan con todo lo necesario para acelerar y mejorar el rendimiento en aplicaciones basadas en Llama.cpp, como LM Studio para portátiles x86. El rendimiento de los LLMs depende mucho de la velocidad de la memoria del sistema, pero el Ryzen AI 9 HX 375 es tan potente que es capaz de superar a los Intel Lunar Lake en un 27% incluso cuando se configura con memoria más lenta.
En Llama 3.2 con mil millones de parámetros el Ryzen AI 9 HX 375 alcanza los 50,7 tokens por segundo, mientras que el Intel Core Ultra 7 258V llega a los 39,9 tokens por segundo. Esta es la prueba en la que se produce una mayor diferencia entre ambos procesadores trabajando con LLMs bajo LM Studio.
Esta APU también es superior en el tiempo de generación del primer token, donde consigue un resultado hasta 3,5 veces más rápido que su rival directo, y puede utilizar la función "GPU offload" para aprovechar la potencia de su GPU integrada, lo que puede mejorar el rendimiento en un 31% de media en Llama 3.2 con mil millones de parámetros. Con esta función activada el rendimiento sube a 66,6 tokens.
Más información: AMD.
