Las exigencias de hardware por parte de los modelos de IA Generativa dependen de manera directa del número de parámetros que contenga el modelo concreto que estemos usando y del tamaño de dicho modelo. El tamaño de los modelos depende, a su vez, de la cuantización. Los parámetros de los modelos se representan con precisiones como FP16 o FP8, es decir, coma flotante de 16 u 8 bits. A mayor precisión, más espacio se necesita para almacenarlos. En modelos con miles de millones de parámetros, una reducción en la precisión se traduce en una reducción de espacio. Y, aunque parezca difícil de creer, no se pierde excesiva capacidad de inferencia.
Los modelos, salvo que se usen técnicas de procesado por capas con herramientas como AirLLM (es una técnica relativamente nueva que se aplica a unos pocos modelos aún), tienen que poder cargarse en memoria para poder manejarlos. Preferiblemente, en la memoria VRAM de las GPUs dedicadas, más veloz que la memoria DDR5 o LPDDR5 del sistema.
Las GPUs integradas, en general, no están pensadas para procesar IA Generativa con garantías, al menos con los modelos que tienen un mayor número de parámetros, con la excepción de las GPUs integradas que vienen con un mayor número de compute units, junto con grandes cantidades de memoria unificada, compartida entre la iGPU y la CPU, asignando diferentes cantidades de RAM a una o a otra dependiendo de qué tipo de aplicación se esté ejecutando.
Por otro lado, la memoria unificada suele ser más rápida que la memoria RAM convencional. Por ejemplo, un AMD Ryzen AI Max+ 395 Strix Halo tiene un ancho de banda de memoria de 256 GB/s, mientras que Strix Point, la versión “estándar” de APUs para laptops, se queda en unos 120 GB/s. Un Apple Silicon M5 Max exhibe un ancho de banda de unos 600 GB/s. Los M5 convencionales se quedan en unos 155 GB/s. Un Snapdragon X2 Elite Extreme llega hasta los 228 GB/s. Los NVIDIA N1 RTX Spark, por su parte, llegan a unos 275 GB/s.
Te dejamos una tabla comparando el ancho de banda de memoria unificada para diferentes tipos de procesadores. Como referencia, una GeForce RTX 5090 tiene un ancho de banda de 1,79 TB/s para sus 32 GB de VRAM GDDR7.
Tabla Comparativa de Ancho de Banda
Arquitectura / Chip | Ancho de Banda de Memoria Máximo | Ancho de Bus / Tipo de Memoria | Capacidad Máxima de Memoria | Segmento de Mercado Principal |
Apple M5 Ultra | 1,2 TB/s (1.200 GB/s) | Memoria unificada / LPDDR5X | Hasta 512 GB | Estación de trabajo de gama alta (Mac Studio) |
Apple M5 Max | Hasta 614 GB/s | Memoria Unificada / LPDDR5X de 512 bits | Hasta 128 GB | Portátiles profesionales / Estación de trabajo pequeña |
Apple M5 Pro | 307 GB/s | Memoria Unificada / LPDDR5X | Hasta 64 GB | Portátiles profesionales / Mini PC |
Nvidia DGX Spark / RTX Spark | 273 GB/s | Memoria Unificada / LPDDR5X | Hasta 128 GB | Mini estación de trabajo para desarrolladores de IA |
AMD Ryzen AI Max+ 395 (Strix Halo) | 256 GB/s | LPDDR5X-8000 de 256 bits (Quad-channel) | Hasta 128 GB | APU para entusiastas / Estación de trabajo móvil |
Snapdragon X2 Elite Extreme | 228 GB/s | LPDDR5X en empaque (SiP) de 192 bits | Hasta 128 GB | Portátiles premium Copilot+ |
Apple M5 (Base) | 153,6 GB/s | Memoria Unificada / LPDDR5X | Hasta 32 GB | Dispositivos de consumo delgados y ligeros |
Snapdragon X2 Elite (Estándar) | 152 GB/s | LPDDR5X de 128 bits | Variable | Dispositivos de consumo delgados y ligeros |
AMD Strix Point (Ryzen AI 300) | 128 GB/s (Teórico) | LPDDR5X-8000 de 128 bits | Hasta 64 GB | Portátiles estándar delgados y ligeros |
Estos equipos con memoria unificada, para que sean realmente útiles para inferencias de IA con modelos grandes, tendrían que equipar un mínimo de 128 GB. En esta generación tecnológica, de hecho, 128 GB suele ser la memoria máxima que pueden instalar. Los AMD Ryzen AI Max+ 495, la evolución de los 395, alcanzarán hasta 192 GB con un ancho de banda de 275 GB/s.
Un portátil convencional con 16 GB o 32 GB de RAM, con una GPU integrada o discreta “normalita” también puede con IA en el edge, pero con letra pequeña
Efectivamente, un portátil Windows o Apple con 16 GB o 32 GB de RAM y GPU integrada, puede mover modelos de IA Generativa con cierta alegría. Lo veremos a continuación con un poco más de detalle.
Para ello, tendremos que elegir modelos con un número de parámetros comedido, entre 4.000 y 8.000 millones (billones si atendemos a la nomenclatura americana). Ya dedicamos un artículo didáctico a la instalación en nuestros equipos de modelos de IA Generativa, aunque, de forma resumida, se trata de instalar LM Studio y/o Ollama y seguir unos pocos pasos. LM Studio tiene integrada la selección de modelos e incluso advierte sobre si podemos usarlo o no con garantías, mientras que en Ollama tendremos que ir a la web de la aplicación al apartado de Modelos y copiar la invocación del modelo desde la línea de comandos del sistema (cmd en Windows). Por ejemplo, para el modelo gemma4:e4b con 8 billones (americanos) de parámetros y 4 billones efectivos, tendremos que usar el comando “ollama run gemma4:e4b” que cargará el modelo y permitirá que interactuemos con él directamente desde dicha línea de comandos, o bien en Ollama podremos elegir el modelo desde el menú desplegable en la ventana de chat e introducir nuestros prompts desde una interfaz gráfica de usuario.
Con Gemma4:e4b y sus 8 billones de parámetros, en un portátil con CPU Snapdragon X Elite y 32 GB de RAM, obtuvimos un rendimiento de unos 10,5 tokens/s, que es una cifra modesta pero utilizable para tareas de inferencia esporádicas. O para “cacharrear”, que también.
En este mismo equipo pudimos cargar el flamante modelo Qwen3.8:27b con 27 billones de parámetros y un excelente rendimiento equivalente al de modelos comerciales de OpenAI o Anthropic de hace solo unos meses. Ollama se ha mostrado más eficiente que LM Studio para cargar los modelos en memoria, siendo más frecuente en LM Studio que apareciese el mensaje de imposibilidad de cargar modelos.
Si cerramos las aplicaciones en segundo plano para liberar memoria, en ocasiones será posible cargar modelos que, de otro modo, no podríamos usar. En cualquier caso, estamos hablando de un portátil con un procesador Snapdragon X Elite de primera generación. Las CPUs más recientes, tanto de AMD como de Qualcomm, Intel o Apple, con una cantidad de RAM de 32 GB o 64 GB podrán mover modelos de IA Generativa localmente con un rendimiento razonablemente bueno.
AirLLM: modelos muy grandes en equipos con pocos recursos
No hace demasiados meses se presentaba AirLLM, una herramienta que permite usar modelos con cientos de miles de millones de parámetros, en equipos con cantidades de memoria modestas y con GPUs también modestas. Se trata de un proyecto que está desarrollado en Python y precisa de interacciones a través de línea de comandos. Es por ello que no entraremos en demasiados detalles, más allá de decir que existe.
Si alguien quiere “cacharrear”, tendrá que instalar antes el entorno de desarrollo de Python y seguir las instrucciones en la web de GitHub donde se aloja esta herramienta. Básicamente, lo que hace es ir cargando, en los modelos compatibles, las diferentes capas de parámetros de forma secuencial en memoria y realizando los cálculos matemáticos correspondientes capa a capa. Es como trocear el modelo en partes más pequeñas que caben en memorias menos generosas en capacidad. El rendimiento será modesto, pero al menos se pueden usar modelos con cientos de miles de millones de parámetros.
Resumen con los modelos de IA Generativa más recientes y solventes
Los modelos más recomendables para usar, probar o cacharrear en el momento presente son los que enumeramos a continuación. Aunque hay que tener en cuenta que constantemente se están liberando versiones más avanzadas de modelos existentes o incluso nuevos modelos. En la web de Ollama, en la sección dedicada a los Modelos, encontraremos un listado que podemos ordenar por criterios como los más recientes o los más populares.
Incluso se pueden encontrar versiones sin censura de algunos modelos en los que se han desactivado los guardarraíles definidos por las compañías que los hubieran desarrollado. A medida que se conocen los entresijos de los modelos, es posible realizar modificaciones tanto en los parámetros como en los mecanismos de generación de inferencias.
Además, la calidad de estos modelos abiertos, preparados para descargar y usar en equipos locales, mejora constantemente para acercarse con rapidez al rendimiento de modelos comerciales. También podemos encontrar modelos multimodales que generan imágenes, vídeos, código o incluso voz, al tiempo que pueden procesar documentos de texto o imagen.
El rendimiento de los modelos comerciales mejora, aunque en ausencia de la adopción de nuevas tecnologías para inferencia y entrenamiento, dicha mejora deja de crecer linealmente y empieza a aproximarse a una asíntota.
