La IA Generativa está atravesando un momento complicado. En las últimas semanas hemos asistido a una sucesión de noticias que podríamos calificar como contradictorias. Por un lado, tenemos anuncios de nuevos modelos, como chat GPT 6 Astra de Open AI, mientras que, por otro lado, los CEOs de Anthropic, SpaceX y la propia Open AI, pedían públicamente una ralentización en los avances de la IA Generativa, tras haberse detectado supuestos comportamientos anómalos por parte de agentes de IA.
Índice:
Concretamente, hablamos de los supuestos ataques a Hugging Face por parte de agentes de IA de Open AI, bajo la supuesta narrativa de que estos agentes habrían tomado “consciencia” y se habrían “organizado” para orquestar un ciber ataque desde un entorno “sandbox”.
Otro de los “temazos” asociados a la IA Generativa es el del “token maxxing”. Es decir, invitar a los usuarios a hacer un uso intensivo de los modelos de IA para maximizar la productividad empresarial. Esta tendencia tuvo su momento álgido hace unos meses, cuando los grandes proveedores de IA Generativa contaban con la confianza de las empresas y usuarios más “pro”, especialmente con el “boom” del vibe coding.
Sin embargo, pronto se vio que el “token maxxing” originaba gastos estratosféricos en el desempeño de tareas, asociados al pago por uso en los modelos comerciales, especialmente Chat GPT de Open AI y Claude de Anthropic.
Proveedor / Servicio | Plan Económico | Plan Estándar (Pro / Plus) | Plan Avanzado (Premium / Max) |
OpenAI (ChatGPT) | $8 / mes (ChatGPT Go) | $20 / mes (ChatGPT Plus) | $100 / mes (ChatGPT Pro) |
Google (Gemini / AI) | $4.99 / mes (AI Plus) | $19.99 / mes (AI Pro) | $99.99 - $199.99 / mes (AI Ultra) |
Anthropic (Claude) | No disponible | $20 / mes (Claude Pro) | $200 / mes (Claude Max) |
Perplexity AI | No disponible | $20 / mes (Perplexity Pro) | No disponible |
xAI (Grok) | $10 / mes (SuperGrok Lite) | $30 / mes (SuperGrok) | $300 / mes (SuperGrok Heavy) |
Pie: tabla con los precios de las suscripciones a servicios de IA Generativa. Además, para usos empresariales intensivos, se tiene que pagar por consumo de tokens directamente.
Un modelo de negocio en el que los tokens son el petróleo de la IA generativa
El modelo de negocio que se está construyendo alrededor de la IA Generativa en Estados Unidos, especialmente desde empresas como Open AI y Anthropic, con el permiso de Google o SpaceX entre otras, se sustenta sobre la generación de tokens en los centros de datos. Los tokens son las unidades funcionales básicas de la IA generativa. Los prompts se descomponen en tokens y las inferencias se construyen a partir de ellos.
Dentro de la “caja negra” de la IA Generativa, los tokens se procesan a través de los diferentes componentes de los modelos de IA, esencialmente a través de operaciones matemáticas que involucran multiplicaciones y sumas de vectores y matrices con decenas de miles de dimensiones. Los LLMs comerciales, involucran centenares de miles de millones de parámetros, lo cual hace que los cálculos necesarios para completar inferencias precisen de centros de datos enormes para poder llevarse a cabo con suficiente rapidez.
En cierto modo, los tokens son el petróleo de las inferencias de IA Generativa, y los centros de datos, serían los pozos de este particular petróleo “digital”. El problema con estos “pozos de tokens” estriba en que el precio del “barril de tokens” estaría en torno a los 500 dólares, frente a los 60 – 80 dólares que cuesta el barril de petróleo industrial.
Este alto precio es el que hace que los proveedores de IA Generativa pierdan dinero con sus licencias comerciales, especialmente las de 100$ o 200$ (estas últimas están desapareciendo, de hecho, para los modelos más avanzados de Open AI y Anthropic). Se calcula que un usuario que paga 200$ al mes, cuesta a Open AI o Anthropic unos 8.000$.
Si se paga por uso a través de las APIs de acceso, son las empresas las que tienen que pagar la factura. Y esta factura es tan elevada que, salvo excepciones, no resulta económicamente rentable usar la IA Generativa. Resumiendo: el precio del “barril de tokens” es tan alto que hace que usar la IA Generativa sea tan caro como usar coches con la gasolina a 5 euros el litro.
Nuestros ordenadores pueden ser nuestros propios "pozos de tokens"
La tendencia que está ganando en adeptos es la de usar modelos de IA Generativa localmente en nuestros propios equipos. De este modo, los tokens serán calculados en nuestro propio hardware sin tener que contratar licencias o pagar por uso a compañías como Open AI, Anthropic, Google o Meta.
En general, las IAs generativas de pago dependen de empresas estadounidenses, aunque también se pueden usar IAs generativas de pago de otros países, especialmente China, con el permiso de Mistral, que es una compañía francesa. De todos modos, los precios por uso de los modelos de IA generativa chinos son significativamente inferiores a los precios de las empresas estadounidenses.
El secreto que se esconde tras el uso de modelos de IA Generativa local es el número de parámetros de los LLMs. Si bien los LLMs “completos” como Gemini de Google, ChatGPT de Open AI o Claude de Anthropic vienen con miles de millones de parámetros o incluso billones de ellos, los modelos que podemos descargar en nuestros propios ordenadores vienen con decenas de miles de millones. Por ejemplo, uno de los modelos “estrella” que podemos descargar localmente (en el edge) es Qwen 3.8 27B, con 27 billones (americanos) de parámetros, que son 27.000 millones de parámetros en magnitudes europeas.
Con este número de parámetros “reducido”, ya no necesitamos un centro de datos para usar este tipo de modelos. A mayor número de parámetros, mayor tamaño del fichero del modelo propiamente dicho, con decenas o centenares de GB. Para ejecutar estos modelos, se necesita que todo el modelo esté cargado en memoria. De ahí que los centros de datos necesiten cantidades de RAM tan elevadas.
Para un modelo como Qwen 3.8 27B, con un tamaño de unos 17 GB, un equipo con una cantidad de memoria elevada puede cargarlo y generar inferencias simples. El contexto también precisa de RAM, por lo que hay que tener en cuenta también este apartado.
Y sin compartir datos sensibles con terceros
Otra de las ventajas de usar modelos de IA Generativa localmente, está relacionada con la privacidad y la seguridad. Al no tener que compartir datos, documentos o información en general con empresas de terceros, tenemos la seguridad de que no habrá problemas de privacidad o de robos de información.
Nuestros datos se quedarán en nuestros equipos y nuestra red local, sin necesidad tan siquiera de tener acceso a Internet mientras generamos nuestras inferencias a partir de modelos de IA Generativa que ejecutemos localmente.
Otras ventajas asociadas a este tipo de uso de la IA pasan por disponer de modelos estables y sin cambios. Si desplegamos agentes de IA usando modelos de terceros, si las empresas proveedoras de los modelos hacen modificaciones, las inferencias generadas a partir de nuestra red de agentes puede cambiar de formas impredecibles.
Si mantenemos los LLMs en nuestros equipos, tendremos la seguridad de que no cambiarán y podremos crear aplicaciones robustas y, dentro de que es la IA Generativa, suficientemente predecibles.
Qué tipo de ordenador necesitamos
Al realizarse lo cálculos de las inferencias en las GPUs, los modelos tienen que cargarse en la memoria de vídeo, sea la propia VRAM de una GPU dedicada o la memoria unificada de las GPUs integradas de reciente generación.
Las GPUs dedicadas tienen como máximo 32 GB de VRAM en los modelos más potentes de NVIDIA, las GeForce RTX 5090. Si combinamos varias GPUs, la cantidad de memoria aumenta proporcionalmente. La RAM del sistema también permite “cargar” los modelos de IA, aunque el procesamiento es más lento, especialmente si no es una memoria que pueda direccionarse por la propia GPU, teniendo que pasar por la CPU.
A la vista de estos condicionantes, los equipos que están ganando más adeptos para el procesamiento local de IA generativa son los que vienen con una iGPU “potente” y la tecnología adecuada para direccionar la memoria RAM como memoria VRAM directamente.
NVIDIA fue la primera que propuso este tipo de equipos con los Mini PCs, DGX Spark, equipados con CPU ARM, más GPU integrada Blackwell con un generoso número de CUs, más una cantidad de memoria RAM unificada de hasta 128 GB. La arquitectura era la GB10 superchip, permitiendo la conexión de varias unidades para aumentar el rendimiento conjunto.
El “problema” con DGX Spark estriba en su compatibilidad con Linux únicamente, lo cual hace que sea una solución apta únicamente para empresas y profesionales que quieran tener un dispositivo específicamente dedicado a la generación de inferencias o al entrenamiento de pequeños modelos.
NVIDIA, con DGX Spark, ofrece una solución “llave en mano” prácticamente, pero con un ámbito de uso restringido.
AMD abre la puerta a la IA Generativa local sobre Windows y NVIDIA también
AMD, cuando presentó su plataforma Strix Halo, con una iGPU Radeon 8060s con 40 CUs y 2.560 procesadores stream, parecía enfocada más en los equipos gaming que en la IA Generativa. Pero, con la llegada de herramientas para Windows como Ollama o LM Studio, pronto se vio que era posible sacar muy buen rendimiento de Strix Halo en escenarios de IA Generativa local.
Con una cantidad de memoria unificada de 128 GB, dedicando el máximo posible a la memoria de vídeo, con módulos LPDDR5X veloces, es posible usar modelos de IA Generativa localmente con más de 100.000 millones de parámetros, que no es poco. O usar modelos más modestos, con ventanas de contexto más grandes.
Sea como fuere Strix Halo empezó a ser una plataforma óptima para la IA Generativa en el edge. Recientemente, además, AMD presentó el refresco de Strix Halo, Gorgon Halo, con hasta 192 GB de memoria unificada, extendiendo aún más las capacidades de la plataforma para aplicaciones de IA Generativa.
NVIDIA, por su parte, presentó también recientemente RTX Spark, una variante de DGX Spark adaptada para portátiles y Mini PCs con sistema operativo Windows. De momento, la cantidad máxima de memoria unificada que permite es 128 GB.
En cuanto a Intel, de momento no cuenta con una plataforma equivalente, que permita direccionar cantidades de memoria unificada tan elevadas como AMD o NVIDIA en sus procesadores Panther Lake. Otro tanto de lo mismo sucede con Qualcomm y sus procesadores Snapdragon.
Lenovo se sube al carro de la IA Generativa local
Una de las empresas que está llevando la tecnología necesaria para ejecutar modelos de IA Generativa localmente, es Lenovo. Además, de contar con la estación de trabajo ThinkStation PGX, basada en la plataforma DG Spark de NVIDIA, también acaba de anunciar el ThinkCentre X Ultra, con procesador AMD Ryzen AI Max+ 495 (Gorgon Halo), con hasta 128 GB de memoria unificada.
La Lenovo ThinkStation PGX es una estación de trabajo en formato Mini PC que funciona sobre Linux, como habíamos comentado en la introducción. Es un producto pensado sobre todo para usos como estación de trabajo dedicada.
El ThinkCentre X Ultra, por su parte, sin dejar de ser un producto profesional, está orientado a una audiencia más general al funcionar sobre Windows, con todo lo que ello supone en cuanto a uso de aplicaciones. Además, el precio del ThinkCentre X Ultra está por debajo del del ThinkStation PGX.
Por otro lado, Lenovo anunció en la pasada feria IFA sus propuestas basadas en la plataforma NVIDIA RTX Spark. Concretamente, los modelos Yoga Pro 9n de 15 pulgadas y Yoga 9n de 16 pulgadas, que además es un equipo 2 en 1.
Son portátiles de gama alta, equipados con la tecnología de NVIDIA RTX Spark, con CPU ARM, por lo que usará la versión de Windows 11 sobre ARM, con el emulador PRISM para ejecutar aplicaciones x86 que no hayan sido portadas a ARM, como sucede con los procesadores Snapdragon X de Qualcomm.
Además de estas propuestas, tenemos los equipos gaming de la familia Legion, con GPUs NVIDIA GeForce RTX 5080 y RTX 5090 sobre todo, aunque la RTX 5070 Ti también puede dar juego para usos más modestos con modelos de IA “pequeños”.
Los equipos gaming han sido, tradicionalmente, el punto de unión entre tecnologías emergentes como CUDA primero, la realidad virtual después o la IA Generativa ahora, y los usuarios “de a pie”. Investigadores, entusiastas, profesionales liberales o en general personas que no tienen el dinero suficiente para acceder a estaciones de trabajo o equipos de gamas profesionales, han optado por los equipos gaming para tener acceso al hardware más potente de cada época.
En el caso de la IA Generativa, las GPUs gaming de NVIDIA permiten mover modelos de IA con solvencia, especialmente si se combinan con cantidades de memoria RAM generosas, como 64 GB. Es cierto que la memoria que más cuenta de cara a mover modelos de IA es la de vídeo, por lo que GPUs como las RTX 5090, con 24 GB de VRAM permitirán mover modelos razonablemente grandes a una buena velocidad (medida en tokens/segundo).
Lenovo ThinkPad T14s Gen6 AMD, la propuesta más equilibrada para IA en el edge
Además de las propuestas más específicas para IA Generativa en el edge, como las que hemos mencionado antes, Lenovo también cuenta con propuestas más equilibradas con formato de portátil delgado y ligero, como el ThinkPad T14s Gen6.
Se trata de un portátil de 14'' construido con materiales técnicos y robustos como el aluminio, la fibra de carbono y el magnesio, con pantalla de 14'' WUXGA táctil con 500 nits de brillo y 100% de cobertura del espacio de color sRGB. Tiene un peso de 1,30 Kg para un grosor de 1,69 cm, exhibiendo una portabilidad excepcional y compatibilidad con la certificación militar MIL-STD 810H.
El procesador es un AMD Ryzen AI 7 PRO 350 de la familia Krakan Point con 8 cores Zen 5 (concretamente, 4 cores Zen 5 y 4 cores Zen 5c) y 16 hilos de ejecución. Y viene con nada menos que 64 GB de memoria RAM LPDDR55-8533 de muy alta velocidad. Es una configuración óptima para usar modelos en el edge de IA con un número de parámetros elevado, juntamente con una GPU integrada Radeon 860M con 8 CUs y arquitectura RDNA3.5.
Además, cuenta con una NPU XDNA 2 con hasta 50 TOPS de rendimiento, por lo que también es compatible con la certificación Copilot+ de Microsoft.
El almacenamiento está a cargo de una unidad NVME PCIe Gen4 x4 con 1 TB de capacidad, adecuada para trabajar con modelos de IA en el edge más que razonablemente grandes.
Para conocer con precisión qué modelos de IA en el edge se adaptan mejor a este equipo, es posible usar herramientas como llmfit, capaces de evaluar el rendimiento de diferentes modelos abiertos sobre nuestro hardware concreto.
Volviendo al Lenovo ThinkPad T14s, encontramos una excelente conectividad, con 2 USB-C compatibles con Thunderbolt 4, 2 USB-A a 5 Gbps, un HDMI 2.1, jack combo de audio y ranura opcional para Nano SIM., También hay disponibles como opción Dock Stations con puertos adicionales, incluyendo RJ45 (Ethernet). La conectividad inalámbrica contempla Wi-Fi 7 y Bluetooth 5.4.
La autonomía es prolongada gracias a la eficiencia del procesado, la gestión energética del sistema y la batería de 58 Whr.
En conjunto estamos ante un PC "todoterreno" para el trabajo con IA, ya sea a través de los modelos frontera (ChatGPT, Claude, Grok o Gemini entre otros) como de los modelos de IA en el edge, a través de aplicaciones como Ollama o LM Studio junto con los modelos que descarguemos localmente en el Lenovo ThinkPad T14s Gen6 AMD.
Un portátil con el ADN ThinkPad, incluyendo un excelente teclado, junto con touchpad y trackpoint, más la robustez y fiabilidad habitual en esta gama de portátiles.
