Estamos a las puertas de la irrupción de los AI PCs en general, y los AI Laptop PCs en particular. Es un fenómeno que viene avalado por Intel, AMD o Qualcomm, que no han escatimado esfuerzos para integrar aceleración de procesamiento de cargas de IA mediante hardware en sus procesadores, en forma de las NPUs o Neural Processing Units, por sus siglas en inglés.
Pie: ChatRTX es la versión renovada de Chat with RTX, que se presentó hace pocos meses.
Intel con los Meteor Lake primero y los Lunar Lake dentro de poco, así como AMD con los Hawk Point ahora y los Strix Point en pocas semanas, así como Qualcomm en pocas semanas también con los Snapdragon X, o Apple con los Apple Silicon, ya vienen con aceleración de IA, aunque las generaciones que están a punto de llegar, multiplicarán por 2 o por 3 el rendimientos de las NPUs actuales.
NVIDIA, a su ritmo
NVIDIA no es ajena a este movimiento por parte de los principales fabricantes de procesadores y gráficos integrados. Pero cuenta con la ventaja de ser una de las empresas que proveen de la tecnología necesaria para entrenar los modelos de IA que están detrás de ChatGPT o Copilot, por ejemplo. Hablamos de LLMs como GPT de OpenAI, o Llama de Meta.
Sin embargo, en los últimos meses, NVIDIA también está moviendo ficha en el ámbito de los AI PCs, aunque a su ritmo, para no variar. Los AI PCs son equipos que no dependen de la nube para usar modelos de IA. La ventaja de la nube radicaba, hasta ahora, en que era en los centros de datos donde encontrábamos tecnologías de procesamiento optimizadas para cargas de IA. En una CPU convencional, el procesamiento de cargas de IA es muy lento, del mismo modo que sucede con la aceleración de juegos, que precisan de una GPU para tener rendimientos jugables.
Las NPUs son el equivalente de las GPUs integradas en los procesadores, pero aplicado al procesamiento de cargas de IA. La tecnología que permite acelerar cargas de IA, sin embargo, no difiere mucho de la que acelera el procesamiento de gráficos en juegos. Las aceleradoras H100 y H200 (Hopper) de NVIDIA, sin ir más lejos, son primas hermanas de las GeForce RTX, aunque con configuraciones de memoria y conectividad muchos órdenes de magnitud mayores, con precios de decenas de miles de dólares.
Pie: NVIDIA tiene en las GPUs Hopper su propuesta para el procesamiento de IA en entornos profesionales y centros de datos. Cada gráfica cuesta decenas de miles de dólares, y son responsables del crecimiento de la compañía en los últimos meses, así como de posibles modificaciones en el roadmap para GPUs gaming, como la presentación de la RTX 5080 antes de la RTX 5090.
Ahora, NVIDIA empieza a poner en valor el elevado rendimiento de sus tarjetas gráficas NVIDIA GeForce RTX 30 y RTX 40, con tecnología de Tensor Cores compatible con la aceleración de IA, para posicionarse como líder de rendimiento en procesamiento de IA frente a las NPUs integradas en los procesadores de Intel, AMD, Apple o Qualcomm.
ChatRTX, el chatbot para PCs de NVIDIA
En los AI PCs, el chatbot que será mayoritariamente usado para implementar la tecnología de IA en los equipos portátiles y de sobremesa con sistema operativo Windows, es Copilot de Microsoft, con tecnología de IA de OpenAI: ChatGPT. Eso, si no hay cambios de planes de por medio, claro está.
Pero ello no es impedimento para que podamos instalar otros Chatbots de terceras partes, siempre y cuando nuestro hardware de aceleración de IA esté contemplado por el chatbot en cuestión. Con Copilot, la integración con el hardware de Intel, AMD o Qualcomm, salvo sorpresas, está asegurada.
En el caso de otras propuestas, como este ChatRTX de NVIDIA, se necesita disponer de una GPU NVIDIA RTX 30 o RTX 40 con, al menos 8 GB de VRAM, para que la instalación llegue a buen puerto. Ni la presencia de una NPU integrada en el procesador nos garantiza que podamos usar un chatbot, si no está programado para hacer uso de las tecnologías de procesamiento de IA que tengamos en nuestro equipo concreto.
Pie: Los requisitos mínimos para la instalación de ChatRTX son bastante exigentes en lo que concierne a la GPU.
En este artículo nos centraremos en ver cómo ha evolucionado ChatRTX desde la primera versión, empezando por el nombre, que era Chat with RTX en un principio, para pasar a ser ahora ChatRTX.
Otro cambio importante es el de la compatibilidad con nuevos modelos de IA, incluyendo a CLIP, para el reconocimiento y clasificación de imágenes. ChatGLM 3 6B y Mistral 7B son los modelos para el chatbot propiamente dicho. En realidad, ChatRTX viene, en esta nueva versión, con otros dos modelos más: Llama y Mistral, pero, cuando la GPU tiene menos de 16 GB de VRAM, como es nuestro caso (RTX 4080 Laptop), con 12 GB, estos modelos no aparecen como instalables.
Editando un archivo de configuración para cambiar los requisitos de memoria de 16 a 12, podremos instalar también estos modelos (Llama2 13B int4 de Meta y Gemma 7B int4 de Google.
La tecnología de ChatRTX
La tecnología que usa ChatRTX es la RAG (TensorRT-LLM RAG), o generación aumentada por recuperación (retrieval augmented generation). En la generación de inferencias, RAG permite usar el contenido previamente indexado de documentos y archivos que haya proporcionado el usuario a partir de sus contenidos propios o de los que haya seleccionado como su repositorio de conocimiento particular.
De este modo, es posible ceñir las inferencias generadas por el modelo de IA que estemos usando, al ámbito de los documentos y archivos que los usuarios hayan creado o verificado por ellos mismos.
Es una forma de personalizar a los LLMs estándar de empresas como Google o Meta, que ChatRTX incluye como parte de su instalación, siempre y cuando nuestro equipo cumpla con los requisitos de hardware impuestos por los modelos propiamente dichos. Cuando más grandes sean los modelos, más recursos de memoria y Cores Tensor necesitará la GPU para procesarlos.
Pie: ChatRTX se basa en software de código abierto disponible en GitHub https://github.com/NVIDIA/trt-llm-rag-windows.
Un instalador y desinstalador para todos los públicos
Si hay un aspecto que diferencia a ChatRTX de otros chatbots y herramientas de IA como Stable Diffusion, ese es el de la facilidad de instalación. No hay que tener conocimientos técnicos para seguir el asistente que dejará a ChatRTX instalado en nuestro equipo PC.
Otro tanto de lo mismo podemos decir para la desinstalación. Todo funciona como si estuviésemos ante una aplicación convencional de Windows. La única diferencia apreciable la encontramos en que la ejecución de ChatRTX se realiza desde un navegador web.
En la siguiente sección haremos un recorrido por ChatRTX desde una perspectiva práctica usando un portátil con una GPU NVIDIA GeForce RTX 4080 Laptop con 8 GB de VRAM.
