La Inteligencia Artificial es el Santo Grial de la tecnología en estos últimos tiempos. Todas las empresas quieren tener su trozo de pastel en este campo, tanto en el ámbito de las soluciones empresariales, como en el del mercado de consumo. El AI PC promovido por Intel, Qualcomm, Microsoft o AMD se centra en el rendimiento de IA de los procesadores, pero NVIDIA, de un modo paralelo, está introduciendo su Premium AI como alternativa a lo que la propia NVIDIA denomina Basic AI, refiriéndose al rendimiento de las NPU.
Para NVIDIA, son las GPUs dedicadas las que tienen la capacidad de mover cargas de IA con solvencia en los dispositivos PC, sin necesidad de recurrir a la nube para procesar modelos de IA como los LLM de la IA generativa o los modelos de difusión que generan imágenes (como Stable Diffusion).
Pie: La tecnología RAG permite generar inferencias a partir de los contenidos que encuentra en los documentos que hayamos cargado en un directorio que tendremos que definir en el campo correspondiente de la interfaz de ChatRTX.
ChatRTX, el campo de pruebas de NVIDIA para su idea de AI PC
ChatRTX es la propuesta de NVIDIA para ejemplificar cómo sus tarjetas gráficas permiten mover cargas de IA con agilidad y soltura, especialmente cuando se emplean datasets propios como fuente de documentos para generar inferencias usando la tecnología RAG. De momento, ChatRTX es compatible con documentos de tipo PDF, txt, doc o docx, aunque no descartamos que pronto venga con compatibilidad con otros formatos como los de hojas de cálculo.
ChatRTX, en su nueva versión, es compatible con más modelos de IA, adaptados para su uso local. Es decir, con un número de parámetros menor que el de los modelos de IA que se emplean en los chatbots de IA que se ejecutan en la nube.
NVIDIA tiene una posición privilegiada en el momento actual, ya que es la principal proveedora de hardware para entrenar modelos de IA y para generar inferencias en centros de datos cloud, con sus gráficas H100 y H200. Con todo, NVIDIA no parece que quiera quedarse fuera del segmento de consumo.
La usabilidad de ChatRTX es aún limitada, pero sí que permite disfrutar de una experiencia de IA en nuestros propios equipos bastante fluida, siempre y cuando tengamos una GPU NVIDIA con RTX 30 o RTX 40 con al menos 8 GB de VRAM y 16 GB de RAM. Lo ideal, sin embargo, es tener 12 GB o 16 GB de VRAM, para poder usar todos los modelos que vienen con el instalador. Es posible “engañar” al instalador para que use todos los modelos incluso con menos VRAM, cambiando una opción en los archivos de configuración, aunque el rendimiento se resentirá y podemos tener errores de memoria durante el funcionamiento.
Pie: Algunas inferencias son claramente “creativas”. Si preguntamos por información sobre la que los modelos no tienen datos de entrenamiento actualizados, nos encontramos con respuestas que rozan la alucinación.
De todos los modelos, CLIP, el que procesa imágenes, es el que encontramos menos acabado. Las inferencias resultantes de nuestras peticiones no han sido especialmente precisas. Con todo, es un primer paso en el procesamiento de imágenes. En próximas versiones sería más interesante que se permitiese la generación de imágenes, eso sí.
El resto de los modelos funcionan de un modo estándar como chatbots cuando no usamos nuestros propios documentos. Si definimos una carpeta como repositorio de información, entra en juego la tecnología RAG y las inferencias estarán asociadas al contenido de dichos documentos. Aquí dependemos de qué documentos empleemos como fuente para la generación de inferencias para conseguir resultados más o menos aparentes y útiles-
En próximas versiones, sería bueno que ChatRTX integrase algunas mejoras, como la posibilidad de guardar un histórico de nuestros prompts. O la selección del idioma para las respuestas. También hemos hablado de la integración de la generación de imágenes como parte de su repertorio de habilidades.
Con todo, ChatRTX, para quienes quieran estar al día en cuanto a la evolución de la IA en el PC, es una instalación muy recomendable. En los próximos meses asistiremos al despegue de los AI PC, y NVIDIA parece que no quiere quedarse en un segundo plano. Todo apunta a que tendremos un escenario parecido al del gaming, donde las iGPUs intentan ofrecer rendimientos decentes en juegos, frente al rendimiento de las GPUs dedicadas. Aquí tendremos el rendimiento de las NPUs integradas en los procesadores, frente al rendimiento de las GPUs dedicadas. De NVIDIA, eso sí, ya que AMD no parece que esté promoviendo el procesamiento de IA en sus GPUs AMD Radeon.
GPT4All, otra propuesta que se puede explorar
Otra propuesta que está disponible para explorar las posibilidades de la ejecución de modelos de IA en el propio PC, sin recurrir a la nube, es GPT4All, que además tiene la ventaja de no necesitar de una GPU para su funcionamiento. El rendimiento se resentirá, eso sí.
Pie:GPT4All es otra propuesta para explorar las posibilidades de la IA procesada en nuestro PC.
Tenemos diferentes modelos para elegir, que habrá que descargar e instalar. No es un proceso tan automatizado como el de ChatRTX, eso sí. La ventaja de ChatRTX es precisamente esa: la facilidad de instalación para todo tipo de usuarios, ya sean experimentados con tecnología o no.
Cuando hayamos explorado en profundidad sus posibilidades veremos si es interesante dedicar un artículo a esta propuesta para la ejecución de modelos de IA localmente, dependiendo también del rendimiento que se consiga en equipos que no tengan una GPU dedicada.
