La versión instalada de Chat with RTX es la 0.2. Con esto, te puedes hacer una idea del estado de completitud de esta herramienta. De todos modos, incluso a estas alturas de su desarrollo, encontramos utilidad en esta plataforma de IA local.
Hemos instalado esta versión 0.2 en un equipo Lenovo Legion 9i Gen 9 equipado con una GPU NVIDIA GeForce RTX 4090 con 16 GB de VRAM, junto con un procesador Intel Core i9-14900HX más 64 GB de RAM y 2 TB de SSD NVMe. Todo un señor portátil, en el que Chat with RTX funciona a las mil maravillas.
Pie: La versión que hemos instalado es la más reciente, la 0.2. Como puedes ver, estamos en una fase temprana de desarrollo de Chat with RTX..
La interfaz es muy parca en opciones. En la versión 0.2, además, se ha eliminado la opción para parsear vídeos de YouTube y así poder hacer preguntas a Chat with RTX acerca del contenido de los vídeos. Volviendo a la interfaz, tenemos un apartado dedicado a la selección del modelo de IA. LLaMa 2 13B int4 o Mistral 7B int4. Las inferencias generadas por ambos modelos son parecidas, en general. Recuerda que son modelos entrenados con datos recopilados hasta fechas anteriores a la actual. Por ejemplo, los procesadores que considera más potentes en Intel son los de 11th Gen. en ambos modelos de IA.
En cuanto al Dataset, tenemos dos opciones: “AI model default”, que es la opción correspondiente a los datos empleados a la hora de entrenar los respectivos modelos. Y “Folder Path”, que es la segunda opción disponible, donde podemos definir la ruta de una carpeta en la que tengamos nuestros propios documentos.
Los formatos de archivo compatibles en esta versión 0.2 son .txt, .pdf y .doc. Son pocos formatos de archivo, pero suficientes para hacer que Chat with RTX sea, incluso a estas alturas, una herramienta de gran utilidad.
Pie: La instalación de Chat with RTX lleva un tiempo nada desdeñable: al menos, media hora.
Cuando damos la ruta de una carpeta que contenga archivos compatibles, Chat with RTX los parseará de modo que podamos hacer preguntas sobre ellos. La tecnología en la que se basa este tipo de uso de la IA se denomina “generación aumentada por recuperación (RAG)”.
RAG o generación aumentada por recuperación: el ingrediente secreto de Chat with RTX
NVIDIA ha dedicado una entrada en su blog para explicar qué es Retrieval-Augmented Generation o RAG. En esencia, lo que se consigue con esta tecnología es mejorar la precisión y la fiabilidad de las inferencias generadas por los modelos de IA.
Es decir, se siguen empleando los modelos de inferencia, tales como GPT, LLaMa o Mistral o Gemini, pero se añaden las relaciones encontradas en los documentos elegidos para refinar las inferencias.
Pie: RAG es la tecnología que emplea NVIDIA en Chat with RTX: mejora la precisión y fiabilidad de las inferencias a partir de los documentos que el usuario selecciona como fuente de su particular repositorio de conocimiento.
Cuando damos la ruta con la carpeta en la que tenemos nuestros documentos a Chat with RTX, lo que hacemos, es integrar en el proceso de generación de inferencias, nuestros propios contenidos o los contenidos de los documentos que tengamos en la carpeta seleccionada.
AI Model Default: un Chat GPT “de andar por casa”
Cuando elegimos la opción “AI model default” en el apartado “Dataset”, el funcionamiento de Chat with RTX es, esencialmente, igual al funcionamiento de Chat GPT, aunque el modelo de IA usado será, o bien Mistral, o bien LLaMa.
Podemos preguntar y pedir cualquier pregunta o petición que se nos ocurra. Desde cómo se cuenta en diferentes idiomas, hasta cuánta energía se consume en el mundo, pasando por una lista con países de un continente y sus respectivas capitales. Podemos pedir que nos haga listados con las ciudades más pobladas del mundo ordenadas de mayor a menor población, etcétera.
Pie: Usando el "AI Model Default, Chat with RTX se convierte en un chatbot con un funcionamiento similar a Chat GPT, aunque con LLMs más modestos en cuanto a número de parámetros que maneja.
En algunos casos se nos indica que la información está desactualizada. En otros no. Así que, hay que tener cuidado con las inferencias, aunque, en general, la utilidad es correcta y satisfactoria. Máxime porque no necesitamos conexión con Internet para usar esta IA.
Podemos, sin embargo, hacer peticiones en las que intervienen páginas web. Sin ir más lejos, podemos pedir a Chat with RTX que nos haga un resumen del contenido de una página.
Por defecto, las inferencias las genera en inglés, aunque podemos pedir explícitamente que nos construya la inferencia en castellano. Lo que no puede hacer Chat with RTX, de momento, es crear imágenes. Sí que podemos pedir que haga alguna creación en ASCII art, pero de forma modesta.
Folder Path: organiza y saca partido a tus propias fuentes de conocimiento
Si bien Chat witjh RTX se puede comportar como un Chat GPT, sin más, con las limitaciones propias de los modelos Mistral y LLaMa adaptados para su uso local (son modelos más “pequeños” que los LLMs que se usan en la nube, por decirlo de un modo simplificado), la aplicación más interesante la encontramos cuando “alimentamos” a Chat with RTX con nuestros propios contenidos.
Pie: Cuando elegimos una carpeta con documentos compatibles, para alimentar a Chat with RTX, las inferencias generadas tendrán en cuenta los contenidos de dichos documentos, y podremos hacer preguntas a Chat with RTX sobre las materias que traten dichos archivos .txt, .doc o .PDF.
En nuestro caso, hemos usado dos documentos de Word con artículos sobre MWC y un ordenador portátil, así como un libro en PDF sobre álgebra, otro sobre estadística y probabilidad y otro sobre historia, así como un libro sobre aprendizaje del idioma portugués y “El Principito”.
Para archivos pequeños, el tiempo de parseo es breve. Pero en el caso del libro de historia, con un tamaño notable, el tiempo de parseo se ha prolongado bastantes minutos.
Una vez que Chat with RTX ha finalizado el proceso de exploración de los documentos, podremos solicitar inferencias relativas a las temáticas de los archivos que hayamos dejado en la carpeta elegida en el apartado de Dataset.
Teniendo en cuenta que estamos ante una versión muy inicial de Chat with RTX, hay que decir que funciona notablemente bien. El resultado, es una forma de acceder a la información mucho más cómoda que el uso de los tradicionales índices.
Del buscador, al “encontrador” a través de la automatización
En este modo de funcionamiento, Chat with RTX, esencialmente, lo que hace es automatizar los procesos de búsqueda tradicionales. En el prompt, el usuario proporciona los elementos de búsqueda en forma de pregunta convencional. Chat with RTX identifica los elementos de la pregunta y realiza búsquedas acotando de forma automática los resultados a partir de los elementos contextuales de la pregunta que hemos formulado.
El prompt, de esa manera, se convierte en un agente de automatización para las búsquedas.
Algunas de las “preguntas” que hemos hecho a Chat with RTX, han sido:
- ¿Qué problema tenía el Principito con los baobabs?
- ¿Qué probabilidad hay de que salgan tres 6 seguidos cuando tiramos un dado 10 veces?
- ¿Quién era Cristóbal Colón?
- ¿Qué reyes hubo en España en el siglo XV?
- ¿Qué es el Reino de Asturias?
- ¿Qué tal ha sido esta edición del MWC?
- ¿Cuáles son los pronombres personales en portugués?
- ¿Cuáles han sido las principales tendencias en el MWC?
Pie: En nuestras pruebas, usando libros sobre matemáticas, hemos sido capaces de calcular volúmenes, por ejemplo.
Los resultados varían en precisión, eso sí, pero ten en cuenta que hemos usado fuentes de información bastante desestructuradas. El potencial de esta herramienta se encuentra cuando, sin ir más lejos, redactamos apuntes pensando en un uso posterior con Chat with RTX, tomando notas de modo que sean más fácilmente “explorables”.
Insistimos en que, ahora mismo, ya es posible encontrar escenarios de utilidad para Chat with RTX en escenarios de uso concretos y específicos. No nos gusta hablar de tecnologías que no existen, pero no es difícil pensar en futuras versiones de Chat with RTX en las que haya compatibilidad con más tipos de documentos, como los .xml de Excel. O capaz de trabajar con imágenes.
Y todo ello, desde nuestro propio ordenador, sin necesidad de estar conectados con la nube, ni compartir nuestros datos con servidores en empresas multinacionales.
La IA al servicio del conocimiento
Chat with RTX es una propuesta bien pensada por parte de NVIDIA. Está en la línea de Copilot Pro de Microsoft o Kozuchi de Fujitsu. En ambos casos, se trata de IAs que analizan los contenidos documentales de empresas, especialmente, de modo que los diferentes profesionales encargados de “entender” los procesos de negocio puedan automatizar la búsqueda de información con vistas a encontrar relaciones entre los datos, o generar inferencias que permitan facilitar la toma de decisiones a los encargados de hacerlo.
Chat with RTX, en este primer momento, está pensado para usuarios entusiastas, desarrolladores o early adopters. Es un Chat GPT que se circunscribe a los documentos específicos sobre los que se quieren encontrar inferencias complejas.
En el siguiente apartado, hablaremos de hipotéticas versiones futuras de Chat with RTX, así como de otras IAs que podemos instalar localmente, sin olvidarnos de lo que llegará en unos meses de la mano de Qualcomm y Snapdragon X Elite, donde la IA “local” será una parte importante de la interacción entre los usuarios y sus equipos.
