Ya tenemos instalado ChatGPT con todos sus modelos:
- CLIP
- ChatGLM 3 6B int4 (Supports Chinese)
- Gemma 7B int4
- Llama2 13B int4
- Mistral 7B int4
El número de parámetros que maneja cada modelo viene indicado por la combinación de número y “B”. Así, Llama2 13B int4, implica que tenemos 13.000 millones de parámetros, al ser un billón americano, 1.000 millones europeos.
En el apartado de Dataset, tenemos la opción de usar el conjunto de parámetros por defecto de los modelos, o elegir un directorio donde estarían ubicados los archivos “parseables” por ChatRTX para implementar la metodología de creación de inferencias RAG.
En esta versión, NVIDIA contempla .txt, .pdf., .doc o .docx. para los modelos de IA generativa, mientras que para el modelo CLIP, que clasifica y parsea imágenes, tenemos la compatibilidad con formatos .jpeg, .png y .bmp.
Para los prompts, tenemos tanto la posibilidad de usar texto (en español si queremos), como voz.
Pie: En esta nueva versión de ChatRTX tenemos más modelos donde elegir.
Cada modelo genera inferencias diferentes
No estamos inventando la rueda si decimos que, cada modelo, genera inferencias diferentes a partir de un mismo prompt. Por ejemplo, nosotros hemos usando como prompt para todos los modelos lo siguiente: “haz una tabla con los países ganadores de un mundial y el año en el que ganaron“.
La inferencia más elaborada fue la de Gemma, de Google, agrupando los diferentes años en los que ganaron algunos países en la misma fila de la tabla. Porque sí, con ChatRTX podemos crear tablas en las inferencias. Otra cosa es cómo las podamos manejar. Es de esperar que futuras versiones vengan con compatibilidad con archivos .xls de Excel, por ejemplo.
En el “AI model default”, los datos empleados para las inferencias no son actuales. Es más, a veces las inferencias son, sencillamente, una fantasía, como cuando preguntamos por los Intel Meteor Lake a ChatRTX con el modelo Gemma 7B int4. (“Qué són los Intel Meteor Lake”)
Si usamos el modelo Llama2 13B int4, la respuesta es más honesta, aunque deja entrever que el modelo fue entrenado antes del lanzamiento de esta familia de procesadores Meteor Lake.
Pie: Cada modelo genera inferencias diferentes. Si usamos el modelo de AI por defecto, tenemos una funcionalidad similar a la de ChatGPT en su versión 3, con datos que no estarán al día al finalizar su entrenamiento hace meses.
La respuesta con el modelo Mistral 7B int4 también muestra que Meteor Lake es posterior a la fecha en la que finalizó el entrenamiento del mismo.
El uso de ChatRTX como chatbot generalista es oportuno en algunos casos, pero siempre con la precaución de que las inferencias generadas serán válidas si no dependen de tener información actualizada. Lo que sí es más útil es el uso con documentos propios sobre los que queramos generar inferencias.
Se sigue echando de menos la compatibilidad con archivos Excel, pero con .txt, .pdf, .doc y .docx podremos abordar algunas tareas de automatización sobre nuestros propios repositorios de información. Por ejemplo, podemos pedir a ChatRTX que haga resúmenes de nuestros documentos.
Insistimos en la diferente naturaleza de cada modelo presente en ChatRTX. En algunos casos, incluso, puede que ChatRTX responda en inglés a nuestras peticiones en castellano. Es posible pedir en el prompt que se use el idioma castellano en las respuestas, eso sí. En cualquier caso, tendremos que probar con los diferentes modelos para encontrar el que mejor se adapte a nuestras necesidades.
También genera código y procesa webs
ChatRTX puede generar código en diferentes lenguajes de programación, así como acceder al contenido de web para procesarlo. Si, por ejemplo, usamos como promt “haz un resumen del contenido de https://blogs.nvidia.com/blog/ai-decoded-chatrtx-update/” , nos devolverá un extracto de lo que encuentre en ese dirección de Internet.
Por otro lado, podemos pedir a ChatRTX que genere código en diferentes lenguajes de programación, a modo de ayuda para crear nuestros programas en lenguajes como Python.
De momento, NVIDIA sigue ofreciendo una solución mejorable, pero con mejoras frente a la versión anterior importantes. El uso de la voz para interactuar con ChatRTX es otro punto a favor, aunque es una funcionalidad más relevante para su uso con dispositivos móviles, más que con un ordenador de sobremesa o un portátil.
Es un software interesante, en cualquier caso, especialmente si conseguimos hacer que la tecnología RAG nos ayude a extraer información de nuestros propios documentos. En el caso de empresas que quieran experimentar con las posibilidades de esta tecnología, ChatRTX es un buen punto de partida gratuito para explorar el potencial de la IA como herramienta de automatización en departamentos como los de recursos humanos o los de comunicación.
Pie: La clasificación de imágenes con CLIP es de lo que menos nos ha gustado. Los resultados no siempre responden a las imágenes que tenemos en el directorio donde queremos realizar la clasificación.
La voz como interfaz
La integración de la voz como método de interacción con ChatRTX es otra de las novedades de esta versión. De todos modos, es una funcionalidad más útil en dispositivos móviles que en un PC. Podemos usar varios idiomas para comunicarnos con ChatRTX, aunque de momento, no es algo que nos resulte especialmente llamativo.
Si en algún momento ChatRTX llegase a los móviles, sí que sería más útil, aunque sería muy extraño que esto sucediese, al menos a corto plazo. Ya veremos cómo evoluciona el tema de la IA en los smartphones, algo que también está moviéndose con rapidez, especialmente de la mano de Qualcomm.
En conjunto, ChatRTX en su nueva versión es una mejora importante frente a la versión anterior, pero sin llegar a ser una propuesta que podamos considerar como acabada.
