Hace poco, probamos la primera versión de ChatRTX de NVIDIA. Realmente, lo que probamos fue Chat with RTX, que era la demo de lo que ahora se ha lanzado, ChatRTX, que ya es un producto como tal, aunque en versión demo.
Este asistente de IA funciona localmente, en dispositivos con GPUs NVIDIA GeForce. Es una herramienta que escanea y analiza contenidos en nuestro disco duro, tales como documentos de texto en diferentes formatos como .txt o .pdf.
Ahora, ChatRTX incluye reconocimiento de voz para los prompts, así como para las respuestas. Tenemos también compatibilidad con más modelos de IA, como Mistral 7B INT4 o Llama 2 7B INT4, así como Gemma, el modelo de IA más reciente de Google. También podemos buscar imágenes en directorios locales, gracias al modelo CLIP (Contrastive Language-Image Pre-training), de OpenAI.
El programa de instalación pesa 11 GB, eso sí, mientras que la aplicación, una vez instalada, ocupa 35 GB. Solo funciona con GPUs RTX 30 y RTX 40 con al menos 8 GB de VRAM y 16 GB de memoria del sistema.
