NVIDIA ha introducido una nueva herramienta / tecnología llamada "Chat with RTX", a modo de alternativa para los chatbots de IA que funcionan con tecnología cloud. Este chatbot funciona con las gráficas GeForce RTX 30/40 aprovechando la compatibilidad con el software TensorRT-LLM & Retrieval Augmented Generated (RAG), compatible con las GPUs RTX y acelerado por los cores Tensor.
.jpg)
Chat with RTX permite a los usuarios de estas GPUs aprovechar la potencia de sus tarjetas gráficas para ejecutar tareas de IA. Hemos visto a la IA acelerar aplicaciones de imagen y vídeo, pero los chatbots se habían quedado anclados en la nube.
Los usuarios pueden descargar versiones ligeras de algunos modelos de IA, algunos de los cuales pueden descargarse gratuitamente, aunque puede resultar algo farragoso para usuarios poco duchos en esto del "cacharreo". NVIDIA parece haber hecho fácil lo difícil con una app que se ejecuta localmente y a la que se accede a través del navegador.
.jpg)
Chat with RTX es más que un parseador de texto y es compatible con diferentes formatos de archivos, como texto, pdf, doc/docx y xml. Emplea modelos de IA como Mistral o Llama2 para generar respuestas y puede acceder a recursos online, tales como vídeos de YouTube.
La GPU empleada tiene que tener un mínimo de 8 GB de VRAM, excluyendo a las RTX 3050 6GB de la lista de gráficas compatibles.
Puedes seguir este enlace para estar al tanto de las opciones de descarga e instalación.
