NVIDIA ha presentado hoy en el contexto de la feria Computex diferentes propuestas y tecnologías centradas en llevar la IA generativa a los usuarios de equipos con tecnología NVIDIA GeForce RTX, tanto en portátiles como en equipos de sobremesa, así como herramientas de desarrollo para optimizar el uso de modelos de IA sobre la tecnología de NVIDIA.
NVIDIA se ha convertido en la compañía de IA por antonomasia. Sin prisa, pero sin pausa, ha ido acercando la tecnología de IA a los consumidores, tras copar el mercado de los centros de datos y servidores con sus soluciones profesionales. Así, hoy NVIDIA ha anunciado su nueva tecnología NVIDIA RTX para mover tanto a asistentes de IA como a humanos digitales en los nuevos GeForce RTX AI laptops.
Project G-Assist es una demostración tecnológica que funciona sobre gráficas RTX, que ofrece ayuda contextual en juegos de PC y apps. Esta demo ha debutado de la mano de ARK:Survival Ascended, del Estudio Wildcard. También ha presentado los primeros microservicios para inferencia NVIDIA NIM (NVIDIA Inference Manager) para la plataforma de humanos digitales NVIDIA ACE.
Estas tecnologías son posibles gracias al NVIDIA RTX AI Toolkit, una suite de herramientas y SDKs que ayudan a los desarrolladores a optimizar y desplegar grandes modelos de IA generativa en PCs Windows.
Además, se han anunciado RTX AI PC laptops de ASUS y MSI con GPUs hasta la RTX 4070 y SoC eficientes con funcionalidades Windows 11 AI PC. Estos equipos recibirán una actualización gratuita a las experiencias Copilot+ PC cuando esté disponible.
La era de los AI PCs comenzó en 2018, con la llegada de las GPUs RTX Tensor Core y la tecnología DLSS. Ahora, con Project G-Assist y NVIDIA ACE, se abren nuevas posibilidades en experiencias de IA para más de 100 millones de usuarios de RTX AI PCs.
Project G-Assist, un asistente de IA basado en tecnología NVIDIA GeForce
Los asistentes de IA llevan camino de transformar las experiencias en gaming y en el uso de apps, y Project G-Assist es un avance de lo que vendrá en el futuro. Project G-Assist usa la voz o texto como método de entrada, al tiempo que añade información contextual a partir de la pantalla del juego. Con toda esa información, se generan respuestas a medida, tanto en forma de voz como de texto.
NVIDIA se ha aliado con el Wildcard Estudio para desarrollar la demo tecnológica en ARK: Survivla Ascended. Project G-Assist puede responder preguntas sobre criaturas, objetos u objetivos, entre otras. Además, Project G-Assist puede configurar el juego para que el rendimiento sea óptimo, modificando los ajustes gráficos, aplicando overclocking o reduciendo el consumo de energía sin perjudicar el rendimiento deseado.
Llega el primer ACE PC NIM
La tecnología NVIDIA ACE para mover humanos digitales (digital humans), está llegando a los AI PCs con RTX y a estaciones de trabajo con NVIDIA NIM (NVIDIA Inference Microservices que hacen posible a los desarrolladores reducir el tiempo de despliegue de semanas a minutos).
ACE NIMs ofrecen inferencias de gran calidad, corriendo localmente en los dispositivos, con capacidad para entender el lenguaje, generar voz o realizar animaciones faciales, entre otras habilidades.
El debut de NVIIDA ACE NIM en el PC vendrán en la demos Covert Protocol tech demo, en colaboración con Inworld AI. De momento, muestra las funcionalidades NVIDIA Audio2Face y NVIDIA Riva para reconocimiento automático de voz, corriendo localmente en los dispositivos.
El Runtime de Windows Copilot añade aceleración de GPU en los modelos SLM que se ejecutan localmente en los PCs
Microsoft y NVIDIA están colaborando para ayudar a los desarrolladores a llevar nuevas funcionalidades de IA generativa a las aplicaciones nativas de Windows y a las web apps. Así, los programadores tendrán acceso a sencillas APIs que permitan a los Small Language Models (SLMs), usar la tecnología de las GPUs para acelerar las inferencias e integrar habilidades RAG (retrieval-augmented generation), en equipos con Windows Copilot Runtima.
RAG permite afinar las inferencias a partir de datos locales o datos específicos definidos por los usuarios, tal y como ya hace ahora Chat with RTX.
Modelos 4x más veloces y 3x más pequeños con el RTX AI Toolkit
El ecosistema de IA ya cuenta con miles de modelos open-source, pero la mayoría han sido entrenados para tareas de propósito general y pensados para ejecutarse en centros de datos.
Para llevar estos modelos a los PCs, NVIDIA ha presentado el RTX AI Toolkit, una suite de herramientas y SDKs para tunear los modelos y optimizarlos y desplegarlos en los RTX AI Pcs. Este toolkit estará disponible en junio.
Los desarrolladores pueden personalizar un modelo previamente entrenado con herramientas QLoRa open-source. Después, pueden usar el optimizador de modelos NVIDIA TensorRT de modo que ocupen hasta tres veces menos RAM y funcionen a hasta 4 veces más velocidad que en el caso del modelo pre-entrenado.
El SDK NVIDIA AI Inference Manager está disponible en una versión previa, simplificando el despliegue de ACE en los PCs. Preconfigura el PC con los modelos de IA y dependencias, orquestando las inferencias de un modo transparente entre el PC y la nube.
Partners de software como Adobe, Blackmagic Design o Topaz están integrando componentes del RTX AI Toolkit en sus apps para acelerar el rendimiento de IA en el PC.
IA para creación de contenidos
NVIDIA está integrando la aceleración RTX AI en apps para creadores, modders y entusiastas de vídeo. El pasado año, NVIDIA introdujo aceleración RTX usando TensorRT para una de las interfaces más populares de Stable Diffusion, Automatic1111. Esta semana, RTX acelerará ComfyUI, con hasta un 60% de mejora en rendimiento y 7x mejor que el MacBook Pro M3 Max.
NVIDIA RTX Remix es la plataforma para modding de juegos, con tecnologías de remasterizado de juegos clásicos DirectX8 y DirectX 9 con trazado de rayos, NVIDIA DLSS 3.5 y mejoras en la física de los materiales.
RTX Remix Runtime es open-source y ha sido usado por 20.000 modders, con más de 130 remasterizados en desarrollo en el Discord de RTX Remix Showcase. Ahora, NVIDIA ha hecho que RTX Remix Toolkit sea también open-source. Y está haciendo que las funcionalidades de RTX Remix Toolkit sean accesibles mediante una REST API, permitiendo la integración con herramientas como Blender, Hammer o ComfyUI.
NVIDIA RTX Video es una funcionalidad para escalado de vídeo compatible con Google Chrome, Microsoft Edge y Mozilla Firefoz. Ahora está disponible como SDK para todos los desarrolladores. En poco tiempo, DaVinci Resolve de Blackmagic Design y Wodershare Filmora vendrán con RTX Video para escalar contenidos de baja resolución a 4K y para convertir SDR en HDR.
Además, VLC media player añadirá pronto RTX Video HDR a la funcionalidad de superresolución existente.
