Noticias3D
Registrarme | Recuperar password
  • Inicio(current)
  • Noticias
    • Últimas noticias
    • MÁs leÍdas
    • MÁs comentadas
    • Envia una noticia
  • Articulos
    • Todos
    • Placas base
    • Tarjetas grÁficas
    • Almacenamiento
    • F.AlimentaciÓn
    • Cajas de ordenador
    • Audio y vÍdeo
    • Gaming
    • PortÁtiles
    • GuÍas y taller
    • Memoria
    • Monitores
  • Tags
  • Drivers
  • Foro
×

Google

LM Studio acelera el rendimiento de LLM con las GPU NVIDIA GeForce RTX y CUDA 12.8

9 de mayo, 2025 |
Noticias3D |
Comentarios: 0 |
Noticias3D.com

Nota de Prensa

LM Studio acelera el rendimiento de LLM con las GPU NVIDIA GeForce RTX y CUDA 12.8

La última versión de la aplicación de escritorio incluye herramientas de desarrollo mejoradas, controles de modelos y mayor rendimiento para GPU RTX.

A medida que los casos de uso de IA continúan expandiéndose —desde resúmenes de documentos hasta agentes de software personalizados—, desarrolladores y entusiastas buscan formas más rápidas y flexibles de ejecutar modelos de lenguaje grandes (LLM).

Ejecutar modelos localmente en PC con GPU NVIDIA GeForce RTX permite inferencias de alto rendimiento, mayor privacidad de datos y control total sobre el despliegue e integración de IA. Herramientas como LM Studio —de prueba gratuita— hacen esto posible, ofreciendo una forma sencilla de explorar y construir con LLM en hardware propio.

LM Studio se ha convertido en una de las herramientas más adoptadas para inferencia local de LLM. Basado en el entorno de ejecución de alto rendimiento llama.cpp, la aplicación permite ejecutar modelos completamente offline y también funciona como puntos finales de API compatibles con OpenAI para integrarlos en flujos de trabajo personalizados.

El lanzamiento de LM Studio 0.3.15 trae mejoras de rendimiento para GPU RTX gracias a CUDA 12.8, reduciendo significativamente los tiempos de carga y respuesta de los modelos. La actualización también incluye nuevas funciones para desarrolladores, como el uso mejorado de herramientas mediante el parámetro "tool_choice" y un editor de prompts del sistema rediseñado.

Estas mejoras optimizan el rendimiento y la usabilidad de LM Studio —ofreciendo el mayor rendimiento hasta ahora en PCs con IA RTX. Esto se traduce en respuestas más rápidas, interacciones ágiles y mejores herramientas para construir e integrar IA localmente.

Donde las aplicaciones cotidianas se encuentran con la aceleración de IA

LM Studio está diseñado para la flexibilidad —ideal tanto para experimentación casual como para integración total en flujos de trabajo personalizados. Los usuarios pueden interactuar con modelos mediante una interfaz de chat de escritorio o activar el modo desarrollador para exponer puntos finales de API compatibles con OpenAI. Esto facilita la conexión de LLMs locales con flujos de trabajo en aplicaciones como VS Code o agentes de escritorio personalizados.

Por ejemplo, LM Studio puede integrarse con Obsidian, una popular aplicación de gestión de conocimiento basada en markdown. Usando complementos desarrollados por la comunidad como Text Generator y Smart Connections, los usuarios pueden generar contenido, resumir investigaciones y consultar sus notas —todo impulsado por LLMs locales ejecutados a través de LM Studio. Estos complementos se conectan directamente al servidor local de LM Studio, permitiendo interacciones de IA rápidas y privadas sin depender de la nube.

La actualización 0.3.15 agrega nuevas capacidades para desarrolladores, incluido un control más granular sobre el uso de herramientas mediante el parámetro "tool_choice" y un editor de prompts del sistema mejorado para manejar prompts más largos o complejos.

El parámetro tool_choice permite a los desarrolladores controlar cómo los modelos interactúan con herramientas externas —ya sea forzando una llamada a una herramienta, desactivándola por completo o permitiendo que el modelo decida dinámicamente. Esta flexibilidad es especialmente útil para construir interacciones estructuradas, flujos de generación aumentada por recuperación (RAG) o pipelines de agentes. En conjunto, estas actualizaciones mejoran tanto la experimentación como los casos de uso en producción para desarrolladores que trabajan con LLM.

LM Studio admite una amplia gama de modelos abiertos —incluyendo Gemma, Llama 3, Mistral y Orca— y varios formatos de cuantización, desde 4 bits hasta precisión completa.

Los casos de uso comunes incluyen RAG, chats multiturno con ventanas de contexto largas, preguntas y respuestas basadas en documentos y pipelines de agentes locales. Y al usar servidores de inferencia local acelerados por la biblioteca de software llama.cpp con RTX de NVIDIA, los usuarios en PC con IA RTX pueden integrar LLM locales con facilidad.

Ya sea optimizando la eficiencia en un sistema compacto con RTX o maximizando el rendimiento en un escritorio de alto rendimiento, LM Studio ofrece control total, velocidad y privacidad —todo en RTX.

Experimenta el máximo rendimiento en GPU RTX

El núcleo de la aceleración de LM Studio es llama.cpp —un entorno de ejecución de código abierto diseñado para inferencias eficientes en hardware de consumo. NVIDIA colaboró con las comunidades de LM Studio y llama.cpp para integrar varias mejoras que maximizan el rendimiento de las GPU RTX.

Las optimizaciones clave incluyen:

  • Habilitación de gráficos CUDA: Agrupa múltiples operaciones de GPU en una sola llamada de CPU, reduciendo la sobrecarga de la CPU y mejorando el rendimiento del modelo hasta un 35%.
  • Kernels CUDA de atención flash: Aumenta el rendimiento hasta un 15% al optimizar cómo los LLMs procesan la atención —una operación crítica en modelos transformadores. Esta optimización permite ventanas de contexto más largas sin aumentar los requisitos de memoria o computación.
  • Compatibilidad con las últimas arquitecturas RTX: La actualización de LM Studio a CUDA 12.8 garantiza compatibilidad con toda la gama de PCs con IA RTX —desde las GeForce RTX 20 Series hasta las GPU NVIDIA Blackwell, ofreciendo a los usuarios flexibilidad para escalar sus flujos de trabajo de IA local desde laptops hasta escritorios de alta gama.

Datos medidos usando diferentes versiones de LM Studio y entornos CUDA en una GeForce RTX 5080 con el modelo DeepSeek-R1-Distill-Llama-8B. Todas las configuraciones usaron cuantización Q4_K_M GGUF (Int4) con BS=1, ISL=4000, OSL=200 y Flash Attention activado. El gráfico muestra un aumento de velocidad del ~27% con la última versión de LM Studio gracias a las contribuciones de NVIDIA al backend de inferencia de llama.cpp.*

Con un controlador compatible, LM Studio se actualiza automáticamente al entorno de ejecución CUDA 12.8, permitiendo tiempos de carga de modelos significativamente más rápidos y un mayor rendimiento general.

Estas mejoras ofrecen inferencias más fluidas y respuestas más rápidas en toda la gama de PCs con IA RTX —desde laptops ligeras hasta escritorios y estaciones de trabajo de alto rendimiento.

Comienza con LM Studio

LM Studio se puede descargar gratis y funciona en Windows, macOS y Linux. Con el lanzamiento 0.3.15 y optimizaciones continuas, los usuarios pueden esperar mejoras constantes en rendimiento, personalización y usabilidad —haciendo que la IA local sea más rápida, flexible y accesible.

Los usuarios pueden cargar un modelo mediante la interfaz de chat de escritorio o activar el modo desarrollador para exponer una API compatible con OpenAI.

LM Studio admite presets de modelos, varios formatos de cuantización y controles para desarrolladores como tool_choice para inferencia ajustada. Para quienes deseen contribuir, el repositorio GitHub de llama.cpp se mantiene activamente y evoluciona con mejoras de rendimiento impulsadas por la comunidad y NVIDIA.

Cada semana, la serie de blogs RTX AI Garage destaca innovaciones de IA impulsadas por la comunidad y contenido para quienes deseen aprender más sobre microservicios NVIDIA NIM y AI Blueprints, así como sobre la construcción de agentes de IA, flujos creativos, humanos digitales, aplicaciones de productividad y más en PCs y estaciones de trabajo con IA.

Tags: Inteligencia Artificial, NVIDIA

Ver comentarios: 0

Anterior
Siguiente
Últimas noticias
  • Ya disponible el primer port no oficial para PC de un juego exclusivo de PS5
  • AMD mete el dedo en el ojo a NVIDIA y destaca su fidelidad hacia los jugadores
  • Juegos y PCs de bajo rendimiento: ¿deberían preocuparse los desarrolladores por ellos?
  • GeForce RTX 3080 frente a Radeon RX 7800 XT en 2026
  • The Witcher 4 en mayo de 2028: CD Projekt RED apunta a esa fecha
  • Wolfenstein 3 confirmado oficialmente, y puede que también un nuevo DOOM
  • Controladores AMD Software 26.11.1 Beta: para corregir los problemas de escritura
  • Controladores NVIDIA GRD 621.24 WHQL para: Warhammer 40K: Dawn of War IV y Where Winds Meet
  • Red Dead Redemption 2 a prueba con trazado de rayos: por esto no lo utilizó Rockstar
  • Apex dice que su generación de fotogramas supera a DLSS de NVIDIA, y es de código abierto
Top noticias
  • Rendimiento de Phantom Blade Zero en consolas portátiles
  • Desbloquean la GPU de PS5 para que utilice toda su potencia y mueva juegos en Steam
  • Sony cierra la tienda pirata que regalaba 1.600 juegos de PS4 y PS5, y sus DLCs
  • Intel Core i5-4670K rompe un récord del mundo 12 años después
  • Bloodborne ya funciona a más de 200 FPS en PC y soporta DLSS 4.5
  • Un técnico de GPUs dice que las GeForce RTX 5090 con 64 GB y 96 GB son reales, pero no oficiales
  • RecompLauncher: un lanzador con más de 200 ports de consola a PC no oficiales
  • Metro 2033 Redux y Metro Last Light Redux reciben actualización "Next-Gen"
Noticias 3D
  • articulos
  • drivers
  • foro
  • tags
  • contacto
  • publicidad
© Copyright 2000 - 2026 | nFinite9000 S.L. | Todos los derechos reservados | Aviso legal
Comentario

Sed ut perspiciatis