El despliegue de modelos de inteligencia artificial en entornos locales ha dado un paso adelante con la llegada de Do Inference Now (DIN) Deploy. Se trata de una colección de muestras en C++ diseñada por NVIDIA que permite a los desarrolladores integrar modelos de IA directamente en aplicaciones de escritorio, aprovechando la potencia de las tarjetas gráficas RTX mediante el proveedor de ejecución TensorRT.
A diferencia de los enfoques basados exclusivamente en Python, este conjunto de herramientas facilita la transición desde un prototipo en Hugging Face hasta una aplicación nativa de alto rendimiento, tanto en Windows como en Linux. La arquitectura propuesta separa claramente la exportación del modelo de su ejecución, lo que simplifica el mantenimiento y la portabilidad del software.
¿Cómo funciona el flujo de trabajo?
El proceso se divide en dos fases fundamentales que permiten una integración eficiente:
- Exportación: Se utiliza un script en Python para convertir los puntos de control (checkpoints) de modelos populares en artefactos ONNX.
- Despliegue: La aplicación final, construida en C++, utiliza la API de ONNX Runtime para ejecutar la inferencia. Esto permite que el desarrollador gestione la lógica de la aplicación sin depender de un entorno de ejecución específico para cada modelo.
Esta estructura permite que el código base sea agnóstico al hardware, dejando las optimizaciones específicas de NVIDIA (como los núcleos CUDA) para rutas aceleradas opcionales. Además, el uso de la API de copia de tensores de ONNX Runtime ayuda a mantener la localidad de los datos, optimizando el uso de la memoria.
Rendimiento y casos de uso
Las pruebas realizadas en hardware como el DGX Spark demuestran una mejora drástica en comparación con la ejecución en CPU. A continuación, se detallan algunos de los modelos soportados:
| Modelo | Aceleración en GPU |
|---|---|
| OpenAI Whisper (transcripción) | 58.5x |
| NVIDIA Nemotron ASR (streaming) | 39.0x |
| NVIDIA Parakeet TDT | 206.4x |
| Meta SAM 2.1 (segmentación) | 38.3 FPS (vs 0.5 FPS en CPU) |
Además de estas herramientas de audio y visión artificial, el repositorio incluye soporte para FLUX.2-klein-4B, permitiendo la generación de imágenes mediante prompts. Este ejemplo en particular destaca por su uso de la interoperabilidad gráfica con Vulkan y DirectX, permitiendo que la aplicación integre recursos residentes en la GPU de manera fluida.
Optimización sin cambios de código
Uno de los puntos más atractivos para los desarrolladores es la capacidad de implementar cuantización post-entrenamiento (PTQ). Gracias al NVIDIA Model Optimizer, es posible reducir el tamaño y mejorar la velocidad de los modelos sin necesidad de modificar el código fuente de la aplicación. Al mantener las interfaces ONNX intactas, el modelo cuantizado actúa como un reemplazo directo, facilitando la adopción de hardware acelerado sin fricciones técnicas.
Recomendaciones para comenzar
Para quienes deseen implementar estas soluciones, el repositorio de DIN Deploy ofrece archivos de configuración CMake predefinidos para Windows, Linux y arquitecturas Arm64. Esto permite descargar automáticamente las dependencias necesarias, como ONNX Runtime y TensorRT RTX, agilizando el proceso de configuración inicial.
Se recomienda revisar la documentación sobre la cuantización de modelos para entender cómo estas técnicas pueden impactar positivamente en el rendimiento de sus proyectos locales, especialmente si el objetivo es maximizar el uso de los Tensor Cores en GPUs RTX modernas.
Fuente: NVIDIA Technical Blog.
No hay comentarios.:
Publicar un comentario