Cómo leer archivos en la memoria GPU con KvikIO y GDS

Optimización de transferencia de datos con GDS

El procesamiento de grandes volúmenes de datos en proyectos de inteligencia artificial exige una eficiencia extrema. A medida que los modelos de lenguaje (LLM) y los datasets crecen, el cuello de botella suele encontrarse en la transferencia de información desde el almacenamiento hacia la memoria de la GPU. NVIDIA GPUDirect Storage (GDS) soluciona este problema al establecer un camino directo entre el almacenamiento compatible y la memoria de video, evitando la carga innecesaria sobre el procesador central (CPU).

Para los desarrolladores que trabajan en Python, la librería KvikIO actúa como un puente fundamental. Esta herramienta proporciona interfaces de alto nivel que permiten gestionar la entrada y salida (I/O) de archivos, facilitando la comunicación con la API de bajo nivel cuFile de NVIDIA.

Cómo funciona la arquitectura de KvikIO

KvikIO no solo facilita la programación, sino que toma decisiones inteligentes sobre cómo se mueven los datos. El proceso sigue una jerarquía de selección de rutas:

• Ruta Acelerada (GDS): Utiliza el módulo de kernel nvidia-fs para mover datos directamente al hardware gráfico.
• Ruta de Compatibilidad (POSIX): Si el sistema no soporta GDS o la configuración no es óptima, KvikIO recurre a un camino que utiliza la memoria del sistema (CPU) como intermediario.

Requisitos antes de instalar

• Un sistema Linux con una GPU NVIDIA y GDS instalado.
• Almacenamiento y sistema de archivos compatibles con la configuración de GDS.
• Permisos para leer y escribir en la ubicación de los datos.
• Herramientas de diagnóstico como gdscheck.py y gds_stats.

La documentación oficial también recomienda revisar la topología entre GPU y NVMe. En un equipo de prueba, NVIDIA utilizó una GPU H100, CUDA 13.3, cuFile 1.18, un NVMe local con ext4 y el módulo de kernel nvidia-fs. Esa configuración es un ejemplo de referencia, no una garantía de que cualquier PC con GPU sea compatible.

Instalación y lectura de ejemplo

Crea un entorno virtual y selecciona el paquete que corresponda a tu versión de CUDA. Para CUDA 13, el tutorial de NVIDIA utiliza:

Después puedes reservar un buffer de GPU con CuPy y leer un archivo mediante KvikIO:

from pathlib import Path
import cupy as cp
import kvikio
file_path = Path("/ruta/al/archivo.bin")
gpu_buffer = cp.empty(file_path.stat().st_size, dtype=cp.uint8)
with kvikio.CuFile(file_path, "r") as archivo:
    bytes_read = archivo.read(gpu_buffer)
assert bytes_read == gpu_buffer.nbytes

Cómo comprobar la ruta usada

Consulta primero la configuración activa desde Python:

import kvikio
import kvikio.cufile_driver as cufile_driver
import kvikio.defaults as defaults
print(kvikio.__version__)
print(cufile_driver.libcufile_version())
print(defaults.get("compat_mode").name)
print(defaults.get("gds_threshold"))

En modo AUTO, KvikIO intenta cuFile y vuelve a POSIX si no puede usarlo. El umbral gds_threshold evita enviar operaciones pequeñas a GDS; la documentación actual indica un valor predeterminado de 16 KiB para ciertas operaciones.

Para saber qué ocurrió durante una ejecución, activa las estadísticas de cuFile y deja el proceso abierto:

CUFILE_STATS_LEVEL=3 python3 -i lectura.py

Luego revisa la salida de gds_stats. Los contadores de la ruta acelerada y los de la ruta POSIX permiten distinguir entre GDS y compatibilidad. Si necesitas un diagnóstico adicional, ejecuta gdscheck.py y revisa la documentación de instalación de tu versión de CUDA y GDS.

Qué significa para Perú y Latinoamérica

GDS está orientado a estaciones de trabajo y servidores con una cadena completa de GPU, controlador, CUDA, almacenamiento y sistema operativo compatibles. En una laptop o PC común, KvikIO puede funcionar con una ruta de compatibilidad, pero no debes prometer una mejora de rendimiento sin medirla. La disponibilidad y el precio dependen de la GPU, el NVMe, el servidor o la nube elegida; no existe un precio único de KvikIO que sirva como referencia local. Antes de comprar hardware en Perú, confirma con el proveedor la compatibilidad de la plataforma y el soporte de tu versión de CUDA.

Si trabajas con datos distribuidos, también puede interesarte la guía sobre Apache Spark y GPU. Para un equipo local orientado a IA, revisa la entrada sobre NVIDIA RTX Spark.

En resumen, KvikIO simplifica el acceso desde Python, pero la aceleración real depende de toda la plataforma. Comprueba la configuración y consulta las estadísticas antes de atribuir el rendimiento a GPUDirect Storage.

Fuentes: tutorial de NVIDIA sobre lectura en memoria GPU con KvikIO; documentación oficial de KvikIO; documentación oficial de GPUDirect Storage; ajustes de ejecución de KvikIO.