Qué es GPUWorks y qué vamos a montar
GPUWorks es una plataforma ligera (el paquete ronda los 45 MB) para gestionar GPUs y servir modelos de lenguaje desde un único panel. Descarga el modelo, elige el motor de inferencia (vLLM por defecto en NVIDIA), lo arranca en tu GPU y lo expone detrás de una API compatible con OpenAI, de modo que cualquier herramienta que ya hable ese formato pueda usarlo.
Según su documentación, la idea es poder juntar en el mismo panel máquinas y GPUs de distintos tipos, incluso en la nube. En esta guía no probé eso: monto todo en un único portátil Windows, con el servidor y el nodo con GPU en la misma máquina.
Un detalle importante: en el momento de escribir esto, el README no lista Windows como plataforma soportada (el servidor es para Linux y Mac con Apple Silicon). Por eso la ruta que sigo es WSL2 con Ubuntu 24.04, que funciona, pero no es una configuración oficialmente documentada.
Requisitos
- Windows 10 (22H2) o Windows 11 actualizado.
- Una GPU NVIDIA con drivers recientes (yo usé una RTX 3070 de portátil con 8 GB de VRAM).
- Virtualización activada (comprueba en el Administrador de tareas, pestaña Rendimiento, CPU, que pone Habilitado).
- Entre 50 y 100 GB libres: las imágenes de Docker y los modelos ocupan bastante.
1. Preparar Windows
Actualiza el driver NVIDIA de Windows desde nvidia.com. Es el único driver que necesitas: no instales ninguno dentro de Ubuntu, porque WSL2 usa el de Windows.
2. Instalar WSL2 con Ubuntu 24.04
Abre PowerShell como administrador y ejecuta:
wsl --install -d Ubuntu-24.04
Reinicia si lo pide, abre Ubuntu desde el menú Inicio y crea tu usuario y contraseña. Durante la instalación a mí me apareció un aviso sobre la virtualización anidada (ERROR_INVALID_DATA). En un portátil físico no tuvo consecuencias.
Después, desde PowerShell:
wsl --update
wsl -l -v
La columna VERSION debe mostrar 2. Una confusión típica: el comando wsl solo existe en Windows (PowerShell). Dentro de la terminal de Ubuntu da command not found.
Opcional pero recomendable: crea el archivo C:\Users\TU_USUARIO\.wslconfig para que WSL no consuma toda la RAM (ajusta el valor a la mitad de la tuya):
[wsl2]
memory=12GB
Aplícalo con wsl --shutdown y vuelve a abrir Ubuntu.
3. Comprobar la GPU y systemd
Ya dentro de Ubuntu:
nvidia-smi
systemctl is-system-running
nvidia-smi debe mostrar tu GPU. Si falla, el problema está en el driver de Windows. El segundo comando debe responder running o degraded; si da error, añade esto a /etc/wsl.conf (con sudo nano), ejecuta wsl --shutdown y vuelve a abrir:
[boot]
systemd=true
4. Instalar Docker
GPUWorks lanza los motores de inferencia en contenedores, así que necesitas Docker dentro de Ubuntu:
sudo apt update
curl -fsSL https://get.docker.com | sudo sh
sudo usermod -aG docker $USER
El script avisa de que en WSL se recomienda Docker Desktop. Es solo un aviso: continúa e instala Docker Engine, que es lo que usé. Después hay que reiniciar la sesión para que se aplique el grupo docker. Si al probar docker run --rm hello-world ves permission denied, usa newgrp docker o cierra Ubuntu y ejecuta wsl --terminate Ubuntu-24.04 desde PowerShell.
5. Instalar el NVIDIA Container Toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
Los comandos de este repositorio pueden cambiar con el tiempo; si algo falla, consulta la guía oficial de NVIDIA. La prueba que lo confirma todo:
docker run --rm --gpus all ubuntu nvidia-smi
Si ves la tabla con tu GPU dentro del contenedor, el entorno está listo.
Un dato que conviene mirar en esa salida: Windows ya ocupa parte de la VRAM. En mi caso eran unos 1,4 GB de los 8 GB, así que solo tenía unos 6,6 GB libres. Esto condiciona el ajuste del modelo más adelante.
6. Instalar el servidor GPUWorks
En el mismo Ubuntu:
bash <(curl -fsSL https://dl.gpuworks.ai/get.sh)
El instalador crea un servicio en el puerto 8800 y te muestra la URL y la contraseña de administrador: guárdala. Si falla por systemd, existe esta alternativa:
bash <(curl -fsSL https://dl.gpuworks.ai/get.sh) --dir ~/gpuworks-server --no-systemd
Comprueba que está vivo y abre el panel en el navegador de Windows:
curl -fsS http://localhost:8800/healthz
Debe responder con "status":"ok". El panel está en http://localhost:8800.
Como en cualquier curl | bash, si quieres ir sobre seguro descarga el script y léelo antes de ejecutarlo.
7. Añadir tu portátil como nodo
En el panel, entra en Compute Nodes y pulsa Add node. El formulario pregunta si la máquina destino admite SSH: elige SSH unavailable y te dará un comando de instalación para pegar directamente en Ubuntu. Ejecútalo en la misma terminal donde está el servidor. Si la dirección del servidor que propone no funciona, usa http://localhost:8800.
A los pocos segundos el nodo aparece como Online.
Problema: el nodo sale online pero con «No GPU»
Es lo que me pasó. El agente detecta las GPUs ejecutando nvidia-smi, y en WSL2 ese programa vive en /usr/lib/wsl/lib/, una ruta que el servicio de systemd del agente probablemente no tiene en su PATH. La solución que me funcionó fue enlazarlo a una ruta estándar y reiniciar el agente:
which nvidia-smi
sudo ln -s /usr/lib/wsl/lib/nvidia-smi /usr/local/bin/nvidia-smi
sudo systemctl restart gpuworks-agent
Tras refrescar el panel, apareció la RTX 3070. Si el nombre del servicio fuera distinto en tu instalación, búscalo con systemctl list-units --type=service | grep -i gpuworks.
8. Registrar y desplegar un modelo
En Deploy, GPUWorks solo muestra modelos ya registrados. Entra en Models, registra el modelo desde Hugging Face (por ejemplo Qwen/Qwen3-1.7B, el que recomiendan para empezar) y vuelve a Deploy. Elige:
- Target accelerator: NVIDIA.
- Plantilla de inferencia: la recomendada, con vLLM.
Antes de desplegar, el panel muestra una evaluación de la configuración que calcula la memoria necesaria (pesos, reserva del motor y caché KV). Esta es la parte más útil de la herramienta, y aquí es donde una GPU de 8 GB necesita ajustes.
Lo que me pasó con 8 GB
- Con
Qwen3-1.7By los valores por defecto (utilización de memoria de la GPU al 0,90) el planificador estimaba una caché KV de solo unos 13.000 tokens frente a un contexto máximo de 40.960, y una concurrencia máxima de 0. - Además, el 0,90 pide más memoria de la que realmente queda libre porque Windows ya usa parte de la VRAM.
- Cambié al modelo más pequeño
Qwen3.5-0.8By ajusté dos campos de la sección Resources: GPU Memory Utilization a 0,75 y Maximum Context Length a 32768. La evaluación pasó con una concurrencia estimada de 6.
Antes de desplegar, cierra juegos, vídeo y pestañas pesadas del navegador, porque la VRAM libre es el límite. La primera vez tarda, porque descarga la imagen del motor y los pesos del modelo. Cuando el estado pasa a Running, ya está.
9. Probar el modelo
Playground
En Playground puedes chatear con el modelo directamente desde el panel.
API compatible con OpenAI
Crea un token en API Tokens y guárdalo en una variable para no repetirlo en cada comando (el token ya empieza por gw-, no lo dupliques):
export TOKEN="gw-..."
El nombre con el que se llama al modelo por la API no es el que aparece en la lista de despliegues. Para saber cuál es:
curl -s http://localhost:8800/v1/models -H "Authorization: Bearer $TOKEN"
En mi caso devolvió Qwen/Qwen3.5-0.8B-jlya (el sufijo se genera automáticamente). Con ese nombre:
curl -s http://localhost:8800/v1/chat/completions \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-d '{"model": "Qwen/Qwen3.5-0.8B-jlya", "messages": [{"role": "user", "content": "Explica en dos frases qué es una GPU"}]}'
Problema: la respuesta sale vacía
La plantilla activa un analizador de razonamiento, y con un modelo tan pequeño toda la respuesta cayó en el campo reasoning, dejando content en null. Muchas herramientas (como Open WebUI) solo leen content. Por petición se puede desactivar el modo de pensamiento:
curl -s http://localhost:8800/v1/chat/completions \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-d '{"model": "Qwen/Qwen3.5-0.8B-jlya", "chat_template_kwargs": {"enable_thinking": false}, "messages": [{"role": "user", "content": "Explica en dos frases qué es una GPU"}]}'
Con eso el texto aparece en content. La respuesta incluye además métricas del motor: en mi portátil, en una sola petición corta, vi un primer token en unos 50 ms y del orden de 100 tokens por segundo. Es una medida puntual, no un benchmark.
Un aviso de calidad: un modelo de 0,8B de parámetros responde de forma bastante pobre en español. Es una limitación del modelo, no de la plataforma.
10. Parar y volver a arrancar
Para liberar la GPU, para o elimina el despliegue desde el panel. Si quieres apagarlo todo, desde PowerShell:
wsl --shutdown
Esto detiene Ubuntu entero con sus servicios y contenedores. Para volver, abre Ubuntu desde el menú Inicio y entra en http://localhost:8800. Comprueba que el nodo aparece online y que el modelo vuelve a arrancar: la segunda vez es mucho más rápido porque la imagen y los pesos ya están descargados.
Resumen de problemas y soluciones
wsl: command not found: ese comando es de Windows; ejecútalo en PowerShell, no en Ubuntu.permission deniedcon Docker: reinicia la sesión o usanewgrp docker.- Nodo online pero sin GPU: enlaza
nvidia-smia/usr/local/biny reinicia el agente. - El modelo no cabe o la concurrencia sale 0: baja la utilización de memoria, reduce el contexto máximo o usa un modelo más pequeño.
no deployment serves model: usa el nombre que devuelve/v1/models.contentvacío: desactiva el modo de pensamiento conenable_thinking: false.
Conclusión
Montar GPUWorks en un portátil Windows con una GPU NVIDIA es posible usando WSL2, aunque no es una vía oficialmente documentada y hay que resolver algunos detalles de WSL2. Lo mejor del proceso es la evaluación de memoria previa al despliegue y tener una API compatible con OpenAI en tu propia máquina. Si solo tienes un PC con una GPU, herramientas más simples como Ollama o LM Studio son suficientes; GPUWorks cobra sentido cuando quieres gestionar varias máquinas, mezclar recursos o ofrecer un único endpoint para tus aplicaciones.
Consejo de seguridad: no publiques ni compartas tus tokens de API, y revócalos al terminar las pruebas.

Deja una respuesta