¿Puedo ejecutar este LLM en local?
Elige un modelo y tu GPU o Mac. Mira cuánta memoria necesita con tu cuantización y longitud de contexto, y qué cambiar si no cabe.
Resultado
Cabe por completo
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. 4.52 GB de margen.
| Componente | Memoria |
|---|---|
| Pesosarchivo GGUF real: Q4_K_M | 4.68 GB |
| Caché KV8K tokens × 1 sec., F16 | 1.13 GB |
| Sobrecarga del runtime10 % de los pesos | 0.47 GB |
| Total necesario | 6.28 GB |
| Utilizable en tu hardware90 % de 12.0 GB | 10.8 GB |
Ejecútalo
Punto de partida, no una garantía. Descarga el GGUF desde Hugging Face.
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_MDetalles del modelo
- Parámetros
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- Capas
- 36
- Atención
- Atención completa (GQA)36× full (8 KV × 128)
- Contexto máximo
- 40K
- Licencia
- apache-2.0
- Fuente de la configuración
- Qwen/Qwen3-8Bsincronizado 2026-10-18
Cómo se calcula
- Pesos: el tamaño real del archivo GGUF en Hugging Face cuando existe; si no, parámetros × bits por peso ÷ 8.
- Caché KV: calculada con la arquitectura real del modelo: cabezas KV (GQA), capas de ventana deslizante, MLA y capas híbridas de atención lineal.
- Sobrecarga y memoria utilizable: 10 % de los pesos y ~90 % de la VRAM (~72 % en Apple Silicon) por defecto. Todo es ajustable.
Preguntas frecuentes
¿Cuánta VRAM necesito para ejecutar un LLM en local?
Aproximadamente el tamaño del archivo del modelo, más la caché KV, más un 10 % de sobrecarga. Con la cuantización Q4_K_M un modelo necesita unos 0,6 GB por cada mil millones de parámetros (8B ≈ 5 GB, 70B ≈ 43 GB), y la caché KV crece con el contexto.
¿La longitud de contexto usa VRAM?
Sí. Cada token del contexto guarda claves y valores para cada capa de atención. Para Llama 3.1 8B en FP16 son 1 GiB por cada 8.192 tokens. Los modelos con ventana deslizante, MLA o atención lineal híbrida necesitan mucho menos. Cuantizar la caché KV a Q8_0 la reduce a la mitad.
¿Qué pasa si el modelo no cabe en mi GPU?
llama.cpp, Ollama y LM Studio pueden dejar algunas capas en la GPU y el resto en la RAM del sistema. Funciona, pero suele ser mucho más lento. La calculadora estima cuántas capas caben (el valor -ngl).
¿Puedo combinar dos GPUs?
Sí. llama.cpp reparte las capas entre las GPUs, así que su memoria se suma, menos algo de espacio sin usar en cada tarjeta. Añade una segunda GPU en la calculadora.
¿Por qué mi Mac no puede usar toda su memoria para el modelo?
Apple Silicon comparte la memoria entre CPU, GPU y macOS, y por defecto solo una parte puede reservarse para la GPU. Una regla práctica es un 70–75 % del total, que es el valor por defecto para Mac.