Consigo rodar este LLM localmente?
Escolha um modelo e sua GPU ou Mac. Veja quanta memória ele precisa com sua quantização e tamanho de contexto — e o que mudar se não couber.
Resultado
Cabe totalmente
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. 4.52 GB de folga.
| Componente | Memória |
|---|---|
| Pesosarquivo GGUF real: Q4_K_M | 4.68 GB |
| Cache KV8K tokens × 1 seq., F16 | 1.13 GB |
| Overhead do runtime10% dos pesos | 0.47 GB |
| Total necessário | 6.28 GB |
| Utilizável no seu hardware90% de 12.0 GB | 10.8 GB |
Rodar
Ponto de partida, não uma garantia. Baixa o GGUF do Hugging Face.
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_MDetalhes do modelo
- Parâmetros
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- Camadas
- 36
- Atenção
- Atenção completa (GQA)36× full (8 KV × 128)
- Contexto máx.
- 40K
- Licença
- apache-2.0
- Fonte da configuração
- Qwen/Qwen3-8Bsincronizado em 2026-10-18
Como a estimativa é calculada
- Pesos: o tamanho real do arquivo GGUF no Hugging Face, quando existe; caso contrário, parâmetros × bits por peso ÷ 8.
- Cache KV: calculado pela arquitetura real do modelo — cabeças KV (GQA), camadas de janela deslizante, MLA e camadas híbridas de atenção linear.
- Overhead e memória utilizável: 10% dos pesos e ~90% da VRAM (~72% no Apple Silicon) por padrão. Todas as premissas são ajustáveis.
Perguntas frequentes
Quanta VRAM preciso para rodar um LLM localmente?
Aproximadamente o tamanho do arquivo do modelo, mais o cache KV, mais cerca de 10% de overhead. Na quantização Q4_K_M, um modelo precisa de uns 0,6 GB por bilhão de parâmetros para os pesos (8B ≈ 5 GB, 70B ≈ 43 GB), e o cache KV cresce com o contexto.
O tamanho do contexto usa VRAM?
Sim. Cada token do contexto guarda chaves e valores para cada camada de atenção. No Llama 3.1 8B em FP16 isso dá 1 GiB a cada 8.192 tokens. Modelos com janela deslizante, MLA ou atenção linear híbrida precisam de muito menos. Um cache KV em Q8_0 corta isso pela metade.
O que acontece se o modelo não couber na minha GPU?
llama.cpp, Ollama e LM Studio podem manter parte das camadas na GPU e o resto na RAM do sistema. Funciona, mas a geração costuma ficar bem mais lenta. A calculadora estima quantas camadas cabem (o valor -ngl).
Posso combinar duas GPUs?
Sim. O llama.cpp divide as camadas entre as GPUs, então as memórias se somam, menos um pouco de espaço sem uso em cada placa. Adicione uma segunda GPU na calculadora.
Por que meu Mac não usa toda a memória para o modelo?
O Apple Silicon compartilha a memória entre CPU, GPU e macOS, e por padrão só uma parte pode ser reservada para a GPU. Na prática, conte com uns 70–75% do total — é o padrão da calculadora para Macs.