Потянет ли мой компьютер эту LLM?
Выберите модель и свою видеокарту или Mac. Узнайте, сколько памяти нужно при вашей квантизации и длине контекста — и что изменить, если не помещается.
Результат
Помещается полностью
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. Запас 4.52 GB.
| Компонент | Память |
|---|---|
| Весареальный GGUF-файл: Q4_K_M | 4.68 GB |
| KV-кэш8K токенов × 1 запр., F16 | 1.13 GB |
| Накладные расходы рантайма10% от весов | 0.47 GB |
| Всего нужно | 6.28 GB |
| Доступно на вашем железе90% от 12.0 GB | 10.8 GB |
Запуск
Отправная точка, не гарантия. Скачивает GGUF с Hugging Face.
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_MО модели
- Параметры
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- Слои
- 36
- Внимание
- Полное внимание (GQA)36× full (8 KV × 128)
- Макс. контекст
- 40K
- Лицензия
- apache-2.0
- Источник конфигурации
- Qwen/Qwen3-8Bсинхронизировано 2026-10-18
Как считается оценка
- Веса: реальный размер GGUF-файла с Hugging Face, если он есть, иначе параметры × бит на вес ÷ 8.
- KV-кэш: по реальной архитектуре модели — KV-головы (GQA), слои со скользящим окном, MLA и гибридные слои с линейным вниманием.
- Накладные расходы и доступная память: по умолчанию 10% от весов и ~90% VRAM (~72% на Apple Silicon). Все допущения можно менять.
Частые вопросы
Сколько видеопамяти нужно, чтобы запустить LLM локально?
Примерно размер файла модели плюс KV-кэш плюс около 10% накладных расходов. В популярной квантизации Q4_K_M веса занимают около 0,6 GB на миллиард параметров (8B ≈ 5 GB, 70B ≈ 43 GB), а KV-кэш растёт вместе с контекстом.
Расходует ли длина контекста видеопамять?
Да. Для каждого токена контекста в каждом слое внимания хранятся ключи и значения. У Llama 3.1 8B в FP16 это 1 GiB на 8 192 токена. Моделям со скользящим окном, MLA или гибридным линейным вниманием нужно намного меньше. KV-кэш в Q8_0 сокращает объём примерно вдвое.
Что будет, если модель не помещается в видеокарту?
llama.cpp, Ollama и LM Studio могут держать часть слоёв на GPU, а остальное в оперативной памяти (частичная выгрузка). Это работает, но генерация обычно сильно замедляется. Калькулятор оценивает, сколько слоёв поместится (значение -ngl).
Можно ли объединить две видеокарты?
Да. llama.cpp распределяет слои между GPU, поэтому их память складывается — минус немного неиспользуемого места на каждой карте. Добавьте вторую видеокарту в калькуляторе.
Почему Mac не может отдать модели всю память?
В Apple Silicon память общая для CPU, GPU и macOS, и по умолчанию GPU может занять только её часть. На практике рассчитывайте примерно на 70–75% от объёма — это значение по умолчанию для Mac в калькуляторе.