このLLMはローカルで動く？
モデルとGPUまたはMacを選ぶと、量子化とコンテキスト長に応じて必要なメモリがわかります。収まらない場合の対策も表示します。
結果
すべて収まります
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. 余裕 4.52 GB。
| 項目 | メモリ |
|---|---|
| 重み実際のGGUFファイル：Q4_K_M | 4.68 GB |
| KVキャッシュ8Kトークン × 1シーケンス、F16 | 1.13 GB |
| ランタイムのオーバーヘッド重みの10% | 0.47 GB |
| 合計 | 6.28 GB |
| お使いのハードウェアで使用可能12.0 GBの90% | 10.8 GB |
実行
出発点であり保証ではありません。GGUFを Hugging Face からダウンロードします。
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_Mモデルの詳細
- パラメータ数
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- 層数
- 36
- アテンション
- フルアテンション（GQA）36× full (8 KV × 128)
- 最大コンテキスト
- 40K
- ライセンス
- apache-2.0
- 設定の出典
- Qwen/Qwen3-8B2026-10-18 に同期
推定の仕組み
- 重み：Hugging Face 上のGGUFファイルの実サイズ。ない場合はパラメータ数 × 1重みあたりのビット数 ÷ 8。
- KVキャッシュ：モデルの実際のアーキテクチャから計算（KVヘッド数（GQA）、スライディングウィンドウ層、MLA、ハイブリッド線形アテンション層）。
- オーバーヘッドと使用可能メモリ：初期値は重みの10%、VRAMの約90%（Apple Silicon は約72%）。すべて変更できます。
よくある質問
ローカルでLLMを動かすにはVRAMがどれくらい必要？
おおよそ「モデルファイルのサイズ + KVキャッシュ + 約10%のオーバーヘッド」です。一般的な Q4_K_M 量子化では、重みは10億パラメータあたり約0.6GB（8Bで約5GB、70Bで約43GB）。KVキャッシュはコンテキストが長いほど増えます。
コンテキスト長でVRAMは増える？
増えます。コンテキストの各トークンについて、アテンション層ごとにキーと値を保存するためです。Llama 3.1 8B（FP16）では8,192トークンで1GiB。スライディングウィンドウ、MLA、ハイブリッド線形アテンションのモデルはずっと少なく済みます。KVキャッシュを Q8_0 にするとほぼ半分になります。
GPUに収まらない場合は？
llama.cpp、Ollama、LM Studio は一部の層をGPUに、残りをシステムRAMに置けます（部分オフロード）。動きますが、生成速度は大きく落ちます。計算ツールはGPUに載る層数（-ngl の値）を推定します。
GPUを2枚組み合わせられる？
できます。llama.cpp は層を複数のGPUに分けるので、メモリは合算されます（各カードで少し余りが出ます）。計算ツールで2枚目のGPUを追加してください。
Macでメモリ全部をモデルに使えないのはなぜ？
Apple Silicon はCPU・GPU・macOSでメモリを共有し、既定ではGPUに確保できるのは一部だけです。目安は総容量の約70〜75%で、計算ツールのMac向け初期値もこれに合わせています。