ローカル LLM
70B クラス
代表モデル:Llama 3.3-70B / Qwen 2.5-72B
量子化別の必要メモリ
| 量子化 | 重み | KV (8K) | 合計 |
|---|---|---|---|
| 4-bit | 43.4 GB | 2.4 GB | 47.8 GB |
| 8-bit | 77.0 GB | 2.4 GB | 81.4 GB |
| 16-bit | 140.0 GB | 2.4 GB | 144.4 GB |
推論エンジン本体 + OS バッファとして 2GB を含む。
- ・ローカルLLMを整える — Mac/GPU 別の判定、コンテキスト長・量子化を変えて試算
- ・コンテキスト窓を整える
- ・LLM料金を整える
続けて整える
データの時点:2024〜2025年ごろのモデルが中心(各モデル公開元)