本文へスキップ
totonoe.tech

ローカル LLM

32B クラス

代表モデル:Qwen 2.5-32B / QwQ-32B / DeepSeek Coder 33B

量子化別の必要メモリ

量子化重みKV (8K)合計
4-bit 19.8 GB 1.4 GB 23.2 GB
8-bit 35.2 GB 1.4 GB 38.6 GB
16-bit 64.0 GB 1.4 GB 67.4 GB

推論エンジン本体 + OS バッファとして 2GB を含む。

続けて整える

データの時点:2024〜2025年ごろのモデルが中心(各モデル公開元)

データの更新予定の一覧

運営サイト

私たちが運営するサイト