本文へスキップ
totonoe.tech

ローカル LLM

3B クラス

代表モデル:Llama 3.2-3B / Gemma 2-2B / Phi-3.5-mini

量子化別の必要メモリ

量子化重みKV (8K)合計
4-bit 1.9 GB 0.6 GB 4.4 GB
8-bit 3.3 GB 0.6 GB 5.9 GB
16-bit 6.0 GB 0.6 GB 8.6 GB

推論エンジン本体 + OS バッファとして 2GB を含む。

続けて整える

データの時点:2024〜2025年ごろのモデルが中心(各モデル公開元)

データの更新予定の一覧

運営サイト

私たちが運営するサイト