本文へスキップ
totonoe.tech

AIを整える

専門

ローカルLLMを整える。

= 自分のPCで動かすAIの選び方

ローカル LLM が初めての方は、先に そもそもローカル LLM とは・どんな場面で使うか をどうぞ。

アニメで見る — ローカルLLMのしくみ 開くと1ステップずつ動きます
💬

あなたの質問

手元の端末

📝 あなたの質問
💻

手元のPCで推論

GPU・メモリ

☁️ 外のサーバへ送信
⚙️ 端末内で計算
🤖

回答

生成された文章

✅ 回答
🧠

モデルサイズ

パラメータ数

🧠 8Bモデル
⚙️

量子化で圧縮

4bit / 8bit / 16bit

16bit ≒ 約16GB
4bitに圧縮 ≒ 約5GB
💾

必要メモリ

VRAM / RAM の目安

✅ このメモリで動く

STEP 1

※ イメージ図です。下で、あなたのマシンでどのモデルが動くか実際に判定できます。

あなたのマシンのメモリ

プラットフォーム

量子化

コンテキスト長

判定

判定中…

モデル別の必要メモリ

モデル 4bit 必要合計 判定
1B — — —
3B — — —
8B — — —
9B — — —
12B — — —
14B — — —
22B — — —
27B — — —
32B — — —
8x7B (MoE) — — —
70B — — —
8x22B (MoE) — — —
405B — — —
671B (MoE) — — —

※ 単位は GB。必要合計 = 重み + KVキャッシュ + 推論オーバーヘッド(約2GB)。 占有率 = 必要合計 ÷ 利用可能メモリ。 量子化方式や推論エンジンの違いで ±15-20% のブレがあります(目安)。

そもそもローカル LLM とは

AI を、クラウドではなく自分のパソコンの中で動かす。

ChatGPT などの多くは、事業者のサーバーで動いています。ローカル LLMは、公開されている AI モデルを自分のパソコンや社内のサーバーにダウンロードして、その場で動かす使い方です。入力した文章が外部に送られないのが大きな特長です。

外の食堂に注文するか、社内の給湯室で自分で作るかの違いに似ています。自分で作るには調理設備(メモリや GPU)が要りますが、材料(データ)を外に出さずに済みます。動かせるモデルの大きさは、手元のメモリの量でほぼ決まります。

どこで・どんな場面で使うか

  • 社外に出せない文書を扱うとき

    社内資料の要約や下書きを、データを外に送らずに試せます。

  • インターネットにつながらない場所で使うとき

    通信環境がなくても、AI を使えます。

  • 料金を気にせず試行錯誤したいとき

    従量課金がないので、プロンプトの改良を気軽に繰り返せます。

  • 社内システムに AI を組み込むとき

    自社の環境の中で完結する仕組みを作れます。

  • モデルの性能や動作を検証するとき

    自分の業務の文章で、どのモデルが使えそうかを試せます。

知らないと何が困るか

  • 買ってから、メモリ不足で動かないと気づく。モデルの大きさに対して、パソコンのメモリが足りないと動かないか、極端に遅くなります。
  • 大きさと賢さのバランスが分からない。小さいモデルは軽い反面、できることが限られます。用途に合わせた選び方が必要です。
  • 使ってよい範囲を確認せずに使ってしまう。モデルごとに、商用利用などの条件(ライセンス)が違います。

上のツールで、お手元のパソコンのメモリ量を入れて、どのモデルが動きそうか確かめてみてください。

個別ページ

サイズ別の必要メモリページ

1サイズだけの必要メモリを確かめたい・共有したいときは、各サイズの個別ページへ。 4bit/8bit/16bit の内訳をまとめた 14 サイズぶんのページを用意しています(パラメータ数の小さい順)。

このツールについて

自分のマシンで Llama・Qwen・Gemma・Mixtral などの主要モデルが動くかをひと目で判定。 量子化・コンテキスト長を切り替えて、必要メモリと余裕度を比較できます。

自分のマシンで Llama・Qwen・Gemma が動く? 量子化(4bit/8bit/16bit)とコンテキスト長を切替えて即判定。

🔰 かんたんに言うと

自分のパソコンでAIを動かすのに「どれくらいの性能(メモリ)が要るか」の目安を出します。

主な機能

  • 14モデルの動作可否判定
  • 量子化(4/8/16bit)切替
  • コンテキスト長切替
  • GPU・RAM・Apple Silicon対応

よくある質問

Q. 計算式を教えて

A. 必要メモリ ≒ 重み + KVキャッシュ + 推論オーバーヘッド(約2GB)。重み = パラメータ数 × (bit/8) × 補正係数(4bit=0.62 / 8bit=1.1 / 16bit=2.0)。KVキャッシュ ≒ ctx_K × (0.06 + 0.0035 × paramsB) GB の経験式で近似しています。

Q. 判定 ✓△✗ の基準は?

A. 占有率(必要メモリ ÷ 利用可能メモリ)で判定。Macは Unified Memory のうち推論に回せる割合を75%、PCのGPU専用VRAMは92%として算出。✓余裕:占有70%以下/△ギリギリ:100%以下/✗厳しい:100%超。

Q. MoE モデル(Mixtral・DeepSeek V3)の扱いは?

A. MoEはアクティブパラメータが少なくても、重みはすべてメモリに載せる必要があります。Mixtral 8x7B なら 47B 分の重みをロードします。本ツールはMoEを「総量」で計算しています。

Q. 推定の精度は?

A. 量子化方式(Q4_K_M / GPTQ / AWQ / GGUF / MLX)や推論エンジン(Ollama / llama.cpp / LM Studio / MLX)によって ±15-20% のブレがあります。あくまで目安としてご利用ください。実際に動かすときは少し余裕を見ておくのが安全です。

Q. Mac の Unified Memory 設定は変えられる?

A. はい。`sudo sysctl iogpu.wired_limit_mb=数値` でMetal/MLXに割り当てる上限を引き上げられます。32GB以下のMacでは70-75%が安全域、64GB以上のMacなら85%程度まで上げられることが多いです。本ツールは保守的に75%で固定しています。

Q. おすすめの推論エンジンは?

A. Mac は Ollama(手軽)か MLX(Apple Silicon特化で速い)、PC(NVIDIA GPU)は Ollama か llama.cpp直、GUIなら LM Studio が定番。Apple Silicon は MLX で同じモデルが llama.cpp比1.5-2倍速いケースもあります。

入力値はURLの「#」以降に入るためサーバーには送信されません。リンクを開くと同じ状態を復元します。

続けて整える

データの時点:2024〜2025年ごろのモデルが中心(各モデル公開元)

データの更新予定の一覧

totonoe.tech を運営する株式会社Koinobori は、法人向けの研修サービス「NOBORIBA®」も運営しています。 ここで手を動かした内容を、講師から教わる形の研修です。このページの道具は無料のまま、登録もいりません。

運営サイト

私たちが運営するサイト