totonoe

TOOL

トークン数を整える

入力テキストが GPT・Claude・Gemini など主要LLMで何トークンになるかを一括で概算。 コンテキスト制限の余裕やAPI料金の見積もりに。料金そのものは「LLM料金を整える」へ。

i

TLDR — 30秒で分かる

GPT・Claude・Gemini など主要LLMでの推定トークン数を一括表示。コンテキスト制限とAPI料金見積もりの前提値に。

主な機能を見る
  • 7モデル一括トークン推定
  • 英語/日本語の比率検出
  • コンテキスト窓使用率
  • 料金算出は /ai-token/ へ
0 文字

文字数

0

バイト数 (UTF-8)

0

行数

0

単語数

0

日本語 / 英数

0 / 0

PER-MODEL TOKENS

モデル別の推定トークン数

モデル 推定トークン数
GPT-4o / GPT-4.1 0
GPT-4 / 3.5 0
Claude 3.x / 4.x 0
Gemini 1.5 / 2.x 0
Llama 3.x 0
Qwen 2.5 0
Mistral / Mixtral 0

※ 文字種ごとの平均 chars/token 係数で計算した概算値(誤差 ±15% 程度)。 正確な値は各モデルの公式トークナイザー(OpenAI tiktoken・Anthropic SDK等)でご確認ください。

よくある質問

Q. 正確なトークン数ですか?
A. いいえ、概算値です。各モデルの正規トークナイザーをブラウザで実行すると 200KB 以上のバンドルが必要になるため、文字種別ごとの平均的な chars/token 係数で計算しています。実測との誤差は ±15% 程度。コンテキスト制限の余裕や、APIコスト見積もりには十分使えます。
Q. なぜ日本語のトークンは英語より多いのですか?
A. 英語は単語単位(BPE)で1トークン4文字が平均ですが、日本語は文字ごとに分解されやすく1文字あたり1トークン近くなることがあります。GPT-4o(o200k_base)や Gemini など多言語強化系のトークナイザーは、日本語2文字/token 程度まで改善しています。
Q. コンテキストウィンドウは?
A. 主要モデルの目安: GPT-4o 128K / GPT-4.1 1M / Claude 200K / Gemini 1.5 Pro 2M / Llama 3.x 128K。長文を投げる前にこのツールで概算してから、余裕を持って収まる範囲を確認してください。
Q. APIコストの計算には使えますか?
A. 入力トークン数の概算には使えます。各モデルの公式料金(USD per 1M tokens)を掛けて目安を出してください。出力トークン数は推論結果に依存するため別途見積もりが必要です。

RELATED TOOLS

続けて整える