AIを整える
中級トークン数を整える。
= AIが数える文字のかたまり(料金の単位)
入力テキストが GPT・Claude・Gemini など主要LLMで何トークンになるかを一括で概算。 コンテキスト制限の余裕やAPI料金の見積もりに。料金そのものは「LLM料金を整える」へ。
🔰 かんたんに言うと
AIが文章を数える単位「トークン」を数えます。料金や、一度に入力できる量の目安になります。
TLDR — 30秒で分かる
GPT・Claude・Gemini など主要LLMでの推定トークン数を一括表示。コンテキスト制限とAPI料金見積もりの前提値に。
主な機能
- 7モデル一括トークン推定
- 英語/日本語の比率検出
- コンテキスト窓使用率
- 料金算出は /ai-token/ へ
文章
あなたの入力
トークナイザ
意味の単位で区切る
トークン列
区切られた断片
トークン数
数えた結果
料金
API課金
コンテキスト窓
一度に入る上限
STEP 1
※ イメージ図です。下の入力欄に文章を貼ると、モデルごとの実際のトークン数を概算できます。
文字数
0
バイト数 (UTF-8)
0
行数
0
単語数
0
日本語 / 英数
0 / 0
PER-MODEL TOKENS
モデル別の推定トークン数
| モデル | 推定トークン数 |
|---|---|
| GPT-4o / GPT-4.1 | 0 |
| GPT-4 / 3.5 | 0 |
| Claude 3.x / 4.x | 0 |
| Gemini 1.5 / 2.x | 0 |
| Llama 3.x | 0 |
| Qwen 2.5 | 0 |
| Mistral / Mixtral | 0 |
※ 文字種ごとの平均 chars/token 係数で計算した概算値(誤差 ±15% 程度)。 正確な値は各モデルの公式トークナイザー(OpenAI tiktoken・Anthropic SDK等)でご確認ください。
よくある質問
Q. 正確なトークン数ですか?
A. いいえ、概算値です。各モデルの正規トークナイザーをブラウザで実行すると 200KB 以上のバンドルが必要になるため、文字種別ごとの平均的な chars/token 係数で計算しています。実測との誤差は ±15% 程度。コンテキスト制限の余裕や、APIコスト見積もりには十分使えます。
Q. なぜ日本語のトークンは英語より多いのですか?
A. 英語は単語単位(BPE)で1トークン4文字が平均ですが、日本語は文字ごとに分解されやすく1文字あたり1トークン近くなることがあります。GPT-4o(o200k_base)や Gemini など多言語強化系のトークナイザーは、日本語2文字/token 程度まで改善しています。
Q. コンテキストウィンドウは?
A. 主要モデルの目安: GPT-4o 128K / GPT-4.1 1M / Claude 200K / Gemini 1.5 Pro 2M / Llama 3.x 128K。長文を投げる前にこのツールで概算してから、余裕を持って収まる範囲を確認してください。
Q. APIコストの計算には使えますか?
A. 入力トークン数の概算には使えます。各モデルの公式料金(USD per 1M tokens)を掛けて目安を出してください。出力トークン数は推論結果に依存するため別途見積もりが必要です。
入力値はURLの「#」以降に入るためサーバーには送信されません。リンクを開くと同じ状態を復元します。
RELATED TOOLS
続けて整える