トークン
Token
定義
LLM が文字列を処理する最小単位。英語約4文字 ≒ 1トークン、日本語約1文字 ≒ 1トークン。
詳しく
モデルごとに tokenizer（BPE/SentencePiece等）が異なるため、同じ文章でも GPT-4o・Claude・Gemini で値が変わる。API 料金もトークン単価で課金される。
実用例
日本語ブログ記事 1,000 字 ≒ 約 1,500〜2,000 トークン。
このツールで使われる用語
実際に「トークン」を扱えるツール
関連する用語
「トークン」と関連の深い用語
