トークン
Token
DEFINITION
LLM が文字列を処理する最小単位。英語約4文字 ≒ 1トークン、日本語約1文字 ≒ 1トークン。
DETAIL — 詳しく
モデルごとに tokenizer（BPE/SentencePiece等）が異なるため、同じ文章でも GPT-4o・Claude・Gemini で値が変わる。API 料金もトークン単価で課金される。
EXAMPLE — 実用例
日本語ブログ記事 1,000 字 ≒ 約 1,500〜2,000 トークン。
USE IN TOOLS — このツールで使われる用語
実際に「トークン」を扱えるツール
RELATED TERMS — 関連する用語
「トークン」と関連の深い用語