トークン
Token
定義
LLM が文字列を処理する最小単位。英語約4文字 ≒ 1トークン、日本語約1文字 ≒ 1トークン。
詳しく
モデルごとに tokenizer(BPE/SentencePiece等)が異なるため、同じ文章でも GPT-4o・Claude・Gemini で値が変わる。API 料金もトークン単価で課金される。
実用例
日本語ブログ記事 1,000 字 ≒ 約 1,500〜2,000 トークン。
Token
定義
LLM が文字列を処理する最小単位。英語約4文字 ≒ 1トークン、日本語約1文字 ≒ 1トークン。
モデルごとに tokenizer(BPE/SentencePiece等)が異なるため、同じ文章でも GPT-4o・Claude・Gemini で値が変わる。API 料金もトークン単価で課金される。
実用例
日本語ブログ記事 1,000 字 ≒ 約 1,500〜2,000 トークン。
実際に「トークン」を扱えるツール
「トークン」と関連の深い用語
運営サイト
株式会社Koinobori
コーポレート — 法人研修・教材制作・AI支援
koinobori.co.jp
NOBORIBA® 研修サービス
研修事業 — 講師ネットワーク約160名・年間62名が登壇
noboriba.jp
NOBORIBA® ビジネス交流会
SES × 異業種 — 東京で唯一の朝開催 交流会
noboriba.net
ここ
totonoe.tech
Web ツール集 — 文字・お金・単位・IT・AI・教養
totonoe.tech
KOINOBORI COBOLERS
COBOL 技術者ネットワーク — Windows 95 風・COBOL で書き出したサイト
cobolers.jp