LLMトークン計算
OpenAIモデルは実際のBPEトークナイザで正確に数え、Claude・Gemini等は推定であることを明示して表示する。
テキストを入力すると数が表示される。
使い方
- 数えたいテキストを貼り付ける。
- モデルを選ぶ。GPT-4o 系と GPT-4/3.5 系は実際のトークナイザーで正確に数える。
- Claude、Gemini、Llama、Mistral は推定値で、「推定値」のラベルと計算方法が常時表示される。
注意事項
正確なカウントは gpt-tokenizer（o200k_base / cl100k_base）でブラウザ内に閉じて行われ、テキストがサーバーへ送信されることはない。他プロバイダーはブラウザ用トークナイザーを公開していないため、文字数ベースの推定のみを提供し、正確な値であるかのようには表示しない。
よくある質問
- 推定値はどれくらいずれる？
- 英語の散文では1〜2割程度のことが多いが、コード、数字の羅列、日本語など CJK テキストでは大きくずれることがある。課金の見積もりには余裕を持つこと。
- 日本語はなぜトークンが多い？
- BPE トークナイザーは主に英語で学習されており、日本語は1文字がほぼ1トークン（場合によっては複数トークン）になるため。GPT 向けの正確カウンターで実際に確かめられる。