トークン
別名: Token
AIが文章を処理する際の最小単位。料金計算や入出力量の上限の基準となる。
一言で
トークンとは、AIが文章を処理する際の最小単位のことで、おおむね「短い単語の断片」や「記号」を1つの塊として数えます。
もう少し詳しく
AIは文章を文字や単語ではなく、独自の単位「トークン」に分解して処理します。英語の場合、1トークン ≒ 約4文字（0.75単語）が目安です。日本語は1文字が複数トークンに分かれることも多く、英語より割高になりやすい傾向があります。
トークンが重要なのは、AIの利用料金とコンテキスト上限が「トークン数」で決まるからです。たとえばClaudeやGPT-5などのAPIは「入力100万トークンあたり◯ドル」といった形で課金され、一度に処理できる長さも「最大1Mトークンまで」のように制限されます。OpenAIはtiktokenという公開ライブラリで数え方を公開していますが、Anthropic・Googleは独自方式のため、同じ文章でもトークン数は会社ごとに異なります。
主な特徴
- 料金の単位: 入力・出力それぞれのトークン数で課金される
- 会社ごとに違う: 同じ文章でもOpenAIとAnthropicでトークン数が異なる
- 言語で変わる: 日本語は英語より多めにトークンを消費しがち
使われ方の例
- 「このプロンプトは何トークン？」をAPI提供元のカウンターで事前確認
- 長文を扱うときは要約してトークン消費を抑える
- 月のAI利用料を予測するため、平均的な1リクエストのトークン数を計測
関連する話題
一度に渡せるトークンの上限はコンテキストウィンドウを参照してください。