本文へスキップ
AIツール

LLM トークンカウンター

テキストを貼り付けると、Claude・GPT・Gemini の11モデルのトークン数と、コンテキストウィンドウに対する使用率を並べて確認できます。GPT は、GPT-4o 以降を o200k_base、GPT-4 Turbo と GPT-3.5 を cl100k_base のトークナイザーで、ブラウザの中で正確に数えます。Claude と Gemini はトークナイザーが非公開のため、GPT の正確な数に、文字の種類(英数字・日本語などの CJK・その他)ごとの係数をかけた概算値で、正確な Claude のトークン数が必要なときは、API キーが要る Anthropic の count_tokens を使います。文字数・単語数・行数も表示されます。プロンプトが長すぎないかの確認や、コストの見積もりの前段に向いています。処理はすべてブラウザ内で完結し、入力したテキストは送信されません。

文字数: 0単語数: 0行数: 0

Claude

概算

0

トークン

概算(Claude 3以降のトークナイザーは非公開です)

GPT

正確

0

トークン

o200k_base — GPT-5.5 / GPT-5 / GPT-4o / GPT-4.1

Gemini

概算

0

トークン

概算(クライアント側トークナイザーは非公開です)

モデル別の内訳

モデルトークンコンテキスト上限使用率
Claude Fable 5.2概算01M0%
Claude Opus 5.5概算01M0%
Claude Sonnet 5.5概算01M0%
Claude Haiku 5.5概算01M0%
Claude Opus 4.8概算0200K0%
Claude Sonnet 4.5概算0200K0%
Claude Haiku 4.5概算0200K0%
GPT-6 Astra01.05M0%
GPT-6.1 Sol01.05M0%
GPT-6.1 Terra01.05M0%
GPT-6 Luna01.05M0%
GPT-5.501.05M0%
GPT-50400K0%
GPT-4.101M0%
GPT-4o0128K0%
GPT-4 Turbo0128K0%
GPT-3.5 Turbo016K0%
Gemini 4 Argon概算01.05M0%
Gemini 4 Carbon概算01.05M0%
Gemini 4 Hydrogen概算01.05M0%
Gemini 3.8 Flash概算01.05M0%
Gemini 3 Pro概算01M0%
Gemini 2.5 Flash概算01M0%

Claude と Gemini の値は、GPTの正確なトークン数と文字種の構成から推定した概算値です。実際のAPIのカウントとは±10〜20%程度ずれる可能性があります。おおまかなサイズ感の把握に使い、課金計算には利用しないでください。

チャンクに分割(RAG 向け)

上のテキストを、指定したトークン数以下の塊に分けます。できるだけ段落・文・行の区切りを保ちます。重なりは、前の塊の末尾を次の塊の先頭に重ねる量です。

GPT-4o のトークナイザー(o200k_base)で数えています。

    トークンの境目を見る

    上のテキストが、GPT のトークナイザー(GPT-4o/GPT-4)でどう分かれるかを、トークンごとに色分けして見せます。Claude・Gemini は別のトークナイザーなので、境目は異なります。

    ガイド

    使い方・特徴

    • 入力欄にプロンプトや文書、コードを貼り付けると、自動でトークン数が集計されます。
    • GPTのカウントに使うトークナイザー辞書は初回入力時に読み込まれます(読み込み中はその旨が表示されます)。
    • Claude と Gemini のカードには「概算」バッジが付きます。±10〜20%程度の誤差を見込んでください。
    • 文字数・単語数・行数も同時に表示されるため、文章量の把握にも使えます。
    サンプル

    入力と出力のサンプル

    英語の短文

    入力例
    The quick brown fox jumps over the lazy dog.
    出力例
    GPT: 10トークン(正確) / Claude: 約11トークン / Gemini: 約10トークン

    日本語の短文

    入力例
    吾輩は猫である。名前はまだ無い。
    出力例
    GPT: 14トークン(正確) / Claude: 約19トークン / Gemini: 約12トークン ※日本語は英語よりトークン数が多くなりがちです
    FAQ

    よくある質問

    • トークンとは何ですか?

      LLM(大規模言語モデル)がテキストを処理する最小単位です。英語では1トークンがおおよそ4文字(単語の断片)に相当し、日本語では1文字が1トークン以上になることもあります。APIの料金やコンテキスト長の上限はトークン数で決まるため、事前に把握しておくと便利です。
    • 1,000トークンは何語(何文字)ですか?

      英語の文章では、1トークンがおよそ4文字、または単語の約¾にあたるのが目安で、1,000トークンは約750語です。4,096トークンで約3,000語、コンテキスト200Kトークンで約150,000語になります。日本語・コード・数字は同じ長さでもトークンが多くなりやすいので、実際の文章を貼り付けて測るのが確実です。
    • GPTのトークン数は正確ですか?

      はい。GPT-4o や GPT-4.1、o系モデルが使用する o200k_base トークナイザーをブラウザ内で実行しているため、OpenAI APIのカウントと一致します。ただし、チャットAPIではメッセージ構造のオーバーヘッド(数トークン)が別途加算されます。
    • Claude と Gemini のトークン数はなぜ概算なのですか?

      AnthropicはClaude 3以降のトークナイザーを公開しておらず、Googleもクライアント側で動くトークナイザーを提供していません。本ツールはGPTの正確なトークン数と文字種の構成をもとに推定しており、実際のAPIカウントとは±10〜20%程度ずれる可能性があります。正確な値が必要な場合は各社のカウントAPIを利用してください。
    • 日本語は英語よりトークン数が多くなるのはなぜですか?

      トークナイザーの語彙が英語中心に構築されているためです。英語は頻出単語が1トークンにまとまりやすい一方、日本語は1文字が1トークン以上に分割されることが多く、同じ内容でも英語の1.5〜2倍程度のトークン数になる傾向があります。
    • ClaudeやGeminiのトークンカウンターとして使えますか?

      目安としては使えます。Claude・Geminiの値は概算(±10〜20%程度)で、プロンプトがコンテキストに収まるかの確認に向いています。正確な値が必要なときは、Gemini APIの countTokens メソッドや、AnthropicのMessages APIにあるトークンカウント用のエンドポイントを使ってください。
    • Mistral・Llama・Qwenにも対応していますか?

      個別には対応していません。それらのモデルは独自のトークナイザーを使うため、実際の数値は異なります。GPT(o200k_base)の値は他モデルの大まかな目安にはなりますが、正確さが必要なときは各モデルのトークナイザーで確認してください。
    • 入力したテキストは外部に送信されますか?

      いいえ。トークナイザー辞書の読み込みを含めてすべてブラウザ内で完結しており、入力したテキストがサーバーへ送信されることはありません。機密文書やソースコードでも安心して利用できます。
    使いどころ

    主な活用シーン

    • プロンプトのコスト見積もり

      API課金はトークン数ベースのため、長いシステムプロンプトやRAGで挿入するコンテキストが何トークン消費するかを事前に確認し、コストを見積もれます。
    • コンテキスト長の上限チェック

      ドキュメントやログをまるごとLLMに渡す前に、モデルのコンテキストウィンドウ(例: 200Kトークン)に収まるかを確認できます。
    • モデル間のトークン効率比較

      同じテキストでもモデルによってトークン数は異なります。Claude / GPT / Gemini を並べて比較し、どのモデルがコスト効率的かの目安にできます。
    • 日本語プロンプトの最適化

      日本語は英語よりトークン数が多くなりがちです。プロンプトを英語化・簡潔化した場合の削減効果を数値で確認できます。
    注意点

    注意事項・制限

    • Claude・Geminiは概算値です

      AnthropicとGoogleはトークナイザーを公開していないため、両モデルの値はGPTの正確なカウントと文字構成から推定した概算です。実際のAPIカウントと±10〜20%程度ずれる可能性があり、課金計算には使用しないでください。
    • チャットAPIのオーバーヘッドは含まれません

      表示されるのは貼り付けたテキスト単体のトークン数です。チャットAPIではメッセージ構造やロール指定に数トークンのオーバーヘッドが加わり、システムプロンプトやツール定義も別途消費します。
    • トークナイザーはモデル世代で変わります

      GPTのカウントは o200k_base(GPT-4o / GPT-4.1 / o系)基準です。GPT-3.5やGPT-4(cl100k_base)など旧世代モデルでは値が異なります。各社が将来トークナイザーを変更する可能性もあります。
    • 正確な値が必要な場合はカウントAPIを

      Anthropicの count_tokens API や Google の countTokens API を使うと、実際のモデルと同じ正確なトークン数を取得できます(テキストの送信が必要です)。

    おすすめリソース

    このセクションにはアフィリエイトリンクが含まれる場合があります。リンク経由で購入すると、追加費用なしでDevToolKits.appが紹介料を受け取ることがあります。

    このツールの関連記事

    このツールの実装解説

    運営者のZenn記事 ↗

    作る過程で踏んだバグや設計の判断を、Zennに書いています。

    最新記事