トークン数カウンター

日本語テキストのトークン数を概算し、モデル別の上限に収まるか確認できます。

上限のトークン数

数えたい文章

計算はすべてブラウザの中だけで行われます。入力したテキストがサーバーに送信されたり、保存されたりすることはありません。

このツールが単一の数値を出さない理由

トークン数のカウンターは他にもありますが、その多くは「1,234トークン」のような1つの数値を返します。このツールは範囲で返します。単一の数値を出せないからです。

トークンへの分け方は、モデルごとに違います。そしてClaude や Gemini のトークナイザは公開されていません。公開されていないものを、外部のツールが正確に再現することはできません。それにもかかわらず1つの数値を示せば、利用者はそれを正確な値だと受け取ります。

日本語はとくに揺れます。同じ「東京」でも、1トークンに収まることも 2トークンに割れることもあります。ひらがなが続く箇所ではまとめて1トークンになり、見慣れない固有名詞では1文字ずつ割れます。

そこでこのツールは、「まず割れない下限」と「最も細かく割れた場合の上限」を文字の種類ごとに見積もり、その合計を範囲として返します。実測値がこの範囲に入ることを狙った設計です。正確な値が要る場合は、モデルの提供元が出しているトークナイザで確認してください。

どういう場面で使うか

長い資料をAIに読ませたいとき、上限に収まるかどうかが事前に分かりません。そのまま送ると、途中で切られたことに気づかないまま回答が返ってきます。切られたことを教えてくれないのが厄介なところで、「資料に書いてあるはずのことが回答に反映されていない」と後から気づきます。

文字数で当たりをつけようとしても、日本語では目安になりません。漢字が多い文章と英数字が多い文章では、同じ文字数でもトークン数が数倍違います。仕様書やコードが混じった資料はとくにずれます。

よくあるのは次のような場面です。

議事録や仕様書をまとめて要約させたいが、1回で渡しきれるか分からない
渡しきれない場合、どこで区切って2回に分ければいいか決めたい
長いプロンプトのテンプレートを作っていて、資料の分の余裕がどれだけ残るか知りたい
API経由で使っていて、送信量の見当をつけたい

いずれも、正確な値までは要りません。「収まりそうか、際どいか、明らかに超えるか」が分かれば判断できます。このツールはその粒度に合わせて作っています。

使い方

上限のトークン数を入れます。ボタンからよく使う値を選べます。
AI に渡す予定のテキストを貼り付けます。
推定トークン数と、上限に収まるかの判定が出ます。
超える場合は「先頭までを残す」を押すと、収まる位置で切り詰められます。

3つの判定

判定	意味	どうするか
収まります	推定の上限でも上限に届かない	そのまま渡して問題ありません
際どい	推定の下限なら収まるが、上限では超える	渡してみて、切られたら削ります。重要な指示は先頭に置いてください
超える見込み	推定の下限でも上限を超える	分割するか、削ります

判定は推定の上限側で行っています。「収まる」と言って実際に超えるより、「際どい」と言うほうが実害が小さいためです。

文字の種類ごとの内訳

推定の根拠として、文字の種類ごとの内訳を出します。同じ文字数でも、漢字が多い文章と英数字が多い文章では、トークン数が数倍違います。削る箇所を決めるときの材料に使ってください。

文字の種類	1文字あたりの目安
漢字	0.8 〜 2 トークン
ひらがな	0.6 〜 1.5 トークン
カタカナ	0.7 〜 1.6 トークン
全角の記号	0.6 〜 1.2 トークン
半角の英数字	0.25 〜 0.5 トークン
半角の記号	0.3 〜 1 トークン
空白	0.15 〜 0.5 トークン
改行	0.3 〜 1 トークン
絵文字	1.5 〜 4 トークン
その他	0.8 〜 3 トークン

英数字が1文字あたり0.25〜0.5トークンなのは、複数の文字がまとめて1トークンになるためです。英語の文章が日本語より少ないトークン数で収まるのは、この違いによります。

上限の値について

プリセットのボタンは規模ごとの代表値で、特定のモデル名とは結び付けていません。モデルごとの上限は改定されるためです。ここに具体的なモデル名と数値を書くと、改定のたびに誤った情報を出すことになります。

お使いのモデルの上限は、提供元の公式ドキュメントで確認して、入力欄に直接入れてください。任意の値を入れられます。

入力したテキストの扱い

計算はすべてお使いのブラウザの中で動いています。入力した内容がサーバーへ送信されることはなく、どこかに保存されることもありません。ページを閉じれば消えます。 AI に渡す前の業務文書を貼っても、外部には出ません。

よくある質問

実測値と合いません。: 推定なので、範囲から外れることもあります。とくに固有名詞や専門用語が多い文章、絵文字を多用した文章では、上限側に寄る傾向があります。正確な値が必要な場合は、モデルの提供元が出しているトークナイザをお使いください。
料金の目安は出ますか。: 出しません。単価は改定が頻繁で、ここに書いた数字はすぐ古くなります。推定トークン数を、提供元の最新の価格表と掛け合わせてください。
どのくらい外れますか。: 日本語の普通の文章であれば、実測値は範囲の中央付近に来ることが多いはずです。固有名詞・専門用語・絵文字が多いほど上限側に寄り、英数字が多いほど下限側に寄ります。範囲の幅が広いと感じられるかもしれませんが、狭く見せるために根拠のない前提を置くよりは正直だと考えています。
入力と出力の両方を数えられますか。: このツールが数えるのは、貼り付けたテキストの分だけです。 AIが返してくる出力の分は、書かせてみるまで分かりません。上限が入力と出力の合計で決まる場合は、出力の見込み分を差し引いた値を上限欄に入れてお使いください。
「先頭までを残す」で切ると、文の途中で切れます。: 上限に収まる最大の位置で切るため、文の区切りは考慮していません。切ったあとに末尾を整えてください。なお、絵文字などが割れることはありません。